衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA Jetson-Xavier NX開發工具包的應

星星科技指導員 ? 來源:NVIDIA ? 作者:NVIDIA ? 2022-04-17 17:55 ? 次閱讀

NVIDIA 發布了基于 Jetson Xavier NX 模塊的 NVIDIA Jetson Xavier NX 開發工具包 。 Jetson Xavier NX 以低于 15W 的功率,以緊湊的外形提供多達 21 臺計算之巔,為邊緣AI設備和自主機器帶來服務器級性能和云原生工作流。

借助 Jetson Xavier NX 開發者工具包,您可以創建令人驚嘆的人工智能驅動應用程序,并快速將深度神經網絡( DNN )模型和流行的機器學習框架部署到該領域。 NVIDIA JetPack 4 . 4 開發者預覽版 的初始軟件支持包括 CUDA Toolkit 10 . 2 和 cuDNN 8 . 0 、 TensorRT 7 . 1 和 DeepStream 5 . 0 的預覽版,以及用于機器學習的新 Docker 容器和預訓練的 DNN 模型。

Jetson Xavier NX 基于 NVIDIA 開創性的 Xavier SoC ,可以并行運行多個復雜模型和多個高清傳感器流。它包括以下功能:

具有 48 色張量的集成 NVIDIA volta384 核 Volta GPU

兩個 NVIDIA 深度學習加速器引擎

七路 VLIW 視覺加速器

六核 NVIDIA Carmel 64 位 ARMv8 . 2 CPU

8-GB 128-bit LPDR4x

為了進一步簡化邊緣人工智能應用程序在生產環境中的部署, 預訓練模型 將云原生技術引入 Jetson ,包括基于 Docker 的集裝箱化,以及 Kubernetes 等硬件傳遞和編排服務,以及 NVIDIA NGC 注冊表提供的 預訓練模型 和 NVIDIA 。

Jetson Xavier NX 開發工具包

Jetson Xavier NX 開發工具包捆綁了一個開源的 參考載體板 和預裝配的散熱片/風扇,如圖 2 所示,包括 19V 電源和基于 M.2 的 802.11 WLAN + BT 模塊。除了可引導 microSD 卡插槽外,在載體底部還提供了一個 M . 2 Key-M NVMe 插槽,用于擴展高速存儲。

因為 Xavier NX 模塊向后兼容 Jetson Nano ( B01 ),它們的載體板有一些共同點 – 還包括雙 MIPI CSI 攝像頭連接器,以及四個 USB 3.1 端口、 HDMI 、 DisplayPort 、千兆以太網和一個 40 針 GPIO 頭。

套件載體板的主要特性和接口如表 1 所示。有關 Jetson Xavier NX 計算模塊的核心處理能力和規格的更多信息,請參閱 介紹世界上最小的人工智能超級計算機 Jetson Xavier NX post 和 Jetson Xavier NX 模塊數據表 。

pYYBAGJb5NaAXUfCAAA_cWuBVTs916.png

表 1 . Jetson Xavier NX 開發者工具包載體板連接和接口。

Jetpack4 . 4 開發者預覽版

NVIDIA JetPack SDK 包含在Jetson上構建AI應用程序的庫、工具和核心操作系統。Jetpack4.4開發者預覽版增加了對JetsonXavierNX的支持。它包括CUDA Toolkit 10.2以及cuDNN 8.0、TensorRT 7.1、DeepStream 5.0的預覽版,以及用于部署云原生服務的NVIDIA容器運行時,以及表2中所示的其他組件。 為流行的機器學習框架(如TensorFlow和Pythorch)預構建的包安裝程序也可以在 Jetson ZOO 獲取 , 還有 NGC 上 JetPack 的新框架容器

poYBAGJb5OaAdxMsAAAv072LlmU636.png

表 2 . NVIDIA Jetpack4 . 4 開發者預覽版 SDK 中可用的軟件組件。

為 Jetson Xavier NX 、 Jetson AGX Xavier 、 Jetson TX1 / TX2 和 Jetson Nano 下載 Jetpack4 . 4 開發者預覽版 。在收到新的 Jetson Xavier NX 開發工具包后,請按照 入門 指南中的說明,使用 JetPack 映像閃存 microSD 卡。

這個開發者預覽版可以用來安裝和運行 Jetson Xavier NX 開發者工具包并開始應用程序開發,而生產 Jetpack4 . 4SDK 計劃在今年夏天晚些時候發布。安裝 JetPack 之后,您可以跟隨一些 AI 驅動的 Jetson 社區項目 。

深度學習推斷基準

Jetson 可用于將廣泛流行的 DNN 模型和 ML 框架部署到邊緣,并具有高性能的推斷,用于實時分類和目標檢測、姿勢估計、語義分割和自然語言處理( NLP )等任務。

JetPack SDK 和 NVIDIA CUDA -X 對 Jetson 和 NVIDIA 離散的 GPU 的共同支持意味著您可以輕松地將性能和尺寸、重量和功耗(交換)消耗降低到 5W ,而無需重新編寫應用程序。圖 3 顯示了 Jetson Nano 上流行的視覺 DNN 的推斷基準, Jetson TX2 、 Jetson Xavier NX 和 Jetson AGX Xavier 以及 Jetpack4 . 4 開發者預覽版和 TensorRT 7 . 1 。這些結果可以通過從 GitHub 運行開放的 jetson_benchmarks 項目來復制。

poYBAGJb5DqAMtjKAADDhGorRsA658.png

圖 3 。用 TensorRT 來推斷 Jetson 家族中各種基于視覺的 DNN 模型的性能。

在 Jetson Xavier NX 和 Jetson AGX Xavier 上, NVIDIA 深度學習加速器( NVDLA )發動機和 GPU 同時以 INT8 精度運行,而在 Jetson Nano 和 Jetson TX2 上, GPU 以 FP16 精度運行。 Jetson Xavier NX 的性能比 Jetson TX2 高 10 倍,功耗相同,占地面積小 25% 。

在這些基準測試期間,每個平臺都以最高性能運行( MAX-N 模式用于 Jetson AGX Xavier , Xavier NX 和 TX2 為 15W , Nano 為 10W )。這些基于視覺的任務的最大吞吐量是在批大小不超過 15ms 的延遲閾值的情況下獲得的。 – 否則,對于平臺超過此延遲閾值的網絡,批處理大小為 1 。這種方法在實時應用程序的確定性低延遲需求和多流用例場景的最大性能之間提供了平衡。

我們還為 BERT 提供問題回答方面的基準測試結果。 BERT 是一種多功能架構,在多個 NLP 任務(包括 QA 、意圖分類、情感分析、翻譯、名稱/實體識別、釋義、推薦系統、自動完成)中得到了廣泛的應用,還有更多。

TensorRT 傳統上過于復雜,無法在本地部署機載邊緣設備,尤其是 BERT 大型變體。然而,在 BERT 中包含 BERT 的張量核心優化后, BERT 可以很容易地在 Jetson Xavier NX 和 Jetson AGX Xavier 上運行。

將 BERT 部署到邊緣對于低延遲、智能人機交互( HMI )和會話式人工智能非常有用,正如本文后面的多容器演示的 chatbot 部分一樣,它也在本地執行自動語音識別( ASR ),而不依賴云連接。

runtime-performance-bert-1-625x754.png

圖 4 。 BERT Base 和 BERT 在回答問題時的運行時性能很高,使用 NLP 任務的 50ms 延遲閾值。

圖 4 顯示了 BERT Base 和 BERT Large 在回答問題時的運行時性能,使用了 NLP 任務的 50ms 延遲閾值。這些結果是以每秒的順序來衡量的,其中每一個文本序列都是 BERT 回答的一個查詢或問題。 BERT 在 Jetson 上的性能為用戶提供了近乎即時的反饋,延遲低至 5 . 9ms ,這使得 BERT 處理可以與視頻等其他實時處理流同時執行。

云計算原生方法帶到邊緣

到目前為止,嵌入式和邊緣設備的軟件都是以單片系統的形式編寫的。升級單片軟件映像的復雜性增加了 bug 的風險,并使更新的節奏難以加快。對于具有人工智能的邊緣設備來說,這一點尤其有問題,它需要頻繁更新以維持快速的能力改進?,F代對敏捷能力和零停機時間持續創新的期望要求改變嵌入式和邊緣設備軟件的開發和部署方式。

在邊緣采用云本地的范例,如微服務、容器化和容器編排是前進的方向。

微服務架構、容器化和編排使云應用程序能夠擺脫單一工作流的約束?,F在, Jetson 正在將云原生轉換思想引入 AI 邊緣設備。

Jetson 是領先的人工智能邊緣計算平臺,擁有近 50 萬開發者。它由 JetPack SDK 提供支持,該 SDK 具有與世界各地數據中心和工作站相同的 CUDA -X 加速計算堆棧和 NVIDIA 容器運行時。

通過 Jetson 的幾個開發和部署容器、容器化框架和托管在 NVIDIA NGC 上的預先訓練的 AI 模型,它可以作為 AI 應用程序開發的構建塊。最新的 Jetson Xavier NX 以盡可能小的外形尺寸實現全功能、多模式人工智能應用。

我們歡迎使用云本地技術,使客戶具有擴展業務所需的生命周期靈活性??蓴U展軟件開發加快了上市時間。為什么?因為當您不必同時更新其他應用程序組件時,更新產品生命周期的過程會變得不那么繁重。

多容器演示

Jetson Xavier NX 的 NVIDIA 多容器演示 展示了使用云本地方法開發和部署服務機器人 AI 應用程序的過程。服務機器人是一種自主機器人,通常與零售、酒店、醫療保健或倉庫中的人互動。

視頻。 Jetson Xavier NX 的云原生多容器演示,并行運行七個深度學習模型。

考慮一個服務機器人,它的目的是通過與購物者交互來改善零售百貨公司的客戶服務。機器人只有在能夠執行包括人體識別、交互檢測、人體姿態檢測、語音檢測和自然語言處理在內的許多計算任務時,才能為客戶的查詢提供有用的答案。機器人必須運行支持這些功能所需的多個人工智能模型。

有了云原生方法,人工智能模型可以獨立開發,包含所有依賴項的容器化,并部署到任何 Jetson 設備上。

該演示程序在 Jetson Xavier NX 上同時運行四個容器,具有七個深度學習模型,包括姿勢估計、面部和凝視檢測、人物計數、語音識別和 BERT 問答。結果是,這些服務構建塊容器可以輕松地修改和重新部署,而不會造成中斷,從而提供零停機時間和無縫更新體驗。

在沒有犧牲所有數據流的計算能力的情況下,[zd-9]提供了一個傳感器的計算能力。您可以使用 NGC 上托管的容器從 NVIDIA-AI-IOT/jetson-cloudnative-demo GitHub repo 下載演示。

在邊緣計算領域實現下一個飛躍

計算性能、緊湊、省電的外形和全面的軟件支持使 Jetson Xavier NX Developer Kit 成為創建高級 AI 驅動應用程序并部署到邊緣的理想平臺。

關于作者

達斯汀是 NVIDIA 的 Jetson 團隊的開發人員布道者。 Dustin 擁有機器人和嵌入式系統方面的背景,他樂于在社區中提供幫助,并與 Jetson 一起參與項目。

Suhas Sheshadri 是 NVIDIA 的產品經理,專注于 Jetson 軟件。此前,他曾在 NVIDIA 與自主駕駛團隊合作,為 NVIDIA 驅動平臺優化系統軟件。在業余時間,蘇哈斯喜歡讀量子物理學和博弈論方面的書籍。

Sarah Todd 是 NVIDIA 嵌入式團隊的營銷經理。 Sarah 對推動人工智能應用程序實現真正的解決方案非常感興趣,她負責邊緣技術的營銷,包括與 Jetson 平臺相關的軟件和硬件、自主機器和 NVIDIA 機器人技術。

Dustin Franklin 是 NVIDIA 的 Jetson 團隊的開發人員布道者。 Dustin 擁有機器人和嵌入式系統方面的背景,他樂于在社區中提供幫助,并與 Jetson 一起參與項目。你可以在 NVIDIA Developer Forums 或 Github 上找到他。

Suhas Sheshadri 是 NVIDIA 的產品經理,專注于 Jetson 軟件。此前,他曾在 NVIDIA 與自主駕駛團隊合作,為 NVIDIA 驅動平臺優化系統軟件。

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 傳感器
    +關注

    關注

    2553

    文章

    51405

    瀏覽量

    756622
  • NVIDIA
    +關注

    關注

    14

    文章

    5076

    瀏覽量

    103727
收藏 人收藏

    評論

    相關推薦

    Labview聲音和振動工具包示例文件Sound Level

    Labview 聲音和振動工具包示例文件,聲壓測試,有模擬和DAQ兩個文件。
    發表于 01-05 09:15 ?0次下載

    最新Simplicity SDK軟件開發工具包發布

    最新的SimplicitySDK軟件開發工具包已經發布!此次更新針對SiliconLabs(芯科科技)第二代無線開發平臺帶來了包括藍牙6.0的信道探測(Channel Sounding
    的頭像 發表于 12-24 09:47 ?275次閱讀

    NVIDIA發布小巧高性價比的Jetson Orin Nano Super開發者套件

    NVIDIA近期推出了一款全新的生成式AI超級計算機——Jetson Orin Nano Super開發者套件。這款開發者套件以其小巧的尺寸和高性價比吸引了廣泛關注。
    的頭像 發表于 12-19 11:28 ?599次閱讀

    基于EasyGo Vs工具包和Nl veristand軟件進行的永磁同步電機實時仿真

    EasyGo Vs Addon是一款領先的FPGA仿真工具包軟件,它強大地連接了VeriStand軟件與Matlab/Simulink,為實時測試和驗證領域帶來了前所未有的便利和效率,特別適用于汽車
    的頭像 發表于 11-27 11:28 ?407次閱讀
    基于EasyGo Vs<b class='flag-5'>工具包</b>和Nl veristand軟件進行的永磁同步電機實時仿真

    雷卯針對NVIDIA英偉達JETSON Orin NX開發板防靜電推薦器件示意圖

    一、應用場景 1. 生成性 AI 的端到端開發 2. 邊緣 AI 3. 機器人應用 二、 功能概述 1. 處理器: Jetson Orin NX 8GB: 6核Arm° Cortex?-A78AE
    的頭像 發表于 11-22 19:13 ?230次閱讀
    雷卯針對<b class='flag-5'>NVIDIA</b>英偉達<b class='flag-5'>JETSON</b> Orin <b class='flag-5'>NX</b><b class='flag-5'>開發</b>板防靜電推薦器件示意圖

    云計算開發工具包括什么

    云計算開發工具種類繁多,包括IDE、虛擬化軟件、容器化平臺、自動化部署工具和云平臺等。
    的頭像 發表于 11-22 10:11 ?246次閱讀

    FPGA仿真工具包軟件EasyGo Vs Addon介紹

    EasyGo Vs Addon是一款領先的FPGA仿真工具包軟件,它強大地連接了VeriStand軟件與Matlab/Simulink,為實時測試和驗證領域帶來了前所未有的便利和效率,特別適用于汽車、航空航天和能源電力等實時測試和驗證至關重要的行業。
    的頭像 發表于 10-24 15:55 ?514次閱讀
    FPGA仿真<b class='flag-5'>工具包</b>軟件EasyGo Vs Addon介紹

    支持C2000的開發工具版本

    電子發燒友網站提供《支持C2000的開發工具版本.pdf》資料免費下載
    發表于 10-10 11:06 ?0次下載
    支持C2000的<b class='flag-5'>開發工具</b>版本

    瑞星微刷機工具開發工具

    瑞星微刷機工具開發工具
    發表于 10-09 11:14 ?1次下載

    采用德州儀器 (TI) 工具包進行模擬前端設計應用說明

    電子發燒友網站提供《采用德州儀器 (TI) 工具包進行模擬前端設計應用說明.pdf》資料免費下載
    發表于 09-09 11:21 ?0次下載
    采用德州儀器 (TI) <b class='flag-5'>工具包</b>進行模擬前端設計應用說明

    使用freeRTOS開發工具包時,在哪里可以找到freeRTOS的版本?

    作為主題,當我使用 freeRTOS 開發工具包時,在哪里可以找到 freeRTOS 的版本?
    發表于 07-09 07:17

    MediaTek與NVIDIA TAO加速物聯網邊緣AI應用發展

    在即將到來的COMPUTEX 2024科技盛會上,全球知名的芯片制造商MediaTek宣布了一項重要合作——將NVIDIA的TAO(TensorRT Accelerated Optimizer)與其NeuroPilot SDK(軟件開發工具包)集成,共同推動邊緣AI推理芯
    的頭像 發表于 06-12 14:49 ?516次閱讀

    Diamond開發工具使用說明

    Diamond開發工具使用說明
    發表于 05-23 09:14 ?0次下載

    Nvidia Jetson Nano + CYW55573/AWXB327MA-PUR M.2無法使用操作系統內置的網絡管理器管理Wi-Fi如何解決?

    我們使用的是 Nvidia Jetson Nano + CYW55573/AWXB327MA-PUR M.2 ,請參閱 Nvidia Jetson 與英飛凌 AIROC Wi-Fi 6
    發表于 05-23 06:47

    QE for Motor V1.3.0:汽車開發輔助工具解決方案工具包

    電子發燒友網站提供《QE for Motor V1.3.0:汽車開發輔助工具解決方案工具包.pdf》資料免費下載
    發表于 02-19 10:44 ?0次下載
    QE for Motor V1.3.0:汽車<b class='flag-5'>開發</b>輔助<b class='flag-5'>工具</b>解決方案<b class='flag-5'>工具包</b>
    百家乐官网开户送彩网址| 南雄市| 金花娱乐城注册| 蓝盾百家乐| 澳门百家乐官网搏牌规则| 六合彩百家乐官网有什么平码| 玩百家乐官网怎么能赢吗| KK百家乐官网娱乐城 | 金城百家乐玩法平台| 国际娱百家乐的玩法技巧和规则| 威尼斯人娱乐备用网址| 大发888在线娱乐城加盟合作| 波音网址| 百家乐官网群html| 百家乐打法内容介绍| 威尼斯人娱乐城好吗| 皇冠球网| 百家乐官网15人专用桌布| 杨公24山日课应验诀| 摩纳哥百家乐的玩法技巧和规则 | 永利娱乐| 安桌百家乐官网游戏百家乐官网| 沙巴百家乐现金网| 长乐坊百家乐娱乐城| 真人游戏试玩| 百家乐官网策略| 利澳百家乐官网的玩法技巧和规则| 波音百家乐自动投注| 虹乐棋牌是真的吗| 什么是百家乐官网赌博| 百家乐平台信誉排名| 大发888 赌博网站| 百家乐官网ho168平台| 百家乐视频双扣下载| 百家乐任你博娱乐场| 金沙娱乐城| 百家乐官网单跳| 百家乐娱乐网送68元| 百家乐| 明珠百家乐官网的玩法技巧和规则 | 百家乐顶尖高手|