機器人技術在智能制造設施、商用廚房、醫院、倉儲物流和農業領域等各種環境中的應用正在迅速擴大。該行業正在向智能自動化轉型，因此要求機器人具備更強的能力來執行感知、測繪、導航、負載處理、物體抓取、復雜裝配任務等功能。

AI 由于能夠增強機器人的性能，因此在這一發展演進過程中起到了舉足輕重的作用。通過集成 NVIDIA AI 加速功能，機器人能夠以更高的精度和效率處理復雜的任務，充分發揮出它們在各種應用中的潛能。

NVIDIA 在 COMPUTEX 上發布了幾項新功能來幫助機器人專家和工程師打造智能機器人，包括：

NVIDIA Isaac Perceptor：一款適用于自主移動機器人（AMR）和自動導引車（AGV）的全新參考工作流。

NVIDIA Isaac Manipulator：為工業機械臂提供全新的基礎模型和參考工作流。

NVIDIA Jetson for Robotics：在 NVIDIA JetPack 6.0 中進行了最新更新。

NVIDIA Isaac Sim 4.0：帶來適用于機器人學習的輕量級應用 NVIDIA Isaac Lab。

視頻 1. 全球機器人開發領域的領先者正在采用 NVIDIA Isaac 來研究、開發和生產新一代 AI 機器人

NVIDIA Isaac Perceptor

AMR 和 AGV 對裝配線效率、材料搬運和醫療物流至關重要。由于這些機器人需要在復雜的非結構化環境中穿梭，因此必須具備對周圍環境的感知和反應能力。

Isaac Perceptor 建立在 NVIDIA Isaac 機器人操作系統（ROS）上，能夠幫助原始設備制造商（OEM）、貨運服務供應商、軟件廠商和 AMR 生態系統加速機器人技術的開發。開發團隊可以為移動機器人加入感知能力，使其能夠在非結構化環境中成功導航和避障。

Isaac Perceptor 的早期合作伙伴中既有倉儲/內部物流行業的領先企業，也有汽車制造商、工業機器人制造公司和機器人解決方案提供商，例如 ArcBest、比亞迪電子、Gideon、凱傲、Kudan、idealworks、RGo 和泰瑞達機器人。

Isaac Perceptor 的關鍵功能

Isaac Perceptor 為基于 AI 的自主移動機器人提供多攝像頭 3D 環視功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 能夠以 30 赫茲的頻率，每秒處理每個攝像頭的 1650 萬個深度點。立體視差是根據來自立體攝像頭的同步圖像對計算得出的，并將其用于生成深度圖像或場景點云。高效半監督深度神經網絡（ESS DNN）為基于 DNN 的立體視差提供了 GPU 加速軟件包。

多攝像頭視覺慣性測距

Isaac ROS Visual SLAM 提供用于視覺同步定位與映射（VSLAM）和視覺里程測量（VO）的 ROS 2 軟件包。該功能基于NVIDIA CUDA Visual SLAM（cuVSLAM）庫，在無特征環境中導航時，可提供平移誤差小于 1% 的穩健導航。

眾所周知，VSLAM 解決方案所面臨的挑戰之一是在視覺特征稀疏或模式重復的環境中導航。通過融合來自多個視角的輸入，可以緩解這一問題。在最新的更新中，cuVSLAM 融合了來自多個立體攝像頭的并發視覺里程測量估算值。

我們的測試結果顯示出明顯的改進。使用多個攝像頭時，機器人始終能夠實現導航目標；而使用單個攝像頭時，這一比例不到 25%。

表 1. cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2

的性能比較。cuVSLAM 在使用多攝像頭的

機器人導航中展現出更強大的性能

在GitHub 頁面了解更多信息：

https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_visual_slam/isaac_ros_visual_slam/index.html

與使用兩個攝像頭和四個攝像頭的比較

實時多攝像頭體素網格映射

Isaac Perceptor 的核心是 nvblox，它是一個由 CUDA 加速的 3D 重構庫，可以識別五米以外的障礙物，從而提供 2D 成本圖并在 300 毫秒內完成更新。

Isaac ROS nvblox 提供了用于重建 3D 場景和生成進行導航的本地障礙物成本圖的 ROS 2 軟件包。該軟件包可用于靜態環境以及有人員和移動物體的場景。

該版本新增了多攝像頭支持，最多可使用三個 HAWK 攝像頭擴大覆蓋范圍，提供約 270° 的視野。

體素 3D 重建，包括懸置障礙物的重建

NVIDIA Nova Orin 開發者套件

該開發者套件采用NVIDIA Jetson AGX Orin，可支持多達六個攝像頭，包括三個立體攝像頭和三個魚眼攝像頭，攝像頭內的延遲低于 100 微秒。

立體攝像頭的分辨率為每臺 200 萬像素，視野為 110X70，適用于 3D 占用網格映射、深度感知、視覺里程測量和人員檢測。通過 Segway 或 Leopard Imaging 購買Nova Orin開發者套件后，即可使用 Isaac Perceptor。

Isaac Perceptor 的參考圖最多可支持三個立體攝像頭。該版本通過 ROS 2 軟件包加強了模塊化，并提供與 Nova Carter 參考機器人上的Nav2的參考集成：

https://nav2.org/

增強與攝像頭和傳感器的兼容性

Isaac Perceptor 為攝像頭和傳感器合作伙伴提供更加強大的集成支持。Orbbec 成功地將其 Gemini 335L 攝像頭與 NVDIA Isaac Perceptor 組件集成在一起，并在 NVIDIA Jetson AGX Orin 上使用 Isaac ROS Visual SLAM 和 Nvblox 進行了演示。

LIPS 也成功地將其 AE450 攝像頭與 Isaac Perceptor 組件 nvblox 進行了集成。

NVIDIA Isaac Manipulator

Isaac Manipulator 是 NVIDIA 加速庫和 AI 模型的一個工作流。開發者能夠使用它為機械臂或機械手帶來 AI 加速功能，使其能夠無縫感知、理解環境并與環境互動。

其基礎模型和加速庫可以作為獨立模塊，也可以集成為解決方案開發中的整個工作流。除了獨立的模塊化組件外，開發者還能獲得工作流示例（ROS 2 啟動腳本），這些示例結合了 Isaac Manipulator 組件，能夠實現完整的端到端參考集成。

圖 . 利用 NVIDIA 組件（綠色）的

Isaac Manipulator 工作流示例

Isaac Manipulator 的早期合作伙伴包括機器人開發平臺公司、原始設備制造商和 ISV/SI，例如 Intrinsic（Alphabet 旗下公司）、西門子、所羅門、達明機器人、泰瑞達機器人、Vention 和安川電機。

Isaac Manipulator 的主要特點

Isaac Manipulator 帶來了可加速機械臂開發的 AI 功能。

cuMotion 加速路徑規劃

這款 GPU 加速運動規劃器有助于縮短周期時間。cuMotion 可作為 MoveIt 2 運動規劃框架的一個插件使用，該框架是由一個國際社區開發的開源項目，并由 PickNik Robotics 領導。

cuMotion 可在多個種子上并行運行軌跡優化，并返回最佳解決方案。

NVIDIA cuMotion 插件

所羅門是先進視覺和機器人解決方案領域的領先企業，同時也是 Isaac Manipulator 的早期合作伙伴。與傳統算法相比，其拾取系統通過 Isaac Manipulator cuMotion 的增強，路徑規劃速度提高了 8 倍，路徑奇異性的發生率降低了 50%。

表 2. 使用 Isaac Manipulator 的所羅門拾取系統的性能提升情況。

所羅門在成功率、移動時間、軌跡長度和規劃時間方面都有明顯改善，路徑奇異性現象也有所減少。

該數據由所羅門公司提供。

FoundationPose

FoundationPose 是一種新的統一基礎模型，適用于單樣本 6D 姿態估計和新物體追蹤。該模型在遇到以前未見過的物體時，無需進行微調即可在應用中高精度地工作。

目前，FoundationPose 在 2023 BOP 未見物體 6D 定位排行榜上名列前茅。它在遮擋、快速運動以及紋理和比例等各種物體屬性下都具有很強的魯棒性，在各種場景中都能發揮可靠的性能。開發者可以從任何角度生成逼真的物體視圖。從 GitHub 獲取 FoundationPose 模型：

進行姿態估計和追蹤

SyntheticaDETR

SyntheticaDETR 是一套基于實時檢測轉換器（DETR）的模型，用于在使用NVIDIA Omniverse生成的合成數據上進行單樣本圖像空間物體檢測訓練。與傳統的物體檢測器相比，它采用轉換器編碼器-解碼器架構一次性預測所有物體，從而實現了一種更加高效的方法。

進行物體檢測和追蹤

SyntheticaDETR 使用合成數據和真實數據進行訓練而成。它在使用 YCB-Video 數據集對可見物體進行 2D 檢測的 BOP 排行榜上名列前茅（平均精確度為 0.885，平均召回率為 0.903）。

這些模型還可以將物體檢測為 NVIDIA FoundationPose 等姿態估計器的 2D 邊界框感興趣區域。下載SyntheticaDETR 模型：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/isaac/models/synthetica_detr

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0，并支持所有 NVIDIA Jetson Orin 模塊和開發者套件。

NVIDIA Jetson 平臺服務即將推出 API 驅動的模塊化服務，使用戶能夠更加快速、輕松地構建生成式 AI 和機器人應用，這些預構建和可定制的服務將加速 NVIDIA Jetson Orin 系統模塊上的 AI 應用開發。

NVIDIA Isaac Sim 4.0

使用 Isaac Sim，開發者可以通過業界領先的傳感器和機器人類型測試生成合成數據和各種虛擬復雜測試環境，從而進行高度逼真的仿真，同時對數千個機器人進行實時測試。

NVIDIA Isaac Lab

Isaac Lab 是一款基于 Isaac Sim 平臺構建的輕量級參考應用，它在機器人基礎模型訓練中發揮著舉足輕重的作用。Isaac Lab 支持強化學習、模仿學習和遷移學習，它可以訓練各種機器人模型以供開發者研究設計和功能。

新版本還通過兼容性檢查器實現與 VSCode 的輕松集成、為強化學習提供多 GPU 支持、通過 RTX 傳感器平鋪渲染提高性能，并提供優化的緩存和著色器管理。

Isaac Sim 的其他新特點包括：

便于使用 PIP 安裝以及機器人導入等功能的向導

合成數據生成（SDG）速度提高了 80%，從而提高了性能

新的 SDG 格式，支持 COCO 格式和用于姿態估計的自定義寫入器

ROS 2 啟動支持，提供端到端工作流并為基于圖像的發布器提供更好的性能

支持更多內置機器人：包括優傲機器人 UR20 和 UR30 以及波士頓動力 Spot。還有許多人形機器人，包括 1X Neo、宇樹 H1、Agility Digit、傅利葉智能 GR1、Sanctuary A1 Phoenix 和小鵬 PX5。

審核編輯：彭菁