NVIDIA TAO 工具套件提供了一個低代碼 AI 框架，無論是新手還是數據科學專家都可以使用這個平臺加速視覺 AI 模型開發(fā)。有了 TAO 工具套件，開發(fā)人員可以進行遷移學習，通過適應和優(yōu)化，在短時間內達到最先進的精度和生產級吞吐量。

NVIDIA 發(fā)布了 NVIDIA TAO 套件 5.0 ，帶來了 AI 模型開發(fā)方面的突破性功能提升。新功能包括開源架構、基于 Transformer 的預訓練模型、AI 輔助的數據標注，以及在任何平臺上部署模型的能力。

發(fā)布亮點包括：

• 以開放的 ONNX 格式導出模型，支持在 GPU、CPU、MCU、神經加速器等設備上部署。

• 先進的視覺 Transformer 訓練，可提高準確性和魯棒性，防止圖像損壞和噪聲。

• 新增 AI 輔助數據注釋，加快了分割掩碼的標記任務。

• 支持例如光學字符檢測和連體網絡模型等用于光學檢測的新型計算機視覺任務和預訓練模型。

• 開放源代碼，可提供定制解決方案，加快開發(fā)和集成速度。

使用指南：

• 訪問 TAO 工具套件入門頁面，查看教學視頻和快速入門指南。

• 從 NGC 下載 TAO 工具套件和預訓練模型。

圖 1：NVIDIA TAO 工具套件工作流程圖

在任何平臺、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導出。無論是 GPU 、CPU 、MCU 、DLA 還是 FPGA 的邊緣或云上的任何計算平臺，都可以部署使用 NVIDIA TAO 工具套件訓練的模型。NVIDIA TAO 工具套件簡化了模型訓練過程，優(yōu)化了模型的推理吞吐量，為數千億臺設備的 AI 提供了動力。

圖 2：NVIDIA TAO 工具套件體系

用于構建、完善和部署機器學習模型和算法的平臺 Edge Impulse 將 TAO 工具套件集成到其邊緣 AI 平臺中。通過整合，Edge Impulse 現在可以提供先進的視覺 AI 功能和模型，并對其現有產品進行補充。開發(fā)者可以利用 TAO，使用該平臺為任何邊緣設備構建生產型 AI。

視頻 1. 利用NVIDIATAO 并部署在Cortex-M7 MCU 上的

Edge Impulse 平臺訓練 AI 模型

全球領先的嵌入式微控制器制造商意法半導體，將 TAO 集成到其 STM32Cube AI 開發(fā)者工作流程中。借助 TAO，該公司能夠在 STM32 微控制器驅動的各種物聯(lián)網和邊緣用例中，根據它們的最大算力和內存運行各種復雜 AI 功能。

有了 NVIDIA TAO 工具套件，即使是 AI 新手也可以在微控制器的計算和內存預算內優(yōu)化和量化 AI 模型，使其在 STM32 MCU 上運行。開發(fā)人員還可以導入自己的模型，并使用 TAO 工具套件進行微調。有關這項工作的更多信息，請參閱下面的視頻。

訪問 GitHub 頁面（https://github.com/STMicroelectronics/stm32ai-tao），了解更多關于意法半導體用例信息。

視頻 2: 了解如何在一個 STM 微控制器上

部署使用 TAO 工具套件優(yōu)化的模型

雖然 TAO 工具套件模型可以在任何平臺上運行，但這些模型在使用TensorRT進行推理的NVIDIA GPU上才能實現最高吞吐量。在 CPU 上，這些模型使用 ONNX-RT 進行推理。一旦軟件可用，將提供復制這些數字的腳本和配方。

表 1：幾種 NVIDIA TAO 工具套件

視覺模型的性能比較（以 FPS 為單位），

包括 NVIDIA GPU 上的新視覺 Transformer 模型

AI 輔助的數據標注和管理

對于所有 AI 項目來說，數據標注仍然是一個昂貴且耗時的過程。對于 CV 任務尤其如此，比如需要在標注對象周圍生成像素級別分割掩碼的分割任務。通常，分割掩碼的成本是對象檢測或分類的 10 倍。

通過 TAO 工具套件 5.0 ，用最新的 AI 輔助標注功能對分割掩碼進行標注，速度更快，成本更低。現在，您可以使用弱監(jiān)督分割架構 Mask Auto Labeler （MAL）來輔助進行分割注釋，以及固定和收緊用于對象檢測的邊界框。實況數據中對象周圍的松散邊界框可能會導致非最佳檢測結果。但是，通過 AI 輔助標注，您可以將邊界框收緊到對象上，從而獲得更準確的模型。

圖 3：TAO 工具套件的自動標記

MAL 是一個基于 Transformer 的掩碼自動標注框架，用于僅使用方框標注的實例分割。MAL 將方框裁剪圖像作為輸入內容，并有條件地生成掩碼偽標簽。它對輸入和輸出標簽都使用了 COCO 注釋格式。

MAL 顯著縮小了自動標注和人工標注在掩碼質量方面的差距。使用 MAL 生成的掩碼訓練的實例分割模型幾乎可以匹配全監(jiān)督對應模型的性能，保留了高達 97.4% 的全監(jiān)督模型的性能。

圖 4：MAL 網絡架構

訓練 MAL 網絡時，任務網絡和教師網絡（共享相同的轉換器結構）協(xié)同工作以實現與類無關的自我訓練。這樣就可以優(yōu)化具有條件隨機場（CRF）損失和多實例學習（MIL）損失的預測掩碼。

TAO 工具套件在自動標注流程和數據擴充流程中都使用了 MAL 。具體而言，用戶可以在空間增強的圖像上生成偽掩碼（例如，剪切或旋轉），并使用生成的掩碼細化和收緊相應的邊界框。

最先進的視覺 Transformer

Transformer 已經成為 NLP 中的標準架構，這主要是因為自注意力架構，同時它們還因一系列視覺 AI 任務而廣受歡迎。一般來說，基于 Transformer 的模型因為具有魯棒性、可推廣性和對大規(guī)模輸入執(zhí)行并行處理的能力，會優(yōu)于傳統(tǒng)的基于 CNN 的模型。所有這些優(yōu)點都提高了訓練效率，對圖像損壞和噪聲提供了更好的魯棒性，并對不可視的對象更好地進行泛化。

TAO 工具套件 5.0 為流行的 CV 任務提供了幾種最先進的（SOTA）視覺 Transformer ，具體如下。

全注意力網絡

全注意力網絡（FAN）是 NVIDIA Research 的一個基于 Transformer 的主干，它在抵御各種破壞方面實現了最優(yōu)的魯棒性。這類主干可以很容易地推廣到新的領域，并且對噪聲、模糊等更具魯棒性。

FAN 模塊背后的一個關鍵設計是注意力通道處理模塊，它可以實現穩(wěn)健的表征學習。FAN 可以用于圖像分類任務以及諸如對象檢測和分割之類的下游任務。

圖 5 ：與 FAN Small （右）相比，

ResNet50 （中）損壞圖像的激活熱圖

FAN 系列支持四個主干，如表 2 所示。

表 2：具有尺寸和精度的 FAN 主干

全局視野視覺 Transformer

全局上下文視覺 Transformer（GC-ViT）是 NVIDIA Research 的一種新架構，可實現非常高的準確性和計算效率。GC-ViT 解決了視覺 Transformer 中缺乏誘導性偏差的問題 。通過使用局部自注意，它在 ImageNet 上使用較少的參數獲得了更好的結果。

局部自我注意與全局視野自我注意相結合，可以有效地模擬長距離和短距離的空間交互。圖 6 顯示了 GC-ViT 模型體系結構。有關更多詳細信息，請參見 Global Context Vision Transformers （https://arxiv.org/pdf/2206.09959.pdf）。

圖 6：GC-ViT 模型架構

如表 3 所示，GC-ViT 家族包含六個主干，從 GC-ViT-xxTiny （計算效率高）到 GC-ViT-Large （非常準確）。GC-ViT 大型模型在 ImageNet-1K 數據集上可以實現 85.6 的 Top-1 精度，用于圖像分類任務。該體系結構還可以用作其他 CV 任務的主干，如對象檢測、語義和實例分割。

表 3：具有尺寸和精度的 GC-ViT 主干

DINO

DINO（具有改進去噪錨框的檢測 Transformer）是最新一代檢測 Transformer（DETR），達到了一個比上一代更快的訓練收斂時間。Deformable DETR （D-DETR）至少需要 50 個 epochs 才能收斂，而 DINO 可以在 COCO 數據集上在 12 個 epochs 內收斂。而且，與 D-DETR 相比，它還實現了更高的精度。

DINO 通過在訓練期間去噪實現更快的收斂，這有助于提案生成階段的二分匹配過程。由于二分匹配的不穩(wěn)定性，類 DETR 模型的訓練收斂速度較慢。二分匹配減少了對人工和計算繁重的 NMS 操作的需求。但是，它通常需要更多的訓練，因為在二分匹配期間，不正確的基本事實也可以與預測相匹配。

為了解決這個問題， DINO 引入了有噪聲的正負真實框來處理“無對象”場景。因此，DINO 的訓練收斂得非常快。更多信息，請參閱 DINO: 帶有改進的去噪錨框的 DETR，可用于端到端對象檢測（https://arxiv.org/pdf/2203.03605.pdf）。

圖 7：DINO 架構

TAO 工具套件中的 DINO 是靈活的，可以與傳統(tǒng)的 CNNs 主干（如 ResNets ）和基于 Transformer 的主干（如 FAN 和 GC-ViT）相結合。表 4 顯示了在各種版本的 DINO 和常用的 YOLOv7 上 COCO 數據集的準確性。有關更多詳細信息，請參見 YOLOv7: 為實時物體檢測器設置了新的先進技術的可訓練的免費套件（https://arxiv.org/pdf/2207.02696.pdf）。

表 4：COCO 數據集上的 DINO 和 D-DETR 準確性

SegFormer

SegFormer 是一種基于 Transformer 的輕量級語義分割方法。它的編碼器由輕量級 MLP 層制成，避免了使用位置編碼（主要由 Transformers 使用），這使得推理在不同分辨率下有效。

將 FAN 主干網添加到 SegFormer MLP 解碼器中會產生一個高度魯棒性和高效的語義分割模型。混合式 FAN-基站 + SegFormer 是 2022 年魯棒視覺挑戰(zhàn)大賽中語義分割項目的獲勝架構。

圖 8：具有 FAN 預測功能的 SegFormer （右）

其在噪音輸入時的一個圖像情況（左）

表 5：SegPreer 與 PSPNet 的魯棒性對比

在下面的視頻中，您將看到 SegFormer 如何保持加速自動駕駛汽車開發(fā)的高效率的同時，生成強魯棒性的語義分割。

視頻 3. NVIDIA DRIVE 實驗室片段，

關于提升自動駕駛汽車安全的 AI 分割模型

目標檢測和分割之外的 CV 任務

除了傳統(tǒng)對象檢測和分割，NVIDIA TAO 工具套件也加速了其他的各種 CV 任務。TAO 工具套件 5.0 中新增的字符檢測和識別模型使開發(fā)人員能夠從圖像和文檔中提取文本。文檔轉換實現了自動化，并加速了在保險和金融等行業(yè)的用例。

當被分類的對象變化很大時，檢測圖像中的異常是有用的，但不可能用所有的變化進行訓練。例如，在工業(yè)檢測中，缺陷可以是任何形式的。如果訓練數據之前沒有發(fā)現缺陷，那么使用簡單的分類器可能會導致許多遺漏的缺陷。

對于這樣的用例，將測試對象直接與黃金參考進行比較將獲得更好的準確性。TAO 工具套件 5.0 的特點是暹羅神經網絡，在該網絡中，模型計算出被測對象和黃金參考之間的差異，以便在對象有缺陷時進行分類。

使用 AutoML 實現超參數優(yōu)化的

自動化培訓

自動化機器學習（AutoML）自動執(zhí)行手動任務，即在給定數據集上查找所需 KPI 的最佳模型和超參數。它可以通過算法推導出最佳模型，并抽象出 AI 模型創(chuàng)建和優(yōu)化的大部分復雜性。

TAO 工具套件中的 AutoML 完全配置了用于自動優(yōu)化模型的超參數。無論是 AI 專家還是新手，都可以輕松使用。對于新手，Jupyter 使用指南提供了一種簡單且有效的創(chuàng)建準確的 AI 模型的方法。

對于專家來說，TAO 工具套件可讓您自由掌控要調整的超參數以及用于掃描的算法。TAO 工具套件目前支持兩種優(yōu)化算法：貝葉斯優(yōu)化和超參數優(yōu)化。這些算法可以掃描一系列超參數，以找到給定數據集的最佳組合。

AutoML 支持多種 CV 任務，包括一些新的視覺 Transformer，如 DINO、D-DETR、SegFormer 等。表 6 顯示了支持網絡的完整列表（標粗的項目是 TAO 工具套件 5.0 的新增項目）。

表 6 ：TAO 工具套件中 AutoML 支持的模型，

包括幾個新的視覺轉換器模型

（標粗的項目是 TAO 工具套件 5.0 的新項目）

用于工作流程集成的 REST API

TAO 工具套件是模塊化和云原生的，這意味著它可以作為容器使用，并且可以使用 Kubernetes 進行部署和管理。TAO 工具套件可以作為自管理服務部署在任何公共或私有云、DGX 或工作站上。此外 TAO 工具套件提供定義完善的 REST API，使其易于集成到您的開發(fā)工作流程中。開發(fā)人員可以調用 API 端點來執(zhí)行所有訓練和優(yōu)化任務。這些 API 端點可以從任何應用程序或用戶界面調用，然后通過遠程觸發(fā)進行訓練作業(yè)。

圖 9：用于云原生部署的 TAO 工具套件架構

更好的推理優(yōu)化方案

為了簡化產品化并提高推理吞吐量，TAO 工具套件提供了多種交鑰匙性能優(yōu)化技術。其中包括模型修剪、低精度量化和 TensorRT 優(yōu)化，與公共模型庫的同類模型相比，這些技術加起來可以提供一個 4 到 8 倍的性能提升。

圖 10：在各種 GPU 上優(yōu)化的 TAO 工具套件

和公共模型之間的性能比較

開放靈活，具有更好的支撐

因為 AI 模型是基于復雜的算法預測輸出的，這可能會使人們很難理解系統(tǒng)是如何做出決定的，并且很難調試、診斷和修復錯誤。可解釋人工智能（XAI）通過解釋 AI 模型如何做出決策來應對這些調整。這不僅有助于人類理解 AI 輸出背后的推理過程，也使診斷和修復錯誤變得更容易。這種透明度有助于建立對 AI 系統(tǒng)的信任。

為了提高透明度和可解釋性，TAO 工具套件將以開源形式提供。開發(fā)人員將能夠從內部層查看特征圖，并繪制激活熱圖，以更好地理解人工智能預測背后的推理過程。此外，訪問源代碼將使開發(fā)人員能夠靈活地創(chuàng)建定制的 AI，提高調試能力，并增加對其模型的信任。

NVIDIA TAO 工具套件現已推出，可通過 NVIDIA AI Enterprise （NVAIE） 購買。NVAIE 為公司提供關鍵業(yè)務支持、NVIDIA AI 專家答疑以及優(yōu)先安全修復。了解 NVAIE (https://www.nvidia.com/en-us/data-center/products/ai-enterprise/)并獲得 AI 專家的指導。

與云服務集成

NVIDIA TAO 工具套件可以集成到您使用的各種 AI 服務中，如 Google Vertex AI、AzureML、Azure Kubernetes 服務、Google GKE 和 Amazon EKS。

圖 11：TAO 工具套件 5.0 與各種 AI 服務集成

總結

TAO 工具套件提供了一個平臺，任何開發(fā)者在任何服務、任何設備上都可以使用，可以輕松地遷移學習他們的自定義模型，執(zhí)行量化和修剪，管理復雜的訓練工作流程，并在無需編碼的情況下執(zhí)行人工智能輔助注釋。

*為提供 TAO 工具套件 5.0 版本的準確信息，本文已在原版基礎上進行了修訂。

點擊“閱讀原文”，或掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內容創(chuàng)作解決方案。