Vitis AI 2.0 來了！

Vitis AI 2.0 全面發(fā)布！作為賽靈思 FPGA 和自適應(yīng) SoC 上最綜合全面的基于軟件的 AI 加速解決方案，Vitis AI 繼續(xù)為用戶的 AI 產(chǎn)品貢獻價值與競爭力。2.0 版本的 Vitis AI 解決方案更易于開發(fā)者使用，給邊緣和數(shù)據(jù)中心帶來進一步的性能提升。本篇文章將會介紹新產(chǎn)品特性，具體包括模型、軟件工具、深度學(xué)習(xí)處理單元以及最新的性能信息。

Vitis AI 2.0 版本的主要特性：

1

通過更好的CPU OP流程顯著提升了模型覆蓋率，同時支持了Tensorflow框架內(nèi)推理機制；

2

新增20個先進的 AI 模型，用于 CNN 和 NLP 中的傳感器融合、視頻分析、超分辨率和情感估計應(yīng)用；

3

在 VCK190和 VCK5000硬件平臺上提供了靈活的DPU IP配置及新功能，包括支持 3D 卷積、depthwise卷積等，可滿足更多需求。

1

易用性取得突破性進展

用戶自定義OP ：

熟悉 Vitis AI 的用戶了解，這個工具和 IP 有時會遇到不支持的網(wǎng)絡(luò)層，導(dǎo)致部署失敗。不受 Vitis AI 工具與 DPU IP 支持的這些網(wǎng)絡(luò)層將被逐一劃分給 CPU 處理器，用戶需要手動處理 DPU 和 CPU 之間的數(shù)據(jù)交換，這個過程會影響用戶體驗。

在 Vitis AI 2.0 中，自定義 OP 流程提供更簡便的模型部署途徑。對于 DPU 不支持的 OP，這種方法在用 Graph Runner 對它們進行部署之前，先在量化流中定義這些 OP，然后完成注冊和實現(xiàn)。通過這種方法，用戶可以輕松部署完整模型，避免在流程中出錯。

WeGO Tensorflow 推理流程：

新版本中在易用性方面取得突破性進展的另一體現(xiàn)是引入了全圖形優(yōu)化器 (WeGO) 流。這是將 Vitis AI 開發(fā)套件與該框架集成后，從 Tensorflow 直接推斷的結(jié)果。在 Vitis AI 2.0 中，WeGO 可用于 TensorFlow 1.x 框架以及數(shù)據(jù)中心版本 DPU 上的AI推斷。

WeGO 自動為 Vitis AI 量化器量化的模型執(zhí)行子圖劃分，可以優(yōu)化并加速數(shù)據(jù)中心端DPU子圖應(yīng)用。DPU 不支持的圖形部分將拆分給 Tensorflow，在 CPU 上執(zhí)行。整個過程對用戶完全透明，依托對框架內(nèi)原生的所有層的支持，以及數(shù)據(jù)中心端 DPU 上更優(yōu)異的性能，整體易用性得到了進一步提升。

2

全新模型

AI 模型庫已成為 Vitis AI 堆棧中用戶最常使用的組件之一。它提供了能夠適用于多種視覺場景的免費、開放且可再訓(xùn)練的優(yōu)化模型。在 Vitis AI 2.0 版本中，免費模型的數(shù)量已增至 130 個，覆蓋主流框架 Pytorch、Tensorflow、Tensorflow 2 和 Caffe 。

部分新增模型如 SOLO、Yolo-X、UltraFast、CLOC、SESR、 DRUNet、SSR、FADNet、PSMNet、FairMOT。這些模型可廣泛用于目標檢測、分割、激光雷達成像傳感器融合、醫(yī)療成像處理、基于 2D 和 3D 的深度估算、用于情感檢測再識別、客戶滿意度和開放信息提取的NLP模型等。除了這些經(jīng)過訓(xùn)練的模型，新版本也提供了能夠提高模型準確性與硬件性能的 OFA 搜索模型。

3

DPU 可擴展性和新硬件平臺

Vitis AI 2.0 新增對 VCK190、VCK5000 量產(chǎn)板和新硬件 Alveo U55c 的支持。到目前，從嵌入式到數(shù)據(jù)中心，Vitis AI 全面支持所有主要的器件或加速器卡，包括 Zynq Ultrascale+ MPSoC、Versal ACPA 和 Alveo 卡。

邊緣和云平臺上的 DPU IP 都已升級以實現(xiàn)更多功能，如 Conv3D、Depthwise Conv、h-sigmoid、h-swish 等。Versal Edge DPU 能從 Batch 1 到 Batch 5 支持 C32 模式和 C64 模式，加強 DPU 與定制應(yīng)用集成的靈活性。

除了上述新特性，賽靈思還改進了 Vitis AI 工具鏈的功能與性能，由此 AI 量化器與編譯器均支持自定義 OP，且都支持更高版本的 Pytorch (v1.8-1.9) 和 Tensorflow (v2.4-2.6)。

AI 編譯器、基于全新算法的Optimizer、AI Library、VART、AI Profiler和 WAA 都支持本次發(fā)布的新增模型和自定義OP 流程等。

審核編輯：郭婷