利高娱乐城线上赌博,香港六合彩127期开奖,世外桃园(中国)·官方网站

作者：顏國進英特爾邊緣計算創新大使

01前言

英特爾發行版 OpenVINO 工具套件基于 oneAPI 而開發，可以加快高性能計算機視覺和深度學習視覺應用開發速度工具套件，適用于從邊緣到云的各種英特爾平臺上，幫助用戶更快地將更準確的真實世界結果部署到生產系統中。通過簡化的開發工作流程，OpenVINO 可賦能開發者在現實世界中部署高性能應用程序和算法。

OpenVINO 2023.2 于 2023 年 11 月 16 日發布，該工具包帶來了挖掘生成人工智能全部潛力的新功能。更多的生成式 AI 覆蓋和框架集成，以最大限度地減少代碼更改，并且擴展了對直接 PyTorch 模型轉換的模型支持。支持更多新的模型，包括 LLaVA、chatGLM、Bark 和 LCM 等著名模型。支持更廣泛的大型語言模型（LLM）和更多模型壓縮技術，支持運行時推理支持以下 Int4 模型壓縮格式，通過神經網絡壓縮框架（NNCF）進行本機 Int4 壓縮等一系列新的功能。

通過最新的 OpenVINO 更新信息，我們可以看出，OpenVINO 其實是在不斷更新迭代，并且適配更多新的模型。其主要原因是不少新出現的模型可能會帶來更多新的算子，而 OpenVINO 可能會在后續的版本更新中才會適配。但如果我們當前階段需要使用 OpenVINO 部署該深度學習模型，那我們該怎么做？

其實對于一些編程大佬，以及對 OpenVINO 有深入研究的人，他們可以對 OpenVINO 源碼進行修改，然后自己寫模型算子，添加到 OpenVINO 中。但是，開發算子的門檻是很高的，對于大多數開發者來說，這是很困難很難實現的。

在之前部署 RT-DETR 模型時，我也遇到了該模型在 OpenVINO 使用 GPU 設備部署出現算子不支持問題。因此在該文章中，我將結合該問題的解決過程，向大家展示對于大多數開發者，如何解決模型部署時出現算子不匹配問題。

02提交 Issues

OpenVINO 是在 GitHub 上開源的一個項目，源碼開源，因此我們可以將源碼下載下來自己進行編譯，因此我們可以修改源碼，但是對于大多數開發者來說，修改源碼是很難實現的。GitHub 上的開源項目提供了 Issues 功能，開發者在使用時如果遇到問題，可以通過提交 Issues 向官方開發人員求助。

提交 Issues 的流程如下：

01訪問 OpenVINO 廠庫 Issues 頁面，然后創建一個 [new Issues]

OpenVINO 廠庫Issues 頁面：

https://github.com/openvinotoolkit/openvino/issues

02選擇一個 Issues 類型，可以根據自己的問題類型進行選擇

03選擇完類型后，就可以根據自己的問題情況，填寫相關的內容

04以該問題為例，簡單介紹一下 Issues 內容：

首先是基礎內容填寫，主要包括 OpenVINO 版本、開發平臺、推理設備、模型框架、所部署的模型以及問題的簡單描述。對于該問題，所提交的內容如下所示：

接下來是詳細復述問題出現的流程，為了讓開發者能夠更清楚地了解問題，這一不需要寫的非常詳細，確保開發人員能夠完整復現該問題。如果復現步驟比較簡單，可以在此處進行詳細描述，如果問題副相比較復雜，并且存在多個文件，那就需要創建一個 GitHub 廠庫存放相關文件。

最后一步就是添加錯誤日志輸出，主要是為了讓開發人員根據日志確認是否成功復現問題，或者是可以根據日志輸出定位問題所在。

在提交 Issues 后，OpenVINO 官方人員會根據問題內容，分配開發人員進行解決，此時我們就只需要等待 OpenVINO 官方回復即可。

03編譯 OpenVINO 源碼

上一步中我們已經相關方求助，不久之后便可以獲得官方的解答，但是官方的解答如果涉及到源碼的修改，可能對于大多數開發者來說會無從下手，對于涉及到源碼的改動，如果想直接在項目中使用，就需要自行進行源碼編譯。因為你所提出的問題官方給出的解決方案如果比較有價值的話，可能會在后續的版本中修復，并發布到最新版本中。但對于我們使用者來說，我們需要立刻就使用，而無法等待到下一個版本發布。因此，我們將結合官方給的回復與改動，基于 Windows 平臺，一步步從源碼開始，實現源碼編譯與使用。

3.1 下載源碼

OpenVINO 源碼可以通過 Git 進行下載，使用 Git 依次運行下面代碼：

git clone https://github.com/openvinotoolkit/openvino.git
cd openvino
git submodule update --init

左滑查看更多

由于網絡問題，此處下載可能較慢，但一定要保證上面下載的一些附加依賴能夠完整下載，不然后面編譯會出現錯誤。如果后面生成編譯文件時出現項目缺少，那主要原因就是此處因為網絡原因，有一些文件沒有下載下來，此處我也是下載了好幾次才下載下來完整的文件。

3.2 修改源碼

上一步我們已經下載完源碼，下一步就是需要根據官方給的修改意見對源碼進行修改，如下圖所示，該截圖為官方提供的源碼修改意見：

在該返回意見中，我們需要在源碼中增加一些代碼，所以此處大家可以根據情況對源碼進行修改即可。

3.3源碼編譯

上一步中已經下載并修改好了源碼，接下來就可以進行編譯了，此處我們采用 Cmake+vs2022 的方式進行編譯，通過 Cmake 編譯生成 VS2022 項目，然后使用 VS 編譯項目源碼。

首先依次運行下面兩條命令：

mkdir build && cd build
cmake -G "Visual Studio 17 2022"  -DCMAKE_BUILD_TYPE=Debug

左滑查看更多

此處需要把“”替換成自己的 OpenVINO 路徑，運行完第一條命令后，會創建 build 文件夾并切換到該文件夾中。運行完第二條命令后，如下圖所示，會根據項目中的 CMakeLists 文件進行編譯，最后編譯成功的輸出如第二張圖所示。

如果得不到上圖效果，說明編譯中出現了問題，需要回頭查找相關的錯誤。跟俊之前的編譯經驗，主要問題是出現在第一步中，主要原因是因為網絡問題導致的相關配置沒有下載。最后編譯成功后，會在 build 文件中出現 OpenVINO.sln 項目解決方案。

接下來我們使用 VS2022 打開該解決方案，然后通過設置 Debug 或 Release 來選擇生成的動態鏈接庫是什么版本，然后右擊 ALL_BUILD 項目，點擊生成，便可以運行項目進行源碼編譯。

友情提示，這一步源碼編譯由于涉及的代碼文件角度，因此需要較長的時間來生成。

3.4 獲取編譯后的動態鏈接庫

項目運行成功后，我們可以在下面路徑下找到編譯出的動態鏈接庫文件，可以看出，編譯所生成的 .dll 文件以及 .lib 文件，是我們所下載的官方發布的 OpenVINO 發行版 Runtime 中的文件是一致的，因此在后續使用時，我們只需要將我們編譯生成的動態鏈接庫文件替換到當前項目中即可。

04實際項目測試

該案例主要是基于 RT-DETR 模型使用 GPU 部署出現問題為例，最后我們回到該案例中，測試是否解決了我們的問題。關于使用在 C++ 部署 RTDETR 模型的流程可以參考我的上一篇文章：《基于OpenVINOC++ API部署RT-DETR模型|開發者實戰》，因此此處對于 C++ 項目配置不再作過多講解。

如下圖所示，該圖片是我們使用當前發行版本 OpenVINO 2023.2 運行結果，此處我們使用的是 GPU.0 集成顯卡運行推理，可以看出，模型在推理階段會出現錯誤導致程序崩潰結束。