描述

介紹

我們的目標(biāo)是創(chuàng)建一個(gè)自主的室內(nèi)機(jī)器人，它使用不同的控制策略來處理它的運(yùn)動(dòng)。在這個(gè)項(xiàng)目中，我們提出了一種解決方案，它對(duì)傳感器進(jìn)行建模并實(shí)施模型預(yù)測(cè)控制 (MPC)。

關(guān)于 MPC 控制的一些話： 模型預(yù)測(cè)控制 (MPC) 是一種眾所周知的用于解決在線優(yōu)化問題的控制策略，廣泛用于自動(dòng)駕駛汽車應(yīng)用。MPC 的計(jì)算成本高且資源消耗大，尤其是當(dāng)涉及到嵌入式計(jì)算平臺(tái)的有限資源時(shí)，例如片上系統(tǒng) (SoC) 和現(xiàn)場(chǎng)可編程門陣列 (FPGA) 平臺(tái)。最近，機(jī)器學(xué)習(xí)（ML）在減少執(zhí)行時(shí)間和資源消耗方面已成為經(jīng)典控制系統(tǒng)的有效替代方案。模型預(yù)測(cè)控制 (MPC) 是最常用的控制策略之一，因?yàn)樗軌蚪鉀Q在線優(yōu)化問題并處理軟約束和硬約束。但是，對(duì)于復(fù)雜的高非線性系統(tǒng)，MPC的實(shí)現(xiàn)是一個(gè)很大的挑戰(zhàn)；

深度神經(jīng)網(wǎng)絡(luò)被認(rèn)為是一種自我優(yōu)化的方法，因?yàn)樗軌蚋鶕?jù)提供的信息優(yōu)化其行為，這使得 DNN 適用于復(fù)雜的動(dòng)態(tài)系統(tǒng)。使用 Matlab Simulink 和 MPC 工具，我們發(fā)現(xiàn)這會(huì)讓人頭疼，因?yàn)槲覀兪褂玫氖切⌒?FPGA。出于這個(gè)原因，在米什科爾茨大學(xué)，我們創(chuàng)建了一個(gè) DNN 工具，它從給定的輸入數(shù)據(jù)創(chuàng)建一個(gè)基于給定數(shù)據(jù)中的 System Generator 庫元素的可參數(shù)化 DNN 網(wǎng)絡(luò)。

一個(gè)傳統(tǒng)的 MPC 控制器如圖 1 所示。MPC 控制器的預(yù)測(cè)策略是在預(yù)測(cè)范圍內(nèi)執(zhí)行的，它代表了控制器期待未來的下一個(gè) P 時(shí)間步長(zhǎng)。MPC 控制器模擬幾個(gè)未來場(chǎng)景，優(yōu)化器根據(jù)成本函數(shù)選擇最佳場(chǎng)景，成本函數(shù)代表參考目標(biāo)和預(yù)測(cè)輸出之間的誤差。最優(yōu)方案對(duì)應(yīng)于最小成本函數(shù)。

圖 1 傳統(tǒng) MPC 圖。

?

該控制器計(jì)算量大，因?yàn)樗鉀Q了每個(gè)時(shí)間步的在線優(yōu)化問題，這需要高計(jì)算能力和大內(nèi)存。計(jì)算負(fù)載和高資源消耗使 MPC 在有限資源上的實(shí)現(xiàn)成為一個(gè)巨大的挑戰(zhàn)。

設(shè)計(jì)MPC模型的第一步是確定車輛內(nèi)部模型的輸入輸出信號(hào)，第二步是設(shè)置參數(shù)和確定約束條件。操縱變量（轉(zhuǎn)向角 δ）和擾動(dòng)（vx ρ）被確定為輸入信號(hào)，而橫向速度 vy、橫向偏差 d、偏航角 θ 和偏航率 ω 被確定為輸出信號(hào)（見圖 2）。

Fig.2 車輛模型的全局位置。

?

模型方程如下：

圖 3 車輛方程。

?

約束條件如下確定：轉(zhuǎn)向角在 [-1.04, 1.04] rad 范圍內(nèi)，偏航角速率在 [-0.26, 0.26] rad 范圍內(nèi)。在設(shè)計(jì)過程中保持這些參數(shù)，直到獲得滿意的行為。MPC 和工廠模型的總體設(shè)計(jì)如圖 4 所示。

圖4 MPC和工廠模型設(shè)計(jì)的總圖。

?

深度神經(jīng)網(wǎng)絡(luò) IP 程序的自動(dòng)生成

設(shè)計(jì)步驟如下：

• 首先制作了傳統(tǒng)的MPC控制器；驗(yàn)證和測(cè)試 MPC 設(shè)計(jì)；深度神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)，生成數(shù)據(jù)集；訓(xùn)練 DNN 模型；驗(yàn)證和測(cè)試 DNN 模型；（這些步驟對(duì)于每個(gè)新的 DNN 都是特定的，因此這里不介紹這些步驟）；
• 下一步是運(yùn)行IP工具生成器（見附件中的工具）；
• 運(yùn)行仿真和硬件在環(huán)仿真（見模型和隨附的初始化文件）；
• FPGA 在硬件中的部署和測(cè)試。
• 為 KRIA SOM KV260 創(chuàng)建自適應(yīng)硬件平臺(tái)（參見教程https://github.com/Xilinx/Vitis-Tutorials/tree/2021.2/Vitis_??Platform_Creation/Design_Tutorials/01-Edge-KV260）
• 將 AXI IP DNN 導(dǎo)入 Vivado 或 Vitis（在編輯和提交項(xiàng)目時(shí)，我們沒有收到 Xilinx 的反饋如何在 Vitis 中導(dǎo)入翻譯后的項(xiàng)目）

對(duì)于深度神經(jīng)網(wǎng)絡(luò) IP 的自動(dòng)生成，創(chuàng)建的 DNN 工具（見附件 DNN 工具 IP 生成器）。

首先使用 DNN 工具創(chuàng)建 DNN。一般而言，將使用該工具的人應(yīng)提供以下參數(shù)：

該工具的輸入如下：

• 每層的神經(jīng)元數(shù)量
• 精度（浮點(diǎn)或 FIX16 或 FIX8）
• 權(quán)重
• 偏見

輸出是在 Matlab Simulink 中生成的 DNN IP。

備注：該工具正在工作，但應(yīng)考慮針對(duì)不同的 AMD Xilinx 平臺(tái)進(jìn)行一些優(yōu)化和修飾。這是 PL（可編程邏輯）包含的神經(jīng)元和 DSP 元素?cái)?shù)量的函數(shù)。該工具已針對(duì) KC705 板和 Kria KV260 SOM 成功測(cè)試。

首先加載DNN_Generator.m文件并根據(jù)需要進(jìn)行編輯：

%Edit model_parameters_here...神經(jīng)元計(jì)數(shù) = [6 20 10 10 1]; % 7 層中每一層的神經(jīng)元數(shù)量%starting model... init;

然后運(yùn)行。該模型已創(chuàng)建并可用于自己的目的。

仿真/硬件在環(huán)仿真 (HIL)

在 Simulink 環(huán)境下進(jìn)行了仿真，取得了不錯(cuò)的效果。不幸的是，對(duì)于 Kria KV260 模塊，系統(tǒng)生成器不允許我們進(jìn)行硬件在環(huán)仿真。我們使用 KC705 板為生成的 DNN 制作了 HIL。使用 KV260 仿真和使用 KC705 的 HIL 獲得的結(jié)果相似。

如下圖（圖 5）所示創(chuàng)建的 Vivado 項(xiàng)目已成功翻譯并導(dǎo)出到 Vitis。在 Vitis 軟件中，我們甚至無法運(yùn)行“hello world”項(xiàng)目。Vitis 報(bào)告“平臺(tái)無法識(shí)別。

圖 5. Vivado 模塊設(shè)計(jì)視圖。

?

在圖中（圖 5）可以觀察到，我們創(chuàng)建了兩個(gè) IP-s，一個(gè)與 AXI 兼容，一個(gè)沒有 AXI 接口。我們的經(jīng)驗(yàn)是，沒有 AXI 接口的設(shè)備在 KC705 平臺(tái)上工作得更正確。

只是為了在下圖中顯示一個(gè)示例，我們展示了 KC705 模塊的結(jié)果，因?yàn)槲覀儫o法在 KV260 上進(jìn)行 HIL 和測(cè)試。

圖 6. 在 FPGA 上計(jì)算的估計(jì)轉(zhuǎn)向角與傳統(tǒng) MPC 和 DNN 模型的仿真結(jié)果相比。

?

圖 7. 車輛對(duì)估計(jì)轉(zhuǎn)向角的橫向偏差響應(yīng)：FPGA 和仿真結(jié)果的比較。

?

圖 8. 偏航角對(duì)估計(jì)轉(zhuǎn)向角的車輛響應(yīng)：FPGA 和仿真結(jié)果的比較。

?

結(jié)果

創(chuàng)建的 DNN_tool 可用于實(shí)現(xiàn)任何 DNN 網(wǎng)絡(luò)，并且可以在 Simulink 中進(jìn)行測(cè)試。模擬、HIL 和實(shí)施可以在 FGPA 中完成。

創(chuàng)建的工具可供任何人免費(fèi)使用。

不幸的是，我們無法在 Kria 板上測(cè)試模型預(yù)測(cè)控制，但可能在不久的將來我們會(huì)在 AMD-Xilinx 工作人員的幫助下解決這個(gè)問題。

我們面臨的主要問題是如何在不使用 RTL 內(nèi)核向?qū)У那闆r下將 DNN MPC 模型集成到 Vitis。

評(píng)論

（對(duì)于具有高級(jí)知識(shí)的人）構(gòu)建一個(gè)項(xiàng)目需要多長(zhǎng)時(shí)間？

答案是：1 小時(shí)來訓(xùn)練和準(zhǔn)備 DNN。5 分鐘安裝 DNN 工具并生成 IP。10-20 分鐘通過導(dǎo)入 IP 并進(jìn)行所有必要的設(shè)置來創(chuàng)建 Vivado 項(xiàng)目。5-30 分鐘（取決于 DNN 的大小和優(yōu)化策略）創(chuàng)建比特流。10 分鐘遷移到 Vitis 并運(yùn)行項(xiàng)目。30 - 60 分鐘編寫 C 程序并測(cè)試結(jié)果。

我們花了多長(zhǎng)時(shí)間構(gòu)建 DNN 工具并在不同平臺(tái)上測(cè)試該工具？

答案是：5個(gè)月每天工作3-5小時(shí)左右。