描述

TeamName- 尤達

TeamMembers- Tharun Medini（只有我）

Goal

該項目的主要任務是在 Arduino Nano BLE Sense 33 等邊緣設備上訓練神經網絡。該設備的內存和處理能力非常有限。因此，我們需要將神經網絡壓縮到一個非常小的占用空間，然后將其與某個特定任務的真實輸入信號結合使用。

Task

我選擇了喚醒詞檢測任務。在這個任務中，我們需要邊緣設備（Arduino Nano BLE Sense 33）來聽聲音，并將口語分類為“是”、“否”、“不是”和靜音。為了觀察性能，我們打算在我們說“是”時點亮板上的綠色 LED，當我們說“否”時點亮紅色 LED。換句話來說，當我們保持沉默時，藍色的 LED 應該會亮起，并且什么都不會亮起。

WorkFlow

涉及的三個主要步驟是 1) 在 Tensorflow 中訓練機器學習模型 2) 將模型量化為低位（通常為 8 位）并將其轉換為 C 代碼和 3) 構建并將其上傳到 Arduino Nano BLE Sense 33 板。

Data and Model

用于訓練的數據集是一個語音命令數據集，它有 65000 個數據點，對應于 30 個單詞的一秒話語。我們對數據進行預處理，將 30 個類修改為僅 4 個。兩個類明確表示“是”和“否”，將 28 個單詞放入一個名為“未知”的類中，最后一個類表示沉默。數據被預先特征化為 2D 頻譜圖，并使用 CNN 進行訓練。

Arduino Issues

我訂購了兩塊 Arduino Nano 板，因為我在使用第一塊時遇到了很多問題。可操作性是命中注定的。我還訂購了具有顯式數據模式和電源模式切換的電纜，因為默認電纜無法正常工作。

另一個主要問題是，從 Arduino IDE 上傳代碼后，COM 端口發生變化，Arduino 斷開連接。但是，使用網絡編輯器，我克服了這個問題。

?

?