實驗指南

概述

本實驗將為您介紹如何在e2 studio中使用Reality AI相關組件來進行AI開發，主要涉及如何使用Reality AI Data shipper/collector，Reality AI Data Storage Tool等工具來采集，存儲數據文件，同時將數據文件上傳到Reality AI portal中進行模型訓練與生成，代碼部署與調試。

本實驗基于3軸加速度傳感器的X，Y，Z，3軸加速度在不同動作下的變化，使用Reality AI tools訓練并生成模型，來識別不同的動作。開發流程簡單，快捷易用。

實驗目標

掌握Reality AI Data shipper/collector的基本使用方法

掌握Reality AI Data Storage Tool的基本使用方法

實驗材料

Windows10/11 PC

FPB-RA6E2開發板及其配件

ICM-42670-P模塊

FSP 5.4.0

e2 studio 2024-04及以上

Reality AI Tools賬號

技能要求

熟悉Renesas e2 studio操作

了解RA MCU的外圍接口

一安裝和準備

本節要點

本節學習如何搭建實驗以及如何將套件連接至電腦端。

步驟

1.1首先確保已安裝所有實驗工具。

e2stduio 2024-04及以上版本

（此鏈接包含了FSP5.4.0）

https://github.com/renesas/fsp/releases/download/v5.4.0/setup_fsp_v5_4_0_e2s_v2024-04.exe

JLink RTT-Viewer V7.96g及以上版本

https://www.segger.com/downloads/jlink/

1.2本實驗將用到如下組件：

Micro USB數據線1根

FPB-RA6E21塊

ICM-42670-P模塊1塊

PMOD bridge板1塊

1.3請按以下步驟操作：

將ICM-42670-P模塊和PMOD bridge板，按照下圖安裝（注意安裝方向）。再與FPB-RA6E2的左下PMOD1端口連接。

用Micro USB線，一端接入FPB-RA6E2板Micro USB端口，另一端接入PC USB接口。

右上黃色Debug LED和右上綠色Power LED會常亮。如果是處于代碼調試過程中，黃色Debug LED會處于閃爍狀態。

1.4打開PC設備管理器，在端口（COM和LPT）中會顯示“Jlink CDC UART Port（COMxx）”，表示PC已經識別到FPB-RA6E2板上的JLink CDC UART。在通用總線設備中會顯示“BULK interface”（這個不是必要的，有些版本的windows不會顯示這個信息）。

注意：中文版本的Windows顯示信息會略有不同，會顯示通信端口（COMxx）或者串行端口（COMxx）。

1.5使用已經申請到的Reality AI Tools賬號登錄Reality AI Tools網站（您可復制下方鏈接至瀏覽器，或掃描二維碼查看）。賬號申請需要聯系Renesas代理商或者Renesas銷售。

Reality AI Tools網站

https://portal.reality.ai/login

保持瀏覽器頁面如上圖所示。

二數據采集

本節要點

本節學習e2 studio中Reality AI組件的使用。

工程代碼

https://gitee.com/recn-mcu-ae/fpbra6e2amrtraining

步驟

2.1運行e2 studio，點擊File->Import。

2.2選擇General->existing Projects into Workspace，運行“Next”。

2.3導入FPBRA6E2_AMR_training工程文件按照下圖所示，然后運行“Next”。

2.4返回到Reality AI Tools網頁界面，創建一個新的項目“Asset Tracking”。

Name填寫Asset Tracking。

Description主要是用來描述項目簡略情況的，可以不填，或者按照自己的需要填寫。

2.5單擊網頁右上角的用戶名，選擇“Api Key”。

2.6單擊下面的“Generate New API Key”后，再單擊右側的Copy按鈕復制顯示的“API Key”。

2.7點擊e2 studio中的Renesas AI->Reality AI Authentication。

粘貼上一步復制的API Key，并運行“Apply and Close”。

2.8點擊“Test Connection…”，進行連接測試。

如果顯示下面界面，表示e2 Studio已經成功連接到Reality AI Tools。

2.9點擊e2 studio中的Renesas AI->Show View->Reality AI Data Storage Tool。

2.10將項目切換到FPBRA6E2_AMR_training，再點擊“Data connection…”。

COM port選擇1.4步驟中的Jlink CDC UART Port，波特率選擇115200，其他配置參考下圖顯示。

點擊“Connect”。然后再點擊“Close”。

2.11點擊圖標

來編譯工程。

本工程經過編譯后，應該沒有任何errors或者warnings。

2.12點擊按鈕

啟動調試并檢查控制臺中的

內容是否成功建立了連接。

2.13如果你遇到下面所示彈出的窗口，勾選“Remember my decision”，并點擊“Switch”。

2.14點擊按鈕

兩次。

此時，程序正常運行起來。

2.15點擊Reality AI Data Storage Tool視圖中的Data file setting…。

這里可以設置

采集的數據文件的格式，支持csv，wav格式文件。

數據的采樣率。

采集數據文件的存儲地址。地址可以根據自己情況設置。

2.16點擊Reality AI Data Storage Tool視圖，可以看到三種實時運行的波形圖。

注意：如果波形沒有出現或者波形圖不動，點擊紅色框中的File review，再點擊Live view。如果還是沒有波形圖出現，檢查上述步驟中的JLink CDC UART是否連接正常。

2.17在Class name中輸入當前的數據標簽normal/shake/drop，生成的數據文件會以標簽名為前綴名，并加上采集的data collector的ID號和時間戳。

如：drop_id0_20240813222558879.csv，表示該數據文件是drop類別的數據，它是由data collector0在2024年8月13日22點25分58秒879毫秒采集的。

本實驗一共需要采集3類數據，normal（正常）、shake（搖晃）、drop（跌落）。每類數據采集1分鐘左右即可。

注意：盡量做到每類數據采集的時間相同，這樣可以確保接下來的訓練數據處于平衡的狀態。

normal是板子處于靜止的狀態下采集的數據。

shake是拿著板子左右搖晃，前后搖晃或者移動板子的狀態下采集的數據。

drop是拿著板子離桌面10cm左右，自由落體跌落的狀態下采集的數據。（建議在泡沫或者軟材質墊子上進行，避免板子損壞）。

點擊“Start new capture”，開始進行數據采集。點擊“Stop capture”停止采集。

2.18選擇已經采集的數據文件，點擊右下角的upload…按鈕，上傳數據到Reality AI Tools中。

2.19在彈出的窗口中選擇“Asset Tracking”，并輸入采樣率1600。點擊OK，等待數據上傳。

數據上傳完成后，會有如下提示窗口彈出。同時，文件列表中的Status顯示為Uploaded。

2.20點擊圖標

來終止程序運行。