描述

圣誕節(jié)，我女兒收到了她祖父的“建立你自己的喂鳥器”。我認(rèn)為制作太陽能喂鳥器相機會是一個有趣的項目，這樣她就可以看到喂鳥器中的鳥兒！我以前在這里看到過一些圖像識別喂鳥器項目，但它們帶有相當(dāng)大的 Raspberry Pi SBC 和硬接線供電。我想我會試一試帶有低功率 MCU 的太陽能版本。隨著我對 Edge Impulse 越來越滿意，我想我也可以添加一些圖像識別功能！像往常一樣，我遇到了一些小問題，但總的來說，我對項目的結(jié)果感到滿意。

該項目從我 5 年的建筑開始，繪制和裝飾鳥屋。你可以在上面的照片中看到她的成品。一旦她的杰作完成，我就接手了。

我有一塊 1W 的太陽能電池板，還有太陽能充電器、Powerboost 和一塊 2500 mAh 的 3.7V 電池。我也有一個 ESP32 攝像頭。這是一個相當(dāng)便宜的微控制器（USB 適配器約 10 美元），但用于圖像識別模型的內(nèi)存不多（約 520 kB），但是，它確實有 Wifi 與 ESP32-S！

因為我要把喂鳥器放在離我家很遠(yuǎn)的地方，所以我想我需要一個外部 WiFi 天線來為 MCU 增加 WiFi 范圍。ESP-32 Cam 已經(jīng)有一個 uFL 連接器，所以它只是即插即用，對吧？好吧，沒那么多……原來天線有 2 種設(shè)置：默認(rèn)的板載天線（帶 0 歐姆電阻）和外部天線。

ESP-32 CAM 的 2 個設(shè)置。這是真的很小。

?

Random Nerd Tutorials 有一個很棒的教程，介紹了我遵循的如何設(shè)置外部天線。使用我的基本設(shè)備（帶標(biāo)準(zhǔn)尖端的烙鐵，無放大倍數(shù)），卸下電阻器并放入外部天線的兩個焊盤之間的焊橋是一件很痛苦的事情。上圖是放大的，那些墊子很小。但是我搞定了！我建議你為你的烙鐵和一個放大鏡準(zhǔn)備一個很好的尖端來做到這一點。我發(fā)現(xiàn)大多數(shù)電路板都將板載天線作為默認(rèn)設(shè)置，因此如果您打算使用外部天線，則必須這樣做。

一旦我在 MCU 上配置和測試了外部天線，我在喂鳥器的側(cè)面鉆了一個孔，將天線電纜穿過食物儲存區(qū)，我將把相機放在那里。我使用我找到的 3D 打印外殼安裝了相機（并且已經(jīng)在我當(dāng)?shù)氐膱D書館打印了！）和雙面膠帶安裝到喂鳥器的塑料外殼之一。然后我將太陽能電池板安裝在朝南的喂鳥器的屋頂上（因為我在北半球）。

太陽能電池板安裝在屋頂上。你可以看到右邊的天線

?

我找到一個舊塑料容器，將太陽能充電器、Power boost 和電池放入一個整潔的包裝中。我在側(cè)面切了一些孔，以便將太陽能電池板的連接器和 USB 電纜連接到喂鳥器中的 ESP-32 凸輪。完成設(shè)置后，我使用一些雙面膠帶將其安裝到喂鳥器的底部。

我使用了一個舊塑料容器作為電池、Power Boost 和太陽能充電器的外殼。

?

然后是時候開始編碼了！我從 Arduino IDE 中的 ESP-32 庫附帶的 CameraWebServer 示例開始。我花了一些時間來了解它是如何工作的，然后我對其進(jìn)行了精簡以從網(wǎng)絡(luò)服務(wù)器中刪除許多功能。基本上，我希望能夠看到視頻的實時流，使用 Edge Impulse 模型對該視頻進(jìn)行推理，然后將任何鳥類照片保存到 ESP32 Cam 上的 SD 卡中。

在大多數(shù)情況下，編碼進(jìn)行得很好。了解 app_httpd.cpp 文件與 Arduino 草圖的關(guān)系有點棘手，但你花在其中的時間越多，它就越有意義。我也花了一點時間才知道網(wǎng)絡(luò)服務(wù)器的網(wǎng)頁是一個編碼數(shù)組。我使用Cyber?? Chef將數(shù)組解碼為 html，進(jìn)行更改，然后再次編碼回十六進(jìn)制格式。它讓我慢了一點，但能夠弄清楚并繼續(xù)前進(jìn)。

我使用 Cyber?? chef 對 webserver html 進(jìn)行解碼和編碼

?

現(xiàn)在我已經(jīng)啟動并運行了網(wǎng)絡(luò)服務(wù)器，是時候制作Edge Impulse模型了！我已經(jīng)公開了我的項目，所以你可以在這里看到它。我保持模型非常簡單。我從 kaggle下載了一個鳥類數(shù)據(jù)集，并過濾了我所在地區(qū)常見的鳥類。我在 Edge Impulse 中創(chuàng)建了一個由鳥類而非鳥類組成的數(shù)據(jù)集，每個類別大約有 1400 張圖像。由于 MCU 上的內(nèi)存限制，我必須保持模型簡單，因此必須使用二進(jìn)制分類器。我保持顏色 (RGB) 的脈沖，但我確實將分辨率降低到 48x48 以保持模型更小。不理想，但我必須做出權(quán)衡。

鳥類圖像分類器脈沖

?

然后我訓(xùn)練了 50 個 epoch，結(jié)果還不錯：

訓(xùn)練鳥類分類器數(shù)據(jù)集的結(jié)果

?

為了快速將模型組合在一起，這些是我可以接受的結(jié)果。還要注意 RAM 和閃存大小。足夠小，可以在 MCU 上運行。

然后我將模型部署到 Arduino 庫。這是我真正欣賞 Arduino 生態(tài)系統(tǒng)的地方。Edge Impulse 可以輕松地以 Arduino 庫的形式導(dǎo)入模型。您只需像添加任何庫一樣添加它，然后在 Arduino 草圖中包含您的推理頭文件。Edge Impulse 的 Louis Moreau 有一個很好的教程，介紹了如何將 Edge Impulse 模型集成到 ESP-32 Cam 中。我花了很多時間研究他的代碼，看看它是如何工作的。

我的代碼有點長，所以我不會在文章中放很多片段，但你可以在我的 github上看到它。但一般流程是從 ESP-32 CAM 接收圖像（也稱為幀緩沖區(qū)）。該幀緩沖區(qū)被轉(zhuǎn)換為 RGB888 格式，然后調(diào)整為 48 x 48 像素（邊緣脈沖模型所期望的大小）。一旦調(diào)整大小，緩沖區(qū)就會被分類。Edge Impulse 分類代碼實際上非常簡單：

//Perform Edge Impulse classification
void classify()
{
  signal_t signal;
  signal.total_length = EI_CLASSIFIER_INPUT_WIDTH * EI_CLASSIFIER_INPUT_WIDTH;
  signal.get_data = &raw_feature_get_data;

  // Feed signal to the classifier
  EI_IMPULSE_ERROR res = run_classifier(&signal, &result, false /* debug */);

  // Returned error variable "res" while data object.array in "result"
  if (res != 0) {
    Serial.printf("Error....returning\n");
    return;
  }

  //bird found!
  if(result.classification[0].value > 0.8)
  {
    ei_printf("**** Bird found with %f probability! ****\n", result.classification[0].value);
    jpg_sent = true;
  }
}

如果找到一只鳥，則會設(shè)置一個標(biāo)志，以便代碼可以將圖像保存到 SD 卡中。并且這個過程會重復(fù)！我讓這段代碼運行了 6 個小時，然后我讓 MCU 進(jìn)入深度睡眠狀態(tài)，這樣我就可以給電池充電一點。我認(rèn)為 ESP32 Cam 的運行功率約為 1W（~ 310 mA @ 3.3V），而我擁有的太陽能電池板只有 1W（并且由于損失和不完美的太陽，它可能是輸入的一半）所以我需要一些停機時間讓電池充電. 下面是在 Arduino 草圖的 loop() 方法中運行的深度睡眠代碼。

//plan would be to wakeup during daylight, stay on for a certain period of time (6 hours), then go into deep sleep at night
//wakeTime is the amount of time that the camera is awake, if this time is exceeded by the run time, go to sleep
unsigned long wakeTime = 6 * ms_TO_S_FACTOR * s_TO_HOUR_FACTOR;
if(millis() > wakeTime) {
  Serial.print("Time in ms: ");
  Serial.print(String(millis()));
  Serial.println(". Going to sleep now");
  Serial.flush(); 
  esp_deep_sleep_start();
}

我遇到麻煩的下一個領(lǐng)域是，將照片存儲到 SD 卡后如何查看它們？我看到的大多數(shù)教程只是從 ESP32 Cam 中取出 SD 卡并將其放入計算機中查看照片。每次我想看照片時，我都不想去喂鳥器并嘗試取出 SD 卡。我認(rèn)為必須有一種方法可以使用 Wifi 來查看網(wǎng)絡(luò)服務(wù)器中的圖像。下班后我花了兩個晚上試圖找出一種方法，用我微薄的編碼技能來做這件事。我終于偶然發(fā)現(xiàn)了jameszah的 ESP32 SD 文件管理器。它很簡單，只需幾行就可以集成到我的代碼中，而且效果很好。它讓我在嘗試創(chuàng)建自己的時候省去了很多麻煩，所以謝謝詹姆斯！

一旦我設(shè)置了網(wǎng)絡(luò)服務(wù)器，我就可以從 SD 卡下載照片。成功！

我實現(xiàn) jameszah 的 ESP32 SD 文件管理器的快照

?

當(dāng)我第一次使用它時，我只是使用 millis() 來獲取文件名的唯一 ID。后來我了解到您可以使用 NTP 服務(wù)器來獲取當(dāng)前時間，因此我可以將日期時間添加到我的文件中。更容易閱讀和知道照片的拍攝時間！

相機在行動！

以下是相機拍攝的一些示例快照。非常令人興奮！

你在看什么？

?

為它奔跑（飛行？）

?

“等等，那是照相機嗎？”

?

總的來說，這是一個真正考驗我的偉大項目。我喜歡它是一個獨立的系統(tǒng)，它從太陽中獲取能量并將其存儲到電池中。這測試了我的系統(tǒng)工程技能，并迫使我考慮圍繞一個已經(jīng)建成的喂鳥器進(jìn)行設(shè)計。它在資源相當(dāng)有限的 MCU 上使用 Edge AI 模型對我進(jìn)行了測試。如果我能再做一次，如果可以的話，我會使用更大的太陽能電池板（可能 1.5-2W）和更大的電池（3 Ah）。

總的來說工作量很大，但我對結(jié)果很滿意。繼續(xù)我的下一個項目！！！