描述

指揮中心需要知道他們的人員在哪里以及哪里存在危險并且可能正在接近他們。

無人機有機載傳感器，其數據實時映射，包括二氧化碳、氧氣、溫度、濕度、氣壓和光照水平。備用接地墊被重新指定為著陸平臺。在接地墊上創建了使用三種不同顏色塊的著陸標記，并教 Pixycam2 識別和報告每個塊的 xy 坐標邊界。

Pixycam2 + TFMini“激光雷達”自動著陸系統

?

Pixycam2 連接到 FMU66 I2C 連接器。我們想將紅外“激光雷達”距離傳感器連接到 FMUK66 上的 Telem2 UART，但不幸的是，這個端口被用作通過 USB 接口連接到 Coral-dev 板的 Mavlink 遠程端口。因此，我們通過 PL2303 USB 轉 UART 電纜將向下的距離傳感器連接到 Coral 上的備用 USB 端口，并使用 mavlink 協議將數據發送到 PX4 固件。

該系統的功能類似于 IR-LOCK 著陸系統，該系統使用原始的 Pixycam 并剝離了 IR 過濾器。Pixycam2 協議與原始的 Pixycam 不同，我們的系統可以識別多個物體，以便在著陸時更精確的 xy 方向，并允許我們創建高度的 z 坐標估計。我們使用備用接地墊作為我們的著陸平臺，并使用彩色膠帶創建三個 10 厘米見方的方塊。

帶有“頂部”、“左”和“右”塊的精確著陸墊

?

因為我們知道 Pixycam2 識別的彩色塊的尺寸，所以我們可以將其用作距離標記。TFMini“激光雷達”系統（不是真正的激光雷達，而是一個飛行時間紅外傳感器）是多余的，但添加了額外的高度數據，這些數據是我們的 Pixycam2 PX4 驅動程序的平均高度數據。我們訓練 Pixycam2 識別帶有“頂部”、“右”和“左”標簽的塊。

訓練 Pixycam2

?

我們重新分配了 IR-LOCK PX4 驅動程序的原始代碼，針對 Pixycam2 協議對其進行了修改，并添加了代碼以根據三個可識別的色塊而不是 IR-LOCK 的單一目標在 xy 坐標中定位無人機。我們還添加了代碼以使用 Pixycam2 的 xy 坐標計算 z 坐標，這為我們提供了接近著陸臺時識別塊的大小。此 z 距離用于增強從 Coral Dev 板配套計算機通過 Mavlink 發送的 TFMini“激光雷達”傳感器數據。

Pixycam2 自動著陸系統的 C++ PX4 驅動程序代碼可在我們的 Hovergames PX4 git repo fork 中獲得。

自動充電系統

我們收到了帶有 hovergames 套件的基本鋰聚合物充電器，可通過 4 針或 5 針連接器為 3 節或 4 節鋰聚合物電池充電。我們的無人機由 3 節鋰聚合物電池供電，該電池使用四根電線進行充電。我們使用銅帶在 Pixyxam2 著陸墊上創建了四個著陸墊，這些著陸墊與無人機起落架上的四個銅帶部分相匹配。

自動充電系統

?

Pixycam2 著陸系統的分辨率約為 10 厘米（2.5 英寸），因此我們創建了四個 10 厘米見方的銅箔充電墊，并通過我們在著陸墊上鋪設的銅帶走線將它們反饋回充電器。當 Pixycam2 精密著陸系統采取將無人機放置在著陸墊上，它還將充電觸點置于充電墊的中心。當無人機著陸時，它會自動開始為下一個任務充電。

該系統的完全運行版本可以使用兩架無人機，其中一架始終在空中，而另一架則為其電池充電以提供連續的機載覆蓋。理想情況下，它們將通過 W-Fi 網狀網絡連接（Coral Dev 板上的 QCA6174 Wi-Fi 芯片支持網狀網絡），傳入的無人機可以向其合作伙伴發出接管信號，因此無人機始終在空中提供覆蓋。

Coral 開發板 AI 傳感器系統

帶高清攝像頭的珊瑚開發板

?

飛思卡爾和谷歌創建了 Coral 開發板，該開發板還具有高清攝像頭和傳感器板作為選項。Coral 開發板在 PCB 上包含一個 Google Tensorflow 處理單元或 TPU，通過 PCIe 總線連接到 i.MX8 M 四核 ARM Cortex-A53 CPU。Google 和 Freescale 為這個名為 Mendel 的開發板創建了一個 Debian 10“Buster”派生的 Linux 操作系統。Coral 開發板由 USB-C 連接器供電，因此我們創建了自己的電纜，通過無人機電池為開發板供電。

+5V 降壓轉換器和定制 USB-C 電源線

?

我們將 Coral 開發板的 QCA6174 Wi-Fi 芯片重新指定為接入點。我們修改了 dnsmasq 以自動將任何 Web 請求重定向到我們為此項目創建的板載 Python Web 服務器代碼，因此對 http:// 的 Web 請求將重定向到我們的 Python Flask 本地 Web 服務器。這些攝像頭安裝在連接到 Coral 開發板的 I2C 引腳的低成本 Pimoroni 云臺 HAT 上。移動云臺 HAT 的代碼已添加并合并到我們的 Python 網絡服務器代碼中，因此用戶可以從網頁上移動攝像機。

Coral 開發板、高清和紅外攝像頭、氣體傳感器和云臺伺服系統

?

Coral 傳感器板帶有溫度、濕度、壓力和環境光傳感器。我們將 O2、CO2 和 CO 傳感器添加到傳感器板上的 Grove 連接器，并編寫 Python 代碼來記錄無人機周圍空氣中的 O2 百分比和 CO2、CO 和揮發性有機化合物的百萬分率。這些傳感器對于感測消防員周圍的危險區域并報告該數據的實時流至關重要。

開發過程中的 FMUK66、Coral 開發板、攝像頭、云臺和氣體傳感器

?

我們使用了在 Thingiverse 找到的珊瑚開發板 3D 打印外殼，并修改了適合珊瑚開發板的珊瑚傳感器板的頂部。此功能提供緊急服務人員或緊急情況下需要幫助的人員位置的實時報告。TPU 運行谷歌 Tensorflow 機器學習框架的嵌入式版本，稱為 Tensorflow Lite。我們在帶有 Nvidia GPU 的工作站上設置了 Tensorflow 訓練系統。我們使用位于http://host.robots.ox.ac.uk/pascal/VOC/index.html的 Pascal 視覺對象類 (VOC) 數據集來訓練我們的系統識別物體和人。

Coral-Dev 板上的 TPU 支持 Tensorflow 深度網絡拓撲的一個子集。我們選擇了 mobilnet_v1_ssd 拓撲，因為它直接映射供 TPU 使用。訓練系統是用Tensorflow Python編寫的，將VOC數據集上的網絡訓練成.pb文件。我們使用 TensorFlow Lite 工具將 .pb 深度網絡轉換為 Tensorflow Lite 結構，然后使用 TPU 實用程序對其進行編譯，以便在 Google TPU 芯片上使用。該系統通過高清 Coral Dev 攝像頭識別并計算它看到的人數。每次飛行都會維護此計數，因此查看無人機網頁的人可以看到在最近一次飛行中看到的累積人數。當無人機從頭頂飛過時，在地面上識別出的人類周圍繪制了方框。

Google 已經創建并預訓練了用于對象檢測和分類的 Tensorflow 模型，因此您不必從頭開始構建模型。請參閱預訓練模型下的Coral Docuemention頁面。我們使用 Google 說明在臺式機 Intel i7 CPU 和運行 Tensorflow 的 Nvidia GTX 1070 GPU 上設置基于 VOC 數據集圖像的模型重新訓練。

使用 VOC 數據集重新訓練現有的 Tensorflow 模型

1) 確保 CUDA 已安裝并正在運行。您可以通過運行“nvcc -V”來測試它，它會輸出 cuda 編譯器版本。

2）混帳克隆https://github.com/tensorflow/models.git

3) 按照https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/installation.md上的說明安裝依賴項

注意：不要按照說明安裝 pycocotools -> 請改用 pip3 install pycocotools

4) 運行測試，確保全部返回 OK

5) 克隆https://github.com/PINTO0309/TPU-MobilenetSSD.git

6) cp -Rf TPU-MobilenetSSD/colaboratory/gpu/* models/research/object_detection/

7) chmod 0755 *.py *.sh

8) rm 配置 && mkdir 配置 && cd 配置 && unzip../collab.zip && cd..

9) ln-s。對象檢測

10)./prepare_checkpoint_and_dataset.sh --network_type mobilenet_v1_ssd --train_whole_model false

11) rm -Rf object_detection/學習/訓練

12）部分模型再訓練：

NUM_TRAINING_STEPS=500 && NUM_EVAL_STEPS=100 && ./retrain_detection_model.sh \
--num_training_steps ${NUM_TRAINING_STEPS} \
--num_eval_steps ${NUM_EVAL_STEPS}

注意：忽略有關已棄用 API 的警告

在我們的 GTX 1070 上，這個過程運行了四天。擁有重新訓練的網絡后，您需要將其轉換為 Coral Dev 板上的 Google TPU 芯片可用的格式。訓練完成后，最后一行將列出您需要轉換為 TensorflowLite 的 .pb 文件的位置，作為在 Coral Dev board 的 TPU 上運行的預備步驟。

將 .pb 文件轉換為 TensorflowLite

使用https://coral.ai/docs/edgetpu/models-intro/中的說明，我們將 .pb 文件轉換為 TensorflowLite 格式。

./convert_checkpoint_to_edgetpu_tflite.sh --checkpoint_num 500

按照說明安裝 edgetpu 編譯器。運行以下命令將 TensorflowLite 文件轉換為 TPU 版本。

edgetpu_compiler output_tflite_graph.tflite

將文件 output_tflite_graph_edgetpu.tflite 和labels.txt文件復制到您的 Coral Dev 開發板根文件系統，以便我們可以運行模型來檢測高清攝像機流中的物體和人類。

運行模型：

edgetpu_detect_server --model ./output_tflite_graph.tflite --labels ./labels.txt

高清攝像機流將顯示在 Web 端口 4664 上，并在檢測到的人和物體周圍帶有標記框。

具有 Google TPU 對象檢測功能的板載高清攝像頭

?

實時傳感器數據

我們購買了一個 Coral 傳感器板，它是帶有 Google TPU 的 Coral 開發板的子板。

將紅外攝像機添加到 PanTiltHat

我們從 GroupGets 網站上挑選了一個帶有微型 USB 連接器的微型 FLIR 紅外攝像機。顯示的傳感器數據是溫度、濕度、氣壓、氧氣水平、二氧化碳水平、揮發性有機化合物水平以及以勒克斯為單位的周圍光照強度的實時視圖。

結論

構建這個項目是迄今為止 hackster.io 上最有趣的項目之一。這也是我第一次嘗試使用無人機。帶有攝像頭和傳感器的智能、獨立 AI 平臺的想法非常吸引人，我期待在未來擴展該系統的功能。Freescale/NXP i/MX8 quad 64 位 ARM CPU 具有相當大的馬力，再加上 Google TPU，使其成為一個非常驚人的系統，價格遠低于 200 美元。

當無人機飛過頭頂時識別人和物體的能力開辟了巨大的新可能性。這個系統可以擴展成一個完全獨立的機器人飛行器，它可以在每次任務后保持充電狀態并準備好飛行，而不需要人類手動移除電池并為電池充電。通信能力與 TPU AI 檢測功能相結合意味著它可以掃描一個區域并報告其發現，而無需專人觀看攝像機流。這個系統可以演變成一個自主的獨立人工智能平臺，可以執行復雜的任務，而不需要人工干預來保持它的運行和飛行。