描述

該項目將展示如何實施完整的端到端圖像處理管道，以實施能夠以 30fps 的速度運行的邊緣檢測視覺算法，以檢測道路車道。

一、簡介

要實現(xiàn)實時車道檢測，我們的想法是拍攝圖像并將其傳遞給邊緣檢測器 IP。最著名的一種是 Sobel 邊緣檢測器。然而，Canny 邊緣檢測器具有可編程閾值的優(yōu)勢。即時修改閾值可以適應(yīng)不同的光照條件。

https://en.wikipedia.org/wiki/Canny_edge_detector

視覺處理流水線在邏輯上可以分為三個部分。圖像源、圖像處理管道和圖像接收器。

?

?

從高層次的角度來看，需要一個圖像源（可以是相機(jī)傳感器或圖像模式生成器）和一個接收器（可以是顯示器）。

2.硬件塊

首先，必須將所有原型硬件部件放在一起。在這種情況下，系統(tǒng)硬件僅由五個組件組成。

a) MiniZed ZYNQ 開發(fā)板

b) OV7670 相機(jī)

c) Arduino 屏蔽穿孔板

d) 10pin 0.1inch 母頭

e) VGA PMOD

OV7670 相機(jī)安裝在一個 10 針 0.1 英寸母接頭上，該接頭本身焊接到原型板上。VGA PMOD 連接到 MiniZed 雙 PMOD 接頭連接器。最后一步是將 VGA 電纜連接到顯示器。

一旦硬件系統(tǒng)組裝在一起，下一步就是使用 Vivado 在 FPGA (PL) 上設(shè)計硬件。

3.FPGA硬件

1. 圖片來源

有許多相機(jī)接口，但最簡單的是使用并行總線的 CMOS 傳感器，例如古老的 OV7670 相機(jī)傳感器。然而，要使用這樣的傳感器，必須實現(xiàn)一個相機(jī)捕獲模塊，該模塊將從傳感器傳輸?shù)淖止?jié)流轉(zhuǎn)換為適當(dāng)?shù)膮f(xié)議，在我們的例子中是 AXIS 總線。

此外，必須通過在 PL 中將配置模塊實現(xiàn)為從 BRAM 讀取配置的 I2C 模塊或在 PS 中將配置模塊實現(xiàn)為通用相機(jī)驅(qū)動程序來配置相機(jī)。PS 配置顯然更靈活，所以我選擇了這個選項。

?

?

Vivado 設(shè)計中的圖像源是與 OV7690 CMOS 相機(jī)接口的定制 IP。相機(jī)使用并行八位接口。此外，還有兩個同步信號HSYNC和VSYNC，其選通模式分別表示行和幀。相機(jī)使用輸出像素時鐘 PCLK。像素速率與 PCLK 同步。OV7690 相機(jī)還需要一個 24 MHz (XCLK) 相機(jī)時鐘作為輸入。

OV7690 每個像素輸出 2 個字節(jié)。根據(jù)配置代碼，相機(jī)可以配置為使用不同的色彩空間。IP 配置為使用 RGB565 色彩空間。相機(jī)的控制是通過 AXI 接口完成的。攝像機(jī) IP 在內(nèi)存中分配了一個位置。要啟動相機(jī)，必須設(shè)置位以啟用相機(jī)輸出數(shù)據(jù)。數(shù)據(jù)本身使用 AXIS (AXI Stream) 協(xié)議打包。

2. 跨時鐘域

來自相機(jī)的 AXIS 輸出被發(fā)送到異步 FIFO。這是需要跨越兩個不同時鐘域時使用的一種方法。

?

FIFO 的從端連接到 PCLK，而 FIFO 的主端連接到工作頻率為 50MHz 的 AXI 主時鐘域。主時鐘必須始終高于從時鐘，否則 FIFO 將溢出導(dǎo)致丟失像素。

?

在像素流穿過時鐘域后，它通過子集轉(zhuǎn)換器發(fā)送。這是一個 AXIS IP 塊，可將 RGB565 數(shù)據(jù)重新映射為 24 位數(shù)據(jù)包。圖像處理 IP 使用 24 位，因為每種顏色都分配了 8 位。

下一個元素是 AXIS 開關(guān)。該 IP 作為 AXIS 流的簡單多路復(fù)用器運行。它可以通過 AXI lite 接口或利用 AXIS 頻閃信號自動配置。在此特定應(yīng)用中，啟用了 AXIS 開關(guān)的 AXI Lite 接口。然而，這需要實施 SDK 驅(qū)動程序來配置開關(guān)多路復(fù)用器。

3.圖像過濾

Canny 邊緣檢測器 IP 是使用 Vivado HLS 構(gòu)建的。它是用 C 語言編寫的。HLS 的主要優(yōu)點是允許快速部署 IP。缺點是生成的邏輯是模糊的，通常不如手工制作的 Verilog 代碼高效，盡管它可以接近它。在任何情況下，生成 Canny IP 都涉及使用 Vivado HLS 2013 和 2018.3 版本的 xfopencv。這是一組 C++ 庫，復(fù)制了用于 FPGA 邏輯的眾所周知的 OpenCV 庫。

Xilinx 最近發(fā)布了 Vivado 2019.1 以及 HLS 2019.1。這需要使用帶有非免費修訂框架的 SDSOC。

已實施的修訂代碼的主要更改是修改功能以支持 AXIS 協(xié)議的輸入和輸出。此外，AXI Lite 總線用于將所有可編程變量捆綁在一個集合中，并通過連接到 GP0 ZYNQ 總線的 AXI 互連將它們暴露給 PS 內(nèi)存映射。

?

?

最后，為了在兩個不同的 IP 之間切換，使用了 AXI 開關(guān)。

?

?

VDMA 配置為三重緩沖模式。VDMA 需要在運行前通過 AXI lite 接口進(jìn)行配置，該接口將其連接到主 AXI 互連。

下面的代碼顯示了針對 VGA 分辨率的 VDMA 配置。

	Xil_DCacheFlush();    
	Xil_ICacheInvalidate();    
	/* Start of VDMA Configuration */    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x30, 0x8B);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xAC, 0x10000000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xB0, 0x100F0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xB4, 0x101E0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA8, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA4, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA0, HEIGHT);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x00, 0x8B);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x5C, 0x10000000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x60, 0x100F0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x64, 0x101E0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x58, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x54, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x50, HEIGHT);     

。。

VTC 本身配置為 VGA 分辨率。

?

?

這基本上是一個 R2RDAC，它采用數(shù)字?jǐn)?shù)據(jù)總線以及行和幀同步信號 HSYNCS 和 VSYNC，并將數(shù)據(jù)發(fā)送到監(jiān)視器。

正如您在下面看到的，應(yīng)用程序在正常 VGA 模式、灰色模式（看起來更像藍(lán)色）和邊緣檢測模式之間不斷切換。

?

概括

該項目展示了如何在 ZYNQ FPGA SoC 上實現(xiàn)完整的端到端視覺處理流水線。硬件能夠以 30 fps 的速度進(jìn)行實時邊緣檢測。

其他想法包括：

• 添加更多濾波器類型，如中值、高斯、索貝爾、普維特等。
• 為 MiniZed 構(gòu)建一個 PYNQ 發(fā)行版以從 Linux 訪問 IP，以構(gòu)建一個無線 WiFi 攝像頭。
• 升級到更高清晰度的相機(jī)傳感器。

?

?