作為整個計算的最前沿，傳感效率的高低、傳感信號和后端計算模式的匹配程度必然影響著整個智能系統的表現。類腦技術的完全體=事件驅動傳感 + 異步類腦芯片計算，配合高效利用異步機制的算法。而脈沖神經網絡的異步運算機制和仿生傳感器天然契合。目前，SynSense時識科技使用類腦技術實現了mW級別的“感算一體”動態視覺智能SoC Speck，將這一新興的傳感+計算技術用于我們身邊的電子器件及智能設備中。

動態視覺傳感器

動態視覺相機 Dynamic Vision Sensor（DVS）,有時候也稱作事件相機（Event camera）或者硅視網膜（Silicon Retina）。提到DVS的起源就要追溯到它的發明者Misha Mahowald。Misha師從類腦工程領域的提出者Carver Mead (Carver mead 同時還是VLSI電路設計的大牛級別人物，也被認為是摩爾定律的命名者)。在博士期間，她和Tobi Delbruck創舉性地結合生物學計算機科學和電氣工程領域，創建了第一個硅視網膜系統，這也是最早的動態視覺相機的原型。之后，她和Tobi Delbruck還有幾位現在的類腦技術大牛們一起將技術帶到了蘇黎世，并和蘇黎世聯邦理工、蘇黎世大學聯合創辦了INI神經信息研究所(Institute of Neuroinformatics)，專注于研究神經科學、神經形態相關的技術。硅視網膜就是其中重要的一項技術。1996年Misha因為這一非凡的工程案例成為國際科技女性（WITI）名人堂成員，遺憾的是Misha在33歲結束了自己年輕的生命。

但是硅電子視網膜的技術并未停滯，而是經過十幾年的發展變得更加成熟。從INI出來的公司iniVation已經將DVS變成成熟的產品，不僅整個傳感器集成了仿生的事件像素陣列，還在外圍同步集成了如RGB相機、IMU傳感器，幫助其實現更強大的信息同步和收集能力。另一公司Prophesee提供高分辨率的動態視覺傳感器，并和Sony合作將先進光學電子工藝和DVS結合，大大減小了芯片面積和光學性能。此外，在應用算法層面，也有越來越多的科研學者和工程師專家已經把事件相機信號應用在各行各業中。

什么是DVS？可簡要概括為：只對運動的目標成像。

從工作原理上來講， DVS最大的特點之一則是：異步感知。

我們拿傳統的數字相機來對比：

對于傳統相機來說，每個感光原件會根據一定的采樣率對整個感光陣列進行同步的采樣， 因此每次成像需要依賴于一個時鐘信號當作reference。以這樣的形式，我們得到了一個對光電流信號采樣的真實值的陣列。假設說我們有100x100大小的一個像素陣列，RGB三個采樣通道和1/30秒的采樣率的話，我們每秒就會得到100x100x30x3的數組，其中100x100x3就是我們常說的一幀圖片。

區別在于，對于同樣100x100的像素陣列來說，DVS里的每個像素的工作是相互獨立、互不干涉的。也就是說每個感光像素都只對自己所負責的一部分區域進行獨立感光。同時，每個感光像素都不再直接采樣實值，而是時時刻刻去比較光電流的相對變化值是否超過了一個閾值。相對應來說，光照強度的變化對應著光電流的大小變化，其實DVS上的每一個像素位置是在感受相對光照強度的變化是否明顯。當在對應像素上感受到足夠的光強變化時， 傳感器就會發出一個“事件信號”，通常來說這個信號是一個數據包，包含著以下信息：

像素的坐標地址 （x, y）

光照強度變化的極性

事件發生的時間戳

如下圖所示，假設我們同時用DVS（圖下方）和傳統相機（圖上方）對轉動的圓盤成像， 我們就可以清晰看出區別。傳統相機的成像基于采樣率，所以會丟失掉幀和幀之間的信息，圓盤上黑點的運動是離散地體現在每一幀圖像的不同位置上的，而當圓盤停止轉動的時候，傳統相機依舊會按照采樣率對靜態的圓盤成像。

圖：傳統相機+DVS相機

而對DVS而言，只有光照強度變化的像素區域才會發出事件信號，同時又沒有采樣率的限制，在圓盤轉動的情況下，我們得到的數據輸出可以看到的是一串連續的事件流。而在圓盤停止轉動的時候，因為無光強明顯變化，DVS相機是沒有任何信號的生成的。所以對于DVS來說，它的輸出脫離了采樣率，對于不同的場景來說是完全不一樣的。對于大體積、高速運動物體的成像可能是多的，但是對于如靜止的背景，完全不產生數據。

下圖所示為簡單的一個DVS像素工作原理?？梢钥闯稣麄€pipeline里由幾大功能模塊組成：前端的感光元件，log域計算，差分放大和比較器。其中當光強的log值在向較大方向變化時，我們得到極性為ON的事件，反之我們得到OFF事件。

圖：DVS像素工作原理

點擊了解：SynSense時識科技Open Neuromorphic演講回顧：工程師共聚，探討類腦視覺感知+計算 | 完整視頻

那么DVS對于視覺傳感來說能帶來什么優勢？

高動態范圍

當拍攝的圖像在光線上有巨大的差異時，更大的動態范圍就能獲得更大的影調空間——例如一個有明亮窗戶和昏暗內部的地點。來自窗戶的光線比墻壁內部的光線要亮得多，如果動態范圍不夠大，這時要么窗戶的光線太亮，曝光過度（看起來是白色的），要么墻壁太暗，曝光不足（看起來是黑色的）。DVS的成像因為取決于光強的相對變化值，這使它在過曝光和欠曝光的狀態下也能穩定清晰成像。一個DVS的理論動態范圍約為120dB。而人眼的動態范圍大概只在30-40dB左右。

克服成像的運動模糊

因為DVS突破了傳統相機中的采樣率，那么對于運動物體的成像也就不再有幀率的限制。動態模糊本質的產生原因是相機成像幀率和物體運動的速度不匹配。DVS產生的連續事件流在理論上可以等效為4000-5000FPS成像速度。目前大部分的DVS相機都可以做到us級的成像延遲，而對于一個傳統30FPS的相機來說，其延時約為33ms。

超低功耗

因為DVS的異步感知和只感知光照變化強度，DVS在大部分典型視覺場景下產生的數據是極為稀疏的。大多數事件相機的功耗都在10mW的級別，有部分原型相機的功耗甚至可以做到小于10uW，這個數字遠遠低于傳統數字相機（百毫瓦級）。

動態音頻傳感器

動態音頻傳感器DAS又稱硅耳蝸（silicon cochlear），功能是把各種現實生活中的聲音信號變成事件信號。和DVS一樣，DAS的本身原理也是通過電路設計將信號轉換為異步的事件信號。它的發明者Shih-Chii Liu也出自上文提到的神經信息研究所INI，這個發明也帶領著事件驅動傳感邁向了更廣闊的音頻信號處理領域。Shih-Chii也因此研究獲得了 [Misha Mahowald Prizes]（沒錯， 就是為了紀念Misha在類腦領域的貢獻設置的獎項）。

圖：DAS功能模塊

DAS實現的是在電路層面上模仿生物聽覺系統的功能，也就是從真實視覺聲音激勵變成電脈沖信號的過程。按筆者理解：聽覺電信號的產生是因為分布在耳蝸中的內絨毛器官可以對不同強度和頻率的震動產生規則的電信號，這一現象稱為頻率拓撲。這就很像現代數字信號處理里對聲音的時頻譜分析。而在DAS里，這一過程被工程化為符合頻帶范圍的若干個帶通濾波器組和半波整流器，加上一系列電路設計和信號處理必要的模塊，我們就可以實現聲音信號到脈沖信號的轉換。

和DVS一樣，DAS的輸出數據也是事件流信號的，其反應的應是一個通道內的信號能量變化強度是否超過了閾值，一個事件數據包會包含：

發出事件的通道

極性

時間戳

以Shih-Chii的工作為例，DAS有雙聲道輸入，64個通道（每個聲道apply32個band pass filter），兩個聲道的信號相互在事件上匹配，片上有數控偏置和片上麥克風，并且可以直接提供AER接口到類腦芯片上。

圖：DAS響應 語句“The quick red fox jumped over the lazy dog ”

類腦傳感器的應用

除了視覺和聲音這兩類信號，事件驅動的傳感也在各個其他信號的領域被證實其可行性和高效，例如IMU、EEG、ECG信號等。那么這些新型傳感器有哪些應用呢？

以DVS為例，科研學者們已經展示出了其巨大的應用前景。

DVS去模糊：比如使用DVS的信息和當前低幀率的RGB相機的信息融合，我們可以重建出一個可以輸出超高幀率的低成本相機系統（去模糊）。

應用事件相機實現無人機的高速避障

復雜視覺任務：自動駕駛、機器人應用場景下的復雜任務比如SLAM, 目標識別, 光流估計等。

對于DAS而言，配合著相應的后端神經網絡算法，我們可以做到超低功耗的各類語音任務例如：

圖：Speaker verification

聲源定位

通過雙聲道直接產生的相位差估計聲源的方向和位置。

聲紋識別

判斷發出音頻的個體。

作為整個計算的最前沿：傳感效率的高低和傳感信號和后端計算模式的匹配程度必然影響著整個智能系統的表現。類腦技術的完全體 = 事件驅動傳感 + 異步類腦芯片計算配合著高效利用異步機制的算法。而脈沖神經網絡的異步運算機制和仿生傳感器天然契合，相信我們即將看到這些新興的傳感技術和計算技術出現在我們身邊。

審核編輯：湯梓紅