據(jù)麥姆斯咨詢報(bào)道，近日，南京大學(xué)電子科學(xué)與工程學(xué)院萬(wàn)青教授、萬(wàn)昌錦副教授課題組在Nature Communications期刊上發(fā)表了題為“Vertically integrated spiking cone photoreceptor arrays for color perception”的論文，構(gòu)建了能夠?qū)B續(xù)光進(jìn)行頻率編碼的垂直集成的尖峰視錐感受器陣列，取得了可見光范圍單個(gè)尖峰小于400 pW的功耗（與人眼視錐感受器功耗相當(dāng)），實(shí)現(xiàn)了高生物相似性的顏色感知能力的模擬。該成果將為低功耗的動(dòng)態(tài)視覺處理系統(tǒng)提供基礎(chǔ)元件，并為高智能仿生機(jī)器人的發(fā)展提供重要參考價(jià)值。

顏色視覺是一種感知由不同波長(zhǎng)組成的光之間差異的能力，為生物體提供了實(shí)質(zhì)性的環(huán)境適應(yīng)能力。光線穿過(guò)角膜和晶狀體，在眼睛后部的視網(wǎng)膜上形成倒像。視網(wǎng)膜包含兩種類型的光感受器細(xì)胞：視桿細(xì)胞和視錐細(xì)胞。顏色信息在日光下被視錐細(xì)胞檢測(cè)到，并被傳輸?shù)酱竽X進(jìn)行顏色感知。與數(shù)碼相機(jī)通過(guò)濾波器和基于集中、順序和二進(jìn)制運(yùn)算處理來(lái)獲得顏色信息不同，生物視覺系統(tǒng)中形成的顏色視覺依賴于視錐感受器，它們選擇性地對(duì)三種波長(zhǎng)的光產(chǎn)生響應(yīng)，并將其編碼為用于事件驅(qū)動(dòng)、時(shí)間相關(guān)和并行處理的尖峰序列。

因此，電荷耦合器件（CCD）或互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）等圖像傳感器的特征尺寸和響應(yīng)時(shí)間對(duì)圖像分割和物體識(shí)別等智能任務(wù)的效率至關(guān)重要，這不可避免地需要巨大的吞吐量和能耗。人們的眼睛有三種類型、約600萬(wàn)個(gè)視錐細(xì)胞，每個(gè)視錐細(xì)胞消耗大約數(shù)百皮瓦（pW）的能量，使人們能夠在非常緊湊的結(jié)構(gòu)中辨別100多萬(wàn)種顏色，其性能勝過(guò)大多數(shù)數(shù)字傳感器。因此，開發(fā)生物相似性的人工光感受器，特別是視錐型感受器，將催生一種具有精妙視覺感知和極高能效的視覺系統(tǒng)，并將促進(jìn)假體、神經(jīng)機(jī)器人和半機(jī)械人等相關(guān)領(lǐng)域的發(fā)展。

硬件尖峰視錐感受器（SCP）能夠?qū)τ刹煌ㄩL(zhǎng)組成的光產(chǎn)生不同的響應(yīng)，并以一定的頻率將其編碼為尖峰。最初，研究人員致力于模擬視覺神經(jīng)系統(tǒng)中基本突觸功能和開發(fā)光敏突觸器件，旨在模擬關(guān)于光的短期/長(zhǎng)期記憶。最近，人工尖峰感受器引起了人們的極大興趣，因?yàn)轭l率中隱含的信息是非常節(jié)能的，并且對(duì)噪聲具有很強(qiáng)的魯棒性。基于光學(xué)傳感器和振蕩神經(jīng)元串聯(lián)的尖峰感受器在復(fù)雜背景下表現(xiàn)出高效的邊緣圖像分割，是一種新穎可行的尖峰視錐感受器方法。然而，為了追求更小的占位面積，需要一種無(wú)電容器和更緊湊的配置。此外，高生物相似性仍然具有挑戰(zhàn)性，并且關(guān)于能量消耗、尖峰頻率的范圍、對(duì)不同波長(zhǎng)光的選擇性等基本特性尚未很好地實(shí)現(xiàn)。

基于此，這項(xiàng)研究工作提出了一種基于金屬氧化物的垂直集成的尖峰視錐感受器（VISCP）陣列，它可以根據(jù)輸入波長(zhǎng)以一定的頻率將連續(xù)光直接轉(zhuǎn)換為尖峰序列。這種尖峰視錐感受器在可見光下具有超低功耗，每個(gè)尖峰的功耗小于400 pW，這非常接近生物視錐細(xì)胞。該VISCP通過(guò)三種波長(zhǎng)的光進(jìn)行了驗(yàn)證，不僅能夠分辨這些光的不同組合并表現(xiàn)出高選擇性（>1.5個(gè)數(shù)量級(jí)）。由于這種高選擇性，這也有利于色盲測(cè)試模擬的演示。研究人員使用色盲測(cè)試的手寫數(shù)字作為測(cè)試數(shù)據(jù)集，可以觀察到具備和不具備分辨混合顏色能力的器件之間在識(shí)別精度上的差異。本研究的成果將使硬件尖峰神經(jīng)網(wǎng)絡(luò)具有生物相似性的視覺感知，并為動(dòng)態(tài)視覺傳感器的開發(fā)提供巨大潛力。

在生物視覺系統(tǒng)中，光感受器（視桿細(xì)胞和視錐細(xì)胞）將外部光刺激轉(zhuǎn)化為尖峰電位，最終在大腦中形成視覺，如圖1a所示。這些光感受器細(xì)胞體在眼盤的頂端區(qū)域精確地排列成簇，并將軸突投射到大腦的視葉中（圖1b）。受視錐細(xì)胞的啟發(fā)，研究人員提出了一種具有ITO/Ta2O5/Ag/IGZO/ITO器件結(jié)構(gòu)的VISCP（圖1c–e），對(duì)多種顏色光的響應(yīng)在圖1f中進(jìn)行了概念性說(shuō)明。VISCP由基于IGZO的光敏電阻器和基于Ta2O5的尖峰編碼器構(gòu)成，能夠根據(jù)光強(qiáng)將連續(xù)光直接轉(zhuǎn)換為尖峰序列。

圖1 垂直集成的尖峰視錐感受器（VISCP）及其生物對(duì)應(yīng)物

研究人員對(duì)光敏電阻器和尖峰編碼器進(jìn)行了電學(xué)表征，如圖2所示。

圖2 光敏電阻器和尖峰編碼器的電學(xué)表征

垂直集成的ITO/Ta2O5/Ag/IGZO/ITO器件集成了尖峰編碼和光傳感特性，可以模擬視錐細(xì)胞的功能。VISCP的等效電路如圖3a所示。在頂部和底部ITO電極上分別施加恒定電壓（VBias = 0.5 V）和接地電壓，輸出電壓（VOUT）在Ag電極上進(jìn)行測(cè)量。該器件以單片方式將連續(xù)光編碼成具有一定頻率水平的尖峰序列，如圖3b所示。VISCP中輸出尖峰的頻率與光強(qiáng)和波長(zhǎng)呈正相關(guān)（圖3c）。圖3d顯示了在固定光強(qiáng)為0.5 nW/μm2的三種波長(zhǎng)下的尖峰響應(yīng)的實(shí)驗(yàn)觀察。當(dāng)波長(zhǎng)為360、405和532 nm時(shí)，VISCP的尖峰頻率分別為1200、7和0.1 Hz。憶阻器的有效輸入取決于基于IGZO的光敏電阻的電阻，該電阻與波長(zhǎng)和光強(qiáng)有關(guān)，并調(diào)制尖峰頻率。對(duì)于360 nm的波長(zhǎng)，當(dāng)光強(qiáng)從0.5 nW/μm2減小到0.03 nW/μm2時(shí)，頻率從1200 Hz減小到37 Hz，如圖3e所示。綜上，VISCP在明亮環(huán)境下具有顏色選擇性，而在黑暗環(huán)境下則無(wú)效，這與生物視錐細(xì)胞相似。

圖3 光照射下的VISCP的尖峰編碼行為和顏色選擇性

生物視覺系統(tǒng)的顏色感知取決于視錐細(xì)胞對(duì)紅、綠、藍(lán)比例的響應(yīng)。VISCP尖峰頻率隨著波長(zhǎng)從532 nm（λ1）減小到405 nm（λ2）和360 nm（λ3）而增加。研究人員利用這三種波長(zhǎng)作為偽彩色，并進(jìn)行了混合顏色測(cè)試（如圖4a所示）。響應(yīng)紅色、橙色、橄欖色和綠色光的尖峰頻率呈指數(shù)增長(zhǎng)，如圖4b所示。紅光的尖峰頻率最低，其值為0.2 Hz，而在綠光照射下，頻率達(dá)到最高的1200 Hz。相鄰顏色之間的尖峰頻率差異超過(guò)一個(gè)數(shù)量級(jí)，表明VISCP在分辨混合顏色方面具有良好的選擇性。一般來(lái)說(shuō)，紅綠色盲很難分辨紅色和綠色，特別是對(duì)于含有紅色或綠色的混合顏色，如橙色和橄欖色。如圖4c所示，研究人員模擬了正常色覺個(gè)體和色盲個(gè)體的行為。圖4d顯示了具有和不具有混合顏色選擇性的器件在30個(gè)訓(xùn)練周期內(nèi)的識(shí)別精度。雖然處理后的數(shù)字比原始MNIST數(shù)字更復(fù)雜，并且識(shí)別精度相對(duì)較低，但具有混合顏色選擇性的VISCP“眼睛”能夠以約83.2%的準(zhǔn)確率從包含混合顏色的背景中識(shí)別目標(biāo)數(shù)字。然而，不具有混合顏色選擇性的“眼睛”顯示出很大的困難，僅實(shí)現(xiàn)了75.5%的低準(zhǔn)確率。這些結(jié)果成功地模擬了人類對(duì)顏色的感知，包括感知、頻率編碼和識(shí)別。

圖4 混合顏色圖像識(shí)別

綜上所述，在這項(xiàng)工作中，垂直集成的尖峰視錐感受器（VISCP）能夠?qū)⒐鈫纹D(zhuǎn)換為尖峰，代表了人工視覺系統(tǒng)中的一大進(jìn)步，具有高生物相似性。更重要的是，與三種波長(zhǎng)的光相對(duì)應(yīng)的大響應(yīng)范圍使分辨“顏色”成為可能。在可見光的響應(yīng)中，實(shí)現(xiàn)了每個(gè)尖峰的超低功耗≤400 pW。作為概念驗(yàn)證，這些器件被用于模擬顏色感知。與沒有此類選擇性的器件相比，具有混合顏色選擇性的器件對(duì)色盲測(cè)試MNIST手寫數(shù)字顯示出更高的識(shí)別精度。這些結(jié)果揭示了提出的器件在構(gòu)建具有高能效和高生物相似性的人工視覺系統(tǒng)方面的巨大潛力。借助于必要的外圍電路，未來(lái)的改進(jìn)可以致力于制造具有處理高分辨率圖像甚至視頻能力的大規(guī)模陣列。通過(guò)與尖峰神經(jīng)網(wǎng)絡(luò)的進(jìn)一步集成，能效和準(zhǔn)確性可能會(huì)得到提高。此外，通過(guò)將器件轉(zhuǎn)換為柔性/可拉伸形式，就像視網(wǎng)膜中的生物視錐細(xì)胞一樣，可以實(shí)現(xiàn)更具生物相似性的系統(tǒng)。

審核編輯：劉清