在自動(dòng)化和智能技術(shù)發(fā)展日益成熟的今天,機(jī)器視覺系統(tǒng)在許多領(lǐng)域被廣泛應(yīng)用,包括自動(dòng)駕駛汽車、智能制造、自動(dòng)化手術(shù)和生物醫(yī)學(xué)成像等。
這些機(jī)器視覺系統(tǒng)大多使用基于普通光學(xué)鏡頭模組的相機(jī),在拍攝通常高達(dá)具有數(shù)百萬像素的圖像或視頻后,通常將其饋送到如GPU等數(shù)字邏輯處理單元從而來執(zhí)行一定的機(jī)器學(xué)習(xí)任務(wù),例如物體識(shí)別、分類和場(chǎng)景分割等。
第一,高像素傳感器拍攝帶來大量信息使其難以實(shí)現(xiàn)極高速的圖像或視頻數(shù)字化存儲(chǔ)和分析,尤其在使用移動(dòng)設(shè)備和電池供電的設(shè)備時(shí)更是帶來了能耗和性能的平衡問題;
第二,所捕獲的圖像通常包含許多對(duì)機(jī)器學(xué)習(xí)任務(wù)無用的冗余信息,帶來了后端處理器某種程度上的性能負(fù)擔(dān),和資源浪費(fèi),從而導(dǎo)致在功耗和內(nèi)存需求方面效率低下。
第三,在可見光的波長(zhǎng)以外的電磁波段制造高像素?cái)?shù)圖像傳感器(如手機(jī)相機(jī)中的傳感器)具有很大的挑戰(zhàn)性,且其成本十分昂貴,因而也限制了機(jī)器視覺系統(tǒng)在更長(zhǎng)波段(如太赫茲)上的應(yīng)用。
與常規(guī)的基于鏡頭模組的相機(jī)不同,該衍射光學(xué)神經(jīng)網(wǎng)絡(luò)以被寬帶光照明的物體作為其輸入,將物體的空域特征信息提取并編碼到衍射光的光譜上,而后光譜信號(hào)由具有頻譜探測(cè)能力的單像素超快傳感器所收集。通過將物體對(duì)應(yīng)的不同的類別分配給不同波長(zhǎng)的光頻譜分量,該系統(tǒng)僅使用單像素傳感器探測(cè)到的輸出光譜即可自動(dòng)對(duì)輸入對(duì)象完成分類,從而無需圖像傳感器陣列和后端數(shù)字處理。這種框架實(shí)現(xiàn)了全光學(xué)推理和機(jī)器視覺,在幀速率、內(nèi)存需求和功耗效率方面具有明顯優(yōu)勢(shì),這些特點(diǎn)對(duì)于移動(dòng)計(jì)算應(yīng)用而言尤為重要。
審核編輯:湯梓紅
評(píng)論
查看更多