日前，北京理工大學(xué)王涌天教授、黃玲玲教授團(tuán)隊(duì)聯(lián)合張軍院士、邊麗蘅教授團(tuán)隊(duì)，采用單片超構(gòu)表面與元注意力網(wǎng)絡(luò)實(shí)現(xiàn)快照式近紅外光譜成像。該方法充分利用C4對(duì)稱超構(gòu)表面結(jié)構(gòu)單元豐富的光譜編碼隨機(jī)性以及結(jié)構(gòu)單元之間的低相關(guān)系數(shù)的特點(diǎn)，結(jié)合基于元注意力網(wǎng)絡(luò)先驗(yàn)的迭代去噪重建算法的優(yōu)異性能，實(shí)現(xiàn)了具有高光譜分辨率和低串?dāng)_的近紅外光譜快照成像。相關(guān)成果以“Meta-attention network based spectral reconstruction with snapshot near-infrared metasurface”為題發(fā)表于Advanced Materials期刊。

圖1 基于近紅外超構(gòu)表面的快照式光譜重構(gòu)

光譜信息作為不同物質(zhì)的光學(xué)指紋，能夠在多種場(chǎng)景下用于物質(zhì)的鑒定與識(shí)別，在遙感探測(cè)、智慧農(nóng)業(yè)、生物監(jiān)測(cè)、化學(xué)分析等多個(gè)領(lǐng)域取得了廣泛的應(yīng)用。然而，現(xiàn)有的光譜成像系統(tǒng)多采用窄帶濾光片或者棱鏡、光柵等色散元件實(shí)現(xiàn)不同波長(zhǎng)信息的提取。采用窄帶濾光片，已發(fā)展出分焦面（DoFP）和分時(shí)（DoT）探測(cè)兩種方式。采用DoFP方式時(shí)，光譜圖像的空間分辨率與光譜分辨率互相限制；而對(duì)于DoT方式，光譜成像的時(shí)間分辨率受限，難以適用于高速運(yùn)動(dòng)場(chǎng)景的準(zhǔn)確獲取。對(duì)于編碼孔徑快照式光譜成像（CASSI）系統(tǒng)，相對(duì)龐大的體積限制了其與移動(dòng)設(shè)備的集成。

近年來(lái)，許多研究者采用超構(gòu)表面、光子晶體、納米線、二維材料等一系列光學(xué)材料，實(shí)現(xiàn)了小型化、集成化的快照式光譜成像系統(tǒng)。然而，此前的研究大多集中于可見(jiàn)光波段，針對(duì)近紅外波段光譜成像的研究還有待進(jìn)一步深入。此外，重構(gòu)算法在快照式光譜系統(tǒng)中也扮演了極為關(guān)鍵的角色，而目前的算法在重建性能和真實(shí)場(chǎng)景泛化性上，尤其是對(duì)于基于超構(gòu)表面的成像系統(tǒng)，仍存在較大挑戰(zhàn)。

為了在近紅外波段實(shí)現(xiàn)高質(zhì)量的快照式光譜成像，上述團(tuán)隊(duì)設(shè)計(jì)基于元注意力網(wǎng)絡(luò)的近紅外超構(gòu)表面快照式光譜成像系統(tǒng)。研究人員設(shè)計(jì)出25種不同的超構(gòu)表面結(jié)構(gòu)單元對(duì)入射光譜進(jìn)行調(diào)制，并提出一種基于元注意力網(wǎng)絡(luò)先驗(yàn)的迭代去噪重構(gòu)算法對(duì)單次拍攝得到的灰度圖像進(jìn)行重構(gòu)，在算法重構(gòu)的過(guò)程中，充分利用了超構(gòu)表面結(jié)構(gòu)單元規(guī)則的空間排布方式與隨機(jī)的光譜編碼過(guò)程，最終實(shí)現(xiàn)了光譜圖像的準(zhǔn)確恢復(fù)。

超構(gòu)表面結(jié)構(gòu)單元的設(shè)計(jì)細(xì)節(jié)如圖2所示。為了提高對(duì)近紅外波段能量的利用率，研究團(tuán)隊(duì)選取非晶硅作為納米天線的材料，共設(shè)計(jì)出25種具有C4對(duì)稱性質(zhì)的結(jié)構(gòu)單元，每種結(jié)構(gòu)單元具有相同的周期（1.5 μm）與高度（600 nm），且每個(gè)結(jié)構(gòu)單元被劃分為邊長(zhǎng)相同（100 nm）的正方形區(qū)域，可在不同區(qū)域填充非晶硅納米天線，不同結(jié)構(gòu)單元的區(qū)別僅在于納米天線的空間排布不同。考慮結(jié)構(gòu)的C4對(duì)稱性，在每個(gè)結(jié)構(gòu)單元內(nèi)共可以設(shè)計(jì)出243種不同的納米天線排布方式，大大拓展了結(jié)構(gòu)設(shè)計(jì)自由度。納米天線豐富的空間排布方式與互相之間的共振作用使得結(jié)構(gòu)單元的透射光譜曲線上具有隨機(jī)而豐富的共振峰，并且使得不同結(jié)構(gòu)單元透射光譜之間的相關(guān)性較低，本研究中25種結(jié)構(gòu)的相關(guān)系數(shù)平均值僅為0.13，從而為充分調(diào)制入射光譜并實(shí)現(xiàn)準(zhǔn)確重構(gòu)提供可能性。

圖2 超構(gòu)表面結(jié)構(gòu)單元的設(shè)計(jì)與表征測(cè)試。(a)25種結(jié)構(gòu)單元；(b)圖(a)中第5行、第3列結(jié)構(gòu)單元斜視圖；(c)超構(gòu)表面樣品的光學(xué)顯微鏡測(cè)試結(jié)構(gòu)；(d)結(jié)構(gòu)單元透射光譜的相關(guān)系數(shù)矩陣；(e)3種結(jié)構(gòu)單元的SEM測(cè)試圖及透射光譜標(biāo)定曲線。

為了充分利用超構(gòu)表面的光譜調(diào)制能力并提高重構(gòu)算法的普適性，研究團(tuán)隊(duì)提出了一種元注意力網(wǎng)絡(luò)先驗(yàn)的迭代去噪重構(gòu)算法(MAN-IDR)，算法框架如圖3所示。由于所設(shè)計(jì)的超構(gòu)表面具有馬賽克形式的規(guī)則結(jié)構(gòu)單元排布方式，算法對(duì)局部結(jié)構(gòu)的過(guò)度關(guān)注會(huì)容易導(dǎo)致偽影的出現(xiàn)，研究團(tuán)隊(duì)引入了空間光譜交叉注意(SSCA)模塊來(lái)盡量避免這一負(fù)面效應(yīng)；此外，為了將混疊的光譜信息進(jìn)行解耦并減小不同光譜通道之間的串?dāng)_，研究團(tuán)隊(duì)引入了元交叉注意(MCA)模塊，以實(shí)現(xiàn)光譜維度上的準(zhǔn)確重構(gòu)。進(jìn)而構(gòu)建基于SSCA和MCA的多尺度編解碼網(wǎng)絡(luò)，稱為元注意力網(wǎng)絡(luò)（MAN）。MAN網(wǎng)絡(luò)作為去噪重建先驗(yàn)項(xiàng)，以端到端方式交替求解深度先驗(yàn)項(xiàng)和線性投影項(xiàng)，最終實(shí)現(xiàn)高保真度和泛化性的高光譜圖像重建。實(shí)驗(yàn)證明元注意力網(wǎng)絡(luò)對(duì)于基于超構(gòu)表面光譜解耦和紋理保留具有良好性能，歐幾里德投影算子對(duì)優(yōu)化方向起到約束作用提升算法泛化性。

圖3 基于元注意力網(wǎng)絡(luò)先驗(yàn)的迭代去噪重構(gòu)算法(MAN-IDR)

采用上述超構(gòu)表面與重構(gòu)算法，團(tuán)隊(duì)搭建了基于近紅外超構(gòu)表面的快照式光譜成像系統(tǒng)，并驗(yàn)證了其光譜成像性能，結(jié)果如圖4所示。由圖4可見(jiàn)，通過(guò)CMOS拍攝所得圖像均為灰度圖，僅能體現(xiàn)圖像的強(qiáng)度信息，而無(wú)法體現(xiàn)出不同通道的波長(zhǎng)信息，而經(jīng)過(guò)算法的重構(gòu)，光譜圖像的波長(zhǎng)維度得以體現(xiàn)出來(lái)。并且重構(gòu)圖像具有清晰的紋理與較小的偽影，展現(xiàn)出重構(gòu)算法良好的細(xì)節(jié)恢復(fù)能力；此外，研究者還從重構(gòu)圖像中提取光譜曲線并與真值進(jìn)行對(duì)比，兩組實(shí)驗(yàn)的光譜曲線保真度平均值分別為92.26%和91.40%，表明重構(gòu)結(jié)果具有較高的波長(zhǎng)準(zhǔn)確性。

圖4 具有復(fù)雜紋理的單色光譜圖像重構(gòu)結(jié)果

研究團(tuán)隊(duì)還測(cè)試了系統(tǒng)的光譜曲線恢復(fù)能力，結(jié)果如圖5所示。針對(duì)準(zhǔn)單色光，重構(gòu)光譜曲線平均保真度達(dá)到98.26%，且中心波長(zhǎng)準(zhǔn)確性達(dá)到0.05 nm，半高全寬準(zhǔn)確性達(dá)到0.13 nm。針對(duì)形狀復(fù)雜的寬帶光譜，也實(shí)現(xiàn)了準(zhǔn)確重構(gòu)。

圖5 光譜曲線重構(gòu)結(jié)果

上述研究團(tuán)隊(duì)提出的基于元注意力網(wǎng)絡(luò)的近紅外超構(gòu)表面快照式光譜成像方法，通過(guò)設(shè)計(jì)相關(guān)系數(shù)較低的超構(gòu)表面結(jié)構(gòu)單元以及普適性較高的光譜重構(gòu)算法，實(shí)現(xiàn)了高保真度、低串?dāng)_的光譜圖像重構(gòu)，并能準(zhǔn)確區(qū)分出空間重疊的光譜圖像，為區(qū)分、探測(cè)不同成分的近紅外物質(zhì)信息提供可能。通過(guò)將所設(shè)計(jì)的近紅外超構(gòu)表面與手機(jī)、無(wú)人機(jī)等可移動(dòng)設(shè)備集成，有望在未來(lái)實(shí)現(xiàn)便攜式、小型化的光譜成像移動(dòng)設(shè)備，為空間探測(cè)、智慧醫(yī)療、機(jī)器視覺(jué)等領(lǐng)域提供助力。

論文信息：
https://doi.org/10.1002/adma.202313357