三維重建是近年來(lái)計(jì)算機(jī)視覺(jué)研究的前沿方向，特別是基于單張RGB圖像對(duì)三維場(chǎng)景重建更是引起了廣泛的關(guān)注。而這篇文章的作者通過(guò)對(duì)環(huán)境細(xì)心的觀察，提出了從單張圖像中恢復(fù)三維結(jié)構(gòu)的新方法——利用圖像中水體的反射光來(lái)輔助算法進(jìn)行深度估計(jì)和三維重建，為我們提供了一個(gè)全新的思路。

波光粼粼的水面為藝術(shù)家和建筑師帶來(lái)了無(wú)線(xiàn)的想象空間和創(chuàng)作靈感，但在星星點(diǎn)點(diǎn)的反光背后卻還隱含著場(chǎng)景結(jié)構(gòu)的視覺(jué)線(xiàn)索。對(duì)于計(jì)算機(jī)視覺(jué)的研究人員來(lái)說(shuō)，水面的反光為圖像提供了另一個(gè)觀察場(chǎng)景對(duì)象的視角，如果加以合適的利用就能為視覺(jué)任務(wù)提供更多更豐富的信息。

簡(jiǎn)單來(lái)說(shuō)，一張包含目標(biāo)水面倒影的圖像中包含了形成立體視覺(jué)的必要信息，相機(jī)可以同時(shí)記錄下直接從目標(biāo)傳播過(guò)來(lái)的光線(xiàn)，同時(shí)還能記錄下目標(biāo)通過(guò)水面的反光，這使得單圖像立體視覺(jué)重建成為了可能。

但水面的反射光畢竟與直接從空氣中傳輸?shù)较鄼C(jī)的情況不同，除了幾何方面還需要克服光線(xiàn)衰減、扭曲等方面的問(wèn)題。水面反射光受到環(huán)境的復(fù)雜影響和水中介質(zhì)的散射，甚至在較淺的水域還會(huì)受到水底反射的影響。為了探索這一問(wèn)題，研究人員提出了Shape from Water Reflection的概念，通過(guò)單張圖像同時(shí)捕捉目標(biāo)及其在水面的反射來(lái)及進(jìn)行三維重建。利用規(guī)范的迭代方法來(lái)調(diào)整目標(biāo)的輻射損失實(shí)現(xiàn)高動(dòng)態(tài)范圍，同時(shí)利用幾何關(guān)系對(duì)相機(jī)進(jìn)行標(biāo)定，使得這種方法可以在不依賴(lài)于相機(jī)參數(shù)的情況下結(jié)合反射圖像進(jìn)行恢復(fù)。此外，為了解決水面波浪的情況，研究通過(guò)對(duì)水面表面法向量的建模同時(shí)恢復(fù)水面和目標(biāo)的三維結(jié)構(gòu)。

下圖展示了這種方法的主要流程，首先需要從圖像中抽取目標(biāo)和對(duì)應(yīng)的反射區(qū)域，而后對(duì)特征進(jìn)行匹配，并基于這些信息進(jìn)行水面法向量估計(jì)和和反射場(chǎng)景的輻射估計(jì)，最后進(jìn)行立體匹配和深度計(jì)算；針對(duì)有波紋的水面，還需要對(duì)波浪進(jìn)行一定的矯正和三維波浪形狀估計(jì)。

Shape from Water Reflection

首先針對(duì)平靜的水面，研究人員將水面視為平面鏡面模型可以利用反射模型來(lái)對(duì)這一過(guò)程進(jìn)行建模。首先需要將圖像中需要重建的目標(biāo)對(duì)象分為直接入射區(qū)域和水面反射區(qū)域，可以利用水面分界線(xiàn)和淹沒(méi)來(lái)實(shí)現(xiàn)，隨后研究人員通過(guò)構(gòu)建出場(chǎng)景和反射中對(duì)應(yīng)的點(diǎn)對(duì)來(lái)及逆行水平面的表面估計(jì)，隨后通過(guò)水體表面來(lái)估計(jì)水面的法向量。

在得到表面法向量后，就可以基于法向量利用直接入射和反射圖像來(lái)作為外部標(biāo)定過(guò)的立體視覺(jué)對(duì)。隨后研究人員還需要對(duì)圖像進(jìn)行輻射校正，通過(guò)分離環(huán)境光直接傳輸和反射光，并考慮到水面的菲涅爾反射效應(yīng)來(lái)進(jìn)行處理。隨后得到的圖像就可以用于立體匹配了。

由于在幾何標(biāo)定過(guò)程中的誤差會(huì)引起不正確的輻射恢復(fù)。所以可以利用輻射恢復(fù)的誤差信息迭代地優(yōu)化幾何標(biāo)定過(guò)程，不斷進(jìn)行前文流程圖中的A2-A4過(guò)程使得恢復(fù)的形狀和場(chǎng)景收斂。此外通過(guò)水面的菲涅爾反射過(guò)程還可以對(duì)相機(jī)的內(nèi)參進(jìn)行估計(jì)，從而可以實(shí)現(xiàn)自標(biāo)定的場(chǎng)景重建。

最后可以基于立體視覺(jué)匹配和三角公式實(shí)現(xiàn)稠密深度圖的計(jì)算。如果利用菲涅爾效應(yīng)帶來(lái)的不同有效曝光就可以實(shí)現(xiàn)圖像的高動(dòng)態(tài)范圍，并利用深度值和輻射強(qiáng)度值來(lái)構(gòu)建具有紋理映射的三維網(wǎng)格模型了。

基于菲涅爾效應(yīng)帶來(lái)的不同曝光來(lái)重建出高動(dòng)態(tài)范圍的圖像

當(dāng)然水面不可能一直風(fēng)平浪靜，針對(duì)有波浪的情形也需要有效處理。研究人員將水面的波動(dòng)視為水面法向量的差分。首先針對(duì)全局進(jìn)行水面估計(jì)，隨后迭代的對(duì)細(xì)節(jié)的法向量進(jìn)行優(yōu)化，對(duì)幾何與輻射進(jìn)行求解。

通過(guò)表面法向量差分的方式來(lái)估計(jì)水面波紋，可以移除波紋對(duì)于成像造成的影響。

結(jié)果

下圖展示了一系列基于這種方法進(jìn)行重建的結(jié)果，可以看到不僅圖像紋理的動(dòng)態(tài)范圍有所提升，同時(shí)細(xì)節(jié)也得到了良好的恢復(fù)。