如今,利用人工智能技術(shù),科學(xué)家可以在智能手機上快速生成逼真的彩色3D全息圖了。
從本質(zhì)上說,全息圖類似于從2D窗口尋找到一個3D場景的圖像,每個全息圖的像素都會散射掉落在其上的光波,從而使這些波以產(chǎn)生深度錯覺的方式彼此相互作用。
全息視頻顯示器創(chuàng)建的3D圖像能夠保證人們在觀看的同時不會感到眼睛疲勞,這與傳統(tǒng)的3D顯示器使用2D圖像產(chǎn)生深度錯覺不同。
但是,盡管三星等公司最近在開發(fā)可顯示全息視頻的硬件方面取得了進步,但實際上要顯示全息數(shù)據(jù)仍然是一個重大挑戰(zhàn)。
因為每個全息圖都會編碼大量數(shù)據(jù),以便在整個圖像中營造出深度錯覺。這樣來說,生成全息視頻通常需要超級計算機的計算能力。
為了將全息視頻普遍化,科學(xué)家們嘗試了多種不同的策略來減少所需的計算量,例如,用簡單的查找表代替復(fù)雜的物理模擬。然而,這些通常以圖像質(zhì)量為代價。
現(xiàn)在,麻省理工學(xué)院的研究人員已經(jīng)開發(fā)出一種幾乎可以立即生成全息圖的新方法——一種高效的基于深度學(xué)習(xí)的方法,它可以在眨眼之間在筆記本電腦上生成全息圖。
這項研究在本周的《自然》雜志上發(fā)表。
論文鏈接:
https://www.nature.com/articles/s41586-020-03152-0
麻省理工學(xué)院計算機科學(xué)家Liang Shi說:“這超出了我們的預(yù)期?!?/p>
Shi指出,將物理模擬用于計算機生成的全息圖涉及計算全息圖的許多塊的外觀,然后將它們組合以獲得最終的全息圖。他說,使用查找表就像記住一組經(jīng)常使用的全息圖,但這會犧牲準確性,仍然需要組合步驟。
Shi還補充到,從某種意義上說,計算機生成的全息術(shù)有點像切蛋糕的過程。使用物理模擬來計算空間中每個點的外觀是一個耗時的過程,類似于使用八次精確切割來生產(chǎn)八塊蛋糕的過程。
使用查找表進行計算機生成的全息照相,就像在切割之前標記每個切片的邊界一樣。盡管通過消除計算切割位置的步驟節(jié)省了一些時間,但是執(zhí)行所有八次切割仍會占用大量時間。
相比之下,新技術(shù)利用深度學(xué)習(xí)從本質(zhì)上弄清楚了如何僅用三個切口就能將蛋糕切成八個切片。該卷積神經(jīng)網(wǎng)絡(luò)是一種大致模仿人類大腦處理視覺數(shù)據(jù)方式的系統(tǒng),它可以學(xué)習(xí)生成完整全息圖的捷徑,而不需要單獨計算每塊圖是如何成型的,“這將從數(shù)量級上直接降低操作步驟”。
研究人員首先建立了一個自定義數(shù)據(jù)庫,其中包含4,000張計算機生成的圖像,每個圖像都包含每個像素的顏色和深度信息。該數(shù)據(jù)庫還包括與每個圖像相對應(yīng)的3D全息圖。
卷積神經(jīng)網(wǎng)絡(luò)使用這些數(shù)據(jù)學(xué)習(xí)了如何計算如何從圖像中生成全息圖的最佳方法。然后,它可以從具有深度信息的圖像中生成新的全息圖,這些圖像隨計算機提供的典型圖像一起提供,并且可以通過多相機設(shè)置或激光雷達傳感器進行計算,這些設(shè)置在一些新iPhone上也有搭載。
這個新系統(tǒng)需要不到620 KB的內(nèi)存,并且可以在單個消費級GPU上每秒生成60幅彩色3D全息圖,分辨率為1,920x1,080像素。研究人員可以在iPhone 11 Pro上以每秒1.1全息圖的速度運行它,并在Google Edge TPU上以每秒2全息圖的速度運行,這表明它有一天可以在虛擬現(xiàn)實或增強現(xiàn)實上運行。
實時3D全息術(shù)也可能有助于增強所謂的體積3D打印技術(shù),該技術(shù)通過將圖像投影到液體桶上來創(chuàng)建3D對象,并可以生成復(fù)雜的空心結(jié)構(gòu)??茖W(xué)家們指出,他們的技術(shù)還可以在光學(xué)和聲學(xué)鑷子中找到有用的工具,這些鑷子可用于微觀層面的物質(zhì)處理,以及可以分析細胞和常規(guī)靜態(tài)全息圖的全息顯微鏡,可用于藝術(shù)、安全、數(shù)據(jù)存儲和其他應(yīng)用中。
Shi表示,未來的研究可能會添加眼動追蹤技術(shù),以通過創(chuàng)建僅在眼睛注視的地方具有高分辨率的全息圖來加快系統(tǒng)運行速度。他補充說,另一個方向是生成考慮到人的視敏度的全息圖,因此,戴眼鏡的用戶不需要與他們的眼部處方相匹配的特殊VR頭戴式耳機。
責(zé)任編輯:lq
-
3D
+關(guān)注
關(guān)注
9文章
2912瀏覽量
108011 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5516瀏覽量
121559 -
全息圖
+關(guān)注
關(guān)注
0文章
8瀏覽量
2565
原文標題:不到1MB內(nèi)存,手機秒生成高分辨率全息圖!MIT研究登上Nature
文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論