近日，F(xiàn)acebook CEO 扎克伯格透露公司正在研究一款可用于AR眼鏡的腦機(jī)接口技術(shù)，但該技術(shù)并非將AR眼鏡以植入性芯片的形式進(jìn)行，而是希望能開(kāi)發(fā)成可量產(chǎn)的可穿戴技術(shù)。

類似《刀劍神域》中那般腦機(jī)接口被認(rèn)為是虛擬現(xiàn)實(shí)的最終形態(tài)，也是最理想的形態(tài)，然而這個(gè)離我們似乎還有些遙遠(yuǎn)。

一直想要發(fā)展VR社交的Facebook，一邊在規(guī)劃幾十年后的未來(lái)，同時(shí)也在踏踏實(shí)實(shí)地走好每一步。比如剛剛公布的Codec Avatars技術(shù)，就讓VR社交中的虛擬人物表情動(dòng)作達(dá)到了非常真實(shí)的狀態(tài)，仿佛在虛擬世界中復(fù)刻了一個(gè)“真實(shí)”的你。

研究助理Autumn Trimble正坐在“Mugsy”里面，Mugsy正是Facebook位于匹茲堡的Facebook Reality Lab（FRL，原來(lái)Oculus 研發(fā)實(shí)驗(yàn)室Oculus Research），用于創(chuàng)建“codec avatars”的捕獲設(shè)施之一。

視頻畫(huà)面中有一名年輕女子，她的眼睛閃爍著光芒說(shuō)：“門口站著一個(gè)大塊頭的傻瓜。然后他說(shuō)：‘你以為你是誰(shuí)，蓮娜·荷恩（上世紀(jì)美國(guó)超級(jí)黑人巨星）嗎？’我說(shuō)雖然我不是荷恩，但我就像姐姐一樣了解荷恩。”

上面這段獨(dú)白來(lái)自沃頓·瓊斯的戲劇《1940年的廣播時(shí)刻》的開(kāi)場(chǎng)白。畫(huà)面中的年輕女子繼續(xù)說(shuō)著這段臺(tái)詞，能看出來(lái)她很清楚自己在做什么。當(dāng)她詳細(xì)講述門衛(wèi)的聲調(diào)變化時(shí)，臉上蕩漾出笑容，就像在跟你講笑話一般。她咬字準(zhǔn)確時(shí)，嘴唇的形狀會(huì)發(fā)生恰到好處的變化，聲音抑揚(yáng)頓挫。她的表情經(jīng)過(guò)如此精細(xì)的校準(zhǔn)，朗讀臺(tái)詞時(shí)如此地胸有成竹，再加上黑色背景，恍然之中你會(huì)覺(jué)得自己仿佛正置身于百老匯劇院，眼前在上演的正是上世紀(jì)70年代后期的百老匯戲劇。

唯一的不足之處就是：她脖子以下的身體都消失不見(jiàn)了。

Yaser Sheikh伸出手停止了視頻的播放。剛剛畫(huà)面中的年輕女子實(shí)際上是一個(gè)看上去極其逼真的VR虛擬化身，她令人驚艷的表現(xiàn)背后是收集的數(shù)據(jù)在運(yùn)作。Sheikh是FRL的負(fù)責(zé)人，他還拿出了另一個(gè)令人印象更加深刻的視頻。在該視頻中，剛剛的那個(gè)女子和一個(gè)男子都戴著VR頭顯。在屏幕的左側(cè)，真實(shí)世界中的他們正戴著頭顯在聊天; 而與此同時(shí)，在屏幕右側(cè)，他們的虛擬化身正在聽(tīng)著精彩絕倫的音樂(lè)會(huì)。他們聊天的話題卻很稀松平常，聊的是熱瑜伽——這樣的場(chǎng)景是對(duì)未來(lái)生活的驚鴻一瞥。

Facebook的新黑科技：Codec Avatars

多年以來(lái)，人們?cè)谔摂M現(xiàn)實(shí)中一直都是通過(guò)電腦生成的虛擬化身來(lái)代表我們進(jìn)行互動(dòng)。VR頭戴設(shè)備和手持控制器都是可追蹤的，所以我們?cè)诂F(xiàn)實(shí)世界中的頭部動(dòng)作和手部動(dòng)作可以出現(xiàn)在這些虛擬對(duì)話場(chǎng)景中，這些無(wú)意識(shí)的習(xí)慣動(dòng)作也為虛擬世界中的對(duì)話平添了至關(guān)重要的一點(diǎn)——和諧感。

然而，即使我們的虛擬互動(dòng)變得更加自然，由于技術(shù)限制，虛擬互動(dòng)在視覺(jué)上只能保持在很簡(jiǎn)單的程度——就像Rec Room和Altspace這樣的社交VR App一般，只能將我們的形象抽象成漫畫(huà)，基本不會(huì)（如果有的話）映射出我們?cè)谡鎸?shí)世界的表情。但Facebook的新技術(shù)Spaces能夠用社交媒體照片生成一個(gè)形象逼真的動(dòng)畫(huà)形象，但有些表情仍然依賴于按鈕或手柄來(lái)觸發(fā)。即使像技術(shù)要求更高的平臺(tái)，如高保真領(lǐng)域，它的確可以讓用戶導(dǎo)入自己的3D掃描模型，但如果要求虛擬形象感覺(jué)像你一樣栩栩如生，道阻且長(zhǎng)。

最初，Yaser Sheikh和他的團(tuán)隊(duì)在匹茲堡市區(qū)東部的自由社區(qū)租了一間小辦公室開(kāi)始進(jìn)行這項(xiàng)技術(shù)的研發(fā)工作，目前他們已搬到卡內(nèi)基梅隆校園內(nèi)，空間更大，并計(jì)劃在未來(lái)一兩年內(nèi)再次擴(kuò)展。FRL稱這項(xiàng)技術(shù)為CodecAvatars，是用機(jī)器收集、學(xué)習(xí)和重建人類社交表情的結(jié)果。目前，他們還沒(méi)有準(zhǔn)備好正式推出這項(xiàng)技術(shù)。最好的情況是，還需要花上幾年時(shí)間，前提是他們最后能夠成為Facebook部署計(jì)劃中的一部分。但是FRL團(tuán)隊(duì)已經(jīng)準(zhǔn)備好開(kāi)始大展拳腳了。

Sheik說(shuō)：“如果我們真的能把這件事做好，絕對(duì)是非常轟動(dòng)的。我們想把它做出來(lái)，聊聊它的用武之地。”他臉上帶著胸有成竹的笑容，對(duì)于團(tuán)隊(duì)能完成這項(xiàng)技術(shù)顯得信心十足。

1927年，美國(guó)人類學(xué)家、語(yǔ)言學(xué)家愛(ài)德華·薩丕爾發(fā)表了一篇文章《無(wú)意識(shí)的社會(huì)行為模式》。在文章中，薩丕爾提到人類對(duì)姿態(tài)的反應(yīng)是“一種復(fù)雜又神秘的代碼，沒(méi)有文字描述，無(wú)人得識(shí)，卻眾人皆知” 。92年之后，薩丕爾所說(shuō)的精密“代碼”成為了Sheikh為之不斷努力的任務(wù)。

在Sheikh進(jìn)入Facebook之前，他是卡內(nèi)基梅隆大學(xué)的一名教授，負(fù)責(zé)研究計(jì)算機(jī)視覺(jué)與社交感知之間的交集。2015年，當(dāng)OculusVR首席科學(xué)家邁克爾·阿布拉什（Michael Abrash）與他聯(lián)系，討論AR和VR未來(lái)的方向時(shí)，Sheikh毫不猶豫地分享了自己的愿景。現(xiàn)在，Sheikh手里總是端著一杯咖啡，他說(shuō)：“VR的真正承諾是戴上頭顯進(jìn)行像視頻中這樣的對(duì)話，而不是飛來(lái)親自見(jiàn)到我。你能看到的形象，不是卡通版本也不是怪物版本，而是你在真實(shí)世界里的行為舉止和音容笑貌。”

在Sheikh為該設(shè)施撰寫的原始文件中，他將其描述為“社交實(shí)驗(yàn)室”，指的是大腦對(duì)虛擬環(huán)境和互動(dòng)做出反應(yīng)的現(xiàn)象，如同對(duì)真實(shí)環(huán)境做出的反應(yīng)一般。然后，他還寫道他們認(rèn)為在7-8名員工的努力下，能夠在五年內(nèi)開(kāi)發(fā)出照片級(jí)程度的虛擬化身。這項(xiàng)項(xiàng)目雖然保留下來(lái)了，但對(duì)此的期望卻發(fā)生了改變。這也同樣反映在其實(shí)驗(yàn)室的名稱上：Oculus Research去年改名為FacebookReality Labs。

Codec Avatars的原理很簡(jiǎn)單，是一種雙重測(cè)試，Sheikh稱之為“自我測(cè)試”和“母測(cè)試”：你應(yīng)該愛(ài)你的形象，被你所愛(ài)的形象也應(yīng)該愛(ài)你。啟用虛擬化身的過(guò)程要復(fù)雜得多。第一次使用是在一個(gè)名為Mugsy的圓頂狀房間里，房間中的墻和天花板上鑲嵌著132個(gè)現(xiàn)成的佳能鏡頭和350個(gè)燈光，均聚焦在椅子上。坐在房間中心的感覺(jué)就像是置身于一個(gè)由狗仔隊(duì)組成的黑洞里。 Sheikh還說(shuō)：“我之前給這個(gè)地方取名叫“Mugshooter（臉部狙擊）”，但是之后我們覺(jué)得到這是一個(gè)挺可怕的名字，不太好。” 不過(guò)Mugsy早已經(jīng)歷了幾次更新，Mugsy的攝像頭變多了，能力也變得更強(qiáng)，把那些老早的設(shè)備（比如在一根繩子上綁上乒乓球，讓參與者的臉保持在合適的位置上，就像車庫(kù)里的車一樣擺正）淘汰了。

在Mugsy中，研究參與者花了大約一個(gè)小時(shí)坐在椅子上，制作了一系列超大的面部表情和大音量的朗讀聲線，而另一個(gè)房間的員工通過(guò)網(wǎng)絡(luò)攝像頭指導(dǎo)他們?nèi)绾巫龀鲞m當(dāng)?shù)谋砬椤！跋耵~(yú)那樣活動(dòng)臉頰，”技術(shù)項(xiàng)目經(jīng)理Danielle Belko說(shuō)道。

另一個(gè)名為Sociopticon的捕獲設(shè)施會(huì)更好地應(yīng)用于第二個(gè)捕獲區(qū)域（在加入Oculus/Facebook之前，Sheikh在Carnegie Mellon建立了它的前身Panoptic Studio）。Sociopticon看起來(lái)很像微軟的MR捕捉工作室，雖然有著更多的相機(jī)（180到106）、更高的分辨率（2.5K）和更高的幀速率（90Hz）。當(dāng)Mugsy集中捕獲面部表情時(shí)，Sociopticon幫助Codec Avatar系統(tǒng)了解我們的穿著，以及我們的身體如何進(jìn)行移動(dòng)。因此，人們?cè)谀抢锏臅r(shí)間并不僅僅是活動(dòng)面部表情，還要搖晃四肢，四處跳躍，通過(guò)網(wǎng)絡(luò)攝像頭與Belko玩耍。

這一切的關(guān)鍵是盡可能多地捕獲信息，Mugsy和Sociopticon每秒可以收集180千兆字節(jié)的信息，以便神經(jīng)網(wǎng)絡(luò)盡可能學(xué)習(xí)從每個(gè)可能的角度將表情和運(yùn)動(dòng)映射到聲音和肌肉。它捕獲的信息越多，其“深度外觀模型”就越強(qiáng)大，從而更好地將信息編碼為數(shù)據(jù)，然后在另一端，另一個(gè)人的頭顯將其解碼為虛擬化身，這就是Codec Avatars中的編解碼的過(guò)程。

這不僅僅是原始的測(cè)量。正如研究科學(xué)家Jason Saragih告訴我那樣，他們還必須將數(shù)據(jù)解釋出來(lái)。畢竟普通用戶的起居室里并沒(méi)有Mugsy和Sociopticon，他們只有AR/VR頭顯。雖然今天的VR可穿戴設(shè)備被稱為頭戴式顯示器，但FRL的研究人員已經(jīng)創(chuàng)建了一系列HMC或頭戴式捕捉設(shè)備。這些HMC在面部各個(gè)區(qū)域設(shè)置了紅外LED和相機(jī)，允許軟件將數(shù)據(jù)重新融入到人的形象中。

在不久的將來(lái)，Sheikh和他的團(tuán)隊(duì)希望能夠?qū)⒚娌繏呙钄U(kuò)展到整個(gè)身體，因此軟件需要能夠解決Saragih所謂的“外在性”，否則虛擬交互將不會(huì)那么逼真。例如當(dāng)人們處于黑暗狀態(tài)時(shí)，系統(tǒng)需要進(jìn)行補(bǔ)償。如果你將手放在背后，系統(tǒng)需要解決這個(gè)問(wèn)題，這樣如果你的朋友在VR中走到你背后，他們就可以看到你的手在做什么。還有一些其他的東西，比如預(yù)測(cè)用戶的移動(dòng)方式，從而保證虛擬化身的運(yùn)動(dòng)能盡可能順利，但它們都旨在消除變量，讓你的虛擬形象成為一個(gè)不受約束、純粹的代表。

體驗(yàn)：效果驚艷，略有瑕疵

把人的形象栩栩如生的展現(xiàn)出來(lái)很難，這才是事實(shí)。即使是超級(jí)大片一般的電子游戲也會(huì)在頭發(fā)、眼睛、鼻子和嘴巴內(nèi)部等細(xì)節(jié)上掙扎，總會(huì)有一些部分讓它們看起來(lái)并不像是完全的人類。根據(jù)我對(duì)捕獲過(guò)程的經(jīng)驗(yàn)，當(dāng)我戴上頭顯與Sheikh和研究員Steve Lombardi進(jìn)行實(shí)時(shí)聊天時(shí)，我預(yù)想在VR中會(huì)出現(xiàn)同樣的情況。

但事實(shí)上并沒(méi)有。Sheikh的化身雖然沒(méi)有他現(xiàn)實(shí)生活中那樣的胡須或圓形眼鏡，但這就是他，并且是完全的他。當(dāng)他邀請(qǐng)我靠近并仔細(xì)觀察他臉上的胡茬時(shí)，感覺(jué)非常具有侵略性。Steve Lombardi也是這樣，當(dāng)后來(lái)他的真人走進(jìn)房間時(shí)，我覺(jué)得我早就認(rèn)識(shí)他了，盡管我只在VR中見(jiàn)過(guò)他。雖然結(jié)果并不完美，例如當(dāng)人們興奮地說(shuō)話時(shí)，他們虛擬化身嘴巴的動(dòng)作并沒(méi)有和語(yǔ)調(diào)相統(tǒng)一，此外頭發(fā)雖然根根分明，但周圍總有一個(gè)模糊的光環(huán)，舌頭看起來(lái)也有些模糊，但總體看來(lái)，效果是令人感到不可置信的好。

這次的體驗(yàn)是一個(gè)很了不起的經(jīng)歷，同時(shí)也很麻煩。雖然Codec Avatars還是一個(gè)研究項(xiàng)目，但我們現(xiàn)在已經(jīng)對(duì)它有了一定了解。

之前大火的AI換臉程序Deepfakes可以憑空創(chuàng)造面孔，人們的數(shù)據(jù)隱私、錯(cuò)誤信息活動(dòng)和惡性行為已經(jīng)成為當(dāng)下互聯(lián)網(wǎng)上非常真實(shí)的問(wèn)題。隨著VR和AR出現(xiàn)并成為人類主流的通信平臺(tái)，這些問(wèn)題將會(huì)變得更加嚴(yán)重。你覺(jué)得網(wǎng)絡(luò)上的騷擾很糟糕嗎？你認(rèn)為能增加體現(xiàn)個(gè)人空間的VR會(huì)令人不安嗎？人們對(duì)此還沒(méi)有足夠的了解。

Sheikh理解這種擔(dān)憂。“真實(shí)性不僅對(duì)Codec Avatars的成功至關(guān)重要，對(duì)于保護(hù)用戶也很重要，”他說(shuō)道。“如果你接到你母親打來(lái)的電話，你聽(tīng)到了她的聲音，那么你不會(huì)產(chǎn)生任何疑問(wèn)，因?yàn)樗f(shuō)的就是你所聽(tīng)到的對(duì)嗎？我們必須建立這樣的信任，并從一開(kāi)始就保持。”他引用HMC上的傳感器作為認(rèn)證的重要手段：我們的眼睛、聲音甚至習(xí)慣都是一種生物識(shí)別技術(shù)。在過(guò)去幾年中，圍繞數(shù)據(jù)隱私和虛擬現(xiàn)實(shí)的對(duì)話越來(lái)越多，而這樣的突破可能會(huì)使他們的熱度達(dá)到一個(gè)新高度。

對(duì)于VR在過(guò)去十年間所取得的所有進(jìn)步，像Codec Avatars這樣的技術(shù)代表了我們正在向全新體驗(yàn)階段過(guò)渡。每年在Oculus Connect開(kāi)發(fā)者大會(huì)上，邁克爾·阿布拉什都會(huì)上臺(tái)演講，并公布公司的最新研究和創(chuàng)新項(xiàng)目的狀態(tài)。隨著時(shí)間的推移，他更看好VR的一些突破。他說(shuō)道：“我不是在打賭說(shuō)四年內(nèi)就一定能開(kāi)發(fā)出令人折服的虛擬形象，但這也不是完全不可能的事。”

現(xiàn)在和Yaser Sheikh坐在一起，我問(wèn)他對(duì)當(dāng)時(shí)阿布拉什的宣言有何感受？

“他是對(duì)的，”他微笑著喝著咖啡說(shuō)道。