你知道3D運(yùn)動(dòng)雕塑嗎？MIT、Google和UC Berkeley的研究人員創(chuàng)建了一個(gè)名為MoSculp的AI系統(tǒng)，只需視頻輸入，利用AI檢測人體2D圖像并恢復(fù)成3D模型，就能創(chuàng)造出超現(xiàn)實(shí)主義的3D運(yùn)動(dòng)雕塑。

雕塑大家都認(rèn)識(shí)，3D電影想必大家也都看過，但你知道3D運(yùn)動(dòng)雕塑嗎？

簡單地說，這是一種獨(dú)特的展示人體如何運(yùn)動(dòng)的方式。3D運(yùn)動(dòng)雕塑（3D motion sculpture）可以將任何物體的移動(dòng)路徑形成3D視圖，物體的形狀、運(yùn)動(dòng)軌跡都會(huì)影響最后的效果。

將雕塑和3D這兩種藝術(shù)混合起來的這些作品，是由MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室、Google Research以及加州大學(xué)伯克利分校的研究人員共同創(chuàng)造的。他們利用AI系統(tǒng)產(chǎn)生了這些超現(xiàn)實(shí)主義的運(yùn)動(dòng)與姿勢的混合。

作為輸入的運(yùn)動(dòng)影像

創(chuàng)作3D運(yùn)動(dòng)雕塑

這個(gè)系統(tǒng)被稱為MoSculp，在論文《MoSculp：形狀和時(shí)間的交互式可視化》中有詳細(xì)描述。該論文將于下個(gè)月在德國柏林的用戶界面軟件與技術(shù)大會(huì)（UIST）上發(fā)表。

論文的第一作者、MIT博士生張修明（Xiuming Zhang）認(rèn)為，這一技術(shù)可以用來為想要提高技能的運(yùn)動(dòng)員提供詳細(xì)的運(yùn)動(dòng)研究。

3D運(yùn)動(dòng)雕塑可用作運(yùn)動(dòng)研究

張修明說：“想象一下，你有一段費(fèi)德勒在網(wǎng)球比賽中發(fā)球的視頻，還有一段你自己練習(xí)打網(wǎng)球的視頻。你可以用MoSculp創(chuàng)建兩種場景的運(yùn)動(dòng)雕塑，然后進(jìn)行對比，更全面地研究你需要改進(jìn)的地方。”

具體來說，這個(gè)系統(tǒng)的工作有多個(gè)步驟：

首先，MoSculp能夠檢測人體及其2D姿態(tài)，利用的是CMU感知計(jì)算實(shí)驗(yàn)室開發(fā)的多人關(guān)鍵點(diǎn)實(shí)時(shí)檢測庫OpenPose，估計(jì)每個(gè)幀中的關(guān)鍵點(diǎn)（踝關(guān)節(jié)，肘關(guān)節(jié)，髖關(guān)節(jié)等）。

自動(dòng)檢測關(guān)鍵點(diǎn)

接下來，MoSculp將2D姿態(tài)恢復(fù)成一個(gè)3D人體模型，展現(xiàn)人體的整體形狀和人體隨時(shí)間運(yùn)動(dòng)的姿態(tài)。

AI通過3D空間掃描這個(gè)模型，以創(chuàng)建初始運(yùn)動(dòng)雕塑，但正如研究人員指出的那樣，這個(gè)模型缺乏紋理和結(jié)構(gòu)細(xì)節(jié)，比如精細(xì)的面部結(jié)構(gòu)、頭發(fā)和衣服。

有沒有聰明的解決方案呢？

研究人員提出將雕塑插入到原始視頻中，而不是將3D內(nèi)容從視頻映射到場景中。

為了防止出現(xiàn)偽影和遮擋，MoSculp估計(jì)出每個(gè)幀中人物和雕塑的深度圖（depth map），并將兩者進(jìn)行比較，以確定人是比雕塑更接近攝像機(jī)還是更原理攝像機(jī)。

然后，MoSculp從所有幀中提取主體的前景蒙版，以細(xì)化初始深度圖。

原始視頻

估計(jì)模型

以下是該系統(tǒng)在實(shí)踐中的工作原理：

將視頻加載到系統(tǒng)后，MoSculp將檢測到的關(guān)鍵點(diǎn)覆蓋在輸入幀上，并通過幾個(gè)隨機(jī)選擇的幀來驗(yàn)證。（內(nèi)置的校正工具可以讓用戶在必要時(shí)進(jìn)行調(diào)整。）在對“暫時(shí)不一致的檢測”進(jìn)行校正后，它會(huì)生成運(yùn)動(dòng)雕塑，并將其加載到自定義界面中。

在MoSculp中，用戶可以在雕塑周圍導(dǎo)航，或使用3D打印機(jī)進(jìn)行打印。系統(tǒng)提供工具允許用戶自定義材料、身體部位、場景背景、光照條件和其他美學(xué)特征。

MoSculp的界面

目前，MoSculp只使用于單個(gè)主體的視頻，不過研究團(tuán)隊(duì)希望將其擴(kuò)展到多人。未來，他們認(rèn)為這個(gè)系統(tǒng)可以用來研究社會(huì)障礙、團(tuán)隊(duì)動(dòng)力和人際互動(dòng)等。

“舞蹈和高技能運(yùn)動(dòng)通常看起來像'移動(dòng)的雕塑'，但它們只能形成稍縱即逝的短暫形狀，”Adobe傳播負(fù)責(zé)人Courtney Brigham說。

“這項(xiàng)工作展示了如何利用動(dòng)作，并將動(dòng)作轉(zhuǎn)換為具有客觀運(yùn)動(dòng)可視化的真實(shí)雕塑，為運(yùn)動(dòng)員提供了一種分析他們的訓(xùn)練動(dòng)作的方式，而且成本只需一臺(tái)運(yùn)動(dòng)相機(jī)和一些計(jì)算時(shí)間。”