在加拿大作家瑪格麗特?阿特伍德的著作《盲人殺手》中有這樣一段描述：“觸覺，先于視覺也先于語言，既是第一語言也是最后的語言，并總是訴說真相。”

被編寫為視覺或者觸覺的機(jī)器人一般不能實(shí)現(xiàn)此兩種感官信息的交互。為打破這種隔絕，來自MIT（麻省理工學(xué)院）CSAIL（計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室）的研究團(tuán)隊(duì)提出了一種可預(yù)測AI，它可以通過觸覺信息的訓(xùn)練學(xué)習(xí)到視覺特征，反之亦然，也能通過視覺信息的訓(xùn)練學(xué)習(xí)到物體的觸覺特征。

該團(tuán)隊(duì)所提出的模型可以從視覺信號(hào)中“創(chuàng)造”出逼真的觸覺信號(hào)，并直接利用觸覺信息預(yù)測所檢測目標(biāo)及觸摸部位。他們使用的庫卡機(jī)械臂上裝有一個(gè)特殊的觸覺傳感器GelSight，這是由MIT的另一研究團(tuán)隊(duì)設(shè)計(jì)的。

該團(tuán)隊(duì)利用一個(gè)簡單的網(wǎng)絡(luò)攝像頭采集了近200種物體圖像，包括工具、家庭用品、紡織物等，這些物體被“觸摸”超過12000次。通過將這12000個(gè)小視頻分解為靜態(tài)幀從而生成了名為“VisGel”的數(shù)據(jù)集，該數(shù)據(jù)集包含300多萬個(gè)視覺-觸覺對應(yīng)的圖像。

CSALL博士生Yunzhu Li在其一篇相關(guān)論文中談到：“通過觀察觸摸情景，我們的模型可以“想象”出觸摸平坦表面或者尖銳邊緣的感覺”，“當(dāng)機(jī)器人只有觸覺感官的時(shí)候，此模型可以僅憑觸覺信號(hào)來完成和周圍環(huán)境的交互。將觸覺和視覺這兩種感官結(jié)合在一起無疑是錦上添花。它還可能減少機(jī)器人為完成抓取任務(wù)所需的數(shù)據(jù)集”。

目前使能機(jī)器人具備更多感官能力的研究，比如MIT在2016年的項(xiàng)目：利用深度學(xué)習(xí)實(shí)現(xiàn)聲音可視化、預(yù)測物體對外力反應(yīng)，都使用了大量的訓(xùn)練數(shù)據(jù)，但不能實(shí)現(xiàn)視覺和觸覺的交互。該團(tuán)隊(duì)使用VisGel數(shù)據(jù)集和生成式對抗網(wǎng)絡(luò)（GANs）實(shí)現(xiàn)上述功能。

此GANs算法利用視覺或觸覺的圖像生成其他形式的圖像。其原理簡而言之，就是GANs利用生成器（generator）捏造假的圖像試圖騙過判別器（discriminator），判別器將辨別結(jié)果反饋給生成器以調(diào)參，以使得生成器生成更高質(zhì)量的預(yù)期圖像，如此相得益彰。

所見即所觸

人可以通過觀察物體來判斷其手感，欲將這種能力賦予機(jī)器人，首先要標(biāo)定目標(biāo)位置，其次要推斷目標(biāo)區(qū)域的形狀和手感。

為此，需要一張參考圖像，它記錄了機(jī)器人沒有與外界交互時(shí)的所處的環(huán)境信息。模型在識(shí)別過程中會(huì)對比當(dāng)前捕捉到的幀圖像和參考圖像以輕松判斷所觸物體的位置和大小。

好比給模型“看”了一張鼠標(biāo)的圖像，模型將預(yù)測可能觸碰到鼠標(biāo)的區(qū)域，并告訴機(jī)器人從而使其實(shí)現(xiàn)安全高效的抓取任務(wù)。

所觸即所見

利用觸覺數(shù)據(jù)產(chǎn)生視覺圖像即所謂“所觸即所見”。模型通過觀察觸覺圖像推斷所接觸位置的物體形狀和材質(zhì)，并和參考圖像對比進(jìn)而“想象”出交互過程。

舉個(gè)例子，將一只鞋的觸覺數(shù)據(jù)傳給模型，其輸出將是一張圖像，這張圖像則顯示了最有可能觸摸到這只鞋的區(qū)域位置。

當(dāng)燈被關(guān)掉，或者盲人進(jìn)入未知區(qū)域的時(shí)候，這種技能就可以發(fā)揮其作用了。

展望

目前的訓(xùn)練數(shù)據(jù)只能實(shí)現(xiàn)特定環(huán)境下的交互。該團(tuán)隊(duì)希望收集更復(fù)雜環(huán)境下的訓(xùn)練數(shù)據(jù)以提升模型的泛化性能。MIT的新設(shè)計(jì)——tactile glove或許可以幫助他們獲取更多更密集的訓(xùn)練數(shù)據(jù)。

翹首以盼，此類模型將協(xié)助機(jī)器人和其視覺緊密合作以實(shí)現(xiàn)無縫的人機(jī)交互。這些合作包括對象識(shí)別、抓取、場景理解等。

加州大學(xué)伯克利分校的博士后Andrew Owens說：“這是首次提出的視覺和觸覺信號(hào)可靠的轉(zhuǎn)換方法，此類方法于機(jī)器人而言將大有裨益，彼時(shí)，它們就可以回答諸如‘這東西的硬度如何？’，‘如果我用手柄握住馬克杯，我會(huì)握得多好？’的問題，這是一個(gè)十分有挑戰(zhàn)性的項(xiàng)目，因?yàn)閱栴}的信號(hào)是如此的不同，其優(yōu)越性也可見一斑”。

李和MIT的教授Russ Tedrake 、 Antonio Torralba，博士后Jun-Yan Zhu共同完成這篇論文。它將于下周在加利福尼亞長沙灘上舉辦的計(jì)算機(jī)視覺及模式識(shí)別大會(huì)上發(fā)布。