據麥姆斯咨詢報道，近日，新加坡國立大學Chengkuo Lee教授團隊提出了一種具有多模態傳感和反饋功能的增強觸覺感知和觸覺反饋指環（augmented tactile-perception and haptic-feedback rings，ATH指環）。通過融合多模態傳感和反饋功能，成功構建了具有跨空間感知能力的交互式“元宇宙（Metaverse）”平臺，給人一種面對面的沉浸式虛擬社交體驗。

基于ATH指環的智能系統，具有多模態傳感和反饋功能

新提出的“元宇宙”概念是指利用虛擬現實（VR）技術增強真實空間和網絡空間之間聯系的3D虛擬世界網絡。基于VR技術的數字化世界可以通過模擬人的感覺為用戶帶來與現實交互的沉浸式體驗，在社交、教育、游戲、培訓、康復等領域顯示出巨大的發展前景。為了建立沉浸式虛擬現實系統，除了通過頭戴式顯示器實現視覺刺激外，其他可同時感知人體運動和模擬人體感覺的可穿戴設備（例如數據手套、VR套裝等）最近也受到了極大關注，以進一步連接物理世界和網絡世界。

手部的感覺和運動神經比其他身體部位更復雜，使其手指可以高度靈活地在VR系統中實現復雜的交互。目前成熟的手指運動跟蹤傳感技術包括傳統的基于相機和慣性測量單元的剛性解決方案，以及基于電阻率、電容性和光纖等機制的使用可拉伸和柔性材料的柔性解決方案。為了進一步降低設備功耗，自供電傳感機制在開發長期可持續的便攜式系統方面也顯示出獨特的優勢。其中，基于摩擦電的傳感技術具有材料選擇多樣、制造工藝簡單、成本低、自發信號等優點，為開發具有極低功耗的高度靈活的手指感知系統提供了新的可能性。

可穿戴驅動系統也是增強虛擬世界中交互體驗不可或缺的部分，并且已經開發了各種機制以實現觸覺感知。然而，當前大多數用于VR傳感/反饋設備的可穿戴解決方案是基于手套的，結構復雜，且需要大的外部驅動電源。高度集成的多功能環形機械手，具有緊湊設計、自供電傳感器和低壓驅動反饋單元，與物聯網（IoT）便攜式平臺完全兼容，可在VR應用中長期使用。

基于此，研究人員設計了一種用于VR應用的ATH指環，其包括用于連續彎曲傳感的摩擦納米發電（TENG）觸覺傳感器、用于溫度檢測的柔性熱電傳感器、用于振動觸覺反饋的偏心旋轉質量（eccentric rotating mass，ERM）振動器以及用于熱觸覺反饋的鎳鉻合金（NiCr）金屬線。所有傳感器和觸覺模擬器都集成到ATH指環中，通過導線連接到無線物聯網模塊。與其他基于手套的解決方案相比，這種具有多模態傳感和反饋功能的ATH指環顯示出高度集成和良好便攜性的優點。此外，ATH指環通過自供電傳感單元和低壓驅動反饋元件來實現低功耗。所提出的基于電壓積分的信號處理方法允許基于TENG傳感器的連續手指運動檢測。通過利用物聯網模塊和機器學習（ML）分析進行信號收集和處理，能夠以低成本為工業自動化和醫療保健應用實現高級人機交互，即機器人協作操作和手語翻譯。此外，通過引入由振動和熱模擬器實現的觸覺反饋功能，可以實現具有真實世界和虛擬世界交互感知的增強VR聊天應用，這為用戶提供了面對面的沉浸式體驗，并顯示了基于元宇宙的社交網絡的良好發展前景，特別是考慮到新冠疫情下嚴格的社交距離要求。

與物聯網平臺兼容的增強多模態觸覺反饋系統

基于此AI增強的多模態傳感和反饋系統，成功構建了一個為用戶提供跨空間感知能力的交互式元宇宙平臺，其中，一個用戶的真實空間中的對象可以被識別并重建為虛擬格式，并通過模擬刺激和反饋被同一元宇宙虛擬空間中的另一個用戶實時遠程感知，給人們一種面對面的沉浸式虛擬社交體驗。在元宇宙基礎設施下，未來致力于通過將VR顯示技術與多模態體感融合，實現全身感知和反饋，構建智能虛擬社會，以實現智能互動的社交、教育、娛樂和醫療保健等。

“元宇宙”的多模態傳感和反饋平臺