來源：3D視覺工坊

本研究提出了ExTraCT框架，利用自然語言進行軌跡校正。該框架結合了大型語言模型（LLMs）用于自然語言理解和軌跡變形函數。ExTraCT能夠根據場景在線生成軌跡修改特征及其自然語言描述，通過LLMs實現用戶話語和特征描述的語義匹配，進而將軌跡修改函數應用于初始軌跡，實現對未見過的軌跡和物體配置的泛化。通過模擬和物理機器人手臂上的用戶研究，我們驗證了使用ExTraCT方法變形的軌跡在80%情況下更準確且更受歡迎，表現優于基線方法。該系統還展示了在操縱任務和輔助喂食任務中的多功能性。

讀者理解：

這篇文章提出了一種基于自然語言的軌跡修正方法，該方法結合了大型語言模型 (LLM) 和軌跡變形函數。LLM 用于理解自然語言，軌跡變形函數用于根據語言描述對軌跡進行修正。

該方法的優點是：

使用自然語言可以簡化軌跡修正的操作，使其更容易被人類理解。

使用 LLM 可以提高軌跡修正的準確性和靈活性。

該方法的缺點是：

LLM 的訓練需要大量的數據，這使得該方法的應用受到一定的限制。

1 引言

本文介紹了一個模塊化的框架（ExTraCT），將大型語言模型（LLMs）與軌跡變形函數集成，用于通過自然語言進行軌跡校正，而無需進行端到端訓練。該框架通過將語言理解與軌跡變形分開，實現了更準確的指令解釋，并可泛化到不同的物體配置和軌跡。我們的方法通過用戶研究表明，在大約80%的測試案例中，相比使用LLMs但以端到端方式訓練的最新方法，我們的方法在準確性和評分上更高。此外，我們的方法在解決失敗案例方面也表現出改進的潛力。

2 方法

本文介紹了一種用自然語言校正來修改機器人操縱器軌跡的方法。其核心是ExTraCT框架，結合了大型語言模型（LLMs）和軌跡變形函數。主要步驟包括：

問題定義：目標是根據給定環境E、語言校正l和初始軌跡ξ0，找到最可能的軌跡ξ?。

特征：將可能的軌跡ξ約束在有限的特征集Φ中。特征?對應于軌跡的變形，可以是特定于場景或場景無關的。文本描述和最優特征選擇：為每個特征?生成文本描述T?，并利用大型語言模型（LLMs）進行語義匹配，確定最可能的特征??，從而獲取最可能的軌跡ξ?。

變形函數：根據選定的特征??，使用變形函數δ對初始軌跡ξ0進行修改，考慮環境和運動規劃器的約束，最后通過軌跡優化器得到最終的軌跡ξ?。

該方法突破了以往直接學習自然語言與機器人軌跡或動作之間映射的方式，而是通過語言理解和軌跡變形兩個步驟分別進行，提高了指令解釋的準確性和可靠性。這種方法在模擬和真實機器人環境的用戶研究中顯示出了較高的準確性和偏好度。同時，還展示了該框架在不同任務中的應用靈活性，包括物體操縱和輔助喂食等方面。

3 總結

本文提出了ExTraCT框架，結合了LLMs的語言模型能力和手工制作特征的軌跡變形，以實現更精確、可解釋、可泛化的軌跡校正方法。該方法對理解和執行語言校正取得了改進，并展示了對失敗原因的透明解釋。未來的工作將致力于擴展特征空間，處理更復雜的語言表達，并探索雙向機器人-用戶交流。

審核編輯：湯梓紅