2019年以來，百度視覺技術不斷精進，在各大國際賽事屢屢奪冠。在近日的百度AI開發者大會中，百度視覺技術再次升級，在經歷了從看清世界到看懂世界的1.0時代，百度視覺語義化平臺將進入2.0時代，交互升級方面，依靠領先的視覺基礎技術，帶來一體化人機交互與大場景物理世界交互兩大增強現實技術的系統級革新；同時百度AR技術開放平臺DuMix AR也宣布升級為5.0版本。

百度視覺技術部、增強現實技術部總監吳中勤表示，在小視頻應用中常見的美顏濾鏡、貼紙等功能，以及手機相機中自帶的AR萌拍，背后都離不開AR特效能力的加持。在本次全新發布的一體化人機交互系統中，帶來了人臉、人體、手勢及環境特效等AR能力的創新變革，通過單點能力升級和玩法組合，將為視頻拍攝、游戲互動等場景提供更豐富的創作空間和交互體驗。

據吳中勤介紹，百度AR從自建人臉數據庫的海量數據中提取東方人臉型基底，并以此為基礎構建了一套穩定高效的用戶臉型三維重建算法，實現精細化五官和實時穩定的皮膚級跟蹤效果。手勢交互玩法方面，百度AR建立了一系列業內領先的超輕量級（計算量小，體積小）手部交互算法能力矩陣，除了常見的控雨等手勢控制操作，還能自定義手部特效、空間作畫等多種創意玩法，在全民小視頻、好看視頻等應用中備受歡迎。

在移動端，百度率先支持了18點/59點肢體骨骼點/輪廓點檢測跟蹤和主流機型的全面覆蓋；環境感知和理解方面，包含人像分割、天空分割、物體檢測等多項算法能力在內的特效能力矩陣，實現了物理世界1：1實景實時分割，可以任意選擇背景替換、染發、天空特效、動畫疊加等AR效果。

交互技術的升級還將更深入地賦能智慧生活場景。現場，吳中勤通一個鮮活的案例展現了智能車機綜合實現疲勞駕駛提醒、語音視覺的互動操控，以及利用3D識別跟蹤技術實現與小度在家等家庭智能設備的交互。全新的一體化人機交互系統已全面接入百度智能云平臺，支持為企業提供更全面、更易用的智能化能力和更完善的視頻解決方案。

交互升級的另一大焦點，是基于VPAS（視覺定位與增強服務）的大場景物理世界交互系統的發布。百度首次通過視覺定位與AR技術的突破性結合，將虛擬信息與真實地理位置準確重合，標志著國內AR技術發展與應用領域取得突破性進展——在從簡單的空間物體放置體驗，邁向基于物理空間精準感知的高沉浸混合現實體驗。

據悉，VPAS主要包含離線高精地圖構建、在線定位與融合跟蹤三大基礎模塊，相比GPS具備更穩定的實時跟蹤能力，支持室外大場景及室內場景厘米級高精度定位。而且，百度AR采用了最具前瞻性的視覺技術方案，以及兼容Google、Apple平臺的持續跟蹤能力與獨有自研跟蹤能力共同構成的融合跟蹤方案，能夠支持當前市場主流手機設備的全場景體驗需求；同時結合百度視覺語義化能力，持續提升在線定位與實時跟蹤的穩定性和精準度。

百度AR在視覺信息要素積累的基礎上實現了一套完整的視覺地圖構建方案，即實行眾源數據采集模式，對用戶通過手機收集反饋的圖像數據進行處理分析，結合百度地圖的地理位置信息持續更新完善視覺地圖。吳中勤指出，目前百度AR已打通常見三維重建數據導入接口，并且兼容相同格式下的第三方數據，具備易集成特性和數據批量化生產能力。

現場，吳中勤還展示了VPAS首個落地應用案例——重建圓明園大水法。當用戶跟隨百度地圖導航走進圓明園西洋樓景區，VPAS將自動“找到”大水法遺址，在殘垣斷壁上重新建立起100多年前雕欄玉砌、“獵狗逐鹿”的恢弘奇景。這也是將百度AI能力與5G技術結合的第一個落地應用場景。隨著5G時代到來，AI與5G/邊緣計算相互賦能不斷深化，將以大水法為起點，拓展景區、商圈等更多室內外場景，結合VPAS為物理世界可視化導航服務帶來體驗式變革。

吳中勤表示，“隨著5G時代的到來，百度AR依托視覺技術優勢所構建的虛實場景融合的基礎設施，將不斷彌合虛擬世界與物理世界的間隙，刷新人們探索世界的方式。”