基于特征融合等的視覺場景圖生成模型

2755779 2021-05-29 | pdf | 2.65 MB | 次下載 | 免費

資料介紹

　　視覺場景理解不僅可以孤立地識別單個物體，還可以得到不同物體之間的相互作用關系。場景圖可以獲取所有的（主語ˉ謂詞-賓語）信息來描述圖像內部的對象關系，在場景理解任務中應用廣泛。然而，大部分已有的場景圖生成模型結構復雜推理速度慢、準確率低，不能在現實情況下直接使用。因此，在 Factorizable Net的基礎上提岀了一種結合注意力機制與特征融合的場景圖生成模型。首先把整個圖片分解為若干個子圖，每個子圖包含多個對象及對象間的關系;然后在物體特征中融合其位置和形狀信息，并利用注意力機制實現物體特征和子圖特征之間的消息傳遞;最后根據物體特征和子圖特征分別進行物體分類和物體間關系推斷。實驗結果表眀明，在多個視覺關系檢測數據集上，該模型視覺關系檢測的準確率為22.78%~25.41%，場景圖生成的準確率為16.39%~22.75%，比 Factorizable Net分別提升了1.2%和1.8%;并且利用一塊GTX1080Ti顯卡可以在0.6s之內實現對一幅圖像的物體和物體間的關系進行檢測。實驗數據充分說明，采用子圖結構眀顯減少了需要進行關系推斷的圖像區域數量，利用特征融合方法和基于注意力杋制的消息傳遞杌制提升了深度特征的表現能力，可以更快速準確地預測對象及其關系，從而有效解決了傳統的場景圖生成模型時效性差、準確度低的難題。