這張Gif圖演示了 SiamMask 的效果，只需要鼠標滑動選擇目標的包圍框，即可同時實現目標跟蹤與分割。

這種視頻里目標的像素級標注，很有用，比如給視頻疊加特效可以不覆蓋目標人物，或者視頻編輯中扣掉特定目標。想想前段時間浙江衛視和北京衛視如果有了這套軟件，讓某吳姓演員從節目中消失就簡單多了，是不是？

近日，CVPR 2019 的接收論文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang開源了這套SiamMask代碼，引起了極大關注。我們一起來看看吧。

論文作者信息：

論文作者團隊來自中科院自動化所、牛津大學、Five AI公司。

感謝～

研究目的

以往大多數目標跟蹤得到的結果是目標的包圍框，而作者希望將跟蹤與分割結合起來，算法“實時“給出目標的像素級標注。

上圖中，左側是初始化的操作，在視頻第一幀給出目標的包圍框，右側的多張圖像為普通的跟蹤算法計算得到估計的包圍框和SiamMask估計的目標的分割mask。

算法原理

作者是在近年出現的 SiamFC 跟蹤算法基礎上做的改進。

下圖展示了其整天算法流程。左側上面圖像為框出來的目標圖像，左側下面圖像為要搜索目標位置的視頻中的一幀，經過卷積網絡，生成Row（response of a candidate window，候選窗口響應），網絡后面有三個head，除了在SiamFC法中已經存在的預測box（目標位置）的head和預測響應score（目標出現概率）的head，作者增加了預測目標mask（目標二值掩碼）的head。

另外也可以直接去掉預測box的head，提高計算速度，包圍框也可以通過mask計算得到。網絡結構如下：

下圖展示了使用SiamMask算法計算得到的圖像中不同位置的score值。

實驗結果

作者在VOT-2016、VOT-2018數據集上測試跟蹤精度，在DAVIS-2016、DAVIS-2017數據集上測試了目標分割的精度。

下圖是與普通的跟蹤算法的結果比較：

SiamMask 相比之前的跟蹤算法的 state-of-the-art 精度又改進不少。

下圖是與現有的視頻目標分割算法的精度的比較：

雖然SiamMask精度并不是最高的，但速度卻比其他算法快1到2個數量級！在真實應用中更有價值。

下圖為mIoU-速度的散點圖：

一些視頻目標分割示例（請點擊查看大圖）：

重點來了！代碼地址：

https://github.com/foolwood/SiamMask