隨著高清化視頻監控的演進和平安城市建設的飛速發展，監控攝像機遍布大街小巷。據不完全統計，一個中等規模的城市就有上萬路乃至數十萬路攝像機覆蓋，這是一個蘊含海量信息的龐大系統，每天產生的視頻數據相當于1000億張照片。

海量的視頻記錄了少部分價值信息，這些價值信息為大多數事件留下了影像資料，為事后追溯事件真相、維護社會治安、預防并打擊違法犯罪、保障生命財產安全、促進日常工作生活正常運行帶來巨大便利。

即便不考慮各個監控系統之間的信息關聯，光瀏覽這些視頻就需要花費大量的人力物力。解決這一問題的核心技術即視頻結構化描述技術，將海量視頻或圖片的非結構化數據提取并轉化為結構化信息描述。

視頻結構化是將視頻內容按照語義關系，采用時空分割、特征提取和對象識別等處理手段，組織成可供計算機和人理解的文本信息技術，并進一步轉化為公安實戰所用的情報，實現視頻數據向信息、情報的轉化。

視頻內容管理平臺支持實時視頻和歷史視頻分析，按照不同智能分析算法模型，采用結構化標準語義定義，將提取結構化信息存儲到分布式數據庫（元數據），按照業務需求設定智能分析算法規則，支持對視頻進行快速、高效研判。

實時視頻結構化分析包括智能行為行析、車輛（包括車牌）信息結構化。歷史視頻結構化分析包括車輛（包括車牌）、視頻摘要和視頻搜索結構化。

智能行為分析結構化信息主要包括：目標的顏色（占比最大的顏色）、坐標（目標畫面中心點）、種類（人、車、物）、時間，所關聯的視頻，目標的尺寸。

車輛結構化信息包括：車牌號碼、車牌顏色、車輛顏色、車輛特征（車輛類型、車輛品牌、車輛子品牌、年款和局部特征），所關聯的視頻。

視頻搜索結構化信息包括：目標坐標（目標畫面中心點）、目標輪廓、時間，所關聯的視頻以及幀號，目標的尺寸。

視頻搜索通過對非結構化的原始視頻數據進行智能分析，通過對背景和前景建模處理，提取出視頻中運動目標對象的信息、顏色、尺寸、軌跡等，并建立目標對象的結構化數據庫，偵查人員可以通過設置目標類別（人、車、物）、出現區域、運動方向和軌跡等搜索條件，通過對目標顏色模糊匹配，快速從視頻中搜索出滿足條件的目標對象，并以視頻縮略列表的形式展現，通過圖片跳轉播放目標對象在原始視頻中的真實場景，偵查人員可以進行更進一步的分析研判，提高偵查人員從海量視頻中查找目標的效率。

具體視頻搜索分為元數據提取和視頻搜索處理兩部分，如下：

視頻搜索元數據提取示意圖

1、視頻幀采用基于運動目標的行為分析處理，通過背景建模、前景提取、目標跟蹤等，提取圖像的背景圖和目標元數據信息。

2、目標元數據包括目標軌跡、目標大小（像素大小）、目標顏色（黑、白、紅、黃、綠、藍、未知）和目標類型（人、車、未知）。

3、將目標元數據存到數據庫元數據表。元數據表包括視頻文件id、對象id、目標大小、目標類型、目標顏色、目標軌跡和起止時間。

視頻搜索處理示意圖

1、搜索分為兩種方式：目標搜索，輸入條件包括目標類型（人/車/物），目標顏色（黑、灰、白、紅、黃、綠、藍），目標大小、目標區域和排除區；以及軌跡搜索。根據輸入條件搜索元數據表，返回對應元數據。

2、根據元數據查詢到的結果和目標的軌跡信息（以x、y、width、high、time的二進制序列表示），獲取軌跡中點的時間戳，抓取視頻文件對應時間戳的幀，并截圖。

如果是目標搜索，將對應的目標加框并標識，并截圖存儲。

如果是軌跡搜索，將元數據表中記錄的目標軌跡疊加到對應幀上，并截圖存儲。

案例1#：

2014年X月X日上午9:30，XX市北關公安分局民警接到報案稱有人被撞傷，民警根據線索信息確認：嫌疑車輛為“白色北京現代-朗動”小型車，牌照看不清楚。民警利用“視頻大數據結構化系統”，對案發生前后的1個半小時內10萬余條車輛行駛記錄進行批量搜索，系統在1秒鐘左右從10萬余條數據中查找出160輛“白色北京現代-朗動”小型車在路上行駛；再經人工排查，確認嫌疑車輛，車牌為“*P92347”，整個案件從接案到成功抓獲嫌疑人前后共兩個多小時。

案例2#：

2014年X月X日晚20:00，在XX市汽車站附件發生一路人被撞傷案件。確認線索信息：逃逸車輛為“黑色大眾”轎車，無號牌。辦案民警通過“視頻大數據處理云存儲中心”，對案發1個月前97萬多條車輛信息進行排查，快速檢索出 2月1日—5日，發現有一臺黑色“大眾-帕薩特”無牌車輛在城區共出現8次。通過對該車多次歷史過車記錄進行追蹤、分析，確認該車經常駛入同一小區，后經地面偵查將嫌疑人抓捕歸案。

案例3#：

201X年X月X日下午三時許，XX市XX鎮人民路人民大廈XX發生一宗盜竊案件。民警根據案件線索，利用視頻結構化系統提取的人臉圖片與人像庫、人臉圖片庫中的信息進行比對分析，共查詢到40余張相似的人臉圖片。經人工排查，最終掌握嫌疑人身份信息。

有人說2019年的安防主題是“泛安防，去安防”，體現了安防企業的外延需求以及AIoT企業打破安防邊界的意愿。AIoT時代，視頻大數據的量產爆發，如若不能進行智能化整合與分類，那么這些數據就只是AIoT世界中的廢料和垃圾山而已。視頻結構化技術將原始視頻數據精縮，變為更易查找、占存儲更小且更具備應用價值的高精度數據，是 AI Cloud、城市大腦、安防視覺中樞、視頻編碼及車輛結構化、ReID等場景應用落地的關鍵技術。