了解消費者情緒是產品、服務等反饋流程中的重要一環。近年來，情緒分析（也稱為意見挖掘）已被證明是提供顧客反饋的有用工具。情緒分析就是對社交媒體語境中的文字和自然語言進行分析和處理，其基本原理是根據某種形式的交流（如社交平臺或網站上的評論）來了解顧客對某一主題的看法。

情緒分析的一種演變是檢測顧客在貨架前看到產品時的心情。這種類型的情緒分析不僅可以統計顧客對產品的看法，而且還可以支持直接互動—例如，如果顧客表現出對產品感興趣，就通知銷售人員。在本文中，我們將探討如何利用英特爾?OpenVINO?工具套件中的Shopper Mood應用程序，根據顧客面部表情的視頻輸入，自動推斷他們在看到商品時的心情。

Shopper Mood的數據管道

(圖1)顯示了Shopper Mood應用程序的數據管道。我們來更深入地了解一下這個深度學習應用程序的工作流程。

圖1: Shopper Mood的推理管道圖展示了OpenVINO?工具套件的這個應用程序如何處理捕獲的圖像，以識別在顧客臉上檢測到的心情。（資料來源：作者）

這個過程首先通過安裝在貨架上的攝像頭捕捉圖像，然后將該圖像傳遞到基于卷積神經網絡（CNN）的兩個深層神經網絡中的第一個。CNN是用于處理圖像的最流行深度學習網絡架構之一。它們由許多層組成，這些層在前端將圖像分成多個小窗口來處理，并在后端生成一個或多個分類分數。第一個CNN決定是否能在捕獲的圖像中檢測到人臉。如果第一個網絡發現圖像中存在人臉的概率超過可配置的概率閾值，則每張臉都被歸類為“顧客”，并傳遞給第二個網絡。第二個網絡按以下五個類別對面部表情歸類：

如果CNN無法確定所檢測人臉的情緒（高于可配置的閾值），就會簡單地將其標記為“未知”。在(圖2)中，可以看到覆蓋在原始圖像上的處理結果。

圖2: Shopper Mood Monitor輸出屏幕顯示了Shopper Mood推理通道的結果示例，這些結果就疊加在所捕獲的原始圖像上（資料來源：英特爾）

從(圖2)可以看出，檢測圖像中人臉所需的時間是136ms，而情緒分析則需要13ms。這種快速處理使得此項分析可以實時執行，并快速響應，如通知銷售人員協助顧客。

該示例應用程序還可以用于非實時統計，可以選擇通過消息隊列遙測傳輸（MQTT）協議將分析出的情緒結果發送到數據分析系統進行累積和脫機分析。

為什么說這個工具很酷

使用英特爾?的OpenVINO?分發版和大約600行Go代碼，就可以實現十年前需要非常專業的硬件和軟件才能實現的面部表情檢測。很多復雜的工作內嵌到了被預先訓練用于面部和表情檢測的深度學習模型中。然后，通過“膠水代碼”來加載這些模型，并將捕獲的幀提供給模型進行處理和分類。當與功能強大的硬件（如基于第6th代英特爾?酷睿?處理器的硬件或由英特爾Movidius? X VPU驅動的英特爾經計算棒2）搭配使用時，可以獲得出色的推理速度，從而實現實時分析。

改寫示例應用程序

面部表情的實時檢測有著廣泛應用，有很多都是商業應用。比如了解顧客的情緒，但是也可以用來幫助患有某種面部識別障礙的人。據估計，2%的普通人群患有發育性面容失認癥。這種病癥會影響人們識別面部或面部表情的能力（表達性失認癥）。Shopper Mood應用程序可以識別患有發育性面容失認癥的個體的面部和面部表情。

此外，還可以考慮將此技術應用于增強虛擬現實。隨著越來越多的嵌入式設備開始支持深度學習，可能的增強虛擬現實用例也在不斷增加。例如，可以在眼鏡上集成攝像頭和實時面部檢測功能。在你戴著眼鏡時，如果有人從你身邊經過，就會在眼鏡捕獲的圖像上呈現一個虛擬覆蓋層，描述這個人被推理出的面部表情。

這很容易讓人想到其他應用。使用工具套件自帶的示例代碼，您只需要利用Shopper Mood應用程序的輸出分類即可。

審核編輯：郭婷