一般認為，大腦對可視目標的識別過程分為兩部分：視覺屬性和語義屬性，即目標“像什么“和”是什么“。過去人們對這兩部分一般是分開研究的，現在，劍橋大學的研究人員利用計算機視覺的標準深度神經網絡AlexNet，可以將二者結合起來研究，并探尋它們之間的信息交互和映射關系究竟是怎樣的。

劍橋大學的神經科學研究人員將計算機視覺與語義相結合，開發出一種新模型，可以更清晰地理解大腦對視覺目標的處理方式。

人類識別目標的能力分為兩個主要過程，對目標的快速視覺分析，以及對整個生命過程中獲得的語義知識的激活。大多數過去的研究一般是對這兩個過程進行分別研究。因此，這兩個過程之間的相互作用目前仍然很不清楚。

新的DNN目標識別模型: 同時關注“像什么”和“是什么”

劍橋大學的研究人員團隊使用一種新方法研究了大腦對目標的識別過程，該方法結合了深度神經網絡與吸引子網絡語義模型。與之前的大多數研究相比，這一識別技術既考慮了視覺信息，也考慮了關于被識別目標的概念知識。

劍橋大學的研究人員表示：“我們之前曾對健康人和腦損傷患者進行了大量研究，以更好地了解大腦中對識別目標的處理方式。這項工作的主要貢獻之一是，它表明了大腦在理解‘目標是什么’這個問題時，涉及到視覺輸入隨著時間的推移，迅速轉變為有意義的表現形式，這種轉變過程是沿著腹側顳葉完成的。”

研究人員堅信，對語義記憶的訪問是理解“目標是什么”的關鍵，因此僅關注與視覺相關的屬性的理論并不能完全捕捉到這個復雜的過程。

該集成模型的體系結構，可以看到，會有越來越復雜的視覺信息映射到語義信息上。

來源：Lorraine Tyler等。

“就是這個問題催生出了我們目前的研究，我們希望能夠完全理解低級視覺輸入是如何映射到對象意義的語義表示上的。”研究人員解釋說。為此，他們使用了一個專門用于計算機視覺的標準深度神經網絡，稱為AlexNet。

他們解釋說：“這個模型以及其他類似模型可以非常精確地識別圖像中的對象，但模型中不包含任何關于對象語義屬性的明確知識。例如，香蕉和獼猴桃的外觀（不同的顏色，形狀，質地等）有很大不同，但是，我們能夠正確地理解它們都是水果。計算機視覺的模型可以區分香蕉和獼猴桃，但這些模型并不是對更抽象的知識進行編碼，即：它們都是水果。”

研究人員認識到神經網絡在計算機視覺應用方面的局限性，將AlexNet視覺算法與神經網絡相結合，將概念性的意義（包括語義知識）納入到對方程的分析中。

“像什么”和“是什么”的關系如何，信息如何交互和映射？

研究人員表示：“在這個組合模型中，會將視覺處理映射至語義處理，并激活我們關于概念的語義知識，”這個新技術已經在16名志愿者的神經影像數據上進行了測試，志愿者被要求在接受功能性核磁共振（fMRI）掃描的同時說出測試圖片中目標的名字。與傳統的深度神經網絡（DNN）視覺模型相比，新方法能夠識別與視覺和語義處理相關的不同腦區。

圖為視覺深度神經網絡（紫色）和語義吸引網絡（紅色-黃色）的不同層如何映射到大腦的不同區域。

來源：Lorraine Tyler等。

“這項研究最關鍵的發現是，通過考慮物體的視覺和語義屬性，可以更好地模擬物體識別過程中的大腦活動，這可以通過計算建模方法捕獲，”研究人員解釋說。

研究人員設計的方法對大腦中語義激活的階段進行了預測，預測結果與先前對目標的處理結果是一致的，其中粒度更粗的語義處理被更精細的處理所取代。研究人員還發現，該模型在不同階段預測了大腦不同區域的對象處理方式的激活。

“最終，關于如何有意義地處理視覺目標的更優秀的模型可能具有重要的臨床意義。例如，語義性癡呆癥的患者就失去了對象概念意義的知識，這項研究的發現對于該病的治療是很有幫助的。”研究人員說。

劍橋大學的這項研究是對神經科學領域的重要貢獻，因為它展示了大腦的不同區域是如何推進對目標的視覺處理和語義處理的。該研究最近發表在《Scientific Reports》上。