當欣賞一幅畫作時，每個人都會有若干推斷或結論。除了理解主題外，您可能還會按照時期、風格和藝術家對其進行分類。那么，計算機算法能否像人類一樣深入“理解”一幅畫并輕松地進行分類呢？

在羅格斯大學藝術與人工智能實驗室，Ahmed Elgammal 教授和他的團隊匯集了過去六個世紀幾千幅畫作的數(shù)據(jù)庫，使用 MATLAB 和 Statistics and MachineLearning Toolbox對這個問題進行了深入研究，并解決了兩個關于 AI 算法的功能和局限的有趣問題：

AI 能否發(fā)現(xiàn)哪些畫作對后世藝術家的影響最大

能否僅利用畫作的視覺特征衡量其創(chuàng)造性

通過提取視覺特征對作品進行分類

我們希望開發(fā)出能夠按風格（例如立體派、印象派、抽象表現(xiàn)派或巴洛克派）、題材（例如田園、肖像或靜物）和藝術家來對畫作進行寬泛分類的算法。完成這種分類首先要求能夠識別顏色、構圖、紋理、視角、主題和其它視覺特征。其次，還要選取最能夠展示不同畫作相似性的特征。

借助 MATLAB 和 Image Processing Toolbox，我們開發(fā)出了能夠提取畫作視覺特征的算法。特征提取算法在計算機視覺中相當常見，且容易實現(xiàn)。比較困難的任務是找到最佳的機器學習技術。我們首先在 Statistics and Machine LearningToolbox 中使用支持向量機 (SVM) 和其它分類算法來識別可用于風格分類的視覺特征。在 MATLAB 中，我們隨后采用距離度量學習技術對特征進行評估，進而提高算法對畫作的分類能力。

通過數(shù)據(jù)庫檢測，我們開發(fā)的按風格分類畫作的算法準確率達到 60%，其中可能存在 2% 的隨機性。雖然藝術歷史學家的準確率遠遠高于 60%，但算法的準確率仍高于非專業(yè)人士。

使用機器學習發(fā)掘藝術的影響力

一旦我們有了可以準確地對繪畫之間的相似之處進行分類的算法，我們便可以著手處理下一個挑戰(zhàn)：利用機器學習揭示藝術的影響力。我們假設，對于風格分類有用的視覺特征（一個監(jiān)督式學習問題）同樣適用于確定影響力（一個無監(jiān)督問題）。

藝術史學家的理論認為藝術影響力是基于藝術家在同一時期如何工作、旅行或者交往決定的。我們基于 MATLAB 的機器學習算法僅使用視覺元素和創(chuàng)作日期進行分析。我們認為，一個將畫作中的主題和符號考慮在內的算法會比僅僅依賴于顏色、紋理等低級別特征更有效。出于這種考慮，我們使用了通過谷歌圖片訓練的分類算法來識別特定對象。

我們對 66 名生活年代相差 550 多年的不同藝術家創(chuàng)作的 1700 多幅作品進行了算法測試。該算法可以輕松識別出維拉斯奎茲的《教皇英諾森十世肖像》對弗朗西斯·培根的《教皇英諾森十世肖像的習作》的影響（下圖）。

左：維拉斯奎茲的《教皇英諾森十世肖像》。

右：弗朗西斯·培根的《教皇英諾森十世肖像的習作》。

即使外行也能輕松識別出這兩幅畫作在構圖和主題上的相似性，但該算法也給出了令和我們一起工作的藝術史學家們十分驚訝的結果。例如，我們的算法識別出法國印象派畫家弗雷德里克·巴齊耶在 1870 年創(chuàng)作的《巴齊耶的畫室》很有可能影響了諾曼·洛克威爾在 80 年后創(chuàng)作的《沙弗萊頓的理發(fā)店》。

左：弗雷德里克·巴齊耶的《巴齊耶的畫室》。

右：諾曼·洛克威爾的《沙弗萊頓的理發(fā)店》。

黃色圓圈表示相似的物體，紅線表示類似的構圖，藍色方塊表示相似的結構元素。

盡管這兩幅畫作乍看可能不太相似，但仔細觀察就會發(fā)現(xiàn)其在構圖和主題上的共同點，比如每幅畫中的火爐都在畫的右下方，三個人在畫面中間，還有左下角的椅子和三角形空間結構。

在我們的數(shù)據(jù)集中，算法正確地識別出藝術史學家認同的 55 個影響點中的 60%，這表明僅視覺相似性即可為算法（可能為人類）提供足夠的信息來確定這些影響。

通過解決網絡中心性問題衡量創(chuàng)造性

我們的研究還集中在開發(fā)衡量藝術創(chuàng)造力的算法上。我們的研究基于一個可識別主題創(chuàng)意是否新穎和有影響力的常用定義，也就是說，一幅有創(chuàng)造性的繪畫作品應該不同于其先期的繪畫（新穎度），但與后世作品具有相似度（影響力）。

為解決這一問題，我們再次看到應用 MATLAB 算法識別繪畫之間相似性的機會。在 MATLAB 中，我們創(chuàng)建了一個網絡：頂點是繪畫，每條邊表示頂點位置上兩幅畫之間的相似度。通過在這個網絡上的一系列轉換，我們發(fā)現(xiàn)根據(jù)這樣一個圖形進行關于創(chuàng)造力的推斷是一個網絡中心性的問題，而這個問題可以通過 MATLAB 有效解決。

我們使用兩個包含超過 62,000 幅畫作的數(shù)據(jù)集測試我們的創(chuàng)造性檢測算法。該算法給一些藝術史學家認為新穎且具有影響力的作品打出了很高的分數(shù)，包括下圖所示的一些作品。排名高于同期畢加索的《阿維尼翁的少女》(1907) 的是馬列維奇（至上主義運動 —— 最早的抽象藝術創(chuàng)始人之一）的幾幅繪畫作品。

從1400年到2000年(x軸)繪畫作品的創(chuàng)造力打分(y軸)，表示各個時期的最高得分作品。

為了對算法進行基本驗證，我們改變了某些藝術作品的創(chuàng)作時間，有的時間提前，有的時間推后。在這些“時間機器”實驗中，我們看到某些時間提前到十七世紀的印象派藝術的創(chuàng)造力分數(shù)大幅增加，時間推后到20世紀的巴洛克畫作分數(shù)大幅降低。算法正確地檢測出 300 年前創(chuàng)造的什物在今天并不具有創(chuàng)意，而如今一些有創(chuàng)意的作品放在過去創(chuàng)意度將大大提高。

人類與生俱來就有對藝術進行分類的感知能力，并且擅長識別不同畫作之間的共同點，但缺乏時間和耐心應用這些技能對數(shù)以千計甚至數(shù)以百萬計的繪畫作品進行分類。處理這種規(guī)模龐大的任務是計算機所擅長的。通過開發(fā)與人類感知能力相近的機器學習算法，我們的目標是為藝術史學家提供分類龐大圖像數(shù)據(jù)庫的工具。

使用 MATLAB 開發(fā)的用來識別共性和衡量創(chuàng)造性的框架并不只局限于藝術方面。它可以應用到文學、音樂或任何其它創(chuàng)造性領域，前提是這些單獨的作品可以被編碼并能被算法識別。

目前，Ahmed Elgammal 教授的關注點仍然在視覺藝術方面：不僅關心如何確保機器學習算法產生良好結果，也關心如何實現(xiàn)這些結果。在這個領域，MATLAB 也具有巨大優(yōu)勢，因為它提供許多可快速、輕松地使結果可視化的方法，幫助理解并利用它們?yōu)椴粩喟l(fā)展的人工智能研究提供信息。