2020 年 3 月 25 日，智源研究院學術副院長、清華大學計算機系唐杰教授作客首屆中科院，為大家帶來《人工智能下一個十年》的主題報告。

唐老師從人工智能發展的歷史開始，深入分析人工智能近十年的發展，闡述了人工智能在感知方面取得的重要成果，尤其提到算法是這個感知時代最重要、最具代表性的內容，重點講解了 BERT、ALBERT、MoCo2 等取得快速進展的算法。最后說到下一波人工智能浪潮的興起，就是實現具有推理、可解釋性、認知的人工智能。

人工智能對社會和經濟影響的日益凸顯，各國政府也先后出臺了對人工智能發展的政策，并將其上升到國家戰略的高度。截至目前，包括美國、中國和歐盟在內的多國和地區頒布了國家層面的人工智能發展政策。

時至2019年，中國政府繼續通過多種形式支持人工智能的發展。此前，中國形成了科學技術部、國家發改委、中央網 信辦、工信部、中國工程院等多個部門參與的人工智能聯合推進機制。從2015年開始先后發布多則支持人工智能發展的政策，為人工智能技術發展s和落地提供大量的項目發展基金，并且對人工智能人才的引入和企業創新提供支持。這些政策給行業發展提供堅實的政策導向的同時，也向資本市場和行業利益相關者發出了積極信號。在推動市場應用方面，中國政府身體力行，直接采購國內人工智能技術應用的相關產品，先后落地多個智慧城市、智慧政務等項目。

與其他國家不同，美國雖然在人工智能領域擁有最強實力，但目前尚沒有國家層面的人工智能促進計劃。在前總統巴拉克·奧巴馬在任的最后幾個月里，白宮在三份獨立報告中為美國的 AI 戰略奠定了基礎。其中第一份報告《未來人工智能準備》（Preparing for the Future of Artificial Intelligence）明確提出了有關制定 AI 法規、資助研發、自動化、道德、公平與安全的內容。另一份報告《國家人工智能研發戰略計劃》（National Artificial Intelligence Research and Development Strategic Plan）概述了美國在政府資助 AI 研發上的戰略。而最后一份報告《Artificial Intelligence, Automation, and the Economy（人工智能、自動化和經濟）》則進一步說明了自動化對社會的影響，以及擴展 AI 有益的方面需要哪些新政策。

自特朗普上任以來，美國政府開始尋求一種截然不同的、自由市場導向的 AI 戰略。在2018年 5 月，白宮邀請了業界、學術界和部分政府代表參加了一場人工智能峰會。在會上發言中，白宮科技政策辦公室副主任 Michael Kratsios 概述了現總統對于人工智能的態度，他宣布政府目前制定了四大目標：（1）保持美國在人工智能方面的領導地位；（2）支持美國工人；（3）推動政府資助的研發；（4）消除創新的障礙。為了實現這一目標，Kratsios 宣布成立一個 AI 特別委員會，向白宮提供政府層面的、有關人工智能研究與發展方面的建議，同時幫助政府、私企和獨立研究者建立合作伙伴關系。他還指出，美國政府將專注于消除創新的監管障礙，讓各家公司有更多創新和發展的靈活性。

2018 年 4 月，歐盟委員會通過了《人工智能通訊》。這是一份長達 20 頁的文件，闡述了歐盟對 AI 的態度。委員會的目標是：（1）提高歐盟的技術和工業能力，增加公共和私營部門對 AI 的吸收；（2）讓歐洲人為 AI 帶來的社會經濟變化做好準備；（3）確保建立適當的道德和法律框架。主要舉措包括承諾將歐盟對 AI 的投資從 2017 年的 5 億歐元增加到 2020 年底的 15 億歐元，建立《歐洲人工智能聯盟》（人們現在可以加入），以及制定一套新的 AI 道德準則，以解決公平、安全和透明等問題。一個新的「AI 高級別小組」將作為《歐洲人工智能聯盟》的指導小組，并將起草道德準則供成員國審議。

▲各國AI政策 在這個時代背景下，我們需要考慮人工智能未來十年會怎樣發展。首先，我們需要從人工智能的發展歷史中找到靈感。 01AI發展歷史 隨著克勞德·香農（Claude Shannon）在 1950 年提出計算機博弈，以及阿蘭·圖靈（Alan Turing）在 1954 年提出“圖靈測試”，人工智能這一概念開始進入人們的視野。

到了 20 世紀 60 年代，人工智能出現了第一波高潮，發展出了自然語言處理和人機對話技術。其中的代表性事件是丹尼爾·博布羅（Daniel Bobrow）在 1964 年發表的Natural language input for a computer problem solving system，以及約瑟夫·維森鮑姆 (Joseph Weizenbaum) 在 1966 年發表的 ELIZA—a computer program for the study of natural language communication between man and machine。

此外，還有一個重要的發展——知識庫。1968 年，愛德華·費根鮑姆 (Edward Feigenbaum)提出首個專家系統 DENDRAL 的時候對知識庫給出了初步的定義，其中隱含了第二波人工智能浪潮興起的契機。

之后，人工智能進入了一輪跨度將近十年的寒冬。 20 世紀 80 年代，人工智能進入了第二波浪潮，這其中代表性的工作是 1976 年蘭德爾·戴維斯 (Randall Davis)構建和維護的大規模的知識庫，1980 年德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出的非單調邏輯，以及后期出現的機器人系統。

在 1980 年，漢斯·貝利納 (Hans Berliner)打造的計算機戰勝雙陸棋世界冠軍成為標志性事件。隨后，基于行為的機器人學在羅德尼·布魯克斯 （Rodney Brooks）的推動下快速發展，成為人工智能一個重要的發展分支。這其中格瑞·特索羅（Gerry Tesauro）等人打造的自我學習雙陸棋程序為后來的增強學習的發展奠定了基礎。

20 世紀 90 年代，AI 出現了兩個很重要的發展：第一項內容是蒂姆·伯納斯·李（Tim Berners-Lee）在 1998 年提出的語義互聯網路線圖，即以語義為基礎的知識網或知識表達。后來又出現了 OWL 語言和其他一些相關知識描述語言。第二項內容是杰弗里·辛頓（Geoffrey Hinton）等人提出的深度學習，這標志著第三次人工智能浪潮的興起。

在這次浪潮中，我們也看到很多企業參與其中，如塞巴斯蒂安·特龍（Sebastian Thrun）在谷歌主導推出的自動駕駛汽車，IBM 的沃森（Watson）于 2011 年在《危險邊緣》（Jeopardy）中獲得冠軍，蘋果在 2011 年推出的自然語言問答工具 Siri 等。

以上就是人工智能在 60 多年的發展歷史中取得的一些標志性成果和技術。

02AI 近十年的發展

我們再深入分析 AI 近十年的發展，會看到一個重要的標志：人工智能在感知方面取得重要成果。人工智能在語音識別、文本識別、視頻識別等方面已經超越了人類，我們可以說 AI 在感知方面已經逐漸接近人類的水平。從未來的趨勢來看，人工智能將會有一個從感知到認知逐步發展的基本趨勢，如下圖所示：

首先，我們來看看 AI 在感知方面做了哪些事情。在感知方面，AlphaGo、無人駕駛、文本和圖片之間的跨媒體計算等取得了快速發展。從宏觀來看，算法是這個感知時代最重要、最具代表性的內容。如果把最近十年的重要算法進行歸類，以深度學習為例進行展示的話，我們可以得到下圖所示的發展脈絡。

圖中最上面淺紫色部分的內容是以前向網絡為代表的深度學習算法。第二層淡綠色部分的內容表示一個以自學習、自編碼為代表的學習時代。第三層橘色部分的內容代表自循環神經網絡（概率圖模型的發展）的算法。最下面粉色部分是以增強學習為代表的發展脈絡。 總體來講，我們可以把深度學習算法歸類為這四個脈絡，而這四個方面都取得了快速的進展。

如果再深入追溯最近幾年最重要的發展，會發現 BERT 是一個典型代表。（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1810.04805.pdf）以 BERT 為代表的預訓練算法得到了快速的發展，基本上所有的算法都采用了預訓練+微調+ Fine tune 的方法，如下圖所示：

BERT 在 2018 年年底通過預訓練打敗了 NLP 上 11 個任務的經典算法；XLNet 在 2019 年提出來通過雙向網絡的方法超過了 BERT （想深入了解的讀者可以閱讀https://arxiv.org/pdf/1906.08237.pdf），如下圖所示：

再后來，ALBERT 又超過了 XLNet 和原始的 BERT（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1909.11942.pdf）。整個 BERT 的發展引發了后續一系列的工作。

在其他方面，也涌現了很多有代表性的工作。如在 2018 年年底，英偉達通過預訓練模型實現高清視頻的自動生成。（想要了解更多詳細信息的讀者可以閱讀https://arxiv.org/abs/1808.06601） DeepMind 又把代表性的關聯關系生成到 graph_net 中，于是在網絡中可以實現一定的推理，其結構如下圖所示。（想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/1806.01261）

Facebook 的何愷明等人提出了以 contrastive learning 為基礎的 MoCo 及 MoCo2，在很多無監督學習（Unsupervised learning）的結果上超過了監督學習（Supervised learning），這是一個非常重要的進展，這也標志著預訓練達到了一個新的高度。（想要了解更多信息的讀者可以閱讀

https://arxiv.org/abs/1911.05722）

杰弗里·辛頓等人利用 SimCLR，通過簡化版的 contrastive learning 超過了 MoCo，后來 MoCo2 又宣稱超過了 SimCLR。（想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/2002.05709） 總體來看，在算法的時代，預訓練算法取得了快速的進展。那么未來十年，AI 將何去何從？ 03展望未來十年

這里，我想引用張鈸院士提出來的第三代人工智能的理論體系。 2015 年，張鈸院士提出第三代人工智能體系的雛形。 2017 年，DARPA 發起 XAI 項目，核心思想是從可解釋的機器學習系統、人機交互技術以及可解釋的心理學理論三個方面，全面開展可解釋性 AI 系統的研究。 2018 年底，正式公開提出第三代人工智能的理論框架體系，核心思想為： 建立可解釋、魯棒性的人工智能理論和方法。發展安全、可靠、可信及可擴展的人工智能技術。推動人工智能創新應用。其中具體實施的路線圖如下： 與腦科學融合，發展腦啟發的人工智能理論。數據與知識融合的人工智能理論與方法。在這個思想框架下，我們做了一定的深入研究，我們稱之為認知圖譜。其核心概念是知識圖譜+認知推理+邏輯表達。 下面展開解釋一下。 知識圖譜大家很熟悉，是谷歌在 2012 年提出來的。這其中有兩個重磅的圖靈獎獲得者：一個是愛德華·費根鮑姆（1994 年圖靈獎得主），他在 20 世界 60 年代就提出來了知識庫的一些理論體系和框架；另一個是 1994 年蒂姆·伯納斯·李（2016 年圖靈獎得主、WWW 的創始人、語義網絡的創始人）。這里面除了知識工程、專家系統，還有一個代表性的系統 CYC，CYC 可以說是歷史上持續時間最長的項目，從 1985 年開始，這個項目直到現在還一直在持續。 說完了知識圖譜，我們來說一下認知圖譜。 相信很多人對認知圖譜都比較陌生，這里我們舉一個例子來說明一下。假如我們要解決一個問題“找到一個 2003 年在洛杉磯的 Quality 咖啡館拍過電影的導演（Who is the director of the 2003 film which has scenes in it filmed at The Quality Cafe in Los Angeles）”。如果是人來解決這個問題的話，可能是先追溯相關的文檔，如 Quality 咖啡館的介紹文檔，洛杉磯的維基百科頁面等，我們可能會從中找到相關的電影，如 Old School ，在這個電影的介紹文檔里面，我們可能會進一步找到該電影的導演 Todd Phillips，經過比對電影的拍攝時間是 2003 年，最終確定答案是 Todd Phillips，具體流程如下圖所示：

當我們用傳統算法（如 BIDAF, BERT, XLNet）進行解決的時候，計算機可能只會找到局部的片段，仍然缺乏一個在知識層面上的推理能力，這是計算機很欠缺的。人在這方面具有優勢，而計算機缺乏類似的能力。 人在解決上述問題的過程中存在推理路徑、推理節點，并且能理解整個過程，而 AI 系統，特別是在當下的 AI 系統中，深度學習算法將大部分這類問題都看作是一個黑盒子，如下圖所示：

這個基本的思想是結合認知科學中的雙通道理論。在人腦的認知系統中存在兩個系統：System 1 和 System 2，如下圖所示。System 1 是一個直覺系統，它可以通過人對相關信息的一個直覺匹配尋找答案，它是非常快速、簡單的；而 System 2 是一個分析系統，它通過一定的推理、邏輯找到答案。

在去年的 NIPS 上，圖靈獎獲得者 Bengio 在大會主旨報告的 Keynote 也提到，System 1 到 System 2 的認知是深度學習未來發展的重要的方向，如下圖所示：

因此，我們大概用這個思路構建了這個新的、我們稱為認知圖譜的這樣一個方法。在 System 1 中我們主要做知識的擴展，在 System 2 中我們做邏輯推理和決策，如下圖所示：

可以看到，我們在 System 1 中做知識的擴展，比如說針對前面的問題，我們首先找到相關的影片，然后用 System 2 來做決策。如果是標準答案，就結束整個推理的過程。如果不是標準答案，而相應的信息又有用，我們就把它作為一個有用信息提供給 System 1，System 1 繼續做知識的擴展，System 2 再來做決策，直到最終找到答案。

現在，在這兩個系統中，System 1 是一個直覺系統，我們用 BERT 來實現，實現了以后，我們就可以做相關的信息的匹配；System 2 就用一個圖卷積網絡來實現，在圖卷積網絡中可以做一定的推理和決策。通過這個思路，我們就可以實現一定的推理+決策。

這是一個總體的思路，要真正實現知識和推理，其實還需要萬億級的常識知識庫的支持，如下圖所示。也就是說，四五十年前費根鮑姆做過的事情，也許我們現在要重做一遍，但是我們要做到更大規模的常識知識圖譜，并且用這樣的方法，用這樣的常識知識圖譜來支撐上面的深度學習的計算，這樣才能真正實現未來的 AI。

所以說，這一代人工智能浪潮也許到終點還是沒有推理能力，沒有可解釋能力。而下一波人工智能浪潮的興起，就是實現具有推理、具有可解釋性、具有認知的人工智能，我們認為這是 AI 下一個 10 年要發展、也一定會發展的一個重要方向。