2023年6月9日的北京智源大會(huì)上開(kāi)幕式上，機(jī)器學(xué)習(xí)三巨頭之一楊立昆（Yann Lecun）進(jìn)行了遠(yuǎn)程致辭，發(fā)表了名為《朝向能學(xué)習(xí)， 思考和計(jì)劃的機(jī)器進(jìn)發(fā)》（ Towards Machines that can Learn, Reason, and Plan）的演講。

作為一個(gè)從ChatGPT誕生之日起就對(duì)它嘲諷連連，認(rèn)為它沒(méi)有什么新意。在今天的講座中，身處凌晨4點(diǎn)巴黎的楊立昆依然斗志滿溢，在演講中拿出了他反擊GPT的邏輯：自回歸模型根本不行，因?yàn)樗鼈儧](méi)有規(guī)劃，推理的能力。單純根據(jù)概率生成自回歸的大語(yǔ)言模型從本質(zhì)上根本解決不了幻覺(jué)，錯(cuò)誤的問(wèn)題。在輸入文本增大的時(shí)候，錯(cuò)誤的幾率也會(huì)成指數(shù)增加。

目前流行的AutoGPT，LOT之類看起來(lái)可以拆解任務(wù)，分步解釋復(fù)雜問(wèn)題的語(yǔ)言拓展模型讓大語(yǔ)言模型看起來(lái)又了規(guī)劃能力。對(duì)此楊立昆也反唇相譏，認(rèn)為那不過(guò)是它們?cè)诮柚阉骱推渌ぞ邅?lái)讓自己看起來(lái)可以做到規(guī)劃和推理而已，完全不是靠自身對(duì)世界的理解。

性能驚人，但使用范圍狹窄。完全不如人類智能，而且存在著無(wú)法解決的Bug。這就是楊立昆對(duì)當(dāng)前人工智能的判斷。

那想要通向AGI，人工智能的下一步在哪里呢？

楊立昆給出的答案是世界模型。一個(gè)不光是在神經(jīng)水平上模仿人腦的模型，而是在認(rèn)知模塊上也完全貼合人腦分區(qū)的世界模型。它與大語(yǔ)言模型最大的差別在于可以有規(guī)劃和預(yù)測(cè)能力（世界模型），成本核算能力（成本模塊）。

通過(guò)世界模型，它可以真正的理解這個(gè)世界，并預(yù)測(cè)和規(guī)劃未來(lái)。通過(guò)成本核算模塊，結(jié)合一個(gè)簡(jiǎn)單的需求（一定按照最節(jié)約行動(dòng)成本的邏輯去規(guī)劃未來(lái)），它就可以杜絕一切潛在的毒害和不可靠性。

但這個(gè)未來(lái)如何實(shí)現(xiàn)？世界模型如何學(xué)習(xí)？楊立昆只給了一些規(guī)劃性的想法，比如還是采用自監(jiān)督模型去訓(xùn)練，比如一定要建立多層級(jí)的思維模式。他也承認(rèn)之前并沒(méi)有深度學(xué)習(xí)的訓(xùn)練做到了這些，也沒(méi)人知道怎么做。

來(lái)自清華大學(xué)的朱軍教授看著這個(gè)模型估計(jì)是有點(diǎn)發(fā)懵，這個(gè)架構(gòu)太像傳統(tǒng)人工智能的那種符號(hào)學(xué)派的理想模型了。在問(wèn)答環(huán)節(jié)還問(wèn)了一句有沒(méi)有考慮符號(hào)學(xué)派和深度學(xué)習(xí)結(jié)合的可能。

這歌曾經(jīng)挑戰(zhàn)明斯克符號(hào)主義統(tǒng)治十幾年，在無(wú)人認(rèn)可之時(shí)仍堅(jiān)持機(jī)器學(xué)習(xí)之路的楊立昆的回答很簡(jiǎn)單：“符號(hào)邏輯不可微，兩個(gè)系統(tǒng)不兼容”。

以下為騰訊新聞編輯整理的楊立昆報(bào)告核心發(fā)言及與朱軍教授全部QA的實(shí)錄：

機(jī)器學(xué)習(xí)的缺陷

我要說(shuō)的第一件事是：與人類和動(dòng)物相比，機(jī)器學(xué)習(xí)不是特別好。幾十年來(lái)，我們一直在使用監(jiān)督式學(xué)習(xí)，這需要太多的標(biāo)簽。強(qiáng)化學(xué)習(xí)效果不錯(cuò)，但需要大量的訓(xùn)練來(lái)學(xué)習(xí)任何東西。當(dāng)然，近年來(lái)，我們一直在使用大量的自我監(jiān)督學(xué)習(xí)。但結(jié)果是，這些系統(tǒng)在某個(gè)地方不太專精，而且很脆弱，它們會(huì)犯愚蠢的錯(cuò)誤，它們不會(huì)真正地推理，也不會(huì)計(jì)劃。當(dāng)然它們的反應(yīng)確實(shí)非常快。而當(dāng)我們與動(dòng)物和人類進(jìn)行比較時(shí)，動(dòng)物和人類可以極其迅速地做新的任務(wù)，并理解世界是如何運(yùn)作的，可以推理和計(jì)劃，他們有某種程度的常識(shí)，而機(jī)器仍然沒(méi)有。而這是在人工智能的早期就發(fā)現(xiàn)的問(wèn)題。

這部分是由于目前的機(jī)器學(xué)習(xí)系統(tǒng)在輸入和輸出之間基本上有恒定數(shù)量的計(jì)算步驟。這就是為什么它們真的不能像人類和一些動(dòng)物那樣推理和計(jì)劃。那么，我們?nèi)绾巫寵C(jī)器理解世界是如何運(yùn)作的，并像動(dòng)物和人類那樣預(yù)測(cè)其行為的后果，可以進(jìn)行無(wú)限步數(shù)的推理鏈，或者可以通過(guò)將其分解為子任務(wù)序列來(lái)計(jì)劃復(fù)雜的任務(wù)？

這就是我想問(wèn)的問(wèn)題。但在說(shuō)這個(gè)問(wèn)題之前，我先談一下自我監(jiān)督學(xué)習(xí)，以及在過(guò)去幾年里它確實(shí)已經(jīng)占領(lǐng)了機(jī)器學(xué)習(xí)的世界。這一點(diǎn)已經(jīng)被倡導(dǎo)了相當(dāng)長(zhǎng)的時(shí)間，有七八年了，而且真的發(fā)生了，我們今天看到的機(jī)器學(xué)習(xí)的很多結(jié)果和成功都是由于自監(jiān)督學(xué)習(xí)，特別是在自然語(yǔ)言處理和文本理解和生成方面。

那么，什么是自監(jiān)督學(xué)習(xí)？自監(jiān)督學(xué)習(xí)是捕獲輸入中的依賴關(guān)系的想法。因此，我們不是要把輸入映射到輸出。我們只是被提供了一個(gè)輸入。在最常見(jiàn)的范式中，我們蓋住一部分輸入，并將其提供給機(jī)器學(xué)習(xí)系統(tǒng)，然后我們揭示輸入的其余部分，然后訓(xùn)練系統(tǒng)來(lái)捕捉我們看到的部分和我們尚未看到的部分之間的依賴關(guān)系。有時(shí)是通過(guò)預(yù)測(cè)缺失的部分來(lái)完成，有時(shí)不完全是預(yù)測(cè)。

而這一點(diǎn)在幾分鐘內(nèi)就能解釋清楚。

這就是自我監(jiān)督學(xué)習(xí)的理念。它被稱為自我監(jiān)督，因?yàn)槲覀兓旧鲜褂帽O(jiān)督學(xué)習(xí)方法，但我們將它們應(yīng)用于輸入本身，而不是與人類提供的單獨(dú)輸出相匹配。因此，我在這里展示的例子是一個(gè)視頻預(yù)測(cè)，你向一個(gè)系統(tǒng)展示一小段視頻，然后你訓(xùn)練它來(lái)預(yù)測(cè)視頻中接下來(lái)會(huì)發(fā)生什么。但這不僅僅是預(yù)測(cè)未來(lái)。它可能是預(yù)測(cè)中間的那種數(shù)據(jù)。這種類型的方法在自然語(yǔ)言處理方面取得了驚人的成功，我們最近在大型語(yǔ)言模型中看到的所有成功都是這個(gè)想法的一個(gè)版本。

好的，所以我說(shuō)，這種自我監(jiān)督的學(xué)習(xí)技術(shù)包括輸入一段文本，刪除該文本中的一些單詞，然后訓(xùn)練一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)缺失的那個(gè)單詞。在這樣做的過(guò)程中，神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了一個(gè)良好的內(nèi)部表征，可用于隨后的一些監(jiān)督任務(wù)，如翻譯或文本分類或類似的東西。因此它已經(jīng)取得了令人難以置信的成功。同樣成功的是生成式人工智能系統(tǒng)，用于生成圖像、視頻或文本。在文本的情況下，這些系統(tǒng)是自回歸的。們使用自我監(jiān)督學(xué)習(xí)的訓(xùn)練方式不是預(yù)測(cè)隨機(jī)缺失的單詞，而是只預(yù)測(cè)最后一個(gè)單詞。因此，你拿出一個(gè)詞的序列，遮住最后一個(gè)詞，然后訓(xùn)練系統(tǒng)預(yù)測(cè)最后一個(gè)詞。

它們不一定是詞，而是子詞單位。一旦系統(tǒng)在大量的數(shù)據(jù)上進(jìn)行了訓(xùn)練，你就可以使用所謂的自回歸預(yù)測(cè)，這包括預(yù)測(cè)下一個(gè)標(biāo)記，然后將該標(biāo)記轉(zhuǎn)移到輸入端，然后再預(yù)測(cè)下一個(gè)標(biāo)記，然后將其轉(zhuǎn)移到輸入，然后重復(fù)這個(gè)過(guò)程。因此，這就是自回歸LLMs，這就是我們?cè)谶^(guò)去幾個(gè)月或幾年中看到的流行模型所做的。其中一些來(lái)自我在Meta的同事，在FAIR、BlenderBot、Galactica和Lama，這是開(kāi)源的。斯坦福大學(xué)的Alpaca，是在Lama基礎(chǔ)上的改進(jìn)。Lambda，谷歌的Bard，DeepMind的Chinchilla，當(dāng)然還有OpenAI的Chet、JVT和JVT4。如果你在類似一萬(wàn)億文本或兩萬(wàn)億文本上訓(xùn)練它們，這些系統(tǒng)的性能是驚人的。

但最終，他們會(huì)犯非常愚蠢的錯(cuò)誤。他們會(huì)犯事實(shí)錯(cuò)誤、邏輯錯(cuò)誤、不一致的問(wèn)題。他們的推理能力有限，會(huì)使用毒化的內(nèi)容，他們對(duì)潛在的現(xiàn)實(shí)沒(méi)有知識(shí)，因?yàn)樗麄兗兇馐窃谖谋旧嫌?xùn)練的，這意味著人類知識(shí)的很大一部分是他們完全無(wú)法接觸到的。而且他們無(wú)法真正規(guī)劃他們的答案。關(guān)于這一點(diǎn)有很多研究。然而，這些系統(tǒng)對(duì)于寫作輔助工具以及生成代碼，幫助程序員編寫代碼，效果都驚人的好。

所以你可以要求他們用各種語(yǔ)言寫代碼，而且效果很好。它會(huì)給你一個(gè)很不錯(cuò)的起點(diǎn)。你可以要求他們生成文本，他們同樣可以闡釋或說(shuō)明故事，但這使得該系統(tǒng)作為信息檢索系統(tǒng)或作為搜索引擎或如果你只是想要事實(shí)性的信息，并不是那么好。因此，它們對(duì)于寫作幫助、初稿的生成、統(tǒng)計(jì)數(shù)字方面是很有幫助的，特別是如果你不是你所寫語(yǔ)言的母語(yǔ)者。考慮到最近發(fā)生的事兒，他們不適合制作事實(shí)性和一致性的答案，因此他們必須為此進(jìn)行再訓(xùn)練。而他們?cè)谟?xùn)練集中可能會(huì)有相關(guān)的內(nèi)容，這就保證了他們會(huì)有正確的行為。

然后還有一些問(wèn)題，如推理、計(jì)劃、做算術(shù)和諸如此類的事情（他們都不擅長(zhǎng)），為此他們會(huì)使用一些工具，如搜索引擎計(jì)算器數(shù)據(jù)庫(kù)查詢。因此，這是目前一個(gè)非常熱門的研究課題，即如何從本質(zhì)上讓這些系統(tǒng)調(diào)用工具（來(lái)完成他們不擅長(zhǎng)的事情），這就是所謂的擴(kuò)展語(yǔ)言模型。而我和我在FAIR的一些同事共同撰寫了一篇關(guān)于這個(gè)話題的評(píng)論文章，關(guān)于正在提出的各種擴(kuò)展語(yǔ)言模型的技術(shù)：我們很容易被它們的流暢性所迷惑，以為它們很聰明，但它們其實(shí)并不那么聰明。他們?cè)跈z索記憶方面非常出色，大約是這樣。但同樣，他們對(duì)世界如何運(yùn)作沒(méi)有任何了解。自回歸模型還有一種重大缺陷。如果我們想象所有可能的答案的集合：所以輸入詞組的序列，是一棵樹(shù)，在這里用一個(gè)圓圈表示。但它實(shí)際上是一棵包含所有可能的輸入序列的樹(shù)。在這棵巨大的樹(shù)中，有一個(gè)小的子樹(shù)，對(duì)應(yīng)著對(duì)所給提示的正確答案。如果我們?cè)O(shè)想有一個(gè)平均概率e，即任何產(chǎn)生的標(biāo)記都會(huì)把我們帶到正確答案的集合之外，而產(chǎn)生的錯(cuò)誤是獨(dú)立的。那么xn的答案正確的概率是1-e的n次方。

這意味著有一個(gè)指數(shù)級(jí)發(fā)散的過(guò)程會(huì)把我們帶出正確答案的序列樹(shù)。而這是由于自回歸預(yù)測(cè)過(guò)程造成的。除了讓e盡可能的小之外，沒(méi)有辦法解決這個(gè)問(wèn)題。因此，我們必須重新設(shè)計(jì)系統(tǒng)，使其不會(huì)這樣做。而事實(shí)上，其他人已經(jīng)指出了其中一些系統(tǒng)的局限性。因此，我與我的同事吉格多-布朗寧共同寫了一篇論文，這實(shí)際上是一篇哲學(xué)論文，他是一位哲學(xué)家，這篇論文是關(guān)于只使用語(yǔ)言訓(xùn)練人工智能系統(tǒng)的局限性。

事實(shí)上，這些系統(tǒng)沒(méi)有物理世界的經(jīng)驗(yàn)，這使得它們（的能力）非常有限。有一些論文，或者是由認(rèn)知科學(xué)家撰寫的，比如左邊這個(gè)來(lái)自麻省理工學(xué)院小組的論文，基本上說(shuō)與我們?cè)谌祟惡蛣?dòng)物身上觀察到的相比，系統(tǒng)擁有的智能是非常有限的。還有一些來(lái)自傳統(tǒng)人工智能的研究者的論文，他們沒(méi)有什么機(jī)器學(xué)習(xí)的背景。他們?cè)噲D分析這些機(jī)器學(xué)習(xí)系統(tǒng)的規(guī)劃能力，并基本上得出結(jié)論，這些系統(tǒng)不能真正規(guī)劃和推理，至少不是以人們?cè)趥鹘y(tǒng)人工智能所理解的那種方式搜索和規(guī)劃。那么，人類和動(dòng)物是如何能夠如此迅速地學(xué)習(xí)的呢？我們看到的是，嬰兒在出生后的頭幾個(gè)月里學(xué)習(xí)了大量的關(guān)于世界如何運(yùn)作的背景知識(shí)。他們學(xué)習(xí)非常基本的概念，如物體的永久性，世界是三維的這一事實(shí)，有生命和無(wú)生命物體之間的區(qū)別，穩(wěn)定性的概念，自然類別的學(xué)習(xí)。以及學(xué)習(xí)非常基本的東西，如重力，當(dāng)一個(gè)物體沒(méi)有得到支撐，它就會(huì)掉下來(lái)。根據(jù)我的同事埃馬紐埃爾-杜普繪制的圖表，嬰兒大約在九個(gè)月大的時(shí)候就學(xué)會(huì)了這個(gè)。

因此，如果你給一個(gè)五個(gè)月大的嬰兒看，這里左下方的場(chǎng)景，一輛小車在平臺(tái)上，你把小車從平臺(tái)上推下來(lái)，它似乎漂浮在空中，五個(gè)月大的嬰兒不會(huì)感到驚訝。但是10個(gè)月大的嬰兒會(huì)非常驚訝，像底部的小女孩一樣看著這一幕，因?yàn)樵诖似陂g，他們已經(jīng)知道物體不應(yīng)該停留在空中。他們應(yīng)該在重力作用下墜落。因此，這些基本概念是在生命的頭幾個(gè)月學(xué)到的，我認(rèn)為我們應(yīng)該用機(jī)器來(lái)復(fù)制這種能力，通過(guò)觀察世界的發(fā)展或體驗(yàn)世界來(lái)學(xué)習(xí)世界如何運(yùn)作。那么，為什么任何青少年都可以在20個(gè)小時(shí)的練習(xí)中學(xué)會(huì)開(kāi)車，而我們?nèi)匀恢辽僭跊](méi)有大量的工程和地圖以及激光雷達(dá)和各種傳感器的情況下，不會(huì)有完全可靠的5級(jí)自動(dòng)駕駛。所以很明顯，自回歸系統(tǒng)缺少一些很重要的東西。為什么我們有流暢的系統(tǒng)，可以通過(guò)法律考試或醫(yī)學(xué)考試，但我們卻沒(méi)有可以清理餐桌和裝滿洗碗機(jī)的家用機(jī)器人，對(duì)嗎？這是任何10歲的孩子都可以在幾分鐘內(nèi)學(xué)會(huì)的事情，而我們?nèi)匀粵](méi)有機(jī)器可以近似的做這些事。因此，我們顯然缺少一些極其重要的東西。在我們目前擁有的人工智能系統(tǒng)中，我們遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到人類水平的智能。

機(jī)器學(xué)習(xí)的未來(lái)挑戰(zhàn)

那么，我們要如何做到這一點(diǎn)呢？事實(shí)上，我已經(jīng)有點(diǎn)確定了未來(lái)幾年人工智能的三大挑戰(zhàn)：

學(xué)習(xí)世界表征及預(yù)測(cè)的模型。最好是使用自我監(jiān)督學(xué)習(xí)。

學(xué)習(xí)推理：這與心理學(xué)的想法相對(duì)應(yīng)，例如丹尼爾-卡漢曼的想法，即系統(tǒng)2與系統(tǒng)1。因此，系統(tǒng)1是對(duì)應(yīng)于潛意識(shí)計(jì)算的人類行動(dòng)或行為，是你不假思索做的事情。然后系統(tǒng)2是你有意識(shí)地做的事情，你使用你的全部思維能力。而自回歸模型基本上只做系統(tǒng)1，根本就不太聰明。

最后一件事是通過(guò)將復(fù)雜的任務(wù)分解成簡(jiǎn)單的任務(wù)，分層地推進(jìn)和規(guī)劃復(fù)雜的行動(dòng)序列。

然后，大約一年前，我寫了一篇愿景論文，我把它放在公開(kāi)評(píng)論中，請(qǐng)你們看看。這基本上是我對(duì)我認(rèn)為人工智能研究在未來(lái)10年應(yīng)該走向的建議。它是圍繞著這樣一個(gè)想法，我們可以把各種模塊組織到所謂的認(rèn)知架構(gòu)中，在這個(gè)系統(tǒng)中的核心是世界模型。

世界模型：通往AGI之路

世界模型是系統(tǒng)可以用來(lái)基本上想象一個(gè)場(chǎng)景的東西，想象將會(huì)發(fā)生什么，也許是其行為的后果。因此，整個(gè)系統(tǒng)的目的是根據(jù)它自己的預(yù)測(cè)，使用它的文字模型，找出一連串的行動(dòng)，以最小化一系列的成本。成本你可以認(rèn)為是衡量這個(gè)代理人的不適程度的標(biāo)準(zhǔn)。順便說(shuō)一下，這些模塊中的許多在大腦中都有相應(yīng)的子系統(tǒng)。成本模塊是我們（大腦里）的世界模型——前額葉皮層，短期記憶對(duì)應(yīng)著海馬體；行為者可能是前運(yùn)動(dòng)區(qū)；感知系統(tǒng)是大腦的后部，所有傳感器的感知分析都在這里進(jìn)行。

這個(gè)系統(tǒng)的運(yùn)作方式是通過(guò)它可能被儲(chǔ)存在記憶中的以前對(duì)世界的想法，去處理當(dāng)前世界的狀態(tài)。然后你用世界模型來(lái)預(yù)測(cè)如果世界接著運(yùn)轉(zhuǎn)繼會(huì)發(fā)生什么，或者它作為代理將采取的行動(dòng)的后果是什么。這是在這個(gè)黃色的行動(dòng)模塊里面。行動(dòng)模塊提出一連串的行動(dòng)。世界模型模擬世界并計(jì)算出這些行動(dòng)的后果會(huì)發(fā)生什么。然后計(jì)算出一個(gè)成本。然后將要發(fā)生的是，系統(tǒng)將優(yōu)化行動(dòng)序列，以便使世界模型最小化。

所以我應(yīng)該說(shuō)的是，每當(dāng)你看到一個(gè)箭頭朝向一個(gè)方向時(shí)，你也有梯度在向后移動(dòng)。所以我假設(shè)所有這些模塊都是可分的，我們可以通過(guò)反向傳播梯度來(lái)推斷行動(dòng)序列，從而使成本最小化。這不是關(guān)于參數(shù)的最小化——這將是關(guān)于行動(dòng)的最小化。這是對(duì)潛在變量的最小化。而這是在推理時(shí)進(jìn)行的。

因此，有兩種真正的方式來(lái)使用該系統(tǒng)。它類似于系統(tǒng)1，我在這里稱之為模式1，基本上它是反應(yīng)性的。系統(tǒng)觀察世界的狀態(tài)，通過(guò)感知編碼器來(lái)運(yùn)行它，生成一個(gè)世界狀態(tài)的概念，然后直接通過(guò)策略網(wǎng)絡(luò)來(lái)運(yùn)行它，而行為者只是直接產(chǎn)生一個(gè)行動(dòng)。

模式2是你觀察世界并提取世界狀態(tài)的表征為0。然后，系統(tǒng)想象出從a[0]到一個(gè)很長(zhǎng)T（時(shí)間）的一系列行動(dòng)。這些預(yù)測(cè)的狀態(tài)被送入一個(gè)成本函數(shù)，而系統(tǒng)的整個(gè)目的基本上是找出行動(dòng)的序列，根據(jù)預(yù)測(cè)使成本最小。因此，這里的世界模型在每個(gè)時(shí)間步驟中重復(fù)應(yīng)用，本質(zhì)上是從時(shí)間T的世界表征中預(yù)測(cè)出時(shí)間T+1的世界狀態(tài)，并想象出一個(gè)擬議的行動(dòng)。這個(gè)想法非常類似于優(yōu)化控制領(lǐng)域的人們所說(shuō)的模型預(yù)測(cè)優(yōu)化。在深度學(xué)習(xí)的背景下，有許多使用這個(gè)想法來(lái)規(guī)劃軌跡工作的模型被提出來(lái)過(guò)。

這里的問(wèn)題是我們到底如何學(xué)習(xí)這個(gè)世界模型？如果你跳過(guò)這個(gè)問(wèn)題，我們期望做的是一些更復(fù)雜的版本，我們有一個(gè)分層系統(tǒng)，通過(guò)一連串的編碼器，提取世界狀態(tài)的更多和更抽象的表示，并使用不同層次預(yù)測(cè)器的世界模型，在不同的擾動(dòng)水平預(yù)測(cè)世界的狀態(tài)，并在不同的時(shí)間尺度上進(jìn)行預(yù)測(cè)。在這里的較高層次是指舉例來(lái)說(shuō)，如果我想從紐約去北京，我需要做的第一件事就是去機(jī)場(chǎng)，然后搭飛機(jī)去北京。因此，這將是計(jì)劃的一種高層次的表示。最終的成本函數(shù)可以代表我與北京的距離，比如說(shuō)。然后，第一個(gè)行動(dòng)將是：去機(jī)場(chǎng)，我的狀態(tài)將是，我在機(jī)場(chǎng)嗎？然后第二個(gè)行動(dòng)將是，搭飛機(jī)去北京。我怎么去機(jī)場(chǎng)呢？從，比方說(shuō)，我在紐約的辦公室。我需要做的第一件事是，到街上去攔一輛出租車，并告訴他去機(jī)場(chǎng)。我如何走到街上去？我需要從椅子上站起來(lái)，我去出口處，打開(kāi)門，走到街上，等等。然后你可以這樣想象，把這個(gè)任務(wù)一直分解到毫秒級(jí)，按毫秒級(jí)控制，你需要做的就是完成這個(gè)規(guī)模。

因此，所有復(fù)雜的任務(wù)都是以這種方式分層完成的，這是一個(gè)大問(wèn)題，我們今天不知道如何用機(jī)器學(xué)習(xí)來(lái)解決。所以，我在這里展示的這個(gè)架構(gòu)，還沒(méi)有人建立它。沒(méi)有人證明你可以使它發(fā)揮作用。所以我認(rèn)為這是一個(gè)很大的挑戰(zhàn)，分層規(guī)劃。

成本函數(shù)可以由兩組成本模塊組成，并將由系統(tǒng)調(diào)制以決定在任何時(shí)候完成什么任務(wù)。所以在成本中有兩個(gè)子模塊。有些是那種內(nèi)在的成本，是硬性規(guī)定的、不可改變的。你可以想象，那些成本函數(shù)將實(shí)施安全護(hù)欄，以確保系統(tǒng)行為正常，不危險(xiǎn)，無(wú)毒等等。這是這些架構(gòu)的一個(gè)巨大優(yōu)勢(shì)，即你可以在推理的時(shí)候把成本進(jìn)行優(yōu)化。

你可以保證那些標(biāo)準(zhǔn)，那些目標(biāo)將被強(qiáng)制執(zhí)行，并將被系統(tǒng)的輸出所滿足。這與自回歸LLM非常不同，后者基本上沒(méi)有辦法確保其輸出是好的、無(wú)毒的和安全的。

楊立昆 X 朱軍 QA 環(huán)節(jié)

朱軍：

你好，LeCun教授。很高興再次見(jiàn)到你。那么我將主持問(wèn)答環(huán)節(jié)。首先再次感謝你這么早起來(lái)做了這個(gè)富含思想的研討會(huì)報(bào)告，并提供了這么多見(jiàn)解。考慮到時(shí)間的限制，我選擇了幾個(gè)問(wèn)題來(lái)問(wèn)你。

正如你在演講中討論到生成型模型有很多問(wèn)題，大多數(shù)我都同意你的看法，但是關(guān)于這些生成式模型的基本原則方面，我還是有一個(gè)問(wèn)題要問(wèn)你。生成模型就其定義來(lái)說(shuō)，就是會(huì)輸出多種的選擇。另外，當(dāng)我們應(yīng)用生成模型的多樣性時(shí)，創(chuàng)造性是一個(gè)理想的屬性。所以我們經(jīng)常樂(lè)見(jiàn)用模型來(lái)輸出多樣化的結(jié)果。這是否意味著實(shí)際上像事實(shí)錯(cuò)誤或不合邏輯的錯(cuò)誤，不一致的地方，對(duì)于這樣的模型來(lái)說(shuō)是不可避免的？因?yàn)樵诤芏嗲闆r下，即使你有數(shù)據(jù)，數(shù)據(jù)也可能包含了矛盾的事實(shí)。你也提到了預(yù)測(cè)的不確定性。所以這是我的第一個(gè)問(wèn)題。那么你對(duì)此有什么想法？

楊立昆：

沒(méi)錯(cuò)。所以我不認(rèn)為自回歸預(yù)測(cè)模型、生成模型的問(wèn)題是可以通過(guò)保留自回歸生成來(lái)解決的。我認(rèn)為這些系統(tǒng)本質(zhì)上是不可控的。因此，我認(rèn)為它們必須被我提出的那種架構(gòu)所取代，即在推理中包含時(shí)間，有一個(gè)系統(tǒng)去最優(yōu)化成本和某些標(biāo)準(zhǔn)。這是使它們可控、可引導(dǎo)、可計(jì)劃的唯一方法，即系統(tǒng)將能夠計(jì)劃出它們的答案。你知道當(dāng)你在做一個(gè)像我剛才那樣的演講時(shí)，你會(huì)計(jì)劃演講的過(guò)程，對(duì)嗎？你從一個(gè)點(diǎn)講到另一個(gè)點(diǎn)，你解釋每個(gè)點(diǎn)。當(dāng)你設(shè)計(jì)演講時(shí)，你在腦子里會(huì)計(jì)劃這些，而并不是（像大語(yǔ)言模型一樣）一個(gè)字接一個(gè)字地即興演講。也許在較低的（行為）水平上，你是即興創(chuàng)作，但在較高的（行為）水平上，你是在計(jì)劃。所以，計(jì)劃的必要性真的很明顯。而人類和許多動(dòng)物有能力進(jìn)行規(guī)劃的事實(shí)，我認(rèn)為這是智力的一個(gè)內(nèi)在屬性。所以我的預(yù)測(cè)是，在相對(duì)較短的幾年內(nèi)--當(dāng)然是在5年內(nèi)--沒(méi)有腦子正常的人會(huì)接著用自回歸LLM。這些系統(tǒng)將很快被拋棄。因?yàn)樗鼈兪菬o(wú)法被修復(fù)的。

朱軍：

好的。我想另一個(gè)關(guān)于控制的問(wèn)題：在你的設(shè)計(jì)和框架中，一個(gè)關(guān)鍵部分是內(nèi)在成本模塊，對(duì)嗎？所以它的設(shè)計(jì)基本上是為了決定代理人行為的性質(zhì)。看了你的工作文件中的開(kāi)放性觀點(diǎn)后，我和網(wǎng)上的一個(gè)評(píng)論有共同的擔(dān)憂。這個(gè)評(píng)論說(shuō)，主要是這個(gè)模塊沒(méi)有按照規(guī)定工作。也許代理最后[屏幕凍結(jié)]了。

楊立昆：

保證系統(tǒng)安全的成本模塊不會(huì)是一個(gè)微不足道的任務(wù)，但我認(rèn)為這將是一個(gè)相當(dāng)明確的任務(wù)。它需要大量仔細(xì)的工程和微調(diào)，其中一些成本可能要通過(guò)訓(xùn)練獲得，而非僅僅通過(guò)設(shè)計(jì)。這與強(qiáng)化學(xué)習(xí)中的策略評(píng)估（Actor-Crtic結(jié)構(gòu)中的Ctric，對(duì)作為語(yǔ)言模型的行為者產(chǎn)出的結(jié)果進(jìn)行評(píng)估）或LLM背景下的所謂獎(jiǎng)勵(lì)模型是非常相同的，是一個(gè)會(huì)整體考量系統(tǒng)的內(nèi)部狀態(tài)到成本全程的事情。你可以訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)成本，你可以通過(guò)讓它接觸大量的——讓它產(chǎn)生大量的輸出，然后讓某人或某物對(duì)這些輸出進(jìn)行評(píng)價(jià)來(lái)訓(xùn)練它。這給了你一個(gè)成本函數(shù)的目標(biāo)。你可以對(duì)它進(jìn)行訓(xùn)練，讓它計(jì)算出一個(gè)小的成本，然后在得到成本之后通過(guò)它進(jìn)行反向傳播，以保證這個(gè)成本函數(shù)得到滿足。所以，我認(rèn)為設(shè)計(jì)成本這事兒，我認(rèn)為我們將不得不從設(shè)計(jì)架構(gòu)和設(shè)計(jì)LLM的成本轉(zhuǎn)向設(shè)計(jì)成本函數(shù)。因?yàn)檫@些成本函數(shù)將推動(dòng)系統(tǒng)的性質(zhì)和行為。與我的一些對(duì)未來(lái)比較悲觀同事相反，我認(rèn)為設(shè)計(jì)與人類的價(jià)值觀相一致的成本（函數(shù)）是非常可行的。這不是說(shuō)如果你做錯(cuò)一次，就會(huì)出現(xiàn)人工智能系統(tǒng)逃脫控制和接管世界的情況。而且我們?cè)诓渴疬@些東西之前，會(huì)有很多方法把它們?cè)O(shè)計(jì)得很好。

朱軍：

我同意這一點(diǎn)。那么另一個(gè)與此相關(guān)的技術(shù)問(wèn)題是，我注意到你通過(guò)分層的JEPA設(shè)計(jì)來(lái)模型，這其中幾乎所有的模塊都是可微的，對(duì)嗎？也許你可以用反向傳播的方法來(lái)訓(xùn)練。但是你知道還有另外一個(gè)領(lǐng)域，比如說(shuō)符號(hào)邏輯，它代表著不可微的部分，也許在內(nèi)在成本模塊中能以某種形式制定我們喜歡的約束條件，那么，你是否有一些特別的考慮來(lái)連接這兩個(gè)領(lǐng)域，或者干脆就忽略符號(hào)邏輯的領(lǐng)域？

楊立昆：

對(duì)。所以我認(rèn)為是的，現(xiàn)實(shí)中是有一個(gè)神經(jīng)+符號(hào)架構(gòu)的子領(lǐng)域，試圖將可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)與符號(hào)操作或類似的東西結(jié)合在一起。我對(duì)這些方法非常懷疑，因?yàn)槭聦?shí)上符號(hào)操作是不可微的。所以它基本上與深度學(xué)習(xí)和基于梯度的學(xué)習(xí)不兼容，當(dāng)然也與我所描述的那種基于梯度的推理不兼容。所以我認(rèn)為我們應(yīng)該盡一切努力在任何地方使用可微分的模塊，包括成本函數(shù)。現(xiàn)在可能有一定數(shù)量的情況下，我們可以實(shí)現(xiàn)的成本（函數(shù)）是不可微的。對(duì)于這一點(diǎn)，執(zhí)行推理的優(yōu)化程序可能必須使用組合型的優(yōu)化，而不是基于梯度的優(yōu)化。但我認(rèn)為這應(yīng)該是最后的手段，因?yàn)榱汶A無(wú)梯度優(yōu)化比基于梯度的優(yōu)化要少很多。因此，如果你能對(duì)你的成本函數(shù)進(jìn)行可微調(diào)的近似，你應(yīng)該盡可能地使用它。在某種程度上，我們已經(jīng)這樣做了。當(dāng)我們訓(xùn)練一個(gè)分類器時(shí)，我們想要最小化的成本函數(shù)并不完全準(zhǔn)確。但這是不可微分的，所以我們使用的是一個(gè)可微分的成本代理。是系統(tǒng)輸出的成本熵與所需的輸出分布，或像e平方或鉸鏈損失的東西。這些基本上都是不可微分的二進(jìn)制法則的上界，我們對(duì)它不能輕易優(yōu)化。因此還是用老辦法，我們必須使用成本函數(shù)，它是我們實(shí)際想要最小化的成本的可微調(diào)近似值。

朱軍：

我的下一個(gè)問(wèn)題是，我的靈感來(lái)自于我們的下一位演講者Tegmark教授，他將在你之后做一個(gè)現(xiàn)場(chǎng)演講。實(shí)際上我們聽(tīng)說(shuō)你將參加一場(chǎng)關(guān)于AGI的現(xiàn)狀和未來(lái)的辯論。由于我們大多數(shù)人可能無(wú)法參加，你能否分享一些關(guān)鍵點(diǎn)給我們一些啟發(fā)？我們想聽(tīng)到一些關(guān)于這方面的見(jiàn)解。

楊立昆：

好的，這將是一場(chǎng)有四位參與者的辯論。辯論將圍繞一個(gè)問(wèn)題展開(kāi)，即人工智能系統(tǒng)是否會(huì)對(duì)人類造成生存風(fēng)險(xiǎn)。因此，馬克斯和約書亞本吉奧將站在 "是的，強(qiáng)大的人工智能系統(tǒng)有可能對(duì)人類構(gòu)成生存風(fēng)險(xiǎn) "的一方。然后站在 "不"的一方的將是我和來(lái)自圣菲研究所的梅蘭妮-米切爾。而我們的論點(diǎn)不會(huì)是AI沒(méi)有風(fēng)險(xiǎn)。我們的論點(diǎn)是，這些風(fēng)險(xiǎn)雖然存在，但通過(guò)仔細(xì)的工程設(shè)計(jì)，很容易減輕或抑制。我對(duì)此的論點(diǎn)是，你知道在今天問(wèn)人們，我們是否能保證超級(jí)智能系統(tǒng)對(duì)人類而言是安全，這是個(gè)無(wú)法回答的問(wèn)題。因?yàn)槲覀儧](méi)有對(duì)超級(jí)智能系統(tǒng)的設(shè)計(jì)。因此，在你有基本的設(shè)計(jì)之前，你不能使一件東西安全。這就像你在1930年問(wèn)航空工程師，你能使渦輪噴氣機(jī)安全和可靠嗎？而工程師會(huì)說(shuō)，"什么是渦輪噴氣機(jī)？" 因?yàn)闇u輪噴氣機(jī)在1930年還沒(méi)有被發(fā)明出來(lái)。所以我們有點(diǎn)處于同樣的情況。聲稱我們不能使這些系統(tǒng)安全，因?yàn)槲覀冞€沒(méi)有發(fā)明它們，這有點(diǎn)為時(shí)過(guò)早。一旦我們發(fā)明了它們--也許它們會(huì)與我提出的藍(lán)圖相似，那么就值得討論。"我們?nèi)绾问顾鼈儼踩?，在我看來(lái)，這將是通過(guò)設(shè)計(jì)那些使推理時(shí)間最小化的目標(biāo)。這就是使系統(tǒng)安全的方法。顯然，如果你想象未來(lái)的超級(jí)智能人工智能系統(tǒng)將是自回歸的LLM，那么我們當(dāng)然應(yīng)該害怕，因?yàn)檫@些系統(tǒng)是不可控制的。他們可能會(huì)逃脫我們的控制，胡言亂語(yǔ)。但我所描述的那種類型的系統(tǒng)，我認(rèn)為是可以做到安全的。而且我非常肯定它們會(huì)。這將需要仔細(xì)的工程設(shè)計(jì)。這并不容易，就像在過(guò)去七十年里，使渦輪噴氣機(jī)變得可靠并不容易一樣。渦輪噴氣機(jī)現(xiàn)在令人難以置信的可靠。你可以用雙引擎飛機(jī)跨越大洋，而且基本上具有這難以置信的安全性。因此，這需要謹(jǐn)慎的工程。而且這真的很困難。我們大多數(shù)人都不知道渦輪噴氣機(jī)是如何設(shè)計(jì)成安全的。因此，想象一下這事情這并不瘋狂。弄清楚如何使一個(gè)超級(jí)智能的人工智能系統(tǒng)安全，也是很難想象的。

朱軍：

好的。謝謝你的洞察和回答。同樣作為工程師，我也再次感謝你。非常感謝。

楊立昆:

非常感謝你。