LeCun最新萬字演講：純語言模型到不了人類水平，我們基本已放棄

白小交 整理自 凹非寺

量子位 | 公眾號 QbitAI

當奧特曼、馬斯克、Anthropic CEO都紛紛將AGI實現(xiàn)錨定在2026年前后，LeCun無疑是直接澆了冷水：完全是胡說八道。

最新的公開演講中，他表示，系統(tǒng)要推理、規(guī)劃和理解物理世界，至少還需要幾年甚至十年的時間，這時候人工智能才能達到人類水平。

他還透露，現(xiàn)在Meta基本已經(jīng)放棄純語言模型，因為，僅通過文本訓練，永遠不會達到接近人類水平的智能。

除此之外，他還談到當前大模型的局限性、以目標驅(qū)動的AI架構，包括利用世界模型進行推理和規(guī)劃，最后強調(diào)了開源AI的重要性。對于未來發(fā)展，他提到，最終機器將超越人類智能，但它們將受到控制，因為它們是目標驅(qū)動的。

在不改變原意基礎上，量子位做了如下整理。

LeCun：“人類級別的人工智能”

（一上來，他解釋了FAIR中的“F”，不再意味著Facebook，而是代表“基礎的”意思）。

讓我們來探討一下人類級別的人工智能，以及我們?nèi)绾螌崿F(xiàn)它，或者為什么我們可能無法做到這一點。

什么是人類水平的AI？

首先，我們確實需要達到人類水平的人工智能。

在未來，大多數(shù)人可能會戴上智能眼鏡或其他設備，并與它們進行交流。這些設備將集成各種助手功能，可能不僅僅是一個，而是一整套系統(tǒng)。這意味著我們每個人都將擁有一群智能虛擬助手。因此，每個人都將成為“老板”，只不過這些“員工”并非真正的人類。我們需要構建這樣的系統(tǒng)，以基本提升人類的智能，讓人們變得更具創(chuàng)造力、更高效。

然而，要實現(xiàn)這一目標，我們需要機器能夠理解世界、記憶信息、擁有直覺、具備常識、能夠進行推理和規(guī)劃，并且達到與人類相同的水平。

盡管你可能從一些支持者那里聽到過不同的觀點，但目前的人工智能系統(tǒng)還無法實現(xiàn)這些功能。因此，我們需要開發(fā)能夠?qū)W習并模擬世界基本運作的系統(tǒng)，這些系統(tǒng)需要擁有對世界如何運作的心理模型。實際上，每只動物，包括你的貓，都擁有一個比任何現(xiàn)有人工智能系統(tǒng)都要復雜的模型。

我們需要的系統(tǒng)應該具備持久的記憶能力（這是當前語言模型所缺乏的），能夠規(guī)劃復雜的動作序列（這也是目前的語言模型所做不到的），并且必須是可控和安全的。

僅通過文本訓練，永遠不會達到接近人類水平的智能

為此，我曾在兩年前一篇論文中提出過一個愿景：目標驅(qū)動的人工智能。

FAIR的許多成員都在努力實現(xiàn)這一構想，但一年半前，Meta成立了一個名為GenAI的產(chǎn)品部門，專注于人工智能產(chǎn)品的研發(fā)。因此，F(xiàn)AIR現(xiàn)在被重新定位為開發(fā)更長期的下一代人工智能系統(tǒng)。我們基本上不再專注于語言模型。

人工智能的成功，包括語言模型和其他許多系統(tǒng)，在過去五六年里，主要依賴于自監(jiān)督學習技術。

自監(jiān)督學習的一種方法是通過損壞再重建恢復。例如，你可以取一段文本，通過刪除單詞或更改其他單詞來損壞它，這可以是文本、DNA序列、蛋白質(zhì)或其他任何東西，甚至在一定程度上可以是圖像。然后，你訓練一個大型神經(jīng)網(wǎng)絡來重建完整的、未損壞的輸入版本。

這是一個生成模型，因為它試圖重建原始信號。

因此，這個紅色框就像一個代價函數(shù)，它計算輸入Y和重建的y之間的距離，這是學習過程中需要在系統(tǒng)中的參數(shù)上最小化的內(nèi)容。在這個過程中，系統(tǒng)學習到輸入的內(nèi)部表示，可以用于各種后續(xù)任務。

語言模型就是一個特殊的例子，其架構設計為只能查看左邊的其他標記來預測一個項目、一個標記或一個單詞，不能看向未來。

這不是一個新概念，自克勞德·香農(nóng)以來就一直存在，可以追溯到20世紀50年代。但變化的是，現(xiàn)在我們有巨大的神經(jīng)網(wǎng)絡架構，可以在大量數(shù)據(jù)上進行訓練，由此產(chǎn)生原本沒有的特性。

然而，自回歸預測有一些主要限制，這里沒有真正意義上的推理。另一個限制是，這只適用于以離散對象、符號、標記、單詞等形式出現(xiàn)的數(shù)據(jù)，基本上你可以區(qū)分這些數(shù)據(jù)。

我們?nèi)匀蝗鄙僖恍┲匾臇|西才能達到人類水平的智能。
我這里不一定是在談論人類水平的智能，但即使是你的貓或狗能做的驚人壯舉，目前的人工智能系統(tǒng)仍然完全無法做到。10歲的孩子都能學會清理餐桌并裝滿洗碗機。17歲的孩子可以在大約20小時的練習中學會開車。但現(xiàn)在我們?nèi)匀粵]有L5自動駕駛汽車，我們當然也沒有能夠清理餐桌并裝滿洗碗機的家用機器人。

這是我們常遇到的莫拉維克悖論，即對我們來說看起來微不足道、我們甚至不認為是智能的事情，對機器來說卻非常非常難以做到。但是，像高級復雜的抽象思維，比如操縱語言、下棋，對機器來說似乎很容易。

也許其中一個原因在于，一個語言模型通常在20萬億個token上進行訓練。一個token對于一種典型語言來說，平均約為四分之三個單詞，對應是1.5×10的13次方個單詞、6×10的13次方個字節(jié)。我們?nèi)魏稳艘x完所有這些文本，大約需要幾十萬年。這基本上是互聯(lián)網(wǎng)上公開可用的所有文本總量。

一個四歲人類孩子清醒16000小時，200萬條視神經(jīng)纖維進入我們的大腦。每條纖維大約每秒攜帶一個字節(jié)，也許是每秒半字節(jié)，數(shù)據(jù)量大約是10的14次方個字節(jié)。

所以，一個四歲孩子看到的視覺數(shù)據(jù)與最大的語言模型在整個互聯(lián)網(wǎng)上公開可用的文本上訓練的數(shù)據(jù)量一樣多。

從這當中能得出這些結論：

首先，僅通過在文本上訓練，我們永遠不會達到接近人類水平的智能；

其次，視覺信息非常冗余。每根視神經(jīng)纖維每秒傳輸一個字節(jié)的信息，與視網(wǎng)膜中的光感受器相比，這已經(jīng)實現(xiàn)了100:1的壓縮率。隨后這些信息進入大腦，并在那里被擴展了大約50倍。

冗余實際上是自監(jiān)督學習所必需的。自監(jiān)督學習只能從存在冗余的數(shù)據(jù)中學習到有用信息。如果數(shù)據(jù)經(jīng)過高度壓縮，這意味著它幾乎變成了隨機噪聲，你將無法從中學習到任何東西。

因此，我們將不得不通過讓系統(tǒng)基本上觀看視頻或在現(xiàn)實世界中進行體驗來訓練它，以學習常識和物理知識。

放棄機器學習的四大支柱

所以再來說說這個目標驅(qū)動架構是什么，它與語言模型或前饋神經(jīng)網(wǎng)絡等有著顯著不同。因為在推理過程中不僅僅是神經(jīng)網(wǎng)絡在起作用，實際上它運行的是一個優(yōu)化算法。

從概念上講，它的運作方式是這樣的：前饋過程是指你觀察到一個輸入，通過感知系統(tǒng)運行，比如通過一系列的神經(jīng)網(wǎng)絡層，并產(chǎn)生一個輸出的過程。

對于任何一個單一輸入，通常只有一個輸出，但在很多情況下，對于一個感知輸入，可能存在多種可能的輸出解釋。你需要的是不僅僅計算單一函數(shù)，而是能夠處理單個輸入對應多個輸出的映射過程。

實現(xiàn)這一點的唯一方法是通過隱函數(shù)，基本上就是像這里的目標函數(shù)，即右側的紅色框所示，它主要用來衡量輸入和提議的輸出之間的兼容性，然后通過尋找與輸入最匹配的輸出值來計算最終輸出。

你可以將這個目標想象成某種能量函數(shù)，并通過最小化這個能量來相對于輸出進行優(yōu)化。你可能會有多個解決方案，也可能會有一些方法來遍歷這些多個解決方案。

人類的感知系統(tǒng)就是這樣做的，如果你對一個特定的感知有多種解釋，你的大腦會自發(fā)地循環(huán)遍歷這些解釋。

事實上這個概念非常悠久，它的歷史已經(jīng)超過60年。它基于優(yōu)化控制理論中的一個分支——模型預測控制。在這一領域中，你可以利用你的世界模型來計算一系列控制指令的效果，然后對這些指令序列進行優(yōu)化，以確保運動按照你的預期進行。所有傳統(tǒng)的機器人運動規(guī)劃都是采用這種方法，這并不是什么新鮮事物。

這里的新東西是我們要學習世界模型、能將現(xiàn)實世界抽象表示的感知系統(tǒng)。你可以構建一個具有所有這些組件的整體AI系統(tǒng)。

因此，如果你的行動不是一次性的，而是一個序列，并且你的世界模型是一個真實的系統(tǒng)，它能夠告訴你在時間點T的世界狀態(tài)，以及你可能采取的某個行動，預測出在時間點T+1的世界狀態(tài)，那么你會想要預測在這種情況下，兩個行動序列將導致什么結果。你可以通過多次運行你的世界模型來實現(xiàn)這一點。

然后通過反向傳播和基于梯度的優(yōu)化方法來找出將最小化代價的兩個行動。這就是模型預測控制的基本原理。另外，世界通常不是完全確定的，你可能需要使用潛在變量來輸入到你的世界模型中。

更有趣的是，智能系統(tǒng)目前還無法解決，但人類可以輕松做到，甚至動物也能做到的事情，那就是分層規(guī)劃。

比如，你計劃一段從紐約前往巴黎的旅行。理論上你可以利用你對世界、自己身體的理解，以及你對從這里到巴黎的整體世界布局的認知，來規(guī)劃整個旅程，包括低層次的肌肉控制。但如果細化到考慮每10毫秒的肌肉控制步驟，那將是一個巨大的數(shù)字。

因此實際上人類采用的是分層規(guī)劃的方式。你先在非常高的層次上進行規(guī)劃，然后逐步細化，最后在通過低級肌肉控制來完成的具體行動。

這對AI系統(tǒng)的確是個巨大的挑戰(zhàn)。我過去一直在試圖弄清楚嬰兒在什么年齡學習關于世界的基本概念，比如像面部跟蹤、生物運動等，這在他們學習語言和互動之前就已經(jīng)發(fā)生了。但像重力、慣性、守恒、動量這些實際上大約在嬰兒九個月左右才注意到。

過去像通過預測文本來預測視頻中的像素這種方法完全失敗了，這里我們提出了一個新的解決方案，叫做聯(lián)合嵌入預測架構（JEPA），也就是放棄預測像素，學習世界上正在發(fā)生的事情的抽象表示，然后在那個表示空間中進行預測。兩個嵌入將被破壞的版本X送入編碼器，將Y送入編碼器，然后訓練系統(tǒng)從X的表示中預測Y的表示。

那么如何做到這一點呢？

如果單純使用梯度下降和反向傳播這樣的方法來訓練系統(tǒng)，以減少預測誤差，那么系統(tǒng)可能會失效。它可能會學習到一個恒定的表示，使得預測變得輕而易舉，但卻失去了信息量。

因此，我想讓你記住的是，嘗試重建預測器的生成架構（例如自動編碼器、生成對抗網(wǎng)絡等）與在表示空間中進行預測的聯(lián)合架構之間的區(qū)別。

我認為未來在于那些聯(lián)合架構。我們有大量的經(jīng)驗證據(jù)表明，要學習圖像的良好表示，最好的方法是使用那些聯(lián)合架構。

所有嘗試通過重建來學習圖像表示的方法都不是最佳選擇，它們的成效有限。盡管有些大型項目聲稱這些方法有效，但實際上并非如此。真正能夠帶來最佳性能的是右側的架構。

這其實與我們在智能領域所做的非常相似：找到事物或現(xiàn)象的良好表示，以便進行預測。這確實是科學的本質(zhì)。

舉個例子，如果你想預測一顆行星的軌道，行星是一個非常復雜的物體，但是你只需要知道六個參數(shù)就能實現(xiàn)預測：三個位置坐標和三個速度向量，僅此而已。

那么接下來的問題是，我們?nèi)绾斡柧氝@樣一個系統(tǒng)。

為了防止系統(tǒng)崩潰，一種方法是設計一種代價函數(shù)，如果你可以測量來自編碼器的表示中的信息內(nèi)容，并嘗試最大化信息內(nèi)容或最小化負信息。你希望訓練系統(tǒng)在輸入中提取盡可能多的信息，同時又要在那個表示空間中最小化預測誤差。系統(tǒng)將在盡可能多地提取信息和不提取不可預測的信息之間找到某種平衡。

這樣，你將得到一個良好的表示，在這個空間中你可以進行預測。

現(xiàn)在，你如何測量信息呢？這就是事情變得有些復雜的地方。

我將跳過這個部分。有一種方法可以從基于能量的模型和能量函數(shù)的訓練角度在數(shù)學上理解這個問題，但我沒有時間深入探討。

不過基本上我在這里告訴你的是，許多不同于以往認知的事情。

• 放棄生成模型，轉而支持那些聯(lián)合嵌入預測架構（JEPA）；
• 放棄概率模型，轉而支持那些基于能量的模型；
• 放棄對比方法。
• 還有放棄強化學習，這也是我過去十年一直在談論的。

這些都是當今機器學習中最流行的四個主要支柱。因此目前我可能不太受歡迎。

第一組方法是可以對編碼器輸出的信息進行估計，從而測量其信息量。目前有六種已知的方法可以實現(xiàn)這一目標。這里的核心思想是防止系統(tǒng)崩潰并只輸出常數(shù)。

因此，我們要取編碼器輸出的變量，并確保這些變量有非零的標準差。你可以在一批樣本上將這個要求納入成本函數(shù)中，確保權重不會讓變量崩潰成常數(shù)。這是相對簡單的。

但現(xiàn)在的問題是，系統(tǒng)可能會“作弊”，使得所有變量變得相等或高度相關。因此，你必須添加另一個項，即最小化這些變量的協(xié)方差矩陣的非對角元素，以確保它們的獨立性。

當然，這樣還不夠，因為變量之間可能仍然存在某種相關性。于是，我們采用了另一個技巧，即將SX的維度擴展到更高維的空間VX，然后在該空間中應用方差協(xié)方差正則化，這似乎足夠了。

但這里有一個細節(jié)，我在這里最大化的是信息內(nèi)容的上界，我期望實際的信息內(nèi)容能隨著上界的最大化而增加。我真正需要的是一個下界，這樣我就可以推動下界，從而增加信息量。遺憾的是，我們目前沒有信息內(nèi)容的下界，或者如果有但是不知道如何計算它。

第二組方法，被稱之為“蒸餾風格方法”，它以神秘的方式發(fā)揮作用。Grill發(fā)現(xiàn)了這一方法，盡管其機制尚不完全清晰，但這種方法的效果非常好。

它的核心思想是只更新模型的一部分，而在另一部分不進行梯度的反向傳播，并通過一種有趣的方式共享權重。

關于這一方法，已有眾多論文進行了探討。

如果你想通過完全監(jiān)督的方式訓練一個系統(tǒng)來學習圖像的良好表示，這種方法和其他任何方法一樣有效。特別是在圖像受損是通過遮罩的方式時，我們最近的工作也涉及到了視頻領域。我們可以訓練一個系統(tǒng)來提取視頻的良好表示，并將此用于下游任務，比如動作識別等。這包括取一段視頻，對其部分進行遮罩，通過模型運行它，并在表示空間中進行預測，然后使用這種蒸餾技巧來防止系統(tǒng)崩潰，效果很好。

因此，如果我們在未來的這個項目中取得成功，最終開發(fā)出能夠進行推理、規(guī)劃、理解物理世界的系統(tǒng)，這可能需要數(shù)年甚至十年的時間，才能使一切正常運作。

所以，如果我們能夠成功實現(xiàn)這一點，我們將擁有真正能夠調(diào)解我們與數(shù)字世界所有交互的系統(tǒng)。它們能夠回答我們所有的問題，始終與我們相伴。它們基本上將成為所有人類知識的集合。這感覺不像是一個產(chǎn)品，而更像是一種基礎設施，就像互聯(lián)網(wǎng)一樣。

機器將超越人類智能，但它們將受到控制

這個AI平臺必須是開源的。因為我們需要人工智能助手具備多樣性，能夠理解全球所有的語言、文化和價值體系。

然而，你不可能某一家公司生產(chǎn)的單一助手那里獲得這樣的能力。這種多樣性必須來自全球的貢獻。當然，訓練定義模型的成本非常高昂，因此只有少數(shù)公司有能力做到這一點。如果像Meta這樣的公司能夠在開源領域提供基礎模型，那么全球各地都可以根據(jù)自己的需求對它們進行微調(diào)。

達到人類水平的人工智能需要多長時間？我不知道，可能需要數(shù)年到數(shù)十年。這個過程中存在很大的不確定性，并且有許多問題需要解決，而且它可能幾乎肯定比我們想象的要困難得多。

它不會在一夜之間發(fā)生。它將是一個漸進的進化過程。

因此，它不會像有一天我們突然揭開了人工智能的秘密——打開一臺機器，就立即擁有了超級智能，然后我們所有人都被一個超級智能系統(tǒng)所取代。

機器將超越人類智能，但它們將受到控制，因為它們將是目標驅(qū)動的。我們給它們設定目標，它們實現(xiàn)這些目標。就像我們這里的許多人都是行業(yè)、學術界或其他領域的領導者一樣。有很多與我共事的人比我更聰明，但這并不意味著他們想要統(tǒng)治或接管。

故事就講到這里，當然背后也存在風險。

參考鏈接：
https://www.youtube.com/watch?v=4DsCtgtQlZU