強化學習之父：LLM主導只是暫時，擴展計算才是正解
模仿人類思維方式，只能帶來短期的性能提升
鷺羽 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
大模型目前的主導地位只是暫時的，在未來五年甚至十年內都不會是技術前沿。
這是新晉圖靈獎得主、強化學習之父Richard Sutton對未來的最新預測。
就在剛剛的新加坡國立大學建校120周年（NUS120）之際，Sutton受邀發(fā)表演講——塑造AI和強化學習的未來。
其實，這已經不是Sutton第一次在公開場合表達類似的觀點，早在他19年的著作《痛苦的教訓》中，他就明確提出：
讓AI尤其是LLM模仿人類思維方式，只能帶來短期的性能提升，長期看只會阻礙研究的持續(xù)進步。
在他4月份新發(fā)表的論文《歡迎來到體驗時代》也再度強調了這點，同時他表示，擴展計算才是正解。
本次NUS120演講長達一個多小時，可謂是干貨滿滿、信息量超大。
讓我們一起來看看完整演講內容。
LLM主導是暫時的
Sutton首先提及當前人類處于數據時代，像ChatGPT這類大語言模型，都是靠分析人類產生的大量數據（如文本、圖像、視頻）進行訓練。
但始終追逐人類思維方式，至多也只能達到“人類水平”。
在數學、科學等領域，人類數據里的知識已經接近極限，AI難以突破現有認知，純靠模仿已經很難再有創(chuàng)新。
AI需要新的數據來源，且要隨著AI增強而改進，靜態(tài)數據集顯然不足。
因此他認為AI終將從依賴人類數據，轉向通過Agent與世界的第一人稱交互，以獲取“體驗數據”的學習。
AlphaGo在與李世石對弈的第二局中，下出的神之一手——第37手，在人類標準下完全非常規(guī)的走法，就充分展現了AI在這種體驗學習下的思考潛力。
也就是說，AI將會在自主體驗中，完成自己的更新迭代，產生更高級的數據并反哺自身，構成一個“越學越強”的循環(huán)。
還能不受人類現有知識限制，自由探索人類未涉及的領域，比如全新的科學理論、材料設計等。
Sutton舉了個例子：
一個蹣跚學步的嬰兒會通過不斷探索周圍環(huán)境主動學習，然后隨著認知增長，每一次互動方式都會隨著經驗有所不同。
因此AI的未來將屬于通過互動和經驗學習的“體驗時代”，Agent需要從經驗中學習，而這遠遠超出了LLM的能力范疇。
即使現有LLM在連接全球知識上表現出色，但通往這一未來的核心路徑始終是強化學習。
強化學習正是圍繞著經驗學習構造，但要發(fā)揮強化學習全部潛力，還需具備持續(xù)學習能力的深度學習算法。
而這背后要靠對大規(guī)模算力的充分利用來支撐，繼續(xù)基于搜索和學習擴展算力，以適應AI性能需求增加。
可以說，從長遠看，真正的突破還是來自規(guī)模計算。
不同Agent去中心化互利共贏
談及Agent的前景，Sutton提出對不同目標的Agent可以尋求去中心化合作。
他認為每個Agent的獎勵信號都各不相同，且都試圖最大化自己的回報，那么只需要讓不同Agent各自實現其目標，再通過互動，就能實現互利共贏。
這就類似于人類社會中的經濟運轉，得益于自然語言和貨幣的發(fā)明，盡管人們擁有不同的目標和能力，但在過程中相互協(xié)調配合，也能產生出不錯的效果。
但還是有不少人主張集中控制AI，甚至呼吁暫停AI。
Sutton認為這種聲音更多的是來源于對未知的恐懼，要接受個體目標的多樣性，建立合作化秩序，AI的潛力恰恰就在去中心化合作。
另外，Sutton還提到了“設計時代”的概念，當前的機器越來越類生命化，而生命也被視作生物機器。
但生命與技術之間存在本質差異，生命是在無意識下被復制產生，而技術則先經設計師意識想象再落地創(chuàng)造，這是一個設計過程，且設計產物也更易改進。
因此人類發(fā)展AI，就是為了將設計做到極致——設計出能自主設計的Agent，而人類將會在設計時代扮演催化劑和創(chuàng)造者的角色，將AI視作推動發(fā)展的機遇，而非單純的技術產物。
One More Thing
Sutton的言論一出，很快在社區(qū)引起了激烈討論。
支持者認為技術的突破往往來自未知與偶然，技術已趨向成熟的LLM似乎即將觸及領域天花板。
而反對者則認為技術的發(fā)展在于不斷改進，也許LLM不是AI的最終形態(tài)，但它也必定在AGI發(fā)展過程中占據重要作用。
那么你對LLM的未來抱有怎樣的看法呢？歡迎在評論區(qū)留言討論。
參考鏈接：
[1]https://x.com/slow_developer/status/1931497651926892673
[2]https://www.youtube.com/live/f9KDMFZqu_Y
[3]https://x.com/bryanklow/status/1931229131162955801
[4]https://goo.gle/3EiRKIH
- 宇樹180芭蕾機器人，究竟啥水平？2025-08-20
- 00后MIT華人女生輟學創(chuàng)業(yè)，已融1.5個億2025-08-20
- OpenAI總裁透露GPT-5改了推理范式，AGI實現要靠現實反饋2025-08-19
- 26歲陶中愷教授，加盟法國數學象牙塔2025-08-13
相關閱讀
