GPT-4推理能力暴漲32%，谷歌新型思維鏈效果超CoT，成本降至1/40
讓大模型千人千面
明敏 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
GPT-4推理能力還能暴漲32%？
谷歌&南加大推出最新研究“自我發(fā)現(xiàn)”（Self-Discover），重新定義了大模型推理范式。
與已成行業(yè)標準的思維鏈（CoT）相比，新方法不僅讓模型在面對復(fù)雜任務(wù)時表現(xiàn)更佳，還把同等效果下的推理成本壓縮至1/40。
核心策略其實很簡單：千人千面。
讓大模型針對不同問題，提出特定的推理結(jié)構(gòu)。完全不同于以往CoT等方法“千篇一律”的方式。
這種靈活應(yīng)變的方式，更加貼近于人類的思考模式，也向著期待中的大模型思維方式更進一步。
大模型“千人千面”
一直以來大模型在處理復(fù)雜問題時都容易遇到困難，所以一些模擬人類思維能力的提示方法被提出。
最出名的就是思維鏈（CoT），它通過引導(dǎo)大模型“一步一步來”，讓大模型能像人類一樣逐步思考解決問題，最終帶來顯著性能提升。
還有分解法（decomposition-based prompting），它是讓大模型將復(fù)雜問題拆解成一個個更小的子問題。
這類方法本身都能充當一個原子推理模塊，對給定任務(wù)的處理過程做了先驗假設(shè)，也就是讓不同問題都套到同一個流程里解決。
但是不同方法其實都有更擅長和不擅長的領(lǐng)域。比如在解決涉及符號操作等問題時，分解法要優(yōu)于CoT。
所以研究人員提出，對于每個任務(wù)，都應(yīng)該有獨特的內(nèi)在推理過程，同時還不提高模型的推理成本。
自發(fā)現(xiàn)步驟架構(gòu)由此而來。
它主要分為兩個階段。
第一階段指導(dǎo)大語言模型從原子推理模塊中進行挑選、調(diào)整、整合，搭建出一個可以解決特定任務(wù)的推理結(jié)構(gòu)。
比如“創(chuàng)造思維”可能在創(chuàng)作故事任務(wù)上有幫助、“反思思考”可能對搜索科學(xué)問題有幫助等。大模型需要根據(jù)任務(wù)進行挑選，然后進一步調(diào)整并完成整合。
第二階段輸入實例，讓大模型使用第一階段發(fā)現(xiàn)的推理結(jié)構(gòu)來生成答案。
通過在GPT-4和PaLM 2上進行實驗，在BBH、T4D、MATH幾個基準中，使用自發(fā)現(xiàn)步驟架構(gòu)后，模型的性能都有明顯提升。
在更細分的測試中，自發(fā)現(xiàn)步驟在需要世界知識的任務(wù)中表現(xiàn)最好，在算法、自然語言理解上超過CoT。
在處理問題的推理調(diào)用方面，自發(fā)現(xiàn)步驟需要的調(diào)用次數(shù)明顯少于CoT+Self Consistency，而且準確性更高。
如果想要達到和自發(fā)現(xiàn)步驟同樣的準確率，需要的推理計算量則是其40倍。
研究團隊
本項研究由南加州大學(xué)和谷歌DeepMind聯(lián)合推出。
第一作者是Pei Zhou，他現(xiàn)在正在南加州大學(xué)的NLP小組攻讀博士。
兩位通訊作者分別是Huaixiu Zheng和Swaroop Mishra。
Huaixiu Zheng此前參與過谷歌LaMDA工作，這是谷歌一個專攻對話的大模型。
Swaroop Mishra是谷歌DeepMind的研究科學(xué)家，它參與的Self-Instruct框架在GitHub上星標3.5k、被引用次數(shù)超過600，并被ACL 2023接收。
此外Quoc Le、Denny Zhou等大模型提示微調(diào)、推理方向的老面孔也參與其中。
雖然官方暫未開源，但已經(jīng)有迫不及待的開發(fā)者根據(jù)論文自行復(fù)現(xiàn)了代碼。
發(fā)現(xiàn)不僅適用于GPT-4和谷歌PaLM，連Mistral家泄露版模型Miqu上都能很好發(fā)揮作用。
論文地址：
https://arxiv.org/abs/2402.03620
- 4o-mini華人領(lǐng)隊也離職了，這次不怪小扎2025-08-19
- 宇樹機器人“撞人逃逸”火到國外，王興興回應(yīng)：下次不遙控了2025-08-16
- 突破Claude-4編程上限！自進化Agent框架拿下新SOTA，已開源2025-08-19
- 讓OpenAI只領(lǐng)先5天，百川發(fā)布推理新模型，掀翻醫(yī)療垂域開源天花板2025-08-11
