僅用提示詞工程摘下IMO金牌！清華校友強(qiáng)強(qiáng)聯(lián)手新發(fā)現(xiàn)，學(xué)術(shù)界不靠砸錢也能比肩大廠

不圓 2025-08-02 13:45:48 來(lái)源：量子位

鷺羽 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

無(wú)需谷歌“鈔能力”，兩位清華校友強(qiáng)強(qiáng)聯(lián)合，直接讓基礎(chǔ)模型Gemini 2.5 Pro輕松達(dá)到IMO金牌水平。

只需提示詞改動(dòng)……

該發(fā)現(xiàn)來(lái)自兩位清華校友楊林和黃溢辰，他們共同設(shè)計(jì)了一套自我迭代驗(yàn)證流程和提示詞優(yōu)化，就成功讓Gemini 2.5 Pro完成了今年IMO題目的解答。

他們還剛剛更新了代碼，直接利用通用提示詞就能實(shí)現(xiàn)模型推理增強(qiáng)。

好家伙，原來(lái)我們都被LLM騙了，基礎(chǔ)大模型早就彎道超車，具備超強(qiáng)的解決復(fù)雜數(shù)學(xué)推理問(wèn)題的能力。

只不過(guò)，直接用效果并不好。

就像MathArena也用Gemini?2.5?Pro跑了本次IMO題目，結(jié)果只有13分，遠(yuǎn)低于IMO銅牌門檻（19/42）。

但只要加一點(diǎn)點(diǎn)提示詞魔法和迭代驗(yàn)證，就能實(shí)現(xiàn)1+1>2。

這一點(diǎn)也受到了陶哲軒的認(rèn)可：

我認(rèn)同嚴(yán)格驗(yàn)證是在復(fù)雜數(shù)學(xué)任務(wù)中取得出色表現(xiàn)的關(guān)鍵。

具體是怎么做到的？我們接著往下看。

通用提示詞+迭代驗(yàn)證

首先為什么最近AI模型都喜歡參加IMO測(cè)試呢？

其實(shí)是因?yàn)橄噍^于面向中小學(xué)水平題目的傳統(tǒng)數(shù)學(xué)基準(zhǔn)GSM8K、MATH等，IMO可以更為充分地考驗(yàn)?zāi)Ｐ偷某橄笏季S和多步驟邏輯推理能力，堪稱檢驗(yàn)LLM推理能力的“試金石”。

不過(guò)前幾年模型結(jié)果都不盡如人意，要么是無(wú)法理解題目要求，要么是“偏科”某一類問(wèn)題。

直到今年才首次有官方認(rèn)可的金牌AI出現(xiàn)，谷歌和OpenAI均完成了5道題，其中谷歌Gemini模型搭載了新的Deep Think模式，OpenAI的模型據(jù)悉也是在通用強(qiáng)化學(xué)習(xí)和計(jì)算擴(kuò)展方面實(shí)現(xiàn)了技術(shù)突破。

但現(xiàn)在，研究團(tuán)隊(duì)只用提示詞設(shè)計(jì)，就達(dá)成了上述效果。

關(guān)鍵在于，他們?cè)O(shè)計(jì)了一套自我驗(yàn)證流程，依次可分為六個(gè)步驟：

1. 初始解決方案生成：模型首先根據(jù)提示詞生成初步解答，要求每一步邏輯推理清晰、解釋明確。
2. 自我改進(jìn)：模型對(duì)初始答案進(jìn)行回顧和優(yōu)化，彌補(bǔ)初始生成中因思維預(yù)算有限導(dǎo)致的不足。
3. 驗(yàn)證解決方案并生成錯(cuò)誤報(bào)告：在驗(yàn)證器中根據(jù)提示詞驗(yàn)證解答，生成包含關(guān)鍵錯(cuò)誤（如邏輯謬誤或事實(shí)錯(cuò)誤）和不完整論證在內(nèi)的問(wèn)題報(bào)告。
4. 審查錯(cuò)誤報(bào)告（可選）：對(duì)問(wèn)題報(bào)告進(jìn)行復(fù)核，刪除誤報(bào)的問(wèn)題，提升報(bào)告可靠性。
5. 基于錯(cuò)誤報(bào)告糾正或改進(jìn)解決方案：根據(jù)問(wèn)題報(bào)告改進(jìn)解答，修正后返回驗(yàn)證步驟。
6. 接受或拒絕解決方案：若解答連續(xù)5次都通過(guò)驗(yàn)證，則接受該回答；若連續(xù)迭代10次，都存在重大問(wèn)題，則拒絕此答案。

具體來(lái)說(shuō)，整個(gè)過(guò)程是由Gemini 2.5 Pro構(gòu)成的求解器（solver）和驗(yàn)證器（verifier）執(zhí)行，采用差異化提示詞以達(dá)到不同作用。

其中求解器主要負(fù)責(zé)生成和改進(jìn)答案，在提示詞設(shè)計(jì)上將嚴(yán)謹(jǐn)性設(shè)為首要目標(biāo)，確保結(jié)果可嚴(yán)格驗(yàn)證。

但由于Gemini 2.5 Pro的最大思考tokens為32768，在初始生成答案時(shí)無(wú)法獨(dú)立完成負(fù)責(zé)的IMO問(wèn)題，所以通過(guò)步驟2中的自我改進(jìn)，額外注入32768 tokens，讓模型回顧并優(yōu)化初始解答，提升整體質(zhì)量。

然后使用驗(yàn)證器模擬IMO評(píng)分專家，進(jìn)行迭代改進(jìn)，并決定是否接受改進(jìn)后的解決方案。

驗(yàn)證器會(huì)逐一檢查解答并找出存在的問(wèn)題，將問(wèn)題分為關(guān)鍵錯(cuò)誤和論證缺口兩類，其中關(guān)鍵錯(cuò)誤是指明顯錯(cuò)誤或存在清晰邏輯謬誤的內(nèi)容，會(huì)嚴(yán)重破壞證明的邏輯鏈條，引向錯(cuò)誤答案。

論證缺口包含主要缺口和次要缺口，主要缺口可能會(huì)導(dǎo)致整個(gè)證明失敗，而次要缺口可能會(huì)產(chǎn)生正確結(jié)論，但論證仍然是不完整的。

當(dāng)發(fā)現(xiàn)問(wèn)題后，驗(yàn)證器隨即會(huì)輸出一份錯(cuò)誤報(bào)告，為模型改進(jìn)解決方案提供有用信息，在步驟4中對(duì)驗(yàn)證器的誤判進(jìn)行改正，然后模型根據(jù)報(bào)告嘗試改進(jìn)答案。

由于驗(yàn)證器可能出錯(cuò)，所以需要足夠次數(shù)的重復(fù)迭代，降低誤判影響，最終如果答案能通過(guò)驗(yàn)證則接受，如果始終存在關(guān)鍵錯(cuò)誤或主要論證缺口，則拒絕。

具體實(shí)驗(yàn)過(guò)程中，研究團(tuán)隊(duì)選擇剛剛發(fā)布的IMO 2025題目，因?yàn)榘l(fā)布時(shí)間較短，可以有效避免訓(xùn)練數(shù)據(jù)污染，確保評(píng)估的真實(shí)性。

另外在參數(shù)設(shè)置上，選擇較低的溫度值0.1，因?yàn)檩^高的溫度可能會(huì)導(dǎo)致更多的隨機(jī)錯(cuò)誤，并使用Gemini 2.5 Pro的推理token上限，同時(shí)排除其它模型、代碼干擾。

關(guān)鍵提示詞中，初始生成的提示詞要求有充分理由支撐答案，如果不能找到完整解決方案，不能進(jìn)行編造，且所有數(shù)學(xué)內(nèi)容用TeX格式呈現(xiàn)。

輸出格式需嚴(yán)格按照總結(jié)到詳細(xì)解決方案的順序，其中總結(jié)包括結(jié)論和方法概述，詳細(xì)解決方案中需要呈現(xiàn)完整、逐步的數(shù)學(xué)證明，在最終輸出前還要仔細(xì)檢查以符合所有指令。

在驗(yàn)證提示詞里，唯一任務(wù)就是找出并報(bào)告解決方案里的所有問(wèn)題，并不嘗試糾正漏洞，需生成詳細(xì)驗(yàn)證日志并將問(wèn)題進(jìn)行分類，輸出格式包括總結(jié)和詳細(xì)驗(yàn)證日志，總結(jié)又包括最終判定和發(fā)現(xiàn)列表。

最終，模型實(shí)現(xiàn)為IMO的6道題目中的5道生成了完整且數(shù)學(xué)嚴(yán)謹(jǐn)?shù)慕鉀Q方案，其中前兩道題目各生成了有提示和無(wú)提示的兩種解決方案。

第一題提示使用數(shù)學(xué)歸納法，第二題提示使用解析幾何完成，通過(guò)對(duì)比可得，詳細(xì)的提示詞可以減少計(jì)算搜索空間、提高效率，但并不會(huì)額外賦予模型新的能力。

在未能解決的第六題上，研究人員發(fā)現(xiàn)模型是在其中一個(gè)有關(guān)證明時(shí)出現(xiàn)核心錯(cuò)誤，從而導(dǎo)致后續(xù)證明無(wú)效。

實(shí)驗(yàn)結(jié)果證明，結(jié)構(gòu)化迭代流程將是LLM的潛在能力轉(zhuǎn)化為嚴(yán)謹(jǐn)數(shù)學(xué)證明的關(guān)鍵，可突破單次生成中例如有限推理預(yù)算和初始答案錯(cuò)誤等局限性。

另外研究人員預(yù)計(jì)，如果混合使用多種模型，例如Grok 4、OpenAI-o系列，以及類似Grok 4 heavy的多智能體系統(tǒng)，可能會(huì)產(chǎn)生更強(qiáng)的數(shù)學(xué)能力。

清華校友強(qiáng)強(qiáng)聯(lián)合

本次研究的兩位作者——黃溢辰和楊林，他們是清華大學(xué)數(shù)學(xué)物理基礎(chǔ)科學(xué)實(shí)驗(yàn)班的本科同學(xué)，畢業(yè)后又分別前往海外高校深造。

黃溢辰在加州大學(xué)伯克利分校取得物理學(xué)博士學(xué)位后，曾在微軟擔(dān)任AI研究員，后在加州理工學(xué)院擔(dān)任博士后，師從凝聚態(tài)物理領(lǐng)域大拿陳諧教授。

陳諧教授本科同樣畢業(yè)于清華大學(xué)，并在2012年獲得麻省理工學(xué)院理論物理博士，目前是加州理工學(xué)院的Eddleman理論物理學(xué)教授。

主要研究的是量子凝聚態(tài)系統(tǒng)中的新型相和相變，包括強(qiáng)關(guān)聯(lián)系統(tǒng)中的拓?fù)湫颉⒍囿w系統(tǒng)動(dòng)力學(xué)、張量網(wǎng)絡(luò)表示以及量子信息應(yīng)用等。

曾在2017年斬獲斯隆獎(jiǎng)，后又因其對(duì)物質(zhì)拓?fù)鋺B(tài)及相互關(guān)系的卓越貢獻(xiàn)，榮獲2020年物理學(xué)新視野獎(jiǎng)，該獎(jiǎng)項(xiàng)隸屬于科學(xué)突破獎(jiǎng)的子獎(jiǎng)項(xiàng)，要知道科學(xué)突破獎(jiǎng)也被譽(yù)為當(dāng)代科學(xué)界的“奧斯卡獎(jiǎng)”。

后續(xù)黃溢辰又接著在麻省理工學(xué)院理論物理中心和哈佛大學(xué)物理系繼續(xù)從事博士后研究，主要研究方向是量子物理學(xué)，包括量子信息學(xué)、 凝聚態(tài)理論和機(jī)器學(xué)習(xí)。

另一位作者楊林，目前是加州大學(xué)洛杉磯分校的副教授，任職于電氣與計(jì)算機(jī)工程系以及計(jì)算機(jī)科學(xué)系。

此前，他曾獲得約翰霍普金斯大學(xué)的計(jì)算機(jī)科學(xué)和物理與天文學(xué)雙博士學(xué)位，又曾在普林斯頓大學(xué)從事博士后研究，師從王夢(mèng)迪教授。

王夢(mèng)迪14歲就考入清華，23歲就從麻省理工學(xué)院博士畢業(yè)，其導(dǎo)師還是美國(guó)國(guó)家工程院院士Dimitri P. Bertsekas，年僅29歲就成為普林斯頓大學(xué)終身教授。

研究領(lǐng)域主要涉及生成式人工智能、強(qiáng)化學(xué)習(xí)、大語(yǔ)言模型等，2024年還曾獲得控制領(lǐng)域最高獎(jiǎng)項(xiàng)Donald P. Eckman獎(jiǎng)（每年僅頒發(fā)給一位獲獎(jiǎng)?wù)撸?/em>。