大模型首次打破圍棋思維「黑盒」，打通科學發(fā)現(xiàn)新路徑！上海AI Lab發(fā)布新一代InternThinker
可運用自然語言對對弈過程進行講解
允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
圍棋因其獨特的復雜性和對人類智能的深刻體現(xiàn)，可作為衡量AI專業(yè)能力最具代表性的任務之一。
目前，AI雖然在棋力、效率、通用性等方面均取得顯著成績，但其具體推理過程仍處于“黑盒”之中，更無法用人類語言解釋其思考過程和結(jié)果。
大模型具備良好的自然語言交互性，如何通過提升大模型的推理能力，實現(xiàn)圍棋專業(yè)能力突破，是擺在科研人員面前的一道難題。
針對這個問題，上海人工智能實驗室（上海AI Lab）全新發(fā)布了新一代書生·思客（InternThinker）。
基于創(chuàng)造性構(gòu)建的“加速訓練營”（InternBootcamp）以及一系列底層技術(shù)新進展，InternThinker專業(yè)推理能力大幅提升，成為我國首個既具備圍棋專業(yè)水平，又能展示透明思維鏈的大模型。
即便面對李世石的“神之一手”（李世石在AlphaGO交戰(zhàn)的第四盤78手下在L11，被稱為“神之一手”），InternThinker也能給出正確應對策略。
思維鏈透明，自然語言點評“神之一手”
圍棋作為一項具有四千多年歷史的智力競技項目，因其獨特的復雜性和對人類智能的深刻體現(xiàn)，可作為衡量人工智能專業(yè)能力最具代表性的任務之一。
2016年AlphaGO一戰(zhàn)成名，隨后，AI在棋力、效率、通用性等方面均有顯著提升，但其具體推理過程仍為“黑盒”，即便能輸出勝率評估和落子概率，亦無法用人類語言解釋“為什么某一步更好”。典型表現(xiàn)為：AI有時會下出違背人類直覺的“天外飛仙”棋步，事后被證明有效，但當時難以解釋。
本次升級后的InternThinker，在圍棋任務上不僅具備較強的專業(yè)水平，在大模型中率先實現(xiàn)打破思維“黑盒”，運用自然語言就對弈過程進行講解。
用戶在與InternThinker對弈的過程中，大模型化身為循循善誘的“教練”，它能全面地分析當前局面形勢，對不同的落子點進行判斷和對比，并給出明確的結(jié)果，讓用戶了解每一步棋背后的推理過程和決策依據(jù)，從而幫助用戶更好地理解和學習圍棋。
李世石在與AlphaGO交戰(zhàn)的第四盤78手下在L11，被稱為“神之一手”，直接扭轉(zhuǎn)局勢贏下一局。在研究人員對這一名局的復現(xiàn)中，InternThinker評價這步棋“相當?shù)筱@……這步棋完美解決L11的威脅，重新確立中央控制權(quán)，為后續(xù)進攻埋下伏筆”。隨后它給出了落子在L10的應對策略。
△InternThinker應對李世石“神之一手”
InternThinker還具備多樣化的“語言”風格，極具“活人感”。比如，當用戶下了一步好棋，它會加油鼓勵：“這步棋相當有力，可以說是‘以攻代守’的好手?！?/p>
也會冒出毒舌銳評：“可以說是‘不是棋’的選擇。”
△InternThinker多樣化的語言風格
在棋力方面，InternThinker未來仍有提升空間。
新生代世界圍棋冠軍王星昊九段在與其對弈后評價道：
能解說思考過程的AI還是第一次見，感覺它分析得非常好；從布局看棋力可能在職業(yè)3-5段之間。
目前InternThinker已開啟公測，所有用戶均可以隨時隨地與之對弈，鏈接可在文末自取。
InternBootcamp：“體驗”即學習，探索大模型推理能力提升新范式
InternThinker強大的推理能力及在圍棋任務上的突破，得益于其創(chuàng)新的訓練環(huán)境。
針對復雜的邏輯推理任務，如何準確地獲得過程和結(jié)果反饋尤為關(guān)鍵，為此，研究人員搭建了大規(guī)模、標準化、可擴展的可交互驗證環(huán)境InternBootcamp——這相當于為模型創(chuàng)造了一個“加速訓練營”，使其可以高效習得專業(yè)技能，快速“成長”。
△InternBootCamp與大模型交互流程
基于代碼智能體自動化構(gòu)造，InternBootCamp包含超1000個驗證環(huán)境，覆蓋廣泛的復雜邏輯推理任務，能有效幫助大模型領(lǐng)域研究者基于強化學習開展探索。
InternBootcamp可以批量化、規(guī)范化生成難度可控的推理任務，如奧賽級數(shù)學、科學對象理解與推理、算法編程、棋類游戲、智力謎題等，并與大模型進行交互和提供反饋。通過不同專業(yè)知識大規(guī)模構(gòu)造和混合訓練，使大模型跳出基于數(shù)據(jù)標注獲取問題和答案的繁瑣模式，同時避免傳統(tǒng)獎勵模型的欺騙，從而實現(xiàn)大模型推理能力提升的新范式。
除圍棋外，在其他任務中InternThinker也有不俗表現(xiàn)。通過對多種任務的混合強化學習，InternThinker在包括數(shù)十個任務的測試集上的平均能力超過o3-mini、DeepSeek-R1以及Claude-3.7-Sonnet等國內(nèi)外主流推理模型：
甚至在一些任務中性能表現(xiàn)遠超當前其他推理大模型。
比如在以下兩項任務中：
InternThinker的表現(xiàn)均優(yōu)于o3-mini：
多任務混合強化學習：迎來“涌現(xiàn)時刻”
值得一提的是，研究人員觀察到，在基于InternBootcamp的多任務混合訓練過程中，出現(xiàn)了強化學習的“涌現(xiàn)時刻”：在單一任務中，無法成功推理得到獎勵的模型，通過多個任務混合的強化學習，能夠在訓練過程中成功得到獎勵，實現(xiàn)領(lǐng)域外專業(yè)任務的有效強化學習訓練。
除了單獨訓練Tapa、Unicoder25任務外，研究人員額外選擇了幾十種任務進行混合訓練。如下圖所示：單一訓練Tapa等任務并不能成功獲得任務的正向反饋；而混合訓練各類InternBootcamp任務達一定步數(shù)后，InternThinker融合學習了這些推理任務的思考方式，建立起了不同任務間的關(guān)聯(lián)，從而成功獲取了Tapa這類任務的正向反饋，實現(xiàn)對該任務的有效學習。
這意味著，隨著InternBootcamp任務的數(shù)量增加、質(zhì)量提升和難度加大，大模型有望迎來能力的“升華”，高效解決更多、更難、更具實用性的推理任務，在助力大模型推理能力泛化的同時，加速推動科學發(fā)現(xiàn)。
△Unicode25任務，其中淺色表示峰值、深色表示均值
△Tapa任務”涌現(xiàn)時刻”，其中淺色表示峰值、深色表示均值
通專融合底層技術(shù)突破
上述進展得益于近期上海AI Lab在通專融合路線的底層技術(shù)和架構(gòu)方面的一系列創(chuàng)新突破。
從大模型發(fā)展歷程來看，主要分化為專業(yè)性和通用泛化性兩大路線。上海AI Lab率先提出通專融合技術(shù)路線（https://arxiv.org/abs/2407.08642），著力解決大模型高度專業(yè)化與通用泛化性相互制約的發(fā)展困境。這一路徑的關(guān)鍵在于同步提升深度推理與專業(yè)泛化能力，使模型不僅在廣泛的復雜任務上表現(xiàn)出色，還能在特定領(lǐng)域中達到專業(yè)水平。
上海AI Lab進一步提出通過相互依賴的基礎(chǔ)模型層、 融合協(xié)同層和探索進化層“三層”技術(shù)路徑， 可打造“通用泛化性”“高度專業(yè)性”“任務可持續(xù)性”三者兼得的通用人工智能。
△通專融合AGI實現(xiàn)路徑
第一層為基礎(chǔ)模型層，旨在構(gòu)建通用泛化基礎(chǔ)能力和高密度監(jiān)督的專業(yè)能力。上海AI Lab團隊近期提出全新的“記憶體+解碼器”大模型架構(gòu)Memory Decoder，并實現(xiàn)兩個組成部分通過不同的預訓練任務分別進行訓練。區(qū)別于將所有信息全都編碼進decoder的現(xiàn)有Transformer經(jīng)典大模型架構(gòu)，該架構(gòu)實現(xiàn)了通專融合中“知識與推理可分離與自組合”的新一代大模型。其中，記憶體承擔“?！钡墓δ?，負責對不同領(lǐng)域知識的可靠記憶；解碼器承擔“通”的功能，負責通用的語言組織和邏輯；記憶體可經(jīng)過一次訓練后應用于不同基模型。
第二層為融合協(xié)同層，通過多路線協(xié)同構(gòu)建比肩人類專家的通專融合能力。團隊近期的突破包括：
- 設(shè)計強化學習算法PRIME（https://arxiv.org/abs/2502.01456），結(jié)合高密度監(jiān)督信號，有效強化了智能體專精能力的提升效率，為通用群體智能發(fā)展鋪平了道路。可實現(xiàn)更快速的收斂，同時獲取比現(xiàn)有方法高出7%的性能提升。在AIME、MATH等競賽難度數(shù)學題上，僅用少量開源數(shù)據(jù)，便可使得7B模型的數(shù)學能力顯著超越OpenAI的GPT-4o。
- 推出以多任務強化學習為核心的后訓練技術(shù)框架MoR，聚焦實現(xiàn)多任務的強化學習。針對不同類型任務（例如數(shù)學解答和證明、科學問答、推理解謎、主觀對話等）進行了算法探索和初步集成驗證，實現(xiàn)了多任務強化學習的混合訓練。
- 構(gòu)建基于結(jié)果獎勵的強化學習新范式OREAL（https://arxiv.org/abs/2502.06781），著力解決大模型當前面臨的“稀疏獎勵困境、局部正確陷阱和規(guī)模依賴魔咒”三大困局。該算法超越了目前廣泛使用的GRPO等方法，定義了一個更廣泛的算法設(shè)計空間，能將PRIME、DAPO等方法的優(yōu)點融合入算法框架中，無需蒸餾超大參數(shù)規(guī)模模型，便實現(xiàn)了輕中量級（7B/32B）模型推理能力的再提升。
第三層為探索進化層，通過自主探索與反饋修正實現(xiàn)AI自我進化閉環(huán)。團隊近期的突破包括：
- 測試時強化學習（TTRL）框架
- （https://arxiv.org/abs/2504.16084），有效探索人工智能自主進化的可能路徑。TTRL能在沒有準確標簽的情況下進行獎勵估計，驅(qū)動模型朝著正確的方向?qū)W習，有力支持了在減少人工標注依賴方面的潛力，進一步推動強化學習向大規(guī)模、無監(jiān)督方向的持續(xù)擴展。
- 構(gòu)建分子逆合成新方法Retro-R1，基于大模型+智能體+長推理+強化學習的范式，在多步逆合成問題上展現(xiàn)出了更精準的合成路徑規(guī)劃能力。Retro-R1在不使用任何SFT數(shù)據(jù)僅使用1萬條強化學習數(shù)據(jù)通過200步訓練的情況下就實現(xiàn)了大模型在逆合成推理能力的升級，并在不同領(lǐng)域數(shù)據(jù)中展現(xiàn)出了出色的泛化能力。
據(jù)悉，未來上海AI Lab將系統(tǒng)推進通專融合技術(shù)路線的發(fā)展與探索，將通專融合的新能力、新進展持續(xù)通過InternBootcamp對外開放，加速以新一代通專融合基座模型的方式解決具體科學發(fā)現(xiàn)中的關(guān)鍵問題，同時牽引打造垂直領(lǐng)域示范應用案例，為科學發(fā)現(xiàn)與產(chǎn)業(yè)創(chuàng)新提供關(guān)鍵驅(qū)動力。
公測鏈接：https://internlm-chat.intern-ai.org.cn/
開源地址：https://github.com/InternLM/InternBootcamp
— 完 —
相關(guān)閱讀
