上海AI實驗室版o1已上線！數(shù)學題、Leetcode全拿下，還會玩24點

奇月 2024-11-28 15:07:13 來源：量子位

奇月 發(fā)自 凹非寺量子位 | 公眾號 QbitAI

國產(chǎn)o1新選手登場！

它能快速解決更復雜的數(shù)學解題、代碼編程、數(shù)字游戲等任務(wù)。

這就是上海AI實驗室版o1——強推理模型書生InternThinker，剛剛正式開放試用！

新模型不僅在長思維能力方面有了很大提升，而且還能在推理過程中進行自我反思和糾正。

先來一起看兩個例子感受一下：

比如官方展示的這個有點復雜的填字游戲。

InternThinker不僅一步步從易到難猜測出了答案，而且還能在做題的過程中不斷檢查是否存在沖突。

聽說這次InternThinker的編程能力也變強了，量子位馬上幫大家測試了一下。

在解答一道中等難度的Leetcode賽題中，InternThinker不僅根據(jù)題目要求分步寫出了解決思路，而且還在編寫完代碼之后針對整體邏輯和邊界條件進行了檢查：

把這個代碼直接提交了一下，結(jié)果真的通過了。

國外網(wǎng)友也都稱贊不已：中國公司的進步速度太快了！

在推理中自我反思、糾正

上海人工智能實驗室（上海AI實驗室）今年7月發(fā)布的書生·浦語2.5已經(jīng)實現(xiàn)了開源模型中領(lǐng)先的推理能力，而InternThinker則使大模型的推理能力再上新臺階。

團隊表示，在OpenAI o1模型發(fā)布之前，他們就已開展了相關(guān)技術(shù)的獨創(chuàng)性探索與實踐：

在訓練數(shù)據(jù)側(cè)，在國內(nèi)率先開發(fā)出大規(guī)模合成數(shù)據(jù)技術(shù)；在任務(wù)場景側(cè)，新模型在數(shù)學、代碼、推理謎題等多種場景都能體現(xiàn)出較強的推理能力，并具備一定的任務(wù)泛化性。

最新的強推理模型書生InternThinker具備長思維能力，并能在推理過程中進行自我反思和糾正，在數(shù)學、代碼、推理謎題等多種復雜推理任務(wù)上都取得了更優(yōu)結(jié)果。

量子位還測試了更多InternThinker的實際體驗案例，一起來看看吧。

首先考察一下模型的數(shù)學能力，以2024年第65屆IMO國家集訓隊第一階段試題題目為例，模型在讀取題目信息后會先列出相關(guān)的知識點，然后逐步進行推理計算，和人類解題的方式非常接近。

再來看看另外一個大家都很熟悉的數(shù)字游戲24點，模型也能做到先列出相關(guān)的計算方法，然后根據(jù)最可能成功的思路進行嘗試，并在失敗時及時進行反思和重新嘗試。

最后來看一個比較抽象的推理問題：1天24小時之內(nèi)時針和分針有多少次處于相對的位置。

這對人類來說都是一個很有難度的題，然而InternThinker在分析了時鐘角度和時針的對應(yīng)關(guān)系之后，得出了公式規(guī)律，最終得出了正確答案！

怎么做到的

InternThinker的表現(xiàn)真的讓人非常驚喜，據(jù)上海AI實驗室團隊的信息，他們主要利用了以下3種策略：

1.利用元認知理論學習思維模式

為高效提升模型的推理能力，InternThinker采用了更接近人類學習方式的路徑。

人在學習解決復雜推理任務(wù)時，更多是學習思維模式，即通過回憶相關(guān)知識點，對正確的解題過程進行理解、記憶，對錯誤解題等過程進行反思和修正，進而解決更多的問題。

這種對自我的認知過程進行覺察和調(diào)節(jié)的能力也被稱作元認知能力。

受元認知理論的啟發(fā)，研究團隊設(shè)計了一系列元動作來引導模型解決問題的過程，如對問題的理解、知識回憶、規(guī)劃、執(zhí)行、反思、總結(jié)等。

模型在面對復雜任務(wù)時，會顯式且動態(tài)地選擇元動作，再進一步展開相關(guān)動作的具體思維過程。通過這種設(shè)計，利用部分訓練任務(wù)，可強化模型對關(guān)鍵元動作組合的使用，顯著提升模型學習效率。

研究團隊認為，模型在思考過程中能更靈活、多樣、有效地使用元動作，是模型在推理階段能夠利用更多思考時間解決更復雜任務(wù)的重要原因。

2.“通專融合”的高密度監(jiān)督數(shù)據(jù)路徑

InternThinker率先獨創(chuàng)性地采用了基于通專融合的技術(shù)路線生產(chǎn)所需數(shù)據(jù)。

這樣一來，模型就可以獲取已有強推理模型的思維鏈數(shù)據(jù)并進行蒸餾，這也是提升數(shù)學等榜單性能及復現(xiàn)強推理模型的“捷徑”。

為此，研發(fā)團隊設(shè)計了多種通用模型和專業(yè)模型的協(xié)作流程：

首先基于專家模型搜索出針對復雜任務(wù)的正確解決軌跡（但這種軌跡數(shù)據(jù)并不直接適用于元動作思維能力的訓練）；

進而由通用模型對復雜任務(wù)解決過程進行覺察、分析、改造和質(zhì)量完善，基于正確軌跡提升思維鏈的格式規(guī)范性和可學習性，最終產(chǎn)出用于模型訓練的數(shù)據(jù)。

在此過程中，模型和數(shù)據(jù)會交替迭代，達到協(xié)同增強的效果。

3.構(gòu)建大規(guī)模沙盒環(huán)境：交互中獲得反饋信號

在訓練模型中，面對豐富多樣的推理任務(wù)，如何準確地獲得過程和結(jié)果反饋也非常重要。

為此，團隊針對專業(yè)任務(wù)構(gòu)建了大規(guī)模的沙盒環(huán)境，為可形式化驗證的推理任務(wù)提供反饋信號，包括數(shù)十種編程語言的高效率代碼執(zhí)行編譯環(huán)境，以及代碼領(lǐng)域之外的通用推理任務(wù)沙盒。

通過自動化專家模型、人機協(xié)同策略生成等方法，構(gòu)建了超過50種不同邏輯思維方式的推理任務(wù)思考過程，通過沙盒環(huán)境提供思考過程的反饋，形成自下而上對模型思維能力的構(gòu)建，為模型的自主演進提供精準的反饋信號，這些策略使得InternThinker解決專業(yè)任務(wù)的能力得到了非常大的提升。

下一步，上海AI實驗室將把相關(guān)技術(shù)融入下一代書生大模型，并繼續(xù)沿著通專融合發(fā)展路徑，通過開源與產(chǎn)學研各界共同推動技術(shù)進步。

InternThinker已經(jīng)開啟了測試使用，你可以通過下方鏈接測試更多有趣的題目！

試用鏈接：https://internlm-chat.intern-ai.org.cn