TeleAI “復(fù)雜推理大模型” 達(dá)競(jìng)賽級(jí)數(shù)學(xué)表現(xiàn)，評(píng)分超 o1-preview

十三 2025-01-26 16:50:42 來(lái)源：量子位

近日，中國(guó)電信人工智能研究院（TeleAI）“復(fù)雜推理大模型” TeleAI-t1-preview 正式發(fā)布，即將上線天翼 AI 開放平臺(tái)。TeleAI-t1-preview 使用了強(qiáng)化學(xué)習(xí)訓(xùn)練方法，通過引入探索、反思等思考范式，大幅提升模型在數(shù)學(xué)推導(dǎo)、邏輯推理等復(fù)雜問題的準(zhǔn)確性。

早在 1500 多年前，數(shù)學(xué)家祖沖之就曾在《辯戴法興難新歷》中指出，復(fù)雜事物的運(yùn)行規(guī)律并非超自然現(xiàn)象，而是可以通過實(shí)際觀測(cè)、數(shù)據(jù)推理而嚴(yán)謹(jǐn)求得。

數(shù)學(xué)知識(shí)的系統(tǒng)性和相互關(guān)聯(lián)性，以及通過推理找到問題根源，是幾千年來(lái)數(shù)學(xué)發(fā)展的母題。大模型的創(chuàng)新也正在不斷與之靠近，用嚴(yán)密的思維鏈路，擺脫幻覺的怪圈。

評(píng)分超 o1-preview，達(dá)競(jìng)賽級(jí)數(shù)學(xué)表現(xiàn)

在美國(guó)數(shù)學(xué)競(jìng)賽 AIME 2024 、MATH500 兩項(xiàng)權(quán)威數(shù)學(xué)基準(zhǔn)評(píng)測(cè)中，TeleAI-t1-preview 分別以 60 和 93.8 分的成績(jī)，大幅超越 OpenAI o1-preview、GPT-4o 等標(biāo)桿模型。在研究生級(jí)別問答測(cè)試 GPQA Diamond 中，TeleAI-t1-preview 得分超過 GPT-4o，并比肩 Claude 3.5 Sonnet 的性能水準(zhǔn)。

在下面這道 2024 年全國(guó)高中數(shù)學(xué)競(jìng)賽試題中，TeleAI-t1-preview 面對(duì)三角函數(shù)的復(fù)雜等式關(guān)系，通過多次假設(shè)嘗試和思路糾偏，將原先的復(fù)雜等式抽絲剝繭，轉(zhuǎn)化成簡(jiǎn)化的方程式，并經(jīng)過邏輯清晰的公式推導(dǎo)后，最終給出了正確答案。

可以看出，TeleAI-t1-preview 在回答問題時(shí)并非只是給出結(jié)論，而是把思考和分析過程也完整呈現(xiàn)。這樣可以幫助學(xué)生在做題過程中深入理解題目背后的邏輯和思考方法。

例如，在一道概率論考研試題中，題目涉及“泊松分布”概念。TeleAI-t1-preview 首先對(duì)這個(gè)概念進(jìn)行了介紹和解讀，然后給出解題思路和最終答案。

我國(guó)古代數(shù)學(xué)發(fā)展歷史悠久，流傳眾多經(jīng)典著作，但因其文言文表述，通常讓人望而卻步。不少大模型也會(huì)陷入沉思，無(wú)法作答。

將《九章算術(shù)》中的一道題目給到 TeleAI-t1-preview 后，它先針對(duì)文言文進(jìn)行了理解和簡(jiǎn)化，轉(zhuǎn)換成現(xiàn)代漢語(yǔ)，隨之給出數(shù)學(xué)推導(dǎo)和答案。

在這個(gè)過程中，TeleAI-t1-preview 還將形象思維與抽象思維結(jié)合，對(duì)所涉及的場(chǎng)景進(jìn)行具象化思考，輔助理解題目。同時(shí)，它還嚴(yán)謹(jǐn)?shù)剡M(jìn)行了古今單位換算，順利過關(guān)。

如果說數(shù)學(xué)競(jìng)賽和考研題目還能符合人的正常思維方式，那么面對(duì)極度“燒腦”的策略推理問題時(shí)，以往的大模型往往會(huì)答非所問，被繞到“陷阱”中去。

以下面這道問題為例，光是理解游戲規(guī)則就已經(jīng)很難了，更不用說從何下手給出答案了。然而，TeleAI-t1-preview 卻“眼都沒眨一下”就迅速破題，大膽假設(shè)，嚴(yán)謹(jǐn)分析。

TeleAI-t1-preview 在解題過程中，列出了對(duì)游戲規(guī)則的理解、場(chǎng)景道具分析、優(yōu)劣勢(shì)分析，并給出解題策略、驗(yàn)證有效性。不僅如此，它還考慮到了可能出現(xiàn)的特殊情況。

創(chuàng)新“訓(xùn)練”策略，保障“推理”有效

人類通向 AGI 的旅程正在經(jīng)歷一場(chǎng)范式的迭代。當(dāng)已有的高質(zhì)量數(shù)據(jù)正像化石能源一樣日漸枯竭時(shí)，當(dāng)人們依然在為大模型的“黑盒”特性而擔(dān)憂時(shí)，復(fù)雜推理大模型的重要性日益顯著。

針對(duì) TeleAI-t1-preview 訓(xùn)練的不同階段，TeleAI 引入了創(chuàng)新的訓(xùn)練策略，從而保障思考推理過程準(zhǔn)確有效。

數(shù)據(jù)準(zhǔn)備階段：

收集、構(gòu)建了一個(gè)以數(shù)學(xué)為核心、多學(xué)科為補(bǔ)充的高質(zhì)量推理數(shù)據(jù)集，確保模型能夠適應(yīng)不同類型的推理任務(wù)。

Judge Model（評(píng)估模型）：

訓(xùn)練了一個(gè) Judge Model 專門用于分析和評(píng)估模型長(zhǎng)思考鏈路的正確性，為模型的反思和錯(cuò)誤修正提供指導(dǎo)。

SFT（監(jiān)督微調(diào)）階段：

用 MCTS（蒙特卡洛樹搜索）構(gòu)造高質(zhì)量長(zhǎng)推理數(shù)據(jù)，結(jié)合每個(gè)步驟的準(zhǔn)確率和解決方案長(zhǎng)度來(lái)選擇最優(yōu)的完整路徑，在保證推理答案準(zhǔn)確性的同時(shí)有效拉長(zhǎng)思考鏈路以獲得更細(xì)粒度的推理過程。同時(shí)使用 Judge Model 對(duì)推理過程中正確率較低的路徑進(jìn)行分析，引導(dǎo)模型對(duì)錯(cuò)誤的推理步驟進(jìn)行反思和修正，從而構(gòu)造出高質(zhì)量的思維鏈數(shù)據(jù)進(jìn)行 SFT 訓(xùn)練。

強(qiáng)化學(xué)習(xí)階段：

額外構(gòu)造了 Rule-based Reward Model（基于規(guī)則的獎(jiǎng)勵(lì)模型），以提供足夠準(zhǔn)確的獎(jiǎng)勵(lì)信號(hào)，通過在線強(qiáng)化學(xué)習(xí)算法進(jìn)一步提升模型的邏輯推理能力。

直觀呈現(xiàn)的思維鏈將幫助人們更清晰地追蹤推理過程，方便驗(yàn)證推理正確性，從而使模型的可解釋性和透明度大大提升。

TeleAI 將持續(xù)在推理模型領(lǐng)域研究探索，讓人工智能基于人類的“已知”，推導(dǎo)出期盼得到的“未知”。