最強數(shù)學大模型易主！阿里千問新模型成績超GPT-4o，網(wǎng)友：這才是真“草莓”
可解決簡單競賽級題目
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
最強數(shù)學大模型，現(xiàn)在易主！
阿里千問大模型團隊發(fā)布的Qwen2-Math，不僅超越了Llama 3.1-405B，也戰(zhàn)勝了GPT-4o、Claude 3.5等一系列閉源模型。
而且還會解決競賽級試題，在GPT-4只能做對一道的AIME 24中，Qwen2-Math答對的題目數(shù)量達到了兩位數(shù)。
Qwen2-Math一共有三個參數(shù)量的版本——72B，7B和1.5B。
最強的72B版本，在MATH數(shù)據(jù)集上比GPT-4o多得了7分，按比例算高出了9.6%。
7B版本也用不到十分之一的參數(shù)量，超過了72B的開源數(shù)學模型NuminaMath。
而且這個NuminaMath來頭不小，它的7B版本在全球首屆AIMO中獲獎，獎項由數(shù)學大牛陶哲軒頒發(fā)。
阿里高級算法專家林俊旸激動地宣布，千問團隊把Qwen2模型變成了一個數(shù)學高手。
fast.ai創(chuàng)始人Jeremy Howard看了直呼amazing。
網(wǎng)友更是驚嘆，原來這才是真正的“草莓”，這是開源的勝利，也是所有人的勝利。
超越GPT4o，會做競賽級試題
如前文所說，Qwen2-Math共有72B、7B和1.5B三個參數(shù)規(guī)模，分別由對應規(guī)模的Qwen2基礎模型改造而成。
在基礎模型之上，團隊使用精心設計的數(shù)學專用語料庫進行了預訓練，訓練數(shù)據(jù)包含大規(guī)模高質量的數(shù)學網(wǎng)絡文本、書籍、代碼、考試題目，以及由Qwen2模型合成的數(shù)學預訓練數(shù)據(jù)。
結果，在GSM8K、MATH等經(jīng)典數(shù)學測試集上，Qwen2-Math-72B的數(shù)學能力都超過了405B的Llama-3.1。
這些數(shù)據(jù)集，涉及到問題涵蓋了代數(shù)、幾何、計數(shù)與概率、數(shù)論等多種類型。
除了這些英文的數(shù)據(jù)集，Qwen2-Math還專門挑戰(zhàn)了中文數(shù)據(jù)集CMATH，還有高考試題。
在中文數(shù)據(jù)集上，1.5B版本的成績就超過了70B的Llama 3.1，而且三個版本相當于同規(guī)模的Qwen2基礎模型，成績都有明顯提升。
在Qwen2-Math的基礎之上，千問團隊還微調出了Instruct版本。
具體來說，團隊基于Qwen2-Math-72B訓練一個數(shù)學專用的獎勵模型，將獎勵信號與正誤判斷信號結合作為學習標簽，再通過拒絕采樣構建監(jiān)督微調（SFT）數(shù)據(jù)，最后在SFT模型基礎上使用GRPO方法優(yōu)化。
在MATH數(shù)據(jù)集上的零樣本測試顯示，1.5B的Instruct就能取得70%的準確率，比70B的Llama 3.1還高。
此外，研究團隊還引入了難度更大的OlympiadBench、CollegeMath和英譯版高考試題等更困難的測試集。
作者讓Qwen2-Math采用了貪心（greedy）、RM@8和Maj@8三種策略，結果無論是哪一種，Qwen2-Math的成績全都超過了同規(guī)模的Llama 3.1。
中文數(shù)據(jù)集方面，Qwen2-Math還挑戰(zhàn)了今年最新的中高考試題，與Llama 3.1相比優(yōu)勢十分明顯。
值得一提的是，為了減少測試成績當中的“水分”，千問團隊專門從訓練數(shù)據(jù)集中去除了所有和測試集重疊的部分。
而且除了精確匹配，還運用了更嚴格的13-gram去重策略，只要最長公共序列的比率應大于0.6就會被去除。
后訓練的過程也是如此，涉及的數(shù)據(jù)集，甚至測試成績中沒展示的Aqua、SAT Math，全都被從數(shù)據(jù)當中剔除。
另外，Qwen2-Math-Instruct已經(jīng)具備了解決一些簡單的競賽級試題的能力。
比如在AIME 24的30道題當中，Qwen2-Math-72B-Instruct用rm@256策略能夠做對11道。
像GPT-4 Turbo、Claude 3 Opus和Gemini 1.5 PRo這些先進模型都只能做對一兩道。
而且最小的1.5B版本也能在rm@256的條件下做對五道題，已經(jīng)超過了這三家模型。
另外，Gemini 1.5 Pro有一個專門針對數(shù)學任務的版本，但也只能做對七八道題目，Qwen2-Math-72B-Instruct是第一個做對的題目數(shù)量達到兩位數(shù)的模型。
在官方文檔中，千問團隊也展示了一些示例，比如奧賽級數(shù)學測試集Math Odyssey當中有這樣一道題目。
這道題目涉及到組合數(shù)學和圖論，具體又包括了完全圖、二部圖等概念。
此外還需要理解如何將這些概念應用于特定性質結構的構建，需要較強的抽象思維能力和對圖論結構的深刻理解。
Qwen2-Math的解決方案是這樣的，從中可以看出確實是運用到了圖論方法。
最終，Qwen2-Math正確地回答了這道題目。
△中文為機翻，僅供參考
不過，目前發(fā)布的Qwen2-Math主要針對英文場景，中英雙語版本將會在之后推出。
另外，根據(jù)Qwen2-Math的許可協(xié)議，該模型對大部分用戶來說可以免費商用，但對于72B版本，如果每月活躍用戶數(shù)超過1億，就需要向千問團隊申請許可了。
項目主頁：
https://qwenlm.github.io/zh/blog/qwen2-math/
參考鏈接：
https://x.com/JustinLin610/status/1821554112192012291
相關閱讀
