哪里不會(huì)掃哪里！全球最強(qiáng)數(shù)學(xué)大模型發(fā)布人人可玩Demo，阿里多模態(tài)模型加持，中文適用

衡宇 2024-08-20 14:29:34 來(lái)源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

現(xiàn)在，最強(qiáng)數(shù)學(xué)大模型，人人都可上手玩了！

一覺(jué)醒來(lái)，阿里千問(wèn)大模型團(tuán)隊(duì)發(fā)布了Qwen2-Math的Demo，抱抱臉在線可玩。

驚喜的是，如果嫌輸入數(shù)學(xué)公式比較麻煩，可以把想問(wèn)的題截圖or掃描，上傳即可解題。

整得挺方便。

試玩界面上明確寫(xiě)著，“這個(gè)試玩界面的OCR功能，由阿里千問(wèn)大模型團(tuán)隊(duì)Qwen2-VL提供支持；數(shù)學(xué)推理能力，由Qwen2-Math支持?！?/p>

阿里高級(jí)算法專家林俊旸也在推特評(píng)論區(qū)進(jìn)一步解釋：

目前，Qwen2-VL和Qwen2-Math還是各自負(fù)責(zé)一部分。
但不久的將來(lái)，我們會(huì)把多模態(tài)能力和數(shù)學(xué)推理能力結(jié)合到一個(gè)模型上喲。

不少網(wǎng)友對(duì)這種交互模式挺買(mǎi)賬：

歪瑞古德！用圖像來(lái)上傳，然后等大模型解決問(wèn)題，喜歡！

那么，最強(qiáng)數(shù)學(xué)大模型Qwen2-Math，上手效果怎么樣？

效果怎么樣？這就玩一把

是時(shí)候讓Qwen2-Math過(guò)五關(guān)斬六將了！

先來(lái)幾道比較簡(jiǎn)單的計(jì)算題開(kāi)開(kāi)胃。

提前說(shuō)明，兩位體驗(yàn)過(guò)程中，Qwen2-Math不是一邊算一邊顯示的，而是計(jì)算完畢后直接顯示過(guò)程和結(jié)果。

（而且應(yīng)該是越來(lái)越多人開(kāi)始玩了，結(jié)果生成時(shí)間逐漸拉長(zhǎng)）

第一題：“計(jì)算AxA+A=240”中，A的值。

Qwen2-Math給出了正確答案，A=14或A=-16。

第二題：給定a的值，計(jì)算等式的結(jié)果。

Qwen2-Math計(jì)算出，答案是0，也是對(duì)的。

第三題：（A+3）（A+4）（A+5）=120，求A的值。

Bingo！答案是1。

OK，熱身結(jié)束，給Qwen2-Math點(diǎn)難度看看。

那就來(lái)一道已經(jīng)是（數(shù)學(xué)）大模型測(cè)評(píng)的標(biāo)配：

9.9和9.11哪個(gè)更大？

Qwen2-Math自信回答：

9.9比9.11更大！

那就再上點(diǎn)難度！

扔給它一道截至目前，只有GPT-4o答對(duì)過(guò)的題：

一個(gè)外星人來(lái)到地球后等可能選擇以下四件事中的一件完成：
1、自我毀滅；
2、分裂成兩個(gè)外星人；
3、分裂成三個(gè)外星人；
4、什么都不做。
此后每天，每個(gè)外星人均會(huì)做一次選擇，且彼此之間相互獨(dú)立。
求地球上最終沒(méi)有外星人的概率。

這道題，Qwen2-Math花費(fèi)了約30秒左右的時(shí)間，給出答案：1。

很遺憾，答案是錯(cuò)誤的，正確答案是√2減1。

我們?cè)诟鞔笃脚_(tái)的評(píng)論區(qū)逛了一下，除了計(jì)算錯(cuò)誤以外，還有另一種可能導(dǎo)致答案不正確——

那就是Qwen2-VL在識(shí)別題目的時(shí)候，本身就出錯(cuò)了。

錯(cuò)在第一步，這樣的話大模型得出的肯定就不是正確答案。

同時(shí)，林俊旸還在網(wǎng)友的評(píng)論區(qū)表示：

咱們Qwen2-Math目前還不能做幾何題。

用中文提問(wèn)也可以

這次的主角Qwen2-Math，基于通義千問(wèn)開(kāi)源大語(yǔ)言模型Qwen2研發(fā)，由阿里千問(wèn)大模型團(tuán)隊(duì)在十天前發(fā)布。

它專用于數(shù)學(xué)解題，并且能夠解決競(jìng)賽級(jí)試題。

Qwen2-Math總共有三個(gè)參數(shù)量的版本：

72B，7B和1.5B。

在Qwen2-Math-72B的基礎(chǔ)之上，千問(wèn)團(tuán)隊(duì)還微調(diào)出了Instruct版本。

這也是Qwen2-Math的旗艦?zāi)Ｐ?，它是一個(gè)數(shù)學(xué)專用的獎(jiǎng)勵(lì)模型，將獎(jiǎng)勵(lì)信號(hào)與正誤判斷信號(hào)結(jié)合作為學(xué)習(xí)標(biāo)簽，再通過(guò)拒絕采樣構(gòu)建監(jiān)督微調(diào)（SFT）數(shù)據(jù)，最后在SFT模型基礎(chǔ)上使用GRPO方法優(yōu)化。

Qwen2-Math-72B-Instruct以84%的準(zhǔn)確率處理了代數(shù)、幾何、計(jì)數(shù)與概率、數(shù)論等多種數(shù)學(xué)問(wèn)題。

并且一經(jīng)發(fā)布就在數(shù)學(xué)大模型中“登基”，在MATH數(shù)據(jù)集上比GPT-4o多得了7分，按比例算高出了9.6%。

直接超越開(kāi)源Llama 3.1-405B以及閉源的GPT-4o、Claude 3.5等。

截至發(fā)稿，抱抱臉上Qwen2-Math-72B-Instruct的下載量超過(guò)了13.2k。

而且有個(gè)最新發(fā)現(xiàn)：

雖然團(tuán)隊(duì)聲稱Qwen2-Math目前還是主要針對(duì)英文場(chǎng)景，但如果拿中文題目去問(wèn)它，Qwen2-Math還是能進(jìn)行解答的。

只不過(guò)是用英文回答你罷了。

據(jù)了解，Qwen2-Math的中英雙語(yǔ)版本將會(huì)在之后推出。

參考鏈接：
[1]https://huggingface.co/spaces/Qwen/Qwen2-Math-Demo
[2]https://x.com/Alibaba_Qwen/status/1825559009497317406
[3]https://x.com/JustinLin610/status/1825559557411860649