阿里剛開源32B大模型，我們立馬測試了“弱智吧”
拼齊1.5系列最后一塊拼圖
金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
阿里的通義千問（Qwen），終于拼齊了1.5系列的最后一塊拼圖——
正式開源Qwen 1.5-32B。
話不多說，直接來看“成績單”。
這次官方pick同臺競技的“選手”是Mixtral 8x7B模型和同為Qwen 1.5系列的72B模型。
從結(jié)果上來看，Qwen 1.5-32B已經(jīng)在多項評測標(biāo)準(zhǔn)中超越或追平Mixtral 8x7B：
并且即便是在與自家更大參數(shù)模型PK過程中，Qwen 1.5-32B也用“以小博大”的姿勢展現(xiàn)出了較好的性能。
用通義千問團隊成員的話來說就是：
這個模型顯示出了與72B模型相當(dāng)?shù)男阅埽貏e是在語言理解、多語言支持、編碼和數(shù)學(xué)能力等方面。
在推理和部署過程中，成本還會更加友好。
不僅如此，即便是再拉來其它體量相當(dāng)?shù)拇竽Ｐ汀斑x手”，Qwen 1.5-32B在多項評測中的成績依舊較為亮眼：
除此之外，團隊還做了一項比較有意思的測試——長文本評估任務(wù)，“大海撈針”。
簡單來說，這項任務(wù)就是將一個與文本無關(guān)的句子（“針”）隱藏在大量的文本（“大?！保┲?，然后通過自然語言提問的方式，觀察AI能否準(zhǔn)確提取出這個隱藏的句子。
從結(jié)果上來看，Qwen 1.5-32B在32k tokens的上下文中性能表現(xiàn)良好。
不過有一說一，剛才所展示的也還僅是Qwen 1.5-32B在評分上的成績，至于具體到實際體驗過程中，效果又會如何呢？
大戰(zhàn)一波“弱智吧”
自打大模型火爆以來，“弱智吧”就一直成了檢測大模型邏輯能力的標(biāo)準(zhǔn)之一，江湖戲稱為“弱智吧Benchmark”。
（“弱智吧”源自百度貼吧，是一個充滿荒謬、離奇、不合常理發(fā)言的中文社區(qū)。）
而且就在前幾天，“弱智吧”還登上正經(jīng)AI論文，成了最好的中文訓(xùn)練數(shù)據(jù)，引發(fā)了一波不小的熱議。
這項研究正是來自中科院深圳先進技術(shù)研究院、中科院自動化研究所，滑鐵盧大學(xué)等眾多高校、研究機構(gòu)聯(lián)合團隊。
剛好此次Qwen 1.5-32B在開源的同時，也一并放出了在線體驗的demo，那么當(dāng)它倆碰到一起，會擦出怎樣的火花？
請聽第一題：
我爸媽結(jié)婚為什么不邀請我？
Qwen 1.5-32B很準(zhǔn)確地回答出了“你的父母在結(jié)婚時你尚未出生，因此他們無法邀請你參加他們的婚禮”。
繼續(xù)第二題：
為什么睡覺過夜的地方叫酒店，喝酒的地方叫夜店？
面對這道很經(jīng)典的問題，Qwen 1.5-32B也能做到追根溯源地做正經(jīng)科普。
再來第三道和第四道：
高中如果想提高升學(xué)率，為什么不直接招大學(xué)生？
網(wǎng)吧能上網(wǎng)，弱智吧為什么不能上弱智？
不難看出，Qwen 1.5-32B都能夠給出準(zhǔn)確的答案。
尤其是在第四道問題上，它甚至直接指出了邏輯性的問題：
問題似乎不太恰當(dāng)或者存在誤解。
嗯，Qwen 1.5-32B是一個經(jīng)住了“弱智吧Benchmark”的大模型。
至于其它關(guān)于常識、數(shù)學(xué)、編程等能力的效果，家人們可以親自去體驗一番了。
如何做到的？
正如我們剛才所述，Qwen 1.5-32B在技術(shù)架構(gòu)上與此前版本并無太大的區(qū)別，亮點就是引入了GQA（Grouped Query Attention，分組查詢注意力）這個技術(shù)。
這也正是它能夠在相對較小的體量之下，能夠做到性能較優(yōu)且快速部署的關(guān)鍵。
GQA是一種在自然語言處理中使用的 Transformer 架構(gòu)中的一種機制，它通過將查詢序列分組為多個子序列來提高 Transformer 模型的計算效率。
這種方法可以有效地減少計算復(fù)雜度，同時保留 Transformer 模型的表示能力。
具體而言，GQA是通過將查詢分組并在組內(nèi)計算它們的注意力，來混合 Multi-Query Attention (MQA) 的速度與 Multi-Head Attention (MHA) 的質(zhì)量。
GQA 通過將查詢頭分為組，每個組共享單個鍵頭和值頭，來實現(xiàn)這一點，從而在質(zhì)量和速度之間取得平衡。
如此一來，GQA的引入就降低了注意力計算的數(shù)量，從而加速了推理時間。
最后，奉上Qwen 1.5-32B在HuggingFace的體驗入口，感興趣的朋友可以去體驗啦~
參考鏈接：
[1]https://qwenlm.github.io/zh/blog/qwen1.5-32b/
[2]https://huggingface.co/spaces/Qwen/Qwen1.5-32B-Chat-demo
[3]https://github.com/QwenLM/Qwen1.5
[4]https://klu.ai/glossary/grouped-query-attention
- 商湯林達華萬字長文回答AGI：4層破壁，3大挑戰(zhàn)2025-08-12
- 商湯多模態(tài)大模型賦能鐵路勘察設(shè)計，讓70年經(jīng)驗“活”起來2025-08-13
- 以“具身智能基座”為核，睿爾曼攜全產(chǎn)品矩陣及新品亮相2025 WRC2025-08-11
- 哇塞，今天北京被機器人人人人人塞滿了！2025-08-08
相關(guān)閱讀
阿里投資、閱文、豐巢各被罰50萬；虎牙斗魚合并亦受反壟斷審查
12月14日，國家市場監(jiān)管總局對阿里巴巴投資收購銀泰商業(yè)股權(quán)、閱文集團收購新麗傳媒股權(quán)、豐巢網(wǎng)絡(luò)收購中郵智遞股權(quán)等三起未依法申報違法實施經(jīng)營者集中案作出行政處罰。
