大模型們參加2023高考了，成績單已出爐

十三 2023-06-28 13:53:23 來源：量子位

轉(zhuǎn)載自 智源研究院

量子位 | 公眾號(hào) QbitAI

2023 年高考成績陸續(xù)出爐，我們也來看看各大語言模型的“高考成績”如何？

FlagEval 大模型評(píng)測(cè)團(tuán)隊(duì)從 2023年高考考卷中整理了?147 道客觀題（其中語文 20道，英語 44道，歷史 31道，數(shù)學(xué) 9道，物理 8道，政治 21道，生物 14道）形成?Gaokao2023 V1.0 評(píng)測(cè)集。

排除特殊符號(hào)等因素之后，通過 5-shot 方式對(duì)參數(shù)量相近的開源大語言模型進(jìn)行評(píng)測(cè)，如悟道·天鷹 AquilaChat、Alpaca、Chinese-Alpaca、StableLM-tuned-alpha、MOSS、BELLE、ChatGLM等。

鑒于 2023 高考題 6 月初才發(fā)布，尚未進(jìn)入模型訓(xùn)練數(shù)據(jù)集，此次測(cè)試結(jié)果能較為直接地反映模型的知識(shí)運(yùn)用能力。

ChatGPT?毫無懸念得分最高，GPT-4 和 GPT-3.5-turbo 正確率分別為 60.4%、42.5%。

悟道·天鷹 AquilaChat-7B?在國內(nèi)外參數(shù)量相近的SFT開源模型中表現(xiàn)亮眼，以 37.2% 正確率的綜合成績位居首位，接近 GPT-3.5-turbo 水平。

而?ChatGLM2-6B、Chinese-Alpaca?緊隨其后，正確率分別為 25.5%、24.7%。

經(jīng)SFT微調(diào)的模型與基礎(chǔ)模型在能力側(cè)重點(diǎn)上具有明顯差異。

公平起見，僅對(duì)比經(jīng)SFT微調(diào)后的語言模型。

評(píng)測(cè)方式解釋：

本次評(píng)測(cè)采用 5-shot 的 In-context 形式 prompt 作為輸入，即在 Prompt 中給給出 5 個(gè)示例和答案作為 Context，最后附上一道評(píng)測(cè)題目，要求模型選擇輸出【A/B/C/D】中的正確選項(xiàng)，考察模型的 In-Context（上下文）學(xué)習(xí)能力和知識(shí)量。總成績（TOTAL）為每個(gè)模型的 7 個(gè)學(xué)科成績算數(shù)平均值。

從學(xué)科成績中，還有幾點(diǎn)有趣的發(fā)現(xiàn)：

• AquilaChat 學(xué)科知識(shí)非常均衡，沒有明顯的短板，并且生物、物理成績突出，正確率分別達(dá)到 50%、62.5%；
• 相比英語成績，所有模型的語文成績普遍不高，AquilaChat 與 Chinese-Alpaca 以 15% 正確率并列第一，ChatGPT 的正確率也僅有 10% 。說明大模型在學(xué)習(xí)中文知識(shí)時(shí)難度較大，這對(duì)后續(xù)中英雙語大模型訓(xùn)練提出了挑戰(zhàn)。

這次針對(duì)2023高考的能力評(píng)測(cè)，主要對(duì)國內(nèi)外7B量級(jí)開源大模型進(jìn)行對(duì)比。7B 量級(jí)作為當(dāng)前主流模型，因部署性價(jià)比高，廣受產(chǎn)業(yè)歡迎。

“巨無霸”ChatGPT作為標(biāo)志參照項(xiàng)，在“高考2023評(píng)測(cè)”等能力對(duì)比中依然“一覽眾山小”。

考慮到其在模型參數(shù)量、訓(xùn)練數(shù)據(jù)量方面的巨大差異，以 AquilaChat-7B 為代表的 7B 量級(jí)開源模型，依然實(shí)力不容小覷、未來可期！

目前尚未有公開信息

FlagEval 大語言模型評(píng)測(cè)榜單上新

Gaokao2023 V1.0（高考評(píng)測(cè)結(jié)果）已更新至 FlagEval 大語言模型評(píng)測(cè)榜單。我們將持續(xù)擴(kuò)充題庫能力，提升對(duì)模型評(píng)測(cè)結(jié)果的深入分析能力。

歡迎大模型研究團(tuán)隊(duì)評(píng)測(cè)申請(qǐng)：
flageval.baai.ac.cn

智源FlagEval大模型開放評(píng)測(cè)平臺(tái)，創(chuàng)新構(gòu)建了“能力-任務(wù)-指標(biāo)”三維評(píng)測(cè)框架，劃定了大語言模型的 30+ 能力維度，在任務(wù)維度集成了 20+ 個(gè)主客觀評(píng)測(cè)數(shù)據(jù)集，不僅涵蓋了知名的公開數(shù)據(jù)集 HellaSwag、MMLU、C-Eval 等，還增加了智源自建的主觀評(píng)測(cè)數(shù)據(jù)集 Chinese Linguistics & Cognition Challenge?(CLCC)?，北京大學(xué)與閩江學(xué)院共建的詞匯級(jí)別語義關(guān)系判斷、句子級(jí)別語義關(guān)系判斷、多義詞理解、修辭手法判斷評(píng)測(cè)數(shù)據(jù)集。更多維度的評(píng)測(cè)數(shù)據(jù)集也在陸續(xù)集成中。

在最新 SFT 模型評(píng)測(cè)榜單中，AquilaChat 在“主觀+客觀”評(píng)測(cè)中排名第一。

據(jù)悉，悟道 · 天鷹 Aquila-7B基座模型及AquilaChat 對(duì)話模型最新版本權(quán)重已經(jīng)更新至開源倉庫，相比 6 月 9 日初始版本性能在常識(shí)推理、代碼生成等維度，有了較高提升。目前可通過 FlagAI 開源項(xiàng)目或 FlagOpen 模型倉庫下載權(quán)重。

GitHub:
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila

模型倉庫：
https://model.baai.ac.cn/models