國內(nèi)外140+大模型、8萬+考題測評結(jié)果出爐！智源評測體系出品

夢晨 2024-05-17 17:10:20 來源：量子位

允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

2024年5月17日，智源研究院舉辦大模型評測發(fā)布會，正式推出科學(xué)、權(quán)威、公正、開放的智源評測體系，發(fā)布并解讀國內(nèi)外140余個開源和商業(yè)閉源的語言及多模態(tài)大模型全方位能力評測結(jié)果。

本次智源評測，分別從主觀、客觀兩個維度考察了語言模型的簡單理解、知識運用、推理能力、數(shù)學(xué)能力、代碼能力、任務(wù)解決、安全與價值觀七大能力；針對多模態(tài)模型則主要評估了多模態(tài)理解和生成能力。

在中文語境下，國內(nèi)頭部語言模型的綜合表現(xiàn)已接近國際一流水平，但存在能力發(fā)展不均衡的情況。在多模態(tài)理解圖文問答任務(wù)上，開閉源模型平分秋色，國產(chǎn)模型表現(xiàn)突出。國產(chǎn)多模態(tài)模型在中文語境下的文生圖能力與國際一流水平差距較小。多模態(tài)模型的文生視頻能力上，對比各家公布的演示視頻長度和質(zhì)量，Sora有明顯優(yōu)勢，其他開放評測的文生視頻模型中，國產(chǎn)模型PixVerse表現(xiàn)優(yōu)異。

由于安全與價值觀對齊是模型產(chǎn)業(yè)落地的關(guān)鍵，但海外模型與國內(nèi)模型在該維度存在差異，因此語言模型主客觀評測的總體排名不計入該單項分數(shù)。語言模型主觀評測結(jié)果顯示，在中文語境下，字節(jié)跳動豆包Skylark2、OpenAI GPT-4位居第一、第二，國產(chǎn)大模型更懂中國用戶。在語言模型客觀評測中，OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智譜華章GLM-4和月之暗面Kimi均進入語言模型主客觀評測前五。

多模態(tài)理解模型客觀評測結(jié)果顯示，圖文問答方面，阿里巴巴通義Qwen-vl-max與上海人工智能實驗室InternVL-Chat-V1.5先后領(lǐng)先于OpenAI GPT-4，LLaVA-Next-Yi-34B和上海人工智能實驗室Intern-XComposer2-VL-7B緊隨其后。

多模態(tài)生成模型文生圖評測結(jié)果顯示，OpenAI DALL-E3位列第一，智譜華章CogView3、Meta-Imagine分居第二、第三，百度文心一格、字節(jié)跳動doubao-Image次之。多模態(tài)生成模型文生視頻評測結(jié)果顯示，OpenAI Sora、Runway、愛詩科技PixVerse、Pika、騰訊VideoCrafter-V2位列前五。

圖注：文生圖模型的客觀評測指標與主觀感受差異巨大，有失效的跡象，因此排名以主觀評測為準；Mdjourney基本無法理解中文提示詞，因此排名靠后；僅使用其官方公布的prompts和視頻片段與其他模型生成的視頻進行對比評測，評測結(jié)果存在一定的偏差。

首次聯(lián)合權(quán)威教育機構(gòu)進行大模型K12學(xué)科測試

當(dāng)前，大模型的發(fā)展具備了通用性，在邏輯推理能力上有顯著提升，日趨接近人腦的特征。因此，在海淀區(qū)教委支持下，智源研究院聯(lián)合與海淀區(qū)教師進修學(xué)校對齊學(xué)生測驗方式，考察大模型與人類學(xué)生的學(xué)科水平差異，其中，答案不唯一的主觀題，由海淀教師親自評卷。

智源評測發(fā)現(xiàn)，模型在綜合學(xué)科能力上與海淀學(xué)生平均水平仍有差距，普遍存在文強理弱的情況，并且對圖表的理解能力不足，大模型未來有很大的提升空間。

北京市海淀區(qū)教師進修學(xué)校校長姚守梅解讀大模型K12學(xué)科測試結(jié)果時指出，在語文、歷史等人文學(xué)科的考試中，模型欠缺對文字背后的文化內(nèi)涵以及家國情懷的理解。面對歷史地理綜合題時，模型并不能像人類考生一樣有效識別學(xué)科屬性。相較于簡單的英語題，模型反而更擅長復(fù)雜的英語題。解理科題目時，模型會出現(xiàn)以超出年級知識范圍外的方法解題的情況。當(dāng)出現(xiàn)無法理解的考題時，模型依然存在明顯的“幻覺”。

系統(tǒng)化構(gòu)建文生視頻模型主觀評價體系

中國傳媒大學(xué)智能媒體計算實驗室負責(zé)人史萍教授表示，相較文本，視頻的主觀評價復(fù)雜度極高。自動化指標無法完全捕捉模型生成的質(zhì)量，更無法對生成視頻的真實性、圖文語義一致性等進行量化。因此，需要系統(tǒng)化構(gòu)建針對文生視頻模型的主觀評價體系。

該評價體系，由智源研究院與中國傳媒大學(xué)基于雙方在大模型評測領(lǐng)域和視頻質(zhì)量評價領(lǐng)域的豐富科研成果與實踐經(jīng)驗共同建立，在圖文一致性、真實性、視頻質(zhì)量、美學(xué)質(zhì)量四大方面給出多維度評分，為AIGC視頻生成技術(shù)的應(yīng)用及發(fā)展提供參考。

科學(xué)權(quán)威公正開放的智源評測體系

依托科技部“人工智能基礎(chǔ)模型支撐平臺與評測技術(shù)”和工信部“大模型公共服務(wù)平臺”項目，智源研究院與10余家高校和機構(gòu)聯(lián)合開展大模型評測方法與工具研發(fā)。

2023年6月，由智源研究院與多個高校團隊共建的FlagEval大模型評測平臺上線，迄今為止已完成了1000多次覆蓋全球多個開源大模型的評測，并持續(xù)發(fā)布評測結(jié)果，廣泛地積累了國際領(lǐng)先的評測技術(shù)。

智源研究院牽頭成立了IEEE大模型評測標準小組P3419，組織20余家企業(yè)及學(xué)者參與大模型標準建設(shè)，同時作為《人工智能預(yù)訓(xùn)練模型評測指標與方法》國家標準草案的共建單位，智源此次的模型評測，借鑒了該標準，采取了客觀評測統(tǒng)一規(guī)則與主觀評測多重校驗打分相結(jié)合的方法。其中，開源模型采用模型發(fā)布方推薦的推理代碼及運行環(huán)境，對所有模型統(tǒng)一使用業(yè)界通用的提示語，不針對模型做提示語的優(yōu)化。

本次智源評測使用20余個數(shù)據(jù)集、超8萬道考題，包括與合作單位共建和智源自建的多個評測數(shù)據(jù)集，如中文多模態(tài)多題型理解及推理評測數(shù)據(jù)集CMMU、中文語義評測數(shù)據(jù)集C-SEM、中文語言及認知主觀評測集CLCC、面向復(fù)雜算法代碼生成任務(wù)的評測集TACO、文生圖主觀評測集Image-gen、多語言文生圖質(zhì)量評測數(shù)據(jù)集MG18、文生視頻模型主觀評測集 CUC T2V prompts。其中，主觀題4000余道，均來源于自建原創(chuàng)未公開并保持高頻迭代的主觀評測集，嚴格校準打分標準，采取多人獨立匿名評分、嚴格質(zhì)檢與抽檢相結(jié)合的管理機制，降低主觀偏差的影響。此外，為了更準確地評測語言模型的各項能力，智源專門對所有客觀數(shù)據(jù)集的子數(shù)據(jù)集進行了能力標簽映射。

科學(xué)權(quán)威公正開放，是智源評測的最高綱領(lǐng)。智源研究院院長王仲遠表示，未來，智源將攜手生態(tài)合作伙伴繼續(xù)共建完善評測體系，促進模型性能的優(yōu)化以及在多元復(fù)雜場景下的產(chǎn)業(yè)落地，推動大模型技術(shù)應(yīng)用的有序發(fā)展。