參數(shù)跑分真那么重要？大模型評(píng)價(jià)標(biāo)準(zhǔn)該變變了

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

預(yù)訓(xùn)練大模型，自誕生以來(lái)不斷刷新AI能力，成為業(yè)界競(jìng)爭(zhēng)的焦點(diǎn)。

參數(shù)規(guī)模突破千億直奔萬(wàn)億，開發(fā)難度和成本也隨之增大。

到了這個(gè)份上，大模型的開發(fā)與應(yīng)用似乎成了“巨頭專屬”，效果越來(lái)越驚艷，離普通人卻越來(lái)越遠(yuǎn)了。

不過(guò)，例外正在發(fā)生。

最近一場(chǎng)AI創(chuàng)意賽上，全國(guó)各地近2000人參與，大家腦洞大開，使用大模型能力開發(fā)出各類趣味應(yīng)用。

如B站UP主同濟(jì)同濟(jì)子豪兄的這款論文起名神器，輸入摘要就可自動(dòng)生成論文標(biāo)題。

開發(fā)出這些作品的人其實(shí)很多并非AI從業(yè)者，甚至沒有計(jì)算機(jī)專業(yè)背景，比如文科生，還有創(chuàng)業(yè)公司產(chǎn)品經(jīng)理等。

這些作品本身倒不是本文的重點(diǎn)，只是，使用大模型什么時(shí)候門檻這么低了？

這場(chǎng)由百度舉辦的比賽，提供的是文心知識(shí)增強(qiáng)大模型做技術(shù)支持，此外還有一個(gè)特別的標(biāo)簽——

業(yè)界首次大模型能力向公眾開放。

要知道，大模型能力像要向公眾開放，不能光是發(fā)發(fā)論文、開源一下代碼了事。

背后還要額外付出努力，提供一系列低門檻的開發(fā)平臺(tái)和工具、相應(yīng)的培訓(xùn)和教學(xué)，才能讓沒有AI基礎(chǔ)、甚至不會(huì)編程的人都能“玩轉(zhuǎn)大模型”。

為什么要做到這一步？

百度集團(tuán)副總裁吳甜這樣回答：

這個(gè)世界上有技術(shù)背景的人還是少數(shù)，AI想要落地不能僅靠技術(shù)人員，創(chuàng)意在民間。

只有技術(shù)門檻低到了所有人都可以的時(shí)候，創(chuàng)意才會(huì)真正大規(guī)模爆發(fā)起來(lái)，這是人工智能落地路上必然的趨勢(shì)。

大模型落地難在哪？

想要理解這個(gè)趨勢(shì)，得先跳出比賽本身，看看AI落地、特別是大模型落地到底遇到了什么困難。

最近，微軟認(rèn)知服務(wù)團(tuán)隊(duì)發(fā)表的一篇大模型遭遇“不可能三角”論文，引發(fā)業(yè)內(nèi)關(guān)注。

論文提出，目前的預(yù)訓(xùn)練語(yǔ)言模型對(duì)于模型規(guī)模、精調(diào)能力、小樣本能力三者不可兼得。

目前業(yè)內(nèi)的普遍做法，是試圖得其二的同時(shí)努力往第三點(diǎn)靠。

放棄控制規(guī)模開發(fā)超大模型，可以再用知識(shí)蒸餾等手段做小型化。

不追求少樣本能力，可以在缺少數(shù)據(jù)的任務(wù)上做數(shù)據(jù)增強(qiáng)。

不追求精調(diào)能力，改用提示學(xué)習(xí)?(Prompt learning)做少樣本任務(wù)的方法最近也火了起來(lái)。

不過(guò)妥協(xié)的辦法總歸是有這樣那樣的問題，從效果或成本上阻礙大模型進(jìn)一步應(yīng)用落地。

如何突破這個(gè)“不可能三角”，各家都有著自己的答案。

微軟論文中給出一種可能路徑，先從個(gè)別任務(wù)上打開突破口，如命名實(shí)體識(shí)別或文本摘要，實(shí)現(xiàn)單一任務(wù)占據(jù)全部三項(xiàng)優(yōu)勢(shì)后再圖橫向拓展。

谷歌近日推出的下一代AI架構(gòu)Pathway，則是從提升訓(xùn)練效率角度嘗試解決。也就是不怕模型大，轉(zhuǎn)而追求把煉大模型的難度降低。

百度的技術(shù)路線則是知識(shí)增強(qiáng)，讓AI在大規(guī)模知識(shí)的指導(dǎo)下以更高效率學(xué)習(xí)到海量數(shù)據(jù)中蘊(yùn)含的規(guī)律。

百度靠引入大規(guī)模知識(shí)圖譜，只用百億級(jí)參數(shù)規(guī)模就在語(yǔ)言模型權(quán)威測(cè)評(píng)SuperGlue上登頂全球榜首，超越人類水平0.8個(gè)百分點(diǎn)。

后來(lái)發(fā)布的全球首個(gè)千億級(jí)知識(shí)增強(qiáng)大模型鵬城-百度·文心，更是在機(jī)器閱讀理解、文本分類、語(yǔ)義相似度計(jì)算等60多項(xiàng)任務(wù)中都取得了最好效果，在30多項(xiàng)小樣本和零樣本任務(wù)上，也刷新了基準(zhǔn)。

……

關(guān)于模型本身的事先說(shuō)到這里，現(xiàn)階段要想真正解決大模型落地問題，百度還提出一個(gè)觀點(diǎn)：

光靠技術(shù)手段是遠(yuǎn)遠(yuǎn)不夠的。

跳出技術(shù)之外

文心大模型家族自2019起開始打造，百度對(duì)其定位是產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型。

知識(shí)增強(qiáng)前面已經(jīng)介紹，那么該如何理解“產(chǎn)業(yè)級(jí)”這個(gè)定位？

吳甜解釋其含義為“來(lái)源于產(chǎn)業(yè)實(shí)踐，同時(shí)服務(wù)于產(chǎn)業(yè)實(shí)踐，在實(shí)踐當(dāng)中建設(shè)起來(lái)”。

一方面，百度研發(fā)大模型的初衷就來(lái)自產(chǎn)業(yè)的落地實(shí)踐。

AI落地場(chǎng)景越多，模型面臨泛化性差的問題就越突出。每面臨一個(gè)新的場(chǎng)景就需要收集新的數(shù)據(jù)，進(jìn)行新的模型訓(xùn)練。

預(yù)訓(xùn)練模型的出現(xiàn)，通過(guò)集中提供通用算法、打造技術(shù)底座，大幅降低了人工智能的應(yīng)用門檻，從開發(fā)階段就應(yīng)該是面向產(chǎn)業(yè)的。

開發(fā)設(shè)計(jì)階段用到的數(shù)據(jù)要來(lái)源于產(chǎn)業(yè)。百度走的知識(shí)增強(qiáng)路線，意味著深入到金融、醫(yī)療等特定行業(yè)時(shí)，除了收集該行業(yè)的非結(jié)構(gòu)化數(shù)據(jù)，還要積累專業(yè)知識(shí)。

做不同的任務(wù)設(shè)計(jì)，模型最后學(xué)到的是不一樣的。百度會(huì)結(jié)合大量的產(chǎn)業(yè)應(yīng)用，借助任務(wù)構(gòu)建器不斷地提煉任務(wù)、挖掘任務(wù)，讓模型持續(xù)進(jìn)行學(xué)習(xí)。

另一方面，文心又依托于百度功能完備的產(chǎn)業(yè)化大生產(chǎn)平臺(tái)輸出到百行千業(yè)，為行業(yè)使用大模型帶來(lái)更大的便捷。

文心大模型開放了配套大模型開發(fā)、輕量化和部署的工具，推進(jìn)產(chǎn)業(yè)落地應(yīng)用，激發(fā)創(chuàng)意。

依托百度飛槳平臺(tái)自主研發(fā)的端到端自適應(yīng)分布式訓(xùn)練框架與4D混合并行技術(shù)，以及百舸AI異構(gòu)計(jì)算平臺(tái)，解決了大模型訓(xùn)練過(guò)程中多個(gè)世界性難題，使大模型訓(xùn)練速度提升、模型效果更優(yōu)。

在落地應(yīng)用上，文心若僅提供API調(diào)用只能滿足離技術(shù)較近行業(yè)的少量需求。

因此，百度還會(huì)提供配套的數(shù)據(jù)標(biāo)注、模型輕量化、邊緣部署等一系列工具和平臺(tái)。

如此開發(fā)出的產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型，核心價(jià)值在于驅(qū)動(dòng)AI的規(guī)?；瘧?yīng)用。

人工智能在與眾多這些產(chǎn)業(yè)結(jié)合時(shí)，場(chǎng)景非常分散、長(zhǎng)尾。

針對(duì)高頻次、容易流程化和標(biāo)準(zhǔn)化的場(chǎng)景，可以直接提供開發(fā)好的AI能力，如保險(xiǎn)行業(yè)的合同處理，可以靠智能文檔分析能力完成。

但還有很多如制造業(yè)、教育等行業(yè)中更碎片化的場(chǎng)景，數(shù)字化基礎(chǔ)薄弱，行業(yè)知識(shí)更依靠人類專家經(jīng)驗(yàn)、師徒間口口相傳。

這就回到了文章開頭的問題，為什么要把AI大模型能力做到向公眾開放？

數(shù)量眾多的場(chǎng)景，要是靠AI工程師去一個(gè)一個(gè)去深入調(diào)研、做適配，無(wú)法解決所有的問題。

只有讓有需求的人都能認(rèn)識(shí)、接觸、親手用上大模型，才能激發(fā)創(chuàng)意，取得應(yīng)用落地上的更大突破。

為此，百度飛槳提供了零門檻AI開發(fā)平臺(tái)EasyDL，擁有從數(shù)據(jù)采集、標(biāo)注、清洗到模型訓(xùn)練、部署的一站式AI開發(fā)能力，無(wú)需編程和算法基礎(chǔ)就能使用。

對(duì)更復(fù)雜的需求，也有BML全功能AI開發(fā)平臺(tái)，提供開發(fā)環(huán)境、功能組件和高性價(jià)比的算力資源。

通過(guò)不斷降低門檻，構(gòu)建大模型生態(tài)，文心大模型對(duì)外調(diào)用量超5000萬(wàn)次，服務(wù)了6萬(wàn)+開發(fā)者、企業(yè)、科研機(jī)構(gòu)。

為了讓更多人看到大模型、了解大模型、用上大模型，百度舉辦了面向公眾的AI創(chuàng)意賽。

此外還有面向產(chǎn)業(yè)的首席AI架構(gòu)師培養(yǎng)計(jì)劃，已向業(yè)界輸送247位AI架構(gòu)師，遍布工業(yè)、農(nóng)業(yè)、金融、交通、能源等數(shù)十個(gè)行業(yè)。

人工智能高校師資培訓(xùn)，免費(fèi)培訓(xùn)AI專業(yè)教師3000余人，助力700多個(gè)高校開設(shè)深度學(xué)習(xí)課程，培養(yǎng)了數(shù)萬(wàn)名在校生。

去年底，還宣布成立百度松果學(xué)堂，打造源于產(chǎn)業(yè)的AI人才培養(yǎng)平臺(tái)，致力于讓每個(gè)人都能更便捷地獲取AI知識(shí)，學(xué)習(xí)AI技術(shù)。

所有積累的行業(yè)知識(shí)、產(chǎn)業(yè)應(yīng)用、人才都將匯聚在文心大模型生態(tài)，以及背后更大的百度飛槳深度學(xué)習(xí)生態(tài)中進(jìn)一步推動(dòng)AI落地，形成正向循環(huán)。

到底什么才是一個(gè)好的大模型？

當(dāng)今，各大研究機(jī)構(gòu)、科技公司都爭(zhēng)相打造自己的大模型。

參數(shù)規(guī)模上千億、訓(xùn)練數(shù)據(jù)也上千GB。單體稠密模型之外，也有稀疏模型路線，參數(shù)更是突破萬(wàn)億。

各大基準(zhǔn)測(cè)試榜單也不斷被刷新，超越人類平均水平已是過(guò)去式，追上人類最佳水平成了新的目標(biāo)。

層出不窮的進(jìn)展讓人眼花繚亂，到底該如何評(píng)價(jià)一個(gè)大模型的優(yōu)劣？

若是單純比參數(shù)大小，缺失了成本和效率的維度。若只看跑分高低，也看不出真正落地時(shí)的效果。

如此看下來(lái)，一個(gè)大模型好壞的新標(biāo)準(zhǔn)也呼之欲出:

能否在性能領(lǐng)先的同時(shí)支撐大量產(chǎn)業(yè)應(yīng)用。

從這個(gè)角度看，開發(fā)者數(shù)量超過(guò)6萬(wàn)、在數(shù)百個(gè)場(chǎng)景中落地應(yīng)用的文心大模型，真正可稱作“產(chǎn)業(yè)級(jí)”大模型。

而且百度打造大模型，從技術(shù)和難度上來(lái)說(shuō)，并無(wú)意外之處。

但最值得關(guān)注的還是入場(chǎng)的初心和立場(chǎng)。

據(jù)稱文心大模型問世，核心是來(lái)自于產(chǎn)業(yè)實(shí)際的需求，并非閉門造車的結(jié)果。

一方面，產(chǎn)業(yè)有需求，于是百度有了響應(yīng)，并且很快實(shí)現(xiàn)了技術(shù)工程化，再通過(guò)飛槳快速實(shí)現(xiàn)了產(chǎn)業(yè)應(yīng)用。

另一方面，產(chǎn)業(yè)的反饋?zhàn)C明了大模型的價(jià)值。在文心落地中，不僅各類大小企業(yè)實(shí)現(xiàn)了產(chǎn)業(yè)化升級(jí)，而且側(cè)面證明了大模型在商業(yè)化落地上的可能性和可行性之路。

在AI模型中，輸入、輸出以及反饋是缺一不可的關(guān)鍵要素，而文心大模型的實(shí)踐，同樣完成了這樣的閉環(huán)。

但這種路徑在大模型上是否可復(fù)制？

答案或許還不能言之鑿鑿。

首先要考慮的是技術(shù)能力，其次還得有產(chǎn)業(yè)生態(tài)，最后還能真正從開發(fā)者的反饋中獲得認(rèn)可。

文心之路，多少有點(diǎn)百度飛槳的“凡爾賽”意味，其所具備的要素，并非其他玩家兼具。

但至少，一條大模型的商業(yè)化落地路徑，現(xiàn)在已經(jīng)清晰可見。

文心模式，就是這條路線。

參考資料：
[1] https://arxiv.org/abs/2204.06130