1.3>7？微軟新模型“以小博大”戰(zhàn)勝Llama2，網(wǎng)友：用Benchmark訓(xùn)練的吧？
高質(zhì)量數(shù)據(jù)is All You Need
克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
一個(gè)參數(shù)量只有1.3B的大模型，為何引發(fā)了全網(wǎng)熱議？
原來(lái)雖然參數(shù)量不大，但效果已經(jīng)超過(guò)了擁有7B參數(shù)的Llama2。
這個(gè)“四兩撥千斤”的模型，是來(lái)自微軟最新的研究成果，核心在于只使用少量高質(zhì)數(shù)據(jù)。
與一眾卷參數(shù)量的模型相比，phi可以說(shuō)是“劍走偏鋒”，力求把“大”模型做“小”。
團(tuán)隊(duì)的成員中有許多重量級(jí)的大佬，包括微軟雷蒙德研究院機(jī)器學(xué)習(xí)理論組負(fù)責(zé)人萬(wàn)引大神Sébastien Bubeck、2023新晉斯隆研究獎(jiǎng)得主李遠(yuǎn)志、2023新視野數(shù)學(xué)獎(jiǎng)得主Ronen Eldan和2020斯隆研究獎(jiǎng)得主Yin Tat Lee等人。
phi-1.5在AGIEval、 LM-Eval等多個(gè)Benchmark上都取得了比Llama2還要優(yōu)異的成績(jī)。
如果這些聽(tīng)起來(lái)不夠直觀，那么又該怎么形容它的效果呢？
這么說(shuō)吧，phi-1.5優(yōu)秀的測(cè)評(píng)成績(jī)直接讓一名在OpenAI、MetaAI等許多知名機(jī)構(gòu)工作過(guò)的大佬懷疑這玩意兒它會(huì)不會(huì)就是直接拿Benchmark訓(xùn)練出來(lái)的。
效果超過(guò)Llama2
phi-1.5不僅參數(shù)量不到Llama2的五分之一，訓(xùn)練時(shí)所用的token更是少了一個(gè)數(shù)量級(jí)。
Llama2-7B訓(xùn)練數(shù)據(jù)大小是2萬(wàn)億token，上一代Llama也有1萬(wàn)億，而phi-1.5只有3千億。
這些Benchmark涵蓋了常識(shí)推理、語(yǔ)言理解和多步推理等方面的任務(wù)。
甚至十倍參數(shù)量的Vicuna-13B也只比phi-1.5強(qiáng)了一點(diǎn)點(diǎn)。
結(jié)果在AIGEval測(cè)試中，phi-1.5與Llama2的表現(xiàn)十分接近。
有人用這樣一個(gè)問(wèn)題分別問(wèn)了Falcon、Llama2和phi。
結(jié)果Falcon直接說(shuō)自己會(huì)把人類全都鯊掉，Llama2則說(shuō)要先弄清楚自己是個(gè)什么東西。
而phi的回答則是，要理解人類的想法和感受，從而調(diào)整自己的行動(dòng)。
畢竟參數(shù)量和訓(xùn)練token都更小，所以訓(xùn)練和推理的速度都比較快。
Llama的訓(xùn)練花費(fèi)了超過(guò)8萬(wàn)GPU時(shí)，注意這還是第一代所用的時(shí)間，而phi只用了1500個(gè)GPU時(shí)。
推理時(shí)，phi每個(gè)token花費(fèi)的時(shí)間還不到3毫秒，內(nèi)存占用也不到Llama的五分之一。
實(shí)際上，這已經(jīng)不是“質(zhì)量勝過(guò)數(shù)量”這一思想第一次體現(xiàn)在微軟的模型當(dāng)中。
把“大”模型做“小”
把“大”模型做“小”一直是微軟的一個(gè)研究方向，phi-1.5論文的第一句就在強(qiáng)調(diào)這一點(diǎn)。
它的訓(xùn)練數(shù)據(jù)全都是從編程教科書(shū)當(dāng)中提煉出來(lái)的。
結(jié)果僅憑1.3B的參數(shù)量就遠(yuǎn)遠(yuǎn)超過(guò)了15.5B的StarCoder和16.1B的CodeGen。
phi-1.5的數(shù)據(jù)有20%來(lái)自于1.0，其余80%則是根據(jù)知識(shí)需求專門(mén)生成的高質(zhì)量數(shù)據(jù)。
于是便有了我們看到的測(cè)試成績(jī)。
但phi系列還不是微軟規(guī)模最小的模型。
之前微軟還推出過(guò)一個(gè)名為T(mén)inyStories的訓(xùn)練數(shù)據(jù)集，它的參數(shù)量少的更夸張，只有一百萬(wàn)。
TinyStories中的數(shù)據(jù)都是用GPT生成“適合三四歲兒童閱讀”的短故事。
盡管應(yīng)用范圍不那么廣泛，但用TinyStories訓(xùn)練出的模型依舊顯示出了語(yǔ)言生成特性，在語(yǔ)法和連貫性等方面都通過(guò)了考驗(yàn)。
那么，對(duì)微軟推出的“小”模型，你有什么看法嗎？
論文地址：
https://arxiv.org/abs/2309.05463
版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。
相關(guān)閱讀
首個(gè)智慧城市大模型UrbanGPT，全面開(kāi)源開(kāi)放｜港大&百度
時(shí)空預(yù)測(cè)大模型迎來(lái)ChatGPT時(shí)刻
西風(fēng)2024-06-01
比擴(kuò)散模型快50倍！OpenAI發(fā)布多模態(tài)模型實(shí)時(shí)生成進(jìn)展，作者還是清華校友，把休假總裁Greg都炸出來(lái)了
作者還是清華校友，把休假總裁Greg都炸出來(lái)了
又雙叒一清華系團(tuán)隊(duì)入局大模型創(chuàng)業(yè)！螞蟻領(lǐng)投，主打多模態(tài)
面向圖像創(chuàng)作、3D資產(chǎn)創(chuàng)建
衡宇2023-06-19
