1.3>7？微軟新模型“以小博大”戰(zhàn)勝Llama2，網(wǎng)友：用Benchmark訓練的吧？
高質量數(shù)據(jù)is All You Need
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
一個參數(shù)量只有1.3B的大模型，為何引發(fā)了全網(wǎng)熱議？
原來雖然參數(shù)量不大，但效果已經(jīng)超過了擁有7B參數(shù)的Llama2。
這個“四兩撥千斤”的模型，是來自微軟最新的研究成果，核心在于只使用少量高質數(shù)據(jù)。
與一眾卷參數(shù)量的模型相比，phi可以說是“劍走偏鋒”，力求把“大”模型做“小”。
團隊的成員中有許多重量級的大佬，包括微軟雷蒙德研究院機器學習理論組負責人萬引大神Sébastien Bubeck、2023新晉斯隆研究獎得主李遠志、2023新視野數(shù)學獎得主Ronen Eldan和2020斯隆研究獎得主Yin Tat Lee等人。
phi-1.5在AGIEval、 LM-Eval等多個Benchmark上都取得了比Llama2還要優(yōu)異的成績。
如果這些聽起來不夠直觀，那么又該怎么形容它的效果呢？
這么說吧，phi-1.5優(yōu)秀的測評成績直接讓一名在OpenAI、MetaAI等許多知名機構工作過的大佬懷疑這玩意兒它會不會就是直接拿Benchmark訓練出來的。
效果超過Llama2
phi-1.5不僅參數(shù)量不到Llama2的五分之一，訓練時所用的token更是少了一個數(shù)量級。
Llama2-7B訓練數(shù)據(jù)大小是2萬億token，上一代Llama也有1萬億，而phi-1.5只有3千億。
這些Benchmark涵蓋了常識推理、語言理解和多步推理等方面的任務。
甚至十倍參數(shù)量的Vicuna-13B也只比phi-1.5強了一點點。
結果在AIGEval測試中，phi-1.5與Llama2的表現(xiàn)十分接近。
有人用這樣一個問題分別問了Falcon、Llama2和phi。
結果Falcon直接說自己會把人類全都鯊掉，Llama2則說要先弄清楚自己是個什么東西。
而phi的回答則是，要理解人類的想法和感受，從而調整自己的行動。
畢竟參數(shù)量和訓練token都更小，所以訓練和推理的速度都比較快。
Llama的訓練花費了超過8萬GPU時，注意這還是第一代所用的時間，而phi只用了1500個GPU時。
推理時，phi每個token花費的時間還不到3毫秒，內存占用也不到Llama的五分之一。
實際上，這已經(jīng)不是“質量勝過數(shù)量”這一思想第一次體現(xiàn)在微軟的模型當中。
把“大”模型做“小”
把“大”模型做“小”一直是微軟的一個研究方向，phi-1.5論文的第一句就在強調這一點。
它的訓練數(shù)據(jù)全都是從編程教科書當中提煉出來的。
結果僅憑1.3B的參數(shù)量就遠遠超過了15.5B的StarCoder和16.1B的CodeGen。
phi-1.5的數(shù)據(jù)有20%來自于1.0，其余80%則是根據(jù)知識需求專門生成的高質量數(shù)據(jù)。
于是便有了我們看到的測試成績。
但phi系列還不是微軟規(guī)模最小的模型。
之前微軟還推出過一個名為TinyStories的訓練數(shù)據(jù)集，它的參數(shù)量少的更夸張，只有一百萬。
TinyStories中的數(shù)據(jù)都是用GPT生成“適合三四歲兒童閱讀”的短故事。
盡管應用范圍不那么廣泛，但用TinyStories訓練出的模型依舊顯示出了語言生成特性，在語法和連貫性等方面都通過了考驗。
那么，對微軟推出的“小”模型，你有什么看法嗎？
論文地址：
https://arxiv.org/abs/2309.05463
版權所有，未經(jīng)授權不得以任何形式轉載及使用，違者必究。
- “智元機器人收購A股上市公司是創(chuàng)新需要…現(xiàn)金流能撐三年”2025-08-22
- 稚暉君新大招：機器人二次開發(fā)0門檻了！2025-08-22
- 賣酒的茅臺要學AI了！和奔馳麥當勞一起拜師百度2025-08-17
- VLA進化后降維打擊！雙手揀貨，漂移操作，還能批量化秀舞，太空艙直接開上街，被銀河通用卷到了2025-08-11
相關閱讀
開源大模型超越GPT-3.5！爆火MoE實測結果出爐，網(wǎng)友：OpenAI越來越?jīng)]護城河了
帶動MoE再次成為開源社區(qū)最火議題
