10人倆月搞出大模型！一年16篇頂會論文：市面上做得好的都沒開源

衡宇 2023-09-13 09:28:39 來源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

一家今年5月份成立在深圳的公司，團隊至今不到10人。

他們要做的卻不是小事：挑戰(zhàn)AGI。

底氣在哪？一看過往履歷，二看現(xiàn)在賽道的成績。

這幾個人近一年中，累計在CVPR、ICML、ECCV等頂會上發(fā)表16篇大模型相關論文，其中一篇還拿下了頂會ACL 2023的最佳論文提名。

創(chuàng)業(yè)后的成績如何？成立兩個月后，所訓模型殺入C-Eval榜單前三，中文能力擊敗ChatGPT和Claude-v1.3。

這就是共生矩陣拿出的成績。

并且旗下模型GS-LLM七月末首次上榜至今，在C-Eval榜單65個上榜選手中，一直處于第一梯隊。

那么，共生矩陣是誰？

10個人挑戰(zhàn)AGI

共生矩陣，目標立足自研AGI技術，打造行業(yè)數據精煉工廠。

團隊所依托的主要是自研大模型GS-LLM。

模型參數規(guī)模從7B-130B不等，能根據用戶的實際需求量體裁衣。

在C-Eval上占據一席之地的有基于GS-LLM的兩個版本，一個是百億參數版本的GS-LLM-Beta，另一個是不足百億規(guī)模的mini版本GS-LLM-Beta-Mini。

推出mini版本的原因是發(fā)現(xiàn)不少使用者，原有的運作環(huán)境（甚至云端環(huán)境）不足以支撐大體量的本地部署。

測試結果發(fā)現(xiàn)，幾十億版本的GS-LLM-Beta就可以發(fā)揮不錯的性能，在C-Eval上最好排名達到第6。

能夠常駐C-Eval榜單前列的原因之一，是共生矩陣搭建了一套完全獨立的訓練框架，對整個訓練構成比較完備的技術支撐。

第二個點在數據，這是這家公司格外重視的一點。

共生矩陣CEO張林舉了個簡單的例子：

把模型訓練比作人的成長過程。如果他從小看的都是沒有營養(yǎng)的小說，這個人的總體能力不會太強。

去年團隊在一個實驗中發(fā)現(xiàn)，當模型數據達到某一數量級時，數據質量的躍升反而能引起一些質變。

“也就是說，有一個相對小體量（如百億級別）的模型，喂給它高質量的數據，訓練出來的結果和千億級別的結果是很接近的?！?u>張林說。

這個實驗也讓團隊對數據質量、體系化獲取高質量數據途徑的重視再+1。

其實這點近期越來越引起各界注意，微軟就有一項新研究《Textbook?are all you need》，工作表示，做大不是唯一的出路，高質量的數據才是至關重要的。

于是乎，共生團隊構建了一套清洗數據的工程化體系，24小時持續(xù)清洗數據。

團隊目前清洗出的可以用于訓練的文本數據，大約有20T，“這個量級能夠支撐非常大體系的模型訓練”。

不過張林也透露，短期內共生矩陣不會對外公開團隊清洗出的數據。

那么，團隊想打造的數據精煉工廠又是什么概念？

張林解釋，如果把大模型理解為“信息的壓縮”，那么它本身就是一個體量很大的參數數據庫。

數據精煉工廠要做的事，就是將模型訓練好后的參數數據進行共享和交易。

要知道，大模型的功能是通過參數來承載的，交易參數其實就是切換功能，我們需要大模型功能的多樣性，“參數交易是最高效的路徑”。

這里指的數據不是大家看得到的那種數據，而是參數數據。我們常說的數據是一段文本、一張圖片，而工廠擁有的數據是模型訓練好的參數，對參數進行商業(yè)化交易。

“原始數據直接進行交易，受到量級大、隱私問題等掣肘?！?u>張林解釋，數據交易的概念已經提了很多年了，但并沒有完全被市場接受，團隊認為想要數據真正流通起來，需要更合理、安全、有效，因此最終確定了參數層面的數據交易。

在團隊設想中，數據精煉工廠跑通后，部分數據不用重復訓練，效率提升，成本也可降低。

用更少的人和資源把大模型體系做好

大模型熱潮中，如何評價大模型成為重要問題，這也是各類榜單雨后春筍出現(xiàn)的原因。

共生矩陣上榜C-Eval后，外界聚焦來的目光主要有2點：

除了成績不錯外，另一個惹人關注的點是，他們是榜上少見的小型團隊。

團隊表示，榜單并不是全世界唯一最權威，但成立一個月開始上榜，一度殺進前三，能夠反映“我們用更少的人和資源把大模型體系做好”。

沒錯，共生矩陣團隊只有不足10人。

人不多，但都挺能打——

CEO張林、CTO王軍杰等團隊中的核心都出自IDEA研究院，在國內封神榜預訓練模型開源體系工作中有豐富實戰(zhàn)經驗（據悉，封神榜目前已有超過98個開源預訓練模型）

張林本人博士畢業(yè)于美國紐約州立大學，在計算機國際頂會上發(fā)表過三十多篇論文，此前是粵港澳大灣區(qū)數字經濟研究院（IDEA）資深高級研究員。

王軍杰則是早稻田大學的計算機博士，此前是封神榜大模型團隊的核心成員。

△張林

縱觀當下的AI市場，小團隊搞好AI并不是沒有先例，最負盛名的文生圖模型Midjourney背后，只有11個成員，被稱為新時代組織的標桿。AI 2.0時代，國內外也出現(xiàn)了諸多講求“小而美”的大模型創(chuàng)業(yè)團隊。

當然，張林表示更深層原因，是因為大模型不是簡單堆人力的項目，需要少數精英式團隊以保證效率。

他表示訓練模型時，技術層面如算子優(yōu)化、混合精度等，以及背后幾百張卡同時支持時通信層面的問題，都非?？简灩こ棠芰ΑＰF隊如果能將遇到的工程性問題解決，提高效率，不必靠大團隊解決。

另外，技術核心小團隊更有利于保持思想獨立性，不墨守成規(guī)以探索更多可能性，堆人力反而容易降低整體效率。

據他預估，全國大模型領域頂尖的人才“加起來可能也就100人左右”，也沒什么組建大團隊的空間。

因此，團隊將在一定時間內保持“不足十人”這個規(guī)模。

歸根結底，這是對AI 2.0時代與AI 1.0時代背后范式和理念的理解不同。

交流過程中，張林還很直接地表達了團隊在另一層面與主流聲音的不同理解，它體現(xiàn)在開閉源理念上。

前段時間，免費可商用的LLaMA-2一出，不少人都表示這對市面上的創(chuàng)業(yè)公司將是巨大打擊，因為LLaMA-2可以滿足大多數公司對更低成本和個性化的需求。

“LLaMA-2并沒有改變市場格局?！惫采鷪F隊眼中，真正領先的團隊并不會開源核心技術。

張林還補充道在當前階段，開源的意義更多在于教育市場，而非推動商業(yè)化。

就像樹莓派對電子發(fā)燒友有意義，但不會改變手機電腦市場一樣，LLAMA 2對入門級用戶較有價值,但對要做商業(yè)化的用戶影響不大。

像這樣帶點“非主流”的觀點和理解，共生矩陣還有不少。

比如不認為大模型就是通用AI的終點，也不認為ChatGPT代表終極方向

他們對獨角獸式快速擴張也持謹慎態(tài)度，更重視團隊凝聚和技術積淀。

……

對于未來的發(fā)展路線，共生矩陣選擇短期內先閉源，未來在合適的機遇下可能適當開源。

開源需要有明確的商業(yè)驅動目標,當前大模型技術仍處于快速迭代和競爭階段，開源核心技術有喪失先發(fā)優(yōu)勢的風險。