文心一言迭代數據曝光，QPS提升10倍，留給大模型創(chuàng)業(yè)玩家的涌現時間不多了

衡宇 2023-04-24 19:21:53 來源：量子位

楊凈 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

文心一言上線內測一個月后，首份迭代數據曝光：

• 一個月共迭代4次；
• 模型推理效率提升10倍，最近一次帶來的推理提升達到123%；
• 推理性能提升50%，模型算力利用率提升1倍。

簡單歸納就是說，迭代很快、不僅成本降下來了，順便還把性能提升了？！

要知道過去一個月內，全球網友們的熱情被這場技術風暴所點燃，人們玩得不亦樂乎，ChatGPT也overload了好幾次。

作為國內率先發(fā)布的文心一言，是如何保持住高效迭代的？

在這份成績單中，找到了答案。

文心一言首月數據曝光

曝光的數據不多，但全都是關鍵技術指標——

大模型訓練與推理方面的數據，直接影響后續(xù)產品體驗效果的好壞。

首先，迭代方面。百度飛槳支撐的大模型推理服務在4月19日再次迭代，搭載了支持動態(tài)插入的分布式推理引擎。據消息稱，這還是業(yè)內首創(chuàng)。

截止目前，已迭代至3.5版本，一個月共迭代4次。

具體到推理方面，QPS （每秒查詢推理響應速度）提升10倍，模型推理性能提升50%，模型算力利用率提升1倍。

QPS （每秒查詢推理響應速度）提升10倍，也就代表著是大模型推理效率的提升，推理成本降低為原來的10分之一。換言之，在同等成本情況下可以為更多用戶提供服務。

模型推理性能提升50%。大模型需要在用戶反饋中持續(xù)不斷的學習，推理作為大模型應用的關鍵，其性能的提升直接影響到產品側的效果。

而算力利用率提升1倍，同樣也是降本增效的體現。

事實上，不管是迭代速度，還是從模型成本、性能以及效率等多方面的提升，而這背后文心一言之所以能夠高效迭代，飛槳的重要性不容忽視。

更確切地來說，「飛槳+文心一言」聯合優(yōu)化。

大模型不僅需要單純的「暴力美學」的支撐，同時還需要深度學習框架作為底層來支持高效、穩(wěn)定的分布式訓練。

此次數據就可以看到，飛槳即向上與模型「文心一言」，又向下與芯片算力都實現了協同優(yōu)化，實現整體的效能提升。

而具體到推理過程，飛槳能為文心一言“定制”了一個精密生產流程，結合大模型算力、數據、參數量等特點來設計工藝，從而提升了推理效率和性能，幫助模型學習得越快越好。

大模型技術行業(yè)挑戰(zhàn)

這些迭代數據的背后，帶出了大模型技術的新行業(yè)挑戰(zhàn)值得探討。

隨著更多產業(yè)玩家的推進，我們已經明顯感知到大模型投入大成本高。如果沒有足夠的資金和計算資源，就連開發(fā)訓練這一階段都難以進行。

據最新消息，OpenAI每天需要支付70萬美元來維持ChatGPT基礎設施運行。在此之前微軟也已經從中投入了數十億美元。

誠如每每有行業(yè)大佬選擇大模型創(chuàng)業(yè)，都有網友調侃：這點錢不夠燒的。

其次，大模型優(yōu)化難迭代要求高，需要自上而下的全局優(yōu)化。

以往認知中，大模型核心技術突破來源于暴力資源累積，可以是超大規(guī)模計算資源的聚集、超大規(guī)模模型結構的設計、海量數據亦或是參數量的提升……

但事實上這牽涉到每個環(huán)節(jié)自上而下很強的經驗積累。

誠如OpenAI有業(yè)內人士消息稱，它將整個公司最優(yōu)秀的算法研究員，拿去做數據規(guī)劃和處理。

現在在百度文心一言，也得到再一次印證：

大模型的突破和迭代，并非靠簡單三駕馬車（算力算法數據）來驅動，而是一整套從底層芯片框架到模型訓練推理等流程的系統(tǒng)工程化難題。

與此同時在這份數據中，也透露出了百度的經驗解法：

全局技術棧，端到端優(yōu)化。

早在文心一言啟動邀測時，李彥宏就已經披露，百度將目前已有的AI技術棧自上而下分成了四個方面：應用層、模型層、框架層與芯片層。

四層架構之間端到端優(yōu)化，進而來實現降本增效。此次飛槳與文心一言的聯合優(yōu)化，正好就是這套解法最直觀的展現。

飛槳之于文心一言，一方面其開源分布式架構，可以支持模型大規(guī)模GPU并行訓練，以提升模型的性能和效率。另一方面，連接了芯片層與模型層，將整套流程設計得更加精密和適配。

甚至業(yè)內人士這樣形象化地形容：

大模型就像汽車的發(fā)動機，要壓榨出發(fā)動機瞬時最大爆發(fā)力（QPS）以及最優(yōu)的性能表現。

深度學習就像是發(fā)動機的動力源“變速箱“，可以讓發(fā)動機整體部件組合更精密、動力更強。

更關鍵在于，如果這幾層技術棧都是自主自研，那么協同合作就會更高效，效率提升也會更加明顯。

這些又意味著什么？

最后，在這些行業(yè)挑戰(zhàn)和百度經驗解法之中，也透露出了大模型發(fā)展的幾大趨勢。

首先，大模型想要跑得快跑得穩(wěn)，必須端到端優(yōu)化。

OpenAI的成功一方面可以歸結于自身的人才技術以及長期投入，另一方面微軟從框架到算力的支持，也在其中做出了關鍵貢獻，這才有了持續(xù)驚艷全球的ChatGPT。

只是當時這種端到端優(yōu)化的范式沒有被太多強調關注。而此次曝光的文心一言數據，則是更廣泛地證明了端到端優(yōu)化的優(yōu)勢。

以往大家所關注到的是大模型訓練中算力、算法以及數據的必要性。但底層比如深度學習框架，對大模型訓練推理的重要作用也應該被大家所廣泛感知。

其次，端到端優(yōu)化的趨勢，也正在改變大模型賽道游戲規(guī)則。

ChatGPT風暴席卷而來，巨頭們紛紛進場，大佬們前后腳創(chuàng)業(yè)，大模型人才被哄搶，每周都有上千個AI應用涌現……每個躬身入局的機構都在金錢、時間等方面進行搶奪與追趕。在大模型的創(chuàng)業(yè)浪潮中，有人把入場券門檻認為5000萬美元，窗口期大概在半年到一年。

但現在這種端到端優(yōu)化趨勢，正在讓創(chuàng)業(yè)窗口期越來越短。

原因無他，大模型雪球效應已經開始展現。

以百度為代表的大模型玩家，正在形成“架構-大模型-應用-數據”飛輪加速閉環(huán)。一方面，推理成本降低，加速大模型產業(yè)落地，甚至可能比上一波浪潮更快；另一方面，大模型迭代速度越來越快，產品應用具有長期持續(xù)性，商業(yè)壁壘更容易建立，對下游生態(tài)玩家而言，這自然是剛需和利好。

但與之相關，大模型創(chuàng)業(yè)甚至產品發(fā)布的窗口期也正在被壓縮，留給大模型創(chuàng)業(yè)玩家的涌現的時間也不多了——

他們不光要準備金錢、時間等這些外在資源儲備，還需要考慮自身產品能否還具有競爭力。另外創(chuàng)業(yè)的必要性也正在減弱：就動輒大幾千萬甚至上億的入場券來說，既沒有必要重復造輪子，也沒有端到端核心積累優(yōu)勢。

大模型創(chuàng)業(yè)的機遇，會開始朝著生態(tài)和應用創(chuàng)新傾斜。

但也正因如此，反而更加彰顯了大模型自主的重要性，因為太基礎、太底層、太需要把生態(tài)放在放心安心的國產層面了。

大模型趨勢再明晰不過，千行百業(yè)的落地價值也已經預見，入局是必然，但之前是否需要按照地緣區(qū)域或國界劃分“造輪子”卻沒有共識——有些論點里，依然相信科學技術的進展會普惠到全世界。

然而隨著地球另一邊，OpenAI越來越Close，API輸出的區(qū)別對待，中國需要自己的大模型底座，正在成為共識。

有意思的是，這在芯片、深度學習框架、底層架構平臺的打造過程中，已經有過一輪討論，有過一輪經驗教訓，并且還被類比為了汽車產業(yè)中的“發(fā)動機”，最后明確“發(fā)動機”必須要自主，這樣產業(yè)才真正安全。

然而到了大模型競速中，對于“變速箱”的認知，之前因為對大模型認知不完備，存在不同聲音，但此役過后，應該無人再有異議了。

畢竟百度已經在打造、迭代的過程中，展現出了這種四層自研技術棧的端到端協同的必要性和重要性。

不過也正是這種必要性和重要性，進一步明示了大模型打造的殘酷的游戲規(guī)則：

凡有的，還要加倍給他，叫他多余；沒有的，連他所有的也要奪過來。

這背后既是端到端全棧帶動的壁壘，更是數據、應用驅動飛輪之下越滾越大的雪球。

隨著雪球向前，大模型產業(yè)落地的速度自然會加快，同時留給其他大模型玩家涌現的時間也越來越緊缺。

這種趨勢已經開始，這種趨勢還會持續(xù)。