文心一言迭代數(shù)據(jù)曝光，QPS提升10倍，留給大模型創(chuàng)業(yè)玩家的涌現(xiàn)時(shí)間不多了

衡宇 2023-04-24 19:21:53 來源：量子位

楊凈 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

文心一言上線內(nèi)測一個(gè)月后，首份迭代數(shù)據(jù)曝光：

• 一個(gè)月共迭代4次；
• 模型推理效率提升10倍，最近一次帶來的推理提升達(dá)到123%；
• 推理性能提升50%，模型算力利用率提升1倍。

簡單歸納就是說，迭代很快、不僅成本降下來了，順便還把性能提升了？！

要知道過去一個(gè)月內(nèi)，全球網(wǎng)友們的熱情被這場技術(shù)風(fēng)暴所點(diǎn)燃，人們玩得不亦樂乎，ChatGPT也overload了好幾次。

作為國內(nèi)率先發(fā)布的文心一言，是如何保持住高效迭代的？

在這份成績單中，找到了答案。

文心一言首月數(shù)據(jù)曝光

曝光的數(shù)據(jù)不多，但全都是關(guān)鍵技術(shù)指標(biāo)——

大模型訓(xùn)練與推理方面的數(shù)據(jù)，直接影響后續(xù)產(chǎn)品體驗(yàn)效果的好壞。

首先，迭代方面。百度飛槳支撐的大模型推理服務(wù)在4月19日再次迭代，搭載了支持動(dòng)態(tài)插入的分布式推理引擎。據(jù)消息稱，這還是業(yè)內(nèi)首創(chuàng)。

截止目前，已迭代至3.5版本，一個(gè)月共迭代4次。

具體到推理方面，QPS （每秒查詢推理響應(yīng)速度）提升10倍，模型推理性能提升50%，模型算力利用率提升1倍。

QPS （每秒查詢推理響應(yīng)速度）提升10倍，也就代表著是大模型推理效率的提升，推理成本降低為原來的10分之一。換言之，在同等成本情況下可以為更多用戶提供服務(wù)。

模型推理性能提升50%。大模型需要在用戶反饋中持續(xù)不斷的學(xué)習(xí)，推理作為大模型應(yīng)用的關(guān)鍵，其性能的提升直接影響到產(chǎn)品側(cè)的效果。

而算力利用率提升1倍，同樣也是降本增效的體現(xiàn)。

事實(shí)上，不管是迭代速度，還是從模型成本、性能以及效率等多方面的提升，而這背后文心一言之所以能夠高效迭代，飛槳的重要性不容忽視。

更確切地來說，「飛槳+文心一言」聯(lián)合優(yōu)化。

大模型不僅需要單純的「暴力美學(xué)」的支撐，同時(shí)還需要深度學(xué)習(xí)框架作為底層來支持高效、穩(wěn)定的分布式訓(xùn)練。

此次數(shù)據(jù)就可以看到，飛槳即向上與模型「文心一言」，又向下與芯片算力都實(shí)現(xiàn)了協(xié)同優(yōu)化，實(shí)現(xiàn)整體的效能提升。

而具體到推理過程，飛槳能為文心一言“定制”了一個(gè)精密生產(chǎn)流程，結(jié)合大模型算力、數(shù)據(jù)、參數(shù)量等特點(diǎn)來設(shè)計(jì)工藝，從而提升了推理效率和性能，幫助模型學(xué)習(xí)得越快越好。

大模型技術(shù)行業(yè)挑戰(zhàn)

這些迭代數(shù)據(jù)的背后，帶出了大模型技術(shù)的新行業(yè)挑戰(zhàn)值得探討。

隨著更多產(chǎn)業(yè)玩家的推進(jìn)，我們已經(jīng)明顯感知到大模型投入大成本高。如果沒有足夠的資金和計(jì)算資源，就連開發(fā)訓(xùn)練這一階段都難以進(jìn)行。

據(jù)最新消息，OpenAI每天需要支付70萬美元來維持ChatGPT基礎(chǔ)設(shè)施運(yùn)行。在此之前微軟也已經(jīng)從中投入了數(shù)十億美元。

誠如每每有行業(yè)大佬選擇大模型創(chuàng)業(yè)，都有網(wǎng)友調(diào)侃：這點(diǎn)錢不夠燒的。

其次，大模型優(yōu)化難迭代要求高，需要自上而下的全局優(yōu)化。

以往認(rèn)知中，大模型核心技術(shù)突破來源于暴力資源累積，可以是超大規(guī)模計(jì)算資源的聚集、超大規(guī)模模型結(jié)構(gòu)的設(shè)計(jì)、海量數(shù)據(jù)亦或是參數(shù)量的提升……

但事實(shí)上這牽涉到每個(gè)環(huán)節(jié)自上而下很強(qiáng)的經(jīng)驗(yàn)積累。

誠如OpenAI有業(yè)內(nèi)人士消息稱，它將整個(gè)公司最優(yōu)秀的算法研究員，拿去做數(shù)據(jù)規(guī)劃和處理。

現(xiàn)在在百度文心一言，也得到再一次印證：

大模型的突破和迭代，并非靠簡單三駕馬車（算力算法數(shù)據(jù)）來驅(qū)動(dòng)，而是一整套從底層芯片框架到模型訓(xùn)練推理等流程的系統(tǒng)工程化難題。

與此同時(shí)在這份數(shù)據(jù)中，也透露出了百度的經(jīng)驗(yàn)解法：

全局技術(shù)棧，端到端優(yōu)化。

早在文心一言啟動(dòng)邀測時(shí)，李彥宏就已經(jīng)披露，百度將目前已有的AI技術(shù)棧自上而下分成了四個(gè)方面：應(yīng)用層、模型層、框架層與芯片層。

四層架構(gòu)之間端到端優(yōu)化，進(jìn)而來實(shí)現(xiàn)降本增效。此次飛槳與文心一言的聯(lián)合優(yōu)化，正好就是這套解法最直觀的展現(xiàn)。

飛槳之于文心一言，一方面其開源分布式架構(gòu)，可以支持模型大規(guī)模GPU并行訓(xùn)練，以提升模型的性能和效率。另一方面，連接了芯片層與模型層，將整套流程設(shè)計(jì)得更加精密和適配。

甚至業(yè)內(nèi)人士這樣形象化地形容：

大模型就像汽車的發(fā)動(dòng)機(jī)，要壓榨出發(fā)動(dòng)機(jī)瞬時(shí)最大爆發(fā)力（QPS）以及最優(yōu)的性能表現(xiàn)。

深度學(xué)習(xí)就像是發(fā)動(dòng)機(jī)的動(dòng)力源“變速箱“，可以讓發(fā)動(dòng)機(jī)整體部件組合更精密、動(dòng)力更強(qiáng)。

更關(guān)鍵在于，如果這幾層技術(shù)棧都是自主自研，那么協(xié)同合作就會(huì)更高效，效率提升也會(huì)更加明顯。

這些又意味著什么？

最后，在這些行業(yè)挑戰(zhàn)和百度經(jīng)驗(yàn)解法之中，也透露出了大模型發(fā)展的幾大趨勢。

首先，大模型想要跑得快跑得穩(wěn)，必須端到端優(yōu)化。

OpenAI的成功一方面可以歸結(jié)于自身的人才技術(shù)以及長期投入，另一方面微軟從框架到算力的支持，也在其中做出了關(guān)鍵貢獻(xiàn)，這才有了持續(xù)驚艷全球的ChatGPT。

只是當(dāng)時(shí)這種端到端優(yōu)化的范式?jīng)]有被太多強(qiáng)調(diào)關(guān)注。而此次曝光的文心一言數(shù)據(jù)，則是更廣泛地證明了端到端優(yōu)化的優(yōu)勢。

以往大家所關(guān)注到的是大模型訓(xùn)練中算力、算法以及數(shù)據(jù)的必要性。但底層比如深度學(xué)習(xí)框架，對大模型訓(xùn)練推理的重要作用也應(yīng)該被大家所廣泛感知。

其次，端到端優(yōu)化的趨勢，也正在改變大模型賽道游戲規(guī)則。

ChatGPT風(fēng)暴席卷而來，巨頭們紛紛進(jìn)場，大佬們前后腳創(chuàng)業(yè)，大模型人才被哄搶，每周都有上千個(gè)AI應(yīng)用涌現(xiàn)……每個(gè)躬身入局的機(jī)構(gòu)都在金錢、時(shí)間等方面進(jìn)行搶奪與追趕。在大模型的創(chuàng)業(yè)浪潮中，有人把入場券門檻認(rèn)為5000萬美元，窗口期大概在半年到一年。

但現(xiàn)在這種端到端優(yōu)化趨勢，正在讓創(chuàng)業(yè)窗口期越來越短。

原因無他，大模型雪球效應(yīng)已經(jīng)開始展現(xiàn)。

以百度為代表的大模型玩家，正在形成“架構(gòu)-大模型-應(yīng)用-數(shù)據(jù)”飛輪加速閉環(huán)。一方面，推理成本降低，加速大模型產(chǎn)業(yè)落地，甚至可能比上一波浪潮更快；另一方面，大模型迭代速度越來越快，產(chǎn)品應(yīng)用具有長期持續(xù)性，商業(yè)壁壘更容易建立，對下游生態(tài)玩家而言，這自然是剛需和利好。

但與之相關(guān)，大模型創(chuàng)業(yè)甚至產(chǎn)品發(fā)布的窗口期也正在被壓縮，留給大模型創(chuàng)業(yè)玩家的涌現(xiàn)的時(shí)間也不多了——

他們不光要準(zhǔn)備金錢、時(shí)間等這些外在資源儲(chǔ)備，還需要考慮自身產(chǎn)品能否還具有競爭力。另外創(chuàng)業(yè)的必要性也正在減弱：就動(dòng)輒大幾千萬甚至上億的入場券來說，既沒有必要重復(fù)造輪子，也沒有端到端核心積累優(yōu)勢。

大模型創(chuàng)業(yè)的機(jī)遇，會(huì)開始朝著生態(tài)和應(yīng)用創(chuàng)新傾斜。

但也正因如此，反而更加彰顯了大模型自主的重要性，因?yàn)樘A(chǔ)、太底層、太需要把生態(tài)放在放心安心的國產(chǎn)層面了。

大模型趨勢再明晰不過，千行百業(yè)的落地價(jià)值也已經(jīng)預(yù)見，入局是必然，但之前是否需要按照地緣區(qū)域或國界劃分“造輪子”卻沒有共識——有些論點(diǎn)里，依然相信科學(xué)技術(shù)的進(jìn)展會(huì)普惠到全世界。

然而隨著地球另一邊，OpenAI越來越Close，API輸出的區(qū)別對待，中國需要自己的大模型底座，正在成為共識。

有意思的是，這在芯片、深度學(xué)習(xí)框架、底層架構(gòu)平臺(tái)的打造過程中，已經(jīng)有過一輪討論，有過一輪經(jīng)驗(yàn)教訓(xùn)，并且還被類比為了汽車產(chǎn)業(yè)中的“發(fā)動(dòng)機(jī)”，最后明確“發(fā)動(dòng)機(jī)”必須要自主，這樣產(chǎn)業(yè)才真正安全。

然而到了大模型競速中，對于“變速箱”的認(rèn)知，之前因?yàn)閷Υ竽Ｐ驼J(rèn)知不完備，存在不同聲音，但此役過后，應(yīng)該無人再有異議了。

畢竟百度已經(jīng)在打造、迭代的過程中，展現(xiàn)出了這種四層自研技術(shù)棧的端到端協(xié)同的必要性和重要性。

不過也正是這種必要性和重要性，進(jìn)一步明示了大模型打造的殘酷的游戲規(guī)則：

凡有的，還要加倍給他，叫他多余；沒有的，連他所有的也要奪過來。

這背后既是端到端全棧帶動(dòng)的壁壘，更是數(shù)據(jù)、應(yīng)用驅(qū)動(dòng)飛輪之下越滾越大的雪球。

隨著雪球向前，大模型產(chǎn)業(yè)落地的速度自然會(huì)加快，同時(shí)留給其他大模型玩家涌現(xiàn)的時(shí)間也越來越緊缺。

這種趨勢已經(jīng)開始，這種趨勢還會(huì)持續(xù)。