大模型商用格局雛形初現(xiàn)：Tokens用量決高下，火山引擎問鼎2024

明敏 2025-01-21 18:06:59 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

大模型應(yīng)用落地元年，誰家業(yè)務(wù)更值得關(guān)注？

Tokens使用量，正在成為最關(guān)鍵的衡量指標(biāo)。

量子位結(jié)合市場數(shù)據(jù)觀察，2024下半年國內(nèi)大模型商用落地日均Tokens消耗量翻了近10倍，從1000億級規(guī)模到10000億規(guī)模，只用了6個月，月復(fù)合增長率達(dá)到45%。其中，10-12月增長進(jìn)一步提速。

其中，只有1家云廠商商用Tokens日均消耗量的月均復(fù)合增長率超過60%。

它就是火山引擎。

5月份，它還停留在日均百億級Tokens水平，不及全行業(yè)1/5；8月初突破千億Tokens大關(guān)，并在之后保持迅速增長，12月日均Tokens市場份額占比超50%，超過其他玩家份額總和。

（初期市場變化迅速，整體估算會偏小。各廠商數(shù)據(jù)不包含各家自研模型服務(wù)商的應(yīng)用消耗，比如火山引擎——豆包APP）

什么概念？

這意味著平均每秒并發(fā)Token數(shù)約為750萬。按照一個生成式AI模型單次響應(yīng)平均需要處理1000個Tokens，每秒就要處理7500個用戶請求。

突然拉開差距，背后核心影響因素還是AI原生應(yīng)用爆發(fā)。

根據(jù)對外披露數(shù)據(jù)，截至12月中旬，豆包大模型的日均Tokens使用量已超過4萬億，較七個月前首次發(fā)布時增長了33倍。

據(jù)AI產(chǎn)品榜應(yīng)用榜數(shù)據(jù)，2024年1月至10月，中國AI原生應(yīng)用（APP）累計下載量排名前5名的總下載量已經(jīng)達(dá)到了1.8億；11月全球總榜前10名中，國產(chǎn)AI應(yīng)用占兩席，豆包以5998萬月活位居第二，并保持著10%以上的增速。

這一趨勢給To B層面也帶來深刻影響，最新披露的商用落地日均Tokens規(guī)模就是最直接的證明。

透過這一數(shù)據(jù)，大模型產(chǎn)業(yè)落地情況，在此變得更加清晰了一些。

為什么是Tokens消耗量？

在LLM中，Token是模型理解和生成的最小意義單位。它是將自然語言文本轉(zhuǎn)換成可理解格式的關(guān)鍵步驟。

作為原始文本數(shù)據(jù)與LLM之間的橋梁，Token能幫助模型確保文本的連貫性和一致性，有效處理各種任務(wù)，如寫作、翻譯和回答查詢。

隨著趨勢發(fā)展，下一個Token預(yù)測的方式也逐漸來到多模態(tài)領(lǐng)域，視覺Tokenizer能將視頻和圖像轉(zhuǎn)換為離散Token，文本和音頻的Token也可以進(jìn)一步合并為一個多模態(tài)聯(lián)合詞匯表……這意味著，文字、圖片、視頻、語音等不同模態(tài)信息都可以經(jīng)過Token被標(biāo)準(zhǔn)化為統(tǒng)一的符號系統(tǒng)。

在行業(yè)落地層面，這一定義也被進(jìn)一步認(rèn)可。

阿里集團(tuán)吳泳銘曾在演講中提到，生成式AI讓世界有了一個統(tǒng)一的語言——Token。它可以是任何文字、圖像、視頻和聲音的代碼。大模型可以通過物理世界數(shù)據(jù)的Token化，理解真實世界的方方面面，有了這樣的理解，AI就可以模仿人類去執(zhí)行物理世界的任務(wù)，這將帶來新的產(chǎn)業(yè)革命。

那么，Token作為單位能衡量什么呢？

預(yù)訓(xùn)練語料規(guī)模、上下文長度、推理長度……甚至是商業(yè)價值。

首先，模型預(yù)訓(xùn)練用了多少Token語料，代表了它的基礎(chǔ)知識儲備含量。目前市面上的通用大模型，預(yù)訓(xùn)練語料庫規(guī)模都在幾萬億Tokens水平。

其次，模型能夠理解多少Token的輸入和輸出，反映了它的理解能力。大模型的上下文能力、處理速度，也是以Token為單位衡量。

第三，Token還是大模型推理算力的計量單位。比如底層芯片廠商如今都會通過“每秒生成Token的數(shù)量”來證明自家產(chǎn)品的硬件能力。甚至如果有的模型參數(shù)未公開，也能通過它的Token生成速度來倒推模型規(guī)模（在相同硬件上即可推算）。

最后，幾乎順理成章地，Token也成為大模型API的定價單位。

目前云廠商為大模型的定價模式固定為：千輸入Tokens和千輸出Tokens。經(jīng)過1年價格戰(zhàn)，現(xiàn)如今大模型的價格已經(jīng)被打到1元可買百萬Tokens。

△OpenAI API部分定價

各家如何降價？背后也是一套學(xué)問。

據(jù)火山引擎智能算法負(fù)責(zé)人、火山方舟負(fù)責(zé)人吳迪透露，大模型API定價是一個科學(xué)計算的結(jié)果，其中綜合了AI Infra承載力、市場未來用量、模型成本下降三個變量。

在國內(nèi)，云廠商也早已用大模型日平均調(diào)用量來證明自家云服務(wù)能力。包括字節(jié)、百度、騰訊在內(nèi)，都在長期披露此數(shù)據(jù)。

而日調(diào)用量的單位，還是Token。

Tokens消耗量暴增，為何是現(xiàn)在？

大模型趨勢開啟后，全行業(yè)Tokens消耗量與日俱增。

2024下半年開始，幾乎到了有史以來最兇猛的增長期。

IDC分享，2023年12月中國生成式AI日均Tokens處理規(guī)模（除去自有業(yè)務(wù)和生成式AI應(yīng)用）還停留在35億。4個月后，該數(shù)字翻了將近10倍；再過半年后，這個數(shù)字已經(jīng)預(yù)計為1.12萬億，一年時間翻了320倍。

結(jié)合廠商們近日披露的數(shù)據(jù)，這種趨勢顯然還在繼續(xù)。

不過，為何是現(xiàn)在？

一方面，從技術(shù)角度來看，RAG、智能體、多模態(tài)興起進(jìn)一步拓寬大模型應(yīng)用落地場景，加速了整體趨勢進(jìn)展。

大模型應(yīng)用落地，最首要的難題就是如何讓它更懂垂直領(lǐng)域、私域問題，讓它能幫助某個特定企業(yè)解決實際場景問題。

RAG、向量數(shù)據(jù)庫的優(yōu)勢正好可以解決這一問題。它能快速將企業(yè)積累的海量數(shù)據(jù)充分應(yīng)用，解決大模型落地的“幻覺”問題。與Agent相結(jié)合，RAG可以快速落地于企業(yè)客服、AI NPC等場景。過去一年中，RAG也是云廠商們主推產(chǎn)品之一。

Agent則開啟了新一代智能交互范式，在2024年幾乎呈現(xiàn)了爆發(fā)式增長。從個人助手到企業(yè)級解決方案，Agent開始出現(xiàn)在金融交易、醫(yī)療診斷等垂直領(lǐng)域；通用領(lǐng)域，手機(jī)、PC等終端擁抱生成式浪潮，也選擇將Agent作為切入口，重塑OS以及交互方式。

而多模態(tài)AI趨勢，則進(jìn)一步拓寬了大模型應(yīng)用落地的范疇。人類接收的信息80%來自視覺，視覺將能極大程度拓展大模型的能力便捷。比如以Sora為代表的視頻生成技術(shù)已經(jīng)給全球影視行業(yè)帶來沖擊與新思考；AI視頻通話成為Apple Intelligence最引人注目的能力之一；此外，以谷歌NotebookLM為代表的AI播客類應(yīng)用也殺入大眾視野，AI應(yīng)用本身也因為多模態(tài)趨勢而變得更加豐富。

這都為大模型應(yīng)用落地打開了更多新思路。

另一方面，隨著一些標(biāo)桿案例出現(xiàn)，大模型紅利已經(jīng)變得不容置疑。它不僅能幫助企業(yè)增效，而且落地周期短，千行百業(yè)對大模型都有著強(qiáng)烈需求。

IDC調(diào)研顯示，大模型落地周期多在6-12個月（48.5%）和12-18個月（30.3%）之間。相比于其他IT解決方案可以更快上線，尤其是對于互聯(lián)網(wǎng)企業(yè)或者已有AI應(yīng)用基礎(chǔ)的企業(yè)。

預(yù)計未來一年，大模型可幫助企業(yè)降低18%成本、增加2%收入、縮短24%流程時間，提高17%員工工作效率、提高7%資產(chǎn)利用率、提高19%產(chǎn)品創(chuàng)新水平。

比如互聯(lián)網(wǎng)行業(yè)對于運營成本降低和產(chǎn)品設(shè)計創(chuàng)新有很突出需求，搜索問答、廣告推送、商品推薦、營銷文案生成、教育培訓(xùn)、辦公輔助等均已開始規(guī)?；瘧?yīng)用。

金融、智能終端、游戲、教育科研、汽車等領(lǐng)域的需求也在愈加明確，AI應(yīng)用場景還在不斷深入。

供給側(cè)，行業(yè)內(nèi)基礎(chǔ)大模型格局逐漸穩(wěn)定、大模型產(chǎn)品矩陣日漸完整，千行百業(yè)的需求到了可以實現(xiàn)的時刻。

最關(guān)鍵的是，模型費用在不斷降低、模型能力在不斷豐富，大模型行業(yè)在朝著更普惠的方向發(fā)展。

比如火山引擎Force冬季大會上，豆包視覺理解模型正式發(fā)布，為企業(yè)提供極具性價比的多模態(tài)大模型處理能力，0.003元/千Tokens輸入，一元錢可以處理284張720P圖片，比行業(yè)價格便宜85%。

兩股趨勢相融合，也就不難理解為何在2024下半年，市場整體Tokens使用量暴增。

數(shù)據(jù)增長背后是大模型在各個領(lǐng)域落地結(jié)果。

以火山引擎披露數(shù)據(jù)為例。豆包大模型已經(jīng)與八成主流汽車品牌合作，并接入到多家手機(jī)、PC等智能終端，覆蓋終端設(shè)備約3億臺，來自智能終端的豆包大模型調(diào)用量在半年時間內(nèi)增長100倍。

最近3個月，豆包大模型在信息處理場景的調(diào)用量增長了39倍，客服與銷售場景增長16倍，硬件終端場景增長13倍，AI工具場景增長9倍，學(xué)習(xí)教育等場景也有大幅增長。

Tokens成本還會降，規(guī)?；鲩L未到瓶頸

透過一系列大模型商用落地數(shù)據(jù)，大模型整體趨勢發(fā)展脈絡(luò)也更加清晰。

參考賽迪顧問《2024中國MaaS市場發(fā)展研究報告》，MaaS市場發(fā)展呈現(xiàn)出4方面特點：

• 第一，Agent加速下AI應(yīng)用開發(fā)門檻持續(xù)降低，模型將進(jìn)一步在場景中深度應(yīng)用；
• 第二，成本因素影響，大小模型協(xié)同將成為主流趨勢；
• 第三，模型推理工具鏈生態(tài)的不斷完善，將提高M(jìn)aaS的模型部署效率；
• 第四，“公有云+專有云”的MaaS部署模式將為企業(yè)用戶提供安全與成本兼顧的解決方案。

MaaS市場內(nèi)，Tokens成本還會進(jìn)一步下降，規(guī)?；鲩L沒有到瓶頸。

• 第一，大模型訓(xùn)練成本增速放緩。隨著o1范式開啟，推理側(cè)算力需求將被更加重視。同時以DeepSeek V3為代表的模型還在進(jìn)一步優(yōu)化訓(xùn)練成本。
• 第二，算力領(lǐng)域來到“黃氏定律”時代，“GPU將推動AI性能實現(xiàn)逐年翻倍”、“沒有任何物理定理可以阻止AI數(shù)據(jù)中心擴(kuò)展到一百萬芯片”。
• 第三，云廠商內(nèi)部模式逐漸跑通，渠道進(jìn)一步打開、生態(tài)進(jìn)一步建立，成本也能進(jìn)一步優(yōu)化。

行業(yè)內(nèi)對于未來的預(yù)估，也十分有信心?；鹕揭嬷悄芩惴ㄘ?fù)責(zé)人吳迪曾表示，2027年豆包每天Token消耗量預(yù)計超過100萬億，是原來的100倍以上。

對應(yīng)來看，當(dāng)下Tokens消耗量的暴增，或許還只是大模型應(yīng)用落地爆發(fā)的開始，真正的規(guī)?；鲩L遠(yuǎn)沒有到來。

現(xiàn)在，更像是一個沖出起跑線的時刻。

而誰能成為這場角逐中的引領(lǐng)者，透過Tokens消耗量這個核心指標(biāo)，可以提前窺見端倪了。

大模型趨勢正在進(jìn)入全新階段：大規(guī)模商用落地。

生產(chǎn)力釋放背后，商業(yè)機(jī)會不斷涌現(xiàn)。我們希望通過這一系列欄目提供一種視角，分析大模型應(yīng)用落地早期階段浮現(xiàn)出的種種規(guī)律變化，從技術(shù)維度把握創(chuàng)新浪潮背后的演化路線。

以上是量子位最新原創(chuàng)系列策劃欄目「模力熵增」第二期。