誰(shuí)是大模型架構(gòu)新王者？ ｜量子位智庫(kù)

智庫(kù) 2025-06-19 16:24:04 來(lái)源：量子位

分析師 王昕祎

量子位智庫(kù) | 公眾號(hào) AI123All

在大模型研發(fā)的最核心架構(gòu)層，一場(chǎng)全新的競(jìng)速正在低調(diào)展開。

大模型因Transformer架構(gòu)而走向潮頭，但現(xiàn)在隨著落地進(jìn)程深入，暴露不出諸多不足，比如推理成本，又比如算力瓶頸。

為解決這些問(wèn)題，Transformer自身在持續(xù)進(jìn)化，F(xiàn)FN層、Attention機(jī)制改進(jìn)成為近年研究熱點(diǎn)。

與此同時(shí)，非Transformer架構(gòu)頻頻登上行業(yè)頭條，“后Transformer時(shí)代”的創(chuàng)新，已經(jīng)在展開。

Transformer架構(gòu)改進(jìn)與非Transformer架構(gòu)突圍，正共同構(gòu)成大模型架構(gòu)創(chuàng)新的“雙軌競(jìng)速”。

我們將從演進(jìn)路徑、核心創(chuàng)新以及行業(yè)實(shí)踐等方面梳理這一輪架構(gòu)革新的關(guān)鍵趨勢(shì)。

并從與多位行業(yè)一線專家的交流調(diào)研中提煉架構(gòu)創(chuàng)新核心Insight。

我們也相信，最核心的創(chuàng)新，往往擁有改寫游戲規(guī)則的潛力。

而在后Transformer時(shí)代，新范式、新弄潮兒，最后可能就出自這些架構(gòu)創(chuàng)新活躍玩家中間。

2006年以來(lái)，我們可以將大模型架構(gòu)演進(jìn)歷史分為4個(gè)階段：

前兩個(gè)是前Transformer十年、Transformer時(shí)代開啟，在這兩個(gè)階段，深度學(xué)習(xí)被引入NLP，Transformer架構(gòu)被首次提出并迅速成為主流范式。

后兩個(gè)階段是：Transformer時(shí)代巔峰、后Transformer時(shí)代。在這兩個(gè)階段，Transformer架構(gòu)乘著Scaling Law的東風(fēng)走向巔峰，又迅速見頂、引發(fā)諸多質(zhì)疑與討論，開啟了后Transformer時(shí)代的探索。

近年來(lái)行業(yè)內(nèi)針對(duì)Transformer架構(gòu)的諸多爭(zhēng)議與弊端，主要從訓(xùn)練范式革新、架構(gòu)創(chuàng)新以及工程優(yōu)化三個(gè)方向解決。

本報(bào)告主要探討架構(gòu)創(chuàng)新解決方式，這一方式主要分為Transformer改進(jìn)與非Transformer探索。

首先在Transformer改進(jìn)這一方向上，主要的創(chuàng)新集中在Attention機(jī)制改進(jìn)和FFN層改進(jìn)。

Attention機(jī)制是Transformer的靈魂所在，同時(shí)也是Transformer被詬病的問(wèn)題根源，因此對(duì)Attention機(jī)制的改進(jìn)是Transformer改進(jìn)的重中之重，也是近年來(lái)絕對(duì)的研究熱點(diǎn)。

Attention改進(jìn)目前主要分為兩大技術(shù)方向——稀疏Attention和線性Attention。

具體的Transformer架構(gòu)改進(jìn)趨勢(shì)點(diǎn)擊文末的報(bào)告鏈接獲取閱讀。

近年來(lái)主流的非Transformer架構(gòu)主要致力于在提供同等性能的同時(shí)控制算力開銷，計(jì)算復(fù)雜度基本都為線性復(fù)雜度，新型RNN路線已成為這一方向的絕對(duì)主流，其他路線逐漸式微。

量子位智庫(kù)還對(duì)近年主流的非Transformer架構(gòu)行業(yè)熱度進(jìn)行了盤點(diǎn)，幫助讀者判斷各個(gè)非Transformer的工業(yè)和學(xué)術(shù)潛力。

具體的非Transformer架構(gòu)突圍情況點(diǎn)擊文末的報(bào)告鏈接獲取閱讀。

另外，量子位智庫(kù)還從與多位行業(yè)一線專家的交流調(diào)研中提煉出了大模型架構(gòu)創(chuàng)新的核心Insight。

對(duì)于近年來(lái)架構(gòu)創(chuàng)新涌現(xiàn)，行業(yè)內(nèi)有兩種主流看法，一種認(rèn)為這是力大飛磚、捅天花板派和壓縮智能密度、追求智能普惠派的路線之爭(zhēng)。

另一種看法是，這是技術(shù)迭代螺旋演進(jìn)的正常周期，這一周期在歷史上已多次重復(fù)上演。

而我們目前或許正處在下一個(gè)Transformer誕生、新技術(shù)突破出現(xiàn)的前夜。

目前行業(yè)內(nèi)的共識(shí)是，下一代主流架構(gòu)要想替代Transformer需要實(shí)現(xiàn)三個(gè)參數(shù)規(guī)模Scaling突破的驚險(xiǎn)跳躍——10B、20B和100B。

目前，絕大多數(shù)的架構(gòu)創(chuàng)新改進(jìn)仍然停留在10B階段。

而我們的終極問(wèn)題是，下一個(gè)Transformer將從何處誕生，誰(shuí)將為我們帶來(lái)The Next Big Thing？

為回答這一問(wèn)題，我們對(duì)近年來(lái)在架構(gòu)創(chuàng)新方面活躍的組織機(jī)構(gòu)和專家學(xué)者進(jìn)行了一次Mapping。

試圖在新突破的前夜，提前捕捉到在“架構(gòu)拐點(diǎn)”臨界線上閃爍的創(chuàng)新火光。

完整報(bào)告和詳細(xì)內(nèi)容，請(qǐng)?jiān)谙路芥溄荧@取。

報(bào)告下載鏈接：

https://jkhbjkhb.feishu.cn/wiki/W5D7wuDcbiPXDLkaRLQcAJpOn8f