誰是大模型架構(gòu)新王者？ ｜量子位智庫
分析師 王昕祎
量子位智庫 | 公眾號 AI123All
在大模型研發(fā)的最核心架構(gòu)層，一場全新的競速正在低調(diào)展開。
大模型因Transformer架構(gòu)而走向潮頭，但現(xiàn)在隨著落地進程深入，暴露不出諸多不足，比如推理成本，又比如算力瓶頸。
為解決這些問題，Transformer自身在持續(xù)進化，F(xiàn)FN層、Attention機制改進成為近年研究熱點。
與此同時，非Transformer架構(gòu)頻頻登上行業(yè)頭條，“后Transformer時代”的創(chuàng)新，已經(jīng)在展開。
Transformer架構(gòu)改進與非Transformer架構(gòu)突圍，正共同構(gòu)成大模型架構(gòu)創(chuàng)新的“雙軌競速”。
我們將從演進路徑、核心創(chuàng)新以及行業(yè)實踐等方面梳理這一輪架構(gòu)革新的關(guān)鍵趨勢。
并從與多位行業(yè)一線專家的交流調(diào)研中提煉架構(gòu)創(chuàng)新核心Insight。
我們也相信，最核心的創(chuàng)新，往往擁有改寫游戲規(guī)則的潛力。
而在后Transformer時代，新范式、新弄潮兒，最后可能就出自這些架構(gòu)創(chuàng)新活躍玩家中間。
2006年以來，我們可以將大模型架構(gòu)演進歷史分為4個階段：
前兩個是前Transformer十年、Transformer時代開啟，在這兩個階段，深度學習被引入NLP，Transformer架構(gòu)被首次提出并迅速成為主流范式。
后兩個階段是：Transformer時代巔峰、后Transformer時代。在這兩個階段，Transformer架構(gòu)乘著Scaling Law的東風走向巔峰，又迅速見頂、引發(fā)諸多質(zhì)疑與討論，開啟了后Transformer時代的探索。
近年來行業(yè)內(nèi)針對Transformer架構(gòu)的諸多爭議與弊端，主要從訓練范式革新、架構(gòu)創(chuàng)新以及工程優(yōu)化三個方向解決。
本報告主要探討架構(gòu)創(chuàng)新解決方式，這一方式主要分為Transformer改進與非Transformer探索。
首先在Transformer改進這一方向上，主要的創(chuàng)新集中在Attention機制改進和FFN層改進。
Attention機制是Transformer的靈魂所在，同時也是Transformer被詬病的問題根源，因此對Attention機制的改進是Transformer改進的重中之重，也是近年來絕對的研究熱點。
Attention改進目前主要分為兩大技術(shù)方向——稀疏Attention和線性Attention。
具體的Transformer架構(gòu)改進趨勢點擊文末的報告鏈接獲取閱讀。
近年來主流的非Transformer架構(gòu)主要致力于在提供同等性能的同時控制算力開銷，計算復雜度基本都為線性復雜度，新型RNN路線已成為這一方向的絕對主流，其他路線逐漸式微。
量子位智庫還對近年主流的非Transformer架構(gòu)行業(yè)熱度進行了盤點，幫助讀者判斷各個非Transformer的工業(yè)和學術(shù)潛力。
具體的非Transformer架構(gòu)突圍情況點擊文末的報告鏈接獲取閱讀。
另外，量子位智庫還從與多位行業(yè)一線專家的交流調(diào)研中提煉出了大模型架構(gòu)創(chuàng)新的核心Insight。
對于近年來架構(gòu)創(chuàng)新涌現(xiàn)，行業(yè)內(nèi)有兩種主流看法，一種認為這是力大飛磚、捅天花板派和壓縮智能密度、追求智能普惠派的路線之爭。
另一種看法是，這是技術(shù)迭代螺旋演進的正常周期，這一周期在歷史上已多次重復上演。
而我們目前或許正處在下一個Transformer誕生、新技術(shù)突破出現(xiàn)的前夜。
目前行業(yè)內(nèi)的共識是，下一代主流架構(gòu)要想替代Transformer需要實現(xiàn)三個參數(shù)規(guī)模Scaling突破的驚險跳躍——10B、20B和100B。
目前，絕大多數(shù)的架構(gòu)創(chuàng)新改進仍然停留在10B階段。
而我們的終極問題是，下一個Transformer將從何處誕生，誰將為我們帶來The Next Big Thing？
為回答這一問題，我們對近年來在架構(gòu)創(chuàng)新方面活躍的組織機構(gòu)和專家學者進行了一次Mapping。
試圖在新突破的前夜，提前捕捉到在“架構(gòu)拐點”臨界線上閃爍的創(chuàng)新火光。
完整報告和詳細內(nèi)容，請在下方鏈接獲取。
報告下載鏈接：
https://jkhbjkhb.feishu.cn/wiki/W5D7wuDcbiPXDLkaRLQcAJpOn8f
相關(guān)閱讀
