換掉Transformer，7B開源模型立刻登頂！任意長序列都能處理
完全沒用注意力機制
明敏 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
只是換掉Transformer架構(gòu)，立馬性能全方位提升，問鼎同規(guī)模開源模型！
（注意力機制不存在了）
這就是最新Falcon Mamba 7B模型。
它采用Mamba狀態(tài)空間語言模型架構(gòu)來處理各種文本生成任務(wù)。
通過取消傳統(tǒng)注意力機制，有效提升了模型處理長序列時計算效率低下的問題。
它可以處理無限長序列，但內(nèi)存需求不增加。
無論上下文多長，生成每個token的時間基本一樣。
由此，F(xiàn)alcon Mamba模型性能全方位提升，打敗一眾Transformer架構(gòu)模型，如Llama-3.1(8B)、Mistral(7B)以及Falcon-2(11B)。
如上成果由阿聯(lián)酋阿布扎比技術(shù)創(chuàng)新研究所(TII)帶來，他們正是Falcon模型的開發(fā)團隊。
該系列共包含四個模型：基礎(chǔ)版本、指令微調(diào)版本、4bit版本和指令微調(diào)4bit版本。
最新模型遵循TII Falcon License 2.0開放協(xié)議，它在Apache 2.0協(xié)議下。
圍觀網(wǎng)友直呼：游戲規(guī)則要改變了！
全球首個開源SSLM
在性能上，F(xiàn)alcon Mamba 7B全方位超越一眾開源模型。
它基于第一代Mamba。
Mamba是一種狀態(tài)空間模型（SSM，State Space Model）。它結(jié)合了RNN和CNN的特點，通過引入一種選擇機制，它允許模型根據(jù)當前的輸入有選擇地傳播或忘記信息，從而提高處理文本信息的效率。
同時，它設(shè)計了一種硬件感知的并行算法，以遞歸模式運行，避免了GPU內(nèi)存層級之間IO訪問，提高計算效率。
最后它還簡化了架構(gòu)，將SSM架構(gòu)和Transformer中的MLP塊結(jié)合為單一的塊。
從Transformer換到Mamba，能夠讓Falcon模型可以處理任意長序列，但無需增加內(nèi)存。尤其適合單個A10 24GB GPU。
研究還討論了兩種不同的處理序列方法。
并行預填充方法適用于GPU并行處理，對內(nèi)存需求較高；順序填充方法適用于SSM模型，可以處理任意長度序列，從而不會受到內(nèi)存限制。
為了確保大規(guī)模訓練穩(wěn)定，F(xiàn)alcon Mamba模型使用了額外的RMS標準化層。
RMS標準化層能夠簡化LayerNorm的計算過程，可減少計算量。
模型使用了5500GT數(shù)據(jù)訓練，這些數(shù)據(jù)主要來自RefedWeb數(shù)據(jù)集以及公開數(shù)據(jù)。訓練過程基本勻速，在訓練后期增加了一小部分高質(zhì)量策劃數(shù)據(jù)，這有助于模型在最后階段的優(yōu)化。
在H100上，批大小為1、提示詞長度為1-130k生成token的測試中，F(xiàn)alcon Mamba能夠在生成新token時保持穩(wěn)定的吞吐量，這意味著它的性能不受文本長度影響，可以穩(wěn)定處理長序列，不會出現(xiàn)性能下降情況。
Falcon Mamba支持多種Hugging Face API，包括AutoModelForCausalLM、pipline。
還推出了一個指令調(diào)優(yōu)版本，通過額外50億個token進行微調(diào)，可以讓模型準確性更高。
在Hugging Face、GitHub上都可訪問最新模型~
參考鏈接：
https://huggingface.co/blog/falconmamba#hardware-performance
- 4o-mini華人領(lǐng)隊也離職了，這次不怪小扎2025-08-19
- 宇樹機器人“撞人逃逸”火到國外，王興興回應(yīng)：下次不遙控了2025-08-16
- 突破Claude-4編程上限！自進化Agent框架拿下新SOTA，已開源2025-08-19
- 讓OpenAI只領(lǐng)先5天，百川發(fā)布推理新模型，掀翻醫(yī)療垂域開源天花板2025-08-11
相關(guān)閱讀
顏水成發(fā)了個“簡單到令人尷尬”的視覺模型，證明Transformer威力源自其整體架構(gòu)
終結(jié)最強變體之爭
