Qwen開源首個(gè)長文本新模型，百萬Tokens處理性能超GPT-4o-mini

十三 2025-01-27 13:38:33 來源：量子位

金磊 整理自 凹非寺

量子位 | 公眾號(hào) QbitAI

談到大模型的“國貨之光”，除了DeepSeek之外，阿里云Qwen這邊也有新動(dòng)作——

首次將開源Qwen模型的上下文擴(kuò)展到1M長度。

具體而言，這次的新模型有兩個(gè)“杯型”：

• Qwen2.5-7B-Instruct-1M
• Qwen2.5-14B-Instruct-1M

它們?cè)谔幚黹L文本任務(wù)中都已經(jīng)實(shí)現(xiàn)穩(wěn)定超越GPT-4o-mini，并且在處理百萬級(jí)別長文本輸入時(shí)可實(shí)現(xiàn)近7倍的提速！

（百萬Tokens長文本，如果換算來看的話，可以是10本長篇小說、150小時(shí)演講稿或3萬行代碼。）

目前，Qwen新模型相關(guān)的推理框架和技術(shù)報(bào)告等內(nèi)容均已經(jīng)發(fā)布。

接下來，我們就來繼續(xù)深入了解一下。

模型性能

首先，讓我們來看看Qwen2.5-1M系列模型在長上下文任務(wù)和短文本任務(wù)中的性能表現(xiàn)。

在上下文長度高達(dá) 100萬Tokens的 “大海撈針” 式任務(wù) ——Passkey Retrieval（密鑰檢索）中，Qwen2.5-1M系列模型展現(xiàn)出卓越性能，能夠精準(zhǔn)地從長度為1M的文檔里檢索出隱藏信息。

值得一提的是，在整個(gè)系列模型中，僅7B模型出現(xiàn)了為數(shù)不多的錯(cuò)誤。

對(duì)于更復(fù)雜的長上下文理解任務(wù)，研究團(tuán)隊(duì)選擇了RULER、LV-Eval和LongbenchChat等測(cè)試集。

綜合這些結(jié)果來看，可以得到的關(guān)鍵結(jié)論如下：

一方面，Qwen2.5-1M系列模型相比之前的128K版本有顯著進(jìn)步。

在多數(shù)長上下文任務(wù)場(chǎng)景中，它表現(xiàn)更為出色，特別是應(yīng)對(duì)超過64K長度的任務(wù)時(shí)，能夠更有效地處理信息，展現(xiàn)出相較于128K版本更強(qiáng)的適應(yīng)性與處理能力。

另一方面，Qwen2.5-14B-Instruct-1M模型具備一定優(yōu)勢(shì)。

在與Qwen2.5-Turbo以及GPT-4o-mini的對(duì)比中，該模型在多個(gè)數(shù)據(jù)集上的測(cè)評(píng)成績更為突出。

這意味著，在現(xiàn)有的長上下文模型可選范圍內(nèi)，它作為開源模型，能夠?yàn)槭褂谜咛峁┮环N性能相對(duì)可靠、可替代其他產(chǎn)品的選擇，不過不同模型都有各自的特點(diǎn)與適用場(chǎng)景，仍需依據(jù)具體需求進(jìn)行判斷。

除了長序列任務(wù)的性能外，我們同樣關(guān)注這些模型在短序列上的表現(xiàn)。

團(tuán)隊(duì)在廣泛使用的學(xué)術(shù)基準(zhǔn)測(cè)試中比較了Qwen2.5-1M系列模型及之前的128K版本，并加入了GPT-4o-mini進(jìn)行對(duì)比。

由此可以發(fā)現(xiàn)：

• Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M在短文本任務(wù)上的表現(xiàn)與其128K版本相當(dāng)，確保了基本能力沒有因?yàn)樵黾恿碎L序列處理能力而受到影響。
• 與GPT-4o-mini相比，Qwen2.5-14B-Instruct-1M和Qwen2.5-Turbo在短文本任務(wù)上實(shí)現(xiàn)了相近的性能，同時(shí)上下文長度是GPT-4o-mini的八倍。

如何煉成的？

在介紹完性能之后，我們來看下Qwen新模型背后的關(guān)鍵技術(shù)。

主要可以分為三大步驟，它們分別是長上下文訓(xùn)練、長度外推和稀疏注意力機(jī)制。

長序列的訓(xùn)練需要大量的計(jì)算資源，因此團(tuán)隊(duì)采用了逐步擴(kuò)展長度的方法，在多個(gè)階段將Qwen2.5-1M的上下文長度從4K擴(kuò)展到256K：

• 團(tuán)隊(duì)從預(yù)訓(xùn)練的Qwen2.5的一個(gè)中間檢查點(diǎn)開始，此時(shí)上下文長度為4K。
• 在預(yù)訓(xùn)練階段，團(tuán)隊(duì)逐步將上下文長度從4K增加到256K，同時(shí)使用Adjusted Base Frequency的方案，將RoPE基礎(chǔ)頻率從10,000提高到10,000,000。

在監(jiān)督微調(diào)階段，團(tuán)隊(duì)分兩個(gè)階段進(jìn)行以保持短序列上的性能：* 第一階段：僅在短指令（最多32K長度）上進(jìn)行微調(diào)，這里我們使用與Qwen2.5的128K版本相同的數(shù)據(jù)和步驟數(shù)，以獲得類似的短任務(wù)性能。

• 第二階段：混合短指令（最多32K）和長指令（最多256K）進(jìn)行訓(xùn)練，以實(shí)現(xiàn)在增強(qiáng)長任務(wù)的性能的同時(shí)，保持短任務(wù)上的準(zhǔn)確率。

在強(qiáng)化學(xué)習(xí)階段，團(tuán)隊(duì)在短文本（最多8K長度）上訓(xùn)練模型。團(tuán)隊(duì)發(fā)現(xiàn)，即使在短文本上進(jìn)行訓(xùn)練，也能很好地將人類偏好對(duì)齊性能泛化到長上下文任務(wù)中。

通過以上訓(xùn)練，最終獲得了256K上下文長度的指令微調(diào)模型。

在上述訓(xùn)練過程中，模型的上下文長度僅為256K個(gè)Tokens。為了將其擴(kuò)展到1M ，團(tuán)隊(duì)采用了長度外推的技術(shù)。

當(dāng)前，基于旋轉(zhuǎn)位置編碼的大型語言模型會(huì)在長上下文任務(wù)中產(chǎn)生性能下降，這主要是由于在計(jì)算注意力權(quán)重時(shí)，Query和Key之間的相對(duì)位置距離過大，在訓(xùn)練過程中未曾見過。

為了解決這一問題，團(tuán)隊(duì)引入了Dual Chunk Attention (DCA)，該方法通過將過大的相對(duì)位置，重新映射為較小的值，從而解決了這一難題。

結(jié)果表明，即使是僅在32K長度上訓(xùn)練的Qwen2.5-7B-Instruct，在處理1M上下文的Passkey Retrieval任務(wù)中也能達(dá)到近乎完美的準(zhǔn)確率。

這充分展示了DCA在無需額外訓(xùn)練的情況下，也可顯著擴(kuò)展支持的上下文長度的強(qiáng)大能力。

最后，便是稀疏注意力機(jī)制。

對(duì)于長上下文的語言模型，推理速度對(duì)用戶體驗(yàn)至關(guān)重要。為為此，團(tuán)隊(duì)引入了基于MInference的稀疏注意力優(yōu)化。

在此基礎(chǔ)上，研究人員還提出了一系列改進(jìn)：包括分塊預(yù)填充、集成長度外推方案、稀疏性優(yōu)化等。

通過這些改進(jìn)，團(tuán)隊(duì)的推理框架在不同模型大小和GPU設(shè)備上，處理1M長度輸入序列的預(yù)填充速度提升了3.2倍到6.7倍。

最后，該項(xiàng)目已經(jīng)提供了在線體驗(yàn)的地址，感興趣的小伙伴可以去嘗鮮了~

HuggingFace體驗(yàn)地址：
https://huggingface.co/spaces/Qwen/Qwen2.5-1M-Demo

魔塔社區(qū)體驗(yàn)地址：
https://www.modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo

技術(shù)報(bào)告：
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf

參考鏈接：
https://qwenlm.github.io/zh/blog/qwen2.5-1m/