阿里開源長文本深度思考模型！漸進式強化學習破解長文本訓練難題

夢晨 2025-05-27 15:08:28 來源：量子位

夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

推理大模型開卷新方向，阿里開源長文本深度思考模型QwenLong-L1，登上HuggingFace今日熱門論文第二。

其32B參數(shù)版本超過OpenAI-o3-mini、Qwen3-235B-A22B等，取得與Claude-3.7-Sonnet-Thingking相當?shù)男阅堋?/p>

除測評分數(shù)外，論文中還詳細展示了一個金融文檔推理的案例。傳統(tǒng)模型容易被無關細節(jié)誤導，而QwenLong-L1通過回溯和驗證機制過濾干擾信息，正確整合關鍵數(shù)據(jù)。

任務要求：根據(jù)文檔回答問題“將優(yōu)先票據(jù)的發(fā)行成本與第一年的利息支出合并計算，總資本成本是多少？”

首先出場的基礎模型DeepSeek-R1-Distill-Qwen-14B被文檔中“自2011年10月15日起每半年支付一次利息”誤導，根據(jù)不相關的時間和財務信息，錯誤計算了第一年的利息支付。

接下來，經(jīng)過額外SFT的版本仍然未能解決這個問題。

它在對不相關文檔進行過度分析的循環(huán)中自我懷疑，最終盡了最大生成限制（10000 tokens），卻沒有給出最終答案。

相比之下，雖然QwenLong-L1-14B最初也表現(xiàn)出類似的分心，但它很快進行了有效的自我反思。通過及時驗證和回溯，成功過濾掉了不相關的細節(jié)，得出了正確答案。

那么，QwenLong-L1是如何做到的？

漸進式上下文擴展

首先，現(xiàn)有推理模型在面對長文本（如幾萬字甚至更長）時遇到什么問題？

Qwen團隊通過對比實驗發(fā)現(xiàn)，長文本推理的強化學習訓練存在兩個“硬傷”：

一是訓練效率低，傳統(tǒng)強化學習（RL）方法在長文本中容易陷入局部最優(yōu)，獎勵收斂慢，限制了策略優(yōu)化時的探索行為。

二是優(yōu)化過程不穩(wěn)定，長文本任務的輸出長度更高、輸入長度分布不均勻，導致策略更新時的方差被放大，訓練過程中參數(shù)更新不穩(wěn)定（如KL散度坐過山車）。

為此團隊提出QwenLong-L1訓練框架，核心是通過漸進式上下文擴展讓模型逐步適應長文本推理。訓練過程分為兩階段：

預熱監(jiān)督微調(diào)（Warm-Up Supervised Fine-Tuning）

在開始強化學習之前，先用高質(zhì)量的演示數(shù)據(jù)進行監(jiān)督微調(diào)，讓模型先具備基本的長文本理解能力、推理鏈生成能力和答案提取能力。

團隊從DeepSeek-R1蒸餾了5.3K個高質(zhì)量的問題-文檔-答案三元組，確保模型有個穩(wěn)定的起點。實驗結果顯示，這個”熱身”階段對后續(xù)的強化學習訓練至關重要。

課程引導的分階段強化學習（Curriculum-Guided Phased Reinforcement Learning）。

從短文本逐步過渡到長文本。例如，先訓練模型處理2萬token的文本，穩(wěn)定后再增加到6萬token，最后到128K。每個階段只關注對應長度的文本。

此外還引入了難度感知的回溯采樣機制。在進入下一階段時，會保留前一階段中最難的樣本（平均準確率為零的那些），確保模型不會”忘記”如何處理困難案例。

長文本問答的答案往往比較開放，單純的規(guī)則匹配太死板，可能漏掉正確答案。

QwenLong-L1在強化學習訓練中采用混合獎勵函數(shù)，結合了基于規(guī)則的驗證和LLM-as-a-Judge。

規(guī)則驗證也就是直接檢查答案是否與標準答案完全一致（如數(shù)學題計算結果是否正確），再用另一個模型判斷答案的語義是否正確（應對答案表述不同但意思一致的情況），兩者結合避免單一規(guī)則過于嚴格或?qū)捤?/p>

在DocMath、Frames、2WikimQA等七個長文本基準測試中，QwenLong-L1-14B相比基礎模型R1-Distill-Qwen-14B，平均提升了4.1分，超越了Gemini-2.0-Flash-Thinking和Qwen3-32B。

QwenLong-L1的32B版本相比基礎模型提升了5.1分，達到70.7的平均分。這個成績不僅超過了OpenAI-o3-mini（70.4分）、Qwen3-235B-A22B（70.6分），甚至和Claude-3.7-Sonnet-Thinking（70.7分）打成平手。

團隊還針對Test-time Scaling性能做了評估。當生成16個候選答案時，QwenLong-L1-14B的表現(xiàn)超過了DeepSeek-R1和OpenAI-o1-preview。

最后論文中還深入探討了兩個問題：

1. 既然SFT相對簡單便宜，為什么還要費勁搞強化學習（RL）？

實驗結果很有啟發(fā)性。長文本SFT確實能帶來2.6分的提升，比短文本SFT的效果更好。但是，如果在長文本SFT的基礎上再做RL，提升幅度只有0.3分；而在短文本SFT基礎上做RL，卻能提升3.2分。

對此團隊提出一個觀點：SFT提供了一種經(jīng)濟的性能提升方式，而RL則是達到最優(yōu)性能必不可少的。

通過跟蹤分析了四種關鍵推理行為發(fā)現(xiàn)3個結論：信息定位（grounding）、子目標設定（subgoal setting）、回溯（backtracking）和驗證（verification）。

• 所有模型都展現(xiàn)出明顯的推理行為，尤其是信息定位行為出現(xiàn)頻率最高，這證明了它在處理上下文依賴推理時的重要性；
• 強化學習訓練過程中，這些行為會逐漸增強，并與性能提升高度相關，表明強化學習能有效調(diào)整輸出空間，優(yōu)先保留有助于得出準確解答的推理模式
• 雖然SFT模型也能學會這些行為，但這些表面上的行為模仿并沒有帶來實質(zhì)性能提升，這揭示了SFT更關注表面模式匹配，而非實質(zhì)推理能力的培養(yǎng)。

論文地址：
https://arxiv.org/pdf/2505.17667