1/30訓練步驟復刻DeepSeek-R1-Zero，沈向洋姜大昕張祥雨等開源推理模型RL訓練方法
復雜獎勵函數(shù)不是必要的
夢晨 西風 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
DeepSeek啥都開源了，就是沒有開源訓練代碼和數(shù)據(jù)。
現(xiàn)在，開源RL訓練方法只需要用1/30的訓練步驟就能趕上相同尺寸的DeepSeek-R1-Zero蒸餾Qwen。
國內大模型六小強之一的階躍星辰聯(lián)與清華聯(lián)合發(fā)布Open Reasoner Zero（ORZ），由AI大拿沈向洋、階躍星辰創(chuàng)始人/CEO姜大昕、ResNet作者張祥雨等一眾大佬親自署名。
在響應長度上，用約17%的訓練步驟就能趕上DeepSeek-R1-Zero 671B。
值得關注的是，團隊還發(fā)現(xiàn)了一個重要的轉折點——
在訓練步驟約680步時，模型的訓練獎勵值、反思能力和回答長度同時出現(xiàn)顯著提升，疑似出現(xiàn)了DeepSeek-R1-Zero論文中類似的“頓悟時刻”（aha moment）。
目前，研究訓練數(shù)據(jù)、訓練代碼、論文、模型全都100％開源，開源許可證用的也是寬松的MIT Lisence。
開源48小時，就已速攬700+星星。
以下是更多細節(jié)。
復雜的獎勵函數(shù)不必要？！
通過廣泛的實驗，團隊證明了一種極簡主義的方法，帶有GAE的原版PPO就可以有效地擴展RL訓練（關鍵的參數(shù)設置是GAE λ= 1，折扣因子γ=1）。
再加上基于規(guī)則的獎勵函數(shù)，足以在推理任務上同時擴大響應長度和基準性能，類似于DeepSeek-R1-Zero中觀察到的現(xiàn)象。
這一結果表明復雜的獎勵函數(shù)是不必要的。
另外，團隊在不依賴任何基于KL的正則化技術的情況下實現(xiàn)了穩(wěn)定的訓練，這與RLHF和推理模型領域目前的認知不同，這也為進一步擴大強化學習規(guī)模提供了希望。
同時擴大數(shù)據(jù)數(shù)量和多樣性對于Open Reasoner Zero的訓練至關重要。雖然在像MATH這樣有限的學術數(shù)據(jù)集上訓練會導致性能快速達到平臺期，但精心策劃的大規(guī)模多樣化數(shù)據(jù)集能夠實現(xiàn)持續(xù)擴展，在訓練集和測試集上都沒有飽和的跡象。
在以Qwen2.5-Base-7B為基礎模型的實驗中，所有基準測試在某個時間點都會經歷獎勵和響應長度的突然增加，這種現(xiàn)象類似于涌現(xiàn)行為。
在整個訓練過程中，Average Correct Reflection Length始終高于 Average Response Length。一個特別值得注意的現(xiàn)象出現(xiàn)在第 680步附近，可以觀察到三個指標同時加速。
最終，Open-Reasoner-Zero模型在MMLU和MMLU_PRO基準測試中，無需任何額外的指令調整即可超越 Qwen2.5 Instruct。
One More Thing
昨天，在階躍星辰生態(tài)開放日上，階躍星辰創(chuàng)始人兼CEO姜大昕就有簡單提及這項研究。
只提了一嘴，是因為研究還未完全完成（Working in Progress)，隨時可能有新進展，感興趣的盆友可以關注一哈。
項目地址：
https://github.com/Open-Reasoner-Zero/Open-Reasoner-Zero/
- 多人有聲視頻一體化生成！用百度最新AI生成營銷視頻，現(xiàn)在1.4元/5秒2025-08-22
- 馬斯克一覺醒來，Space X在京開賣了2025-08-21
- 離譜！現(xiàn)在的Agent都卷成100個成團了？3分鐘并行干完5個復雜任務，還能隨時改需求2025-08-18
- 國家級AI創(chuàng)新應用賽事殺瘋了！超200萬元獎金池+全場景賽道，沖線團隊速來2025-08-15
相關閱讀
OPPO 旗艦新機 Find X8 Ultra 首發(fā)“一鍵閃記”，階躍星辰多模態(tài)提供技術支持
只需拍一張圖，小布助手就可以精準識別并理解圖像中蘊含的信息
