陳丹琦團隊新作：微調(diào)8B模型超越Claude3 Opus，背后是RLHF新平替

克雷西 2024-05-27 14:42:26 來源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

比斯坦福DPO（直接偏好優(yōu)化）更簡單的RLHF平替來了，來自陳丹琦團隊。

該方式在多項測試中性能都遠超DPO，還能讓8B模型戰(zhàn)勝Claude 3的超大杯Opus。

而且與DPO相比，訓(xùn)練時間和GPU消耗也都大幅減少。

這種方法叫做SimPO，Sim是Simple的簡寫，意在突出其簡便性。

與DPO相比，SimPO擺脫了對參考模型的需要，在簡化訓(xùn)練流程的同時，還避免了訓(xùn)練和推理不一致的問題。

對于這項成果，普林斯頓PLI主任Sanjeev Arora教授這樣稱贊：

和（SimPO方法調(diào)整出的）模型聊天感覺讓人難以置信。
Llama3-8B是現(xiàn)在最好的小模型，SimPO把它變得更好了。

成果發(fā)布并開源后，大模型微調(diào)平臺Llama-Factory也迅速宣布引進。

擺脫對參考模型的需要

陳丹琦團隊的SimPO，和斯坦福提出的DPO一樣，都是對RLHF中的獎勵函數(shù)進行優(yōu)化。

在傳統(tǒng)的RLHF中，獎勵函數(shù)通常由一個獨立的獎勵模型提供，需要額外的訓(xùn)練和推理；DPO利用人類偏好和模型輸出之間的關(guān)系，直接用語言模型的對數(shù)概率來構(gòu)建獎勵函數(shù)，繞開了獎勵模型的訓(xùn)練。

而和DPO相比，SimPO只基于當(dāng)前優(yōu)化的模型π_θ進行設(shè)計，完全擺脫了對參考模型π_ref的依賴。

具體來說，SimPO采用了長度歸一化的對數(shù)概率作為獎勵函數(shù)。

其中，β是一個正的縮放系數(shù)，|y|表示回復(fù)y的token長度，πθ(y|x)表示當(dāng)前語言模型πθ生成回復(fù)y的概率。

對數(shù)概率是衡量生成質(zhì)量的常用指標(biāo)，較高的對數(shù)概率意味著在當(dāng)前模型看來，這個回復(fù)是高質(zhì)量、自然、連貫的。

因此，這種獎勵方式可以讓模型生成的回復(fù)更加符合自身已有知識。

長度歸一化則是指，在函數(shù)當(dāng)中，獎勵值除以了回復(fù)長度|y|，起到了“懲罰”過長回復(fù)的作用。

這樣做的原因是語言模型傾向于生成更長的文本，因為每個額外的token都會為總對數(shù)概率做貢獻，但過長的回復(fù)往往會降低可讀性和信息密度。

除以長度相當(dāng)于計算平均每個token的對數(shù)概率，鼓勵模型用盡可能簡潔的方式表達完整的信息。

消融實驗結(jié)果也證實，如果不進行長度歸一化，模型很容易利用長度偏差，只有在生成文本較長時才有較好的表現(xiàn)。

除了使用對數(shù)概率和長度歸一化，SimPO還引入了獎勵差異項（公式中的γ）對目標(biāo)函數(shù)進行改進。

引入γ相當(dāng)于給正負樣本的差異設(shè)定了一個閾值，主要目的就是加強優(yōu)化信號，促使模型學(xué)習(xí)更加鮮明地區(qū)分正負樣本。

在標(biāo)準(zhǔn)的Bradley-Terry損失中，只要正樣本的獎勵略高于負樣本，損失就會很低，導(dǎo)致模型對正負樣本的區(qū)分不夠清晰；加入γ項后，模型必須使正樣本的獎勵明顯高于負樣本，才能取得較好的優(yōu)化效果。

當(dāng)然如果γ過大則可能會給優(yōu)化帶來困難，導(dǎo)致訓(xùn)練不穩(wěn)定或收斂速度變慢，作者通過實驗比較了不同γ值的效果，最終發(fā)現(xiàn)γ在0.8到1.6之間時SimPO可以取得最佳表現(xiàn)。

總體的消融實驗結(jié)果表明，長度歸一化和獎勵差異項的引入都是讓SimPO表現(xiàn)進一步提升的關(guān)鍵，無論是在AlpacaEval 2還是Arena-Hard當(dāng)中，缺少兩項技術(shù)中的任意一項，都會造成表現(xiàn)下降。

那么，SimPO的具體表現(xiàn)究竟怎樣呢？

表現(xiàn)超越各種“PO”，還讓8B模型戰(zhàn)勝Claude 3

作者首先在AlpacaEval 2基準(zhǔn)上對SimPO調(diào)整后的Llama3-Instruct-8B模型和榜單上的先進模型進行了比較。

該測試的主要指標(biāo)是Win Rate及加入長度控制（LC）后的Win Rate，即模型的回答被評判者認為比GPT-4 Turbo（1106）更好的比例（這里評判者也是GPT4-Turbo）。

結(jié)果，SimPO調(diào)整后的8B模型，表現(xiàn)已經(jīng)超過了Claude 3的超大杯Opus；和DPO相比，勝率也有10%左右的提升。

接著，作者又用AlpacaEval 2、Arena-Hard和MT-Bench基準(zhǔn)，將SimPO的實際效果與一些其他PO進行了對比。

其中Arena-Hard與AlpacaEval 2類似都是比較勝率，但前者任務(wù)難度更大，需要多步推理和專業(yè)知識，此外baseline也換成了GPT4-0314。

MT-Bench則是一個多語言理解評測基準(zhǔn)，評價方式是直接打分，裁判是GPT-4和GPT-4-Turbo。

參與比較的其他PO如下表所示，其中ORPO和SimPO一樣都沒有使用參考模型。

結(jié)果，在Arena-Hard與AlpacaEval 2上，調(diào)整Mistral-7B和Llama3-8B兩種模型時，無論是Base還是Instruct版本，SimPO的效果都顯著優(yōu)于DPO等其他方式。

在MT-Bench測試當(dāng)中，GPT-4-Turbo也都把最高分打給了SimPO，GPT-4給出的成績中SimPO也與最高分十分接近。

另外SimPO的開銷也大幅減少，在8塊H100上，SimPO調(diào)整Llama3-8B的時間為60分鐘，比DPO減少了20%；GPU消耗峰值為69GB，也比DPO少了10%。

但同時，作者也指出了SimPO還存在一些不足：

• 一是未明確考慮安全性和誠實性，采用的獎勵函數(shù)主要關(guān)注了模型的表現(xiàn)，需要進一步加強安全措施；
• 二是在GSM8k等需要密集推理的任務(wù)，特別是數(shù)學(xué)問題上的表現(xiàn)有所下降，未來會考慮集成一些正則化策略進行改進。

有網(wǎng)友也指出，讓一個8B模型取得超越Claude3-Opus的勝率，一定會有過擬合的現(xiàn)象出現(xiàn)。

對此作者表示確實存在這種可能，但也強調(diào)，在單獨一個標(biāo)準(zhǔn)上成績比Claude高，并不意味著全面超越，比如在Arena-Hard上的表現(xiàn)就不如Claude。

不過無論如何，SimPO創(chuàng)新性運用到的長度歸一化和獎勵差異項，都可以給大模型從業(yè)者帶來新的啟發(fā)。

論文地址：
https://arxiv.org/abs/2405.14734