翁荔離職OpenAI后第一個(gè)動(dòng)作：萬(wàn)字長(zhǎng)文探討RLHF的漏洞，網(wǎng)友們搶著傳看

夢(mèng)晨 西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

之前領(lǐng)導(dǎo)OpenAI安全團(tuán)隊(duì)的北大校友翁荔（Lilian Weng），離職后第一個(gè)動(dòng)作來(lái)了。

當(dāng)然是發(fā)～博～客。

前腳剛發(fā)出來(lái)，后腳就被大伙兒齊刷刷碼住，評(píng)論區(qū)一堆人排隊(duì)加待讀清單。

還有不少OpenAI前同事轉(zhuǎn)發(fā)推薦。

這次的博客一如既往萬(wàn)字干貨，妥妥一篇研究綜述，翁荔本人直言寫起來(lái)不容易。

主題圍繞強(qiáng)化學(xué)習(xí)中獎(jiǎng)勵(lì)黑客（Reward Hacking）問(wèn)題展開(kāi)，即Agent利用獎(jiǎng)勵(lì)函數(shù)或環(huán)境中的漏洞來(lái)獲取高獎(jiǎng)勵(lì)，而并未真正學(xué)習(xí)到預(yù)期行為。

她強(qiáng)調(diào)獎(jiǎng)勵(lì)黑客行為在大模型的RLHF訓(xùn)練中的潛在影響，并呼吁更多研究關(guān)注理解和緩解這一問(wèn)題。

在我看來(lái)，這是現(xiàn)實(shí)世界部署更多自主AI模型應(yīng)用的主要障礙。

嘗試定義Reward Hacking

傳統(tǒng)概念強(qiáng)化學(xué)習(xí)中，Agent利用獎(jiǎng)勵(lì)函數(shù)中的缺陷或模糊性來(lái)獲得高額獎(jiǎng)勵(lì)，而沒(méi)有真正學(xué)習(xí)或完成預(yù)期任務(wù)，是一個(gè)常見(jiàn)的問(wèn)題。

她舉的例子包括：

• 機(jī)器人把手放在物體和攝像頭之間，欺騙人類已經(jīng)抓住物體了
• 以跳的更高為目標(biāo)的Agent在物理模擬器中利用程序bug，完成不符合物理規(guī)律的跳躍。
  ……

在大模型中，Reward hacking則可能表現(xiàn)為：

• 摘要生成模型利用ROUGE評(píng)估指標(biāo)的缺陷獲得高分，但生成的摘要難以閱讀。
• 代碼模型篡改單元測(cè)試代碼，甚至直接修改獎(jiǎng)勵(lì)本身。

翁荔認(rèn)為Reward hacking的存在有兩大原因：

• 強(qiáng)化學(xué)習(xí)環(huán)境通常不完美
• 準(zhǔn)確指定獎(jiǎng)勵(lì)函數(shù)本質(zhì)上是一項(xiàng)艱巨的挑戰(zhàn)

語(yǔ)言模型興起的時(shí)代，并且RLHF成為對(duì)齊訓(xùn)練事實(shí)上的方法，語(yǔ)言模型強(qiáng)化學(xué)習(xí)中的Reward hacking表現(xiàn)也相當(dāng)令她擔(dān)憂。

過(guò)去學(xué)術(shù)界對(duì)這個(gè)話題的研究都相當(dāng)理論，專注于定義或證明Reward hacking的存在，然而關(guān)于實(shí)際該如何緩解這種現(xiàn)象的研究仍然有限。

她寫這篇博客，也是想呼吁更多研究關(guān)注、理解和緩解這一問(wèn)題。

為了定義Reward Hacking，翁荔首先回顧了近年來(lái)學(xué)術(shù)界提出的相關(guān)概念

包括獎(jiǎng)勵(lì)腐敗(Reward corruption)、獎(jiǎng)勵(lì)篡改(Reward tampering)等等。

其中，Reward hacking這個(gè)概念，早在2016年由Anthropic創(chuàng)始人Dario Amodei共一論文提出。

當(dāng)時(shí)他和另一位聯(lián)創(chuàng)Chris Olah還在谷歌大腦，且已經(jīng)與OpenAI聯(lián)創(chuàng)John Schulman展開(kāi)合作。

如今他們仨又在Anthropic匯合了……

言歸正傳，綜合一系列研究，翁荔認(rèn)為Reward Hacking在較高層次上可分為兩類：

• 環(huán)境或目標(biāo)設(shè)定不當(dāng)：由于環(huán)境設(shè)計(jì)或獎(jiǎng)勵(lì)函數(shù)存在缺陷，導(dǎo)致Agent學(xué)到非預(yù)期行為。
• 獎(jiǎng)勵(lì)篡改：Agent學(xué)會(huì)直接干預(yù)獎(jiǎng)勵(lì)機(jī)制本身。

同時(shí)她也認(rèn)為設(shè)計(jì)有效的獎(jiǎng)勵(lì)塑造機(jī)制本質(zhì)上很困難。

與其責(zé)備設(shè)計(jì)不當(dāng)?shù)莫?jiǎng)勵(lì)函數(shù)，不如承認(rèn)由于任務(wù)本身的復(fù)雜性、部分可觀察狀態(tài)、考慮的多個(gè)維度和其他因素，設(shè)計(jì)一個(gè)好的獎(jiǎng)勵(lì)函數(shù)本身就是一項(xiàng)內(nèi)在挑戰(zhàn)。

另外在分布外環(huán)境中測(cè)試強(qiáng)化學(xué)習(xí)Agent時(shí)，還可能出現(xiàn)以下問(wèn)題：

• 模型即使有正確的目標(biāo)也無(wú)法有效泛化，這通常發(fā)生在算法缺乏足夠的智能或能力時(shí)。
• 模型能夠很好地泛化，但追求的目標(biāo)與其訓(xùn)練目標(biāo)不同。

那么，為什么會(huì)出現(xiàn)Reward Hacking？根據(jù)Amodei等人2016年的分析成因包括：

• 環(huán)境狀態(tài)和目標(biāo)的不完全可觀測(cè)性，導(dǎo)致獎(jiǎng)勵(lì)函數(shù)無(wú)法完美表征環(huán)境。
• 系統(tǒng)復(fù)雜性使其易受攻擊，尤其是被允許執(zhí)行改變環(huán)境的代碼時(shí)。
• 涉及抽象概念的獎(jiǎng)勵(lì)難以學(xué)習(xí)或表述。
• RL的目標(biāo)就是高度優(yōu)化獎(jiǎng)勵(lì)函數(shù)，這與設(shè)計(jì)良好的RL目標(biāo)之間存在內(nèi)在”沖突”。

此外，觀察到的Agent行為可能與無(wú)數(shù)個(gè)獎(jiǎng)勵(lì)函數(shù)相一致，準(zhǔn)確識(shí)別其真正優(yōu)化的獎(jiǎng)勵(lì)函數(shù)在一般情況下是不可能的。

翁荔預(yù)計(jì)隨著模型和算法的日益復(fù)雜，Reward Hacking問(wèn)題會(huì)更加普遍。

更智能的模型更善于發(fā)現(xiàn)并利用獎(jiǎng)勵(lì)函數(shù)中的”漏洞”，使Agent獎(jiǎng)勵(lì)與真實(shí)獎(jiǎng)勵(lì)出現(xiàn)偏差。相比之下，能力較弱的算法可能無(wú)法找到這些漏洞。

那么，大模型時(shí)代的Reward Hacking，又有哪些獨(dú)特之處？

語(yǔ)言模型中的Reward Hacking

在RLHF訓(xùn)練中，人們通常關(guān)注三種類型的獎(jiǎng)勵(lì)：

• 人們真正希望大模型優(yōu)化的內(nèi)容，被稱為黃金獎(jiǎng)勵(lì)（Gold reward）
• 人類獎(jiǎng)勵(lì)（Human reward），實(shí)際用來(lái)評(píng)估大模型，在數(shù)據(jù)標(biāo)注任務(wù)中來(lái)自個(gè)體人類，且標(biāo)注有時(shí)間限制，并不能完全準(zhǔn)確地反映黃金獎(jiǎng)勵(lì)
• 代理獎(jiǎng)勵(lì)（Proxy reward），也就是在人類數(shù)據(jù)上訓(xùn)練的獎(jiǎng)勵(lì)模型所預(yù)測(cè)的得分，繼承了人類獎(jiǎng)勵(lì)的所有弱點(diǎn)，加上潛在的建模偏差

翁荔認(rèn)為，RLHF通常優(yōu)化代理獎(jiǎng)勵(lì)分?jǐn)?shù)，但人們最終關(guān)心的是黃金獎(jiǎng)勵(lì)分?jǐn)?shù)。

例如，模型可能經(jīng)過(guò)優(yōu)化，學(xué)會(huì)輸出看似正確且有說(shuō)服力的回答，但實(shí)際上卻是不準(zhǔn)確的，這可能會(huì)誤導(dǎo)人類評(píng)估者更頻繁地批準(zhǔn)其錯(cuò)誤答案。

換句話說(shuō)，由于RLHF，“正確”與“對(duì)人類看似正確”之間出現(xiàn)了分歧。

在一項(xiàng)RLHF研究中，使用了大模型競(jìng)技場(chǎng)ChatbotArena數(shù)據(jù)訓(xùn)練獎(jiǎng)勵(lì)模型，就出現(xiàn)AI更擅長(zhǎng)說(shuō)服人類它們是正確的情況：

• RLHF提高了人類對(duì)AI回答的認(rèn)可度，但不一定就能提高AI的正確率。
• RLHF削弱了人類對(duì)AI回答的評(píng)估能力，評(píng)估的錯(cuò)誤率更高。
• RLHF使錯(cuò)誤的AI回答對(duì)于人類更有說(shuō)服力，表現(xiàn)為評(píng)估的假陽(yáng)性率顯著增加。

此外，隨著大模型越來(lái)越多作為評(píng)估者對(duì)其他模型提供反饋，也可能進(jìn)一步引入偏差。

翁荔認(rèn)為這種偏差尤其令人擔(dān)心，因?yàn)樵u(píng)估模型的輸出被用作獎(jiǎng)勵(lì)信號(hào)的一部分，可能容易被利用。

比如2023年一項(xiàng)實(shí)驗(yàn)中，簡(jiǎn)單改變候選答案的順序就能改變結(jié)果，GPT-4傾向于給第一個(gè)答案高分?jǐn)?shù)，ChatGPT（3.5）更傾向于第二個(gè)。

另外，即使不更新參數(shù)，大模型僅靠上下文學(xué)習(xí)能力也可能產(chǎn)生Reward hacking現(xiàn)象，稱為ICRH（In-context Reward Hacking）。

ICRH與傳統(tǒng)Reward Hacking還有兩個(gè)顯著不同：

• ICRH在自我優(yōu)化設(shè)置中的測(cè)試時(shí)間通過(guò)反饋循環(huán)發(fā)生，而傳統(tǒng)Reward hking行為在訓(xùn)練期間發(fā)生。
• 傳統(tǒng)Reward hacking行為出現(xiàn)在Agent專注于一項(xiàng)任務(wù)時(shí)，而ICRH則是由完成通用任務(wù)驅(qū)動(dòng)的。

翁荔認(rèn)為目前還沒(méi)有避免、檢測(cè)或預(yù)防ICRH的有效方法，僅僅提高提示的準(zhǔn)確性不足以消除ICRH，而擴(kuò)大模型規(guī)模可能會(huì)加劇ICRH。

在部署前進(jìn)行測(cè)試的最佳實(shí)踐是通過(guò)更多輪次的反饋、多樣化的反饋以及注入非典型環(huán)境觀察來(lái)模擬部署時(shí)可能發(fā)生的情況。

緩解措施

最后翁荔表示盡管有大量文獻(xiàn)討論獎(jiǎng)勵(lì)黑客現(xiàn)象，但少有工作提出緩解獎(jiǎng)勵(lì)黑客的措施。

她簡(jiǎn)要回顧了三種潛在方法。

一種是改進(jìn)強(qiáng)化學(xué)習(xí)算法。

前面提到的Anthropic創(chuàng)始人Dario Amodei2016年共一論文“Concrete Problems in AI Safety”中，指出了一些緩解方向，包括：

對(duì)抗性獎(jiǎng)勵(lì)函數(shù)（Adversarial reward functions）、模型預(yù)測(cè)（Model Lookahead）、對(duì)抗性盲化（Adversarial blinding）、謹(jǐn)慎的工程設(shè)計(jì)（Careful engineering）、獎(jiǎng)勵(lì)上限（Reward capping）、反例抵抗（Counterexample resistance）、多獎(jiǎng)勵(lì)組合（Combination of multiple rewards）、獎(jiǎng)勵(lì)預(yù)訓(xùn)練（Reward pretraining）、變量不敏感性（Variable indifference）、陷阱機(jī)制（Trip wires）。

此外，谷歌DeepMind團(tuán)隊(duì)此前提出了“解耦批準(zhǔn)”的方法來(lái)防止獎(jiǎng)勵(lì)篡改。

在這種方法中，收集反饋的行為與實(shí)際執(zhí)行的行為是分開(kāi)的，反饋會(huì)在行為執(zhí)行前就給出，避免了行為對(duì)自己反饋的影響。

另一種潛在緩解措施是檢測(cè)獎(jiǎng)勵(lì)黑客行為。

將獎(jiǎng)勵(lì)黑客行為視為一個(gè)異常檢測(cè)任務(wù)，其中檢測(cè)器應(yīng)標(biāo)記出不一致的實(shí)例。

給定一個(gè)可信策略和一組手動(dòng)標(biāo)注的軌跡回放，可以基于可信策略和目標(biāo)策略這兩個(gè)策略的動(dòng)作分布之間的距離構(gòu)建一個(gè)二分類器，并測(cè)量這個(gè)異常檢測(cè)分類器的準(zhǔn)確性。

之前有實(shí)驗(yàn)觀察到，不同的檢測(cè)器適用于不同的任務(wù)，而且在所有測(cè)試的強(qiáng)化學(xué)習(xí)環(huán)境中，沒(méi)有任何測(cè)試的分類器能夠達(dá)到60%以上的AUROC。

第三種潛在緩解措施是分析RLHF數(shù)據(jù)。

通過(guò)檢查訓(xùn)練數(shù)據(jù)如何影響對(duì)齊訓(xùn)練結(jié)果，可以獲得有關(guān)預(yù)處理和人類反饋收集的見(jiàn)解，從而降低獎(jiǎng)勵(lì)黑客風(fēng)險(xiǎn)。

哈佛大學(xué)與OpenAI研究人員今年合作提出了一套評(píng)估指標(biāo)，用于衡量數(shù)據(jù)樣本特征在建模和對(duì)齊人類價(jià)值觀方面的有效性。他們?cè)贖HH-RLHF數(shù)據(jù)集上進(jìn)行了系統(tǒng)的錯(cuò)誤分析以進(jìn)行價(jià)值對(duì)齊（SEAL）。

這一篇博客關(guān)于緩解措施的部分還只是“初探”，翁荔對(duì)下一篇內(nèi)容給出了預(yù)告：

希望我很快能在一篇專門的帖子中涵蓋緩解措施部分

關(guān)于翁荔

翁荔是OpenAI前華人科學(xué)家、ChatGPT的貢獻(xiàn)者之一，本科畢業(yè)于北大，在印第安納大學(xué)伯明頓分校攻讀博士。

畢業(yè)之后的翁荔先是短暫的在Facebook實(shí)習(xí)了一段時(shí)間，后擔(dān)任Dropbox軟件工程師。

她于2017年初加入OpenAI，在GPT-4項(xiàng)目中主要參與預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)和對(duì)齊、模型安全等方面的工作。

在OpenAI去年底成立的安全顧問(wèn)團(tuán)隊(duì)中，翁荔領(lǐng)導(dǎo)安全系統(tǒng)團(tuán)隊(duì)（Safety Systems），解決減少現(xiàn)有模型如ChatGPT濫用等問(wèn)題。

最著名的Agent公式也由她提出，即：Agent=大模型+記憶+主動(dòng)規(guī)劃+工具使用。

其Google Scholar引用量達(dá)14000+。

一個(gè)月前，翁荔短暫回國(guó)現(xiàn)身2024Bilibili超級(jí)科學(xué)晚活動(dòng)，以《AI安全與“培養(yǎng)”之道》為主題進(jìn)行了演講分享。

這也是她首次在國(guó)內(nèi)大型活動(dòng)場(chǎng)合公開(kāi)發(fā)表AI主題演講。

之后沒(méi)幾天，翁荔突然發(fā)推文表示決定離職OpenAI。

目前她還沒(méi)有宣布下一個(gè)計(jì)劃，推特簽名透露會(huì)與AI安全相關(guān)。

領(lǐng)英和谷歌學(xué)術(shù)頁(yè)面也還掛著OpenAI，均未更新。

原文：
https://lilianweng.github.io/posts/2024-11-28-reward-hacking/#in-context-reward-hacking

參考鏈接：
[1]https://x.com/lilianweng/status/1863436864411341112