OpenAI突發(fā)新模型：用GPT改進GPT訓(xùn)練，左腳踩右腳登天，RLHF突破人類能力上限

夢晨 2024-06-28 10:19:48 來源：量子位

夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

OpenAI突然發(fā)布新模型！基于GPT-4訓(xùn)練，可以幫助下一代GPT訓(xùn)練。

CriticGPT，用于給代碼挑Bug時能找到75%以上，而相比之下人類只能找到不到25%。

它還可以給Bug寫“銳評”，在60%的情況下人類訓(xùn)練師更喜歡有CriticGPT幫助下的批評。

有網(wǎng)友開玩笑說，“只會批評的GPT，這不是我前妻么”。

但這項研究最重要之處在于，CriticGPT挑錯能力可以泛化到代碼之外。

比如在RLHF訓(xùn)練中給AI的輸出挑錯，而且已經(jīng)進入OpenAI內(nèi)部訓(xùn)練流程。

更好的RLHF就能訓(xùn)練出更強的模型，更強的模型又能通過更好地挑錯來增強RLHF訓(xùn)練……

論文結(jié)論中赫然寫道：在真實世界數(shù)據(jù)中挑錯誤上，AI還可以繼續(xù)進步，人類智能已經(jīng)到頭了。

左腳踩右腳上天，難道真的被這幫人給搞出來了？

這是一篇來自被解散的超級對齊團隊的“遺作”，由前負責(zé)人Jan Leike帶隊。

而Leike本人已經(jīng)跳槽去了隔壁Anthropic，繼續(xù)做這類研究。

基于GPT-4，改進GPT-4

OpenAI官網(wǎng)文章變相承認了，GPT-4之后這么久沒有大的改進，還真的遇到一些瓶頸：

隨著AI能力變強，它犯的錯也不那么顯眼了，人類訓(xùn)練師都難以發(fā)現(xiàn)不準(zhǔn)確之處。

人類給不出反饋，那RLHF“人類反饋強化學(xué)習(xí)”就無從談起了。

CriticGPT正是為了應(yīng)對這一挑戰(zhàn)而生。

CriticGPT基于GPT-4，也接受了RLHF訓(xùn)練出，但特別之處在于訓(xùn)練數(shù)據(jù)中包含大量的錯誤輸入。

具體來說，分為三步：

1. 讓人類標(biāo)注員在ChatGPT生成的代碼里故意植入一些微妙的bug。
2. 標(biāo)注員扮演代碼審查員的角色，寫下他們對這些bug的評論。
3. 用這些數(shù)據(jù)來訓(xùn)練CriticGPT，讓它學(xué)會如何發(fā)現(xiàn)和指出代碼中的問題。

在具體訓(xùn)練過程中，他們還玩了點花樣。

比如不斷讓標(biāo)注員驗證自己插入的bug是否足夠隱蔽，能夠騙過當(dāng)前版本的CriticGPT。這樣一來，CriticGPT就被迫不斷進化，學(xué)會發(fā)現(xiàn)越來越隱蔽的問題。

思路有點像GAN的左右互搏，只不過生成器這個位置是人類來充當(dāng)?shù)摹?/p>

最后，OpenAI還使用了一種“強制采樣束搜索”（FSBS）的技術(shù)，允許CriticGPT在生成評論時既能保持全面，又能減少”幻覺”和“雞蛋里挑骨頭”現(xiàn)象。

具體來說，F(xiàn)SBS會強制模型生成多個不同的評論片段，用獎勵模型對這些片段進行評分，最后根據(jù)評分和一個長度修正因子來選擇最佳的評論組合。

通過調(diào)整長度修正因子，可以在評論的全面性和準(zhǔn)確性之間找到最佳平衡點，既不會錯過重要問題，又不會過度挑剔。

等一下，推理時搜索，這不正是和傳聞中的Q*一個思路，這次居然寫到了論文里。

可能是看外部團隊（如顏水成）按這一思路的研究已經(jīng)夠多了，就不再藏著掖著了。

說回到CriticGPT，取得了哪些結(jié)果呢？

• 在發(fā)現(xiàn)人為插入的bug方面，人類審核員平均只能找到25%，而CriticGPT的成功率高達75%以上
• 在評估自然出現(xiàn)的Bug時，有63%的情況下人類更傾向于選擇CriticGPT的評論而非人類評論
• CriticGPT的評論被認為比ChatGPT的更全面，更少出現(xiàn)”幻覺”和無關(guān)緊要的挑剔
• 在評估非代碼任務(wù)時，成功識別出數(shù)百個在ChatGPT訓(xùn)練數(shù)據(jù)中被人類認為是”完美”的錯誤。

不過CriticGPT也不是十全十美，它也會有”幻覺”問題，指出一些實際上不存在的問題。

目前，人類和CriticGPT組隊工作效果最好：既能發(fā)現(xiàn)大部分問題，又能避免AI的”幻覺”。

RLHF上限不再是人類

對于CriticGPT，負責(zé)這項研究的Jan Leike也補充了他自己的一些看法。

RLHF是創(chuàng)造出ChatGPT的核心技術(shù)之一，但隱患在于人類能力就是RLHF的天花板。

當(dāng)需要AI去解決人類無能為力的任務(wù)時，人類給不出相應(yīng)反饋，AI也就無法改進了。

CriticGPT的成功，意味著超級對齊團隊設(shè)想中的可擴展監(jiān)督，也就是用弱模型監(jiān)督訓(xùn)練更強的模型，終于有希望了。

不過他也透露，目前CriticGPT并沒有幫助人類顯著提高艱難任務(wù)上的準(zhǔn)確性，但是框架有了只要有更好的預(yù)訓(xùn)練模型就能不斷改進。

為什么先從代碼任務(wù)開始入手呢？

一方面，代碼任務(wù)有現(xiàn)實意義，做出來的模型可以直接用上。

另一方面，代碼可以清晰明確的評估，比開放式對話更客觀，更容易評估CriticGPT發(fā)現(xiàn)的問題是否真實和重要。

結(jié)果CriticGPT在代碼上訓(xùn)練，卻不僅能挑代碼Bug，還給1/4的ChatGPT生產(chǎn)數(shù)據(jù)挑出了問題。

最后，由于原OpenAI超級對齊團隊已經(jīng)解散，已經(jīng)跳槽的Jan Leike插入了一條Anthropic招聘廣告：

想做后續(xù)研究的請去隔壁。

也是讓人不得不感嘆硅谷是真的沒有競業(yè)協(xié)議。

One More Thing

同日，谷歌發(fā)布了開源大模型Gemma 2，OpenAI趕緊甩出一條消息來狙擊，這都第幾次了。

對于甩出來的不是Sora公測或者GPT-4o完整語音、視頻模式，也有很多人不滿。

有網(wǎng)友提了個更好的主意：

做個ReleaseGPT，專門用來發(fā)布承諾好的更新吧。

不過這次OpenAI久違的放出了論文，也還算有一些誠意。

論文地址：
https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf

參考鏈接：
[1]https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/
[2]https://x.com/janleike/status/1806386442568142995