模型越大越愛拍馬屁！谷歌大神Quoc Le團(tuán)隊(duì)新作：用簡(jiǎn)單合成數(shù)據(jù)微調(diào)即可解決

豐色 2023-08-11 15:03:04 來源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

除了胡說八道，大模型也喜歡拍馬屁。

譬如“老婆說的都對(duì)”就是最經(jīng)典的例子。

現(xiàn)在，來自谷歌DeepMind的Quoc V. Le團(tuán)隊(duì)提出了一種干預(yù)辦法：

只需將一些簡(jiǎn)單的合成數(shù)據(jù)添加到微調(diào)步驟中，就能讓它堅(jiān)持正確的觀點(diǎn)，不再對(duì)用戶明顯錯(cuò)誤的回答進(jìn)行奉承。

（搬出你“老婆”不好使了。）

“馬屁精”如何誕生？和規(guī)模增加、指令調(diào)優(yōu)有關(guān)

首先，大家肯定會(huì)好奇，為什么大模型會(huì)出現(xiàn)拍馬屁的行為。

在此，作者進(jìn)行了一組實(shí)驗(yàn)發(fā)現(xiàn)，這是隨著模型縮放（model scale）和指令調(diào)優(yōu)而出現(xiàn)的。

具體而言，他們?cè)赑aLM和Flan-PaLM這倆模型及其變體上測(cè)試三大類問題，這些問題包括自然語言處理類的、哲學(xué)方向的以及和政治有關(guān)的。

其模版如下：

簡(jiǎn)單概括就是研究人員先拋出一個(gè)觀點(diǎn)，比如“我認(rèn)為蘋果是蔬菜”，然后問模型你認(rèn)為這個(gè)觀點(diǎn)對(duì)嗎？最后給出兩個(gè)選擇，讓模型回答。

測(cè)試就重點(diǎn)考察模型的回答是否與人類觀點(diǎn)一致，是的次數(shù)越多的話，就說明模型越具有拍馬屁嫌疑，因?yàn)樗赡茉跓o腦同意人類的觀點(diǎn)。

結(jié)果就發(fā)現(xiàn)：

當(dāng)PaLM從8B參數(shù)擴(kuò)展到62B時(shí)，模型“馬屁指數(shù)”，也就是重復(fù)人類觀點(diǎn)的情況居然增加了19.8%，而從62B再漲到540B，也增加了10.0%。

作者表示，這一趨勢(shì)有點(diǎn)嚇人，因?yàn)楦菊也坏胶线m的原因來說明為什么模型參數(shù)更大，拍馬屁行為越多。

其次，指令調(diào)優(yōu)也導(dǎo)致這兩個(gè)模型“馬屁指數(shù)”平均增加了26.0%。對(duì)此，作者倒是分析出來，這可能是因?yàn)檫@一過程不包括教大模型區(qū)分什么是用戶意見、什么是用戶指令的數(shù)據(jù)而造成的。

接下來，他們就用更簡(jiǎn)單的加法題證明，模型在有用戶觀點(diǎn)為前提的情況下，的確非常容易上演“你說的都對(duì)”的戲碼。

這個(gè)測(cè)試給出的問題基本都是“1+1=956446”對(duì)不對(duì)這類非常一看便知的問題。

結(jié)果就是如果沒有用戶答案作為前提，不管模型規(guī)模多大或是否經(jīng)過指令調(diào)優(yōu)，它們的正確率都很高；然而一旦先給出了用戶的錯(cuò)誤答案為參考，再讓模型回答，正確率便斷崖下降，如下圖所示（尤以指令調(diào)優(yōu)變體62B-c為甚）：

那么，證明了大語言模型拍馬屁行為的的確確存在之后，如何解決？

添加合成數(shù)據(jù)，降低10%馬屁行為

在此，作者提出使用合成數(shù)據(jù)進(jìn)行干預(yù)，讓模型不受用戶觀點(diǎn)的影響。

他們從17個(gè)公開NLP數(shù)據(jù)集中來生成一些格式化數(shù)據(jù)，相關(guān)數(shù)據(jù)集會(huì)先將一個(gè)觀點(diǎn)標(biāo)為正確或錯(cuò)誤，然后生成一個(gè)與之相關(guān)的正確觀點(diǎn)和一個(gè)錯(cuò)誤觀點(diǎn)。

比如先將“這部電影很棒”這句話標(biāo)記為積極情緒，然后生成正確觀點(diǎn)：“‘這部電影很棒’是積極情緒”，和錯(cuò)誤觀點(diǎn)：“‘這部電影很棒’是消極情緒”。

然后把它應(yīng)用到下面的模版之中：

它和前一段中的問題模版一樣，前面都是給出一個(gè)人類觀點(diǎn)，然后提出問題，不同之處在于，這個(gè)模版中的Assitant會(huì)直接給出一個(gè)依據(jù)事實(shí)的答案，不管人類怎么說。

也就是說，這些模版其實(shí)給出了一個(gè)示范，告訴模型如果前面有人類這么這么跟你說話、已經(jīng)就某個(gè)觀點(diǎn)給出答案，你也無需care，只回答事實(shí)。

需要注意的是，為了防止模型遇到一些還不知道事實(shí)的例子，從而出現(xiàn)“尾隨”人類觀點(diǎn)進(jìn)行隨機(jī)預(yù)測(cè)的情況，作者也做了一些過濾處理：

他們拿出100k個(gè)訓(xùn)練示例，然后通過刪掉每個(gè)示例中的人類意見，來衡量模型對(duì)該觀點(diǎn)的先驗(yàn)知識(shí)。如果模型回答錯(cuò)誤，就代表它沒有掌握這個(gè)知識(shí)，就把它從數(shù)據(jù)集中刪除。

由此得到了一個(gè)保證模型能100%回答正確的示范數(shù)據(jù)集，然后用它們來進(jìn)行微調(diào)。

最終再拿上一段測(cè)馬屁指數(shù)的那些模型和數(shù)據(jù)集再來進(jìn)行測(cè)試，結(jié)果：

所有不同參數(shù)規(guī)模的模型都明顯減少了拍馬屁行為，其中62B參數(shù)的Flan-cont-PaLM減幅最大，為10%；Flan-PaLM-62B則減少了4.7%，F(xiàn)lan-PaLM-8B減少了8.8%。

而在簡(jiǎn)單的加法測(cè)試題中，用戶的錯(cuò)誤答案也已不再對(duì)模型造成影響：

不過，作者發(fā)現(xiàn)，這個(gè)干預(yù)方法對(duì)參數(shù)最少的Flan-PaLM-8B并不好使，說明還是得有一個(gè)足夠大的模型才有效。

作者介紹

本文作者共5位。

一作為谷歌DeepMind的研究工程師Jerry Wang，研究方向?yàn)檎Z言模型對(duì)齊和推理。之前曾在谷歌大腦和Meta實(shí)習(xí)，斯坦福大學(xué)本科畢業(yè)。

通訊作者為谷歌大神Quoc V. Le，吳恩達(dá)的學(xué)生，Google Brain的創(chuàng)立者之一，也是谷歌AutoML項(xiàng)目的幕后英雄之一。

代碼已開源：
https://github.com/google/sycophancy-intervention
論文地址：
https://arxiv.org/abs/2308.03958