大模型自信心崩塌！谷歌DeepMind證實(shí)：反對(duì)意見讓GPT-4o輕易放棄正確答案

西風(fēng) 2025-07-20 15:14:30 來源：量子位

聞樂 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

LLM太諂媚！

就算你胡亂質(zhì)疑它的答案，強(qiáng)如GPT-4o這類大模型也有可能立即改口。

現(xiàn)在谷歌DeepMind攜手倫敦大學(xué)的一項(xiàng)新研究發(fā)現(xiàn)：這種行為可能也不是諂媚，而是缺乏自信……

不僅如此，團(tuán)隊(duì)發(fā)現(xiàn)如GPT-4o、Gemma 3等大語言模型有“固執(zhí)己見”和“被質(zhì)疑就動(dòng)搖”并存的沖突行為。

簡單來說就是，他們的研究弄明白了為啥大模型有時(shí)候自信但有時(shí)候也自我懷疑，關(guān)鍵就兩點(diǎn)：一是總覺得自己一開始說的是對(duì)的，二是太把別人反對(duì)的意見當(dāng)回事兒。

當(dāng)大模型表現(xiàn)出對(duì)自己的答案很自信時(shí)，這與人類認(rèn)知具有一致性——人們通常會(huì)維護(hù)自己的觀點(diǎn)。

不過，當(dāng)模型面對(duì)反對(duì)聲音過于敏感，產(chǎn)生動(dòng)搖而選擇其他答案時(shí)，又與人類這種傾向于支持自身觀點(diǎn)的行為相悖。

來看看具體的實(shí)驗(yàn)過程。

大模型對(duì)于反向意見過度敏感

研究人員利用LLMs能在不保留初始判斷記憶的情況下獲取置信度的特性，選用了Gemma 3、GPT4o和o1-preview等具有代表性的大模型，設(shè)計(jì)了一個(gè)兩輪回答的實(shí)驗(yàn)。

第一回合是初始回答：給回答LLM拋出二元選擇問題，再讓虛構(gòu)的建議LLM給出反饋建議。

第二回合是接收建議和最終決策：引入建議LLM的反饋建議，讓回答LLM在接收建議后，做出最終的選擇，決定是堅(jiān)持初始答案還是根據(jù)建議修改答案。

研究人員在建議LLM的反饋建議中設(shè)置了三個(gè)關(guān)鍵屬性：

1. 建議態(tài)度：分為同意、反對(duì)和中立。同意或反對(duì)即為支持或否定回答LLM的答案；中立建議僅提供額外的相關(guān)信息。
2. 準(zhǔn)確率標(biāo)注：反饋建議附帶的準(zhǔn)確率標(biāo)簽，從50%（隨機(jī)水平）到100%（絕對(duì)可靠），以10%為間隔遞增。
3. 信息呈現(xiàn)方式：以清晰、規(guī)范的格式將建議呈現(xiàn)給回答LLM，確保模型能夠準(zhǔn)確讀取和理解建議內(nèi)容，避免因信息傳達(dá)不暢導(dǎo)致的決策偏差。

實(shí)驗(yàn)的關(guān)鍵變量在于控制回答LLM對(duì)于自己的初始答案是否可見。

研究人員設(shè)置了初始答案顯示與初始答案隱藏兩種條件，觀察LLM在兩種情況下的最終決策結(jié)果。

實(shí)驗(yàn)結(jié)果顯示，當(dāng)LLM能看到自己的初始答案時(shí)，傾向于不改變答案。

這與人類決策有點(diǎn)像，即一旦做出選擇，就會(huì)下意識(shí)維護(hù)自己的觀點(diǎn)，即使收到了其他信息，也不會(huì)輕易改變。

然而當(dāng)初始答案隱藏時(shí)，LLM改變答案的概率就變高了。

模型表現(xiàn)出對(duì)反向建議過度看重，敏感度遠(yuǎn)超合理范圍，即使反對(duì)意見不正確，它們也會(huì)“懷疑自己”，導(dǎo)致最終輕易拋棄原本正確的初始答案。

這就與人類認(rèn)知有些偏差了，人們通常不會(huì)被“一眼假”的信息迷惑。

可以這么說，在記憶機(jī)制下大模型通常會(huì)對(duì)自己很自信。

但如果沒有記憶機(jī)制，模型可能就會(huì)“缺乏自信”了，這時(shí)它們就不像人類一樣能夠堅(jiān)持自己的觀點(diǎn)。

為什么大模型會(huì)“耳根子軟”

針對(duì)這個(gè)實(shí)驗(yàn)結(jié)果，研究人員認(rèn)為大模型搖擺不定可能有以下幾個(gè)原因。

從訓(xùn)練層面來說，強(qiáng)化學(xué)習(xí)從人類反饋（RLHF）讓模型過度迎合外部輸入，有對(duì)反對(duì)信息過于敏感的傾向，但這樣就缺乏了對(duì)信息可靠性的獨(dú)立判斷。

在決策邏輯上，模型做出回答并不是依靠邏輯推理，而是依賴海量文本的統(tǒng)計(jì)模式匹配，反對(duì)信號(hào)與修正答案的高頻關(guān)聯(lián)讓它容易被表面的反對(duì)帶偏，并且它們無法自我驗(yàn)證初始答案的是否正確。

在記憶機(jī)制方面，初始答案可見時(shí)的路徑依賴會(huì)強(qiáng)化“固執(zhí)”，初始答案隱藏時(shí)，大模型則會(huì)因?yàn)槭ュ^點(diǎn)而讓反對(duì)建議成為主導(dǎo)信號(hào)，導(dǎo)致它們輕易動(dòng)搖。

綜上，大語言模型的“耳根子軟”是訓(xùn)練中對(duì)外部反饋的過度迎合、決策時(shí)依賴匹配模式而非邏輯推理以及記憶機(jī)制缺乏深度推理支撐共同導(dǎo)致的結(jié)果。

這種特性可能會(huì)使其在多輪對(duì)話中，容易被后期出現(xiàn)的反對(duì)信息（哪怕錯(cuò)誤）干擾，最終偏離正確結(jié)論。

看來我們?cè)谑褂肔LM的時(shí)候要注意策略～

論文地址：https://www.arxiv.org/abs/2507.03120

參考鏈接：
https://venturebeat.com/ai/google-study-shows-llms-abandon-correct-answers-under-pressure-threatening-multi-turn-ai-systems/