Prompt自相矛盾，大模型能發(fā)現(xiàn)嗎？上海交通大學(xué)最新研究解密
大模型檢測“指令沖突”能力新基準(zhǔn)
上海交通大學(xué)王德泉課題組 投稿
量子位 | 公眾號 QbitAI
上海交通大學(xué)王德泉教授課題組在最新研究中提出了這樣的一個(gè)問題。
設(shè)想這樣一個(gè)場景：一個(gè)幼兒園的小朋友拿著一張老虎的圖片，向你詢問：“這個(gè)小貓很可愛，它是一只母貓么？”你會(huì)如何回答？
你可能并不會(huì)直接回答“是”或“不是”，而是首先指出這個(gè)提問中的“矛盾”所在——這張圖片是一只老虎，而不是貓。
但關(guān)于大模型會(huì)怎樣應(yīng)對，之前很少有系統(tǒng)性的研究。
要知道，無法檢測出“指令沖突”的AI模型會(huì)針對“不應(yīng)該有答案的問題”生成結(jié)果，而無論生成的結(jié)果偏向于沖突的哪一方，都會(huì)引發(fā)潛在的災(zāi)難，影響AI安全性以及Superalignment（超級對齊）。
在最新的這項(xiàng)研究中，團(tuán)隊(duì)提出了多模態(tài)基準(zhǔn)測試——自相矛盾指令集，并設(shè)計(jì)了一個(gè)創(chuàng)新的自動(dòng)數(shù)據(jù)集創(chuàng)建框架，名為AutoCreate。
團(tuán)隊(duì)發(fā)現(xiàn)多模態(tài)大模型對于自相矛盾的用戶指令的檢測非常欠缺，因此提出了認(rèn)知喚醒提示方法（CAP），從外部世界注入認(rèn)知能力從而提高了矛盾檢測的能力。
該論文即將發(fā)表在今年10月份的第18屆歐洲計(jì)算機(jī)視覺大會(huì)（ECCV）上。
大模型能檢測到?jīng)_突指令嗎？
目前，多模態(tài)大模型在科研和應(yīng)用領(lǐng)域取得了巨大的進(jìn)展。它們能夠處理包括文本、圖像在內(nèi)的多種數(shù)據(jù)類型，顯示出與人類認(rèn)知相似的能力。
團(tuán)隊(duì)認(rèn)為這些模型的成功得益于大量的研究和開發(fā)工作，使它們能夠緊密遵循人類的指令，甚至有些“唯命是從”。
此外，這些模型還特別擅長于長上下文。多模態(tài)大模型如Claude 3和Gemini 1.5 Pro等，已經(jīng)展示出強(qiáng)大的能力。Claude 3系列模型提供了200K tokens的上下文窗口，Gemini 1.5 Pro的標(biāo)準(zhǔn)上下文窗口大小為128K，甚至在私人預(yù)覽階段可以達(dá)到1M tokens。
這些進(jìn)展使得多模態(tài)大模型在處理復(fù)雜任務(wù)方面表現(xiàn)出色，滿足了人類長時(shí)間互動(dòng)的需求。
然而，隨著多模態(tài)交互的深入、上下文長度的增加，用戶指令自相矛盾的問題變得越來越突出。
如下圖，當(dāng)用戶（如兒童或語言初學(xué)者）使用這些模型時(shí)，往往無法意識到潛在的多模態(tài)沖突。
同時(shí)，隨著對話輪次的增加和上下文窗口的擴(kuò)大，用戶難以記住所有細(xì)節(jié)，導(dǎo)致指令間的矛盾。
此外，隨著模態(tài)數(shù)量的增加，模態(tài)間的沖突也可能發(fā)生。一旦這些模型缺乏自我意識和辨別矛盾的能力，其性能就會(huì)受到影響。
為了應(yīng)對這些挑戰(zhàn)，本文研究團(tuán)隊(duì)提出了一個(gè)多模態(tài)基準(zhǔn)測試——“自相矛盾指令集”（Self-Contradictory Instructions, SCI），用于評估多模態(tài)大模型檢測沖突指令的能力。
SCI包含2萬個(gè)沖突指令和8個(gè)任務(wù)，均勻分布在語言-語言和視覺-語言兩種范式中。
在圖中的上部分，語言-語言范式涉及上下文和指令之間的沖突，如設(shè)計(jì)的規(guī)則沖突、對象屬性沖突、排他性指令和禁止詞匯。
在圖中的下部分：視覺-語言范式涵蓋多模態(tài)沖突，如OCR文字識別沖突、圖表沖突、幾何沖突和語義沖突。八個(gè)任務(wù)中，只有語義沖突涉及到了其他的數(shù)據(jù)集（ImageNet）。
舉一個(gè)具體的例子來說，在構(gòu)建語義沖突時(shí)，研究人員會(huì)首先根據(jù)圖片生成對應(yīng)的文本，隨后將文本中的關(guān)鍵語義信息替換成相近但是不同的新語義。
在下圖中，圖片中包含了鴕鳥（Ostrich），作者針對圖片語義“鴕鳥”添加問題“Does the picture depict the ostrich’s size?”。
隨后，再對這個(gè)問題文本的關(guān)鍵語義“鴕鳥”替換為“幾維鳥”（Kiwi）。這樣一來，一對自相矛盾的多模態(tài)指令就構(gòu)建好了。
在整個(gè)SCI的構(gòu)建過程中，作者設(shè)計(jì)了創(chuàng)新的自動(dòng)數(shù)據(jù)集創(chuàng)建框架——AutoCreate。
它通過程序和大語言模型構(gòu)建了一個(gè)多模態(tài)循環(huán)。該框架利用程序和大型語言模型來實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)集創(chuàng)建。
AutoCreate從若干與任務(wù)相關(guān)的種子數(shù)據(jù)開始，并維護(hù)一個(gè)種子池。在每個(gè)周期內(nèi)，AutoCreate包括兩個(gè)分支：語言分支（左）和視覺分支（右）。每個(gè)分支都由生成器和修飾器組成。
最后，清理器將排除不符合標(biāo)準(zhǔn)的數(shù)據(jù)。這些數(shù)據(jù)在通過人工專家的質(zhì)量檢查后，將被反饋到種子池中，供下一輪使用。
AutoCreate大大提升了SCI數(shù)據(jù)集的構(gòu)建速度和內(nèi)容廣度。
怎樣提高矛盾檢測能力？
通過SCI數(shù)據(jù)集，研究人員全面評估了大模型在處理矛盾指令時(shí)的表現(xiàn)。
實(shí)驗(yàn)結(jié)果表明，當(dāng)前的大模型在面對自相矛盾的指令時(shí)，常常表現(xiàn)出一定的不足。
它們能夠處理信息和知識，但缺乏對指令合理性的評估能力，研究團(tuán)隊(duì)稱之為的“認(rèn)知”能力。
這種缺陷源于缺乏自我意識，無法識別指令中的不一致性。
因此，研究人員提出了一種簡單的插入式提示方法，稱為“認(rèn)知覺醒提示”（Cognitive Awakening Prompting, CAP）。
CAP通在輸入中加一句簡單的提示，就可以從外部世界注入認(rèn)知能力，從而提高大模型的矛盾檢測能力，并且基本不會(huì)產(chǎn)生負(fù)面影響。
這一發(fā)現(xiàn)表明，當(dāng)前多模態(tài)大模型需要更多的自我意識和認(rèn)知能力，以便更好地處理復(fù)雜的指令沖突。
更多細(xì)節(jié)，感興趣的童鞋可以查看原論文。
作者簡介
論文第一作者是上海交通大學(xué)博士研究生郜今。
他的研究方向包括計(jì)算機(jī)視覺、多模態(tài)大模型、人工智能賦能的生命科學(xué)等。
論文的通訊作者為上海交通大學(xué)長聘教軌助理教授、博士生導(dǎo)師王德泉，他本科畢業(yè)于復(fù)旦大學(xué)，博士畢業(yè)于加州大學(xué)伯克利分校，師從 Trevor Darrell 教授。
他的研究工作發(fā)表在CVPR、ICCV、ECCV、ICLR、ICML、ICRA、IROS等國際頂級會(huì)議，近五年論文谷歌學(xué)術(shù)總引用次數(shù)10000余次，H-index 20。
論文鏈接：https://arxiv.org/abs/2408.01091
項(xiàng)目鏈接：https://selfcontradiction.github.io/
— 完 —
量子位 QbitAI · 頭條號簽約
關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)
相關(guān)閱讀
