多模態(tài)LLM幻覺問題降低30%！業(yè)內首個“啄木鳥”免重訓方法誕生｜中科大

豐色 2023-10-29 12:37:55 來源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

還在用指令微調解決多模態(tài)大模型的“幻覺”問題嗎？

比如下圖中模型將橙色柯基錯認為“紅狗”，還指出周圍還有幾條。

現(xiàn)在，中科大的一項研究想到了一個全新辦法：

一個免重訓、即插即用的通用架構，直接從模型給出的錯誤文本下手，“倒推”出可能出現(xiàn)“幻覺”之處，然后與圖片確定事實，最終直接完成修正。

他們將這個方法命名為“啄木鳥”（Woodpecker）。

就像這位所謂的“森林醫(yī)生”先找出樹木的蟲洞再吃掉里面的蟲子一樣，本文中所提出的“啄木鳥”也是多模態(tài)大模型們的“幻覺”醫(yī)生，能夠將問題先診斷出來再一一糾正。

結果是“醫(yī)術確實高明”，成功將：

（1）MiniGPT-4的準確性從54.67%提高到了85.33%；

（2）mPLUG Ow的準確性從62%提到了86.33%。

如下圖所示，各種難以檢測到的小對象、復雜的計數(shù)場景，它都能沒問題。

那么，它具體是如何診斷的呢？

“啄木鳥法”治療多模態(tài)LLM幻覺

目前，業(yè)內對于大模型幻覺問題的解決辦法基本都是用特定數(shù)據進行指令微調。

比如說，一些多模態(tài)大模型（MLLM）在回答問題時總是傾向于肯定答案（eg. 面對一個光頭人物圖，問它頭發(fā)是什么顏色，張口就說“黑”），那么我們再喂給模型一些包含負樣本的數(shù)據，就能解決它“無中生有”的幻覺，遇到沒有的就說“no”。

除了指令微調，也有的會進行架構調整，反正都要重新訓練一個新的模型。

本文提出的“啄木鳥”框架，是業(yè)內第一個無需此操作就能解決“幻覺”的全新辦法。

它一共分為5個步驟，每一步都采用了清晰透明的設計方式，因此具備良好的可解釋性。

具體而言：

第一步，關鍵概念提取。

指找出模型給出的答案中提到的主要對象，即最有可能解除“幻覺”的元素。

例如對于下圖，多模態(tài)大模型最開始可能描述圖中有一輛自行車停在一個垃圾桶旁邊，還說圖上有幾個人從垃圾桶旁邊走過。

那么，我們就可以得到三個關鍵概念：自行車、垃圾桶和人。

第二步，問題構造。

指在獲取關鍵概念后，圍繞它們提出一些問題有助于檢驗“幻覺”所在的問題。

可主要分為對象層面和屬性層面，前者可以問“圖中有幾輛自行車？”，后者可問“垃圾桶位于什么位置？”。

在此，由于屬性問題比較依賴于上下文，作者也用了一些帶有上下文的例子來提示模型，以便提出的問題更有意義

第三步，視覺驗證。

指引用專家模型回答上步提出的所有問題，方便后續(xù)校正。

對于對象層面的問題，例如我們利用GroundingDINO來進行目標檢測，確定關鍵目標是否存在以及關鍵目標的數(shù)量。

對于屬性問題，則用BLIP-2來搞定。這類傳統(tǒng)VQA模型輸出答案的長度有限，”幻覺”問題更少。

第四步，視覺斷言生成。

簡單來說，就是基于于前兩步中獲得的問題以及對應的視覺信息，合成結構化的“視覺斷言”。

格式如下：

最后，“幻覺”糾正。

即根據上步的總結比對模型原始的輸出，得出新的答案。

具體實施環(huán)節(jié)中，“啄木鳥”采用GPT-3.5-turbo來完成關鍵概念提取、提問和最后一步的糾正。

由于一些多模態(tài)模型的指令跟隨能力較弱，導致結果可能輸出無關文本（例如表情、特殊符號），再加上有時一些模型只輸出一個“是”或“否”，這讓實際的校正過程也面臨挑戰(zhàn)。

不過，我們兩個簡單措施就可以搞定：

（1）將模型回答的“是”或“否”與“啄木鳥”給出的答案組合起來，比如“是的，圖像中有一只狗”，就不怕模型原本只是給出一個簡單的“yes or no”逃過校正了。

（2）在校正過程中，將原始問題添加到LLM，以便LLM更好地掌握文本和任務要求。

效果驗證：幻覺減少30%

整個方法看起來非常好理解，效果如何呢？

在此，作者在POPE、MME和LLaVA-QA90數(shù)據集上進行了全面的定量和定性實驗。

基線模型選用這四個主流多模態(tài)大模型：

MiniGPT-4、mPLUG Owl、LLaVA和Otter。

最終，POPE數(shù)據集上的結果如下：

（w/Ours表示由“啄木鳥”校正的MLLM響應，x為未采用，對勾為采用）

可以看到，“啄木鳥”都能給這幾個模型帶來不同程度的提升，同時大幅降低模型回答“yes”的概率。

其中在隨機設定下，它給MiniGPT-4和mPLUG-Owl和在準確率指標上分別帶來了30.66%和24.33%的提升。

在更全面的MME數(shù)據集上，“啄木鳥”也有效減少了多模態(tài)大模型在對象級和屬性級層面的“幻覺”，也就是某物是否存在、數(shù)量多少，以及它的位置和顏色。

比如LLaVA的顏色得分從78.33分大幅提升到155分。

不過，位置方面的“幻覺”提升不是特別大，作者推測可能是VQA模型BLIP-2在位置推理方面的能力相對較弱等原因造成的。

為了更直接地衡量修正表現(xiàn)，更直接的方式是使用開放評測。

不同于以往將圖片轉譯后送入純文本GPT-4的做法，作者利用OpenAI最近開放的視覺接口，提出使用GPT-4V對修正前后的圖片描述直接對下列兩個維度進行打分：

（1）準確度：模型的答復相對于圖片內容是否準確；

（2）細節(jié)程度：模型答復的細節(jié)豐富度。

在該實驗條件下，實驗結果如下表所示（滿分為10）：

結果表明經過“啄木鳥“修正后圖片描述的準確性有一定的提升，這說明該框架可以有效修正描述中幻視的部分。

另一方面，“啄木鳥“修正后引入的定位信息豐富了文本描述，提供了進一步的位置信息，從而提升了細節(jié)豐富度。

GPT-4V輔助的評測樣例如下圖所示：

試玩

還有Demo供大家測試使用。

如下圖所示，上傳圖片并輸入請求，就可以得到修正前以及修正后的模型答復，以及供參考驗證的新圖片。

Woopecker論文地址：
https://arxiv.org/abs/2310.16045
Woopecker代碼地址：
https://github.com/BradyFU/Woodpecker