院士領(lǐng)銜萬(wàn)字長(zhǎng)文，全面系統(tǒng)梳理多模態(tài)LLM對(duì)齊算法
從幻覺(jué)到o1式推理全都有
CASIA等 投稿
量子位 | 公眾號(hào) QbitAI
萬(wàn)字長(zhǎng)文，對(duì)多模態(tài)LLM中對(duì)齊算法進(jìn)行全面系統(tǒng)性回顧！
從現(xiàn)有對(duì)齊算法涵蓋的應(yīng)用場(chǎng)景，到構(gòu)建對(duì)齊數(shù)據(jù)集的核心因素，再到用于評(píng)估對(duì)齊算法的基準(zhǔn)，還有對(duì)齊算法未來(lái)潛在發(fā)展方向，全都梳理了一遍。
大語(yǔ)言模型（LLMs）能夠通過(guò)簡(jiǎn)單的提示完成多種任務(wù)，且無(wú)需進(jìn)行任務(wù)特定的訓(xùn)練。然而，這些模型主要處理文本數(shù)據(jù)，對(duì)于多模態(tài)數(shù)據(jù)的處理存在局限。
由于世界本質(zhì)上是多模態(tài)的，包括視覺(jué)、聽(tīng)覺(jué)和文本等數(shù)據(jù)，研究者開(kāi)始在LLM的基礎(chǔ)上開(kāi)發(fā)多模態(tài)大語(yǔ)言模型（MLLMs），以處理更復(fù)雜的數(shù)據(jù)形式。
然而，現(xiàn)有的MLLMs仍面臨一系列挑戰(zhàn)，尤其是在真實(shí)性、安全性、推理能力和與人類(lèi)偏好對(duì)齊方面，這些問(wèn)題尚未得到充分解決。
因此，針對(duì)這些問(wèn)題的對(duì)齊算法應(yīng)運(yùn)而生，成為解決這些挑戰(zhàn)的有效途徑。
本文這項(xiàng)研究的主要貢獻(xiàn)是對(duì)多模態(tài)大型語(yǔ)言模型（MLLMs）中的對(duì)齊算法進(jìn)行全面的系統(tǒng)性回顧。
具體而言，探討了以下四個(gè)關(guān)鍵問(wèn)題：
- 現(xiàn)有對(duì)齊算法的應(yīng)用場(chǎng)景：文章通過(guò)分類(lèi)當(dāng)前的對(duì)齊算法，清晰地展示了它們?cè)诓煌瑧?yīng)用領(lǐng)域的適用性，并為研究者提供了一個(gè)統(tǒng)一的符號(hào)系統(tǒng)，幫助理解各算法之間的區(qū)別與聯(lián)系。
- 對(duì)齊數(shù)據(jù)集的構(gòu)建：對(duì)齊數(shù)據(jù)集的構(gòu)建涉及數(shù)據(jù)源、模型響應(yīng)和偏好注釋三個(gè)核心因素。文章對(duì)這些因素進(jìn)行了系統(tǒng)分析與分類(lèi)，并總結(jié)了公開(kāi)數(shù)據(jù)集的優(yōu)勢(shì)與不足，為未來(lái)的改進(jìn)提供參考。
- 對(duì)齊算法的評(píng)估方法：鑒于大多數(shù)對(duì)齊算法針對(duì)特定任務(wù)，如減少幻覺(jué)、確保安全性和改善推理能力，文章整理了常用的評(píng)估基準(zhǔn)，提出了清晰的評(píng)估框架。
- 未來(lái)發(fā)展方向：文章提出了對(duì)齊算法發(fā)展的潛在未來(lái)方向，特別是視覺(jué)信息的整合、LLM對(duì)齊方法的經(jīng)驗(yàn)啟示，以及MLLM作為智能體面臨的挑戰(zhàn)與機(jī)遇。
這項(xiàng)研究由來(lái)自中國(guó)科學(xué)院自動(dòng)化研究所、南京大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、南洋理工大學(xué)、清華大學(xué)深圳國(guó)際研究生院、騰訊優(yōu)圖實(shí)驗(yàn)室、新加坡國(guó)立大學(xué)、理海大學(xué)、香港科技大學(xué)、松鼠Ai學(xué)習(xí)等機(jī)構(gòu)的研究人員共同完成。
中國(guó)科學(xué)院院士譚鐵牛、中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)士王亮領(lǐng)銜。
以下是更多細(xì)節(jié)。
應(yīng)用場(chǎng)景與代表性方法
應(yīng)用場(chǎng)景
文章介紹了多模態(tài)大語(yǔ)言模型（MLLM）對(duì)齊算法的應(yīng)用場(chǎng)景，分為三大層次：
- 通用圖像理解：主要集中在減少幻覺(jué)（模型生成不準(zhǔn)確或無(wú)關(guān)的輸出），并提升模型在其他功能（如對(duì)話、推理能力）方面的表現(xiàn)。
- 多圖像、視頻和音頻：針對(duì)復(fù)雜多模態(tài)數(shù)據(jù)，如多圖像和視頻，提出了不同的架構(gòu)和訓(xùn)練方法來(lái)處理這些任務(wù)，尤其是如何在這些任務(wù)中減少幻覺(jué)并提高模型的能力。
- 擴(kuò)展應(yīng)用：探討了將MLLM應(yīng)用于領(lǐng)域特定任務(wù)，如醫(yī)學(xué)、數(shù)學(xué)推理、安全系統(tǒng)等，介紹了如何根據(jù)這些特定領(lǐng)域的需求對(duì)模型進(jìn)行優(yōu)化。
通用圖像理解與多模態(tài)o1
一般圖像理解
MLLM對(duì)齊算法的初衷是解決多模態(tài)系統(tǒng)中的幻覺(jué)問(wèn)題。最近的研究表明，這些算法不僅能提升幻覺(jué)的處理，還能增強(qiáng)模型的安全性、對(duì)話能力、推理能力等多個(gè)功能屬性。
本節(jié)將系統(tǒng)地介紹幾種創(chuàng)新的方法，按其主要應(yīng)用場(chǎng)景分類(lèi)：減少幻覺(jué)和提升其他能力。
減少幻覺(jué)
MLLM對(duì)齊算法的最初設(shè)計(jì)目的是減少幻覺(jué)現(xiàn)象。
例如，F(xiàn)act-RLHF是第一個(gè)多模態(tài)的RLHF算法，使用了10K個(gè)人工標(biāo)注的樣本來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型，并引入了每個(gè)token的KL懲罰、事實(shí)信息校準(zhǔn)、以及正確性和長(zhǎng)度懲罰等機(jī)制。
DDPO通過(guò)提高更正數(shù)據(jù)的權(quán)重，進(jìn)一步優(yōu)化了標(biāo)準(zhǔn)的DPO。
HA-DPO則利用MLLM生成圖像描述，通過(guò)GPT-4驗(yàn)證幻覺(jué)并對(duì)正負(fù)樣本進(jìn)行重寫(xiě)，加入了輔助的因果語(yǔ)言建模損失以減少幻覺(jué)。
mDPO通過(guò)引入視覺(jué)損失函數(shù)來(lái)解決視覺(jué)信息忽視問(wèn)題，并增加錨定機(jī)制來(lái)避免選定響應(yīng)的概率下降。
提升綜合能力
除了減少幻覺(jué)，一些算法還專(zhuān)注于提升模型的多方面能力。
例如，Silkie通過(guò)收集多樣的指令數(shù)據(jù)集，并使用GPT-4V評(píng)估生成的響應(yīng)，從而為應(yīng)用DPO提供偏好數(shù)據(jù)。CLIP-DPO利用CLIP分?jǐn)?shù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，并應(yīng)用DPO損失，從而同時(shí)提升幻覺(jué)減緩和零樣本分類(lèi)任務(wù)的表現(xiàn)。
SIMA通過(guò)讓模型自我評(píng)估其生成的響應(yīng)來(lái)構(gòu)建偏好對(duì)，進(jìn)一步提升了多圖像任務(wù)的表現(xiàn)。
近期，MM-RLHF等方法通過(guò)更多樣性的數(shù)據(jù)和算法，將alignment的效果進(jìn)一步提升。
多模態(tài)o1發(fā)展
DeepSeek-R1的流行給MLLM社區(qū)帶來(lái)了新的啟示。
LMM-R1使用純文本數(shù)學(xué)數(shù)據(jù)集，通過(guò)RLOO訓(xùn)練，并在多模態(tài)數(shù)學(xué)基準(zhǔn)上取得了改進(jìn)。
Open-R1-Video則利用GRPO方法提升了模型在視頻領(lǐng)域的表現(xiàn)。
VLM-R1應(yīng)用R1方法處理指代表達(dá)理解任務(wù)，進(jìn)一步擴(kuò)展了多模態(tài)推理的能力。
多圖像、視頻和音頻
在這一部分，文章討論了多圖像、視頻和音頻任務(wù)中的挑戰(zhàn)和解決方法。
- 多圖像任務(wù)：現(xiàn)有的MLLM在多圖像理解方面常常遇到困難，MIA-DPO通過(guò)構(gòu)建多圖像偏好數(shù)據(jù)來(lái)解決這一問(wèn)題，取得了較好的效果。
- 視頻任務(wù)：視頻理解任務(wù)比單圖像任務(wù)更加復(fù)雜，DPO和交錯(cuò)視覺(jué)指令的結(jié)合，能夠有效提升視頻任務(wù)的處理能力，如LLaVA-NeXT-Interleave方法。
- 音頻任務(wù)：音頻-視覺(jué)理解存在音頻盲視問(wèn)題，Video-SALMONN 2通過(guò)引入音頻-視覺(jué)對(duì)齊機(jī)制，成功解決了這一問(wèn)題。
擴(kuò)展多模態(tài)應(yīng)用
文章還介紹了在特定領(lǐng)域的擴(kuò)展應(yīng)用，提出了針對(duì)性更強(qiáng)的對(duì)齊方法。
- 醫(yī)學(xué)應(yīng)用：3D-CT-GPT++通過(guò)對(duì)醫(yī)學(xué)影像分析進(jìn)行優(yōu)化，成功減少了診斷中的誤差，達(dá)到了臨床級(jí)別的準(zhǔn)確性。
- 數(shù)學(xué)應(yīng)用：MAVIS方法通過(guò)改進(jìn)視覺(jué)數(shù)學(xué)問(wèn)題解決框架，提高了MLLM在數(shù)學(xué)推理中的表現(xiàn)。
- 安全性：為應(yīng)對(duì)多模態(tài)大語(yǔ)言模型的對(duì)抗性攻擊，文章介紹了AdPO和VLGuard等方法，它們通過(guò)優(yōu)化訓(xùn)練數(shù)據(jù)和模型結(jié)構(gòu)來(lái)提高模型的魯棒性。
- 代理和智能系統(tǒng)：INTERACTIVECOT和EMMOE方法通過(guò)動(dòng)態(tài)優(yōu)化推理流程和分解任務(wù)，提高了多模態(tài)大語(yǔ)言模型在嵌入式智能中的表現(xiàn)，尤其是在復(fù)雜決策過(guò)程中。
作者分析多模態(tài)大語(yǔ)言模型的不同應(yīng)用場(chǎng)景，詳細(xì)介紹了多種算法和方法，涵蓋了從通用圖像理解到特定領(lǐng)域應(yīng)用的各個(gè)方面。
主要貢獻(xiàn)在于展示了如何通過(guò)優(yōu)化對(duì)齊算法來(lái)減少幻覺(jué)現(xiàn)象并提升模型在不同任務(wù)中的綜合能力，尤其在視頻、音頻、醫(yī)學(xué)、數(shù)學(xué)等復(fù)雜領(lǐng)域的應(yīng)用。
隨著這些方法的不斷優(yōu)化，MLLM將在更多領(lǐng)域展現(xiàn)其強(qiáng)大的處理能力。
下表總結(jié)了目前alignment策略常見(jiàn)的損失函數(shù)形式：
MLLM對(duì)齊數(shù)據(jù)構(gòu)造與現(xiàn)有數(shù)據(jù)總結(jié)
主要內(nèi)容總結(jié)
在多模態(tài)大型語(yǔ)言模型（MLLM）的研究中，對(duì)齊數(shù)據(jù)集是關(guān)鍵組成部分。由于多模態(tài)數(shù)據(jù)集的構(gòu)建涉及到大量的數(shù)據(jù)來(lái)源、生成方法和注釋技術(shù)，研究者們對(duì)不同構(gòu)建方法進(jìn)行了分類(lèi)。
這些數(shù)據(jù)集大致可以分為兩類(lèi)：引入外部知識(shí)的數(shù)據(jù)集和依賴(lài)自我標(biāo)注的數(shù)據(jù)集。
通過(guò)這些分類(lèi)，研究者可以更清晰地了解不同數(shù)據(jù)集的特點(diǎn)，進(jìn)而為多模態(tài)系統(tǒng)的優(yōu)化提供支持。
作者對(duì)現(xiàn)有MLLM對(duì)齊數(shù)據(jù)集進(jìn)行了全面的分類(lèi)與分析，詳細(xì)介紹了不同構(gòu)建方法的優(yōu)缺點(diǎn)以及應(yīng)用場(chǎng)景。研究主要關(guān)注以下幾個(gè)方面：
- 引入外部知識(shí)的數(shù)據(jù)集：討論了通過(guò)人類(lèi)注釋和閉源模型（如GPT-4系列）構(gòu)建的數(shù)據(jù)集，這些方法提高了數(shù)據(jù)的質(zhì)量，但也面臨高成本和主觀性等挑戰(zhàn)。
- 自我標(biāo)注的數(shù)據(jù)集：探討了利用模型自身生成偏好對(duì)進(jìn)行數(shù)據(jù)集構(gòu)建的方法，包括單一文本模態(tài)、單一圖像模態(tài)和圖像-文本混合模態(tài)三種類(lèi)型的數(shù)據(jù)構(gòu)建方法。
- 數(shù)據(jù)質(zhì)量和規(guī)模的平衡：文章還討論了如何平衡數(shù)據(jù)質(zhì)量、規(guī)模與成本的關(guān)系，并展望了未來(lái)自動(dòng)化數(shù)據(jù)增強(qiáng)技術(shù)的潛力，特別是如何利用自我標(biāo)注方法提升數(shù)據(jù)質(zhì)量。
通過(guò)這項(xiàng)工作，研究者們可以更加清楚地理解多模態(tài)數(shù)據(jù)集的構(gòu)建策略，為未來(lái)的研究提供有力的支持。
引入外部知識(shí)的數(shù)據(jù)集
- 人工注釋?zhuān)?/strong>通過(guò)人工標(biāo)注，收集了不同領(lǐng)域的高質(zhì)量數(shù)據(jù)。
例如，LLaVA-RLHF通過(guò)人工選擇正負(fù)響應(yīng)收集了10k個(gè)樣本，RLHF-V通過(guò)人工修正幻覺(jué)響應(yīng)收集了1.4k個(gè)樣本。
- 閉源LLM/MLLM：利用GPT-4系列模型生成的偏好數(shù)據(jù)，通過(guò)這種方法可以大規(guī)模構(gòu)建數(shù)據(jù)集，同時(shí)減少成本。
像LRV-Instruction通過(guò)GPT-4生成了400k個(gè)視覺(jué)指令，涵蓋16個(gè)視覺(jué)語(yǔ)言任務(wù)。
- 開(kāi)源LLM/MLLM：使用開(kāi)源模型（如CLIP-DPO）來(lái)構(gòu)建偏好數(shù)據(jù)，減少成本但可能犧牲數(shù)據(jù)質(zhì)量。
例如，INTERACTIVECOT通過(guò)預(yù)定義分?jǐn)?shù)構(gòu)建了具身智能的偏好數(shù)據(jù)集。
自我標(biāo)注的數(shù)據(jù)集
- 單一文本模態(tài)：
SQuBa使用微調(diào)后的模型生成負(fù)樣本，并將其與正樣本進(jìn)行DPO對(duì)比。SymDPO通過(guò)將VQA/分類(lèi)數(shù)據(jù)轉(zhuǎn)化為ICL格式，以增強(qiáng)視覺(jué)學(xué)習(xí)。
- 單一圖像模態(tài)：
Image DPO通過(guò)對(duì)圖像進(jìn)行擾動(dòng)（如高斯模糊或像素化），而保持文本不變，構(gòu)建DPO偏好對(duì)。
- 圖像-文本混合模態(tài)：
AdPO通過(guò)構(gòu)建原始/對(duì)抗圖像及其模型響應(yīng)的偏好對(duì)，在優(yōu)化過(guò)程中，兩者的圖像和文本內(nèi)容在正負(fù)樣本中有所不同。
實(shí)驗(yàn)發(fā)現(xiàn)
在實(shí)驗(yàn)部分，研究發(fā)現(xiàn)：
數(shù)據(jù)集規(guī)模與質(zhì)量的平衡：通過(guò)引入外部知識(shí)的數(shù)據(jù)集，能夠提高數(shù)據(jù)的質(zhì)量，但這也增加了構(gòu)建成本。而自我標(biāo)注的方法雖然能夠大規(guī)模生成數(shù)據(jù)，但由于MLLM的性能限制，當(dāng)前的自我標(biāo)注數(shù)據(jù)集質(zhì)量仍較低，且存在一定的分布偏移問(wèn)題。
自動(dòng)化增強(qiáng)的潛力：隨著自動(dòng)化數(shù)據(jù)增強(qiáng)技術(shù)的發(fā)展，未來(lái)的自我標(biāo)注方法將可能解決當(dāng)前數(shù)據(jù)質(zhì)量低的問(wèn)題，并提高數(shù)據(jù)的多樣性和可信度。
總的來(lái)說(shuō)，數(shù)據(jù)集的構(gòu)建方法和質(zhì)量控制是影響MLLM對(duì)齊效果的關(guān)鍵因素，未來(lái)的研究應(yīng)關(guān)注如何在保證數(shù)據(jù)質(zhì)量的同時(shí)，降低成本并提高數(shù)據(jù)集的規(guī)模。
模型評(píng)估
現(xiàn)有的MLLM對(duì)齊評(píng)估基準(zhǔn)被分為六個(gè)關(guān)鍵維度：
通用知識(shí)（評(píng)估基礎(chǔ)能力）、幻覺(jué)（衡量生成內(nèi)容與事實(shí)的一致性）、安全性（評(píng)估響應(yīng)中降低風(fēng)險(xiǎn)的能力）、對(duì)話（測(cè)試模型是否能輸出用戶(hù)要求的內(nèi)容）、獎(jiǎng)勵(lì)模型（評(píng)估獎(jiǎng)勵(lì)模型的表現(xiàn)）和與人類(lèi)偏好的對(duì)齊。
通用知識(shí)
大多數(shù)基準(zhǔn)優(yōu)先考慮高質(zhì)量、人工注釋的數(shù)據(jù)集，這些數(shù)據(jù)集專(zhuān)門(mén)為實(shí)際應(yīng)用場(chǎng)景量身定制。
例如，MME-RealWorld包含來(lái)自13K張圖像的29K個(gè)問(wèn)答對(duì)，MMMU包含來(lái)自學(xué)術(shù)來(lái)源的11.5K個(gè)問(wèn)題。MMStar通過(guò)減少數(shù)據(jù)泄漏和強(qiáng)調(diào)視覺(jué)依賴(lài)性來(lái)增強(qiáng)可靠性。
許多基準(zhǔn)引入了創(chuàng)新方法，如MMBench的雙語(yǔ)評(píng)估與CircularEval，MMT-Bench的任務(wù)圖用于域內(nèi)外分析，以及BLINK專(zhuān)注于視覺(jué)感知任務(wù)。這些框架提升了評(píng)估精度，揭示了模型的局限性。
任務(wù)通常需要高級(jí)的多模態(tài)推理能力，例如MathVista的數(shù)學(xué)視覺(jué)整合、SQA3D的3D情境問(wèn)答以及MMMU對(duì)圖表和地圖的覆蓋。
這些基準(zhǔn)推動(dòng)模型解決跨學(xué)科的挑戰(zhàn)，通過(guò)策劃具有挑戰(zhàn)性的、細(xì)粒度的任務(wù)（如MVBench中的時(shí)間理解、Mantis-Instruct中的多圖像處理），旨在提升模型解決現(xiàn)實(shí)世界問(wèn)題的能力，特別是在細(xì)致感知和推理方面。
幻覺(jué)
這些基準(zhǔn)系統(tǒng)地識(shí)別并分類(lèi)多模態(tài)模型中的幻覺(jué)問(wèn)題，包括對(duì)象幻覺(jué)（Object HalBench）、內(nèi)在和外在幻覺(jué)（VideoHallucer）以及關(guān)聯(lián)偏差（VALOR-Eval）。它們強(qiáng)調(diào)在視覺(jué)、文本和序列上下文中的細(xì)粒度評(píng)估。
許多基準(zhǔn)提出了創(chuàng)新的框架，例如基于投票的查詢(xún)（POPE）、LLM驅(qū)動(dòng)的評(píng)分（HaELM、RefoMB）、開(kāi)放詞匯檢測(cè)（OpenCHAIR）、無(wú)注釋評(píng)估（GAVIE）、無(wú)LLM管道（AMBER）和GPT-4輔助的推理分析（Mementos）。
這些方法強(qiáng)調(diào)自動(dòng)化、可擴(kuò)展的評(píng)估，同時(shí)解決數(shù)據(jù)泄漏和語(yǔ)言先驗(yàn)等問(wèn)題。
數(shù)據(jù)集優(yōu)先采用細(xì)粒度的人類(lèi)注釋?zhuān)∕-HalDetect、HallusionBench）和合成數(shù)據(jù)生成（VHTest、MHaluBench），它們平衡了現(xiàn)實(shí)世界的復(fù)雜性（PhD的反常識(shí)圖像、ActivityNet-QA的58K問(wèn)答對(duì)）和受控挑戰(zhàn)（R-Bench的魯棒性分析）。
一些基準(zhǔn)專(zhuān)注于特定任務(wù)，如多語(yǔ)言支持（MHumanEval），而另一些則處理更廣泛的問(wèn)題，如偏見(jiàn)和干擾（Bingo）。所有這些都旨在提高模型在實(shí)際場(chǎng)景中的魯棒性。
通過(guò)提出對(duì)齊策略（如RLAIF-V的開(kāi)源反饋）并提出統(tǒng)一框架（HQH），這些基準(zhǔn)為開(kāi)發(fā)更可靠的多模態(tài)系統(tǒng)提供了指導(dǎo)。
安全性
一些研究引入了新穎的技術(shù)，例如基于擴(kuò)散的對(duì)抗性攻擊（AdvDiffVLM）、紅隊(duì)框架（RTVLM）和后期微調(diào)策略（VLGuard）。
這些方法通過(guò)模擬現(xiàn)實(shí)世界威脅或提升模型的抗干擾能力來(lái)增強(qiáng)評(píng)估的嚴(yán)謹(jǐn)性。
像MultiTrust和RTVLM這樣的基準(zhǔn)通過(guò)多個(gè)維度統(tǒng)一了可信度評(píng)估（如真實(shí)性、公平性），而另一些基準(zhǔn)則專(zhuān)注于特定挑戰(zhàn)，如超出分布（OOD）泛化（VLLM-safety-bench）或過(guò)度敏感性（MOSSBench）。這些基準(zhǔn)為模型的限制提供了整體的見(jiàn)解。
MM-RLHF-SafetyBench從現(xiàn)有數(shù)據(jù)集中進(jìn)行采樣，進(jìn)一步涵蓋了如對(duì)抗性攻擊、隱私、紅隊(duì)攻擊和有害內(nèi)容檢測(cè)等領(lǐng)域。
對(duì)話
這些基準(zhǔn)優(yōu)先評(píng)估基礎(chǔ)的視覺(jué)技能，如低級(jí)感知能力（Q-Bench、LLVisionQA）、低級(jí)信息的描述能力（LLDescribe）和質(zhì)量評(píng)估。
它們強(qiáng)調(diào)模型解釋和表達(dá)細(xì)粒度視覺(jué)信息的能力。
幾個(gè)基準(zhǔn)測(cè)試了模型在具有挑戰(zhàn)性場(chǎng)景中的泛化能力，包括非常規(guī)圖像（LLaVA Bench-Wilder）、跨領(lǐng)域任務(wù)（LiveBench的數(shù)學(xué)/新聞?wù)希┖蛯?duì)抗性提示（Vibe-Eval的高難度問(wèn)題）。這些基準(zhǔn)揭示了模型在標(biāo)準(zhǔn)數(shù)據(jù)集之外的適應(yīng)能力。
獎(jiǎng)勵(lì)模型
每個(gè)基準(zhǔn)都針對(duì)特定的評(píng)估維度，例如多語(yǔ)言能力（M-RewardBench中的23種語(yǔ)言）、對(duì)齊/安全性/偏見(jiàn)（MJ-Bench）、通過(guò)人類(lèi)注釋增強(qiáng)可解釋性和最終模型評(píng)分能力（MM-RLHF-RewardBench）以及MLLM在輔助評(píng)判者跨多種模態(tài)中的能力（MLLM-as-a-Judge的評(píng)分與成對(duì)比較）。
這些框架揭示了模型在結(jié)構(gòu)化和OOD場(chǎng)景中的優(yōu)缺點(diǎn)。
高質(zhì)量的數(shù)據(jù)集通過(guò)人類(lèi)與AI合作（如VL-RewardBench的注釋管道）或結(jié)構(gòu)化三元組設(shè)計(jì)（RewardBench）策劃而成，任務(wù)從簡(jiǎn)單的偏好排序到復(fù)雜的推理，推動(dòng)模型處理如幻覺(jué)和倫理對(duì)齊等細(xì)致挑戰(zhàn)。
對(duì)齊
一些基準(zhǔn)研究了模型與人類(lèi)偏好的對(duì)齊能力。
Arena-Hard是一個(gè)全面的多維度基準(zhǔn)，旨在評(píng)估中文LLM的對(duì)齊能力。AlpacaEval-V2提出了一種簡(jiǎn)單的回歸分析方法，用于控制自評(píng)中的長(zhǎng)度偏差。Arena-Hard通過(guò)增加模型性能的分離度三倍，達(dá)到了98.6%的與人類(lèi)偏好排名的相關(guān)性。MM-AlignBench是一個(gè)專(zhuān)門(mén)設(shè)計(jì)的手工注釋基準(zhǔn)，旨在評(píng)估與人類(lèi)價(jià)值觀的對(duì)齊。
總體而言，許多當(dāng)前的MLLM對(duì)齊算法側(cè)重于防止模型生成幻覺(jué)，同時(shí)探索如何利用對(duì)齊算法提升MLLM的通用知識(shí)和對(duì)話能力，這是未來(lái)的重要方向。
一些研究者將不安全的響應(yīng)視為與人類(lèi)偏好不對(duì)齊，因此應(yīng)用MLLM對(duì)齊算法來(lái)解決安全問(wèn)題。這些框架中獎(jiǎng)勵(lì)模型的有效性，尤其是在引導(dǎo)對(duì)齊方面的表現(xiàn)，值得進(jìn)一步研究。
此外，針對(duì)與人類(lèi)偏好的對(duì)齊，基準(zhǔn)也從LLM領(lǐng)域發(fā)展到了MLLM領(lǐng)域。
未來(lái)工作與挑戰(zhàn)
隨著多模態(tài)大型語(yǔ)言模型（MLLM）的迅速發(fā)展，將它們與人類(lèi)偏好對(duì)齊已經(jīng)成為研究的重點(diǎn)。然而，仍然存在若干挑戰(zhàn)。
首先，高質(zhì)量和多樣化數(shù)據(jù)集的稀缺問(wèn)題仍然未得到有效解決。其次，許多方法未能有效利用視覺(jué)信息，往往主要依賴(lài)文本來(lái)構(gòu)建正負(fù)樣本，忽略了多模態(tài)數(shù)據(jù)的全部潛力。此外，缺乏全面的評(píng)估標(biāo)準(zhǔn)，當(dāng)前的方法通常僅在幻覺(jué)或?qū)υ捜蝿?wù)等特定類(lèi)型的基準(zhǔn)上進(jìn)行驗(yàn)證，這使得它們的普適性難以評(píng)估。
通過(guò)借鑒LLM后期訓(xùn)練策略和智能體研究的進(jìn)展，可以揭示現(xiàn)有MLLM對(duì)齊方法中的局限性?？朔@些挑戰(zhàn)對(duì)于開(kāi)發(fā)更強(qiáng)大和全面的對(duì)齊方法至關(guān)重要。
數(shù)據(jù)挑戰(zhàn)
MLLM對(duì)齊面臨兩個(gè)關(guān)鍵的數(shù)據(jù)相關(guān)挑戰(zhàn)：數(shù)據(jù)質(zhì)量和覆蓋范圍。
首先，高質(zhì)量的MLLM對(duì)齊數(shù)據(jù)的可用性有限。與LLM相比，獲取和注釋多模態(tài)數(shù)據(jù)要復(fù)雜得多，因?yàn)樗婕岸鄠€(gè)模態(tài)的處理。
其次，現(xiàn)有數(shù)據(jù)集在涵蓋多樣化多模態(tài)任務(wù)方面存在不足，例如光學(xué)字符識(shí)別、數(shù)學(xué)問(wèn)題和圖表理解等任務(wù)。構(gòu)建一個(gè)涵蓋廣泛任務(wù)的綜合數(shù)據(jù)集是一項(xiàng)極具挑戰(zhàn)的工作。
據(jù)作者所知，目前沒(méi)有一個(gè)公開(kāi)的、完全人工注釋的多模態(tài)數(shù)據(jù)集樣本量超過(guò)200,000個(gè)。
這些在數(shù)據(jù)質(zhì)量和覆蓋范圍方面的限制，成為有效對(duì)齊MLLM的重大障礙。
利用視覺(jué)信息進(jìn)行對(duì)齊
目前的對(duì)齊數(shù)據(jù)可以表示為：偏好數(shù)據(jù)D=(x, I, yw, yl)，其中x是問(wèn)題，I是圖像，yw、yl分別表示正確和錯(cuò)誤的響應(yīng)。
在當(dāng)前的研究中，主要有三種方法用于利用視覺(jué)信息來(lái)增強(qiáng)對(duì)齊性能，但每種方法都有其局限性：
- 使用破損或無(wú)關(guān)圖像作為對(duì)齊階段的負(fù)樣本。
研究人員創(chuàng)建新的圖像Ineg，并使用(yw｜X, Ineg)作為負(fù)樣本。此方法通過(guò)減少幻覺(jué)和提高M(jìn)LLM對(duì)不同圖像的魯棒性來(lái)改善對(duì)齊效果。然而，視覺(jué)負(fù)樣本通常依賴(lài)于擴(kuò)散算法或圖像修改，這些方法缺乏強(qiáng)有力的質(zhì)量度量，并且計(jì)算成本較高。
- 基于破損圖像生成新的問(wèn)題和答案。
在這種方法中，研究人員創(chuàng)建一個(gè)新的圖像Ineg，使用該圖像生成額外的響應(yīng)yneg，然后將(yneg｜X, I)視為負(fù)樣本。此方法增加了文本比較的多樣性，但生成額外負(fù)樣本的過(guò)程增加了計(jì)算開(kāi)銷(xiāo)。
- 使用像CLIP這樣的余弦相似度度量來(lái)評(píng)估文本-圖像匹配。
該方法通過(guò)計(jì)算文本與圖像之間的相似度分?jǐn)?shù)來(lái)篩選數(shù)據(jù)，或?qū)⑵渥鳛閺?qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)的一部分。雖然這種方法有助于減少數(shù)據(jù)噪聲，但評(píng)分的質(zhì)量依賴(lài)于評(píng)估模型的質(zhì)量，可能受到模型偏見(jiàn)的影響。
每種方法在利用視覺(jué)數(shù)據(jù)增強(qiáng)MLLM對(duì)齊方面都有一定的作用，但在效率、成本和潛在偏見(jiàn)方面存在權(quán)衡。
綜合評(píng)估
大多數(shù)MLLM對(duì)齊研究主要評(píng)估其算法在幻覺(jué)、對(duì)話能力或安全性等幾個(gè)關(guān)鍵領(lǐng)域的表現(xiàn)。
然而，未來(lái)的研究應(yīng)采用更全面的評(píng)估方法，跨更廣泛的任務(wù)評(píng)估對(duì)齊方法，以更好地展示其普適性和有效性。
全模態(tài)對(duì)齊
Align-anything開(kāi)創(chuàng)了通過(guò)多模態(tài)數(shù)據(jù)集“align-anything-200k”實(shí)現(xiàn)全模態(tài)對(duì)齊的研究，涵蓋了文本、圖像、音頻和視頻。這項(xiàng)研究展示了不同模態(tài)之間的互補(bǔ)效應(yīng)。
然而，他們的工作仍處于初期階段，每種模態(tài)的數(shù)據(jù)集相對(duì)較小，限制了其任務(wù)覆蓋范圍。
此外，提出的算法僅是DPO方法的初步改進(jìn)，未能充分利用每種模態(tài)固有的獨(dú)特結(jié)構(gòu)信息。
未來(lái)，超越圖像/文本領(lǐng)域的對(duì)齊算法設(shè)計(jì)，尤其是針對(duì)其他模態(tài)的對(duì)齊，將是一個(gè)關(guān)鍵的趨勢(shì)。
MLLM推理
最近，由OpenAI（o1）和DeepSeek-R1代表的推理LLM已經(jīng)證明，強(qiáng)化學(xué)習(xí)算法和偏好數(shù)據(jù)對(duì)于提高LLM在復(fù)雜問(wèn)題求解、長(zhǎng)時(shí)上下文理解和生成任務(wù)中的表現(xiàn)至關(guān)重要。
本文將探討從LLM推理增強(qiáng)研究中獲得的洞察及其對(duì)對(duì)齊MLLM的影響，主要從數(shù)據(jù)和優(yōu)化框架兩個(gè)維度進(jìn)行分析。
(1) 數(shù)據(jù)。
- 規(guī)模與質(zhì)量。對(duì)應(yīng)的方法逐漸從小模型重采樣（如OpenMathInstruct）發(fā)展到高質(zhì)量合成數(shù)據(jù)（如AceMath），并逐步采用尖端模型（如OpenAI o1）和通過(guò)領(lǐng)域?qū)Ｓ媚Ｐ秃铣蓴?shù)據(jù)實(shí)現(xiàn)可擴(kuò)展的知識(shí)遷移（如DeepSeek-V3）。
目前，用于推理增強(qiáng)的數(shù)據(jù)集普遍達(dá)到百萬(wàn)樣本規(guī)模（如Qwen-2.5-MATH）。
- 效率。采用“少即是多”的對(duì)齊（如LIMA的1k樣本用于65B Llama）證明了最少的高質(zhì)量數(shù)據(jù)能夠最優(yōu)地激活預(yù)訓(xùn)練能力，同時(shí)減少對(duì)數(shù)據(jù)規(guī)模的依賴(lài)。
(2) 優(yōu)化框架。
- 采樣策略。最近的進(jìn)展表明，在線強(qiáng)化學(xué)習(xí)（RL）逐漸成為主流方法，DeepSeek-V3和Qwen-2.5-MATH的在線采樣方法有效地緩解了分布偏移。
此外，Mini-Max采用了離線+在線采樣策略，進(jìn)一步提升了模型性能。
- 訓(xùn)練范式。多階段、協(xié)作優(yōu)化已成為主流方法。
例如，Llama 3包含了六輪DPO迭代，而DeepSeek通過(guò)溫度變化的采樣和反射/驗(yàn)證提示來(lái)優(yōu)化推理深度（長(zhǎng)鏈?zhǔn)酵评恚┖秃?jiǎn)潔性。
- 算法。強(qiáng)化學(xué)習(xí)算法從早期的策略梯度方法發(fā)展到更復(fù)雜的PPO，最近基于PPO的改進(jìn)主要有兩個(gè)方向：
一個(gè)是去除評(píng)估模型并用稀疏獎(jiǎng)勵(lì)訓(xùn)練策略，從而減少一半的參數(shù)量（如DPO和GRPO）；另一個(gè)是精煉評(píng)估模型的設(shè)計(jì)，例如引入比率作為優(yōu)勢(shì)函數(shù)的PRIME和通過(guò)重塑正負(fù)樣本獎(jiǎng)勵(lì)的OREAL。
通過(guò)優(yōu)先考慮高質(zhì)量數(shù)據(jù)和創(chuàng)新的優(yōu)化框架，MLLM領(lǐng)域正朝著更有效、可擴(kuò)展的模型發(fā)展，這些模型也能更好地解鎖MLLM的推理潛力。
LLM對(duì)齊的啟示
對(duì)LLM的對(duì)齊已經(jīng)成為最近研究的一個(gè)關(guān)鍵焦點(diǎn)，提供了許多有價(jià)值的見(jiàn)解，可以為MLLM的開(kāi)發(fā)提供指導(dǎo)。通過(guò)審視現(xiàn)有LLM對(duì)齊策略的經(jīng)驗(yàn)教訓(xùn)，可以揭示出有助于提升MLLM研究的關(guān)鍵原則：
(1) 提高訓(xùn)練效率。
當(dāng)前MLLM的對(duì)齊方法依賴(lài)于DPO損失函數(shù)。然而，由于DPO需要同時(shí)加載策略模型和參考模型，訓(xùn)練速度會(huì)顯著下降。是否可以利用類(lèi)似SimPO的無(wú)參考方法進(jìn)一步提升訓(xùn)練效率？
這一方法可能加速訓(xùn)練過(guò)程，同時(shí)減少對(duì)參考模型的依賴(lài)。進(jìn)一步研究參考模型在MLLM對(duì)齊中的具體作用和影響，對(duì)于提高效率和優(yōu)化模型設(shè)計(jì)至關(guān)重要。
(2) 減輕過(guò)度優(yōu)化/獎(jiǎng)勵(lì)黑客問(wèn)題。
在使用DPO或RLHF進(jìn)行LLM對(duì)齊時(shí)，過(guò)度優(yōu)化仍然是一個(gè)關(guān)鍵挑戰(zhàn)，即通過(guò)學(xué)習(xí)到的代理獎(jiǎng)勵(lì)模型來(lái)提高性能，但真正的質(zhì)量可能停滯或退化。
為應(yīng)對(duì)這一挑戰(zhàn)，解決策略包括：
- 使用平衡的訓(xùn)練數(shù)據(jù)集確保多樣性和代表性，防止過(guò)于狹窄的優(yōu)化；
- 在驗(yàn)證性能平穩(wěn)時(shí)實(shí)施早停；
- 引入正則化技術(shù)，減少對(duì)訓(xùn)練數(shù)據(jù)的過(guò)度依賴(lài)，提高模型的泛化能力。
MLLM作為智能體
MLLM結(jié)合了LLM強(qiáng)大的推理能力和處理來(lái)自多種模態(tài)（如圖像、文本和音頻）數(shù)據(jù)的能力。這使得它們能夠從多種信息源中提取知識(shí)并進(jìn)行綜合分析，在處理復(fù)雜的現(xiàn)實(shí)任務(wù)中具有很大優(yōu)勢(shì)。
然而，要將MLLM轉(zhuǎn)變?yōu)楦咝У闹悄荏w，仍然需要解決幾個(gè)待處理的問(wèn)題。
- 多智能體協(xié)作。
目前，針對(duì)基于文本的智能體的多智能體協(xié)作框架已取得顯著進(jìn)展，但基于MLLM的多智能體系統(tǒng)仍缺乏成熟的解決方案。 - 魯棒性。
MLLM智能體在開(kāi)放環(huán)境中的魯棒性尚未得到系統(tǒng)驗(yàn)證，需引入對(duì)抗性魯棒性測(cè)試和保障技術(shù)。 - 安全性。
MLLM智能體中引入更多復(fù)雜組件增加了安全風(fēng)險(xiǎn)，未來(lái)的研究應(yīng)探索多種安全保護(hù)機(jī)制，以減輕這些風(fēng)險(xiǎn)。
論文鏈接：https://arxiv.org/pdf/2503.14504
GitHub鏈接：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Alignment
相關(guān)閱讀
北交開(kāi)源o1代碼版！強(qiáng)化學(xué)習(xí)+蒙特卡洛樹(shù)搜索，源代碼、精選數(shù)據(jù)集以及衍生模型通通開(kāi)源
模型能夠不斷生成推理數(shù)據(jù)
OpenAI未來(lái)猛料全曝光！奧特曼承認(rèn)自己最大弱點(diǎn)是產(chǎn)品
難道大家已經(jīng)忘了幾年前的模型表現(xiàn)多糟糕嗎？
楊植麟發(fā)布Kimi新模型：數(shù)學(xué)對(duì)標(biāo)o1，中考高考考研成績(jī)?nèi)谝?/a>
楊植麟現(xiàn)場(chǎng)回應(yīng)大伙兒感興趣的問(wèn)題
DeepSeek版o1炸場(chǎng)，數(shù)學(xué)代碼超越OpenAI，每天免費(fèi)玩50次，后續(xù)將開(kāi)源
新Scaling Laws是真的，計(jì)算時(shí)間越長(zhǎng)，表現(xiàn)越強(qiáng)
