打破跨模態(tài)干擾，快手東北大學聯(lián)合提出統(tǒng)一多模態(tài)框架，橫掃多模態(tài)檢索基準

夢晨 2025-06-09 17:47:33 來源：量子位

UNITE團隊 投稿
量子位 | 公眾號 QbitAI

多模態(tài)檢索是信息理解與獲取的關(guān)鍵技術(shù)，但其中的跨模態(tài)干擾問題一直是一大難題。

可行的解決辦法是構(gòu)建一種統(tǒng)一的多模態(tài)表示方式，為此，來自快手與東北大學的研究人員推出了多模態(tài)統(tǒng)一嵌入框架——UNITE。

UNITE的核心目標，就是構(gòu)建一個能同時處理文本、圖像、視頻及其融合模態(tài)輸入的統(tǒng)一嵌入器。

它從數(shù)據(jù)策劃與訓練機制兩個關(guān)鍵視角出發(fā)，用對比學習的機制重新定義了統(tǒng)一多模態(tài)表示學習的范式。

在細粒度檢索、指令檢索等多個評測中，UNITE框架都斬獲了最佳成績。

模態(tài)感知對比學習，緩解跨模態(tài)干擾

在多模態(tài)檢索任務(wù)中，不同模態(tài)（文本、圖像、視頻）天然存在分布差異。

如果在訓練時將所有模態(tài)混合進行對比學習，會導致表示空間產(chǎn)生語義扭曲或干擾噪聲，影響模型對各模態(tài)語義的準確建模。

為了解決這一挑戰(zhàn)，UNITE團隊提出了Modal-Aware Masked Contrastive Learning（MAMCL）這一對比學習機制，能顯著緩解跨模態(tài)“相互干擾”。

在傳統(tǒng)InfoNCE損失下，模型會嘗試最大化正樣本對之間的相似度，并最小化其與負樣本之間的相似度：

但這種方式不能區(qū)分模態(tài)組合，例如，一個query的正樣本為文本模態(tài)，但其負樣本可能是圖像、視頻或者其他模態(tài)組合。這可能導致模型用圖像來學文本相似度，產(chǎn)生模態(tài)沖突。

MAMCL的核心思想是模態(tài)掩碼約束，也就是只在與當前query目標模態(tài)一致的負樣本中進行對比，從而避免模態(tài)間的錯誤競爭。

給定一個批次中個query，每個query（）對應(yīng)一個正樣本和個負樣本，構(gòu)造相似度矩陣：

其中是第個候選樣本，是溫度系數(shù)。

接下來引入模態(tài)掩碼矩陣，用于標記候選樣本與正樣本模態(tài)是否一致：

其中表示提取候選樣本的模態(tài)標簽（例如 text, image, video, text+video）。

然后，構(gòu)造模態(tài)感知掩碼相似度矩陣:

這一步確保在計算損失時，僅考慮模態(tài)一致的樣本。

最終，MAMCL損失定義為（p是當前query對應(yīng)的正樣本索引）：

為了平衡泛化能力與判別能力，UNITE采用了“檢索適應(yīng) + 指令微調(diào)”的兩階段訓練方案：

• 檢索適應(yīng)階段，使用text-text、text-image、text-video等多模態(tài)數(shù)據(jù)訓練模型的基本檢索能力，同時引入高粒度視頻-文本數(shù)據(jù)，顯著提升模型的細粒度區(qū)分能力；
• 指令微調(diào)階段，基于MMEB、CoVR等復雜多模態(tài)指令任務(wù)訓練，增強模型的指令遵循能力和擴展性。

多個評測中斬獲最佳成績

在細粒度檢索、指令檢索等多個評測中，UNITE框架都斬獲了最佳成績。

圖像-文本檢索任務(wù)中，在ShareGPT4V、Urban1K和DOCCI上，UNITE顯著超越E5-V和VLM2Vec等模型；

視頻-文本檢索方面，UNITE的2B模型在CaReBench三個子任務(wù)（General/Spatial/Temporal）中的General和Spatial里超越了前SOTA，7B模型以顯著領(lǐng)先水平刷新當前最好表現(xiàn)。

UNITE 7B在CaReBench上分別達到86.0，86.9，86.5，84.8，52.4，55.4。

指令檢索任務(wù)里，作者的UNITE系列模型也在多個數(shù)據(jù)集上表現(xiàn)出色。

具體來說，在涵蓋分類、VQA、檢索、定位四類任務(wù)共36個數(shù)據(jù)集的MMEB Benchmark中，UNITE 7B達到了最優(yōu)性能70.3，超越了更大規(guī)模的模型mmE5 11B (69.8) 和IDMR 26B (69.2)。

在合成視頻檢索任務(wù)CoVR上，UNITE 2B和UNITE 7B達到了69.1和72.5，均明顯領(lǐng)先于現(xiàn)有SOTA模型(60.1)。

為驗證其通用性，團隊還在多個標準跨模態(tài)檢索任務(wù)上進行了評估。在Flickr30K、MSR-VTT、MSVD、DiDeMo任務(wù)上，展現(xiàn)了良好的通用表征能力。

綜合來看，UNITE支持文本、圖像、視頻及融合模態(tài)內(nèi)容，并展現(xiàn)了綜合最優(yōu)性能。

其可視化結(jié)果如下：

另外在實驗過程當中，作者還有三個關(guān)鍵發(fā)現(xiàn)。

一是視頻-文本數(shù)據(jù)具備“統(tǒng)一模態(tài)”的核心能力。

具體來說，視頻-文本對數(shù)據(jù)在所有配置中表現(xiàn)最為突出，不僅在視頻檢索任務(wù)中遙遙領(lǐng)先（如MSR-VTT、MSVD），甚至在圖文檢索任務(wù)中也超越了基于圖像-文本對訓練的模型。

二是指令類任務(wù)更依賴文本主導的數(shù)據(jù)支撐——

盡管視頻-文本對數(shù)據(jù)在一般檢索任務(wù)中表現(xiàn)出色，但在復雜檢索指令跟隨類任務(wù)（如MMEB、CoVR）中，其優(yōu)勢反而不明顯。

這類任務(wù)需要模型理解長文本、復雜邏輯或多階段指令，研究認為，Text–Text數(shù)據(jù)提升了語言理解與邏輯構(gòu)建能力，而Text–Image數(shù)據(jù)提供精準的視覺語義映射，利于模態(tài)對齊。

最后，細粒度Text-Video樣本的添加策略影響巨大，直接在第一階段“檢索適應(yīng)”中融合細粒度視頻-文本樣本，能帶來整體性能最優(yōu)解，相比傳統(tǒng)“先對齊后微調(diào)”的做法更加有效且高效。

更多方法和實驗細節(jié)，請參照論文。

論文鏈接：https://arxiv.org/pdf/2505.19650
代碼鏈接：https://github.com/friedrichor/UNITE
項目鏈接：https://friedrichor.github.io/projects/UNITE
模型/數(shù)據(jù)鏈接：https://huggingface.co/collections/friedrichor/unite-682da30c4540abccd3da3a6b