告別“圖文不符”！FG-CLIP實(shí)現(xiàn)細(xì)粒度跨模態(tài)對齊，360開源模型重塑AI視覺理解

FG-CLIP團(tuán)隊 投稿

量子位 | 公眾號 QbitAI

CLIP的“近視”問題，被360搞定了。

360人工智能研究院最新圖文跨模態(tài)模型FG-CLIP，宣布以“長文本深度理解”和“細(xì)粒度視覺比對”雙突破，徹底解決了傳統(tǒng)CLIP模型的“視覺近視”問題，能夠精準(zhǔn)識別局部細(xì)節(jié)。

具體怎么個說法？先來個視力大挑戰(zhàn)：找一找右邊的哪句話，正確描述了左邊圖像里的內(nèi)容？

正確答案是：“A light brown wood stool（一個淺棕色的木凳子）”，注意看，這個木凳子位于畫面的中央偏右，悄悄隱藏在狗狗的身后。

可以發(fā)現(xiàn)，4個常用模型——CLIP、EVACLIP、SIGLIP、FINE-CLIP基于左側(cè)圖片選出的最匹配的文本描述是：A blue dog with a white colored head。

顯然這個描述是錯誤的，這就是CLIP的“視覺近視”問題：會因?yàn)閷Ρ葥p失傾向于拉近全局圖像與文本的嵌入，而非局部區(qū)域的對齊，削弱了細(xì)粒度特征學(xué)習(xí)。

而FG-CLIP則精準(zhǔn)命中了答案。

實(shí)驗(yàn)結(jié)果顯示，F(xiàn)G-CLIP在細(xì)粒度理解、開放詞匯對象檢測、長短文本圖文檢索以及通用多模態(tài)基準(zhǔn)測試等下游任務(wù)中均顯著優(yōu)于原始CLIP和其他最先進(jìn)方法。

在12個下游任務(wù)上，F(xiàn)G-CLIP相比現(xiàn)有模型在關(guān)鍵的長文本理解+細(xì)粒度比對上實(shí)現(xiàn)了大幅突破。

360人工智能研究院還表示，將全面開源模型及其相關(guān)數(shù)據(jù)。

視覺語言模型面向的問題

2021年，OpenAI發(fā)布CLIP圖文跨模態(tài)模型，通過對比學(xué)習(xí)，首次實(shí)現(xiàn)了大規(guī)模圖像-文本對齊，開啟了多模態(tài)預(yù)訓(xùn)練大模型的新紀(jì)元。它通過對比圖像與文本的嵌入空間，使模型能夠完成零樣本分類、圖像檢索等任務(wù)。

但是CLIP與后面發(fā)展的模型，在實(shí)際應(yīng)用中依然面臨以下的制約：

文本長度限制：CLIP的文本編碼器僅支持77個token，難以處理長文本的細(xì)節(jié)描述（如“一只紅色的陶瓷茶杯，杯口有輕微磨損”）。

全局對齊的盲區(qū)：CLIP將圖像與文本整體對齊，忽略了局部區(qū)域的細(xì)粒度信息（如茶杯的把手形狀、杯身圖案）。

負(fù)樣本的不足：現(xiàn)有數(shù)據(jù)集中，負(fù)樣本（不匹配的圖像-文本對）多為粗略的類別錯誤，缺乏對細(xì)微差異的區(qū)分能力。

對長文本細(xì)節(jié)描述理解的重要性

提供豐富的背景信息與復(fù)雜查詢能力：長文本能夠提供詳細(xì)的背景信息，包括動作狀態(tài)、對象屬性及變化過程等，這對于全面理解事件至關(guān)重要。

相比短文本分析，長文本允許綜合查找基于多個條件（如物體、人物特征）的信息，支持更加復(fù)雜的查詢需求。這使得模型不僅能識別發(fā)生了什么，還能理解事件的全貌及其上下文。

支持跨模態(tài)深度語義匹配與融合能力：跨模態(tài)模型需要在不同模態(tài)間建立有效的語義對應(yīng)關(guān)系。

長文本中的多層次語義信息（如主題、段落、句子乃至詞匯層面的意義）可以幫助模型更精確地進(jìn)行語義匹配和特征融合。

在圖文檢索任務(wù)中，長文本描述可以涵蓋從全局場景到局部細(xì)節(jié)的全面信息，使得模型能夠在多個層次上與圖像特征進(jìn)行比對和匹配，從而提升檢索的準(zhǔn)確性和相關(guān)性。

對局部區(qū)域細(xì)粒度信息進(jìn)行準(zhǔn)確分析的重要性

細(xì)節(jié)捕捉：局部圖像特征往往包含了區(qū)分不同對象的關(guān)鍵信息。

例如，在對不同人物進(jìn)行分析時，著裝、動作等屬性差別對于區(qū)分個體至關(guān)重要。準(zhǔn)確分析這些局部特征可以顯著提高識別系統(tǒng)的準(zhǔn)確性。

復(fù)雜環(huán)境適應(yīng)性：在復(fù)雜的背景或低質(zhì)量圖像中，局部特征可以幫助算法聚焦于最重要的信息，忽略干擾因素。

在實(shí)際應(yīng)用中，目標(biāo)對象經(jīng)常會被其他物體部分遮擋。在這種情況下，全局特征可能不足以描述對象，而局部特征則顯得尤為重要。

通過對局部特征的精確分析，系統(tǒng)能夠有效地識別出未被遮擋的部分，并利用這些信息來推斷整個對象的狀態(tài)。

局部圖像特征屬性的準(zhǔn)確分析：在提升識別精度、增強(qiáng)環(huán)境理解、支持高級別應(yīng)用、改進(jìn)用戶體驗(yàn)以及保障安全性等方面具有核心重要性。

通過精確解析這些細(xì)節(jié)信息，可以實(shí)現(xiàn)更智能、更可靠的系統(tǒng)性能，無論是在監(jiān)控、自動駕駛、產(chǎn)品質(zhì)量控制還是其他需要細(xì)致圖像分析的領(lǐng)域中，都能發(fā)揮關(guān)鍵作用。

對圖像/文本的細(xì)微差異實(shí)現(xiàn)準(zhǔn)確理解的重要性

增強(qiáng)模型的魯棒性和泛化能力：準(zhǔn)確區(qū)分圖像和文本中的細(xì)微差別對于增強(qiáng)模型的魯棒性和泛化能力至關(guān)重要。

細(xì)粒度的理解使模型能夠區(qū)分在視覺或語義上相似但存在細(xì)微差異的對象、場景或概念。

這種能力對于現(xiàn)實(shí)世界的應(yīng)用非常重要，因?yàn)樵诓煌墓庹铡⒔嵌然虮尘跋?，對象可能會有?xì)微的變化。確保模型能夠在各種復(fù)雜場景中可靠運(yùn)行。

提升下游任務(wù)的精度：精確識別細(xì)微差異對提高下游任務(wù)（如圖像描述生成、視覺問答和醫(yī)學(xué)影像診斷）的準(zhǔn)確性至關(guān)重要。

例如，在視覺問答中，識別圖像中的微小細(xì)節(jié)并理解其與問題的相關(guān)性是正確回答問題的關(guān)鍵。能否準(zhǔn)確捕捉圖像中的細(xì)微差異直接影響到系統(tǒng)的性能和用戶體驗(yàn)。

同樣，在自然語言處理中，識別文本中的細(xì)微差異可以顯著提高情感分析和信息檢索等任務(wù)的表現(xiàn)

模型方法

FG-CLIP在傳統(tǒng)雙編碼器架構(gòu)基礎(chǔ)上采用兩階段訓(xùn)練策略，有效提升了視覺語言模型的細(xì)粒度理解能力。

首階段通過全局對比學(xué)習(xí)實(shí)現(xiàn)圖文表征的初步對齊；次階段引入?yún)^(qū)域?qū)Ρ葘W(xué)習(xí)與難細(xì)粒度負(fù)樣本學(xué)習(xí)，利用區(qū)域-文本標(biāo)注數(shù)據(jù)深化模型對視覺細(xì)節(jié)的感知能力，從而在保持全局語義理解的同時實(shí)現(xiàn)了對局部特征的精準(zhǔn)捕捉。

全局對比學(xué)習(xí)

全局對比學(xué)習(xí)通過整合多模態(tài)大模型生成的長描述，顯著增強(qiáng)了模型的細(xì)粒度理解能力。

這種方法不僅生成了內(nèi)容豐富的長描述，還提供了更完整的上下文信息和更精準(zhǔn)的細(xì)節(jié)描述。

通過引入長描述，模型得以在全局層面感知和匹配語義細(xì)節(jié)，從而大幅提升了其上下文理解能力。

同時，F(xiàn)G-CLIP保留了原有的短描述-圖像對齊機(jī)制，使長短描述形成互補(bǔ)。

這種雙軌并行的策略使模型既能從長描述中獲取復(fù)雜的語義信息，又能從短描述中把握核心概念，從而全面提升了模型對視覺信息的理解和處理能力。

局部對比學(xué)習(xí)

局部對比學(xué)習(xí)通過精準(zhǔn)對齊圖像局部區(qū)域與對應(yīng)文本描述，實(shí)現(xiàn)細(xì)粒度的視覺-語言關(guān)聯(lián)。

具體而言，F(xiàn)G-CLIP首先運(yùn)用RoIAlign從圖像中精確提取區(qū)域特征，繼而對每個檢測區(qū)域施加平均池化操作，獲取一組富有代表性的區(qū)域級視覺表征。

這些局部特征隨后與預(yù)先構(gòu)建的細(xì)粒度文本描述進(jìn)行對比學(xué)習(xí)，促使模型建立區(qū)域視覺內(nèi)容與文本語義之間的精確映射關(guān)系，從而掌握更為細(xì)致的跨模態(tài)對齊能力。

區(qū)域級難負(fù)樣本對比學(xué)習(xí)

針對細(xì)粒度負(fù)樣本稀缺這一挑戰(zhàn)，F(xiàn)G-CLIP提出了一種難細(xì)粒度負(fù)樣本學(xué)習(xí)方法。

FG-CLIP將語義相近但與正樣本存在細(xì)微差異的樣本定義為難負(fù)樣本，并通過對邊界框描述進(jìn)行屬性層面的微調(diào)和重寫來構(gòu)建這些樣本。

為了充分利用難細(xì)粒度負(fù)樣本提供的判別信息，F(xiàn)G-CLIP在損失函數(shù)中引入了特定的細(xì)粒度負(fù)樣本學(xué)習(xí)策略。

在訓(xùn)練過程中，模型需要同時計算區(qū)域特征與正樣本描述及其對應(yīng)負(fù)樣本描述之間的相似度，從而學(xué)習(xí)更精細(xì)的視覺-語言對齊關(guān)系。

數(shù)據(jù)構(gòu)建

通過LMM進(jìn)行詳細(xì)的圖像描述重寫

在初始訓(xùn)練階段，F(xiàn)G-CLIP采用了經(jīng)過增強(qiáng)優(yōu)化的LAION-2B數(shù)據(jù)集，其中的圖像標(biāo)注經(jīng)由CogVLM2-19B重新生成。

這種改進(jìn)顯著提升了數(shù)據(jù)質(zhì)量，使描述更加精確和內(nèi)容豐富。

傳統(tǒng)LAION-2B數(shù)據(jù)集往往采用籠統(tǒng)的描述方式，難以支持精細(xì)化任務(wù)的需求。

以鳥類圖像為例，原始標(biāo)注可能僅為”一只鳥”，而忽略了物種特征和環(huán)境細(xì)節(jié)。

通過引入先進(jìn)的多模態(tài)大模型，F(xiàn)G-CLIP生成的描述不僅準(zhǔn)確識別目標(biāo)對象，還涵蓋了對象特征、行為模式及場景關(guān)聯(lián)等多維信息。

舉例而言，簡單的”一只鳥”被優(yōu)化為”一只紅翼黑鳥棲息在公園的樹枝上”，大幅提升了描述的信息密度。

借助160×910B規(guī)模的NPU計算集群，F(xiàn)G-CLIP在30天內(nèi)完成了全部數(shù)據(jù)處理工作。

實(shí)驗(yàn)結(jié)果顯示，這種優(yōu)化顯著提升了模型在多個任務(wù)上的表現(xiàn)，充分證明了高質(zhì)量文本標(biāo)注對提升模型精確度和語境理解能力的關(guān)鍵作用。

創(chuàng)建高質(zhì)量的視覺定位數(shù)據(jù)

對于訓(xùn)練的第二階段，F(xiàn)G-CLIP開發(fā)了一個高質(zhì)量的視覺定位數(shù)據(jù)集，包含精確的區(qū)域特定描述和具有挑戰(zhàn)性的細(xì)粒度負(fù)樣本。

FG-CLIP根據(jù)GRIT提供的圖像來制作整個數(shù)據(jù)集。

這一過程首先使用CogVLM2-19B生成詳細(xì)的圖像描述，確保描述全面且細(xì)膩，能夠捕捉每張圖像的全部背景信息。隨后，F(xiàn)G-CLIP使用SpaCy解析這些描述并提取出指代表達(dá)。

接著，將圖像和指代表達(dá)輸入預(yù)訓(xùn)練的開放詞匯檢測模型，這里采用Yolo-World，以獲得相應(yīng)的邊界框。

通過非極大值抑制消除重疊的邊界框，僅保留預(yù)測置信度得分高于0.4的邊界框。

這一過程產(chǎn)生了1200萬張圖像和4000萬個帶有精細(xì)區(qū)域描述的邊界框。

為生成高質(zhì)量的細(xì)粒度負(fù)樣本，F(xiàn)G-CLIP在維持對象名稱不變的前提下，對邊界框描述的屬性進(jìn)行精細(xì)調(diào)整。

具體而言，F(xiàn)G-CLIP借助Llama-3.1-70B大語言模型，為每個正樣本構(gòu)建10個對應(yīng)的負(fù)樣本。

為提升描述的可讀性，F(xiàn)G-CLIP移除了分號、逗號和換行符等標(biāo)點(diǎn)符號。

經(jīng)過對3,000個負(fù)樣本的質(zhì)量評估，98.9%的樣本達(dá)到預(yù)期標(biāo)準(zhǔn)，僅1.1%被判定為噪聲數(shù)據(jù)，這一比例符合無監(jiān)督方法的可接受范圍。

這種方法產(chǎn)生的細(xì)微變化更貼近現(xiàn)實(shí)場景，能夠更好地模擬物體在保持基本類目相似的同時，具體細(xì)節(jié)存在差異的情況。

這項大規(guī)模數(shù)據(jù)集由1200萬張高質(zhì)量圖像構(gòu)成，每張圖像都配備精確的語義描述。

其中包含4000萬個邊界框標(biāo)注，每個邊界框都附帶詳盡的區(qū)域描述，同時還整合了1000萬個經(jīng)過篩選的難細(xì)粒度負(fù)樣本。

數(shù)據(jù)處理階段調(diào)用了160×910B算力的NPU集群，歷時7天高效完成。

這套豐富而系統(tǒng)的數(shù)據(jù)集顯著提升了模型識別精細(xì)特征的能力，為FG-CLIP的訓(xùn)練奠定了扎實(shí)基礎(chǔ)，使其在視覺與文本特征的細(xì)粒度理解方面表現(xiàn)卓越。

實(shí)驗(yàn)效果-量化指標(biāo)

細(xì)粒度識別

FG-CLIP基于FG-OVD數(shù)據(jù)集對開源圖像-文本對齊模型進(jìn)行了系統(tǒng)評估。

與MSCOCO和Flickr等聚焦整體匹配的傳統(tǒng)基準(zhǔn)不同，F(xiàn)G-OVD專注于考察模型識別和定位圖像局部區(qū)域的精細(xì)化能力。

在評估過程中，每個目標(biāo)區(qū)域都配備了一個精準(zhǔn)描述和十個經(jīng)過精心設(shè)計的負(fù)向樣本，這些負(fù)向樣本通過對正確描述的策略性修改而生成。

FG-OVD數(shù)據(jù)集劃分為四個難度遞進(jìn)的子集，其區(qū)分度主要體現(xiàn)在待匹配文本之間的相似程度上。

具體而言，hard、medium和easy子集分別通過替換一個、兩個和三個屬性詞來構(gòu)造負(fù)樣本，而trivial子集則采用完全無關(guān)的文本描述，形成了一個從細(xì)微差別到顯著差異的評估體系。

由表中可以看到，F(xiàn)G-CLIP相對于其他方法，在各項指標(biāo)上都能獲得顯著提升，這也證明了該方法在細(xì)粒度理解上的能力。

區(qū)域識別

FG-CLIP在COCO-val2017數(shù)據(jù)集上開展零樣本測試，評估模型識別局部信息的能力，測試方案參照FineCLIP和CLIPSelf。

這項評估著重考察模型僅依靠文本描述對邊界框內(nèi)目標(biāo)進(jìn)行分類的表現(xiàn)。

具體實(shí)現(xiàn)中，F(xiàn)G-CLIP利用數(shù)據(jù)集中的邊界框標(biāo)注，結(jié)合ROIAlign技術(shù)提取局部區(qū)域的密集特征表示。

在測試階段，將所有類別標(biāo)簽作為候選文本輸入，對每個邊界框區(qū)域進(jìn)行匹配和分類，并通過Top-1和Top-5準(zhǔn)確率進(jìn)行性能評估。FG-CLIP同樣在這個下游任務(wù)上取得了最好的結(jié)果。

開放詞匯目標(biāo)檢測

為了進(jìn)一步評估FG-CLIP的方法的細(xì)粒度定位能力，F(xiàn)G-CLIP被采用作為下游開放詞匯檢測任務(wù)的Backbone。

具體來說，F(xiàn)G-CLIP采用了一個兩階段檢測架構(gòu)F-VIT，并在訓(xùn)練中凍結(jié)了視覺編碼器。

從表格中可以看出，F(xiàn)G-CLIP在開放詞匯目標(biāo)檢測任務(wù)上表現(xiàn)更加突出，證明了經(jīng)過高質(zhì)量數(shù)據(jù)和優(yōu)化方法訓(xùn)練的模型能夠在更深層次的任務(wù)上取得優(yōu)越的性能。

圖文檢索/分類結(jié)果

為了全面評估圖像力度的任務(wù)，F(xiàn)G-CLIP對長標(biāo)題和短標(biāo)題圖像文本檢索任務(wù)以及零樣本圖像分類任務(wù)進(jìn)行了實(shí)驗(yàn)。

如表所示，F(xiàn)G-CLIP在長/短標(biāo)題圖像-文本檢索任務(wù)中都取得了顯著的性能提升。

與旨在提高細(xì)粒度識別能力的 Long-CLIP 和 FineCLIP 相比，F(xiàn)G-CLIP在圖像分類這種短文本-全圖問題上的準(zhǔn)確率方面具有明顯優(yōu)勢。該模型處理不同圖像描述長度的能力突出了其在多模態(tài)匹配中的通用性和魯棒性。

實(shí)驗(yàn)效果-可視化對比

圖像細(xì)節(jié)差異效果對比

FG-CLIP針對文本輸入對圖像特征進(jìn)行了可視化。

圖中，暖色調(diào)（如黃色）表示相關(guān)性較高，而冷色調(diào)（如藍(lán)色）表示相關(guān)性較低。

首先是針對相同的輸入文本和圖像，對不同模型的ViT特征進(jìn)行比較，可以發(fā)現(xiàn)FG-CLIP在這種細(xì)粒度理解問題上表現(xiàn)更好。如圖中的第二行所示，當(dāng)輸入“Black nose”時，F(xiàn)G-CLIP可以對該小目標(biāo)實(shí)現(xiàn)準(zhǔn)確的識別。

在不同輸入文本下的可視化圖

FG-CLIP同樣將不同的輸入文本和相同圖片做相關(guān)性分析。

可以發(fā)現(xiàn)，對于圖像中的不同目標(biāo)，F(xiàn)G-CLIP都能給出準(zhǔn)確的位置理解，這表明了該模型具有穩(wěn)定的視覺定位和細(xì)粒度理解能力。

總結(jié)

FG-CLIP在細(xì)粒度視覺理解領(lǐng)域取得了突破性進(jìn)展。

該模型創(chuàng)新性地整合了前沿圖文對齊技術(shù)，并基于大規(guī)模精選數(shù)據(jù)集和難細(xì)粒度負(fù)樣本學(xué)習(xí)策略，實(shí)現(xiàn)了對圖像的多層次語義解析。

其獨(dú)特優(yōu)勢在于能同時把握全局語境和局部細(xì)節(jié)，精準(zhǔn)識別和區(qū)分細(xì)微特征差異。

大量實(shí)驗(yàn)結(jié)果表明，F(xiàn)G-CLIP在各類下游任務(wù)中均展現(xiàn)出優(yōu)異表現(xiàn)。

360人工智能研究院表示：

為推動領(lǐng)域發(fā)展，研究團(tuán)隊決定將FG-CLIP相關(guān)的數(shù)據(jù)、代碼和預(yù)訓(xùn)練模型陸續(xù)進(jìn)行開源，相關(guān)內(nèi)容將在360人工智能研究院的主頁和GitHub發(fā)布。

未來研究團(tuán)隊的研究方向?qū)⒕劢褂谌诤细冗M(jìn)的多模態(tài)架構(gòu)，以及構(gòu)建更豐富多元的訓(xùn)練數(shù)據(jù)集，以進(jìn)一步拓展細(xì)粒度視覺理解的技術(shù)邊界。

360人工智能研究院主頁：
https://research.#
Github：
https://github.com/360CVGroup

— 完 —