Llama模仿Diffusion多模態(tài)漲分30%！只需共享注意力分布

一水 2025-02-17 12:10:06 來(lái)源：量子位

這次不是卷參數(shù)、卷算力，而是卷“跨界學(xué)習(xí)”——

讓Stable Diffusion當(dāng)老師，教多模態(tài)大模型（如Llama-3.2）如何“看圖說(shuō)話”！

性能直接飆升30%。

中國(guó)研究員聯(lián)合DeepMind團(tuán)隊(duì)的最新研究《Lavender: Diffusion Instruction Tuning》，通過(guò)簡(jiǎn)單的“注意力對(duì)齊”，僅需1天訓(xùn)練、2.5%常規(guī)數(shù)據(jù)量，即可讓Llama-3.2等模型在多模態(tài)問(wèn)答任務(wù)中性能飆升30%，甚至能防“偏科”（分布外醫(yī)學(xué)任務(wù)提升68%）。

且代碼、模型、訓(xùn)練數(shù)據(jù)將全部開(kāi)源！

下面具體來(lái)看。

模仿Stable Diffusion的交叉注意力機(jī)制

當(dāng)前遇到的問(wèn)題是：

傳統(tǒng)多模態(tài)大模型（VLM）的“視覺(jué)課”總不及格？數(shù)據(jù)不夠、過(guò)擬合、細(xì)節(jié)抓不準(zhǔn)……像極了考前突擊失敗的學(xué)渣。

對(duì)此，團(tuán)隊(duì)提出了新的解決方案：

讓Stable Diffusion這位“圖像生成課代表”，直接共享它的“學(xué)霸筆記”——注意力分布。

展開(kāi)來(lái)說(shuō)，其跨界教學(xué)可分為三步走：

Step1：拜師學(xué)藝。VLM（如Llama-3.2）向Stable Diffusion學(xué)習(xí)如何“看圖”，通過(guò)輕量級(jí)對(duì)齊網(wǎng)絡(luò)（Aligner）模仿其交叉注意力機(jī)制。

Step2：高效補(bǔ)課：僅用13萬(wàn)樣本（常規(guī)數(shù)據(jù)量的2.5%）、8塊GPU訓(xùn)練1天，不卷數(shù)據(jù)不燒卡。

Step3：防偏科秘籍。引入LoRA技術(shù)“輕裝上陣”，保留原模型能力的同時(shí)，專攻薄弱環(huán)節(jié)。

然后來(lái)看下具體效果。

從論文曬出的成績(jī)單來(lái)看，在16項(xiàng)視覺(jué)-語(yǔ)言任務(wù)中，Lavender調(diào)教后的Llama-3.2，性能大有提升——

在預(yù)算有限的小模型賽道上，超過(guò)SOTA（當(dāng)前最優(yōu)模型）50%。

在超大模型圈子里，Lavender調(diào)教的Llama-3.2-11B居然能和那些“巨無(wú)霸”SOTA打得有來(lái)有回。

要知道，這些對(duì)手的體量一般在它的10倍以上。

更令人驚訝的是，Lavender連醫(yī)學(xué)數(shù)據(jù)都沒(méi)“補(bǔ)習(xí)”，就直接讓Llama-3.2-11B在WorldMedQA這個(gè)“超綱考試”中成績(jī)暴漲68%。

具體分?jǐn)?shù)見(jiàn)圖表（柱狀圖已標(biāo)出）

代碼/模型/訓(xùn)練數(shù)據(jù)全開(kāi)源

小結(jié)一下，新研究主要技術(shù)亮點(diǎn)如下：

1、注意力對(duì)齊：Stable Diffusion的“獨(dú)家教案”

傳統(tǒng)VLM的注意力機(jī)制像“散光患者”，而Stable Diffusion的注意力分布則是“高清顯微鏡”。Lavender通過(guò)MSE損失函數(shù)，讓VLM學(xué)會(huì)Stable Diffusion的“聚焦技巧”，直接提升視覺(jué)理解精度。

2. 數(shù)據(jù)不夠？知識(shí)蒸餾來(lái)湊

無(wú)需海量標(biāo)注數(shù)據(jù)，直接從圖像生成模型中蒸餾視覺(jué)知識(shí)，堪稱“小樣本學(xué)習(xí)神器”。正如論文團(tuán)隊(duì)調(diào)侃：“這大概就是AI界的‘名師一對(duì)一補(bǔ)習(xí)班’?！?/p>

3. 防過(guò)擬合Buff：LoRA+注意力約束

通過(guò)低秩適配（LoRA）鎖定核心參數(shù)，避免模型“死記硬背”。實(shí)驗(yàn)顯示，Lavender在分布外任務(wù)上的魯棒性吊打傳統(tǒng)SFT方法，具備“抗偏科體質(zhì)”。

另外，從具體應(yīng)用場(chǎng)景來(lái)看，Lavender的視覺(jué)理解能力直接拉滿。

無(wú)論是表格標(biāo)題還是圖表里的小數(shù)據(jù)點(diǎn)，Lavender都能一眼鎖定關(guān)鍵信息，不會(huì)“偏題”；且對(duì)于復(fù)雜圖形、大小位置關(guān)系，Lavender也能避免視覺(jué)誤導(dǎo)，輕松拿捏。

實(shí)驗(yàn)顯示，從醫(yī)學(xué)病灶定位到多語(yǔ)言問(wèn)答，Lavender不僅看得準(zhǔn)，還答得對(duì)，連西班牙語(yǔ)提問(wèn)都難不倒它。

目前，團(tuán)隊(duì)不僅公開(kāi)了論文，代碼/模型/訓(xùn)練數(shù)據(jù)也全部開(kāi)源了。

• 訓(xùn)練數(shù)據(jù)：由Stable Diffusion標(biāo)注的高質(zhì)量對(duì)齊樣本；
• 預(yù)訓(xùn)練模型：基于Llama-3.2、MiniCPMv2.5等架構(gòu)的Lavender適配版；
• 調(diào)參指南：從小白到進(jìn)階的“注意力對(duì)齊”實(shí)操手冊(cè)；

對(duì)于上述研究，團(tuán)隊(duì)負(fù)責(zé)人表示：

我們希望證明，高效、輕量的模型優(yōu)化，比無(wú)腦堆參數(shù)更有未來(lái)。