用大模型檢測(cè)工業(yè)品異常，復(fù)旦騰訊優(yōu)圖新算法入選CVPR 2025
采用雙分支并行生成機(jī)制
AI模型用于工業(yè)異常檢測(cè)，再次取得新SOTA！
相關(guān)論文已中稿計(jì)算機(jī)視覺頂會(huì)CVPR 2025。
通俗理解，工業(yè)界為了檢測(cè)產(chǎn)品異常，往往需要更多真實(shí)的殘次品數(shù)據(jù)來(lái)訓(xùn)練檢測(cè)模型；為了解決數(shù)據(jù)稀缺問題，常規(guī)做法一般是讓模型生成各種逼真 “次品圖”，并標(biāo)注“哪個(gè)地方壞了”。
而對(duì)于這項(xiàng)任務(wù)，復(fù)旦大學(xué)、騰訊優(yōu)圖實(shí)驗(yàn)室等機(jī)構(gòu)的研究人員設(shè)計(jì)了一種基于擴(kuò)散模型的少樣本異常圖像生成新模型DualAnoDiff。
實(shí)驗(yàn)結(jié)果顯示，DualAnoDiff相比之前的方法取得了新SOTA。
不僅生成的異常圖像最接近原始數(shù)據(jù)集MVTec中的情形，而且實(shí)際用來(lái)訓(xùn)練檢測(cè)模型的效果（檢測(cè)、定位、分類等下游任務(wù)）都更佳。
那么，它是如何做到的呢？
雙分支并行生成機(jī)制
目前，工業(yè)制造中的異常檢測(cè)性能受到異常數(shù)據(jù)稀缺性的限制。
為克服這一挑戰(zhàn)，研究人員已開始采用異常生成方法來(lái)擴(kuò)充異常數(shù)據(jù)集。
然而，現(xiàn)有異常生成方法存在生成異常多樣性有限、難以實(shí)現(xiàn)異常與原始圖像無(wú)縫融合的問題，且生成的掩碼通常與生成的異常區(qū)域不匹配。
對(duì)此，團(tuán)隊(duì)提出同步生成整體圖像與對(duì)應(yīng)異常部分的方法，設(shè)計(jì)了一種基于擴(kuò)散模型的少樣本異常圖像生成新模型DualAnoDiff。
以下為DualAnoDiff架構(gòu)圖：
展開來(lái)說，DualAnoDiff采用了雙分支并行生成機(jī)制。
它通過兩個(gè)分支同步生成異常圖像與對(duì)應(yīng)異常區(qū)域，二者采用不同但嵌套的提示詞。
主分支負(fù)責(zé)生成包含異常的完整圖像，側(cè)重全局視覺一致性；子分支專注于生成局部異常區(qū)域，強(qiáng)調(diào)細(xì)節(jié)真實(shí)性。
嵌套提示詞機(jī)制確保兩分支生成內(nèi)容在語(yǔ)義和結(jié)構(gòu)上緊密關(guān)聯(lián)。至于SAIM模塊，則用于完成兩個(gè)分支之間特征的融合與共享。
其次還引入了背景補(bǔ)償模塊（BCM）。
從輸入的正常圖像（或生成的背景部分）中分離出背景的關(guān)鍵特征（Key）和值特征（Value），注入到主分支中，強(qiáng)制限制生成結(jié)果的形狀，從而穩(wěn)定模型的生成效果，緩解了少樣本圖像生成中常見的失真與模糊現(xiàn)象。
實(shí)驗(yàn)結(jié)果
下表展示了生成結(jié)果在真實(shí)性與多樣性的量化指標(biāo)上的比較。
可以看到，團(tuán)隊(duì)所使用的方法生成了最高質(zhì)量和最多樣化的圖像數(shù)據(jù)。
更多可視化效果也印證了這一點(diǎn)，其方法生成的數(shù)據(jù)有較好的質(zhì)量和多樣性。
像素級(jí)和圖像級(jí)的異常檢測(cè)結(jié)果表明，用不同的方法生成的數(shù)據(jù)，對(duì)同一個(gè)模型結(jié)構(gòu)進(jìn)行訓(xùn)練，最終用該團(tuán)隊(duì)方法生成的數(shù)據(jù)獲得了整體最優(yōu)的效果。
小結(jié)一下，這項(xiàng)研究提出了一種用于生成異常圖像和掩碼的新方法DualAnoDiff。
該方法采用并行雙分支擴(kuò)散機(jī)制同步生成異常圖像及其對(duì)應(yīng)的異常部分，這確保了生成的異常圖像，掩碼對(duì)具有高度對(duì)齊性，同時(shí)保證了異常圖像的真實(shí)感。
此外，為解決復(fù)雜場(chǎng)景下的生成挑戰(zhàn)，團(tuán)隊(duì)引入了背景補(bǔ)償模塊，有效增強(qiáng)了模型對(duì)復(fù)雜背景的擬合能力。
大量實(shí)驗(yàn)表明，與現(xiàn)有異常生成方法相比，新方法性能更優(yōu)。通過本模型生成的異常數(shù)據(jù)可顯著提升下游異常檢測(cè)任務(wù)的性能。
團(tuán)隊(duì)表示，該研究將推動(dòng)異常圖像生成領(lǐng)域的發(fā)展。
論文鏈接：https://arxiv.org/pdf/2408.13509
相關(guān)閱讀
螞蟻醫(yī)療大模型拿下MedBench測(cè)評(píng)“雙料”冠軍，原生多模態(tài)+千億數(shù)據(jù)
評(píng)測(cè)榜單97.5、自測(cè)榜單98.2的高分
