用大模型檢測工業(yè)品異常，復旦騰訊優(yōu)圖新算法入選CVPR 2025
采用雙分支并行生成機制
AI模型用于工業(yè)異常檢測，再次取得新SOTA！
相關論文已中稿計算機視覺頂會CVPR 2025。
通俗理解，工業(yè)界為了檢測產(chǎn)品異常，往往需要更多真實的殘次品數(shù)據(jù)來訓練檢測模型；為了解決數(shù)據(jù)稀缺問題，常規(guī)做法一般是讓模型生成各種逼真 “次品圖”，并標注“哪個地方壞了”。
而對于這項任務，復旦大學、騰訊優(yōu)圖實驗室等機構的研究人員設計了一種基于擴散模型的少樣本異常圖像生成新模型DualAnoDiff。
實驗結果顯示，DualAnoDiff相比之前的方法取得了新SOTA。
不僅生成的異常圖像最接近原始數(shù)據(jù)集MVTec中的情形，而且實際用來訓練檢測模型的效果（檢測、定位、分類等下游任務）都更佳。
那么，它是如何做到的呢？
雙分支并行生成機制
目前，工業(yè)制造中的異常檢測性能受到異常數(shù)據(jù)稀缺性的限制。
為克服這一挑戰(zhàn)，研究人員已開始采用異常生成方法來擴充異常數(shù)據(jù)集。
然而，現(xiàn)有異常生成方法存在生成異常多樣性有限、難以實現(xiàn)異常與原始圖像無縫融合的問題，且生成的掩碼通常與生成的異常區(qū)域不匹配。
對此，團隊提出同步生成整體圖像與對應異常部分的方法，設計了一種基于擴散模型的少樣本異常圖像生成新模型DualAnoDiff。
以下為DualAnoDiff架構圖：
展開來說，DualAnoDiff采用了雙分支并行生成機制。
它通過兩個分支同步生成異常圖像與對應異常區(qū)域，二者采用不同但嵌套的提示詞。
主分支負責生成包含異常的完整圖像，側重全局視覺一致性；子分支專注于生成局部異常區(qū)域，強調細節(jié)真實性。
嵌套提示詞機制確保兩分支生成內容在語義和結構上緊密關聯(lián)。至于SAIM模塊，則用于完成兩個分支之間特征的融合與共享。
其次還引入了背景補償模塊（BCM）。
從輸入的正常圖像（或生成的背景部分）中分離出背景的關鍵特征（Key）和值特征（Value），注入到主分支中，強制限制生成結果的形狀，從而穩(wěn)定模型的生成效果，緩解了少樣本圖像生成中常見的失真與模糊現(xiàn)象。
實驗結果
下表展示了生成結果在真實性與多樣性的量化指標上的比較。
可以看到，團隊所使用的方法生成了最高質量和最多樣化的圖像數(shù)據(jù)。
更多可視化效果也印證了這一點，其方法生成的數(shù)據(jù)有較好的質量和多樣性。
像素級和圖像級的異常檢測結果表明，用不同的方法生成的數(shù)據(jù)，對同一個模型結構進行訓練，最終用該團隊方法生成的數(shù)據(jù)獲得了整體最優(yōu)的效果。
小結一下，這項研究提出了一種用于生成異常圖像和掩碼的新方法DualAnoDiff。
該方法采用并行雙分支擴散機制同步生成異常圖像及其對應的異常部分，這確保了生成的異常圖像，掩碼對具有高度對齊性，同時保證了異常圖像的真實感。
此外，為解決復雜場景下的生成挑戰(zhàn)，團隊引入了背景補償模塊，有效增強了模型對復雜背景的擬合能力。
大量實驗表明，與現(xiàn)有異常生成方法相比，新方法性能更優(yōu)。通過本模型生成的異常數(shù)據(jù)可顯著提升下游異常檢測任務的性能。
團隊表示，該研究將推動異常圖像生成領域的發(fā)展。
論文鏈接：https://arxiv.org/pdf/2408.13509
- 厲害了，智譜造了全球首個手機通用Agent！人人免費，APP甚至直接操控云電腦2025-08-20
- 美國專家來中國轉了一圈：AI比賽已經(jīng)結束了2025-08-19
- 一張圖0.1秒生成上半身3D化身！清華IDEA新框架入選ICCV 20252025-08-21
- “半路截胡”張益唐，北大出身的中山大學校長這樣做2025-08-21
相關閱讀
