微信視覺團(tuán)隊(duì)斬獲CVPR 2023 Video Similarity Challenge雙賽道冠軍

豐色 2023-06-16 14:59:21 來源：量子位

近日，CVPR 2023 Video Similarity Challenge比賽圓滿結(jié)束，微信視覺團(tuán)隊(duì)?wèi){借出色的表現(xiàn)，成功獲得該比賽雙賽道冠軍。

在比賽中，微信視覺團(tuán)隊(duì)以深厚的技術(shù)實(shí)力成功奪得了Descriptor Track 和 Matching Track兩個(gè)賽道的冠軍，并在Matching Track賽道提出了創(chuàng)新性的解決方案，比賽指標(biāo)遠(yuǎn)超其他參賽者。

目前，相關(guān)技術(shù)論文《A Dual-level Detection Method for Video Copy Detection》、《 A Similarity Alignment Model for Video Copy Segment Matching》已發(fā)布于論文預(yù)印本網(wǎng)站arXiv。

Descriptor Track最終榜單和Matching Track最終榜單

微信視覺團(tuán)隊(duì)挑戰(zhàn)CVPR 2023 Video Similarity Challenge，成功斬獲雙賽道冠軍

伴隨著短視頻平臺(tái)的興起，短視頻搬運(yùn)、抄襲等問題也日益嚴(yán)峻，視頻原創(chuàng)保護(hù)意識(shí)和視頻拷貝檢測(cè)技術(shù)逐漸引起廣泛關(guān)注與重視。

為推動(dòng)視頻拷貝檢測(cè)領(lǐng)域的不斷進(jìn)步， Meta AI在 CVPR 2023 Workshop上發(fā)起Video Similarity Challenge。

作為計(jì)算機(jī)視覺領(lǐng)域的全球頂會(huì)，CVPR舉辦了許多比賽，每次比賽都吸引了眾多國(guó)內(nèi)外企業(yè)、科研機(jī)構(gòu)的頂尖團(tuán)隊(duì)參與角逐，此次也不例外。

其中，微信視覺團(tuán)隊(duì)也報(bào)名參加了此次比賽。

據(jù)了解，視頻拷貝檢測(cè)技術(shù)是用于檢測(cè)一個(gè)視頻是否拷貝了另外一個(gè)視頻，包括完整拷貝、片段剪輯以及各種濾鏡特效花邊字幕等編輯對(duì)抗。

其中，Descriptor Track 和 Matching Track是視頻拷貝檢測(cè)工作中的兩個(gè)重要的環(huán)節(jié)。

基于此，本次比賽設(shè)立了Descriptor Track 和 Matching Track兩個(gè)賽道。

在比賽中，微信視覺團(tuán)隊(duì)表現(xiàn)出色，以0.8717和0.9153的成績(jī)成功攬下雙賽道冠軍。

其中，在Matching Track賽道上，微信視覺團(tuán)隊(duì)提出了新的解決方案，得分也遠(yuǎn)超其他參賽者。

微信視覺團(tuán)隊(duì)推出新方案，已部署應(yīng)用于視頻號(hào)

據(jù)介紹，此次比賽難點(diǎn)在于不僅需要判斷兩個(gè)視頻質(zhì)檢是否存在拷貝關(guān)系，還需要定位到兩個(gè)視頻拷貝片段具體位置。

這里需要高性能的視頻特征，用于在巨大視頻庫(kù)中召回拷貝視頻。

此處主要的挑戰(zhàn)是源視頻和拷貝視頻通常存在大量編輯，而且拷貝時(shí)長(zhǎng)，位置也是完全隨機(jī)的。對(duì)于拷貝片段的實(shí)際匹配關(guān)系，則一直是業(yè)界的難點(diǎn)，特別是對(duì)于時(shí)長(zhǎng)較短的拷貝片段非常難做到準(zhǔn)備的定位。

因此， Video Similarity Challenge比賽將這個(gè)問題分為Descriptor Track 和 Matching Track兩個(gè)賽道。

比賽中，微信視覺團(tuán)隊(duì)克服重重難點(diǎn)，成功登頂兩個(gè)賽道榜單的榜首，并且在Matching Track賽道上，還研發(fā)出了一套更為精準(zhǔn)、高效的解決方案。

在Descriptor Track 賽道中，微信視覺團(tuán)隊(duì)經(jīng)過數(shù)據(jù)分析后明確了任務(wù)難點(diǎn)，并基于此提出了一個(gè)兩階段檢測(cè)方法來識(shí)別拷貝視頻，該方法分為Frame-Level Embedding、Video Editing Detection和Frame Scenes Detection三個(gè)模塊。

在對(duì)3個(gè)模塊進(jìn)行深度訓(xùn)練學(xué)習(xí)后，最終在uAP指標(biāo)上取得了0.8717的成績(jī)，相比第2名的0.8514有明顯提升。

在Matching Track 賽道上，微信視覺團(tuán)隊(duì)提出的Matching Track 解決方案由Feature Extraction、Similar Segment Matching和Similar Segment Parsing三部分組成。

其中，F(xiàn)eature Extraction 基于Descriptor Track 方案，負(fù)責(zé)視頻幀級(jí)別embedding提?。籗imilar Segment Matching 則基于query視頻和reference視頻的幀級(jí)別embedding相似度矩陣為輸入。

首先，基于MobileNet-V3等分類器，從大量召回中篩選正樣本，剔除大量簡(jiǎn)單負(fù)樣本召回，減少M(fèi)atching階段計(jì)算開銷。

其次，使用HRNet-w18作為骨干網(wǎng)絡(luò)，預(yù)測(cè)每幀的匹配關(guān)系。

最后Similar Segment Parsing階段，經(jīng)過連通分量算法和RANSAC回歸算法的后處理，得到源視頻和copy視頻的copy片段匹配關(guān)系。

該方案在比賽評(píng)測(cè)數(shù)據(jù)上，uAP指標(biāo)達(dá)到了驚人的0.9153，遠(yuǎn)超其他參賽者。

目前，微信視覺團(tuán)隊(duì)在CVPR 2023 Video Similarity Challenge比賽中的相關(guān)技術(shù)方案已在視頻號(hào)落地使用。

作為內(nèi)容記錄與創(chuàng)作平臺(tái)，微信視頻號(hào)始終尊重并維護(hù)每位權(quán)利人的知識(shí)成果，通過“首發(fā)內(nèi)容保護(hù)機(jī)制”、“原創(chuàng)聲明機(jī)制”、線上+線下協(xié)同合作、電子侵權(quán)投訴系統(tǒng)、關(guān)聯(lián)帳號(hào)打擊等措施，優(yōu)化用戶體驗(yàn)，提升處理能效。

未來，微信視覺團(tuán)隊(duì)也將不斷加強(qiáng)在Video Similarity（視頻相似性）方面的技術(shù)積累，將先進(jìn)技術(shù)落地應(yīng)用至產(chǎn)品場(chǎng)景，持之以恒地打擊短視頻拷貝、直播錄播盜播等黑灰產(chǎn)，竭力打造繁榮健康的原創(chuàng)內(nèi)容生態(tài)。