人臉識別，現(xiàn)在連動漫角色都不放過
臉盲患者福音
蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
看過的動漫太多，以至于認(rèn)角色時有點臉盲？
又或者，只想給自己的二次元老婆剪個出場合輯，卻不得不在各大搜索引擎搜索關(guān)于她的照片？
試試愛奇藝推出的這個卡通人臉識別基準(zhǔn)數(shù)據(jù)集iCartoonFace，用它訓(xùn)練AI幫你找動漫素材，效率分分鐘翻倍。
對于臉型相近、但角色不同的二次元人物，能準(zhǔn)確識別出來（臉盲福音）：
如果人物視角出現(xiàn)變化，也能準(zhǔn)確識別：
不僅如此，在人臉被大面積遮擋時，也能準(zhǔn)確地識別出來：
至于陰影和光照也不在話下，哪怕站在樹蔭里，也能被AI“偵測”：
效果完全不輸現(xiàn)有的真實人臉識別。
那么，這樣的技術(shù)是怎么做出來的呢？
結(jié)合真人數(shù)據(jù)，訓(xùn)練卡通人臉識別
團(tuán)隊提出了一種卡通和真人的多人物訓(xùn)練框架，主要包括分類損失函數(shù)、未知身份拒絕損失函數(shù)和域遷移損失函數(shù)三部分，如下圖所示。
其中，分類損失函數(shù)主要用來對卡通臉和真人臉進(jìn)行分類。
而未知身份拒絕損失函數(shù)，則是為了在不同域之間進(jìn)行無監(jiān)督正則化投影。
至于域遷移損失函數(shù)，目的是降低卡通和真人域之間的差異性，對他們的相關(guān)性進(jìn)行約束。
針對這個框架，研究者們探討了三個問題：哪種算法最好？人臉識別是否有助于卡通識別？上下文信息對卡通識別是否有用？
從實驗結(jié)果來看，ArcFace+FL的效果最佳，所以此次團(tuán)隊選用了這個算法。
至于后兩個問題的答案，也是肯定的。
從下圖的藍(lán)線來看，加上真人人臉識別的信息后，對于卡通檢測的識別同樣有幫助。
至于上下文信息，團(tuán)隊也做了實驗，下圖是算法在卡通人臉基礎(chǔ)上擴(kuò)充不同比例下的性能識別。實驗證明，上下文信息越豐富，人臉識別的效果也會更好。
事實上，動物角色訓(xùn)練出來的特征樣本，相比于人臉來說，還是有點詭異。
下圖中分別是原圖和對應(yīng)的特征樣本，相比于動漫男生和女生，虹貓的特征顯得有點……不可捉摸。
不過這也說明，一個標(biāo)準(zhǔn)、大型的動漫人臉數(shù)據(jù)集是有必要的。
標(biāo)注數(shù)據(jù)，只需要一步
為了減少人工標(biāo)注的工作量，研究者們設(shè)計了一種半自動數(shù)據(jù)集構(gòu)建框架，用于構(gòu)建iCartoonFace數(shù)據(jù)集。
如下圖，這個框架可以分為三個階段：
首先，對數(shù)據(jù)進(jìn)行分層收集。先獲取卡通圖片信息，包括專輯和人物名稱，再獲取卡通人物圖片，使得數(shù)據(jù)集結(jié)構(gòu)非常清晰。
其次，對數(shù)據(jù)進(jìn)行過濾。利用卡通人臉檢測、特征提取器和特征聚類等，對圖片數(shù)據(jù)進(jìn)行噪聲過濾。
其中，特征提取器的性能會發(fā)生變化：隨著標(biāo)注數(shù)據(jù)的增多，性能不斷增強。
最后，標(biāo)注人員只需要做一個步驟：根據(jù)特征聚類的結(jié)果，回答兩張圖片是否是同一個人物。
目前最大的卡通人物標(biāo)注數(shù)據(jù)集
事實上，目前已有大量針對真人的人臉識別的技術(shù)和算法。
然而，針對二次元人臉識別的數(shù)據(jù)集依舊少之又少，大多數(shù)數(shù)據(jù)集存在著噪音比例大、數(shù)據(jù)量小的問題。
但這樣的需求的確存在，不局限于對視頻的結(jié)構(gòu)化分析，還能應(yīng)用于圖片搜索、廣告識別等場景。
例如，給創(chuàng)作者提供智能剪輯、或者是對惡搞的諷刺漫畫、卡通風(fēng)格人物進(jìn)行審核辨識。
針對這個現(xiàn)象，愛奇藝開放了目前全球最大的手工標(biāo)注卡通人物檢測數(shù)據(jù)集與識別數(shù)據(jù)集iCartoonFace，包含超過5000個卡通人物、40萬張以上的高質(zhì)量實景圖片。
下圖是iCartoonFace與其他已有動漫數(shù)據(jù)集的對比，基于這個數(shù)據(jù)集設(shè)計框架，可以有效地提高卡通人物識別性能。
說不定，真能讓廣大觀眾對動漫角色“不再臉盲”。
傳送門
論文鏈接：
https://arxiv.org/pdf/1907.13394.pdf
數(shù)據(jù)集（在競賽數(shù)據(jù)集一欄）：
https://iqiyi.cn/icartoonface
