漫畫漢化組，不用手動抹掉原文了：開源AI一鍵擦除，還能修復背景
左擦擦，右擦擦，上擦擦，下擦擦。
栗子 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
△ 來自《彈丸論破》
漫畫漢化組，和動畫字幕組，表面看都是翻譯，可工作還是很不一樣的。
比如，日文動畫生肉一般沒有加字幕，而漫畫原本就充滿了文字。
所以，漫畫的漢化組，要先把原文抹掉，才能貼上中文。
需要抹掉的，不只氣泡里的對話，還有背景里的旁白，以及字體碩大雄健的擬聲詞。
這樣巨大的工作量，還是交給AI吧，只要一鍵：
滿篇的文字都消失了，人類完全沒有幫忙。
AI的名字叫SickZil-Machine，是一群韓國小伙伴開發(fā)的，已經(jīng)開源。
不光字去掉了，背景也修補了：
有了它，漢化組再也不用大規(guī)模手動擦除了。
面對此情此景，人類表示相見恨晚：
那么，韓國少年們是怎樣孕育出這只AI的？
一步兩步
團隊說，這是一個完全自動消除漫畫文字的AI；但如果人類需要，也可以手動指定消除某一部分文字。
至于是如何擦掉文字，AI由兩個機器學習模型組成：
一個叫SegNet，負責把需要抹掉的文字部分，分割出來；
一個叫ComplNet，負責把抹掉之后露出的背景補全。
摳出文字的SegNet，借鑒了前輩U-Net圖像分割技術：
U-Net結構像個U，從全卷積網(wǎng)絡 (FCN) 改進而來。
分割是用成對數(shù)據(jù)訓練的。這里的成對數(shù)據(jù)，就是漫畫原圖，加上文字部分的mask。
只用了285對數(shù)據(jù)。
摳出文字之后，就該填補背景的ComplNet上場了。它是借鑒了前輩DeepFillv2圖像修復算法：
DeepFillv2來自UIUC和Adobe，擦除圖像的任意部位，AI都能修補完整。
比如，抹掉一盞路燈，AI便會把路燈背后的建筑物補好。
除此之外，還能按自己的意志修改圖片：
把人類的下巴擦掉，再描個短一點的下巴，AI就會給你一張不是馬臉的人像了。
當然，漫畫未必需要這樣高度定制，腦補背景就夠。
團隊用了31,497張圖來訓練，其中11,464張是有文字的。
最終，成果斐然：
不過，也不一定要全靠AI，人類可以手動選擇要 (或不要) 消除的部分。
先讓屏幕顯示出AI生成的mask (紅色) 。如果發(fā)現(xiàn)不該變紅的部分紅了，就手動把這一部分從mask里去掉，這樣AI就不會把它消除了。
比如上面，妹子的臉旁邊，沒有字的地方紅了一大塊。那么，把這一部分紅色框起來扔掉，就好了。
你也試試吧
其實，這個好東西也不一定是漢化組才用得到。
沒事做的時候，把漫畫原本的臺詞抹掉，練習填詞，也是很健康的活動喲。
比如到了這種時候，人類會說些什么呢：
△來自山下智博
額，哪里健康了？
傳送門：
https://github.com/KUR-creative/SickZil-Machine
U-Net傳送門：
https://arxiv.org/abs/1505.04597
Deepfillv2傳送門：
http://jiahuiyu.com/deepfill2/
— 完 —
- 馬云正式卸任后，阿里巴巴開盤跌0.87%2019-09-10
- 亞馬遜在華拓展云計算團隊，挑戰(zhàn)阿里巴巴和騰訊2019-10-16
- AI獨角獸云知聲，已完成一期科創(chuàng)板IPO輔導2019-10-17
- IDC：今年上半年中國公有云服務市場規(guī)模達54.2億美元2019-11-07
相關閱讀
