一張自拍變6種風(fēng)格漫畫，視頻也支持，全程穩(wěn)定不“掉線”，這個(gè)AI不到一天狂攬1800贊
網(wǎng)友：不如叫WaifuNet
把自拍變漫畫：
不止支持一種面部風(fēng)格：
任憑小姐姐怎么“全身大比劃”，效果都能保持穩(wěn)定，全程“不掉線”：
?
不止人臉，連全身和背景也都全部照顧到了。
這，就是最近在Reddit上大火的一個(gè)自拍變漫畫AI，不到一天就收獲了1800+贊。
什么來(lái)頭？
自拍變漫畫，人臉、全身、背景都照顧到
這個(gè)AI叫WebtoonMe，基于深度學(xué)習(xí)技術(shù)將圖像翻譯成漫畫風(fēng)格。
熟悉的朋友可能知道，Webtoon，web+cartoon，也就是“網(wǎng)頁(yè)版漫畫”，是漫畫的一種呈現(xiàn)形式，出自韓國(guó)。
這個(gè)自拍變身漫畫AI的技術(shù)團(tuán)隊(duì)也來(lái)自韓國(guó)。
一開始，他們只做了人臉轉(zhuǎn)換，后來(lái)打算把背景也包括進(jìn)去。
不過(guò)問題就來(lái)了：照片中的各種物體（如面部、身體部位、衣服、背景等）的風(fēng)格屬性都不太一樣，如何輸出統(tǒng)一的結(jié)果呢？
作者采訪了幾位webtoon的創(chuàng)作者后了解到，webtoon的“前景”和“背景”是用不同工具制作的，為了讓兩者更自然地融合，后期也添加了不少修飾。
因此，他們將這個(gè)AI分為面部轉(zhuǎn)換和背景轉(zhuǎn)換兩部分，即一個(gè)背景生成器+一個(gè)面部生成器，把人臉裁切出來(lái)和背景分別處理。
具體來(lái)說(shuō)，他們先構(gòu)建了一個(gè)webtoon數(shù)據(jù)集，這個(gè)數(shù)據(jù)集由人臉、身體部位、物體和自然背景等不同部分組成。
然后創(chuàng)建了各種深度學(xué)習(xí)模型，用來(lái)減少前景和背景元素之間的風(fēng)格差異。
最后又模仿了不同webtoon創(chuàng)作者的修飾技術(shù)，通過(guò)幾種后處理算法，讓生成的結(jié)果更自然、質(zhì)量更高。
具體的技術(shù)細(xì)節(jié)我們還未可知，目前也還沒有開放試用鏈接。
不過(guò)看起來(lái)讓很多心動(dòng)的背后，一些細(xì)心的網(wǎng)友僅通過(guò)幾張示例就發(fā)現(xiàn)了一些問題。
眼睛的效果還需改進(jìn)
就比如這個(gè)眼睛，很多網(wǎng)友表示有點(diǎn)恐怖啊，一直直視前方，眼球動(dòng)也不動(dòng)。
如果能模仿眼球轉(zhuǎn)動(dòng)、眨眼睛、瞇眼等眼部動(dòng)作，效果肯定會(huì)更好。
此外，拋去這一點(diǎn)，臉部和背景處理得都還不錯(cuò)，就是這個(gè)身體部位風(fēng)格化得不夠徹底，還是有點(diǎn)像真人。
倒是這個(gè)AI的穩(wěn)定性值得讓人夸贊。
哦，還有一點(diǎn)美中不足，有網(wǎng)友“惋惜”：
要是這個(gè)AI還沒取名字就好了，不然就可以叫WaifuNet了……[旺柴]
One More Thing
要說(shuō)這人物變動(dòng)漫的AI，一直都層出不窮。
就比如前不久的AnimeGAN2，采用神經(jīng)風(fēng)格遷移+GAN，由湖北工業(yè)大學(xué)的三位學(xué)生和老師開發(fā)，也是大火，一度需要網(wǎng)友排幾小時(shí)大隊(duì)才能看一眼自己在動(dòng)漫里的樣子。
AnimeGAN2的風(fēng)格和今天的這個(gè)WebtoonMe不太一樣，變換重點(diǎn)也只包括人臉，所以眼部跟蹤做的挺好。
不過(guò)面對(duì)不夠高清的人臉時(shí)，效果一般。
兩者各有所長(zhǎng)吧，你喜歡哪一種呢？
參考鏈接：
[1]https://webtoon.github.io/WebtoonMe/en
[2]https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/
相關(guān)閱讀
Hinton再挖新坑：改進(jìn)膠囊網(wǎng)絡(luò)，融合Transformer神經(jīng)場(chǎng)等研究
目前還處于idea階段，膠囊網(wǎng)絡(luò)的坑更深了
用AI實(shí)現(xiàn)隔墻“透視”，準(zhǔn)確率達(dá)97%，這家中國(guó)公司研究入選CVPR
一家來(lái)自中國(guó)的AI創(chuàng)業(yè)公司合刃科技，嘗試用墻壁散射的光去復(fù)原被遮擋數(shù)字，正確率最高能達(dá)到97%，整個(gè)過(guò)程不需要1秒，更適合用在需要實(shí)時(shí)處理的自動(dòng)駕駛。
