在游戲里還原自己的臉，給AI一張照片就行，網(wǎng)易&密歇根大學(xué)出品 | AAAI 2021
可以集成到大多數(shù)現(xiàn)有的3D游戲中
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
給AI一張毛不易的照片，它自動(dòng)就能生成一個(gè)古風(fēng)毛大俠。
小姐姐冷艷的氣質(zhì)，可以被還原出一代俠女風(fēng)范。
也可以探索一下，奧巴馬穿越回宋朝是一種怎樣的體驗(yàn)……
現(xiàn)在，想在游戲里定制化自己的臉，你可以不用自己花時(shí)間琢磨參數(shù)了。
熟悉游戲的小伙伴可能認(rèn)出來了，這一套AI捏臉術(shù)，來自網(wǎng)易伏羲人工智能實(shí)驗(yàn)室和密歇根大學(xué)。
現(xiàn)在，最新相關(guān)研究登上了AAAI 2021。
據(jù)作者介紹，這個(gè)名為MeInGame的方法，可以集成到大多數(shù)現(xiàn)有的3D游戲中，并且相比于單純基于3DMM（3D Morphable Face Model ）的方法，成本更低，泛化性能更好。
具體實(shí)現(xiàn)細(xì)節(jié)，一起來看。
方法原理
研究人員將人臉形狀和紋理的重建，視作一個(gè)自監(jiān)督的面部相似度測量問題。
首先，對于輸入照片，預(yù)先訓(xùn)練好的形狀重建器會(huì)預(yù)測其3DMM和姿勢系數(shù)，并在保持拓?fù)浣Y(jié)果的同時(shí)，將3DMM網(wǎng)格轉(zhuǎn)換成游戲網(wǎng)格。
這么做的原因，是3DMM網(wǎng)格的拓?fù)浣Y(jié)構(gòu)與大多數(shù)游戲中使用的網(wǎng)格不同。直接基于3DMM來從單張圖像中還原出游戲中的3D人臉，需要大量的人臉紋理數(shù)據(jù)進(jìn)行訓(xùn)練，費(fèi)時(shí)費(fèi)力不說，實(shí)驗(yàn)室條件下收集的數(shù)據(jù)也可能出現(xiàn)泛化不佳的問題。
接著，基于游戲網(wǎng)格，將輸入圖像解包到UV空間，創(chuàng)建一個(gè)粗紋理圖。紋理會(huì)由一組編碼器-解碼器模塊進(jìn)行進(jìn)一步細(xì)化。
另外，研究人員還設(shè)計(jì)了光照歸回器。這是一個(gè)輕量級網(wǎng)絡(luò)，由幾個(gè)完全連接層組成，能根據(jù)圖像特征預(yù)測光照方向、環(huán)境光、漫反射、高光等光照系數(shù)。
最后，將預(yù)測出的形狀、紋理和光照系數(shù)一起反饋給可微分渲染器，在結(jié)果與輸入的人臉照片相似的情況下，驅(qū)動(dòng)2D人臉渲染。
研究人員還引入了兩個(gè)判別器，來進(jìn)一步改善結(jié)果。
具體到數(shù)據(jù)集的準(zhǔn)備方面，這項(xiàng)研究提出了一種低成本面部紋理采集方法：與其他需要多視角圖像的方法不同，只使用單視角圖像，因此更加容易獲取。
步驟如下：
- 對于輸入的人臉圖像，使用預(yù)訓(xùn)練人臉分割網(wǎng)絡(luò)檢測皮膚區(qū)域；
- 計(jì)算輸入人臉皮膚的顏色均值，并將均值遷移到模板紋理圖（由游戲開發(fā)者提供）；
- 根據(jù)游戲網(wǎng)格，將輸入的人臉圖像進(jìn)行解包到UV空間。
- 使用泊松混合，將解包后的圖像與模板紋理圖進(jìn)行融合。移除頭發(fā)、眼鏡等非皮膚區(qū)域，并盡可能利用對稱性補(bǔ)齊遮擋區(qū)域。
實(shí)驗(yàn)結(jié)果
所以，網(wǎng)易伏羲實(shí)驗(yàn)室&密歇根大學(xué)的MeInGame，跟前輩方法們相比有何優(yōu)勢？
從與A Dream of Jianghu、Loomie、ZEPETO等方法的定性比較結(jié)果來看，該方法無論是在面容（包括膚色）的還原度上，還是妝面這樣的個(gè)性化細(xì)節(jié)上，都要略勝一籌，并且能消除光照和遮擋的影響。
而基于3DMM的方法雖然能夠高度還原真實(shí)人臉，但其建模不包括完整的頭部模型及紋理，很難直接用于游戲環(huán)境。
根據(jù)論文信息，相關(guān)代碼和數(shù)據(jù)集，將會(huì)在GitHub上釋出。
傳送門
論文地址：
https://arxiv.org/abs/2102.02371
GitHub地址：
https://github.com/FuxiCV/MeInGame
— 完 —
相關(guān)閱讀
網(wǎng)易AI孵化項(xiàng)目獲上億元首輪融資，主打AR+AI
本輪融資由元禾原點(diǎn)領(lǐng)投，新湖智腦、頭頭是道等跟投，網(wǎng)易為原始股東持股。
易2-300x174.png)
網(wǎng)易官宣將在游戲《逆水寒》中舉辦國際AI學(xué)術(shù)頂會(huì)，稱全球首次
在游戲里開AI頂會(huì)是種怎樣的體驗(yàn)？
游戲的下一個(gè)突破點(diǎn)，很可能是AI
不管高屋建瓴的學(xué)術(shù)圈，還是產(chǎn)業(yè)前線的互聯(lián)網(wǎng)，各路機(jī)構(gòu)和大廠都在下場做AI，就發(fā)展程度而言，AI已經(jīng)是全面滲透的姿態(tài)了。
