網(wǎng)易伏羲蟬聯(lián)CVPR兩項(xiàng)冠軍，AI助推《絕對(duì)演繹》首創(chuàng)“情緒遷移”玩法

量子位的朋友們 2022-04-15 11:15:45 來源：量子位

近日，國(guó)際AI頂會(huì)CVPR 2022公布第三屆人臉表情國(guó)際挑戰(zhàn)賽結(jié)果，網(wǎng)易伏羲虛擬人團(tuán)隊(duì)從全球129支頂尖科研隊(duì)伍中脫穎而出，連續(xù)兩年拿下人臉表情動(dòng)作單元檢測(cè)（AU）、人臉情緒識(shí)別賽道（EXPR）的雙料冠軍，并率先將科研成果應(yīng)用于產(chǎn)業(yè)創(chuàng)新?；诰W(wǎng)易伏羲的AI人臉情緒識(shí)別技術(shù)，手游《絕對(duì)演繹》在國(guó)內(nèi)首創(chuàng)表情情緒互動(dòng)式玩法，將真人表情實(shí)時(shí)遷移至游戲人物，沉浸式還原演員磨煉演技的趣味體驗(yàn)，創(chuàng)下8天超7300萬次的面部表情練習(xí)紀(jì)錄。

（國(guó)際AI頂級(jí)會(huì)議CVPR 2022近日放榜）

讓AI更好地識(shí)別、描述人類情感，并將前沿研究落地應(yīng)用，是國(guó)際學(xué)術(shù)界長(zhǎng)期關(guān)注、力爭(zhēng)突破的重要課題。作為計(jì)算機(jī)視覺三大國(guó)際頂級(jí)會(huì)議之一，CVPR舉辦的第三屆人臉表情國(guó)際挑戰(zhàn)賽聚焦AI人臉表情分析領(lǐng)域的落地價(jià)值，考驗(yàn)參賽隊(duì)伍AI模型識(shí)別人臉情緒的抗干擾和泛化能力。本次賽事共吸引129支全球一流高校和企業(yè)科研團(tuán)隊(duì)同臺(tái)競(jìng)技。

在此次競(jìng)賽中，網(wǎng)易伏羲虛擬人提出基于自研表情表征技術(shù)和基于transformer的多模態(tài)情緒分析框架，最終在人臉表情動(dòng)作單元檢測(cè)（AU）獲得F1 49.89%、人臉情緒識(shí)別賽道（EXPR）獲得F1 35.87%，連續(xù)兩年蟬聯(lián)雙料冠軍。

（網(wǎng)易伏羲虛擬人團(tuán)隊(duì)連續(xù)兩年斬獲CVPR競(jìng)賽雙料冠軍）

目前，網(wǎng)易伏羲的AI人臉表情遷移、情緒識(shí)別等研究成果已投入應(yīng)用，AI情緒識(shí)別技術(shù)更是首次應(yīng)用于游戲玩法。去年底上線的娛樂圈題材“黑馬”手游《絕對(duì)演繹》，就基于網(wǎng)易伏羲在人臉表情情緒領(lǐng)域的前沿AI技術(shù)，在國(guó)內(nèi)首創(chuàng)表情情緒互動(dòng)式玩法。玩家根據(jù)文字提示做出各種表情后，AI會(huì)將真人表情實(shí)時(shí)遷移至游戲角色中，并一鍵判斷玩家的演繹是否到位。

（基于網(wǎng)易伏羲AI技術(shù)，《絕對(duì)演繹》國(guó)內(nèi)首創(chuàng)表情情緒互動(dòng)式玩法）

沉浸式磨煉演技的新穎玩法，疊加實(shí)時(shí)的效果展示，極大地提升了玩家的代入感體驗(yàn)，廣受好評(píng)。去年10月，《絕對(duì)演繹》曾展開“視鏡之旅”公測(cè)，演藝圈的“奮斗咖”在8天內(nèi)進(jìn)行了超7300萬次面部表情練習(xí)，殺青了超2.5萬場(chǎng)戲，玩家的事業(yè)心之強(qiáng)讓網(wǎng)友直呼“提高內(nèi)娛內(nèi)卷質(zhì)量，還看《絕對(duì)演繹》”。據(jù)悉，該項(xiàng)技術(shù)甚至收到了娛樂圈業(yè)內(nèi)人士的關(guān)注，用以判斷演員的演技。

（玩家曬出《絕對(duì)演繹》“練表情”神同步成果）

除了在虛擬人科研領(lǐng)域的深度耕耘，網(wǎng)易伏羲還擁有智能捏臉、動(dòng)畫遷移、動(dòng)畫合成、語音合成、語音轉(zhuǎn)換等完善的虛擬人產(chǎn)品矩陣，為眾多虛擬人公司以及麥當(dāng)勞、網(wǎng)易云音樂、網(wǎng)易嚴(yán)選等快消、文娛、電商、金融等行業(yè)提供虛擬人技術(shù)解決方案。