游戲NPC不再是站樁工具人，AI憑對話內(nèi)容生成3D動作，真實(shí)度超越人類｜網(wǎng)易新研究
風(fēng)格個(gè)性化可選
羿閣 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
你有沒有看過油管很火的外國小姐姐模仿游戲NPC視頻？
△來自YouTube@Loczniki official
這僵硬的姿勢、空洞的眼神、面癱的表情，讓游戲玩家們直呼DNA動了！
如果你也苦于此很久了，現(xiàn)在，網(wǎng)易的一項(xiàng)新技術(shù)將輕松改變這一局面：
只需一段語音，AI就能自動生成3D對話動作，效果甚至超越真人！
不僅能按角色的性別、說話的習(xí)慣和姿態(tài)，合成不同風(fēng)格的動作，還可自由替換或指定待定動作。
△左圖為男性，右圖是女性
目前，該技術(shù)已在語音合成手勢動作領(lǐng)域的權(quán)威賽事GENEA 2022上斬獲第一，并被ICMI 2022收錄。
效果超越真人的新技術(shù)
在此之前，業(yè)界最常用的語音合成對話動作技術(shù)是StyleGestures。
該技術(shù)由美國藝電（Electronic Arts）推出，曾在2年前的第一屆GENEA 2020中取得第一。
但與真實(shí)動捕數(shù)據(jù)相比，StyleGestures合成的動作仍有明顯的機(jī)械感，且缺少可控性，不同的語音合成效果很隨機(jī)，有種碰運(yùn)氣的感覺。
為了解決這兩個(gè)問題，網(wǎng)易的新技術(shù)分為離線的數(shù)據(jù)庫構(gòu)建和在線的語音驅(qū)動動作合成兩個(gè)模塊進(jìn)行。
數(shù)據(jù)庫構(gòu)建
GENEA 2022主辦方發(fā)布的18小時(shí)數(shù)據(jù)集中，包括不同說話人的語音、文本和對應(yīng)的全身動作。
由于沒有經(jīng)過人工的清洗和處理，導(dǎo)致動作數(shù)據(jù)中有很大一部分的動作質(zhì)量較差。
因此，研究人員需要先對此進(jìn)行預(yù)處理：舍棄動作質(zhì)量較差的數(shù)據(jù)、完善不帶手指旋轉(zhuǎn)信息的動作、再通過左右對稱的方式生成更多的數(shù)據(jù)集。
其次，根據(jù)說話文本單詞之間的時(shí)間間隔，將連續(xù)的文本切分為短片段。
并且針對時(shí)長小于1s的連續(xù)動作進(jìn)行合并，對左右半身的動作進(jìn)行鏡像擴(kuò)充，最終得到約6000個(gè)全身動作片段，以及時(shí)長范圍從1s的短句到超過10s的長句。
接下來是對動作節(jié)奏和語音節(jié)奏進(jìn)行自動標(biāo)注。
動作方面，說話人每做出一個(gè)變化的手勢，就對應(yīng)于一個(gè)節(jié)奏變化的時(shí)間點(diǎn)，簡單來說就是特定單詞重音時(shí)需要手勢進(jìn)行一次變化，即手勢有一個(gè)明顯的速度變化的過程。
因此通過計(jì)算雙手速度的極小值，把每個(gè)極小值的時(shí)間點(diǎn)作為節(jié)奏的時(shí)間點(diǎn)，最后每個(gè)動作片段的節(jié)奏可以表示為長度為32位的0-1向量，1表示手勢動作變化的時(shí)間點(diǎn)。
語音方面，根據(jù)語音對應(yīng)文本中的每個(gè)單詞時(shí)間點(diǎn)信息，同樣可以得到語音對應(yīng)的節(jié)奏。
如下圖所示， 每個(gè)語音片段的節(jié)奏可以表示為長度為32位的0-1向量，1表示單詞出現(xiàn)的時(shí)間點(diǎn)。
最后，在對每個(gè)動作片段建立動作節(jié)奏后， 還需要建立動作圖。
動作圖是一個(gè)有向圖，圖中的每個(gè)節(jié)點(diǎn)表示一個(gè)動作片段，兩個(gè)節(jié)點(diǎn)之間的連邊則表示這兩個(gè)動作之間過渡的代價(jià)。
過渡代價(jià)越小，也就意味著兩個(gè)動作之間的過渡越自然，這一步可以幫助將離散的動作片段合并為長的平滑過渡的全身動作序列。
語音驅(qū)動動作合成
在離線建立動作庫之后， 就可以輸入任意一段語音和對應(yīng)的文本進(jìn)行在線合成。
在對語音和文本進(jìn)行算法自動切分后，利用訓(xùn)練后的StyleGestures這一概率生成式的神經(jīng)網(wǎng)絡(luò)模型，生成期望的動作。
其中，上半身的動作最為重要，研究人員利用動態(tài)規(guī)劃算法，從構(gòu)建的動作圖中搜索動作節(jié)奏和動作風(fēng)格嵌入匹配誤差最小的動作序列，同時(shí)保證前后動作的過渡代價(jià)小、過渡自然，最后輸出一個(gè)節(jié)奏匹配的上半身動作序列。
下半身動作的合成則不用考慮節(jié)奏，只考慮下半身動作之間過渡的自然性即可，同樣經(jīng)過圖優(yōu)化得到一個(gè)下半身動作序列。
最后，采用混合的方式融合上下半身動作，就得到了和語音文本匹配的全身動作序列。
與其他參賽系統(tǒng)相比，網(wǎng)易的新方法在在人類相似性評估中取得了最高的中位數(shù)分?jǐn)?shù)，甚至超越了真實(shí)人類水平。
在適當(dāng)性評價(jià)中，該方法在上半身表現(xiàn)中排名第一，在全身表現(xiàn)中排名第二。
研究團(tuán)隊(duì)
研究團(tuán)隊(duì)來自網(wǎng)易互娛AI Lab，作者共三人。
研究人員指出，這項(xiàng)新技術(shù)不僅可用于游戲中，虛擬角色線上演講、數(shù)字人動作動畫合成、元宇宙形象等等場景也都能使用。
論文鏈接附在文末，感興趣的小伙伴可以自取～
論文鏈接：
https://dl.acm.org/doi/pdf/10.1145/3536221.3558063
相關(guān)閱讀
網(wǎng)易云游戲來了：手機(jī)電腦電視隨時(shí)接入可玩，高流暢度低延遲，還能跨終端無縫切換
【網(wǎng)易云游戲來了】網(wǎng)易云游戲?qū)崿F(xiàn)了網(wǎng)頁、安卓、iPhone、Win PC、Mac和TV多個(gè)終端的覆蓋，也就是說，只要有網(wǎng)絡(luò)覆蓋，玩家在任何時(shí)間、任何地點(diǎn)，都可以用手邊的網(wǎng)絡(luò)終端體驗(yàn)手機(jī)游戲和電腦游戲。最高可至4K+60fps的游戲畫質(zhì)，不需要特別優(yōu)秀的網(wǎng)速，就能即時(shí)體驗(yàn)到最高質(zhì)量的游戲大作。
網(wǎng)易有道推出輕量級推理模型“子曰-o1”，更小規(guī)模實(shí)現(xiàn)更強(qiáng)推理效果
14B小參數(shù)復(fù)現(xiàn)OpenAI o1強(qiáng)推理效果，消費(fèi)級顯卡即可部署
易2-300x174.png)
網(wǎng)易AI孵化項(xiàng)目獲上億元首輪融資，主打AR+AI
本輪融資由元禾原點(diǎn)領(lǐng)投，新湖智腦、頭頭是道等跟投，網(wǎng)易為原始股東持股。
