虛幻5再次炸場(chǎng)！1部iPhone搞定3A大作級(jí)動(dòng)作捕捉，網(wǎng)友：游戲行業(yè)要變天

Pine 2023-03-26 12:43:38 來源：量子位

Pine 魚羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

什么樣的新技術(shù)，能在ChatGPT的包圍圈里脫穎而出火爆全場(chǎng)？

一部iPhone，兩分鐘，真人大變數(shù)字人！

還是表情動(dòng)態(tài)、眼神細(xì)節(jié)一比一還原的那種。

沒錯(cuò)，動(dòng)作捕捉視頻，發(fā)布會(huì)現(xiàn)場(chǎng)iPhone錄制，后期處理全過程也都當(dāng)場(chǎng)完成。

在此之前，這位《地獄之刃》女主演經(jīng)歷的動(dòng)捕都是醬嬸的：

復(fù)雜的設(shè)備必不可少，而且不僅要在臉上標(biāo)滿定位點(diǎn)，后期花費(fèi)的時(shí)間也還得長(zhǎng)達(dá)幾周甚至數(shù)月。

這不，Epic剛把虛幻引擎5這一新能力公布出來，網(wǎng)友們都炸了鍋了，相關(guān)視頻播放量迅速突破百萬。

“現(xiàn)場(chǎng)”氛圍嘛，總結(jié)起來就是一通操作猛如虎，網(wǎng)友直呼太瘋狂：

（實(shí)現(xiàn)面部建模）從幾個(gè)月到幾分鐘，未來幾年游戲的發(fā)展必定是瘋狂的。

還有網(wǎng)友表示，以后再也不能說什么眼見為真了。

三幀視頻就能生成3D模型

具體來看看，這一名為“MetaHuman Animator”的騷操作，究竟是如何做到兩分鐘搞定面部動(dòng)捕的。

以現(xiàn)場(chǎng)演示為例。首先，演員要錄制一段視頻，期間可以做出任何表情?？梢允强鋸埖膽嵟?/p>

也可以是細(xì)小的眼神變化：

并且錄制全程只需一部iPhone。

接下來，技術(shù)人員將錄制好的視頻上傳到軟件，整個(gè)處理過程都是在本地進(jìn)行。

總結(jié)下來，處理過程分為兩步：

1、最新版本的Live Link Face應(yīng)用程序會(huì)盡可能用最佳的分辨率捕獲所有面部動(dòng)態(tài)；

2、MetaHuman Animator使用視頻和Dev數(shù)據(jù)將其轉(zhuǎn)換成高保真的動(dòng)畫。

在這個(gè)過程中，先是用Live Link Face對(duì)演員的視頻進(jìn)行面部動(dòng)作捕捉。

完成面捕之后，只需要三幀視頻?（正面、左側(cè)面、右側(cè)面）就能生成演員的“元人類DNA”。

其中用到的算法是定制版面部特征算法，生成的過程只要幾秒鐘。

這樣一來，所有的面部數(shù)據(jù)都會(huì)被標(biāo)定，還原出剛剛視頻錄制中的面部表情也就更加容易了。

更重要的是，在這個(gè)過程中，可以將真人視頻與生成的建模視頻進(jìn)行逐幀比較。

然后等幾分鐘不到，完整的動(dòng)畫視頻就成功生成了，最終工作人員要做的就只有微調(diào)和導(dǎo)入音頻。

在新應(yīng)用的加持下，做到下圖這樣的效果，對(duì)于工作人員來說也是信手拈來。

算法細(xì)節(jié)上，Epic是采用自家“面部求解器”和“標(biāo)志檢測(cè)器”來確定視頻中人物面部的關(guān)鍵操作點(diǎn)。

利用這些關(guān)鍵點(diǎn)，基于語義空間解決方案，AI會(huì)將每一幀視頻映射到“n維人類空間”數(shù)據(jù)庫中的最近鄰居上。

這個(gè)所謂“n維人類空間”，是Epic在多年來收集到的詳細(xì)面部捕捉數(shù)據(jù)的基礎(chǔ)上，挑選打磨過的龐大數(shù)據(jù)庫，包含頭部各個(gè)部位的各種運(yùn)動(dòng)姿態(tài)。

網(wǎng)友：3D動(dòng)畫和游戲都要變天了

Epic這波炸場(chǎng)，算是給最近被AI大浪沖擊得恍恍惚惚的人類，又添了一點(diǎn)刺激。

有metahuman領(lǐng)域的網(wǎng)友就說“3D動(dòng)畫和游戲都要變天了”：

幾個(gè)月前用iPhone還只能捕捉到大致的面部肌肉控制。

不過，相比于各種“失業(yè)”現(xiàn)場(chǎng)，對(duì)于這項(xiàng)技術(shù)，更多人樂見其成。

有網(wǎng)友表示，有了這項(xiàng)技術(shù)之后，開發(fā)人員直接效率翻倍，能夠節(jié)省太多時(shí)間，要做的就只有后期潤(rùn)色。

還有網(wǎng)友已經(jīng)在期待電影制作人使用這項(xiàng)技術(shù)了：

Epic自己則說，新的MetaHuman Animator有利于“復(fù)雜角色技術(shù)的民主化”。并表示這項(xiàng)新技術(shù)有望在今年夏天更廣泛地推出。

那么，你期待嗎？

參考鏈接：
[1] https://www.unrealengine.com/en-US/blog/new-metahuman-animator-feature-set-to-bring-easy-high-fidelity-performance-capture-to-metahumans
[2] https://www.youtube.com/watch?v=pnaKyc3mQVk
[3]https://arstechnica.com/gaming/2023/03/epics-new-motion-capture-animation-tech-has-to-be-seen-to-be-believed/