連肌肉顫動(dòng)都清晰可見！3D人體模型自動(dòng)生成算法，一作來自北大圖靈班 | SIGGRAPH

十三 2021-05-15 12:34:30 來源：量子位

子豪 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI

我們在打游戲、看動(dòng)漫的時(shí)候，遇到過不少這樣的情況：

感覺哪里不太對……

現(xiàn)在，這些3D人體模型可以得到改進(jìn)了~體態(tài)更逼真、褶皺更自然、肌肉更飽滿：

連情緒都顯得更投入了……

甚至肌肉顫動(dòng)也清晰可見：

這么一對比，差距很明顯了~

不僅動(dòng)畫質(zhì)量更高，這種新方法還大量減少了人工參與，制作速度更快了。

要知道，以前的動(dòng)畫需要繁瑣的步驟，比如：搭建骨骼、蒙皮、刷權(quán)重等等……動(dòng)畫師往往要為此修煉數(shù)年，效果還常常不盡人意。

現(xiàn)在，只需一個(gè)神經(jīng)網(wǎng)絡(luò)就能搞定。

不僅如此，它還可以從形象中預(yù)測骨骼，并綁定權(quán)重，更容易地用運(yùn)動(dòng)捕捉來制作動(dòng)畫。

這一研究成果，由北京大學(xué)、北京電影學(xué)院等高校和機(jī)構(gòu)合作完成。

相關(guān)論文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上發(fā)表，代碼現(xiàn)已開源。

提出神經(jīng)融合形狀技術(shù)

團(tuán)隊(duì)開發(fā)了一套神經(jīng)網(wǎng)絡(luò)，用來生成具有指定結(jié)構(gòu)的骨骼，并且精準(zhǔn)綁定骨骼的蒙皮權(quán)重。

它由兩個(gè)部分組成：包裹變形分支（envelope deformation branch）和補(bǔ)償變形分支（residual deformation branch）。

其中，包裹變形分支通過間接監(jiān)督，學(xué)習(xí)由偏移量組成的特定骨架層次的裝配參數(shù)，最后從輸入角色中預(yù)測出骨架、蒙皮和權(quán)重綁定。

你可能會(huì)說，常用的動(dòng)畫制作工具M(jìn)ixamo中，也有綁定和蒙皮。

但是新方法能做的不只這些，它還可以準(zhǔn)確預(yù)測與模型高度匹配的骨骼，并綁定權(quán)重。

從而更容易進(jìn)行動(dòng)作捕捉，制作動(dòng)畫：

并且，利用一種神經(jīng)融合形狀（neural blend shapes）技術(shù)，補(bǔ)償變形分支可以根據(jù)輸入的網(wǎng)格連接，來預(yù)測對應(yīng)的融合形狀（blend shapes）。

與此同時(shí)，根據(jù)關(guān)節(jié)旋轉(zhuǎn)預(yù)測融合系數(shù)，然后基于此插值得到補(bǔ)償變形。

比如，神經(jīng)混合形狀會(huì)糾正肌肉的形狀，準(zhǔn)確保留鼓起的肌肉：

與LBS（線性混合蒙皮）算法的效果相比，細(xì)節(jié)處理得更好：

與三維動(dòng)畫制作軟件Blender的效果對比：（小肚腩被完美保留了）

除此之外，研究團(tuán)隊(duì)還對神經(jīng)混合形狀系數(shù)進(jìn)行了可視化，可以看到左側(cè)輸出的形象，與右側(cè)相應(yīng)的姿勢綁定。

并且，通過顏色變化，表現(xiàn)各關(guān)節(jié)的混合形狀系數(shù)激活程度。

利用這一方法，神經(jīng)網(wǎng)絡(luò)只需觀察變形后的人物模型進(jìn)行間接學(xué)習(xí)，而不需要對訓(xùn)練數(shù)據(jù)集的變形方法有任何限制，極大擴(kuò)大了適用范圍。

最終實(shí)現(xiàn)了，實(shí)時(shí)、高質(zhì)量的三維人物模型動(dòng)畫端到端自動(dòng)生成。

一作來自北大圖靈班

團(tuán)隊(duì)由來自北京大學(xué)陳寶權(quán)教授研究團(tuán)隊(duì)、北京電影學(xué)院未來影像高精尖創(chuàng)新中心、Google Research、特拉維夫大學(xué)，以及蘇黎世聯(lián)邦理工學(xué)院的研究人員組成。

論文一作，是來自北大圖靈班的一名本科生——李沛卓。

他畢業(yè)于重慶一中，曾入選信息學(xué)競賽省隊(duì)，2017年高考以687分考入北大。

目前，李沛卓師從陳寶權(quán)教授，研究方向是深度學(xué)習(xí)和計(jì)算機(jī)圖形學(xué)，正在北京大學(xué)視覺計(jì)算與學(xué)習(xí)實(shí)驗(yàn)室和北京電影學(xué)院未來影像高精尖創(chuàng)新中心（AICFVE）實(shí)習(xí)。

此前，他已有論文登上SIGGRAPH。在與量子位交流時(shí)，他曾表示對圖形學(xué)特別感興趣。

論文的更多細(xì)節(jié)，感興趣的小伙伴，可以戳鏈接了解詳情。

項(xiàng)目主頁：
https://peizhuoli.github.io/neural-blend-shapes/
論文地址：
https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf

參考鏈接：
[1]https://peizhuoli.github.io/
[2]https://twitter.com/RanaHanocka/status/1391867020732424197?s=05
[3]https://mp.weixin.qq.com/s/IuvyNRJ6amJn5ya7fr8L6A
[4]https://mp.weixin.qq.com/s/uU1-DwHnU4pPMLtQZNQyVQ
[5]https://www.youtube.com/watch?v=antc20EFh6k