AI終于能生成流暢3D動作片了，不同動作過渡銜接不出bug，準(zhǔn)確識別文本指令丨開源

蕭簫 2022-10-06 14:31:28 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

讓3D動畫小人做一套絲滑的動作，需要手動渲染多久？

現(xiàn)在交給AI，輸入幾句話就能搞定（不同顏色代表不同動作）：

看向地面并抓住高爾夫球桿，揮動球桿，小跑一段，蹲下。

此前，AI控制的3D人體模型基本只能“每次做一個動作”或“每次完成一條指令”，難以連續(xù)完成指令。

現(xiàn)在，無需剪輯或編輯，只需按順序輸入幾條命令，3D人物就能自動完成每一套動作，全程絲滑無bug。

這只新AI的名字叫TEACH，來自馬普所和古斯塔夫·艾菲爾大學(xué)。

網(wǎng)友們腦洞大開：

這樣以后拍3D動畫電影，是不是只用劇本就能搞定了？

顯然，游戲和仿真行業(yè)可以考慮一下了。

那么，這樣的3D人物動作神器是怎么來的呢？

用編碼器“記住”前一個動作

TEACH的架構(gòu)，基于團(tuán)隊不久前提出的另一個3D人體運動生成框架TEMOS。

TEMOS基于Transformer架構(gòu)設(shè)計，利用人體真實運動數(shù)據(jù)進(jìn)行訓(xùn)練。

它在訓(xùn)練時會采用兩個編碼器，分別是動作編碼器（Motion Encoder）和文本編碼器（Text Encoder），同時通過動作解碼器（Motion Decoder）輸出。

但在使用時，原本的動作編碼器就會被“扔掉”、只保留文本編碼器，這樣模型直接輸入文本后，就能輸出對應(yīng)的動作。

與其他輸入單一文本、輸出確定性動作的AI不同，TEMOS能通過單一文本，生成多種不同的人體運動。

例如“人繞圈”和“站著走幾步路停下來”這種單一指令，就能生成好幾種不同的運動方式：

△轉(zhuǎn)圈方式、走路步幅都不一樣

TEACH的架構(gòu)正是基于TEMOS設(shè)計，動作編碼器直接就從TEMOS那兒搬了過來。

但TEACH重新設(shè)計了文本編碼器，其中包括一個名叫Past Encoder的編碼器，它會在生成每一個動作時，提供前一個動作的上下文，以增加動作與動作之間的連貫性。

如果是一系列指令中的第一個動作，就禁用Past Encoder，畢竟沒有前一個動作可以學(xué)了。

TEACH在BABEL數(shù)據(jù)集上進(jìn)行訓(xùn)練，這是一個時長43小時的動捕數(shù)據(jù)集，包含過渡動作、整體抽象動作、以及每一幀的具體動作。

在訓(xùn)練時，BABEL的這一系列動捕數(shù)據(jù)會被切分成很多個子集，每個子集中包含一些過渡動作，讓TEACH能學(xué)會過渡并輸出。

至于為什么不用另一個數(shù)據(jù)集KIT進(jìn)行訓(xùn)練，作者們也給出了自己的看法。

例如在動詞類型上，BABEL出現(xiàn)要比KIT更具體，相比之下KIT更喜歡用do/perform這種“模糊的”詞匯。

研究人員將TEACH與TEMOS就連續(xù)動作生成效果進(jìn)行了對比。

比TEMOS效果更好

先來看看TEACH生成一系列動作的效果，連續(xù)不重樣：

隨后，研究人員將TEMOS與TEACH進(jìn)行了對比。

他們使用兩種方法對TEMOS模型進(jìn)行了訓(xùn)練，并分別將它們稱之為Independent和Joint，區(qū)別在于訓(xùn)練用的數(shù)據(jù)上。

其中，Independent直接用單個動作訓(xùn)練，在生成時將前后兩個動作用對齊、球面線性插值等方式融合在一起；Joint直接用動作對和分隔開的語言標(biāo)簽作為輸入。

Slerp是一種線性插值運算，主要用于在兩個表示旋轉(zhuǎn)的四元數(shù)之間平滑插值，讓變換過程看起來更流暢。

以生成“揮揮右手，舉起左手”連續(xù)兩個動作為例。

Independent的表現(xiàn)效果最差，人物當(dāng)場坐下了；Joint效果好一點，但人物并沒有舉起左手；效果最好的是TEACH，在揮動右手后又舉起了左手，最后才放下。

在BABEL數(shù)據(jù)集上測試表明，TEACH的生成誤差是最低的，除此之外Independent和Joint的表現(xiàn)都不太好。

研究人員還測了測使用上一個動作的最佳幀數(shù)，發(fā)現(xiàn)當(dāng)使用前一個動作的5幀時，生成的過渡動作效果最好。

作者介紹

Nikos Athanasiou，馬普所在讀研究生，研究方向是多模態(tài)AI，喜歡探索人類行動和語言背后的關(guān)系。

Mathis Petrovich，在古斯塔夫·艾菲爾大學(xué)（Université Gustave Eiffel）讀博，同時也在馬普所工作，研究方向是基于標(biāo)簽或文字說明產(chǎn)生真實的、多樣化人體運動。

Michael J. Black，馬克思·普朗克智能系統(tǒng)研究所主任，如今谷歌學(xué)術(shù)上論文引用次數(shù)達(dá)到62000+次。

Gul Varol，古斯塔夫·艾菲爾大學(xué)助理教授，研究方向是計算機(jī)視覺、視頻特征學(xué)習(xí)、人體運動分析等。

目前TEACH已經(jīng)開源，感興趣的小伙伴們可以戳下方地址體驗了~

GitHub地址：
https://github.com/athn-nik/teach

論文地址：
https://arxiv.org/abs/2209.04066