神“腦補(bǔ)”！只要一段話(huà)，就知道你的說(shuō)話(huà)手勢(shì) | UC伯克利

乾明 2019-06-25 08:43:26 來(lái)源：量子位

乾明 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

防不勝防！現(xiàn)在， AI只需要聽(tīng)你的聲音，就能知道你說(shuō)話(huà)手勢(shì)了。

這項(xiàng)“腦補(bǔ)力”Max的新研究，來(lái)自UC伯克利大學(xué)等機(jī)構(gòu)，被今年的學(xué)術(shù)頂級(jí)會(huì)議CVPR 2019收錄。

在他們的研究中，只需要輸入一段語(yǔ)音，就預(yù)測(cè)出了說(shuō)話(huà)人的手勢(shì)，基本沒(méi)有什么違和感。

不信？看看美國(guó)知名脫口秀Last Week Night主持人Oliver就知道了，他的手勢(shì)已經(jīng)被AI研究透了。說(shuō)話(huà)的時(shí)候，肩膀什么角度，手指如何揮動(dòng)，預(yù)測(cè)得一清二楚。

而且，不僅僅是坐著的脫口秀主持人，他們的研究也覆蓋了其他各種場(chǎng)景：

站著的脫口秀主持人，說(shuō)話(huà)的手勢(shì)比較豪放：

比如老師上課時(shí)，使用這樣的手勢(shì)：

看到這項(xiàng)研究之后，就有網(wǎng)友評(píng)論稱(chēng)，不知道它能不能預(yù)測(cè)川普的魔性手勢(shì)？

也有人表示，還好這只是項(xiàng)研究，如果能夠應(yīng)用到現(xiàn)實(shí)中，那還了得？

以后打電話(huà)，一邊在電話(huà)里說(shuō)著愛(ài)對(duì)方，一邊卻搞著小動(dòng)作，會(huì)暴露的。

怎么實(shí)現(xiàn)的？

手勢(shì)，是人們?cè)谡f(shuō)話(huà)過(guò)程中自發(fā)發(fā)出的行為，用于補(bǔ)充語(yǔ)音信息，來(lái)幫助更好地傳遞說(shuō)話(huà)人的想法。

通常情況下， 說(shuō)話(huà)的時(shí)候，手勢(shì)與話(huà)語(yǔ)都是有關(guān)聯(lián)的。但想要從話(huà)語(yǔ)中獲取手勢(shì)信息，還需要學(xué)習(xí)音頻和手勢(shì)之間的映射關(guān)系。在實(shí)踐中，還有不少麻煩：

• 首先，手勢(shì)和話(huà)語(yǔ)是異步的，手勢(shì)可以出現(xiàn)在相應(yīng)話(huà)語(yǔ)前、后或者期間。
• 其次，這是一項(xiàng)多模態(tài)的任務(wù)，說(shuō)話(huà)人在不同的場(chǎng)合，說(shuō)同樣的話(huà)，手勢(shì)可能不一致。
• 而且，每個(gè)人說(shuō)話(huà)時(shí)的手勢(shì)也是非常特別的，不同的說(shuō)話(huà)者傾向于采用不同的說(shuō)話(huà)手勢(shì)。

為了解決這些問(wèn)題，研究人員提出了一種時(shí)間跨模態(tài)翻譯的方法，采用端到端的方式將語(yǔ)音轉(zhuǎn)換成手勢(shì)，并使用了范圍非常大的時(shí)間背景來(lái)進(jìn)行預(yù)測(cè)，以此克服異步性問(wèn)題。

他們建立了一個(gè)由10名說(shuō)話(huà)人組成的144個(gè)小時(shí)的大型個(gè)人視頻數(shù)據(jù)集。為了體現(xiàn)出模型的適用范圍，說(shuō)話(huà)人的背景不盡相同：有電視節(jié)目主持人、大學(xué)教師和電視上的福音傳道者。

他們討論的話(huà)題也跨越了很多話(huà)題，從死亡哲學(xué)、化學(xué)到搖滾音樂(lè)歷史、時(shí)事評(píng)論以及閱讀圣經(jīng)、古蘭經(jīng)等等。

現(xiàn)在，這一數(shù)據(jù)集已經(jīng)對(duì)外開(kāi)放。

具體是如何從話(huà)語(yǔ)中預(yù)測(cè)出手勢(shì)的呢？請(qǐng)看下圖：

給定一段語(yǔ)音，通過(guò)翻譯模型（G）預(yù)測(cè)說(shuō)話(huà)人與話(huà)語(yǔ)匹配的手勢(shì)動(dòng)作（手和胳膊的運(yùn)動(dòng)）。

然后采用回歸函數(shù)（L1）從數(shù)據(jù)中提出訓(xùn)練信號(hào)，并通過(guò)度抗性鑒別器來(lái)確保預(yù)測(cè)的只是在時(shí)間上與話(huà)語(yǔ)是一致的，并符合說(shuō)話(huà)人的風(fēng)格。

然后用一種現(xiàn)有的視頻合成方法來(lái)生成說(shuō)話(huà)人說(shuō)出這些話(huà)時(shí)的樣子。

整個(gè)卷積網(wǎng)絡(luò)，由一個(gè)音頻編碼器和一個(gè)1D UNet翻譯架構(gòu)組成。音頻編碼器采用2D對(duì)數(shù)-梅爾頻譜圖作為輸入，并通過(guò)一系列卷積對(duì)其進(jìn)行下采樣，從而產(chǎn)生與視頻采樣率相同的1D信號(hào)(15 Hz)。

UNet翻譯架構(gòu)隨后通過(guò)L1回歸損失學(xué)會(huì)將該信號(hào)映射到手勢(shì)向量的時(shí)間堆棧。

之所以使用UNet架構(gòu)進(jìn)行翻譯，是因?yàn)樗钠款i為網(wǎng)絡(luò)提供了過(guò)去和未來(lái)的時(shí)間上下文，允許高頻時(shí)間信息流過(guò)，從而能夠預(yù)測(cè)快速的手勢(shì)運(yùn)動(dòng)。

雖然L1回歸是從數(shù)據(jù)中提取訓(xùn)練信號(hào)的唯一方法，但它存在回歸均值的已知問(wèn)題，這種回歸均值會(huì)產(chǎn)生過(guò)度平滑的運(yùn)動(dòng)。為了解決這個(gè)問(wèn)題，添加了一個(gè)以預(yù)測(cè)的姿態(tài)序列的差異為條件對(duì)抗性鑒別器。

研究團(tuán)隊(duì)

這一研究的作者，大部分來(lái)自UC伯克利。

一作為Shiry Ginosar，UC伯克利計(jì)算機(jī)系的博士生。之前是人機(jī)交互領(lǐng)域的研究員，曾經(jīng)在CMU計(jì)算機(jī)系做訪(fǎng)問(wèn)學(xué)者。

共同一作為Amir Bar，是一名生活在伯克利的機(jī)器學(xué)習(xí)工程師。目前，在Zebra Medical Vision工作，致力于提高醫(yī)療保健領(lǐng)域的效率。

他們?cè)谡撐闹姓f(shuō)，這一研究是朝著對(duì)話(huà)手勢(shì)的計(jì)算分析邁出的一步，之后也可以用于驅(qū)動(dòng)虛擬任務(wù)的行為。

最后，送上傳送門(mén)：

論文地址：

http://people.eecs.berkeley.edu/~shiry/speech2gesture/

源代碼即將公開(kāi)：

https://github.com/amirbar/speech2gesture