2D動(dòng)畫唇動(dòng)合成，根據(jù)語音自動(dòng)生成動(dòng)畫人物口型
只需要輸入一段語音，代碼會(huì)自動(dòng)生成與之相對(duì)的動(dòng)畫唇形，還是毫無違和感的那種，這是一個(gè)在GitHub上擁有501星的開源項(xiàng)目，叫做Rhubarb Lip Sync。
蕾師師 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
只需要輸入一段語音，代碼會(huì)自動(dòng)生成與之相對(duì)的動(dòng)畫唇形。
還是毫無違和感的那種。
這是一個(gè)在GitHub上擁有501星的開源項(xiàng)目，叫做Rhubarb Lip Sync。
它既可以是Windows和OS X命令行工具，也可以作為軟件的插件使用，能夠根據(jù)語音記錄自動(dòng)創(chuàng)建2D嘴型動(dòng)畫。
它可以用于計(jì)算機(jī)游戲、動(dòng)畫卡通中的角色，或者用于其他需要基于現(xiàn)有錄音、對(duì)嘴部進(jìn)行動(dòng)畫處理的的影視項(xiàng)目。
那么，它是怎么實(shí)現(xiàn)如此效果的呢？
運(yùn)作原理
首先，了解一下動(dòng)畫人物說話的六種嘴型。
上述六種嘴型是由漢娜·巴貝拉（Hanna-Barbera）發(fā)明，已經(jīng)成為2D動(dòng)畫嘴型的制作標(biāo)準(zhǔn)，被迪士尼和華納兄弟等影視公司在多部影視作品采用。
大多數(shù)的發(fā)音，都可以用這六種嘴型表示出來。
因此，Rhubarb Lip Sync工作的步驟如下：
- 輸入一段語音
- Lip Sync識(shí)別這段語音
- 使用六個(gè)基本嘴形和最多三個(gè)擴(kuò)展嘴形與語音匹配
- 輸出一個(gè)固定格式的文件
假如我說個(gè)奇怪的方言，它也能輸出相應(yīng)的嘴型動(dòng)畫嗎？
當(dāng)然不是。
目前，Rhubarb Lip Sync只提供了兩個(gè)語音識(shí)別系統(tǒng)：
- PocketSphinx：只能識(shí)別英語，準(zhǔn)確率更高。
- Phonetic ：能識(shí)別所有語言，因?yàn)樗且罁?jù)個(gè)人的聲音和音節(jié)判別的，但準(zhǔn)確率不如前者。
那么，這個(gè)小工具可以跟哪些視頻軟件融合使用呢？
可適用于多款軟件
Adobe After Effects
可以在下載Rhubarb Lip Sync，并且安裝到AE上，可以直接在AE上運(yùn)行這個(gè)軟件。
Moho and OpenToonz
Rhubarb Lip Sync能夠生成.dat文件，這種文件可以被Moho and OpenToonz識(shí)別，并導(dǎo)入使用。
Spine by Esoteric Software
Rhubarb Lip Syn for Spine是一個(gè)圖形工具，可讓導(dǎo)入Spine項(xiàng)目，執(zhí)行自動(dòng)唇形同步，然后將結(jié)果重新導(dǎo)入Spine。
Vegas Pro by Magix
Rhubarb Lip Syn 還附帶了兩個(gè)用于Vegas Pro（以前稱為Sony Vegas）的插件腳本，可直接在Vegas中使用。
趕快把這個(gè)小工具推薦給你喜歡做視頻的朋友吧~
源代碼地址：
https://github.com/DanielSWolf/rhubarb-lip-sync
最新版本的下載地址：
https://github.com/DanielSWolf/rhubarb-lip-sync/releases
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
— 完 —
相關(guān)閱讀
日本：敞開訓(xùn)練AI不用管版權(quán)，LeCun：機(jī)器學(xué)習(xí)天堂
對(duì)AI訓(xùn)練數(shù)據(jù)無版權(quán)限制
聯(lián)想劉軍：全棧智能為中國AI生態(tài)匯聚合力，全面驅(qū)動(dòng)AI普惠
首次深度解讀全棧智能戰(zhàn)略
