你在網(wǎng)上看到的0失誤游戲視頻，可以是用AI生成的丨Demo在線可玩
視頻剪輯的福音
蕭簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
如今，能像打游戲一樣，控制真人網(wǎng)球運(yùn)動(dòng)員的每一個(gè)動(dòng)作，“贏得”比賽：
甚至能一幀幀控制，制作一個(gè)0失誤的彈球游戲視頻：
還可以像夾娃娃機(jī)一樣，想讓視頻中的機(jī)器人夾爪往哪動(dòng)，它就往哪動(dòng)：
制作各種視頻，現(xiàn)在就像是打游戲一樣簡(jiǎn)單，效果還非常逼真。
果然，這又是AI的“功勞”。
“可玩”視頻生成器
只需要敲幾下鍵盤，就能控制視頻中某個(gè)目標(biāo)的方法，叫做“可玩視頻生成器”?（playable video generation）。
也就是說，不需要視頻剪輯技巧，只需要用幾個(gè)鍵來指示動(dòng)作標(biāo)簽，用戶就能像“打游戲”一樣，控制目標(biāo)的每一幀動(dòng)作，制作出視頻來，效果絲滑流暢。
不過，與游戲不同的是，這種方法甚至可以通過AI預(yù)測(cè)動(dòng)作，來控制真實(shí)視頻中的目標(biāo)。
這是怎么做到的？
作者們利用自監(jiān)督的方法，讓模型學(xué)習(xí)了大量無標(biāo)簽視頻。
也就是說，給出一組無標(biāo)簽視頻，讓模型學(xué)習(xí)出一組離散的動(dòng)作，和一個(gè)能通過這些動(dòng)作、生成視頻的模型。
為此，作者設(shè)計(jì)了一種encoder-decoder結(jié)構(gòu)CADDY，其中預(yù)測(cè)的動(dòng)作標(biāo)簽則起到瓶頸層（bottleneck）的作用。
這些可播放視頻生成結(jié)構(gòu)，由若干組件組成，其中編碼器E，從輸入視頻序列中，提取幀特征。
而時(shí)序模型，則采用遞歸神經(jīng)網(wǎng)絡(luò)R、和用來預(yù)測(cè)輸入動(dòng)作標(biāo)簽的網(wǎng)絡(luò)A，用于估計(jì)目標(biāo)連續(xù)的動(dòng)作狀態(tài)。
最后，用解碼器D，來重構(gòu)輸入幀，就能生成可控制的視頻模型了。
訓(xùn)練數(shù)據(jù)集&操作方法
當(dāng)然，想要讓模型達(dá)到開頭那樣的效果，還需要對(duì)應(yīng)的視頻數(shù)據(jù)集。
作者們用了3個(gè)數(shù)據(jù)集來訓(xùn)練，分別是RoboNet、Atari Breakout和Tennis。
RoboNet數(shù)據(jù)集，是伯克利人工智能研究所（BAIR）做的一個(gè)機(jī)械臂數(shù)據(jù)集，共有1500萬個(gè)視頻幀。
這個(gè)數(shù)據(jù)集，包含各種機(jī)器人的攝像記錄、機(jī)械臂姿勢(shì)、力傳感器讀數(shù)和夾爪狀態(tài)。
而Atari Breakout，則是一個(gè)彈球游戲，這是一個(gè)非常簡(jiǎn)單的2D像素游戲，玩家通過控制平板左右移動(dòng)，讓彈球準(zhǔn)確地彈掉天花板上的磚塊，以此得分。
這一游戲，已經(jīng)專門為AI設(shè)立了一個(gè)排行榜，目前得分最高的仍然是谷歌DeepMind的MuZero。
而能控制模型一幀幀生成游戲視頻的CADDY模型，也是通過這個(gè)游戲訓(xùn)練出來的。
也就是說，只要玩得夠慢，絕對(duì)能“0失誤”做出“完美彈球游戲視頻”來。（細(xì)思極恐）
△假裝是自己玩的
至于網(wǎng)球數(shù)據(jù)集，作者們是在油管下載的（還需要安裝youtube-dl），通過油管上的網(wǎng)球視頻，做出真人可控的錄像來。
說不定，將來還能操作自己喜歡的網(wǎng)球巨星，來與好友進(jìn)行一場(chǎng)世界級(jí)的“實(shí)戰(zhàn)”博弈。
此外，既可以通過項(xiàng)目地址來下載上述的三個(gè)模型，也可以自己準(zhǔn)備想用的視頻數(shù)據(jù)集（要求MP4格式），來訓(xùn)練出目標(biāo)可控的視頻。
具體到模型運(yùn)行上，作者們推薦用Linux系統(tǒng)來運(yùn)行模型，訓(xùn)練的話，最好自帶1個(gè)或以上兼容CUDA的GPU。
此外，模型提供Conda環(huán)境和Dockerfile，用于配置所需要的庫。
準(zhǔn)備好后，就能進(jìn)行模型訓(xùn)練和評(píng)估了。
在線Demo可玩
目前，這一模型的“彈球游戲”版在線Demo已出，玩家可以通過控制左、右、或保持，這三種動(dòng)作，來讓彈球準(zhǔn)確地?fù)舸虻狡桨迳稀?/p>
如果你是手殘黨，用這個(gè)demo制作出來的視頻，絕對(duì)能讓你體會(huì)到游戲0失誤的快樂。
文末附demo鏈接，趕緊上手試試吧~
作者介紹
這個(gè)“可玩視頻生成器”的一作Willi Menapace，是來自特倫托大學(xué)的博士生，主修深度學(xué)習(xí)和計(jì)算機(jī)視覺應(yīng)用，尤其對(duì)圖像和視頻生成方向的研究特別感興趣。
二作Stephane Lathuili′ere，是巴黎理工學(xué)院的助理教授，主要的研究方向是強(qiáng)化學(xué)習(xí)、和深度學(xué)習(xí)中的回歸問題，包括圖像和視頻生成。
共同二作Sergey Tulyakov，來自Snap的首席科學(xué)家，主要研究方向包括機(jī)器學(xué)習(xí)中的風(fēng)格轉(zhuǎn)換、逼真對(duì)象操作和動(dòng)畫、視頻合成、預(yù)測(cè)和重新定位等。
Aliaksandr Siarohin和Elisa Ricci，分別是來自特倫托大學(xué)的博士生和助理教授，主要研究方向包括計(jì)算機(jī)視覺、機(jī)器人和機(jī)器學(xué)習(xí)等。
項(xiàng)目地址：
https://willi-menapace.github.io/playable-video-generation-website/
在線demo：
https://willi-menapace.github.io/playable-video-generation-website/play.html
相關(guān)閱讀
