AI斗圖神器：普通視頻秒變meme，手繪動(dòng)畫輕松融入，了解一下？

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

哎鴨，鴨鴨摔倒了！

鴨鴨是真的，摔跤是真的，但端的咖啡和端咖啡的手，是AI給p上去的。

△還好手里的咖啡只灑了億點(diǎn)點(diǎn)

來(lái)自一個(gè)開(kāi)源項(xiàng)目，VideoDoodles，這兩天在外網(wǎng)上的討論度直線上升。

這項(xiàng)目妙就妙在，能給視頻加上手繪風(fēng)格的涂鴉，可可愛(ài)愛(ài)的也行，奇奇怪怪的也行。

就跟人工一幀一幀畫上去的沒(méi)差。

這對(duì)目前市場(chǎng)上大多數(shù)的2D視頻編輯軟件來(lái)說(shuō)，還是比較難的。想要達(dá)成同等效果，一般還是得創(chuàng)作者真·一幀一幀畫上去。

怪費(fèi)力氣的。

但VideoDoodles能靠在視頻中重建3D場(chǎng)景，然后在其中放置平面畫布，來(lái)生成這種效果。

不少人表示，可以用它來(lái)裝飾視頻，加加卡通效果or花字，然后進(jìn)一步加工成meme/表情包。

搞笑視頻也安排，在路上了！

想加什么手繪效果就加什么

VideoDoodles是醬嬸宣稱自己的效果的：

在視頻中輕松、任意地插入手繪動(dòng)畫，還是和視頻內(nèi)容無(wú)縫融合的那種。

真的嗎？一起來(lái)看看。

和給鴨鴨加胳膊加手一樣，VideoDoodles可以給任意物種加上四肢。

火烈鳥(niǎo)可以端著自己搖晃的紅酒杯，悠閑地在水里泡jio。

小火車從遠(yuǎn)處駛來(lái)，揮舞著雙手，xiu的從鏡頭里開(kāi)過(guò)去了。

當(dāng)然，想要加一個(gè)四肢健全的動(dòng)物在視頻片段里，也是沒(méi)問(wèn)題的。

Be like這個(gè)肩膀上的小松鼠：

可以看到，不管這位女士怎么步行前進(jìn)，小松鼠都老老實(shí)實(shí)呆在她肩膀上。

除了肢體動(dòng)作，也可以用VideoDoodles來(lái)給視頻片段加綜藝后期的花字。

靜態(tài)文字：

動(dòng)來(lái)動(dòng)去的文字：

都有不錯(cuò)的生成效果。

以及，蹭一個(gè)剛結(jié)束的奧運(yùn)會(huì)的余熱，VideoDoodles可以給各種各樣的大幅度運(yùn)動(dòng)加手繪。

或是箭頭指向：

或是超人卡通特效：

咋實(shí)現(xiàn)的？

給視頻內(nèi)容加上手繪動(dòng)畫，現(xiàn)在的慣常做法，是把視頻本身作為底層，然后利用人工逐幀繪制2D動(dòng)畫效果。

這樣做效率相對(duì)較低，而且需要保證手繪動(dòng)畫效果要跟蹤動(dòng)態(tài)、解決透視變形和適配遮擋物。

能搞定，但費(fèi)人費(fèi)時(shí)間。

那么，VideoDoodles是如何處理動(dòng)態(tài)物體的跟蹤，還有動(dòng)畫同步的呢?

它提供了一簡(jiǎn)單的界面來(lái)幫助大家完成視頻涂鴉——“簡(jiǎn)單”，意味著老手和小白都能輕松畫起來(lái)。

而項(xiàng)目背后，是利用3D場(chǎng)景重建技術(shù)，實(shí)現(xiàn)涂鴉自然融入視頻場(chǎng)景，包括追蹤、透視變形和遮擋等復(fù)雜視覺(jué)效果。

具體而言，VideoDoodles先把視頻內(nèi)容進(jìn)行3D重建，而后在視頻中放置平面畫布，這些畫布在3D場(chǎng)景中被跟蹤，然后逐幀添加手繪動(dòng)畫。

通過(guò)自定義算追蹤算法，VideoDoodles鎖定畫布對(duì)應(yīng)的視頻場(chǎng)景中的物體，完成畫布跟隨物體運(yùn)動(dòng)進(jìn)行移動(dòng)和旋轉(zhuǎn)。

在VideoDoodles的用戶交互界面中，用戶可以通過(guò)關(guān)鍵幀位置和方向，在2D圖像空間的UI中精細(xì)控制畫布。

而系統(tǒng)則是通過(guò)跟蹤視頻中，移動(dòng)對(duì)象的運(yùn)動(dòng)來(lái)精心插入關(guān)鍵幀。

簡(jiǎn)而言之，VideoDoodles是根據(jù)關(guān)鍵幀表達(dá)的用戶意圖，利用自有算法解決被遮擋、透視變換，在視頻的任意幀渲染場(chǎng)景感知畫布，并使畫布緊緊跟隨移動(dòng)的物體。

而且關(guān)鍵幀可以有任意數(shù)量的位置、方向。

如下面這張圖，VideoDoodles就是通過(guò)第一幀涂紅部分處的方向&位置，和最后一幀涂綠的位置，從而在整個(gè)視頻中連貫地渲染相應(yīng)的畫布。

具體操作中，流程大致是這樣的：

最后介紹一下：

VideoDoodles這項(xiàng)研究，由Adobe研究院，蔚藍(lán)海岸大學(xué)，以及代爾夫特理工大學(xué)的研究人員共同完成。

研發(fā)團(tuán)隊(duì)負(fù)責(zé)人表示：

我們的目標(biāo)是簡(jiǎn)化“視頻涂鴉”的創(chuàng)作過(guò)程。
這種新興的混合媒介藝術(shù)形式結(jié)合了視頻內(nèi)容和手繪動(dòng)畫，可以用于娛樂(lè)或教育目的。
有了VideoDoodles，希望更多人能夠輕松實(shí)現(xiàn)「將想象力注入現(xiàn)實(shí)世界」。

參考鏈接：
[1]https://em-yu.github.io/research/videodoodles/
[2]https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf