AI視頻創(chuàng)作一條龍！達(dá)摩院尋光平臺(tái)炸場(chǎng)WAIC，突破可控編輯難題

魚羊 2024-07-05 16:41:47 來(lái)源：量子位

魚羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

AIGC時(shí)代，視頻創(chuàng)作這事兒真的不一樣了。

就像這樣，輕輕一圈，選定目標(biāo)立刻變身單獨(dú)圖層，再絲滑嵌入不同的背景視頻，場(chǎng)景變換so easy~

想要調(diào)整一下鏡頭角度，交給AI，同樣能一鍵完成：

還能一鍵消除、修改目標(biāo)：

后期再也不用加班加到手抽筋（doge）。

劃！重！點(diǎn)！這還不是實(shí)驗(yàn)室里的單一技術(shù)demo，而是馬上就要開放內(nèi)測(cè)，讓創(chuàng)作者們直接可以用起來(lái)的一站式AI視頻創(chuàng)作平臺(tái)——“尋光”。

就是說(shuō)，傳統(tǒng)上分散在不同制作流程中的劇本創(chuàng)作、分鏡圖設(shè)計(jì)、視頻素材編輯等步驟，現(xiàn)在都可以在AI加持下，在同一個(gè)平臺(tái)上流暢完成。

這就是阿里達(dá)摩院在上海世界人工智能大會(huì)上帶來(lái)的最新驚喜。

演示一出，現(xiàn)場(chǎng)的觀眾都坐不住了。

而達(dá)摩院官方，也透露出了AI視頻領(lǐng)域新成果背后更大的“野心”：

不對(duì)標(biāo)Sora，而是走自己的路，希望更快讓AI生產(chǎn)力匹配人類想象力。

“尋夢(mèng)光影間”

所謂尋光，意指“尋夢(mèng)光影間”：

即通過(guò)人工智能技術(shù)，提供全新的視頻創(chuàng)作模式。

與Sora等今年備受關(guān)注的AI視頻生成模型不同，尋光關(guān)注到的，是“Sora之后，視頻工作流的變革”。

達(dá)摩院認(rèn)為，Sora等AI視頻生成模型給足了人們對(duì)視頻生產(chǎn)方式徹底變革的想象力，但一方面，AI視頻內(nèi)容的可控編輯，包括對(duì)復(fù)雜劇情的理解、生成對(duì)象的一致性等，仍然是當(dāng)前算法所面臨的一大挑戰(zhàn)。

另一方面，業(yè)界尚沒有統(tǒng)一的AI視頻編輯平臺(tái)，能讓創(chuàng)作者們一站式體驗(yàn)到AI加持的視頻創(chuàng)作全流程。

舉個(gè)例子，OpenAI創(chuàng)始成員Andrej Karpathy最近也玩上了AI視頻，整出了個(gè)AI版《傲慢與偏見》。

在這個(gè)短片的制作過(guò)程中，他用到的工具包括Claude、Ideogram、Luma、ElevenLabs、VEED……而他本人也抱怨說(shuō)：

老實(shí)說(shuō)這個(gè)工作流非常混亂，工具與工具之間存在大量的復(fù)制粘貼，3個(gè)片段的簡(jiǎn)單小視頻就花了我大約1個(gè)小時(shí)的時(shí)間。
這里面存在一個(gè)巨大的機(jī)會(huì)。誰(shuí)正在打造100%的AI原生視頻制作平臺(tái)？

達(dá)摩院打造尋光，定位為PUGC一站式AI視頻創(chuàng)作平臺(tái)，目標(biāo)正是針對(duì)以上問(wèn)題，用AI能力重塑傳統(tǒng)視頻制作的全流程。

具體來(lái)說(shuō)，尋光可以輔助用戶創(chuàng)作劇本、分鏡圖等，支持對(duì)生成及上傳素材進(jìn)行豐富的AI編輯，包括人物控制、場(chǎng)景控制、運(yùn)鏡控制、目標(biāo)新增/消除/修改等10多種功能。

并且在交互方面，主打“讓視頻編輯像操作PPT一樣簡(jiǎn)單”。

以分鏡設(shè)計(jì)環(huán)節(jié)為例，上傳到尋光的原始視頻素材，會(huì)由算法切分成多個(gè)分鏡頭。

在創(chuàng)作空間里，用戶可以方便地查看到每一個(gè)分鏡頭，并用簡(jiǎn)單的拖拽操作對(duì)其進(jìn)行調(diào)整。

在新建的空白分鏡中，除了添加已有素材，尋光平臺(tái)還支持用戶調(diào)用多種多模態(tài)生成模型，生產(chǎn)新的內(nèi)容。

而在編輯功能方面，尋光強(qiáng)調(diào)的是精細(xì)化的編輯和控制：在AI加持下，依據(jù)用戶意圖，在語(yǔ)義層面而不是像素層面實(shí)現(xiàn)編輯；同時(shí)，視頻里的人體、人臉、前景、背景等任意局部目標(biāo)，都可以進(jìn)行精細(xì)化的編輯和修改。

在現(xiàn)場(chǎng)，達(dá)摩院視覺技術(shù)實(shí)驗(yàn)室高級(jí)算法專家陳威華著重提到了基于視頻圖層的編輯能力。

以前景圖層功能為例，用戶通過(guò)文本輸入，即可生成符合描述的、具有透明背景的視頻，并且一鍵就能將其融合到其他背景視頻當(dāng)中。

尋光也支持圖層拆解功能，用戶在視頻第一幀選擇想要提取的物體，算法就會(huì)自動(dòng)跟蹤，把整段視頻中對(duì)應(yīng)的目標(biāo)拆解出來(lái)，形成獨(dú)立的帶透明背景的視頻圖層。

飄動(dòng)的頭發(fā)也扣得很精細(xì)的那種：

另外，在對(duì)視頻全局元素的編輯方面，風(fēng)格遷移上，尋光平臺(tái)提供了20+不同風(fēng)格。

運(yùn)鏡控制上，左右平移、上下平移、推進(jìn)拉遠(yuǎn)、左右環(huán)繞等都能支持。

在對(duì)視頻局部元素的編輯方面，除了目標(biāo)消除，尋光平臺(tái)還能實(shí)現(xiàn)人臉的精準(zhǔn)控制：

△視頻取自國(guó)風(fēng)武俠動(dòng)漫《少年白馬醉春風(fēng)》第三集

輕輕一拉實(shí)現(xiàn)運(yùn)動(dòng)控制：

如此看來(lái)，尋光可以說(shuō)集成了市面上最完備的AI編輯功能，把一整個(gè)視頻制作工作流都給AI化了。相比于在各種工具間跳來(lái)跳去，在傳統(tǒng)工作流中零散地插入AI能力，屬實(shí)更加方便、高效了。

重塑視頻創(chuàng)作工作流

探索更理解物理世界規(guī)律、生成時(shí)長(zhǎng)更長(zhǎng)、生成效果更驚艷的多模態(tài)的模型，是當(dāng)今工業(yè)界和學(xué)術(shù)界都密切關(guān)注的方向。

但當(dāng)更強(qiáng)大的AI面世后，人們能否更快掌握這種新型生產(chǎn)力，同樣是值得關(guān)注的話題。

在Karpathy挑起話題之后，就有不少網(wǎng)友表示確實(shí)戳中痛點(diǎn)：

從一個(gè)工具轉(zhuǎn)移到另一個(gè)工具會(huì)破壞工作狀態(tài)，說(shuō)實(shí)話，這限制了這些工具對(duì)效率的提升。
AI視頻創(chuàng)作需要統(tǒng)一的UI。

陳威華也在WAIC現(xiàn)場(chǎng)談到：

今天我們正處在AI視頻生成這場(chǎng)巨大變革之中，“工欲善其事，必先利其器”，我們希望尋光視頻創(chuàng)作平臺(tái)就是每一個(gè)人手中的利器，是每一個(gè)人的專屬視頻工作室，在這個(gè)平臺(tái)上，AI與創(chuàng)作者之間能夠更緊密高效地協(xié)作。

為此，尋光平臺(tái)背后的達(dá)摩院視覺技術(shù)實(shí)驗(yàn)室已做了大量技術(shù)儲(chǔ)備。

該實(shí)驗(yàn)室致力于多模態(tài)視覺信號(hào)的理解與生成技術(shù)研究，當(dāng)前的重點(diǎn)研究方向包括更加精準(zhǔn)的圖像/視頻/3D內(nèi)容生成，更加可控的圖像/視頻/3D內(nèi)容編輯，更加高效的生成框架，多模態(tài)的理解-生成框架等。

AIGC在全世界范圍內(nèi)引爆熱潮，核心在于帶來(lái)了生產(chǎn)力徹底變革的想象空間。

現(xiàn)在，解放生產(chǎn)力的第一步，已經(jīng)開始落地實(shí)踐，你期待嗎？

官網(wǎng)地址：
https://xunguang.damo-vision.com/

— 完 —