事件相機(jī)+AI視頻生成，港大CUBE框架入選ICIP，無(wú)需訓(xùn)練實(shí)現(xiàn)可控視頻生成
讓AI視頻更具創(chuàng)意，又符合特定需求
CUBE團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI
在這個(gè)信息爆炸的時(shí)代，如何讓AI生成的視頻更具創(chuàng)意，又符合特定需求？
來(lái)自香港大學(xué)的最新研究《基于事件、無(wú)需訓(xùn)練的可控視頻生成框架 CUBE》帶來(lái)一個(gè)全新的解決方案。
這一框架利用了事件相機(jī)捕捉動(dòng)態(tài)邊緣的能力，將AI生成的視頻帶入了一個(gè)新的維度，精準(zhǔn)又高效。論文原標(biāo)題是“Controllable Unsupervised Event-based Video Generation”，
發(fā)表于圖像處理盛會(huì)ICIP并被選為Oral（口頭報(bào)告），并受邀在WACV workshop演講。
什么是事件相機(jī)？
在深入了解CUBE框架之前，先來(lái)認(rèn)識(shí)一下事件相機(jī)。
不同于傳統(tǒng)相機(jī)的定時(shí)捕捉，事件相機(jī)模仿生物的視覺(jué)系統(tǒng)，只捕捉像素點(diǎn)亮度變化的“事件”，就像是只記錄畫(huà)面的精華部分。
這樣不僅可以有效減少冗余數(shù)據(jù)，還可以顯著降低耗能。
尤其是在高速動(dòng)態(tài)或光線變化大的場(chǎng)景下，事件相機(jī)比傳統(tǒng)相機(jī)更有優(yōu)勢(shì)。而這些獨(dú)特的“事件數(shù)據(jù)”正是CUBE框架的核心。
△左：普通相機(jī)拍的；右：事件相機(jī)拍的
簡(jiǎn)單說(shuō)，事件相機(jī)和普通相機(jī)不同，捕捉的是物體邊緣的動(dòng)態(tài)細(xì)節(jié)，就像你腦中一閃而過(guò)的靈感，節(jié)省了大量帶寬還能省電。
CUBE框架結(jié)合了這些“閃現(xiàn)”的邊緣數(shù)據(jù)和文字描述，無(wú)需訓(xùn)練就能合成符合需求的視頻！這不僅能讓你生成的場(chǎng)景更“合胃口”，還能讓視頻質(zhì)量、時(shí)間一致性和文本匹配度都蹭蹭上漲。
為什么要用CUBE？
其他方法或是需要大量訓(xùn)練數(shù)據(jù)，或是生成效果欠佳。CUBE框架不僅解決了這些問(wèn)題，還在多項(xiàng)指標(biāo)上表現(xiàn)出色。
無(wú)論是視覺(jué)效果、文本匹配度還是幀間一致性，CUBE都表現(xiàn)優(yōu)異。
可以這樣想：CUBE就像給事件相機(jī)配上了智能“濾鏡”，讓生成的視頻不僅生動(dòng)還符合描述，比如讓鐵人也能在馬路上跳起月球舞步！
CUBE框架是如何工作的？
CUBE的全稱(chēng)是“Controllable, Unsupervised, Based on Events”，直譯過(guò)來(lái)就是“可控的、無(wú)需訓(xùn)練的、基于事件的”視頻生成框架。
它通過(guò)提取事件中的邊緣信息，再結(jié)合用戶(hù)提供的文字描述生成視頻。在方法上，CUBE主要依賴(lài)擴(kuò)散模型生成技術(shù)。
擴(kuò)散模型通過(guò)向圖像添加隨機(jī)噪聲并逐步還原來(lái)生成圖片，但團(tuán)隊(duì)進(jìn)一步優(yōu)化了這個(gè)過(guò)程，能讓它根據(jù)“事件”提供的邊緣數(shù)據(jù)生成視頻。
CUBE的核心方法
1. 邊緣提?。?/strong>事件流記錄了物體運(yùn)動(dòng)的軌跡，而CUBE的首要任務(wù)就是將這些事件轉(zhuǎn)換成邊緣信息。團(tuán)隊(duì)設(shè)計(jì)了一個(gè)邊緣提取模塊，把事件數(shù)據(jù)分成多個(gè)時(shí)間段，提取出關(guān)鍵的空間位置，從而形成精確的邊緣圖。這些邊緣圖不僅保留了運(yùn)動(dòng)物體的輪廓，還能讓視頻生成更流暢。
2. 視頻生成：有了邊緣數(shù)據(jù)之后，CUBE結(jié)合了文字描述生成視頻。通過(guò)擴(kuò)散模型的逐步還原過(guò)程，可以生成多個(gè)與描述相匹配的圖像幀，并用插幀技術(shù)讓視頻更加平滑一致。這個(gè)過(guò)程不需要大量的訓(xùn)練數(shù)據(jù)，因?yàn)镃UBE直接調(diào)用了預(yù)訓(xùn)練的擴(kuò)散模型來(lái)實(shí)現(xiàn)高質(zhì)量生成。
3. 控制性與一致性：采用了ControlVideo框架，這一框架具有優(yōu)秀的可控性，通過(guò)文字描述來(lái)控制生成的視頻內(nèi)容，使每幀的生成都符合特定的要求。ControlVideo和CUBE的組合解決了傳統(tǒng)方法中視頻生成一致性不足的問(wèn)題，讓內(nèi)容更生動(dòng)、更貼合描述。
CUBE的性能表現(xiàn)
在實(shí)驗(yàn)中，CUBE的表現(xiàn)遠(yuǎn)超現(xiàn)有方法。在視頻質(zhì)量、文本匹配度和時(shí)間一致性等多個(gè)指標(biāo)上，CUBE都取得了優(yōu)異的成績(jī)。
定量實(shí)驗(yàn)顯示，CUBE生成的幀間一致性和文本匹配度都比ControlNet、ControlVideo等方法更優(yōu)。此外，團(tuán)隊(duì)還做了用戶(hù)偏好測(cè)試，結(jié)果顯示參與者普遍更喜歡CUBE生成的視頻。
未來(lái)展望
當(dāng)然，CUBE還有提升的空間。未來(lái)團(tuán)隊(duì)希望將邊緣信息和紋理信息結(jié)合，使視頻更具細(xì)節(jié)和真實(shí)感，同時(shí)探索更多領(lǐng)域適用性，甚至將其應(yīng)用在實(shí)時(shí)場(chǎng)景中。這一技術(shù)不僅適合電影、動(dòng)畫(huà)生成等領(lǐng)域，還可以用于自動(dòng)駕駛、監(jiān)控等需要快速識(shí)別動(dòng)態(tài)環(huán)境的場(chǎng)景。
CUBE不僅是一項(xiàng)技術(shù)，更是一次在事件相機(jī)與AI生成視頻領(lǐng)域的新探索。
如果你也對(duì)AI生成視頻感興趣，可進(jìn)一步參考完整論文和開(kāi)源代碼。
論文地址：
https://ieeexplore.ieee.org/abstract/document/10647468
代碼已開(kāi)源：
https://github.com/IndigoPurple/cube
相關(guān)閱讀
港大馬毅團(tuán)隊(duì)等開(kāi)源新作：用編碼率正則化重構(gòu)視覺(jué)自監(jiān)督學(xué)習(xí)范式，“少即是多”
簡(jiǎn)化DINO系列模型訓(xùn)練流程
賈樟柯李少紅都用AI拍電影了，還傳遞經(jīng)驗(yàn)：哪個(gè)功能最實(shí)用？
名導(dǎo)+AIGCer+可靈=種草/避雷干貨貼
