克蘇魯高清AI視頻爆火，背后模型已開源，Demo在線可玩，前特斯拉AI總監(jiān)也來圍觀
“足以與Gen-2媲美”
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
可生成1024×576高清分辨率視頻的大模型，開源了！
無論是在海草間游動的小魚：
還是精細(xì)到眼珠子的神秘克蘇魯圖像：
全部以前所未有的清晰感呈現(xiàn)出來，讓網(wǎng)友直呼“san值狂掉”。
這個視頻生成模型開源即爆火，不僅在推特和Reddit上收獲一眾熱度，就連前特斯拉AI總監(jiān)Andrej Karpathy也來圍觀了一波：
現(xiàn)在，Hugging Face工程師已經(jīng)搞出了試玩demo，不少網(wǎng)友直接線上開炫，例如生成《星球大戰(zhàn)》達斯·維德在水上沖浪的珍貴影像：
效果看起來也不錯，所以它究竟是怎么訓(xùn)練的？
基于17億參數(shù)大模型改造
Zeroscope的“原型”，是達摩院ModelScope（魔搭）社區(qū)開源的17億參數(shù)文生視頻大模型。
這一版大模型由文本特征提取、文本特征到視頻隱空間擴散模型、視頻隱空間到視頻視覺空間3個子網(wǎng)絡(luò)組成。
其中，擴散模型采用Unet3D結(jié)構(gòu)，通過從純高斯噪聲視頻中迭代去噪過程，最終實現(xiàn)視頻生成。
不過在ModelScope社區(qū)中開源的這版大模型，生成視頻的效果還不能說是高清：
為此，ZeroScope設(shè)計了兩個階段，先通過文生視頻、再通過視頻生視頻提升分辨率，最終生成1024×576分辨率的視頻：
第一步，文生視頻，基于ZeroScope_v2_576w來生成576×320分辨率的視頻；
第二步，視頻生視頻，基于ZeroScope_v2_XL來生成1024×576分辨率的視頻片段。
訓(xùn)練上，ZeroScope采用了9923個1024×576分辨率的視頻片段，每個片段包含24幀畫面，其中有3幀被打上標(biāo)記，加起來一個是29769個標(biāo)記幀（tagged frames）。
不過，生成高清視頻，需要的硬件要求也會更高一些。
要想生成576×320分辨率、幀率30的視頻，至少需要7.9GB的VRam（顯存的一種）；如果要生成1024×576分辨率、幀率30的視頻，則至少需要15.3GB的VRam。
有網(wǎng)友感到高興：
又一個足以與Gen-2競爭的文生視頻模型出現(xiàn)了！
甚至有網(wǎng)友認(rèn)為，這個模型的出現(xiàn)已經(jīng)說明，人們沒必要為了Runway搞出來的Gen-2付錢了，畢竟后者效果也沒有那么好。
無論如何，文生視頻AI領(lǐng)域的“新攪局者”都已經(jīng)出現(xiàn)。
在線試玩Demo已出
模型一開源，Hugging Face上就已經(jīng)出現(xiàn)了試玩Demo。
這里我們試著生成“和愛因斯坦打高爾夫球”。
效果還不錯，雖然不知道為什么愛因斯坦打著打著蹲下了（手動狗頭）
從提示詞類型來看，不僅可以輸入比較精細(xì)的描述：
例如“一個男人在行駛的火車上睡覺，窗外物體飛速移動”（A man is sleeping in his seat, inside a train running, background behind the window is moving fast）
也可以只輸入簡單的一句話，像是“巨型皮卡丘大戰(zhàn)哥斯拉”（Giant Pikachu versus Godzilla fight）
除此之外，也有不少網(wǎng)友分享了自己的作品。
例如這是“愛因斯坦大笑著開星球大戰(zhàn)里的飛梭賽車”：
還有網(wǎng)友@Callimiya生成了“達斯維德在課室跳舞”的神奇視頻，似乎還有小孩子在陪他一起跳：
不過，由于試玩人數(shù)比較多，導(dǎo)致它有時會出bug。這時候只要不停地提交，還是可以沖進隊列中的。
當(dāng)然，如果你覺得這一版的Demo可控性不夠好，還可以嘗試另一版，無論是seed?（便于生成相似內(nèi)容）還是推理次數(shù)都可手動調(diào)整：
怎么樣，想好用它生成什么新視頻了嗎？
簡單版試玩：
https://huggingface.co/spaces/fffiloni/zeroscope
可控版進階試玩：
https://huggingface.co/spaces/hysts/zeroscope-v2
參考鏈接：
[1]https://twitter.com/_akhaliq/status/1672650155743408133
[2]https://www.reddit.com/r/aivideo/comments/14hbiql/announcing_zeroscope_v2_xl_a_new_1024x576_video/
[3]https://twitter.com/fffiloni/status/1673644193967747072
相關(guān)閱讀
