Stable Video Diffusion問世！3D合成功能引關(guān)注，網(wǎng)友：進(jìn)步太快
代碼權(quán)重已上線
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
Stable Diffusion官方終于對視頻下手了——
發(fā)布生成式視頻模型Stable Video Diffusion（SVD）。
Stability AI官方博客顯示，全新SVD支持文本到視頻、圖像到視頻生成：
并且還支持物體從單一視角到多視角的轉(zhuǎn)化，也就是3D合成：
根據(jù)外部評估，官方宣稱SVD甚至比runway和Pika的視頻生成AI更受用戶歡迎。
雖然目前只發(fā)布了基礎(chǔ)模型，但官方透露“正計(jì)劃繼續(xù)擴(kuò)展，建立類似于Stable Diffusion的生態(tài)系統(tǒng)”。
目前論文代碼權(quán)重已上線。
最近視頻生成領(lǐng)域不斷出現(xiàn)新玩法，這次輪到Stable Diffusion下場，以至于網(wǎng)友們的第一反應(yīng)就是“快”，進(jìn)步太快！
但僅從Demo效果來說，更多網(wǎng)友們表示并沒有感到很驚喜。
雖然我喜歡SD，而且這些Demo也很棒……但也存在一些缺陷，光影不對、而且整體不連貫（視頻幀與幀之間閃爍）。
總歸來說這是個(gè)開始，網(wǎng)友對SVD的3D合成功能還滿是看好：
我敢打賭，很快就會有更好的東西出來，到時(shí)候只要描述一下，就會得到一個(gè)完整的3D場景。
SD視頻官方版來襲
除了上面展示的，官方還發(fā)布了更多Demo，先來看一波：
太空漫步也安排上：
背景不動(dòng)，只讓兩只鳥動(dòng)也可以：
SVD的研究論文目前也已發(fā)布，據(jù)介紹SVD基于Stable Diffusion 2.1，用約6億個(gè)樣本的視頻數(shù)據(jù)集預(yù)訓(xùn)練了基礎(chǔ)模型。
可輕松適應(yīng)各種下游任務(wù)，包括通過對多視圖數(shù)據(jù)集進(jìn)行微調(diào)從單個(gè)圖像進(jìn)行多視圖合成。
微調(diào)后，官方公布的是兩種圖像到視頻模型，可以以每秒3到30幀之間的自定義幀速率生成14（SVD）和25幀（SVD-XT）的視頻：
之后又微調(diào)了多視角視頻生成模型，叫做SVD-MV：
根據(jù)測試結(jié)果，在GSO數(shù)據(jù)集上，SVD-MV得分優(yōu)于多視角生成模型Zero123、Zero123XL、SyncDreamer：
值得一提的是，Stability AI表示SVD目前僅限于研究，不適用于實(shí)際或商業(yè)應(yīng)用。SVD目前也不是所有人都可以使用，但已開放用戶候補(bǔ)名單注冊。
視頻生成大爆發(fā)
最近視頻生成領(lǐng)域呈現(xiàn)出一種“混戰(zhàn)”的局面。
前有PikaLabs開發(fā)的文生視頻AI：
后又有號稱“史上最強(qiáng)大的視頻生成AIMoonvalley推出：
最近Gen-2的“運(yùn)動(dòng)筆刷”功能也正式上線，指哪畫哪：
這不現(xiàn)在SVD又出現(xiàn)了，又有要卷3D視頻生成的可能。
但文本到3D生成方面好像還沒有太多進(jìn)展，網(wǎng)友對這一現(xiàn)象也很是困惑。
有人認(rèn)為數(shù)據(jù)是阻礙發(fā)展的瓶頸：
還有網(wǎng)友表示原因在于強(qiáng)化學(xué)習(xí)還不夠強(qiáng)：
家人們對這方面的最新進(jìn)展有了解嗎？歡迎評論區(qū)分享～
論文鏈接：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf
參考鏈接：
[1]https://stability.ai/news/stable-video-diffusion-open-ai-video-model
[2]https://news.ycombinator.com/item?id=38368287
相關(guān)閱讀
