Gen-2顛覆AI生成視頻！一句話秒出4K高清大片，網(wǎng)友：徹底改變游戲規(guī)則

克雷西 2023-11-03 11:10:12 來源：量子位

金磊 克雷西 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

這，絕對稱得上是生成式AI進(jìn)程中的里程碑。

就在深夜，Runway家標(biāo)志性的AI視頻生成工具Gen-2，迎來了“iPhone時(shí)刻”般的史詩級更新——

依舊是簡單一句話輸入，不過這一次，視頻效果一口氣拉到了4K超逼真的高度！

話不多說，我們直接來看炸裂的效果：

完整視頻可見：https://mp.weixin.qq.com/s/GnTncBzzSuydrXgRhbBaCg

不難看出，這一次AI生成視頻的效果已經(jīng)克服了以往“一眼AI”的缺點(diǎn)，即不連貫、閃爍變形以及低清等等。

而這也正是Gen-2這次史詩級更新的內(nèi)容重點(diǎn)：

在文生視頻和圖生視頻中，為結(jié)果的保真度和一致性帶來了重大改進(jìn)。

雖然Runway在官方說法中只是輕描淡寫地描述為“發(fā)布了一項(xiàng)更新”，但在許多網(wǎng)友看來，這堪比一個(gè)大版本的迭代。

很多人在看到視頻效果之后，已然是處于沸騰、燃爆的狀態(tài)。

例如一位人工智能電影制作人將其稱之為“徹底改變游戲規(guī)則”。

另一位生成式AI專家也認(rèn)為：

這是生成式AI的關(guān)鍵時(shí)刻。

要知道，現(xiàn)在距離Gen-2正式發(fā)布也僅僅過了4個(gè)月（今年6月）而已，這不得不讓人感慨AI進(jìn)步、迭代的速度。

正如公眾號“數(shù)字生命卡茲克”給出的評價(jià)：

人間一天，AI一年。

值得一提的是，Gen-2此次的重磅更新，是在網(wǎng)站和APP上同步進(jìn)行的。

那么接下來，我們繼續(xù)深入體驗(yàn)一下新Gen-2的炸裂效果。

0成本生成超級大片

現(xiàn)在，無論你是在網(wǎng)站或是APP上體驗(yàn)，只要用的是Gen-2，那么生成視頻的結(jié)果，就是基于它最新的能力。

這不，一位網(wǎng)友就火速拿著Gen-2，配上小曲兒，秒生成了一部高級感滿滿的時(shí)尚廣告大片：

完整視頻可見：https://mp.weixin.qq.com/s/GnTncBzzSuydrXgRhbBaCg

這顏色，這模特，這角度，廣告大片算是被Gen-2穩(wěn)穩(wěn)拿捏住了。

還有下面這種高級MV鏡頭既視感的視頻，也是不在話下：

再如這種腦洞大開、創(chuàng)意十足的科幻電影片段：

講真，當(dāng)看到這些Gen-2生成的逼真4K視頻，我們也是被狠狠地吸引住了。

于是乎，我們也決定親自體驗(yàn)一把。

操作上可以說是極其的簡單，進(jìn)入Runway官網(wǎng)，點(diǎn)擊“Text to Video”，再選擇“Gen-2”，便可來到文本輸入界面：

我們測試的文本內(nèi)容是這樣的：

Interstellar travel，surreal.
星際旅行，超現(xiàn)實(shí)主義。

在靜候幾秒之后，AI視頻就出爐了：、

有一說一，其實(shí)Gen-2的結(jié)果跟我們原本在腦海中的設(shè)想是有些出入（以為會是宇宙星空背景的星艦）的。

但無論是場景亦或是飛船的樣式，都給人一種耳目一新、別出心裁的感覺。

這對于創(chuàng)意工作者來說可謂是一種福利了，靈感枯竭的時(shí)候，不妨讓Gen-2幫你想想。

而在圖生視頻（Image to Video）能力上，有網(wǎng)友拿著PIKA這位AI生成視頻頂流，跟Gen-2做了一番比較。

從整體結(jié)果上來看，Gen-2目前無論是在畫質(zhì)的清晰度，視頻的流暢度等方面，都是更勝一籌。

BTW，手機(jī)體驗(yàn)最新Gen-2也是相當(dāng)方便的哦~

半年徹底改寫游戲規(guī)則

本次里程碑式更新，雖然沒有帶來新的功能，但在真實(shí)性和一致性上的飛躍，使得最新版本的Gen-2依舊是一款劃時(shí)代的產(chǎn)品。

雖然Gen-2的有關(guān)論文還是coming soon，但可以確定它是在Gen-1的基礎(chǔ)模型之上改進(jìn)得到的。

相比于傳統(tǒng)的文本控制擴(kuò)散模型，Gen通過文本、圖像、視頻混合的訓(xùn)練模式，提高了生成視頻的質(zhì)量和一致性，同時(shí)還降低了訓(xùn)練消耗。

同時(shí)，Runway還提出了延時(shí)擴(kuò)散模型，在預(yù)訓(xùn)練的擴(kuò)散模型中引入時(shí)序?qū)?，使得模型在推理階段具有更高的時(shí)間一致性。

Runway在宣傳片中用三組對比展示了Gen-2的這種顯著變化。

盡管官方還未給出具體的測試數(shù)據(jù)，但Gen-1的用戶偏好在Runway的一項(xiàng)用戶調(diào)查中就已經(jīng)擊敗了Stable Diffusion 1.5和Text2Live。

Gen-2是于今年3月開始測試，6月正式向公眾發(fā)布的。

與Gen-1不同的是，前者通過現(xiàn)有的視頻片段結(jié)合文字指導(dǎo)進(jìn)行合成，而Gen-2則可以只用文字、圖片或兩者結(jié)合來生成。

此外，Gen-1中的風(fēng)格變換、蒙版、模型定制等功能也在Gen-2中得到了保留。

發(fā)布半年以來，Gen-2已經(jīng)經(jīng)歷了多次更新。

8月，Runway將Gen-2生成視頻的最大長度從4秒提升到了18秒，這樣的長度在AI視頻生成工具中前所未有。

9月，Runway又官宣Gen-2新增了導(dǎo)演模式，可以控制“鏡頭”的位置和移動速度。

此后不久，Gen-2又新增了“Motion Slider”的功能，可以調(diào)節(jié)視頻中的動作幅度。

這幾次大大小小的更新，讓這款視頻生成工具走向頂流，最終震撼了整個(gè)行業(yè)。

創(chuàng)始人：創(chuàng)意軟件已死

隨著Gen-2的更新，對影視和創(chuàng)意行業(yè)帶來了不小的沖擊。

Runway創(chuàng)始人兼CEO Cristóbal Valenzuela更是在中表示，“創(chuàng)意軟件已死”。

Valenzuela進(jìn)一步解釋到，盡管過去人們可以手工“操縱像素”，但人工智能創(chuàng)作工具可以讓人們只用自然語言和參數(shù)調(diào)節(jié)就完成創(chuàng)作，這是傳統(tǒng)的（創(chuàng)意）軟件無法做到的。

最后，Valenzuela再次強(qiáng)調(diào)，一個(gè)激動人心的新（創(chuàng)意）時(shí)代就要開始了。

在Valenzuela的這篇帖子中，有很多網(wǎng)友表示了贊同，直言這些模型現(xiàn)在就畫筆。

而這位創(chuàng)作者雖然沒有直接夸贊，但回憶起了以往每次花六個(gè)月制作視頻的經(jīng)歷，仿佛一切盡在不言之中……

最后，體驗(yàn)地址放下面了，感興趣的小伙伴們快去嘗試吧~

Gen-2體驗(yàn)地址：
https://research.runwayml.com/gen2

參考鏈接：
[1]https://twitter.com/runwayml/status/1720064304374792615?s=20
[2]https://twitter.com/hashtag/Gen2
[3]https://venturebeat.com/ai/runways-gen-2-update-is-blowing-peoples-minds-with-incredible-ai-video/
[4]https://mp.weixin.qq.com/s/jwKtx-wpSVVvAxhUTMXQBw