Sora新視頻只發(fā)TikTok：OpenAI 4天漲粉10萬(wàn)

克雷西 2024-02-21 13:46:50 來(lái)源：量子位

夢(mèng)晨 克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

Sora新視頻，變成“抖音獨(dú)占”了。

悄無(wú)聲息，OpenAI正式殺入TikTok，加上洗腦配樂(lè)直接讓人刷到停不下來(lái)，瘋狂引流吸粉中：

短短4天，漲粉10萬(wàn)，50萬(wàn)贊——這還是不打槍不宣傳的情況下。

這以后，人類(lèi)創(chuàng)作者還怎么玩？

Sore新視頻，只發(fā)TikTok

在OpenAI剛開(kāi)的TikTok認(rèn)證帳號(hào)上，悄然更新了不少全新生成視頻。

每一個(gè)都很有特點(diǎn)，同樣引發(fā)各路熱議。

來(lái)感受一下：

a16z合伙人驚呼，如果這是在信息流里刷出來(lái)的，絕對(duì)分不出真假。

我看過(guò)很多AI視頻了，但這一條感覺(jué)到了轉(zhuǎn)折點(diǎn)。

來(lái)到真實(shí)的短視頻消費(fèi)場(chǎng)景中，就更顯Sora與競(jìng)品代差明顯：太逼真，以至于要特別聲明不是真的。

OpenAI可太擔(dān)心AI視頻被當(dāng)真引起不好影響了，不遺余力的以各種方式提醒“這是假的！這是假的！”。

網(wǎng)友開(kāi)始發(fā)出這樣的預(yù)警：

從現(xiàn)在開(kāi)始，你在網(wǎng)上看到的一切都是值得懷疑的，不要相信你的眼睛。

有句老話叫“互聯(lián)網(wǎng)時(shí)代，沒(méi)有人知道你是一條狗”。

現(xiàn)在正式升級(jí)成“Sora時(shí)代，沒(méi)有人知道你是一條不存在的狗”。

直接搞得不少短視頻創(chuàng)作者心態(tài)爆炸，要退坑了。

甚至連平臺(tái)本身都被降維打擊。

全球估值第一的獨(dú)角獸字節(jié)跳動(dòng)，與剛剛躍升第三位的OpenAI之間，似乎正醞釀著一場(chǎng)對(duì)決。

UGC王者和AIGC新貴之間，終有一戰(zhàn)。

“字節(jié)版Sora”也在研發(fā)

實(shí)際上，在Sora一夜爆火之前，字節(jié)內(nèi)部并不缺乏AI視頻技術(shù)。

甚至其中一款Boximator還被傳成是“中國(guó)版Sora”。

在Sora發(fā)布之前Boximator的論文就已經(jīng)公布，由字節(jié)AI實(shí)驗(yàn)室總監(jiān)李航領(lǐng)銜。

其實(shí)Boximator的功能并非根據(jù)純文字生成視頻，而是按照文字提示將靜態(tài)圖片動(dòng)態(tài)化。

它以字節(jié)去年11月推出的PixelDance為基礎(chǔ)模型，加入了新的動(dòng)作設(shè)定方式——

從圖像中框選物體，然后設(shè)置運(yùn)動(dòng)終點(diǎn)或直接繪制軌跡，就能對(duì)動(dòng)態(tài)效果進(jìn)行精細(xì)控制。

形式上，Boximator作為一個(gè)插件，與現(xiàn)有的視頻擴(kuò)散模型結(jié)合使用，通過(guò)凍結(jié)基礎(chǔ)模型的權(quán)重，僅訓(xùn)練控制模塊來(lái)實(shí)現(xiàn)這一功能。

比如，通過(guò)框框畫(huà)畫(huà)，讓小哈基米按照一定的軌跡追著球跑。

效果上，雖然也有bug（飄走的雨傘沒(méi)有傘柄），但與Pika 1.0（中）和Gen-2（右）相比，Boximator的動(dòng)畫(huà)明顯更加完整，也更接近文字提示。

從材質(zhì)和物理效果上看，也是Boximator更勝一籌。

技術(shù)層面，從架構(gòu)上看，Boximator在視頻擴(kuò)散模型的每個(gè)空間注意力塊中增加了一個(gè)新的自注意力層，用于處理由對(duì)象ID、硬/軟標(biāo)志和邊界框坐標(biāo)編碼的控制token。

為了簡(jiǎn)化學(xué)習(xí)“框-對(duì)象”關(guān)聯(lián)的挑戰(zhàn)，Boximator在訓(xùn)練過(guò)程中還采用了一種稱(chēng)為自跟蹤（self-tracking）的技術(shù)。

那么Boximator到底算不算“字節(jié)版Sora”？

字節(jié)對(duì)此傳聞，以辟謠的姿態(tài)來(lái)回應(yīng)：

Boximator是視頻生成領(lǐng)域控制對(duì)象運(yùn)動(dòng)的技術(shù)方法研究項(xiàng)目，目前還無(wú)法作為完善的產(chǎn)品落地，距離國(guó)外領(lǐng)先的視頻生成模型在畫(huà)面質(zhì)量、保真率、視頻時(shí)長(zhǎng)等方面還有很大差距。

Boximator建立在之前PixelDance（基礎(chǔ)研究）、MagicAnimate（專(zhuān)注于人體動(dòng)作）等更多字節(jié)團(tuán)隊(duì)研究基礎(chǔ)之上的最新成果。

總的來(lái)說(shuō)，這些技術(shù)并非針對(duì)Sora特意開(kāi)發(fā)，但在AIGC大戰(zhàn)如火如荼的背景之下，仍不失為一種“戰(zhàn)備”。

再加上年前原抖音CEO張楠卸任，專(zhuān)注于剪映，奔赴AIGC風(fēng)口。

可以說(shuō)雖然Sora的發(fā)布很突然，但字節(jié)并不是毫無(wú)準(zhǔn)備，或者說(shuō)早就在業(yè)務(wù)推進(jìn)中感知到了技術(shù)趨勢(shì)。

而相比OpenAI與字節(jié)這樣早晚要有的對(duì)決，視頻行業(yè)上下游其他選手，更像是遭遇了一場(chǎng)飛來(lái)橫禍。

視頻編輯、素材站遭殃

Sora的第一刀，其實(shí)砍向了Adobe。

5天過(guò)去了，股價(jià)跌跌不休，市值蒸發(fā)過(guò)百億美元。

危機(jī)時(shí)刻，Adobe剛剛緊急宣布，組建了一個(gè)50人的AI研究團(tuán)隊(duì)。

但是這投入的力度，沒(méi)讓大家看出誠(chéng)意。

29945員工中的50人，只占0.16%。

Adobe代表的是沿用近30年的視頻生產(chǎn)、編輯工具，服務(wù)于內(nèi)容創(chuàng)作者。

不轉(zhuǎn)型就會(huì)變成下一個(gè)柯達(dá)、諾基亞，但轉(zhuǎn)型也被認(rèn)為面臨很大挑戰(zhàn)。

比如有人指出，Adobe坐擁大量數(shù)據(jù)，但要用過(guò)去創(chuàng)作者的成果去訓(xùn)練AI，就會(huì)與這些用戶關(guān)系緊張。

也正是因此，Adobe的AI生圖工具Firefly并沒(méi)有在自家創(chuàng)意作品社區(qū)Behance的數(shù)據(jù)上訓(xùn)練，有些束手束腳。

又比如從過(guò)去Adobe在AI生圖的表現(xiàn)來(lái)看，效果比Midjourney尚且很大差距，如今在AI視頻上又該如何面對(duì)OpenAI的技術(shù)代差。

Adobe之外，受沖擊第二大的就是素材供應(yīng)商了，代表公司Shutterstock的日子也不好過(guò)。

連馬斯克都認(rèn)同“這個(gè)行業(yè)可能消亡”的觀點(diǎn)。

不過(guò)Shutterstock也給自己找好了退路，早早與OpenAI簽訂了合作協(xié)議，從素材供應(yīng)商開(kāi)始轉(zhuǎn)型訓(xùn)練數(shù)據(jù)供應(yīng)商。

這幾天不斷刷屏的Sora視頻中，就有不少Shutterstock圖片的影子。

還有人開(kāi)玩笑說(shuō)，Sora名字四個(gè)字母不會(huì)就是代表“Shutterstock原創(chuàng)，AI攪拌”吧。

參考鏈接：
[1]https://www.tiktok.com/@openai
[2]https://boximator.github.io/
[3]https://twitter.com/bilawalsidhu/status/1760076742679552273