國(guó)內(nèi)首個(gè)視頻垂直大模型發(fā)布！一句話生成科幻大片預(yù)告，人人可玩

明敏 2023-07-28 16:40:36 來(lái)源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

只靠一句話，AI就能做一支科幻電影預(yù)告片。

腳本、每幀畫面、背景音樂(lè)，AI都能生成。

這就是國(guó)內(nèi)首款視頻垂直大模型新壹視頻大模型帶來(lái)的現(xiàn)場(chǎng)首秀。

由該模型作為底座的AIGC視頻平臺(tái)一幀秒創(chuàng)，同步推出，現(xiàn)在可直接體驗(yàn)。

不僅是用AI生成畫面，這個(gè)平臺(tái)還能實(shí)現(xiàn)圖文轉(zhuǎn)視頻、AI幫寫、插入數(shù)字人等。

在過(guò)去半年試運(yùn)營(yíng)中，該平臺(tái)每天產(chǎn)出超出10萬(wàn)分鐘視頻，積累了200多萬(wàn)用戶。

同時(shí)還推出了數(shù)字人創(chuàng)作平臺(tái)，24小時(shí)內(nèi)就可以訓(xùn)練好一個(gè)數(shù)字人。

在發(fā)布現(xiàn)場(chǎng)，還有投資人任泉還來(lái)幫忙站臺(tái)，強(qiáng)調(diào)正在視頻領(lǐng)域發(fā)生的新技術(shù)革新。

所以，這個(gè)視頻大模型什么來(lái)頭？

首個(gè)垂直視頻大模型？

發(fā)布會(huì)介紹，新壹大模型是一個(gè)以視頻為核心的多模態(tài)AIGC模型。

通過(guò)對(duì)海量視頻樣本的學(xué)習(xí)，具有幾大關(guān)鍵能力：

• 多模態(tài)感知
• 實(shí)時(shí)學(xué)習(xí)
• 自迭代
• 多場(chǎng)景交叉推理

由此它能理解文字的含義、識(shí)別圖像內(nèi)容、感知音樂(lè)情緒，然后生成視頻。

在發(fā)布會(huì)現(xiàn)場(chǎng)的演示中，最開始給新壹大模型的僅僅是一句主題：

人類駕駛地球、離開太陽(yáng)系、并遇到危險(xiǎn)。

然后就看到大模型很快理解了意思，輸出了10個(gè)鏡頭的腳本，都非常契合主題。

下一步，再基于生成文字內(nèi)容，大模型又給出了10個(gè)分鏡頭。

從現(xiàn)場(chǎng)效果里可以看出，每一個(gè)鏡頭給出的畫面，和文字的對(duì)應(yīng)也很緊密。

比如鏡頭八的腳本是“一位科學(xué)家站起來(lái)，他的眼神堅(jiān)定”。

畫面上就給出了一位穿太空服的男性，皺緊眉頭，眼神堅(jiān)定。

再要求AI配一段“大氣磅礴、有重低音和交響樂(lè)團(tuán)的元素，給我一種踏上新征程的感覺(jué)”。

最后把生成的所有素材一結(jié)合，就有了一個(gè)完整的科幻預(yù)告片。

據(jù)介紹，新壹視頻大模型采用了自監(jiān)督學(xué)習(xí)方案，會(huì)觀察和學(xué)習(xí)大量的視頻數(shù)據(jù)，通過(guò)分析視頻的結(jié)構(gòu)、內(nèi)容、風(fēng)格等多個(gè)維度，自我理解和把握視頻制作的規(guī)則和邏輯。

而且能跨場(chǎng)景進(jìn)行知識(shí)遷移與關(guān)聯(lián)，選擇合適素材，調(diào)整視頻風(fēng)格；還可面向行業(yè)級(jí)的垂直場(chǎng)景對(duì)新壹視頻大模型做定向訓(xùn)練。

在現(xiàn)場(chǎng)，新壹方面也強(qiáng)調(diào)，大模型中關(guān)于視頻理解、匹配輸出的部分，均是由自研技術(shù)支撐。

而以該模型為底座的座的AI內(nèi)容生成平臺(tái)一幀秒創(chuàng)，也正式發(fā)布。

它能提供圖片生成、視頻生成、聲音生成、數(shù)字人生成等任務(wù)。

并提供了一個(gè)千萬(wàn)級(jí)的結(jié)構(gòu)化視頻庫(kù)，可以精準(zhǔn)匹配素材。

比如在現(xiàn)場(chǎng)演示中，通過(guò)平臺(tái)制作一個(gè)“夏日防暑小妙招”的視頻，同樣是AI自己生成文案、匹配素材。

除了視頻制作方面，同步亮相的還有一個(gè)數(shù)字人平臺(tái)。

據(jù)介紹，通過(guò)多模態(tài)合成AI技術(shù)，該平臺(tái)可以將真人錄制的視頻和音頻素材，快速生成2D寫實(shí)數(shù)字人。

基于新壹視頻大模型， 24內(nèi)小時(shí)即可完成一個(gè)數(shù)字人的訓(xùn)練。通過(guò)融合通用語(yǔ)言模型、音視頻生成技術(shù)，能夠快速、低成本的生成真人播報(bào)視頻和直播。

結(jié)合該技術(shù)，還有一個(gè)名為“秒祝”的明星數(shù)字人祝福視頻制作產(chǎn)品發(fā)布。它可以還原明星的聲音和形象，制作出對(duì)應(yīng)數(shù)字人，并生成個(gè)性化定制祝福視頻。

那么問(wèn)題來(lái)了：

帶來(lái)這一系列AIGC領(lǐng)域新動(dòng)向的玩家，到底是誰(shuí)？

視頻行業(yè)20年老玩家出手

如上一系列新技術(shù)、新產(chǎn)品的幕后玩家，名叫新壹科技。

公開信息顯示，新壹科技注冊(cè)于2022年1月，是一家非常年輕的創(chuàng)業(yè)公司。

但是他們的團(tuán)隊(duì)，其實(shí)是在視頻行業(yè)中摸爬滾打20多年的老玩家，曾多次站在視頻風(fēng)口浪尖：如此前大火的秒拍、小咖秀，都是該團(tuán)隊(duì)推出的產(chǎn)品。更早之前，則是中國(guó)首個(gè)上市的視頻公司酷六網(wǎng)。

新壹科技創(chuàng)始人、董事長(zhǎng)為韓坤，CEO為雷濤。

△新壹科技創(chuàng)始人、董事長(zhǎng)韓坤

這一次召開發(fā)布會(huì)，用新壹自己的話來(lái)解釋，就是要在AIGC的時(shí)代下，重新出發(fā)。

那么，為什么要做大模型？

有直接需求、行業(yè)影響和新壹自身三方面要素。

首先是用戶需求方面。

作為視頻行業(yè)的資深玩家，新壹注意到在社交平臺(tái)極度發(fā)達(dá)的今天，很多人都有輸出自己觀點(diǎn)的需要。以及目前人們上網(wǎng)瀏覽的大部分信息都是視頻模式，但是互聯(lián)網(wǎng)信息中轉(zhuǎn)換為視頻的部分，占比卻并不多。

所以，一個(gè)低門檻的視頻創(chuàng)作平臺(tái)，是有巨大市場(chǎng)需求的。

新壹科技CEO雷濤舉例說(shuō)，比如很多人對(duì)于一些事情都想發(fā)表觀點(diǎn)，但是他可能不愿意或者沒(méi)有時(shí)間自己出鏡，這時(shí)如果他有一個(gè)數(shù)字人可以幫他出鏡，再有工具能快速剪輯視頻，就能很好滿足這部分人需求。

這也是新壹反復(fù)強(qiáng)調(diào)的一個(gè)點(diǎn)：AIGC時(shí)代下有技術(shù)是不夠的，還要能提供直接使用的場(chǎng)景，這樣技術(shù)才能被更高頻率、更大范圍地應(yīng)用起來(lái)，而在這方面，垂直領(lǐng)域玩家具有先天的自身優(yōu)勢(shì)——本身就更懂市場(chǎng)需求。

其次是行業(yè)方面。

作為經(jīng)歷了互聯(lián)網(wǎng)視頻產(chǎn)業(yè)崛起的玩家，雷濤認(rèn)為目前產(chǎn)業(yè)內(nèi)的各方面要素已發(fā)展相對(duì)成熟，如手機(jī)硬件、軟件、網(wǎng)絡(luò)等，都能很好支撐互聯(lián)網(wǎng)視頻產(chǎn)業(yè)。

在這樣的前提下，AIGC相關(guān)的項(xiàng)目是很容易做成的，“只要人工智能可以起來(lái)就夠了”。

作為一直都有技術(shù)積累的視頻玩家來(lái)說(shuō)，在這方面就會(huì)具備一定優(yōu)勢(shì)。

這也是新壹為什么做大模型的第三點(diǎn)原因——自身積累。

基于過(guò)去在行業(yè)內(nèi)的20年積累，新壹在視頻方面積累了深厚的技術(shù)和經(jīng)驗(yàn)。新壹董事長(zhǎng)韓坤發(fā)布會(huì)上也非常自豪地表示，“我們培養(yǎng)出了一支代碼技術(shù)過(guò)硬的工程師團(tuán)隊(duì)，形成了良好的產(chǎn)品服務(wù)意識(shí)?！?/p>

同時(shí)雷濤表示，新壹做大模型，并不是重復(fù)造輪子。他們的技術(shù)底座中，視頻方面主要依靠自研，但是在圖像、TTS等領(lǐng)域，也會(huì)集成業(yè)內(nèi)的優(yōu)秀成果。

我們是用另一種方式提供工程化的創(chuàng)新。就好比造車一樣。

△新壹科技CEO雷濤

但現(xiàn)在就已經(jīng)是AIGC產(chǎn)品應(yīng)用開發(fā)的最佳時(shí)機(jī)了嗎？新壹為何在這樣一個(gè)時(shí)間點(diǎn)正式對(duì)外推出？

雷濤也從技術(shù)和行業(yè)兩個(gè)方面給出了解釋。

技術(shù)上，他認(rèn)為AI領(lǐng)域的各種創(chuàng)新，不會(huì)存在一個(gè)所謂的成熟期，技術(shù)一直在不斷迭代優(yōu)化。新壹從現(xiàn)在出發(fā)，之后也會(huì)不斷在技術(shù)上進(jìn)行迭代。

再結(jié)合行業(yè)現(xiàn)狀，AIGC熱潮如今略有降溫，但雷濤認(rèn)為這并不是一件壞事。因?yàn)橹皇强礋狒[的人已經(jīng)走了，剩下的則是對(duì)AIGC有真正需求的人，而這部分人現(xiàn)在對(duì)AI的胃口已經(jīng)被吊起來(lái)了。

所以在這個(gè)時(shí)間節(jié)點(diǎn)下，他們對(duì)外發(fā)布新壹視頻大模型，并帶來(lái)一幀秒創(chuàng)制作平臺(tái)。

值得一提的是，在發(fā)布大模型相關(guān)產(chǎn)品的同時(shí)，他們還推出了一個(gè)數(shù)字人平臺(tái)。

要知道，數(shù)字人技術(shù)熱潮比AIGC更早，賽道內(nèi)的玩家數(shù)量眾多，新玩家新壹并不具有先發(fā)優(yōu)勢(shì)。

雷濤解釋說(shuō)，基于新壹自身在視頻、娛樂(lè)產(chǎn)業(yè)方面的積累，他們看到在這方面其實(shí)有非常明確的商業(yè)模式，比如給明星制作數(shù)字人讓它幫忙帶貨。

在發(fā)布會(huì)現(xiàn)場(chǎng)，不僅是任泉本人來(lái)給新壹站臺(tái)，還有多位明星送來(lái)了祝福視頻。

并且新壹使用了更加先進(jìn)的技術(shù)，價(jià)格也不高（售價(jià)可低至千元價(jià)位），所以現(xiàn)在加入數(shù)字人賽道，新壹同樣有自身獨(dú)特優(yōu)勢(shì)。作為這種技術(shù)成本和應(yīng)用的能力，新壹還宣布了與新浪微博的合作，將為金V用戶提供專門數(shù)字人。

實(shí)際上，在秒拍和一直播風(fēng)靡的周期里，與新浪微博也始終密切相關(guān)。

但關(guān)于新壹科技的投融資，還尚未到對(duì)外官宣的時(shí)候，不過(guò)CEO雷濤透露，進(jìn)度各方面都比較順利，不少投資人也看到了AIGC正在對(duì)視頻領(lǐng)域展開的技術(shù)革新，而新壹這支團(tuán)隊(duì)穿越多個(gè)周期、潮起潮落、久經(jīng)考驗(yàn)。

有意思的是，這其實(shí)也是韓坤雷濤這支視頻老兵團(tuán)隊(duì)時(shí)隔多年的再度公開亮相，但地點(diǎn)都是北京東三環(huán)的康德萊酒店。

上一次，2017年在這里，秒拍一直播母公司一下科技宣布了新一輪巨額融資，震動(dòng)江湖。

這一次，韓坤站在臺(tái)上，表達(dá)著一直站在創(chuàng)業(yè)路上的原因——對(duì)視頻內(nèi)容的熱愛(ài)，而新壹則是這種熱愛(ài)的延續(xù)和新的開始。

“新的開始，壹定成功?！?/p>