國內(nèi)首個視頻垂直大模型發(fā)布！一句話生成科幻大片預(yù)告，人人可玩

明敏 2023-07-28 16:40:36 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

只靠一句話，AI就能做一支科幻電影預(yù)告片。

腳本、每幀畫面、背景音樂，AI都能生成。

這就是國內(nèi)首款視頻垂直大模型新壹視頻大模型帶來的現(xiàn)場首秀。

由該模型作為底座的AIGC視頻平臺一幀秒創(chuàng)，同步推出，現(xiàn)在可直接體驗。

不僅是用AI生成畫面，這個平臺還能實(shí)現(xiàn)圖文轉(zhuǎn)視頻、AI幫寫、插入數(shù)字人等。

在過去半年試運(yùn)營中，該平臺每天產(chǎn)出超出10萬分鐘視頻，積累了200多萬用戶。

同時還推出了數(shù)字人創(chuàng)作平臺，24小時內(nèi)就可以訓(xùn)練好一個數(shù)字人。

在發(fā)布現(xiàn)場，還有投資人任泉還來幫忙站臺，強(qiáng)調(diào)正在視頻領(lǐng)域發(fā)生的新技術(shù)革新。

所以，這個視頻大模型什么來頭？

首個垂直視頻大模型？

發(fā)布會介紹，新壹大模型是一個以視頻為核心的多模態(tài)AIGC模型。

通過對海量視頻樣本的學(xué)習(xí)，具有幾大關(guān)鍵能力：

• 多模態(tài)感知
• 實(shí)時學(xué)習(xí)
• 自迭代
• 多場景交叉推理

由此它能理解文字的含義、識別圖像內(nèi)容、感知音樂情緒，然后生成視頻。

在發(fā)布會現(xiàn)場的演示中，最開始給新壹大模型的僅僅是一句主題：

人類駕駛地球、離開太陽系、并遇到危險。

然后就看到大模型很快理解了意思，輸出了10個鏡頭的腳本，都非常契合主題。

下一步，再基于生成文字內(nèi)容，大模型又給出了10個分鏡頭。

從現(xiàn)場效果里可以看出，每一個鏡頭給出的畫面，和文字的對應(yīng)也很緊密。

比如鏡頭八的腳本是“一位科學(xué)家站起來，他的眼神堅定”。

畫面上就給出了一位穿太空服的男性，皺緊眉頭，眼神堅定。

再要求AI配一段“大氣磅礴、有重低音和交響樂團(tuán)的元素，給我一種踏上新征程的感覺”。

最后把生成的所有素材一結(jié)合，就有了一個完整的科幻預(yù)告片。

據(jù)介紹，新壹視頻大模型采用了自監(jiān)督學(xué)習(xí)方案，會觀察和學(xué)習(xí)大量的視頻數(shù)據(jù)，通過分析視頻的結(jié)構(gòu)、內(nèi)容、風(fēng)格等多個維度，自我理解和把握視頻制作的規(guī)則和邏輯。

而且能跨場景進(jìn)行知識遷移與關(guān)聯(lián)，選擇合適素材，調(diào)整視頻風(fēng)格；還可面向行業(yè)級的垂直場景對新壹視頻大模型做定向訓(xùn)練。

在現(xiàn)場，新壹方面也強(qiáng)調(diào)，大模型中關(guān)于視頻理解、匹配輸出的部分，均是由自研技術(shù)支撐。

而以該模型為底座的座的AI內(nèi)容生成平臺一幀秒創(chuàng)，也正式發(fā)布。

它能提供圖片生成、視頻生成、聲音生成、數(shù)字人生成等任務(wù)。

并提供了一個千萬級的結(jié)構(gòu)化視頻庫，可以精準(zhǔn)匹配素材。

比如在現(xiàn)場演示中，通過平臺制作一個“夏日防暑小妙招”的視頻，同樣是AI自己生成文案、匹配素材。

除了視頻制作方面，同步亮相的還有一個數(shù)字人平臺。

據(jù)介紹，通過多模態(tài)合成AI技術(shù)，該平臺可以將真人錄制的視頻和音頻素材，快速生成2D寫實(shí)數(shù)字人。

基于新壹視頻大模型， 24內(nèi)小時即可完成一個數(shù)字人的訓(xùn)練。通過融合通用語言模型、音視頻生成技術(shù)，能夠快速、低成本的生成真人播報視頻和直播。

結(jié)合該技術(shù)，還有一個名為“秒?！钡拿餍菙?shù)字人祝福視頻制作產(chǎn)品發(fā)布。它可以還原明星的聲音和形象，制作出對應(yīng)數(shù)字人，并生成個性化定制祝福視頻。

那么問題來了：

帶來這一系列AIGC領(lǐng)域新動向的玩家，到底是誰？

視頻行業(yè)20年老玩家出手

如上一系列新技術(shù)、新產(chǎn)品的幕后玩家，名叫新壹科技。

公開信息顯示，新壹科技注冊于2022年1月，是一家非常年輕的創(chuàng)業(yè)公司。

但是他們的團(tuán)隊，其實(shí)是在視頻行業(yè)中摸爬滾打20多年的老玩家，曾多次站在視頻風(fēng)口浪尖：如此前大火的秒拍、小咖秀，都是該團(tuán)隊推出的產(chǎn)品。更早之前，則是中國首個上市的視頻公司酷六網(wǎng)。

新壹科技創(chuàng)始人、董事長為韓坤，CEO為雷濤。

△新壹科技創(chuàng)始人、董事長韓坤

這一次召開發(fā)布會，用新壹自己的話來解釋，就是要在AIGC的時代下，重新出發(fā)。

那么，為什么要做大模型？

有直接需求、行業(yè)影響和新壹自身三方面要素。

首先是用戶需求方面。

作為視頻行業(yè)的資深玩家，新壹注意到在社交平臺極度發(fā)達(dá)的今天，很多人都有輸出自己觀點(diǎn)的需要。以及目前人們上網(wǎng)瀏覽的大部分信息都是視頻模式，但是互聯(lián)網(wǎng)信息中轉(zhuǎn)換為視頻的部分，占比卻并不多。

所以，一個低門檻的視頻創(chuàng)作平臺，是有巨大市場需求的。

新壹科技CEO雷濤舉例說，比如很多人對于一些事情都想發(fā)表觀點(diǎn)，但是他可能不愿意或者沒有時間自己出鏡，這時如果他有一個數(shù)字人可以幫他出鏡，再有工具能快速剪輯視頻，就能很好滿足這部分人需求。

這也是新壹反復(fù)強(qiáng)調(diào)的一個點(diǎn)：AIGC時代下有技術(shù)是不夠的，還要能提供直接使用的場景，這樣技術(shù)才能被更高頻率、更大范圍地應(yīng)用起來，而在這方面，垂直領(lǐng)域玩家具有先天的自身優(yōu)勢——本身就更懂市場需求。

其次是行業(yè)方面。

作為經(jīng)歷了互聯(lián)網(wǎng)視頻產(chǎn)業(yè)崛起的玩家，雷濤認(rèn)為目前產(chǎn)業(yè)內(nèi)的各方面要素已發(fā)展相對成熟，如手機(jī)硬件、軟件、網(wǎng)絡(luò)等，都能很好支撐互聯(lián)網(wǎng)視頻產(chǎn)業(yè)。

在這樣的前提下，AIGC相關(guān)的項目是很容易做成的，“只要人工智能可以起來就夠了”。

作為一直都有技術(shù)積累的視頻玩家來說，在這方面就會具備一定優(yōu)勢。

這也是新壹為什么做大模型的第三點(diǎn)原因——自身積累。

基于過去在行業(yè)內(nèi)的20年積累，新壹在視頻方面積累了深厚的技術(shù)和經(jīng)驗。新壹董事長韓坤發(fā)布會上也非常自豪地表示，“我們培養(yǎng)出了一支代碼技術(shù)過硬的工程師團(tuán)隊，形成了良好的產(chǎn)品服務(wù)意識?！?/p>

同時雷濤表示，新壹做大模型，并不是重復(fù)造輪子。他們的技術(shù)底座中，視頻方面主要依靠自研，但是在圖像、TTS等領(lǐng)域，也會集成業(yè)內(nèi)的優(yōu)秀成果。

我們是用另一種方式提供工程化的創(chuàng)新。就好比造車一樣。

△新壹科技CEO雷濤

但現(xiàn)在就已經(jīng)是AIGC產(chǎn)品應(yīng)用開發(fā)的最佳時機(jī)了嗎？新壹為何在這樣一個時間點(diǎn)正式對外推出？

雷濤也從技術(shù)和行業(yè)兩個方面給出了解釋。

技術(shù)上，他認(rèn)為AI領(lǐng)域的各種創(chuàng)新，不會存在一個所謂的成熟期，技術(shù)一直在不斷迭代優(yōu)化。新壹從現(xiàn)在出發(fā)，之后也會不斷在技術(shù)上進(jìn)行迭代。

再結(jié)合行業(yè)現(xiàn)狀，AIGC熱潮如今略有降溫，但雷濤認(rèn)為這并不是一件壞事。因為只是看熱鬧的人已經(jīng)走了，剩下的則是對AIGC有真正需求的人，而這部分人現(xiàn)在對AI的胃口已經(jīng)被吊起來了。

所以在這個時間節(jié)點(diǎn)下，他們對外發(fā)布新壹視頻大模型，并帶來一幀秒創(chuàng)制作平臺。

值得一提的是，在發(fā)布大模型相關(guān)產(chǎn)品的同時，他們還推出了一個數(shù)字人平臺。

要知道，數(shù)字人技術(shù)熱潮比AIGC更早，賽道內(nèi)的玩家數(shù)量眾多，新玩家新壹并不具有先發(fā)優(yōu)勢。

雷濤解釋說，基于新壹自身在視頻、娛樂產(chǎn)業(yè)方面的積累，他們看到在這方面其實(shí)有非常明確的商業(yè)模式，比如給明星制作數(shù)字人讓它幫忙帶貨。

在發(fā)布會現(xiàn)場，不僅是任泉本人來給新壹站臺，還有多位明星送來了祝福視頻。

并且新壹使用了更加先進(jìn)的技術(shù)，價格也不高（售價可低至千元價位），所以現(xiàn)在加入數(shù)字人賽道，新壹同樣有自身獨(dú)特優(yōu)勢。作為這種技術(shù)成本和應(yīng)用的能力，新壹還宣布了與新浪微博的合作，將為金V用戶提供專門數(shù)字人。

實(shí)際上，在秒拍和一直播風(fēng)靡的周期里，與新浪微博也始終密切相關(guān)。

但關(guān)于新壹科技的投融資，還尚未到對外官宣的時候，不過CEO雷濤透露，進(jìn)度各方面都比較順利，不少投資人也看到了AIGC正在對視頻領(lǐng)域展開的技術(shù)革新，而新壹這支團(tuán)隊穿越多個周期、潮起潮落、久經(jīng)考驗。

有意思的是，這其實(shí)也是韓坤雷濤這支視頻老兵團(tuán)隊時隔多年的再度公開亮相，但地點(diǎn)都是北京東三環(huán)的康德萊酒店。

上一次，2017年在這里，秒拍一直播母公司一下科技宣布了新一輪巨額融資，震動江湖。

這一次，韓坤站在臺上，表達(dá)著一直站在創(chuàng)業(yè)路上的原因——對視頻內(nèi)容的熱愛，而新壹則是這種熱愛的延續(xù)和新的開始。

“新的開始，壹定成功?！?/p>