一周六連發(fā)！昆侖萬維將多模態(tài)AI卷到了新高度

鯊瘋了！一周連發(fā)六款模型。

火力全開的昆侖萬維，正在把多模態(tài)AI卷到新高度。

8月11日~15日，這家公司天天都有新模型掉落，覆蓋的還都是視頻生成、世界模型、統(tǒng)一多模態(tài)、智能體以及AI音樂創(chuàng)作這些大熱門，幾乎每一個(gè)都是多模態(tài)AI應(yīng)用的核心場(chǎng)景。

用表格總結(jié)一下be like：

而且這當(dāng)中的絕大部分模型還被昆侖萬維給開！源！了！

u1s1，不怪網(wǎng)友們天天在昆侖萬維官方評(píng)論區(qū)等待驚喜掉落（doge）：

而且就在技術(shù)周開幕前，昆侖萬維還成功入選“中國AI開源16強(qiáng)”，與騰訊、阿里等互聯(lián)網(wǎng)大廠坐上了同一桌。

所以說，這個(gè)技術(shù)周的節(jié)點(diǎn)也顯得格外耐人尋味——

表面上是一場(chǎng)高調(diào)的技術(shù)“肌肉秀”，但細(xì)究之下，背后其實(shí)藏著昆侖萬維的一盤AI大棋。

單點(diǎn)突破，多模態(tài)能力全面開花

還是先來康康過去一周都發(fā)了啥（按發(fā)布順序展開）。

SkyReels-A3：一張圖開口帶貨so easy！

一上來，昆侖萬維就甩出了核心瞄準(zhǔn)數(shù)字人直播帶貨的SkyReels-A3模型。（畢竟目前光國內(nèi)直播市場(chǎng)就已經(jīng)逼近十萬億量級(jí)）

玩法呢主要有三種：

• 讓照片開口說話：一張人像圖+一段配音，照片里的人就能按照指定語音開口說話或唱歌；
• 根據(jù)指令生成新視頻：一張人像圖+一段配音+提示詞，照片里的人還能按照要求的狀態(tài)進(jìn)行表演；
• 改臺(tái)詞不換臉：換掉原來的音頻，新視頻會(huì)重新自動(dòng)對(duì)口型、表情和表演，畫面依舊連貫。

從官方demo來看，今后恐怕很難分清每天都在看的視頻是真人出鏡還是數(shù)字人了——其手部動(dòng)作、說話的語氣和節(jié)奏、口型等都非常自然。

除了帶貨能力強(qiáng)悍，這個(gè)模型還有意增加了“鏡頭語言”——官方預(yù)設(shè)8種常見運(yùn)鏡參數(shù)，包括固定鏡頭、推鏡、拉鏡、左搖、右搖、抬升、下降和手持鏡頭。

這樣一來，它也能輕松應(yīng)對(duì)那些對(duì)藝術(shù)美感要求更高的場(chǎng)景（如音樂MV、電影片段或演講視頻），不像傳統(tǒng)數(shù)字人只能“固定鏡頭”，畫面略顯呆板無趣。

瞅瞅下面這個(gè)由AI制作的MV，是不是氛圍感一下子拉滿了：

而且不止明面上效果OK，官方測(cè)評(píng)顯示，在不同的音頻驅(qū)動(dòng)場(chǎng)景下，SkyReels-A3在大多數(shù)指標(biāo)上均超越了主流的開源模型OmniAvatar和閉源模型OmniHuman等方法。

尤其在唇形同步（Sync-C和Sync-D）方面，SkyReels-A3明顯表現(xiàn)更佳。

這里也不得不提到SkyReels-A3背后所采用的核心技術(shù)原理：

基于“DiT視頻擴(kuò)散模型+插幀模型進(jìn)行視頻延展+基于強(qiáng)化學(xué)習(xí)的動(dòng)作優(yōu)化+運(yùn)鏡可控”

DiT視頻擴(kuò)散模型就不用多說了，由于用Transformer結(jié)構(gòu)替代了傳統(tǒng)的U-Net，它能更好地捕捉長距離依賴關(guān)系。

這當(dāng)中重點(diǎn)看一下所謂的“用插幀模型進(jìn)行視頻延展”：

• 插幀上一步：為了高效處理視頻數(shù)據(jù)，SkyReels-A3采用3D變分自編碼器（3D-VAE）將視頻壓縮成一個(gè)更小、更緊湊的形式，同時(shí)保留所有重要的信息；
• 開始插幀：有了壓縮后的視頻數(shù)據(jù)，SkyReels-A3還需要讓視頻中的人物動(dòng)作看起來自然，而通過在視頻幀之間添加更多的幀，這個(gè)目標(biāo)最終得以順利實(shí)現(xiàn)。

基于上述技術(shù)方案，SkyReels-A3相比之前的SkyReels-V1（今年2月發(fā)布）、SkyReels-V2（今年4月發(fā)布），為用戶帶來了四個(gè)方向上的新體驗(yàn)：

①Text Prompt（文本提示詞輸入）支持畫面變化；
②更自然的動(dòng)作交互，包括和商品的交互、說話時(shí)的手部動(dòng)作等；
③運(yùn)鏡的運(yùn)用和控制更高級(jí)，讓藝術(shù)場(chǎng)景如音樂/MV等擁有更高的藝術(shù)美感；
④可以生成單分鏡分鐘級(jí)別視頻，支持長達(dá)60秒的輸出，多分鏡可以支持無限時(shí)長。

一言以蔽之，SkyReels-A3在“讓數(shù)字人開口說話”這件事上已經(jīng)把門檻狠狠打下來了——

不需要專業(yè)影棚、不需要昂貴設(shè)備，只要一段聲音和一張照片，人人都能創(chuàng)造無限時(shí)長、無限可能的數(shù)字內(nèi)容。

國產(chǎn)開源Genie 3，黑客帝國照進(jìn)現(xiàn)實(shí)

當(dāng)然了，眼前火的要抓，未來可能火的前沿課題昆侖萬維也不放過。

發(fā)布第二日，他們就帶來了自研世界模型Matrix系列中Matrix-Game交互世界模型的升級(jí)版——Matrix-Game 2.0。

早在一周多前，谷歌DeepMind就因推出Genie 3而讓世界模型再次備受關(guān)注，但遺憾的是Genie 3并沒有開源，如今昆侖萬維卻做到了開源。

據(jù)了解，其Matrix-Game-Turbo是國內(nèi)首家對(duì)標(biāo)Genie 3的模型，而且這一次的2.0版本在實(shí)時(shí)生成和長序列能力上有了質(zhì)的飛躍。

像下面這個(gè)以第一視角走遍游戲場(chǎng)景的例子，以前大多只能生成十幾二十秒（包括7個(gè)月前的Genie2），而現(xiàn)在直接分鐘級(jí)起步，并且還能做到實(shí)時(shí)前后左右交互。

具體而言，相比上一版本，Matrix-Game 2.0擁有三大核心優(yōu)勢(shì)：

• 高幀率實(shí)時(shí)交互長序列生成：支持前后左右移動(dòng)和視角轉(zhuǎn)動(dòng)，用戶可指令操控角色，系統(tǒng)以25 FPS（Genie 3為24 FPS）實(shí)時(shí)生成連續(xù)畫面，單次交互可生成分鐘級(jí)長視頻，動(dòng)作流暢，響應(yīng)精準(zhǔn)。
• 多場(chǎng)景泛化能力：模型適應(yīng)多種場(chǎng)景，包括城市、野外等空間類型，以及真實(shí)、油畫等視覺風(fēng)格。
• 增強(qiáng)的物理一致性：對(duì)物理規(guī)則的理解進(jìn)一步提升，角色在面對(duì)臺(tái)階、障礙物等復(fù)雜地形時(shí)，能夠展現(xiàn)出符合物理邏輯的運(yùn)動(dòng)行為，沉浸感及可控性進(jìn)一步增加。

而為了實(shí)現(xiàn)這些升級(jí)，昆侖萬維主要從數(shù)據(jù)和架構(gòu)兩方面對(duì)Matrix-Game 2.0進(jìn)行了優(yōu)化。

第一，為了應(yīng)對(duì)現(xiàn)有交互式世界模型普遍面臨的數(shù)據(jù)瓶頸。他們?yōu)槟Ｐ蜆?gòu)建了基于Unreal Engine和GTA 5的可擴(kuò)展數(shù)據(jù)生產(chǎn)管線，生產(chǎn)約1350小時(shí)高質(zhì)量交互式視頻數(shù)據(jù)，提供豐富動(dòng)作覆蓋。

第二，針對(duì)實(shí)時(shí)性不足的痛點(diǎn)，他們?cè)?.3B小模型基礎(chǔ)上設(shè)計(jì)了動(dòng)作條件控制模塊，支持幀級(jí)鍵盤與鼠標(biāo)交互輸入。

第三，面對(duì)生成序列較短的挑戰(zhàn)，他們采用少步長自回歸擴(kuò)散模型實(shí)現(xiàn)實(shí)時(shí)長序列視頻生成，在單個(gè)GPU上可達(dá)25 FPS的生成速度。

與此同時(shí)，昆侖萬維也在同一天發(fā)布并開源了3D場(chǎng)景生成大模型——Matrix-3D。

作為一個(gè)融合全景視頻生成與三維重建的統(tǒng)一框架，它從單圖像出發(fā)，能夠生成高質(zhì)量、軌跡一致的全景視頻，并能直接還原可漫游的三維空間。對(duì)標(biāo)李飛飛World Labs的生成效果，還能實(shí)現(xiàn)更大范圍的探索空間。

p.s.量子位另有一篇文章對(duì)昆侖萬維Matrix-3D進(jìn)行了詳細(xì)介紹~

結(jié)合以上兩種模型，昆侖萬維可以說成功打破了世界模型在內(nèi)容生成與交互之間的壁壘。

這也意味著，他們已經(jīng)為游戲引擎、元宇宙、具身智能、自動(dòng)駕駛等多個(gè)領(lǐng)域構(gòu)建起了強(qiáng)有力的技術(shù)基座。

用上新框架，生圖/編輯統(tǒng)統(tǒng)SOTA

進(jìn)入第三天，昆侖萬維盯上了今年頗火的統(tǒng)一多模態(tài)——

正式開源Skywork UniPic 2.0模型，作為面向統(tǒng)一多模態(tài)建模的高效訓(xùn)練和推理框架，能夠?qū)崿F(xiàn)一個(gè)模型搞定圖像理解、生成以及編輯。

過去業(yè)界為了實(shí)現(xiàn)這一目標(biāo)，通常信奉“大力出奇跡”那一套，想讓模型更強(qiáng)，就加參數(shù)、加顯卡、加算力。

但昆侖萬維用新框架證明，優(yōu)化訓(xùn)練策略可以替代單純的模型擴(kuò)張，從而降低高性能圖像生成/編輯模型的訓(xùn)練成本和硬件門檻。

具體來說，通過改進(jìn)SD3.5-Medium架構(gòu)以及應(yīng)用“獨(dú)門秘笈”（漸進(jìn)式雙任務(wù)強(qiáng)化策略），最終使一個(gè)僅2B大小的模型在圖像生成和編輯性能上超越了BAGEL（7B）和Flux-Kontext（12B），成功“以小博大”。

緊接著，當(dāng)把這個(gè)2B模型與Qwen2.5-VL-7B聯(lián)合訓(xùn)練之后，所得到的統(tǒng)一多模態(tài)模型UniPic2-Metaquery直接刷新了理解、生成、編輯等多項(xiàng)任務(wù)的SOTA紀(jì)錄。

總而言之，Skywork UniPic 2.0的出現(xiàn)代表了統(tǒng)一多模態(tài)領(lǐng)域的一種全新訓(xùn)練范式。

天工超級(jí)智能體核心引擎又又又升級(jí)了

至此，昆侖萬維前三天的發(fā)布可謂樣樣火熱，但這還沒完。

今年火到不能再火的Agent，這就接著上桌——

正式發(fā)布Skywork Deep Research Agent v2，作為天工超級(jí)智能體的核心引擎，它為平臺(tái)用戶產(chǎn)出了大量信息密度極高的優(yōu)質(zhì)文檔、PPT、表格以及其他交付物。

這次的升級(jí)也主要體現(xiàn)在多模態(tài)上，具體有三點(diǎn)：

①推出“多模態(tài)深度調(diào)研”Agent，首次整合多模態(tài)檢索、理解和生成。
②推出“多模態(tài)深度瀏覽器智能體”，重塑社媒內(nèi)容分析與數(shù)據(jù)洞察。
③加強(qiáng)深度信息搜索和復(fù)雜任務(wù)執(zhí)行能力，在多個(gè)任務(wù)測(cè)評(píng)集上取得SOTA。

先來看一個(gè)用“多模態(tài)深度調(diào)研”Agent搞研究的例子（該功能已全面上線天工平臺(tái)）。

亮點(diǎn)1：智能體在檢索信息的過程中，會(huì)自動(dòng)瀏覽并分析理解重要的圖片（以前依賴于純文本）。

亮點(diǎn)2：在對(duì)圖片做了收集和理解之后，智能體在生成文檔時(shí)，會(huì)在合適位置插入高質(zhì)量圖片，直接傳達(dá)信息，降低讀者理解難度。

亮點(diǎn)3：智能體也可能對(duì)圖片信息進(jìn)行整合加工，以流暢的方式變成文字或者新的圖表。

另一個(gè)“多模態(tài)深度瀏覽器智能體”目前仍處于內(nèi)測(cè)和邀測(cè)階段，官方計(jì)劃不久之后全面開放。

和之前的瀏覽器相比，它也不再局限于文本，而是能夠深入分析社交媒體（尤其是小紅書、推特以及Instagram等平臺(tái)）的圖片、視頻等內(nèi)容。

現(xiàn)在，吃瓜和追星的姿態(tài)已經(jīng)大變樣了~

吃瓜ing：
結(jié)合近期社交媒體上的時(shí)間線和熱點(diǎn)討論內(nèi)容進(jìn)行分析，為我們生成一個(gè)「梳理年輪爭議」的網(wǎng)頁。

追星ing：
幫我們快速整理Instagram上周杰倫的近況，并且為粉絲后援會(huì)做一個(gè)共享信息的應(yīng)援網(wǎng)站。

從技術(shù)角度而言，新版本Skywork Deep Research的成功主要靠以下核心手段：

（1）高質(zhì)量數(shù)據(jù)合成及訓(xùn)練

提出端到端深度信息問題合成流程，明確高質(zhì)量搜索問題的五大標(biāo)準(zhǔn)（多樣性、正確性、唯一性、可驗(yàn)證性、挑戰(zhàn)性），并通過“種子實(shí)體篩選—端到端問題構(gòu)造—迭代式問題增強(qiáng)”三階段方法，系統(tǒng)生成高難度、多步推理問題集。

（2）端到端強(qiáng)化學(xué)習(xí)

基于非對(duì)稱驗(yàn)證原則構(gòu)建大規(guī)模高質(zhì)量訓(xùn)練數(shù)據(jù)，采用GRPO算法與動(dòng)態(tài)課程學(xué)習(xí)機(jī)制，確保訓(xùn)練樣本始終處于適宜難度區(qū)間；引入生成式密集獎(jiǎng)勵(lì)模型，將終點(diǎn)獎(jiǎng)勵(lì)細(xì)化為過程獎(jiǎng)勵(lì)，提升學(xué)習(xí)效率與魯棒性。

（3）高效的并行推理

研發(fā)并行思考（Parallel Think）機(jī)制，在每步推理生成多個(gè)候選路徑并篩選最優(yōu)；引入長文本生成式結(jié)果驗(yàn)證與錦標(biāo)賽排序，提升推理準(zhǔn)確率與泛化能力；采用熵自適應(yīng)剪枝，僅在高不確定性節(jié)點(diǎn)進(jìn)行多路徑推理，兼顧性能與計(jì)算效率。

（4）多智能體演進(jìn)Agent

構(gòu)建MCP Manager Agent，實(shí)現(xiàn)工具的生成—驗(yàn)證—持久化—復(fù)用閉環(huán)管理；通過協(xié)同多智能體框架，將不同Agent模型能力與MCP工具能力深度融合，并支持動(dòng)態(tài)創(chuàng)建與管理工具，顯著增強(qiáng)任務(wù)處理能力與環(huán)境適應(yīng)性。

更懂中文歌曲的音樂模型

幾個(gè)大熱方向逐一突破后，最后一天，昆侖萬維來了一波強(qiáng)勢(shì)回歸——音樂模型。

正式上線Mureka V7.5模型，使中文歌曲演繹再上新臺(tái)階：

• 中文歌曲音色、演奏技法提升
• 中文歌曲咬字與情感表現(xiàn)提升

前者通過深入理解中文音樂的多樣性和文化特性，模型能更精準(zhǔn)地傳達(dá)中文音樂的藝術(shù)神韻和情感；后者通過優(yōu)化的ASR技術(shù)提升了人聲的真實(shí)性和情感深度，使AI演唱更自然，尤其在中文歌曲的韻律和氣息處理上效果顯著。

話不多說，直接來看它和國外頂尖音樂生成模型Suno v4.5（Suno最新版）的對(duì)比：

僅從提示詞（搖滾、雨、愛與自由）來聽，Mureka V7.5明顯更具搖滾味兒，更符合提示詞。

此外，更多測(cè)評(píng)結(jié)果表明，不論是音樂性還是文本控制準(zhǔn)確性，Mureka V7.5均領(lǐng)先同類音樂模型。

同一時(shí)間，昆侖萬維語音團(tuán)隊(duì)還推出了首個(gè)基于MoE的角色描述語音合成框架——MoE-TTS。

作為面向開放描述（Out-of-domain Descriptions）場(chǎng)景的全新框架，它能讓用戶通過自然語言描述（例如“清澈的少年音帶磁性尾韻”）精準(zhǔn)控制聲音特征與風(fēng)格。

在僅使用開源數(shù)據(jù)的條件下，對(duì)標(biāo)甚至超越閉源商業(yè)產(chǎn)品的角色貼合度表現(xiàn)。

下圖顯示，在涵蓋域內(nèi)與域外描述的雙測(cè)試集上，MoE-TTS與主流閉源TTS模型相比，在風(fēng)格表現(xiàn)力貼合度（SEA）和整體貼合度（OA）等聲學(xué)控制上精準(zhǔn)度領(lǐng)先，這也正是其在復(fù)雜描述匹配度上勝出的關(guān)鍵。

昆侖萬維：持續(xù)在AI核心技術(shù)領(lǐng)域投入

至此小結(jié)一下昆侖萬維技術(shù)周，不難發(fā)現(xiàn)這樣幾個(gè)特征：

①多模態(tài)能力全面拉滿：從文本到語音/視頻/圖像等，各項(xiàng)技術(shù)都在往多模態(tài)方向延伸。
②垂直領(lǐng)域深耕：面對(duì)高頻應(yīng)用場(chǎng)景，模型一再快速刷新各領(lǐng)域SOTA。
③開源驅(qū)動(dòng)生態(tài)：多款SOTA模型開放權(quán)重與代碼，推動(dòng)行業(yè)迭代。

結(jié)合昆侖萬維在AI方面的布局，不得不說如今的成就并非偶然，而是其精心布局與持續(xù)投入的必然結(jié)果。

那么，這背后究竟是一盤怎樣的大棋呢？梳理下來核心在于三方面。

首先是戰(zhàn)略定力。

早在ChatGPT卷起這輪AI浪潮的2023年初，昆侖萬維就從頂層設(shè)計(jì)上率先確立了“All in AGI與AIGC”的戰(zhàn)略。

這一前瞻性的戰(zhàn)略決策，不僅體現(xiàn)了公司對(duì)AI未來發(fā)展的深刻洞察，也為昆侖萬維在AI領(lǐng)域持續(xù)深耕奠定了堅(jiān)實(shí)基礎(chǔ)。

受此戰(zhàn)略指引，過去三年他們?cè)谝曈X多模態(tài)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等核心技術(shù)領(lǐng)域持續(xù)投入，在AI上傾注了實(shí)打?qū)嵉娜肆Α⑽锪?、?cái)力。

這一點(diǎn)可以通過昆侖萬維2024以及2025年一季度財(cái)報(bào)體現(xiàn)：

• 研發(fā)投入節(jié)節(jié)高：2024全年研發(fā)費(fèi)用為15.4億元，同比增長59.5%，占總營收比重的27%以上。今年一季度研發(fā)費(fèi)用為4.3億元，同比增長23%，約占營收的26%。
• 研發(fā)人員在國內(nèi)AI企業(yè)中躋身前列：2024年其研發(fā)團(tuán)隊(duì)達(dá)到1554人，占總?cè)藬?shù)的73.41%。

如此重押之下，昆侖萬維也先后推出了多項(xiàng)重磅產(chǎn)品與平臺(tái)——包括天工超級(jí)智能體（Skywork Super Agents）、AI音樂創(chuàng)作平臺(tái)Mureka、AI短劇平臺(tái)SkyReels、AI社交產(chǎn)品Linky等，形成了“AI前沿基礎(chǔ)研究——基座模型——AI矩陣產(chǎn)品/應(yīng)用”的全棧式AI產(chǎn)業(yè)鏈。

當(dāng)然，這些產(chǎn)品的選擇，實(shí)際上也揭示了昆侖萬維的另一個(gè)關(guān)鍵策略：

技術(shù)上全面開花，應(yīng)用上卻狠狠瞄準(zhǔn)垂直領(lǐng)域。

在WAIC 2025大會(huì)上，昆侖萬維董事長兼CEO方漢提出了一個(gè)與眾不同的觀點(diǎn)。在行業(yè)普遍追逐“超級(jí)應(yīng)用”和通用Agent的熱潮中，他認(rèn)為通用Agent在邏輯上不成立，垂直領(lǐng)域的深度優(yōu)化才是未來。

絕大多數(shù)行業(yè)，數(shù)據(jù)雖多，卻缺乏揭示“如何做”的過程記錄。因此，通用大模型無法在所有行業(yè)都達(dá)到理想的智能水平，這為深耕特定行業(yè)的垂直Agent留下了巨大的發(fā)展空間。

而且從全球大模型調(diào)用數(shù)據(jù)來看，他認(rèn)為只有那些能夠融入用戶日常工作流、被高頻使用的應(yīng)用，才能產(chǎn)生巨大的商業(yè)價(jià)值和用戶粘性。

這些都為昆侖萬維的AI應(yīng)用落地指明了方向——垂直領(lǐng)域+高頻應(yīng)用場(chǎng)景。

△圖源：昆侖萬維公眾號(hào)

當(dāng)完成從技術(shù)→應(yīng)用落地的關(guān)鍵一環(huán)后，昆侖萬維最后用開源補(bǔ)齊了整個(gè)鏈條。相比一些同行選擇閉源，昆侖萬維在多個(gè)關(guān)鍵節(jié)點(diǎn)堅(jiān)持開源，持續(xù)貢獻(xiàn)高質(zhì)量模型和工具。

在業(yè)內(nèi)，這不僅幫助公司建立起技術(shù)話語權(quán)，也在吸引更多開發(fā)者、合作伙伴加入，從而形成“技術(shù)—社區(qū)—應(yīng)用”的正向循環(huán)。事實(shí)也證明，該公司已經(jīng)憑借開源成果入選“中國AI開源16強(qiáng)”，生態(tài)地位正在穩(wěn)步提升。

綜上所述，能夠看到的是，昆侖萬維正在加速推進(jìn)其AI戰(zhàn)略，并展現(xiàn)出強(qiáng)大的技術(shù)實(shí)力和商業(yè)潛力。作為國內(nèi)AI企業(yè)第一梯隊(duì)成員，其后續(xù)發(fā)展無疑值得資本關(guān)注。

可以說，技術(shù)周的落幕并非終點(diǎn)，而是昆侖萬維AI征程新的起點(diǎn)。