國內(nèi)首個音樂版「ChatGPT」來了！Sora同款架構(gòu)，唱作技巧全面發(fā)展，還劇透了全新MoE大模型

魚羊 2024-04-03 13:34:16 來源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

AI音樂大模型最近有多火，不用多介紹了吧？（doge）

不過，海外版應用別的先不說，奇奇怪怪的中文AI發(fā)音就能把人難受死……

好在卷應用嘛，國產(chǎn)大模型廠商沒在怕的，這不，國產(chǎn)版音樂“ChatGPT”這就來了~

話不多說，先聽效果：

這情感表現(xiàn)力，是有那么點競爭短視頻神曲的潛質(zhì)了。

如此作品，背后作者正是剛剛開放邀測的國產(chǎn)AI音樂生成大模型「天工SkyMusic」。

4月2日，昆侖萬維官宣，「天工SkyMusic」基于昆侖萬維「天工3.0」超級大模型打造，即日起面向社會開啟免費邀測。

本輪測試已開放1000個免費名額，面向行業(yè)媒體、專家，以及感興趣的音樂從業(yè)者開放。

據(jù)官方消息稱，昆侖萬維「天工SkyMusic」首日預約申請已有幾十萬。

「天工SkyMusic」也是目前國內(nèi)唯一公開可用的AI音樂生成大模型。

昆侖萬維工程師透露，「天工SkyMusic」是昆侖萬維情感AGI研究方向上的重要成果：

智力固然重要，但情感是我們能夠被稱之為人的關(guān)鍵。

我們發(fā)現(xiàn)相比文本和圖片，音頻內(nèi)容是理解人類情感最好的方式，而音樂又是人類情感表達最充沛、最不受地域和文化限制的內(nèi)容載體。

采用自研類Sora模型架構(gòu)

來看具體技術(shù)細節(jié)。

「天工SkyMusic」采用音樂音頻領(lǐng)域類Sora模型架構(gòu)：

Large-scale Transformer 負責譜曲，來學習 Music Patches 的上下文依賴關(guān)系，同時完成音樂可控性；

Diffusion Transformer 負責演唱，通過LDM讓Music Patches被還原成高質(zhì)量音頻，使得「天工SkyMusic」能夠支持生成80秒44100Hz 采樣率雙聲道立體聲歌曲。

這套模型架構(gòu)在處理視頻、音頻和音樂領(lǐng)域效果極佳。昆侖萬維團隊還計劃在后續(xù)逐步迭代和添加新的能力，讓模型具備多模態(tài)的情感理解與表達能力。

「天工SkyMusic」具有以下五大特點：

• 高質(zhì)量AI音樂

「天工SkyMusic」能夠生成80秒44100Hz采樣率雙聲道立體聲AI歌曲，并可根據(jù)用戶輸入的歌詞風格生成對應歌曲風格。

• 人聲以假亂真

人聲合成是AI音樂生成中最重要、最能體現(xiàn)生成效果和品質(zhì)的維度?！柑旃kyMusic」的AI人聲合成能夠達到業(yè)內(nèi)頂尖的SOTA水平，尤其是中文發(fā)音清晰、無異響，演唱效果顯著好于國外產(chǎn)品。

• 歌詞段落控制

「天工SkyMusic」能夠通過歌詞來控制歌曲，讓生成的歌曲可以明確分辨出不同歌詞段落的情緒變化，體現(xiàn)出主歌和副歌、前奏和主歌的段落差異。

• 多種音樂風格

「天工SkyMusic」支持說唱、民謠、放克、古風、電子等多種音樂風格，用戶在創(chuàng)作音樂時，可以通過參考音頻制定想要的音樂風格。

• 音樂智能表達：歌唱技巧學習

「天工SkyMusic」同時能夠?qū)W習如顫音、歌劇、吟唱、男女對唱，自動和聲等多種歌唱技巧，讓用戶創(chuàng)作的歌曲得到更恰當?shù)那楦斜磉_。

基于「天工3.0」大模型打造

在「天工SkyMusic」背后，有一點值得關(guān)注的是，昆侖萬維同時劇透了自家MoE大模型「天工3.0」的最新信息：

4月17日，「天工3.0」將正式開啟公測，并同步開源。

「天工3.0」是4000億級參數(shù)MoE混合專家模型，是全球模型參數(shù)最大、性能最強的MoE模型之一。

官方表示，相較于上一代「天工2.0」MoE大模型，「天工3.0」在模型語義理解、邏輯推理、以及通用性、泛化性、不確定性知識、學習能力等領(lǐng)域都擁有顯著的性能提升，其模型技術(shù)知識能力提升超過20%，數(shù)學/推理/代碼/文創(chuàng)能力提升超過30%。

同時，「天工3.0」新增了搜索增強、研究模式、調(diào)用代碼及繪制圖表、多次調(diào)用聯(lián)網(wǎng)搜索等能力，并針對性地訓練了模型的Agent能力，使得「天工3.0」能夠獨立完成規(guī)劃、調(diào)用、組合外部工具及信息，以精準高效地完成產(chǎn)業(yè)分析、產(chǎn)品對比等各類復雜需求。

「天工3.0」也是全球首個多模態(tài)“超級模型”（Super Model），集成了AI搜索、AI寫作、AI長文本閱讀、AI對話、AI語音合成、AI圖片生成、AI漫畫創(chuàng)作、AI圖片識別、AI音樂生成、AI代碼寫作、AI表格生成等多項能力，堪稱大模型時代的“超級應用”。

更多劇透，我們分成四個方面來看：

邏輯推理能力更強

邏輯推理能力的提升對于大模型解決復雜問題至關(guān)重要，「天工3.0」的數(shù)學與推理能力均提升超過30%，強大的邏輯推理能力使其能夠在實際應用中更加準確和高效地處理信息。

例如，在「天工3.0」AI搜索的研究模式中，模型能夠圍繞用戶的某個簡單指令進行相關(guān)問題的延伸，并實時判斷該段落信息是否需要聯(lián)網(wǎng)搜索，能夠?qū)崿F(xiàn)如對某個行業(yè)進行細致的拆解分析，總結(jié)相關(guān)事件、拆解產(chǎn)業(yè)鏈地圖等復雜功能，并以結(jié)構(gòu)化或思維導圖的形式進行最終展示，讓模型更“聰明”。

語義理解能力更強

「天工3.0」能夠更好地理解和處理用戶自然語言Query中的復雜語義信息，包括隱喻、多義詞等。

例如，在「天工3.0」AI搜索的增強搜索中，模型能夠針對用戶的復雜Query進行拆解、細化、并進行追問、信息理解與補全，使其在自然語義理解方面性能更強，面對不確定性知識時表現(xiàn)更好，能夠更精準、高效地滿足用戶需求。

專項Agent訓練，應對復雜需求能力更強

大模型時代，AI Agent（智能體）已經(jīng)成為大模型技術(shù)的主流落地方向。

「天工3.0」針對模型獨立規(guī)劃、調(diào)用、組合外部工具及信息的能力進行了專項訓練，使其能夠獨立生成并調(diào)用代碼，完成包括產(chǎn)業(yè)研究、產(chǎn)品橫評、信息分析、圖片生成、圖表繪制等多種復雜用戶需求，并成為具備多個領(lǐng)域?qū)I(yè)知識和能力的全能專家，以強大的語義理解及邏輯推理能力對用戶需求進行深度理解，并把任務拆解成細分環(huán)節(jié)，發(fā)到不同的最優(yōu)模型去處理，最大程度提升模型性能。

同時，針對B端用戶，「天工3.0」也在知識庫能力、任意工具調(diào)用能力、復雜角色指令追尋能力等領(lǐng)域進行了全面升級，企業(yè)用戶可以通過上傳知識文檔構(gòu)建專屬知識庫及Agent，并實現(xiàn)自動調(diào)用制定工具、完成復雜指令遵循Agent構(gòu)建等實用能力。

內(nèi)容創(chuàng)作能力全面升級

內(nèi)容創(chuàng)作能力一直是「天工」系列大模型的強項，在上一代「天工2.0」大模型的基礎(chǔ)上，「天工3.0」更是進行了全面的內(nèi)容創(chuàng)作能力升級，其不僅能實現(xiàn)AI音樂生成、AI語音、AI對話、AI二次元漫畫生成等強大的內(nèi)容創(chuàng)作能力，更是通過專項Agent訓練實現(xiàn)了在對話中結(jié)合文本需求實時生成圖片、結(jié)合文本需求實時內(nèi)容分析及圖表構(gòu)建等能力，成為真正能搜、能寫、能讀、能聊、能聽、能說、能畫、能看、能唱的超級模型。

昆侖萬維董事長兼CEO方漢對此表示，“超級模型”是大模型時代發(fā)展的必然，未來，行業(yè)內(nèi)將出現(xiàn)不止一個“超級模型”，昆侖萬維也將持續(xù)朝著這一方向不斷努力，持續(xù)為用戶提供更智能、更高效、更可靠的人工智能服務。

All in AGI與AIGC

自2023年確定“All in AGI 和 AIGC”戰(zhàn)略后，在AIGC應用領(lǐng)域，昆侖萬維已圍繞自研「天工」系列大模型，推出了一系列前沿AI產(chǎn)品：

2023年8月，昆侖萬維推出國內(nèi)第一款AI搜索產(chǎn)品天工AI搜索。

9月，昆侖萬維推出多模態(tài)大模型Skywork-MM，在多模態(tài)大語言模型測評MME中綜合得分排名第一。

10月，昆侖萬維開源百億級大語言模型天工Skywork-13B系列。

12月，昆侖萬維發(fā)布國內(nèi)領(lǐng)先的AI Agent開發(fā)平臺天工SkyAgents。

2024年2月，天工基座大模型更是迎來了推出以來的最大版本更新天工2.0，成為國內(nèi)首個搭載MoE架構(gòu)并面向全體C端用戶免費開放的千億級參數(shù)大語言模型AI應用。

再加上最新亮相的天工SkyMusic，基于天工系列大模型，昆侖萬維已構(gòu)建起AI大模型、AI搜索、AI音樂、AI 社交、AI動漫、AI游戲等AI業(yè)務矩陣，是國內(nèi)模型技術(shù)與工程能力最強、布局最全面的人工智能企業(yè)之一。

這樣的成績單之下，此番「天工3.0」究竟會帶來怎樣的體驗，值得期待。

我們也將第一時間測評體驗，你有什么想測試的，不妨在評論區(qū)告訴我們~

— 完 —