直播網(wǎng)友AI寫歌征婚，實(shí)測(cè)最新登榜音樂SOTA模型：免費(fèi)無(wú)限次，一鍵生成

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

繼Suno、Udio帶火AI音樂生成大模型之后，第一個(gè)國(guó)產(chǎn)“音樂版Sora”，終于來(lái)了！

話不多說(shuō)，直接“開箱”聽效果，看看到底怎么事。

我們開始就上一下難度，讓它根據(jù)《高速運(yùn)轉(zhuǎn)的機(jī)械》這個(gè)網(wǎng)絡(luò)段子來(lái)做首個(gè)歌。

這個(gè)任務(wù)的難度在于，所有的文字并非是歌詞那般押韻、工整，并且邏輯也比較混亂。

AI先是采用男聲Rap的方式把氣場(chǎng)打開，中間還夾帶了一小段方言，最后女聲演唱部分的音樂也是頗有“黃龍江一派”的氣勢(shì)。

嗯，熟悉的畫面這不就來(lái)了。

若是讓它爆改一下文字較為工整的古詩(shī)詞，AI又該如何接招？

有請(qǐng)李清照的《聲聲慢》：

這段音樂整體是現(xiàn)代風(fēng)格，先是有一段男聲Rap，咬字和節(jié)奏感上依舊是比較過關(guān)。

但最令人意想不到的是，在第23秒的時(shí)候，AI直接來(lái)了個(gè)峰回路轉(zhuǎn)，直接“殺”進(jìn)了女聲，音樂的情緒也放慢了下來(lái)，頗有“怎一個(gè)愁字了得”的意味。

當(dāng)然，用粵語(yǔ)、英語(yǔ)演唱抒情歌曲，這個(gè)AI也是不在話下，甚至連顫音、和聲、和弦都能生成得惟妙惟肖：

而已經(jīng)體驗(yàn)過Suno等產(chǎn)品的小伙伴可以聽出來(lái)，這個(gè)AI在處理中文的時(shí)候是拿捏得比較自然的。

那么這個(gè)國(guó)產(chǎn)“音樂版Sora”，到底是什么來(lái)頭？

不賣關(guān)子，它就是由昆侖萬(wàn)維在4月17日正式發(fā)布的天工SkyMusic，劃重點(diǎn)：

完全免費(fèi)，無(wú)次數(shù)限制！

效果聽起來(lái)還算不錯(cuò)，那么操作上是否會(huì)很麻煩呢？不，巨簡(jiǎn)單。

簡(jiǎn)單2步就能做首歌

目前，SkyMusic已經(jīng)集成到了手機(jī)上的天工APP，入口就在主頁(yè)頂部的“音樂”一欄中。

要想生成剛才那樣的音樂，只需點(diǎn)擊“開始寫歌”就可以了。

在接下來(lái)的界面中，正如上文所言，你只要執(zhí)行2個(gè)操作即可：

• 填寫歌詞（300字內(nèi)）
• 選擇參考曲目

如果在寫歌詞的過程中沒有靈感，你還可以通過“AI寫詞”的功能讓大模型給你幫忙哦~

最后，點(diǎn)擊底部的“生成歌曲”按鈕，大約1到2分鐘左右（親測(cè)），就會(huì)出結(jié)果了。

而且還不是只有1首，是直接給到3個(gè)完全不同的版本！

除此之外，在天工APP“音樂”欄目的下方，也有展示用戶篩出來(lái)的AI作品。

如果你在聽完某首歌曲之后覺得效果不錯(cuò)，也想嘗試生成類似風(fēng)格的音樂，可以點(diǎn)擊旁邊的“做同款”按鈕，只需填寫歌詞就能再生成一首不一樣的歌曲了。

從目前的結(jié)果來(lái)看，天工SkyMusic可以支持生成80秒左右時(shí)長(zhǎng)的歌曲；不過一個(gè)好消息是，昆侖萬(wàn)維表示馬上就會(huì)開放3分鐘版本了~

而也正如剛才所言，天工SkyMusic是國(guó)內(nèi)首個(gè)“音樂版Sora”，并且也取得了不錯(cuò)的效果。

如此又快又穩(wěn)，昆侖萬(wàn)維又是如何做到的呢？

全球首個(gè)公開的技術(shù)路線

在AI生成音樂這件事上，即使是像Suno、Udio這樣掀起熱潮的玩家，也同Sora一樣，并沒有公開其背后的技術(shù)細(xì)節(jié)內(nèi)容。

但值得一提的是，昆侖萬(wàn)維此次不僅是把AI生成音樂的產(chǎn)品給發(fā)布出來(lái)這么簡(jiǎn)單，更是做到了在技術(shù)上的“全球首家公開”。

在聊SkyMusic關(guān)鍵技術(shù)之前，我們需要了解的是，AI音樂生成從技術(shù)角度來(lái)看，可以分為兩大流派：

• 符號(hào)音樂生成路線
• 大模型音樂音頻生成路線

符號(hào)音樂生成比較典型的技術(shù)就是MIDI（Musical Instrument Digital Interface，樂器數(shù)字接口），通常需要先對(duì)大量的樂譜做標(biāo)注的工作，再對(duì)模型進(jìn)行訓(xùn)練。

其結(jié)果最后得到是樂譜，而并非是真正意義上的音樂，還需要其它的工具來(lái)對(duì)樂譜做“善后”的工作。

雖然此前學(xué)術(shù)界也嘗試了在MIDI這樣的技術(shù)基礎(chǔ)上，后期加入人聲、樂器、旋律、音色等元素，但所得到的結(jié)果并不是非常理想。

而天工SkyMusic選擇的大模型音樂音頻生成，則是與之截然相反的技術(shù)路線——

是通過直接地學(xué)習(xí)來(lái)生成音頻波形，并做到把樂器、人聲、旋律、音量、音符等等元素都“一鍋出”。但這條路線需要大量的研發(fā)投入和資金支持，讓大多數(shù)人望而卻步。即使強(qiáng)如Google、Meta等科技巨頭，目前也沒有發(fā)布在這條路線上的突破性成果。

同時(shí)，這條路線又分為Song、BGM、Speach三個(gè)細(xì)分領(lǐng)域；由于行業(yè)內(nèi)普遍都在研究無(wú)人聲的BGM領(lǐng)域，導(dǎo)致行業(yè)內(nèi)對(duì)有人聲的Song領(lǐng)域近乎沒有很好的解決方案，更沒有開源的方案可借鑒。

也正因如此，音樂屆的“Sora時(shí)刻”才會(huì)來(lái)得比圖像和視頻更晚一些。

為了解決這兩個(gè)老大難的問題，昆侖萬(wàn)維自研出一套架構(gòu)來(lái)解決，它主要由Encoder、DiT和Decoder三個(gè)模塊組成

具體而言，其采用的架構(gòu)可視為音樂音頻領(lǐng)域的類Sora模型：

• Large-scale Transformer：負(fù)責(zé)譜曲，來(lái)學(xué)習(xí)Music Patches的上下文依賴關(guān)系，同時(shí)完成音樂可控性；
• Diffusion Transformer：負(fù)責(zé)演唱，通過LDM讓Music Patches被還原成高質(zhì)量音頻。

這也是天工SkyMusic能夠支持生成80秒44100Hz采樣率雙聲道立體聲歌曲的關(guān)鍵所在。

在我們與昆侖萬(wàn)維的交流中，研究人員進(jìn)一步表示：

我們目前還不能公開所有細(xì)節(jié)的技術(shù)參數(shù)，但這個(gè)技術(shù)架構(gòu)是我們做了無(wú)數(shù)次研發(fā)實(shí)驗(yàn)算力算法投入，最終探索出來(lái)效果最好的方案。

公開就意味著我們把“坑”提前替產(chǎn)業(yè)踩了，給到產(chǎn)業(yè)一個(gè)可復(fù)現(xiàn)的方案。

從效果中來(lái)看，天工SkyMusic在音樂中的咬字（尤其是中文）、情緒、技巧等元素的效果也是達(dá)標(biāo)的。

昆侖萬(wàn)維董事長(zhǎng)兼CEO方漢和量子位CEO孟鴻在昨天的對(duì)話直播中，便現(xiàn)場(chǎng)展示了比較有意思的幾個(gè)曲子。

例如把《道德經(jīng)》和寶媽一天的“吐槽”喂給天工SkyMusic，它生成的音樂是這樣的：

再如一位老人給孫女以征婚啟事為主題生成的歌，和吐槽購(gòu)物“買買買”的歌：

嗯，確實(shí)有點(diǎn)意思。

而天工SkyMusic的優(yōu)異表現(xiàn)，源自他背后優(yōu)異的底座大模型——天工3.0。

天工3.0已經(jīng)發(fā)布，直接拿下兩個(gè)業(yè)界之最：

• 最大規(guī)模：4000億參數(shù)的開源MoE大模型
• 國(guó)內(nèi)第一：中國(guó)首個(gè)音樂AIGC SOTA（State of the arts，領(lǐng)域內(nèi)最高水準(zhǔn)）

先來(lái)看下天工3.0大模型在全球權(quán)威多模態(tài)性能測(cè)試基準(zhǔn)MMBench上的評(píng)分：

在全球權(quán)威多模態(tài)性能測(cè)試MMBench和MMBench-CN的評(píng)估中，天工3.0不僅在A屬性推理、關(guān)系推理、細(xì)粒度感知-交叉實(shí)例、粗略感知四項(xiàng)性能拿下第一，綜合評(píng)分更超越GPT-4V、Gemini Pro等知名文本大模型。

同時(shí)昆侖萬(wàn)維還將將天工3.0“上架”自家的天工APP。

效果怎么樣？一言蔽之：

• 更聰明：技術(shù)知識(shí)能力提升20%，數(shù)學(xué)/推理/代碼/文創(chuàng)能力提升30%
• 更獨(dú)立：獨(dú)立規(guī)劃、調(diào)用、組合外部工具及整合信息來(lái)完成復(fù)雜需求
• 更全能：提升了專項(xiàng)Agent應(yīng)對(duì)復(fù)雜需求的能力
• 多才多藝：內(nèi)容創(chuàng)作能力全面升級(jí)，包括搜、寫、讀、聊、說(shuō)、畫、聽、唱

例如“弱智吧Benchmark”難不倒天工大模型：

在AI搜索方面，天工3.0APP在調(diào)用能力上做了增強(qiáng)，甚至在“研究”模式下還能自動(dòng)生成大綱、圖譜、思維導(dǎo)圖等內(nèi)容。

以搜索“AIGC產(chǎn)業(yè)發(fā)展”為例，現(xiàn)在的打開方式可以是這樣的：

在大火的Agent技術(shù)方面，天工3.0也專門開設(shè)了“智能體”廣場(chǎng)，用戶可以自行構(gòu)建專屬的超強(qiáng)AI智能體，也可以在廣場(chǎng)中pick自己想要的那一個(gè)。

以工作、生活都比較常用到的“擴(kuò)圖”為例，只需要丟給它一張圖并提出要求，智能體就能生成4種不同的擴(kuò)圖效果。

總而言之，現(xiàn)在的天工3.0整體體驗(yàn)的最直觀感受就是面面俱到，最前沿、最fashion的技術(shù)和應(yīng)用統(tǒng)統(tǒng)都可以擁有。

最后，對(duì)于國(guó)內(nèi)首發(fā)“音樂版Sora”這事，還有個(gè)話題值得聊一聊：

為什么是昆侖萬(wàn)維？

自從Sora問世引爆全球AIGC大熱潮以來(lái)，昆侖萬(wàn)維絕對(duì)稱得上是眾多入局百模大戰(zhàn)選手中的黑馬。

此前，或許很多人對(duì)于昆侖萬(wàn)維的印象還停留在“游戲”、“出?！?，但現(xiàn)在，“AIGC”已然成為它最鮮明的標(biāo)簽。

深入探究昆侖萬(wàn)維在AIGC領(lǐng)域的發(fā)展歷程，我們可以清晰地看到其迅猛的發(fā)展步伐。

就在Sora發(fā)布僅一個(gè)月后，2022年12月，昆侖萬(wàn)維便發(fā)布了自主研發(fā)的全系列AIGC算法及模型，這套模型不僅具備先進(jìn)的文本對(duì)話功能，還覆蓋了圖像生成、音樂創(chuàng)作、文本理解等多個(gè)模態(tài)領(lǐng)域。

從起步開始，昆侖萬(wàn)維就把“格局打開”，劍指多模態(tài)，而這正是今年AI產(chǎn)業(yè)最火熱的賽道之一。

2023年4月17日，昆侖萬(wàn)維正式發(fā)布其自研的千億級(jí)大語(yǔ)言模型“天工”，并于同年7月在天工APP上線。緊隨其后，8月又推出了國(guó)內(nèi)首款A(yù)I搜索產(chǎn)品——天工AI搜索，成為首批將AI大模型直接推向市場(chǎng)并服務(wù)于C端用戶的企業(yè)。

在這場(chǎng)“AI一日，人間一年”的產(chǎn)業(yè)競(jìng)賽中，昆侖萬(wàn)維并沒有安于現(xiàn)狀，而是持續(xù)死磕技術(shù)：從公開測(cè)試多模態(tài)大模型Skywork-MM，到開源百億參數(shù)級(jí)別的大語(yǔ)言模型天工Skywork-13B系列，繼而又推出天工SkyAgents平臺(tái)，并在今年2月，將國(guó)內(nèi)首個(gè)采用MoE架構(gòu)的大語(yǔ)言模型天工2.0免費(fèi)向全社會(huì)開放。

而現(xiàn)在，正值天工大模型發(fā)布一周年之際，昆侖萬(wàn)維在2個(gè)月內(nèi)將其迭代到3.0版本，再次拿下兩個(gè)業(yè)界之最。

至此，也就不難回答“為什么是昆侖萬(wàn)維”這個(gè)疑問。因?yàn)槔鋈f(wàn)維始終堅(jiān)守并踐行“All in AGI 與 AIGC”戰(zhàn)略，憑借敏銳的前瞻性和高效的行動(dòng)力，始終站在AIGC技術(shù)發(fā)展的最前沿。