AIGC基于文本生成音樂(lè)，現(xiàn)在壓力來(lái)到配樂(lè)行業(yè)這邊｜Github

衡宇 2022-10-28 12:30:32 來(lái)源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

宇航員騎馬奔馳，配什么BGM比較颯？這活交給AI試試！

輸入文本“宇航員騎大馬”，秒速生成一段1分鐘的音頻：

emmm……聽(tīng)起來(lái)好動(dòng)感！

是的沒(méi)錯(cuò)，AI可以基于文字提示生成音樂(lè)！

上面這段演示視頻，基于Deforum Stable Diffusion的Colab頁(yè)面代碼修改而來(lái)。

這只新項(xiàng)目的名字叫Mubert API，已在Github開(kāi)源，獲得1000多的標(biāo)星。

推特上也有不少人已經(jīng)用Mubert API生成音頻，來(lái)給自己的視頻配樂(lè)了。

試聽(tīng)過(guò)的友友們這樣留言：

音樂(lè)由真人譜曲、AI組曲

在演示視頻里面，這個(gè)text-to-music的AI，實(shí)際生成效果聽(tīng)起來(lái)還不錯(cuò)。

那不如來(lái)看看，Mubert API是怎么工作的吧。

大概的工作流程是這樣的：

音樂(lè)人譜曲后上傳→AI進(jìn)行風(fēng)格分類→用戶輸入文本→AI用demo組曲→生成個(gè)性化音樂(lè)

也就是說(shuō)，雖然Mubert API在進(jìn)行text-to-music的工作，但是AI負(fù)責(zé)的部分，只有兩個(gè)步驟：

分類demo + 根據(jù)提示文本組合demo成曲。

簡(jiǎn)而言之，最后生成的音樂(lè)，是由真人譜曲、AI組曲。

具體是怎么回事呢？

回到第一個(gè)步驟，音樂(lè)人們制作好demo，上傳到Mubert。

采用這種方法，而非AI學(xué)習(xí)音樂(lè)人樣本后自己生成新的音樂(lè)，是因?yàn)镸ubert有“從創(chuàng)造者到創(chuàng)造者”的理念。

目前，音樂(lè)人們上傳的超過(guò)150萬(wàn)個(gè)demo進(jìn)入Mubert API的音樂(lè)庫(kù)。

為了讓用戶們玩得開(kāi)心，Mubert買下了所有demo的版權(quán)。

在線玩耍后生成的音樂(lè)，可以免費(fèi)用來(lái)配圖或配視頻畫(huà)面。

要在各個(gè)社交平臺(tái)分享的話，務(wù)必@mubertapp并帶上#mubert話題。

但是，絕對(duì)不可以在DSP（Spotify，Apple Music，Deezer等）上面標(biāo)為原創(chuàng)發(fā)表。

至于商用，得是另外的價(jià)錢。

Demo上傳、入庫(kù)以后，AI識(shí)別音樂(lè)風(fēng)格，將它們分組歸類，以便于打標(biāo)簽。

前期工作準(zhǔn)備就緒，現(xiàn)在來(lái)說(shuō)說(shuō)具體操作流程。

用戶需要輸入一句話作為提示文本，再加幾個(gè)Mubert API標(biāo)簽。

注意，生成音樂(lè)的時(shí)長(zhǎng)可以調(diào)節(jié)，要不要進(jìn)行循環(huán)、選取哪一段開(kāi)始循環(huán)，也都可以憑你喜歡。

比如宇航員騎大馬，配的標(biāo)簽就是“空間”“薩克斯”“旅行”。

這些文本內(nèi)容會(huì)被編碼到Transformer的潛在空間向量中，然后，AI會(huì)選擇那些和提示詞及標(biāo)簽最接近的標(biāo)記向量。

也就是說(shuō)，AI經(jīng)過(guò)分析后，會(huì)選擇符合提示文本的音樂(lè)demo，把它們排列組合。

如此這般，根據(jù)文本生成的個(gè)性化音樂(lè)，出現(xiàn)了！

值得一提的是，即便輸入相同的提示文本，生成雷同音樂(lè)的可能性也比較小。

因?yàn)樗械囊魳?lè)，是在提交請(qǐng)求的時(shí)候即時(shí)生成的，而不是從已有的曲目庫(kù)中直接拿來(lái)用。

一經(jīng)開(kāi)源，網(wǎng)友們已經(jīng)玩兒開(kāi)了。

日本網(wǎng)友用來(lái)生成和風(fēng)流行音樂(lè)（但他也很疑惑，和印象里的日本音樂(lè)不咋一樣哈）。

當(dāng)然，也有人嘗試了用Mubert API給即將到來(lái)的萬(wàn)圣節(jié)增加一點(diǎn)恐怖氣氛。

也有玩家試玩過(guò)后表示，Mubert API在進(jìn)行音樂(lè)生成時(shí)，提示文本和標(biāo)簽只能提供一種音樂(lè)的氛圍，而不能直接搞搞節(jié)奏什么的。

Mubert系列

淺看了一下官網(wǎng)，除了Mubert API，Mubert系列還有另外幾個(gè)項(xiàng)目。

根據(jù)既有標(biāo)簽生成音樂(lè)的Mubert Render。

和API相比，它棋差一招，沒(méi)辦法讓用戶手動(dòng)輸入提示文本。

但玩兒的人不少，頁(yè)面上還有很多已生成音樂(lè)在推薦位上。

以及，專供音樂(lè)人們上傳自己音樂(lè)demo，賺點(diǎn)小錢錢的Mubert Studio。

（你說(shuō)說(shuō)，和API形成閉環(huán)了不是）

也不復(fù)雜，簡(jiǎn)簡(jiǎn)單單一注冊(cè)就可。

還有個(gè)叫Mubert Play的App。

你在做運(yùn)動(dòng)、放松或者冥想的時(shí)候，需要的聽(tīng)歌軟件又添一員。

有那么一點(diǎn)小遺憾，除了自行運(yùn)行開(kāi)源代碼，現(xiàn)在普通玩家還不能玩上網(wǎng)頁(yè)版。

好在創(chuàng)作團(tuán)隊(duì)在Twitter上放話：

Mubert API很快就能夠在官網(wǎng)上線！會(huì)盡快開(kāi)發(fā)一個(gè)簡(jiǎn)單易用、用戶友好的Web界面。

再等等吧！

Github地址：
https://github.com/MubertAI/Mubert-Text-to-Music

Mubert官網(wǎng)：
https://mubert.com/