大模型學(xué)會聽音樂了！風(fēng)格樂器精準(zhǔn)分析，還能剪輯合成

克雷西 2024-01-22 16:34:29 來源：量子位

騰訊PCG ARC實(shí)驗室 投稿

量子位 | 公眾號 QbitAI

能處理音樂的多模態(tài)大模型，終于出現(xiàn)了！

只見它準(zhǔn)確分析出音樂的旋律、節(jié)奏，還有使用的樂器，甚至其中的意境也能解讀。

【音樂效果請移步公眾號】

而且它不僅會聽，只要給它一段文字和圖片，它就會在理解圖片意境之后，結(jié)合文字要求來創(chuàng)作：

【音樂效果請移步公眾號】

甚至是給靜默的視頻配上聲音：

【音樂效果請移步公眾號】

現(xiàn)有的音樂它也能編輯，比如從一段音樂中去除鼓的聲音

【音樂效果請移步公眾號】

以上的這些效果，都出自騰訊PCG ARC實(shí)驗室新推出的基于多模態(tài)模型的音樂理解與生成框架M2UGen。

它可以進(jìn)行音樂理解、音樂編輯以及多模態(tài)音樂生成（文本/圖像/視頻到音樂生成）。

研究團(tuán)隊在模型的五種能力上分別和現(xiàn)有模型進(jìn)行了一一對比，并在多模態(tài)音樂生成的三個子任務(wù)上（文本/圖像/視頻到音樂生成）做了主觀評測實(shí)驗，發(fā)現(xiàn)M2UGen模型性能均優(yōu)于現(xiàn)有模型。

此外，由于沒有很多合適數(shù)據(jù)集用于模型訓(xùn)練，研究團(tuán)隊還研發(fā)了一套數(shù)據(jù)生成方法，制作了MUCaps、MUEdit、MUImage、MUVideo四個數(shù)據(jù)集并發(fā)布。

目前團(tuán)隊已將模型代碼庫在Github開源，并在Huggingface上開放了模型權(quán)重和訓(xùn)練所需數(shù)據(jù)集（需申請）。

那么，M2UGen究竟是怎樣實(shí)現(xiàn)的呢？

模型共分四個模塊

M2UGen模型分為四個模塊區(qū)域，分別是多模態(tài)特征編碼器、多模態(tài)理解適配器、橋接LLM以及音樂理解與生成模塊。

下圖展示了M2UGen模型的整體框架：

多模態(tài)特征編碼器

為了實(shí)現(xiàn)多模態(tài)音樂理解與生成，模型需要處理多模態(tài)輸入。

基于此，研究團(tuán)隊?wèi)?yīng)用了一些現(xiàn)有的模態(tài)編碼器，如音樂編碼器MERT、圖像編碼器ViT和視頻編碼器ViViT。

ViT和ViViT是視覺領(lǐng)域常用的兩個基于Transformer的編碼器，在現(xiàn)有的一些LLM相關(guān)工作中經(jīng)常涉及，因此開發(fā)者選用這兩個分別作為圖像和視頻編碼器。

對于音樂輸入，前序工作MU-LLaMA證明了MERT模型顯著優(yōu)于其他比較的音頻/音樂編碼器，因此在M2UGen中研究團(tuán)隊選用MERT作為音樂輸入的編碼器。

多模態(tài)理解適配器

該模塊的主要作用是將編碼器輸出的特征向量進(jìn)行信息整合，輸入到后續(xù)的LLM中和文本輸入一起控制LLM的輸出。

如下圖所示，該模塊主要由1D卷積層、線性映射層和一個稠密網(wǎng)絡(luò)模塊（Dense Network）組成。

最后的稠密網(wǎng)絡(luò)模塊如下圖：

該模塊由三個子模塊組成，包含正則化層（Nomarlization）、線性層（Linear）、激活函數(shù)（SiLU）等組件。

該過程可由下式表示：

其中Xi表示第i個子模塊之后的輸出嵌入向量，Lj,i表示第i個子模塊的第j層線性層，Ni表示第i個子模塊內(nèi)的正則化層，SiLU是激活函數(shù)。

該稠密網(wǎng)絡(luò)設(shè)計延續(xù)自團(tuán)隊的前序工作MU-LLaMA。

在稠密網(wǎng)絡(luò)之后，輸出4096維的嵌入向量，提供給下游的LLM使用。

橋接LLM

為了將多模態(tài)上下文信息引入LLM，研究者將來自相鄰上游多模態(tài)理解適配器的輸出接入到LLM的指定層。

研究者采用了Meta研發(fā)的LLaMA 2模型作為底座LLM，如下圖所示。

這里選用的模型版本是LLaMA 2 7B模型，包含N=32個隱層。

從該模型的頂層算起，每L層（L=6）引入一個模態(tài)信息，從上至下依次引入音樂、圖像和視頻模態(tài)信息，并使用零初始值注意力模塊，底部的(N-3L-1)層則采用原始的注意力模塊。

LLM的文本指令從底層，也即第一層輸入。利用該技術(shù)，LLM被賦予了通過其他模態(tài)信息來引導(dǎo)LLM輸出的能力。

音樂理解與生成模塊

受NExT-GPT工作啟發(fā)，本模型引入了特定的音頻標(biāo)記[AUD]，用來區(qū)分音樂問答和生成任務(wù)。

在模型訓(xùn)練階段，對于以音樂作為輸出（即音樂生成任務(wù)）的訓(xùn)練樣本對（如文本指令-音樂對），這些音頻標(biāo)記會添加在LLM輸出的末尾，用于指示下游的音樂輸出。

在模型推理階段，假如用戶輸入的指令和音樂生成有關(guān)，比如Generate a music using flute（用笛子生成一段音樂），則LLM的輸出會包含音頻標(biāo)記，從而下游的音樂解碼器會接收該指令并生成以笛子作為演奏樂器的音樂；

反之如果LLM的輸出沒有音頻標(biāo)記，則表明用戶期望的是音樂理解任務(wù)，此時由LLM直接回應(yīng)用戶提問。

研究人員嘗試了兩種音樂解碼器——AudioLDM 2和MusicGen，其中MusicGen的音樂生成表現(xiàn)相較AudioLDM 2更好。

提出新數(shù)據(jù)集，訓(xùn)練分三階段

訓(xùn)練數(shù)據(jù)集

如本文研究貢獻(xiàn)所述，本研究構(gòu)造了四組數(shù)據(jù)集MUCaps、MUEdit、MUImage和MUVideo，數(shù)據(jù)樣本示例如下圖所示。

MUCaps數(shù)據(jù)集：

• 約1200小時來自AudioSet和一些網(wǎng)站的公開音樂；
• 利用MU-LLaMA模型對搜集的音樂文件生成音樂注解組成音樂-文本對。

MUEdit數(shù)據(jù)集：

• 從AudioSet構(gòu)建音樂池（音樂池和MUCaps不同），并篩選出約60小時相似的音樂-音樂對；
• 篩選條件包括速度（tempo）、beats（節(jié)拍）等，從而得到大體相似，但有一定區(qū)別的音樂-音樂對（比如使用的樂器不同）；
• 將音樂-音樂對看作是源-目標(biāo)對，將源音樂的注解文本輸入給MPT-7B[14]模型得到人類端對話，目標(biāo)音樂的注解文本輸入給MPT-7B模型得到模型端對話，也即源音樂和目標(biāo)音樂都得到對應(yīng)指令用于模型訓(xùn)練。

MUImage/MUVideo數(shù)據(jù)集：

• 從AudioSet再另外采樣一些圖像/視頻-音樂對（和MUCaps/MUEdit中的音樂均不同，最小化音樂重復(fù)），用BLIP/VideoMAE模型對圖像/視頻做圖像/視頻注解；
• 將圖像/視頻+音樂的注解文本輸入到MPT-7B模型，分別得到人類端和模型端對話。

以上數(shù)據(jù)集構(gòu)造腳本可參見：
https://github.com/shansongliu/M2UGen/tree/main/Datasets

而M2UGen模型的訓(xùn)練參考了NExT-GPT的訓(xùn)練方式，分為三個階段，分別是編碼端訓(xùn)練、解碼端訓(xùn)練和編解碼聯(lián)合訓(xùn)練。

階段1：編碼端訓(xùn)練

該階段凍結(jié)多模態(tài)編碼器和LLM，只訓(xùn)練多模態(tài)理解適配器；

利用來自MUCaps/COCO/MUVideo的音樂/圖像/視頻-文本對做階段1訓(xùn)練；

訓(xùn)練損失為交叉熵?fù)p失，即比較LLM的輸出和目標(biāo)注解文本。

階段2：解碼端訓(xùn)練

這一階段不考慮編碼測（模態(tài)編碼器和適配器），凍結(jié)LLM，訓(xùn)練輸出映射模塊；

此階段旨在訓(xùn)練LLM生成指示下游音樂解碼器輸出音樂的指令，或直接根據(jù)輸入指令對輸入的音樂做問答或注解；

需要對齊的是音樂解碼器（AudioLDM 2/MusicGen）的文本編碼器輸出和M2UGen模型輸出映射模塊產(chǎn)生的條件嵌入向量，即對輸出端進(jìn)行對齊；

此階段在訓(xùn)練時，通過添加特定的音頻標(biāo)記[AUD]來指示是否生成音樂。如果LLM的輸出中包含[AUD]，則同時生成文本+音樂（音樂生成），如果不包含，則只生成文本（音樂問答）；

損失函數(shù)采用交叉熵和均方誤差，其中交叉熵是比較LLM輸出的音頻標(biāo)記和真值音頻標(biāo)記，均方誤差是比較M2UGen模型輸出映射模塊產(chǎn)生的條件嵌入向量和音樂解碼器的文本編碼器的輸出文本嵌入向量。

階段3：編解碼聯(lián)合訓(xùn)練

該階段凍結(jié)多模態(tài)編碼器和LLM，訓(xùn)練多模態(tài)理解適配器和輸出映射模塊，以及LLM中的LoRA參數(shù)；

此階段訓(xùn)練時訓(xùn)練數(shù)據(jù)有Alpaca（通用知識）、MusicQA、MUImage、MUVideo和MUEdit；

為了使模型可以同時生成音樂和文本， MUImage、MUVideo和MUEdit三個數(shù)據(jù)集在階段3訓(xùn)練時LLM輸出端添加了特定的音頻標(biāo)記（和階段2訓(xùn)練類似）。

未來，研究團(tuán)隊的工作重點(diǎn)是進(jìn)一步提升模型的細(xì)粒度音樂理解能力，并改善生成音樂與輸入指令之間的相關(guān)性，也使音樂編輯能力更加精確。

論文地址：https://arxiv.org/pdf/2311.11255.pdf