ICLR 2025 Spotlight：音頻生成新突破！港科北郵團(tuán)隊(duì)首次通過(guò)文本控制聲源方向生成音頻

明敏 2025-02-17 09:03:00 來(lái)源：量子位

BEWO團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

兔子通過(guò)兩只耳朵可以準(zhǔn)確感知捕食者的一舉一動(dòng)，造就了不同品種廣泛分布在世界各地的生命奇跡；同樣人也需要通過(guò)雙耳沉浸式享受電影視聽(tīng)盛宴、判斷駕駛環(huán)境和感知周?chē)顒?dòng)狀態(tài)。

那應(yīng)用火爆的diffusion生成模型是否可以做到直接生成符合物理世界規(guī)律的空間音頻呢？

此前，經(jīng)典的Text2Audio的工作可以通過(guò)文本抽象的語(yǔ)義生成較為準(zhǔn)確的單通道音頻。

但是這忽略了人類(lèi)與生俱來(lái)的感知雙通道音頻的能力。應(yīng)用角度來(lái)說(shuō)，通過(guò)文本控制生成多通道音頻在影視娛樂(lè)、AR/VR等領(lǐng)域擁有重要應(yīng)用。

在這個(gè)趨勢(shì)的背景下，為了增強(qiáng)文本對(duì)于多通道音頻生成的控制，港科大北郵團(tuán)隊(duì)首次從數(shù)據(jù)、模型和評(píng)價(jià)標(biāo)準(zhǔn)角度都創(chuàng)新性的將控制聲源方向納入到生成范圍內(nèi)。

什么是空間音頻生成？

什么是空間音頻？

似乎能夠通過(guò)聲音判斷事物方向和狀態(tài)是自然人與生俱來(lái)的能力。生物聲學(xué) (Bioacoustics)是早在20世紀(jì)便進(jìn)行了深入的探索。人能感知聲音的方位，主要來(lái)自以下三個(gè)方面：

• ITD (主要不同)：Interaural Time Difference-耳間時(shí)間差。即由于雙耳耳間距離導(dǎo)致聲音到達(dá)兩只耳朵的時(shí)間不一樣。這一點(diǎn)是雙通道的主要差異。
• ILD：Interaural Level Difference-耳間聲強(qiáng)差。即由于雙耳耳間距離導(dǎo)致聲音到達(dá)兩只耳朵的強(qiáng)度和衰減不一樣。這一點(diǎn)是輔助方式，在實(shí)際生成中發(fā)現(xiàn)這點(diǎn)較難度量，基本能量一致。
• 耳蝸、耳道和頭骨等生理結(jié)構(gòu)：由于人的感知系統(tǒng)非常復(fù)雜，并且涉及物理及生理研究，是一門(mén)非常深的學(xué)問(wèn)。在Bioacoustic領(lǐng)域，很多人用深度學(xué)習(xí)方法構(gòu)建合理的的HRTF (Head-related transfer function)，才能夠很好的模擬生理結(jié)構(gòu)。但是鑒于本文為先期探索工作，文中不考慮這點(diǎn)的影響。

實(shí)現(xiàn)空間音頻生成相關(guān)的技術(shù)路線？

1、雙階段方案：首先通過(guò)普通text2audio的模型生成單通道音頻，然后通過(guò)仿真或者可學(xué)習(xí)的濾波器進(jìn)行串聯(lián)。使得最終能夠獲得多通道的空間音頻。這種系統(tǒng)顯然不夠魯棒并且無(wú)法適應(yīng)復(fù)雜場(chǎng)景的生成任務(wù)。

2、此前的單階段方案：雖然這類(lèi)系統(tǒng)能夠生成stereo音頻，但是遠(yuǎn)遠(yuǎn)不具備生成spatial音頻的控制能力。

3、該研究方案：提出了從數(shù)據(jù)集、方法和評(píng)估指標(biāo)的一條龍解決方案，較好的提升了對(duì)于spatial音頻的控制。

數(shù)據(jù)構(gòu)造：讓機(jī)器“耳聽(tīng)八方”的數(shù)據(jù)工廠

在本項(xiàng)研究中，數(shù)據(jù)構(gòu)造是整個(gè)系統(tǒng)的基石！

想要生成各個(gè)方向上的音頻，就必須讓生成模型理解方向上的區(qū)別。比如想要讓系統(tǒng)生成摩托自左向右行進(jìn)，就需要提供摩托在左、在右、自左向右和自右向左的音頻讓系統(tǒng)明白區(qū)別。這樣音頻收集的成本顯然是非常巨大的，為什么不做一個(gè)高效的“數(shù)據(jù)工廠”呢？

接下來(lái)，帶大家揭秘BEWO-1M（Both Ears Wide Open 1M）數(shù)據(jù)集的“生產(chǎn)流水線”。

為什么需要BEWO-1M？

現(xiàn)如今一般的音頻-文字?jǐn)?shù)據(jù)集都缺乏明確的空間信息描述，比如即便有雙通道音頻，配套的文字描述也只是“汽車(chē)駛過(guò)”，而沒(méi)有具體方位信息（比如“汽車(chē)從右前方駛向左前方”）。這對(duì)于生成具有方向感的空間音頻完全不夠用！
所以，需要一個(gè)超大規(guī)模的、帶有豐富空間描述的雙通道音頻數(shù)據(jù)集，而 BEWO-1M 應(yīng)運(yùn)而生。它包含超過(guò)100萬(wàn)條音頻-文本對(duì)，并且支持動(dòng)態(tài)聲源、多聲源等復(fù)雜場(chǎng)景。

借助近些年的熱門(mén)的GPT-4和嚴(yán)謹(jǐn)?shù)姆抡鎸?shí)驗(yàn)，最終通過(guò)思維鏈（Chain of Thought）構(gòu)造了一個(gè)包含100萬(wàn)條、共計(jì)約2800小時(shí)音頻的大規(guī)模數(shù)據(jù)集，其中包括：

1. 單聲源靜態(tài)音頻子集（Single Stationary）：比如“貓?jiān)谧筮吔小薄?/li>
2. 單聲源動(dòng)態(tài)音頻子集（Single Dynamic）：比如“直升機(jī)從左飛到右”。
3. 多聲源音頻子集（Double, Mixed）：比如“左側(cè)有雷聲，右側(cè)有狗叫”。
4. 真實(shí)世界音頻子集（Real World）：還手動(dòng)標(biāo)注了少部分真實(shí)錄制的雙通道音頻，確保測(cè)試集的真實(shí)性。

數(shù)據(jù)多樣性一覽：

BEWO-1M是目前首個(gè)包含方向描述的大規(guī)模雙通道音頻數(shù)據(jù)集，它不僅適用于空間音頻生成，還可以擴(kuò)展到空間音頻字幕生成(Appendix.G.5)、音頻-文本檢索(Appendix.G.6)等其他任務(wù)。在實(shí)驗(yàn)中，發(fā)現(xiàn)它能夠顯著提升生成模型的空間控制能力，讓機(jī)器真正做到“耳聽(tīng)八方”。

生成方法簡(jiǎn)述

感謝Stability AI的研究者們，他們開(kāi)發(fā)了用于生成雙通道的模型。但是這里生成模型存在比較顯然的音頻生成問(wèn)題。比如：在Stable Audio中輸入prompt “A piano sound exists on the left side”, 最終生成的鋼琴聲音的方向是不可控的。這是由于他們的雙通道音頻完全由真實(shí)數(shù)據(jù)訓(xùn)練得到，方向上并不具有足夠的多樣性。所以可控方向的音頻生成模型迫在眉睫。

有了BEWO-1M直接finetune行不行？行！直接使用帶有方位自然語(yǔ)言的prompt，直接進(jìn)行finetune就能夠讓模型獲取最基本的生成指定方向音頻的能力。對(duì)此作者提供了一個(gè)通過(guò)自然語(yǔ)言控制的Gradio Demo.

但是涉及到方向自然語(yǔ)言理解的時(shí)候存在非常多樣化的表達(dá)。這些多樣化的表達(dá)對(duì)文本的encoder帶來(lái)了極大的挑戰(zhàn)。對(duì)于T5這個(gè)非常經(jīng)典的編碼模型來(lái)說(shuō)，更長(zhǎng)的文本長(zhǎng)度會(huì)帶來(lái)更長(zhǎng)的編碼和更大的理解難度。

那更進(jìn)一步地，為了應(yīng)對(duì)這樣的挑戰(zhàn)有兩個(gè)非常自然的想法。(1)將空間控制和文本控制解耦；(2)利用大模型對(duì)于文本的理解能力。

將空間控制和文本控制解耦.就意味著增加空間控制的引導(dǎo)！空間控制的實(shí)現(xiàn)主要來(lái)自仿真的訓(xùn)練數(shù)據(jù)，作者有極為準(zhǔn)確的仿真建模，所以在訓(xùn)練時(shí)的角度是精確到小數(shù)點(diǎn)后4位的。那么在訓(xùn)練的時(shí)候使用這個(gè)角度是非常自然的。對(duì)此作者提供了一個(gè)通過(guò)精確方位信息控制的Gradio Demo.

利用大模型對(duì)于文本的理解能力可以在推理的時(shí)候用推理和上下文學(xué)習(xí)獲取可靠的方向信息（詳見(jiàn)論文），這個(gè)方向在人工驗(yàn)證中正確率高達(dá)90%。

通過(guò)對(duì)空間控制和文本解耦實(shí)現(xiàn)了如上圖可視化的更精準(zhǔn)的音頻方向的控制。其控制性能相比直接finetune有了精準(zhǔn)性的提升。

實(shí)驗(yàn)過(guò)程中，作者發(fā)現(xiàn)如果使用極為準(zhǔn)確的角度建模方式可以生成方向較為準(zhǔn)確的音頻，但是生成的音頻語(yǔ)義多樣化欠佳。所以同時(shí)開(kāi)發(fā)了coarse建模方式可以獲得更多樣化的音頻生成，但是會(huì)出現(xiàn)方向控制不準(zhǔn)確的情況。

“多樣性 or 控制” 這個(gè)生成千古難題依然在這里是個(gè)trade off。

有了基于大量文本音頻對(duì)的數(shù)據(jù)得到的文本控制的模型？那么如何遷移到其他模態(tài)上呢。而且文本編碼用的是T5編碼。

眾所周知，T5作為encoder+decoder的model在大模型的現(xiàn)今已經(jīng)淘汰了。研究團(tuán)隊(duì)簡(jiǎn)單借助前人的VL-T5接著做了簡(jiǎn)單的對(duì)齊實(shí)現(xiàn)了簡(jiǎn)單的image到spatial audio的生成，這僅僅是給社區(qū)提供一個(gè)簡(jiǎn)單粗糙的圖像引導(dǎo)的音頻生成的baseline。

評(píng)價(jià)和結(jié)果

為了和其他模型比較，研究團(tuán)隊(duì)開(kāi)發(fā)了多種語(yǔ)義和聲源方向上的評(píng)估算法。

語(yǔ)義層面，此前Text2Audio的生成的評(píng)估算法依然有效。作者直接聲道平均后評(píng)測(cè)語(yǔ)義層面上的相似程度。下表展示了以單通道模型的評(píng)估標(biāo)準(zhǔn)評(píng)估SpatialSonic模型依然具有一定的先進(jìn)性。

聲源方向?qū)用妫芯繄F(tuán)隊(duì)創(chuàng)新性地首次提出通過(guò)ITD求出方位誤差。根據(jù)背景所述，人主要通過(guò)ITD來(lái)判斷物體的大致方位，同樣也采用ITD作為評(píng)估方法。

此前ITD的評(píng)估一般由2種方法而來(lái)：

1. 傳統(tǒng)信號(hào)方法：代表為GCC-Phat
2. 深度學(xué)習(xí)方法：代表為StereoCRW

本文利用這兩種ITD評(píng)估方法，開(kāi)發(fā)了對(duì)兩段音頻的ITD進(jìn)行不同程度的評(píng)估算法（GCC MSE、CRW MSE和FSAD）。通過(guò)這些指標(biāo)很好地展示了模型在文本引導(dǎo)的空間音頻生成上的優(yōu)越性。

由于音頻本身具有的耦合性，研究團(tuán)隊(duì)堅(jiān)信這并不是生成音頻ITD相似度的評(píng)估算法的最終形態(tài)。團(tuán)隊(duì)會(huì)不斷在GitHub上更新更優(yōu)質(zhì)的算法。更多的實(shí)驗(yàn)結(jié)果請(qǐng)參考論文。

如果你好奇如下幾個(gè)問(wèn)題，請(qǐng)向論文中尋求答案！

1、方向的參與程度是否會(huì)影響音頻的生成質(zhì)量？(Appendix.G.9)

是的。作者發(fā)現(xiàn)加入方向距離中間偏差越大，生成音頻質(zhì)量會(huì)逐漸下降。比如，質(zhì)量上，純左<左前<正中。

2、由于方向的加入，必然導(dǎo)致caption長(zhǎng)度的增加，這是否會(huì)影響音頻的生成質(zhì)量？(Appendix.G.10)

是的。作者發(fā)現(xiàn)caption長(zhǎng)度越長(zhǎng)，生成質(zhì)量會(huì)下降。

3、不同類(lèi)別的控制方向能力是否相同？是否存在一些類(lèi)別聲音控制方向能力較強(qiáng)，一些較弱的Bias？(Appendix.G.11)

確實(shí)不同。作者發(fā)現(xiàn)對(duì)于個(gè)別類(lèi)控制能力較強(qiáng)，其他類(lèi)控制能力稍弱。推測(cè)這與數(shù)據(jù)分布和GPT induction都存在關(guān)聯(lián)。

未來(lái)展望

未來(lái)在以下多方面存在改進(jìn)空間：

引入HRTF模擬耳道等真實(shí)感知。

當(dāng)前Visual由于使用Coco數(shù)據(jù)集存在較強(qiáng)的in domain問(wèn)題。OOD（Out of Distribution）或者OV (Open Vocabulary)會(huì)有非常大的進(jìn)步空間。

Interactive的實(shí)現(xiàn)依賴(lài)于SAM的性能，實(shí)現(xiàn)依然不是非常優(yōu)雅且存在錯(cuò)誤累積。

VL-T5早已落后時(shí)代，或許作為初步探索足夠，但是未來(lái)必然會(huì)有更優(yōu)雅的方式。

項(xiàng)目主頁(yè): https://peiwensun2000.github.io/bewo/
Gradio Demo (自然語(yǔ)言控制): http://143.89.224.6:2436/
Gradio Demo（滑條控制控制): http://143.89.224.6:2437/
Github代碼: https://github.com/PeiwenSun2000/Both-Ears-Wide-Open
Arxiv論文: https://arxiv.org/abs/2410.10676
數(shù)據(jù)集: https://github.com/PeiwenSun2000/Both-Ears-Wide-Open/tree/main/datasets