人民大學提出聽音識物AI框架，不用人工標注，嘈雜環(huán)境也能Hold住

明敏 2022-03-11 14:29:10 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

不用人工標注，也能讓AI學會聽音尋物。

還能用在包含多種聲音的復雜環(huán)境中。

比如這個演奏會視頻，AI就能判斷出哪些樂器在發(fā)聲，還能定位出各自的位置。

這是中國人民大學高瓴人工智能學院最近提出的新框架。

對于人類而言，聽音識物是一件小事，但是放在AI身上就不一樣了。

因為視覺和音頻之間對應關系無法直接關聯(lián)，過去算法往往依賴于手動轉(zhuǎn)換或者人工標注。

現(xiàn)在，研究團隊使用聚類的方法，讓AI能夠輕松識別各種樂器、動物以及日常生活中會出現(xiàn)的聲音。

同時，這一方法還能遷移到無監(jiān)督的物體檢測任務中，其成果被發(fā)表在《IEEE Transactions on Pattern Analysis and Machine Intelligence》 (TPAMI)。

構(gòu)建物體視覺表征字典

具體來看這個框架，可以分為兩個階段：

在第一階段，AI要在單一聲源場景中學習物體的視覺-音頻表征；然后再將這一框架遷移到多聲源場景下，通過訓練來辨別更多的聲源。

通俗一點來講，就是讓AI先能把一種聲音和其聲源物體的樣子聯(lián)系起來，然后再讓它在“大雜燴”里分辨不同的種類。

以聽音樂會舉例。

研究人員喂給AI的都是樂器獨奏視頻，可能包含大提琴、薩克斯風、吉他等等。

然后運用聚類的方法，讓AI把所有的樣本進行劃分。聚類的每一個簇，被認為能夠代表一種語義類別的視覺表征集合。

由此一來，AI便在無形之中掌握了不同樂器在外觀和聲音上的關系，也就是可以聽音識物了。

在這個過程中，研究人員針對每個簇進行特征提取并打上偽標簽，可以構(gòu)建出一個物體視覺表征字典。

第二階段中，研究人員讓這個框架先能從視覺方面定位出畫面中存在的不同物體，然后再根據(jù)聲音信息過濾掉不發(fā)聲物體。

其中，定位物體這一步用到了第一階段中得出的物體視覺表征字典。

具體來看，對于某一幀多聲源的場景，AI會先從畫面中提取到不同物體的特征，然后再和字典中的各個類別比對，從而完成聽音識物的初步定位。

之后，將畫面中存在物體的定位結(jié)果與發(fā)聲區(qū)域進行哈達瑪積，過濾掉不發(fā)聲的物體，同時還能細化發(fā)聲物體的定位結(jié)果。

從直觀識別效果中看，該方法能夠很好辨別畫面中的發(fā)聲物體，而且在視覺識別準確度上表現(xiàn)也更好。

△每行前3張為真實演奏場景，后4張為合成場景

在具體表現(xiàn)上，研究人員分別使用了合成音樂、二重奏等4個數(shù)據(jù)集來測試這個框架識別的水平。

結(jié)果顯示，此次提出的新方法表現(xiàn)都非常nice，尤其是在樂器分布更加均衡的數(shù)據(jù)集上。

那么不聽音樂、只聽日常的聲音，表現(xiàn)又會如何呢？

作者分別展示了成功和失敗的一些例子：

△一些成功案例

△一些失敗案例

作者表示，出現(xiàn)失敗的情況中，一方面是無法定位到正確的聲源位置（如上圖第一行）。

還有一些是不能辨別某些場景中的特定聲音（如上圖第二行）。

此外，這種方法還能遷移到物體檢測任務中去。比如在ImageNet子集上的無監(jiān)督物體檢測表現(xiàn)也值得關注。

團隊主要來自人大AI學院

本項研究由中國人民大學高瓴人工智能學院主導，通訊作者為GeWu實驗室胡迪助理教授，主要內(nèi)容由GeWu實驗室博士生衛(wèi)雅珂負責。

胡迪于2019年博士畢業(yè)自西北工業(yè)大學，師從李學龍教授。曾榮獲2020年中國人工智能學會優(yōu)博獎，受中國科協(xié)青年人才托舉工程資助。

主要研究方向為機器多模態(tài)感知與學習，以主要作者身份在領域頂級國際會議及期刊上發(fā)表論文20余篇。

中國人民大學文繼榮教授也參與了此項研究。

他目前為中國人民大學高瓴人工智能學院執(zhí)行院長、信息學院院長。

主要研究方向為信息檢索、數(shù)據(jù)挖掘與機器學習、大模型神經(jīng)網(wǎng)絡模型的訓練與應用。

論文地址：
https://arxiv.org/abs/2112.11749

項目主頁：
https://gewu-lab.github.io/CSOL_TPAMI2021/