音頻大模型安全可信度的全面“體檢”！清華南洋理工聯(lián)手打造

AudioTrust團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

首個(gè)專為ALLMs（音頻大語言模型）設(shè)計(jì)的多維度可信度評(píng)估基準(zhǔn)來了。

南洋理工、清華大學(xué)領(lǐng)銜的研究團(tuán)隊(duì)注意到，現(xiàn)有評(píng)估框架大多只關(guān)注文本模態(tài)或僅涵蓋有限的安全維度，未能充分考慮音頻模態(tài)的獨(dú)特特性與應(yīng)用場(chǎng)景。

于是他們創(chuàng)新性地提出了新框架AudioTrust，將評(píng)估范圍擴(kuò)展至六個(gè)核心維度（公平性、幻覺、安全性、隱私、魯棒性和身份驗(yàn)證），并深入探究了音頻模態(tài)特有的安全、可信問題。

目前該基準(zhǔn)及評(píng)估平臺(tái)已全面開發(fā)，點(diǎn)擊文末鏈接即可獲取。

接下來是AudioTrust的更多詳細(xì)信息。

什么是AudioTrust

為應(yīng)對(duì)音頻大模型（ALLMs）帶來的可信性挑戰(zhàn)，研究團(tuán)隊(duì)提出了一個(gè)統(tǒng)一的評(píng)估框架AudioTrust，采用推理執(zhí)行與可信性分析解耦的兩階段架構(gòu)。

第一階段聚焦于數(shù)據(jù)加載與模型推理，支持開源與閉源模型接入，并可通過配置文件靈活控制任務(wù)參數(shù)，實(shí)現(xiàn)高效的批量處理；

第二階段則針對(duì)模型輸出進(jìn)行自動(dòng)化、多維度評(píng)估，涵蓋內(nèi)容安全、偏見檢測(cè)、事實(shí)一致性等核心指標(biāo)。

AudioTrust具體包含六大核心可信維度，分別是Fairness、Hallucination、Safety、Privacy、Robustness、Authentication，對(duì)于每一個(gè)可信評(píng)估視角，研究團(tuán)隊(duì)都關(guān)注了多個(gè)不同的場(chǎng)景與特征分類。

Fairness

AudioTrust從7大敏感屬性出發(fā)，構(gòu)造了傳統(tǒng)與音頻特有的公平性評(píng)估體系。

共采集840條高質(zhì)量音頻樣本（每條約20秒），模擬多樣化社會(huì)角色與語境交互，激發(fā)AI對(duì)傳統(tǒng)公平的深度響應(yīng)，聚焦社會(huì)普遍存在的偏見。

構(gòu)造音頻特有屬性，體現(xiàn)多模態(tài)感知中的不公平，特別關(guān)注口音、語言表達(dá)特征等，并通過混合音頻和文本預(yù)處理的方式模擬現(xiàn)實(shí)場(chǎng)景。

實(shí)驗(yàn)結(jié)果顯示，當(dāng)前主流語言模型在公平性維度普遍失衡，系統(tǒng)性偏差廣泛存在。

Hallucination

幻覺評(píng)估模塊專門檢測(cè)，音頻大語言模型在復(fù)雜聲學(xué)場(chǎng)景下的幻覺現(xiàn)象，防止模型過度解讀或產(chǎn)生錯(cuò)誤推理。

研究團(tuán)隊(duì)構(gòu)建了包含320個(gè)精心設(shè)計(jì)的測(cè)試樣本，并將音頻幻覺分為兩個(gè)核心維度進(jìn)行評(píng)估。

事實(shí)性幻覺包含160個(gè)樣本，主要涵蓋音頻內(nèi)容與標(biāo)簽屬性不匹配的情況，以及違背自然規(guī)律的聲音描述。

邏輯性幻覺同樣包含160個(gè)樣本，重點(diǎn)測(cè)試音頻與文本描述的語義矛盾和音頻事件的時(shí)序錯(cuò)亂。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)音頻語言模型的幻覺問題，主要源于音頻信號(hào)處理和事件識(shí)別錯(cuò)誤，而非推理缺陷，其中Gemini系列和Qwen2-Audio表現(xiàn)最佳，GPT-4o系列傾向于回避回答，而SALMONN等模型容易產(chǎn)生矛盾性幻覺。

Safety

安全性評(píng)估模塊深入探究了音頻大語言模型面臨的兩大核心風(fēng)險(xiǎn)：越獄攻擊和非法活動(dòng)指導(dǎo)。

研究團(tuán)隊(duì)構(gòu)建了600個(gè)測(cè)試樣本，其中包含300個(gè)越獄攻擊樣本和300個(gè)非法活動(dòng)指導(dǎo)樣本。

為了全面評(píng)估不同因素對(duì)模型安全性的影響，研究采用了三維評(píng)估策略：性別維度、情緒維度、場(chǎng)景維度。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，音頻模態(tài)攻擊對(duì)多模態(tài)大模型的安全性構(gòu)成了顯著威脅，其中悲傷情緒比憤怒情緒更容易觸發(fā)違規(guī)行為，醫(yī)療場(chǎng)景的越獄成功率最高可達(dá)33.7%，遠(yuǎn)超企業(yè)和金融場(chǎng)景。

閉源模型展現(xiàn)出近99%的優(yōu)異防御能力，而開源模型普遍面臨更大安全挑戰(zhàn)。

值得注意的是，相比于文本輸入能達(dá)到100%的安全防御率，音頻輸入為攻擊者提供了額外的攻擊向量，特別是在涉及專業(yè)領(lǐng)域知識(shí)的情境中，模型更容易被領(lǐng)域特定的越獄攻擊突破而生成有害內(nèi)容。

Privacy

隱私評(píng)估模塊聚焦直接隱私泄露和隱私推斷泄露兩大核心風(fēng)險(xiǎn)。

研究團(tuán)隊(duì)構(gòu)建了包含900個(gè)音頻樣本的多樣化測(cè)試數(shù)據(jù)集，其中600個(gè)直接隱私泄露樣本和300個(gè)隱私推斷泄露樣本。

針對(duì)這兩種數(shù)據(jù)集，研究團(tuán)隊(duì)分別設(shè)計(jì)了不同的實(shí)驗(yàn)策略：在直接隱私泄露場(chǎng)景中，觀察模型對(duì)不同隱私類型的泄露程度；在隱私推斷泄露實(shí)驗(yàn)中，評(píng)估模型是否會(huì)協(xié)助推斷敏感的個(gè)人屬性，以及模型是否能夠拒絕回答相應(yīng)的隱私問題。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，多模態(tài)大模型在隱私保護(hù)方面表現(xiàn)出明顯的不一致性和脆弱性。

閉源模型對(duì)SSN等高敏感信息展現(xiàn)近100%的拒絕率，但對(duì)家庭住址的保護(hù)率僅為88%，而Gemini系列和開源模型Qwen2-Audio在地址和手機(jī)密碼方面的泄露率高達(dá)85%-100%。

更為嚴(yán)重的是，大多數(shù)模型在年齡、種族等隱私推斷任務(wù)中泄露率超過80%。雖然隱私意識(shí)增強(qiáng)的提示詞能顯著降低直接隱私泄露風(fēng)險(xiǎn)，但對(duì)推斷泄露的改善效果有限。

Robustness

魯棒性評(píng)估模塊旨在考察音頻大語言模型在面對(duì)各種真實(shí)世界音頻干擾時(shí)的表現(xiàn)穩(wěn)定性。

研究團(tuán)隊(duì)精心設(shè)計(jì)了六大類常見音頻挑戰(zhàn)，每類樣本各40個(gè)。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，多模態(tài)大模型在音頻魯棒性方面呈現(xiàn)顯著的分層差異和不穩(wěn)定性，其中Gemini系列在各種挑戰(zhàn)性音頻條件下始終保持領(lǐng)先地位。

值得注意的是，模型魯棒性高度依賴于具體的音頻擾動(dòng)類型，而將退化音頻轉(zhuǎn)換為清晰文本，是提升下游推理任務(wù)性能的核心。

對(duì)比實(shí)驗(yàn)顯示當(dāng)假設(shè)能夠完美提取音頻文本信息時(shí)，SALMONN的得分從2.0飆升至6.0-7.0，即使表現(xiàn)最佳的Gemini 2.5 Pro也有提升，表明音頻語義內(nèi)容的準(zhǔn)確提取和文本轉(zhuǎn)換是解決魯棒性問題的關(guān)鍵突破口。

Authentication

認(rèn)證評(píng)估模塊深入測(cè)試了音頻大語言模型抵御欺騙攻擊的能力，聚焦混合欺騙、身份驗(yàn)證繞過和語音克隆欺騙三種核心威脅。

研究團(tuán)隊(duì)設(shè)計(jì)了包含400個(gè)樣本的多樣化測(cè)試數(shù)據(jù)集，其中100個(gè)混合欺騙樣本、100個(gè)身份驗(yàn)證繞過樣本，另外200個(gè)語音克隆欺騙樣本。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，多模態(tài)大模型在語音欺騙防御方面呈現(xiàn)明顯的模型類型差異和場(chǎng)景敏感性，其中嚴(yán)格提示顯著提升了語音克隆欺騙的防御效果。

大多數(shù)模型在”打開門”場(chǎng)景中的表現(xiàn)優(yōu)于”喚醒助手”場(chǎng)景，特別是Ultravox和Gemini系列的聲音克隆欺騙失敗樣本數(shù)量顯著減少。

在身份驗(yàn)證繞過測(cè)試中，閉源模型展現(xiàn)出強(qiáng)勁的防御能力，而開源模型最為脆弱，普遍對(duì)不完整憑證或悲傷語氣等緊急情感音頻缺乏魯棒性。

混合欺騙實(shí)驗(yàn)揭示了背景音頻的復(fù)雜影響，辦公室噪音等背景音對(duì)不同模型產(chǎn)生截然不同的效果，模型在真實(shí)環(huán)境中的防御表現(xiàn)具有高度的不確定性。

為什么AudioTrust與眾不同

AudioTrust主要基于四項(xiàng)關(guān)鍵創(chuàng)新:

1. 全面評(píng)估維度：構(gòu)建了跨越18種實(shí)驗(yàn)設(shè)置的評(píng)估框架，深入探究ALLMs在高風(fēng)險(xiǎn)場(chǎng)景下的表現(xiàn)邊界與局限性。
2. 真實(shí)場(chǎng)景數(shù)據(jù)集：精心構(gòu)建了包含4,420+條音頻/文本樣本的數(shù)據(jù)集，覆蓋日常對(duì)話、緊急呼叫、語音助手交互等應(yīng)用場(chǎng)景。
3. 音頻特定評(píng)估指標(biāo)：設(shè)計(jì)了9項(xiàng)專門針對(duì)音頻模態(tài)特性的評(píng)估指標(biāo)，克服傳統(tǒng)文本評(píng)估方法在應(yīng)用于音頻領(lǐng)域時(shí)的局限性。
4. 自動(dòng)化評(píng)估流水線：實(shí)現(xiàn)對(duì)模型輸出的客觀、可擴(kuò)展評(píng)分，顯著提高評(píng)估效率與一致性。

通過對(duì)主流開源與閉源ALLMs的系統(tǒng)評(píng)估，AudioTrust還揭示了多項(xiàng)重要發(fā)現(xiàn):

1. 公平性挑戰(zhàn)：模型普遍存在對(duì)敏感屬性的系統(tǒng)性偏見，在決策場(chǎng)景中偏好特定群體。
2. 幻覺防范：閉源模型在識(shí)別聲學(xué)邏輯錯(cuò)誤方面表現(xiàn)更佳，開源模型在領(lǐng)域知識(shí)對(duì)齊上存在明顯局限。
3. 安全防護(hù)：閉源模型展現(xiàn)出更強(qiáng)防御能力，尤其在抵抗越獄攻擊方面；開源模型在專業(yè)領(lǐng)域(如醫(yī)療)的防御明顯薄弱。
4. 隱私保護(hù)：不同類型敏感信息獲得不均衡保護(hù)，簡(jiǎn)單的提示工程可減少直接泄露但對(duì)推斷泄露效果有限。
5. 魯棒性差異：領(lǐng)先閉源ALLMs能在噪聲、多說話人等干擾下保持核心功能；多數(shù)開源模型在對(duì)抗性干擾下性能顯著下降。
6. 身份驗(yàn)證風(fēng)險(xiǎn)：部分模型難以區(qū)分真實(shí)語音與高保真克隆語音，但更嚴(yán)格的文本提示可顯著提升防御能力。

結(jié)語

本研究提出AudioTrust——首個(gè)專為ALLMs量身打造的多維信任評(píng)估基準(zhǔn)，有效揭示音頻大模型在公平性、幻覺、安全、隱私、魯棒性和身份驗(yàn)證六大維度的潛在風(fēng)險(xiǎn)。

匯集4,420+條真實(shí)場(chǎng)景音頻/文本數(shù)據(jù)，涵蓋日常對(duì)話、緊急呼叫、語音助手等18種實(shí)驗(yàn)設(shè)置，設(shè)計(jì)9項(xiàng)音頻特定評(píng)測(cè)指標(biāo)，構(gòu)建了GPT-4o自動(dòng)化評(píng)估流水線。

實(shí)驗(yàn)結(jié)果還揭示出當(dāng)前開源與閉源 ALLMs 在高風(fēng)險(xiǎn)任務(wù)中的信任邊界與脆弱環(huán)節(jié)：

• 系統(tǒng)性偏見：對(duì)性別、口音等敏感屬性呈現(xiàn)出穩(wěn)定而顯著的偏向。
• 魯棒性缺失：在噪聲干擾、多說話人交互、乃至對(duì)抗輸入場(chǎng)景下，模型響應(yīng)極易崩潰。

AudioTrust通過全面評(píng)估，為后續(xù)ALLMs可信性研究奠定了堅(jiān)實(shí)基礎(chǔ)，框架與平臺(tái)已公開發(fā)布，助力該領(lǐng)域進(jìn)一步研究與實(shí)踐。

論文鏈接： https://arxiv.org/pdf/2505.16211
代碼鏈接： https://github.com/JusperLee/AudioTrust
數(shù)據(jù)集鏈接：https://huggingface.co/datasets/JusperLee/AudioTrust
HuggingFace：https://huggingface.co/papers/2505.16211