科大訊飛語音合成技術(shù)升級，聲音復(fù)刻與超擬人能力實(shí)現(xiàn)突破

夢晨 2025-06-27 16:49:46 來源：量子位

6月26日，科大訊飛語音合成技術(shù)全新升級，一句話聲音復(fù)刻與超擬人合成兩大核心能力實(shí)現(xiàn)突破。據(jù)專業(yè)測評顯示，科大訊飛一句話聲音復(fù)刻技術(shù)在相似度、準(zhǔn)確度等維度行業(yè)領(lǐng)先。
訊飛星火APP的“一句話聲音復(fù)刻”功能自2024年4月上線以來，備受用戶和行業(yè)認(rèn)可。在智能語音領(lǐng)域，聲音復(fù)刻效果的核心指標(biāo)始終圍繞相似度與準(zhǔn)確度兩大維度展開。相似度決定“第一耳印象”，包含音色特質(zhì)及風(fēng)格韻味；準(zhǔn)確度則關(guān)乎聲音復(fù)刻是否好用，確保發(fā)音標(biāo)準(zhǔn)、停頓自然、語氣連貫。
此次訊飛技術(shù)突破的關(guān)鍵，除了星火語音大模型底座的基礎(chǔ)和持續(xù)迭代，還構(gòu)建了一套三階段層次化語音建?？蚣堋Ｊ紫?，通過星火底座大模型精確捕捉發(fā)音規(guī)律和韻律特征。其次，在音色恢復(fù)階段解耦并重構(gòu)聲學(xué)特征。最后，通過高精度聲碼器恢復(fù)高保真波形。
這套語音建模框架突破了語義表征，采用mel VQ-AE模型結(jié)合語音自監(jiān)督預(yù)訓(xùn)練編碼器，并引入音色最小互信息約束，成功解耦出音色無關(guān)的離散語義token。這種結(jié)構(gòu)實(shí)現(xiàn)了發(fā)音內(nèi)容與音色特征的可控分離，也顯著提升了語義LLM的建模穩(wěn)定性。
在音色解耦表征能力的基礎(chǔ)上，科大訊飛在聲音復(fù)刻場景針對性進(jìn)行兩項(xiàng)關(guān)鍵技術(shù)的嘗試與突破：音色編碼增強(qiáng)——在聲學(xué)模型中創(chuàng)新性地融合全局聲紋嵌入與局部幀級音色編碼，提取細(xì)粒度音色特征，并構(gòu)建聲紋空間語義一致性損失函數(shù)，顯著提升音色恢復(fù)的相似度。強(qiáng)化學(xué)習(xí)——通過語音魯棒性評價(jià)模型和人工標(biāo)注構(gòu)建偏好數(shù)據(jù)集，采用基于DPO的強(qiáng)化學(xué)習(xí)策略，大幅提升合成語音的穩(wěn)定性和自然流暢度。只需一句話錄音，AI就能完整捕捉用戶喉腔共鳴、口音特點(diǎn)、氣息流轉(zhuǎn)等發(fā)音特征，精準(zhǔn)還原用戶的停頓習(xí)慣、情感起伏和呼吸節(jié)奏，達(dá)到真人難以區(qū)分的復(fù)刻效果。
從曾經(jīng)要錄上數(shù)十個小時(shí)的語音素材，到錄入幾段話，再到現(xiàn)在僅用一句話就能復(fù)刻聲音，語音合成技術(shù)一直在向更快、更好、更易用的方向奔跑。一句話復(fù)刻技術(shù)的進(jìn)階，代表著能用更少的資源、更快的速度帶來驚艷且實(shí)用的效果，顯著降低了應(yīng)用門檻，在AI賦能千行百業(yè)的大背景下，讓更多的場景和行業(yè)衍生出更多的個性化需求，突破并得到實(shí)現(xiàn)。
在需要深入交流的場景里，僅有相似音色并不足夠。訊飛的超擬人合成技術(shù)此次進(jìn)階的重點(diǎn)是賦予AI聲音以“上下文情商”。面對多輪對話的復(fù)雜度，科大訊飛開發(fā)了上下文感知的語音生成系統(tǒng)。該系統(tǒng)融合歷史文本及對應(yīng)音頻特征，通過跨模態(tài)編碼器分析上下文，讓AI聲音能像真人一般敏銳響應(yīng)情緒轉(zhuǎn)變和話題轉(zhuǎn)換。在真人與AI聲音的對話測試中，隨著話題和情緒變化，合成聲音的語氣會實(shí)時(shí)調(diào)整，給出恰如其分的情感回應(yīng)，整體自然度接近真人水平。
AI語音技術(shù)落地最顯著的領(lǐng)域當(dāng)屬智能汽車座艙。今年初，蔚來在“Banyan 榕 3.1.0版本”中為NOMI助手引入的超擬人情感音色，正源于訊飛的深度賦能。搭載該技術(shù)的蔚來新車型（如ET9、新ES6/EC6/ET5系列等），成為行業(yè)首款應(yīng)用AI生成式語音合成框架的車型。除蔚來外，奇瑞、廣汽、長城、日產(chǎn)、本田等主流車企同樣選擇了訊飛超擬人技術(shù)，重塑車內(nèi)智能交流體驗(yàn)。

訊飛語音技術(shù)的輻射范圍遠(yuǎn)不止車載場景。在教育領(lǐng)域，星火大模型賦能的AI學(xué)習(xí)機(jī)已能像真人教師般開展多輪對話診斷學(xué)情，為學(xué)生定制個性化學(xué)習(xí)路徑。2025年暑期升級中，學(xué)習(xí)機(jī)新增的“AI 1對1互動式問診規(guī)劃”功能，通過幾輪對話即可分析知識掌握情況，結(jié)合學(xué)生能力層級生成精準(zhǔn)學(xué)習(xí)方案。

在數(shù)字內(nèi)容創(chuàng)作領(lǐng)域，訊飛智作平臺的超擬人數(shù)字人技術(shù)實(shí)現(xiàn)“一張照片+一句話錄音”定制專屬虛擬人，其唇形同步率高達(dá)98%。該技術(shù)已幫助天津大學(xué)教師打造慕課個人IP，簡化教學(xué)視頻制作流程。醫(yī)療場景中，搭載情感合成技術(shù)的導(dǎo)診機(jī)器人使用方言與老年患者交流時(shí)，對話自然度提升200%。隨著星火語音大模型在教育、醫(yī)療、金融等領(lǐng)域的深度滲透，其技術(shù)底座已服務(wù)全國5萬余所學(xué)校、600家醫(yī)院及眾多金融機(jī)構(gòu)。

科大訊飛研究院院長劉聰表示：“我們希望聲音不止于工具，更成為承載情感與個性的新維度，賦能更多場景行業(yè)、催生更多可能”。屬于AI聲音的多元化、情感化時(shí)代，正加速駛?cè)氍F(xiàn)實(shí)。