車圈最大AI「黑馬」吉利：自研語音大模型登頂，性能超SOTA 10%

賈浩楠 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

語音合成大模型賽道，王者一夜易主。

最新HAM-TTS大模型，在發(fā)音準確性、自然度和說話人相似度上對比之前SOTA成果VALL-E，有了大幅提升。

背后的主要科研團隊卻是LLM賽道今年最令人意外的一匹“黑馬”：

吉利汽車。

沒錯，不是AI原生公司，不是傳統(tǒng)的科技巨頭，是以汽車知名但正在不斷展現(xiàn)硬科技實力的吉利。

吉利星睿AI大模型，有什么用？

吉利自研語音大模型HAM-TTS的全稱是：

Hierarchical Acoustic Modeling for Token-Based Zero-Shot Text-to-Speech，直譯是基于token的零樣本文字轉(zhuǎn)語音分層聲學建模，是星睿AI大模型體系下的重要一員。
顧名思義，對于智能座艙體驗來說，這項技術(shù)作用在最關(guān)鍵的交互環(huán)節(jié)：“發(fā)音”。

語音助手說的好不好，通常有這么幾個評價指標：

發(fā)音準確度，通過Character Error Rate（CER）來評判，具體由知名端到端語音模型平臺ESPNet來打分。

說話風格的一致性NMOS、音調(diào)一致性SMOS，以及整體分數(shù)MOS，是由研究團隊招募的60人團隊進行主觀判斷評分。

總體來看，同樣在4億參數(shù)左右的規(guī)模下，HAM-TTS模型相比SOTA的VALL-E模型，字符錯誤率下降1.5%左右。

完全體8億參數(shù)的HAM-TTS模型，相比VALL-E，字符錯誤率直接下降2.3%。

在風格一致性、音調(diào)一致性以及整體得分上，HAM-TTS模型有10%左右的提升。

在智能座艙的交互場景中，比如聯(lián)動虛擬形象、自定義人設、語音導航、新聞播報、繪本朗讀、說書、直播等等，背后都離不開星睿語音大模型提供強大的技術(shù)支持能力。

星睿語音大模型有了更好的辨識能力，知道該如何更好地維持說話人聲音的音色穩(wěn)定性和連貫性，不會出現(xiàn)音色突變。

無論是新聞播報的專業(yè)場景講段子的輕松氛圍，還是讀繪本的溫馨時刻，還能夠根據(jù)特定場景需求，智能調(diào)節(jié)語氣、語調(diào)、停頓和情感等多維度參數(shù)。用戶都能擁有更沉浸、自然、生動的個性化語音交互體驗。

其次是跨語種無縫切換，不管用戶提供哪個語種哪種方言，都能在保持音色一致的條件下，流暢使用中文或英文進行語音合成。

你說方言輸入，系統(tǒng)能直接轉(zhuǎn)換成普通話輸出，甚至是其他不同的方言輸出。
現(xiàn)在已經(jīng)支持四川話、粵語、東北話等多種方言合成，甚至還支持日韓及東南亞跨語種語音合成。

而且最重要的是，星睿語音模型在聲音復刻能力上，最短僅需要3秒鐘的樣本輸入，相比行業(yè)普遍的10s樣本需求有了重大提升。

這其實是在用戶體驗層面，星睿語音大模型最大的學術(shù)價值——通過創(chuàng)新聲音合成技術(shù)和數(shù)據(jù)增強策略，改善了TTS模型的性能和訓練成本。

吉利怎么做到的？

TTS模型一直廣泛應用在文字轉(zhuǎn)語音的各種交互應用中，常規(guī)模式是“文本處理——提取聲學特征——語音合成”三個步驟。

前兩步都有標準可循的規(guī)則算法，一般都在最后語音合成這一步應用神經(jīng)網(wǎng)絡，通常模型也不大。比如語音合成模型的開山之作VALL-E，從16塊V100 GPU的訓練配置上看，規(guī)模并不算大，4億參數(shù)左右。

但輸入文本直接和語音token進行拼接作為大模型的輸入，缺乏足夠的語義信息來約束模型，或者說文本和語音沒有做好“對齊”。這也就造成傳統(tǒng)TTS模型存在發(fā)音準確率低、說話風格和音色不一致的問題。

這個問題可以通過大量多樣化訓練數(shù)據(jù)來解決，但這樣一來研發(fā)周期和成本就會升高。

吉利的解決方法是在傳統(tǒng)TTS模型結(jié)構(gòu)中，引入分層聲學建模方法：

具體來說引入了一個Text-to-LVS predictor（文本到隱空間變量序列預測器），即由文本預測出蘊含重要的聲學信息和語義信息的隱變量，作為補充信息。在推理階段，這些隱變量信息與文本prompt信息一起，作為大模型的輸入。

這樣一來能夠顯著改善了合成語音中的發(fā)音錯誤和風格突變的問題。并且在訓練過程中，還會替換和復制數(shù)據(jù)段，以提高音色的均勻性。

在訓練階段，模型中還引入一個對齊器*（Text-HuBERT Aligner）來生成監(jiān)督LVS，用于輔助Text-to-LVS predictor的訓練。它把文本（音素）序列與語音的HuBERT特征對齊，生成與音素序列長度相同的監(jiān)督LVS序列。

在提取音頻特征后，還引入了K-means聚類處理，目的是為了去除原始音頻特征中的說話人個性化信息，使得模型更加關(guān)注于語音的共性特征，從而提高模型的泛化能力，以及合成語音的音色一致性。

提高語音合成準確性的同時，團隊還采用了基于UNet架構(gòu)的聲音轉(zhuǎn)換預訓練模型，生成大量具有不同音色但內(nèi)容相同的合成語音數(shù)據(jù)，以此來增加訓練數(shù)據(jù)的多樣性和數(shù)量，從而提高TTS模型的性能和泛化能力。

首先，從語音數(shù)據(jù)中提取HuBERT特征和基頻（F0），然后將這些特征輸入到一個ResNet模型中進行處理。隨后，數(shù)據(jù)經(jīng)過編碼下采樣和解碼上采用過程，最終還原成音頻信號。在解碼器上采樣階段的每一步，引入目標說話人embedding特征，實現(xiàn)改變說話音色但不改變說話內(nèi)容的效果。

一舉三得，首先是解決真實數(shù)據(jù)不足的問題，其次是規(guī)避了版權(quán)、隱私風險，以及有效解決數(shù)據(jù)稀疏（如罕見的發(fā)音、特定的口音或語調(diào)）的問題。

使用不同組合和規(guī)模的真實（Real）和合成（Synthetic）數(shù)據(jù)訓練HAM-TTS型，結(jié)果顯示，真實和合成數(shù)據(jù)綜合進行訓練，模型性能效果提升最明顯。

吉利的語音大模型SOTA了，怎么解讀？

之前不被各個廠家重視的智能座艙corner case，吉利正在用算法能力提出解決方案，完成的是智能汽車“最后一公里”的體驗提升。

這部分研發(fā)最耗時費力，對技術(shù)能力的要求也最高：

不但要明白最先進的模型好在哪，還要搞清楚它哪里不足，并且針對性提出改進。

AI大模型這本書，大部分汽車廠家只翻開了“前言”就已經(jīng)大呼頭疼，但吉利不但吃透，還做起了“批注”。

而且是實打?qū)嵉恼撐囊蛔?，團隊絕大部分成員也都是吉利的科學家——星睿語音大模型的“歸屬權(quán)”沒有爭議。

“自研”反復被重新定義的車圈，吉利是一股清流。

按照這個思路追蹤，發(fā)現(xiàn)這樣的例子還有更多。

比如吉利星睿AI大模型體系，包括語言大模型、多模態(tài)大模型、數(shù)字孿生大模型3大基礎(chǔ)模型，并由此衍生出NLP語言大模型、NPDS研發(fā)大模型、多模態(tài)感知大模型、多模態(tài)生成大模型、AI DRIVE大模型、數(shù)字生命大模型等等，構(gòu)建起了整個智能汽車的AI技術(shù)底座。

再比如算力方面，睿智算中心的云端總算力已由去年的81億億次/秒，擴容到102億億次/秒。

星睿語音大模型背后體現(xiàn)出來的，是吉利“技術(shù)爆炸”：算法能力、大模型的體系化能力、數(shù)據(jù)能力領(lǐng)先行業(yè)，也給行業(yè)提供了新方案選擇。

這是在電動化旗開得勝之后，吉利在智能化領(lǐng)域的一鳴驚人。

但對于吉利而言，整體開拓還不止于此，這幾年不光是汽車業(yè)務相關(guān)的核心技術(shù)投入，在更廣泛的底層科技層面，吉利也不斷展現(xiàn)著龍頭角色，在衛(wèi)星、芯片、操作系統(tǒng)等最核心科技突破上，吉利之力，都越來越藏不住了。

是時候重新認知吉利了。

論文地址：https://arxiv.org/abs/2403.05989