豆包版《Her》升級上新！隨時打斷，交流自然，還是開箱即用的那種
已在國內(nèi)TOP級數(shù)字人聊天產(chǎn)品中應(yīng)用落地
允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
豆包大模型應(yīng)用落地，又有新進展。
8月21日，火山引擎在AI創(chuàng)新巡展活動上發(fā)布了豆包大模型的一系列產(chǎn)品升級。
據(jù)活動現(xiàn)場披露，最新版豆包大語言模型的綜合能力相比三個月前首次發(fā)布時提升了20.3%：
在六項關(guān)鍵能力評測中，角色扮演能力提升38.3%，具備了更強的上下文感知，讓對話情境更連貫、角色更擬人化；語言理解提升33.3%，包括信息分類和抽取、總結(jié)摘要、閱讀理解和問答等能力增強。此外，模型在長文任務(wù)、數(shù)學(xué)、專業(yè)知識、代碼能力上也有不同程度提升。
值得關(guān)注的是，此次活動還發(fā)布了豆包大模型的一系列語音能力升級。豆包大模型團隊的Seed-ASR、Seed-TTS研究成果（論文見文末），已成功應(yīng)用于豆包語音識別模型和語音合成模型。在此基礎(chǔ)上，火山引擎整合了RTC技術(shù)（實時音視頻），全新發(fā)布對話式AI實時交互解決方案。
此方案讓用戶不僅能用語音與AI進行交談，還能像平時說話一樣、在對話過程中適時打斷或插話，整體對話質(zhì)量不受影響。經(jīng)過升級后的AI聲音相較以往而言更具表現(xiàn)力和感情色彩，對話也因此更自然、更真實、更流暢，讓大模型交互體驗更強。
現(xiàn)場，火山引擎還攜手多點DMALL成立零售大模型生態(tài)聯(lián)盟，基于豆包大模型打造零售AI解決方案。首批聯(lián)盟成員包括物美集團、抖音電商、抖音生活服務(wù)、百勝、麥當(dāng)勞、中國飛鶴、海底撈、居然之家、南7-11、重慶百貨、百果園、波司登、天虹、三得利、絕味、名創(chuàng)優(yōu)品、NielsenIQ、電通等。
自然流暢的AI實時語音應(yīng)用，一站式搞定
搭載火山方舟大模型服務(wù)平臺，通過火山引擎RTC實現(xiàn)語音數(shù)據(jù)的高效采集、處理和傳輸，并深度整合豆包·語音識別模型和豆包·語音合成模型，簡化語音到文本和文本到語音的轉(zhuǎn)換過程，火山引擎對話式AI實時交互解決方案，提供優(yōu)秀的智能對話和自然語言處理能力，幫助應(yīng)用快速實現(xiàn)用戶和云端大模型的實時語音通話。
- 豆包·語音識別模型：更高的準(zhǔn)確率及靈敏度，更低的語音識別延遲，支持多語種的正確識別。
- 豆包·語音合成模型：解鎖「豆包」同款音色，提供自然生動的語音合成能力，善于表達多種情緒，演繹多種場景。
- 火山方舟：提供模型精調(diào)、推理、評測等全方位功能與服務(wù)，提供豐富的插件生態(tài)和AI原生應(yīng)用開發(fā)服務(wù)，全方位保障企業(yè)級AI應(yīng)用落地。
△對話式AI實時交互服務(wù)方案架構(gòu)
開箱即用快速搭建，只需調(diào)用標(biāo)準(zhǔn)的OpenAPI接口即可配置所需的語音識別（ASR）、大語言模型（LLM）、語音合成（TTS）類型和參數(shù)。而火山引擎AIGC RTC-Server負責(zé)邊緣用戶接入、云端資源調(diào)度、文本與語音轉(zhuǎn)換處理以及數(shù)據(jù)訂閱傳輸?shù)拳h(huán)節(jié)。整體簡化開發(fā)流程，讓企業(yè)應(yīng)用更專注在對大模型核心能力的訓(xùn)練及調(diào)試，加速AI實時語音場景創(chuàng)新。
隨時打斷，交流自然
要讓與AI的交流像和朋友一樣自然，隨時打斷甚至直接插話，關(guān)鍵在于：當(dāng)用戶和AI同時說話時，如何解決互相干擾的音頻“雙講”現(xiàn)象。
火山引擎RTC基于成熟的音頻3A處理技術(shù)，針對“雙講”通過傳統(tǒng)回聲消除算法和深度學(xué)習(xí)算法的結(jié)合，不僅有效去除回聲，還能避免用戶語音被過度處理，確保云端語音識別（ASR）能準(zhǔn)確捕捉和識別用戶的語音信息。
此外，火山引擎RTC通過簡化算法提高處理速度，避免因算法復(fù)雜性帶來的額外延時。
實時秒回，全球暢聊
火山引擎RTC依托于WebRTC傳輸網(wǎng)絡(luò)（WTN），優(yōu)選全球海量優(yōu)質(zhì)節(jié)點，實現(xiàn)全球用戶智能接入和音視頻數(shù)據(jù)超低延時傳輸，在復(fù)雜的網(wǎng)絡(luò)環(huán)境下具有強大的抗弱網(wǎng)能力，即使在高達80%的數(shù)據(jù)包丟失率下，也能確保音頻傳輸?shù)姆€(wěn)定和質(zhì)量。
同時，火山引擎RTC結(jié)合云端語音識別流式處理，優(yōu)化鏈路延遲，端到端響應(yīng)延時可低至1秒。此外，火山引擎實時信令RTS可提供穩(wěn)定可靠、低延時、高并發(fā)的信令收發(fā)能力，可對文字信令高效傳輸。
不受限于AI服務(wù)部署區(qū)域，用戶無論身處何地，是語音交流還是文字對話，都可以享受極低延遲、流暢的AI交互體驗。
產(chǎn)品融合，高效架構(gòu)
在方案中，客戶端提供音頻幀級別的語音活動性檢測（VAD），可以精準(zhǔn)檢測出音頻信號中何時有人正在說話，何時是靜默狀態(tài)。幫助整體語音系統(tǒng)更有效地處理語音輸入，更準(zhǔn)確地識別和理解用戶的指令或話語，減少誤識別。同時，避免對無意義的背景聲進行處理，從而節(jié)省計算資源，提高系統(tǒng)的整體效率。
當(dāng)前人工智能領(lǐng)域創(chuàng)新和突破正以前所未有的速度發(fā)生，幾乎每周都有新的進展。AIGC交互形態(tài)和規(guī)模也在快速發(fā)展中，如從文字到語音再到視頻等多模態(tài)，從1對1到多人多Agent互動?；鹕揭鎸υ捠紸I實時交互服務(wù)在支持實時語音基礎(chǔ)上，也在探索拓展多模態(tài)視頻對話和多人群聊等場景，幫助開發(fā)者能夠快速迭代和創(chuàng)新，不斷推出新的應(yīng)用場景和玩法。
靈活、多樣化的接入方案
對于追求快速部署AI實時語音功能的企業(yè)來說，火山引擎提供的一站式解決方案，讓企業(yè)能夠?qū)Ｗ⒂诖蛟旌诵墓δ芎蛣?chuàng)新，而不必深陷底層技術(shù)的細節(jié)。此外，火山引擎也提供多樣化的接入方案，以滿足不同企業(yè)在開發(fā)應(yīng)用時的具體需求。以下是另外兩種接入方案：
- 自集成方案：企業(yè)可以利用火山引擎RTC的音視頻采集處理能力、云端媒體服務(wù)和音視頻數(shù)據(jù)傳輸技術(shù)，結(jié)合ASR、LLM以及TTS等技術(shù)構(gòu)建一個完整大模型語音處理流程，實現(xiàn)更自主、靈活的架構(gòu)設(shè)計。
- WebRTC傳輸網(wǎng)絡(luò)（WTN）方案：對于在客戶端擁有自主研發(fā)音視頻技術(shù)的企業(yè)，火山引擎提供了基于WebRTC標(biāo)準(zhǔn)協(xié)議構(gòu)建的傳輸網(wǎng)絡(luò)（WTN）。通過接入WTN，企業(yè)能夠輕松獲得全球范圍內(nèi)的超低延遲、穩(wěn)定可靠的實時音視頻傳輸服務(wù)，提升端到端多模態(tài)大模型的響應(yīng)效率。
通過這些方案，企業(yè)可以根據(jù)自己的技術(shù)棧和業(yè)務(wù)場景，選擇最合適的接入方式，實現(xiàn)高質(zhì)量的AI實時語音場景。目前，火山引擎提供的AI實時語音能力已在國內(nèi)TOP級的AI虛擬人物聊天產(chǎn)品中應(yīng)用落地，為眾多用戶帶來全新的互動體驗。
Seed-TTS及Seed-ASR技術(shù)詳情：
Seed-TTS: A Family of High-Quality Versatile Speech Generation Models
論文鏈接：https://arxiv.org/pdf/2406.02430
Demo展示：https://bytedancespeech.github.io/seedtts_tech_report/
Seed-ASR: Understanding Diverse Speech and Contexts with LLM-based Speech Recognition
論文鏈接：https://team.doubao.com/zh/publication/seed-asr-understanding-diverse-speech-and-contexts-with-llm-based-speech-recognition?view_from=research
Demo展示：https://bytedancespeech.github.io/seedasr_tech_report/
*本文系量子位獲授權(quán)刊載，觀點僅為作者所有。
— 完 —
相關(guān)閱讀
