豆包版《Her》升級(jí)上新！隨時(shí)打斷，交流自然，還是開箱即用的那種

魚羊 2024-08-22 16:40:56 來源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

豆包大模型應(yīng)用落地，又有新進(jìn)展。

8月21日，火山引擎在AI創(chuàng)新巡展活動(dòng)上發(fā)布了豆包大模型的一系列產(chǎn)品升級(jí)。

據(jù)活動(dòng)現(xiàn)場披露，最新版豆包大語言模型的綜合能力相比三個(gè)月前首次發(fā)布時(shí)提升了20.3%：

在六項(xiàng)關(guān)鍵能力評(píng)測中，角色扮演能力提升38.3%，具備了更強(qiáng)的上下文感知，讓對(duì)話情境更連貫、角色更擬人化；語言理解提升33.3%，包括信息分類和抽取、總結(jié)摘要、閱讀理解和問答等能力增強(qiáng)。此外，模型在長文任務(wù)、數(shù)學(xué)、專業(yè)知識(shí)、代碼能力上也有不同程度提升。

值得關(guān)注的是，此次活動(dòng)還發(fā)布了豆包大模型的一系列語音能力升級(jí)。豆包大模型團(tuán)隊(duì)的Seed-ASR、Seed-TTS研究成果（論文見文末），已成功應(yīng)用于豆包語音識(shí)別模型和語音合成模型。在此基礎(chǔ)上，火山引擎整合了RTC技術(shù)（實(shí)時(shí)音視頻），全新發(fā)布對(duì)話式AI實(shí)時(shí)交互解決方案。

此方案讓用戶不僅能用語音與AI進(jìn)行交談，還能像平時(shí)說話一樣、在對(duì)話過程中適時(shí)打斷或插話，整體對(duì)話質(zhì)量不受影響。經(jīng)過升級(jí)后的AI聲音相較以往而言更具表現(xiàn)力和感情色彩，對(duì)話也因此更自然、更真實(shí)、更流暢，讓大模型交互體驗(yàn)更強(qiáng)。

現(xiàn)場，火山引擎還攜手多點(diǎn)DMALL成立零售大模型生態(tài)聯(lián)盟，基于豆包大模型打造零售AI解決方案。首批聯(lián)盟成員包括物美集團(tuán)、抖音電商、抖音生活服務(wù)、百勝、麥當(dāng)勞、中國飛鶴、海底撈、居然之家、南7-11、重慶百貨、百果園、波司登、天虹、三得利、絕味、名創(chuàng)優(yōu)品、NielsenIQ、電通等。

自然流暢的AI實(shí)時(shí)語音應(yīng)用，一站式搞定

搭載火山方舟大模型服務(wù)平臺(tái)，通過火山引擎RTC實(shí)現(xiàn)語音數(shù)據(jù)的高效采集、處理和傳輸，并深度整合豆包·語音識(shí)別模型和豆包·語音合成模型，簡化語音到文本和文本到語音的轉(zhuǎn)換過程，火山引擎對(duì)話式AI實(shí)時(shí)交互解決方案，提供優(yōu)秀的智能對(duì)話和自然語言處理能力，幫助應(yīng)用快速實(shí)現(xiàn)用戶和云端大模型的實(shí)時(shí)語音通話。

• 豆包·語音識(shí)別模型：更高的準(zhǔn)確率及靈敏度，更低的語音識(shí)別延遲，支持多語種的正確識(shí)別。
• 豆包·語音合成模型：解鎖「豆包」同款音色，提供自然生動(dòng)的語音合成能力，善于表達(dá)多種情緒，演繹多種場景。
• 火山方舟：提供模型精調(diào)、推理、評(píng)測等全方位功能與服務(wù)，提供豐富的插件生態(tài)和AI原生應(yīng)用開發(fā)服務(wù)，全方位保障企業(yè)級(jí)AI應(yīng)用落地。

△對(duì)話式AI實(shí)時(shí)交互服務(wù)方案架構(gòu)

開箱即用快速搭建，只需調(diào)用標(biāo)準(zhǔn)的OpenAPI接口即可配置所需的語音識(shí)別（ASR）、大語言模型（LLM）、語音合成（TTS）類型和參數(shù)。而火山引擎AIGC RTC-Server負(fù)責(zé)邊緣用戶接入、云端資源調(diào)度、文本與語音轉(zhuǎn)換處理以及數(shù)據(jù)訂閱傳輸?shù)拳h(huán)節(jié)。整體簡化開發(fā)流程，讓企業(yè)應(yīng)用更專注在對(duì)大模型核心能力的訓(xùn)練及調(diào)試，加速AI實(shí)時(shí)語音場景創(chuàng)新。

隨時(shí)打斷，交流自然

要讓與AI的交流像和朋友一樣自然，隨時(shí)打斷甚至直接插話，關(guān)鍵在于：當(dāng)用戶和AI同時(shí)說話時(shí)，如何解決互相干擾的音頻“雙講”現(xiàn)象。

火山引擎RTC基于成熟的音頻3A處理技術(shù)，針對(duì)“雙講”通過傳統(tǒng)回聲消除算法和深度學(xué)習(xí)算法的結(jié)合，不僅有效去除回聲，還能避免用戶語音被過度處理，確保云端語音識(shí)別（ASR）能準(zhǔn)確捕捉和識(shí)別用戶的語音信息。

此外，火山引擎RTC通過簡化算法提高處理速度，避免因算法復(fù)雜性帶來的額外延時(shí)。

實(shí)時(shí)秒回，全球暢聊

火山引擎RTC依托于WebRTC傳輸網(wǎng)絡(luò)（WTN），優(yōu)選全球海量優(yōu)質(zhì)節(jié)點(diǎn)，實(shí)現(xiàn)全球用戶智能接入和音視頻數(shù)據(jù)超低延時(shí)傳輸，在復(fù)雜的網(wǎng)絡(luò)環(huán)境下具有強(qiáng)大的抗弱網(wǎng)能力，即使在高達(dá)80%的數(shù)據(jù)包丟失率下，也能確保音頻傳輸?shù)姆€(wěn)定和質(zhì)量。

同時(shí)，火山引擎RTC結(jié)合云端語音識(shí)別流式處理，優(yōu)化鏈路延遲，端到端響應(yīng)延時(shí)可低至1秒。此外，火山引擎實(shí)時(shí)信令RTS可提供穩(wěn)定可靠、低延時(shí)、高并發(fā)的信令收發(fā)能力，可對(duì)文字信令高效傳輸。

不受限于AI服務(wù)部署區(qū)域，用戶無論身處何地，是語音交流還是文字對(duì)話，都可以享受極低延遲、流暢的AI交互體驗(yàn)。

產(chǎn)品融合，高效架構(gòu)

在方案中，客戶端提供音頻幀級(jí)別的語音活動(dòng)性檢測（VAD），可以精準(zhǔn)檢測出音頻信號(hào)中何時(shí)有人正在說話，何時(shí)是靜默狀態(tài)。幫助整體語音系統(tǒng)更有效地處理語音輸入，更準(zhǔn)確地識(shí)別和理解用戶的指令或話語，減少誤識(shí)別。同時(shí)，避免對(duì)無意義的背景聲進(jìn)行處理，從而節(jié)省計(jì)算資源，提高系統(tǒng)的整體效率。

當(dāng)前人工智能領(lǐng)域創(chuàng)新和突破正以前所未有的速度發(fā)生，幾乎每周都有新的進(jìn)展。AIGC交互形態(tài)和規(guī)模也在快速發(fā)展中，如從文字到語音再到視頻等多模態(tài)，從1對(duì)1到多人多Agent互動(dòng)。火山引擎對(duì)話式AI實(shí)時(shí)交互服務(wù)在支持實(shí)時(shí)語音基礎(chǔ)上，也在探索拓展多模態(tài)視頻對(duì)話和多人群聊等場景，幫助開發(fā)者能夠快速迭代和創(chuàng)新，不斷推出新的應(yīng)用場景和玩法。

靈活、多樣化的接入方案

對(duì)于追求快速部署AI實(shí)時(shí)語音功能的企業(yè)來說，火山引擎提供的一站式解決方案，讓企業(yè)能夠?qū)Ｗ⒂诖蛟旌诵墓δ芎蛣?chuàng)新，而不必深陷底層技術(shù)的細(xì)節(jié)。此外，火山引擎也提供多樣化的接入方案，以滿足不同企業(yè)在開發(fā)應(yīng)用時(shí)的具體需求。以下是另外兩種接入方案：

• 自集成方案：企業(yè)可以利用火山引擎RTC的音視頻采集處理能力、云端媒體服務(wù)和音視頻數(shù)據(jù)傳輸技術(shù)，結(jié)合ASR、LLM以及TTS等技術(shù)構(gòu)建一個(gè)完整大模型語音處理流程，實(shí)現(xiàn)更自主、靈活的架構(gòu)設(shè)計(jì)。
• WebRTC傳輸網(wǎng)絡(luò)（WTN）方案：對(duì)于在客戶端擁有自主研發(fā)音視頻技術(shù)的企業(yè)，火山引擎提供了基于WebRTC標(biāo)準(zhǔn)協(xié)議構(gòu)建的傳輸網(wǎng)絡(luò)（WTN）。通過接入WTN，企業(yè)能夠輕松獲得全球范圍內(nèi)的超低延遲、穩(wěn)定可靠的實(shí)時(shí)音視頻傳輸服務(wù)，提升端到端多模態(tài)大模型的響應(yīng)效率。

通過這些方案，企業(yè)可以根據(jù)自己的技術(shù)棧和業(yè)務(wù)場景，選擇最合適的接入方式，實(shí)現(xiàn)高質(zhì)量的AI實(shí)時(shí)語音場景。目前，火山引擎提供的AI實(shí)時(shí)語音能力已在國內(nèi)TOP級(jí)的AI虛擬人物聊天產(chǎn)品中應(yīng)用落地，為眾多用戶帶來全新的互動(dòng)體驗(yàn)。

Seed-TTS及Seed-ASR技術(shù)詳情：

Seed-TTS: A Family of High-Quality Versatile Speech Generation Models
論文鏈接：https://arxiv.org/pdf/2406.02430
Demo展示：https://bytedancespeech.github.io/seedtts_tech_report/

Seed-ASR: Understanding Diverse Speech and Contexts with LLM-based Speech Recognition
論文鏈接：https://team.doubao.com/zh/publication/seed-asr-understanding-diverse-speech-and-contexts-with-llm-based-speech-recognition?view_from=research
Demo展示：https://bytedancespeech.github.io/seedasr_tech_report/

*本文系量子位獲授權(quán)刊載，觀點(diǎn)僅為作者所有。

— 完 —