抖音智創(chuàng)語音團隊三維菁彩聲助力總臺中秋晚會沉浸式直播
Audio Vivid是自主知識產(chǎn)權(quán)的三維聲技術(shù)標(biāo)準(zhǔn)
2022年中央廣播電視總臺中秋晚會首次采用三維菁彩聲 (Audio Vivid)進行制作，通過“百城千屏”超高清公共大屏傳播體系進行播出。9月10日在廣場的大屏上觀看中秋晚會的市民，不僅可看到纖毫畢現(xiàn)的超高清視頻，還可以戴上耳機通過“云聽”客戶端收聽到與公共大屏超高清視頻同步的三維聲版本的菁彩聲，感受中秋晚會現(xiàn)場的震撼效果。
三維菁彩聲 (Audio Vivid)是自主知識產(chǎn)權(quán)的三維聲技術(shù)標(biāo)準(zhǔn)，并以世界超高清視頻產(chǎn)業(yè)聯(lián)盟（UWA）團體標(biāo)準(zhǔn)發(fā)布。而總臺的中秋晚會是三維菁彩聲 (Audio Vivid)首次面向公眾提供服務(wù)。
沉浸式的空間音頻對比傳統(tǒng)的立體聲擁有更好的空間呈現(xiàn)效果，能精準(zhǔn)地再現(xiàn)每個音源的位置和所處環(huán)境的空間信息?？臻g音頻的帶來的沉浸式體驗已經(jīng)在影視、音樂等場景有廣泛的應(yīng)用，例如常見的全景聲、環(huán)繞聲等技術(shù)都是利用多個外接音箱設(shè)備構(gòu)成5.1, 7.1.4等音箱播放系統(tǒng)來實現(xiàn)空間音頻的回放。但昂貴的設(shè)備和嚴苛的環(huán)境要求阻礙了大眾對空間音頻沉浸式體驗的追求。
抖音集團作為UWA成員深度參與了三維菁彩聲 (Audio Vivid)標(biāo)準(zhǔn)的制定和開發(fā)，旗下智能創(chuàng)作語音團隊SAMI（Speech, Audio and Music Intelligence）貢獻并開源了一整套元數(shù)據(jù)系統(tǒng)和三維聲雙耳渲染引擎。讓聽眾帶上耳機就可以身臨其境地感受錄制現(xiàn)場震撼的三維聲場聽音感受。
雙耳渲染示意圖
如果結(jié)合設(shè)備的頭部追蹤能力（比如耳機或者頭戴VR\AR設(shè)備中的陀螺儀等）還可以實現(xiàn)聲場的跟隨旋轉(zhuǎn)，大幅提升臨場感。開啟空間音頻雙耳聲的渲染，音頻的空間感得到了體現(xiàn)。隨著頭動，聲音隨畫面在空間中的移動變化都能夠通過雙耳聲渲染引擎實時渲染，讓人有一種置身影院之中的感覺。
同時，三維聲雙耳渲染技術(shù)也可以應(yīng)用在游戲中，提高音頻的表現(xiàn)力，使游戲中的虛擬世界的內(nèi)容更加真實和震撼。
抖音智創(chuàng)語音團隊的三維聲雙耳渲染引擎支持環(huán)繞聲、FOA、HOA、基于對象等沉浸式音源格式的實時雙耳聲渲染。整個渲染引擎流程如下圖所示：
三維聲渲染引擎流程圖
利用元數(shù)據(jù)和音頻信息，三維聲雙耳渲染引擎可以在移動端上實現(xiàn)同時最多128路對象的雙耳聲實時渲染，或者從1到7階的Ambisonic格式的渲染。
為了滿足直播、互動等場景低延遲、低功耗、高沉浸且統(tǒng)一的音頻渲染要求。三維聲雙耳渲染引擎通過一系列自主研發(fā)的沉浸式渲染算法，對三維聲場進行精細的重構(gòu),并對雙耳聲還原模式做了一系列的效果和性能優(yōu)化。讓原本需要多聲道的音箱系統(tǒng)才能體驗的三維空間感能用耳機就可以感受，三維沉浸式的空間音頻體驗從此不用再受硬件的限制。同時也期待更多的影視、音樂等作品能采用三維菁彩聲 (Audio Vivid)來制作，一起豐富沉浸式的音視頻內(nèi)容體驗。
- 超詳細！2025科技創(chuàng)變者大會最新議程公布！2025-08-21
- 中科慧遠發(fā)布CASIVIBOT，以九年積累開啟AOI與機器人協(xié)同的品質(zhì)檢測新時代2025-08-20
- 嚯！剛剛，張麻子陪我玩黑猴了2025-08-19
- 機器人全產(chǎn)業(yè)鏈接會 FAIR plus 2026媒體見面會在京召開2025-08-16
相關(guān)閱讀
誰在讓字節(jié)跳動？張一鳴領(lǐng)銜14大將，106位高管架構(gòu)首次曝光
去年字節(jié)跳動的員工數(shù)量幾乎翻了一番，員工數(shù)甚至超過了Facebook。
