火山引擎超清修復(fù)Beyond經(jīng)典演唱會(huì)，技術(shù)能力已對(duì)外開(kāi)放

量子位的朋友們 2022-07-05 09:17:26 來(lái)源：量子位

7月3日晚，抖音攜手環(huán)球音樂(lè)旗下廠牌寶麗金，直播經(jīng)過(guò)火山引擎超清修復(fù)的Beyond Live1991生命接觸演唱會(huì)及紀(jì)念音樂(lè)會(huì)精選內(nèi)容，吸引了超1.4億人次觀看。

Beyond是一支成立于1983年的搖滾樂(lè)隊(duì)，隨著粵語(yǔ)音樂(lè)的興起，Beyond樂(lè)隊(duì)的名字成為一個(gè)時(shí)代的文化印記。“Beyond Live1991生命接觸” 是Beyond第一次在紅磡體育館舉辦的演唱會(huì)，寶麗金隨后發(fā)行的影碟在90年代幾乎一盤(pán)難求。此后的31年中，這場(chǎng)演唱會(huì)成為幾代歌迷的音樂(lè)啟蒙和青春記憶。

受限于當(dāng)時(shí)的拍攝器材、存儲(chǔ)介質(zhì)及錄音設(shè)備技術(shù)，演唱會(huì)母帶及網(wǎng)絡(luò)上流傳的各版本音視頻質(zhì)量欠佳。為了提升觀看和聽(tīng)感體驗(yàn)，再現(xiàn)Beyond這場(chǎng)經(jīng)典之作，火山引擎從畫(huà)質(zhì)和音質(zhì)兩個(gè)方面進(jìn)行了修復(fù)。

火山引擎多媒體實(shí)驗(yàn)室介紹，早期軟硬件設(shè)備落后，導(dǎo)致影片在制作、壓縮、傳輸?shù)冗^(guò)程中存在畫(huà)面模糊、紋理丟失和噪聲瑕疵等問(wèn)題。提升畫(huà)質(zhì)的同時(shí)恢復(fù)盡可能多的細(xì)節(jié)，優(yōu)化色彩并保留復(fù)古感，以及調(diào)節(jié)不同大小、姿態(tài)人像的修復(fù)效果，是本次修復(fù)的難點(diǎn)。

“我們的目標(biāo)是從畫(huà)面整體清晰度、人像五官?gòu)?fù)原度、色彩亮度、流暢度、美觀度等方面對(duì)畫(huà)質(zhì)進(jìn)行提升。”畫(huà)質(zhì)上，本次修復(fù)通過(guò)清晰度增強(qiáng)和瑕疵修復(fù)、分區(qū)域色彩亮度增強(qiáng)等算法，處理早期軟硬件設(shè)備落后導(dǎo)致的問(wèn)題。視頻分辨率從不足540p提升到接近4K水平，幀率從25fps提升到60fps。

通過(guò)人像增強(qiáng)算法修復(fù)，黃家駒面部的眼線、毛孔等細(xì)節(jié)清晰可見(jiàn)

此外，火山引擎多媒體實(shí)驗(yàn)室還自研自適應(yīng)人像增強(qiáng)算法，針對(duì)人臉壓縮損傷、模糊、低分辨率等問(wèn)題，進(jìn)行修復(fù)增強(qiáng)。該技術(shù)基于深度學(xué)習(xí)，在消除人臉整體的模糊和壓縮損傷的同時(shí)，進(jìn)一步對(duì)人臉關(guān)鍵的五官進(jìn)行細(xì)節(jié)重建。修復(fù)后，人物面部的胡須、毛孔清晰可見(jiàn)，給觀眾帶來(lái)更佳視覺(jué)感受。

在音質(zhì)修復(fù)方面，火山引擎音頻技術(shù)團(tuán)隊(duì)通過(guò)音頻降噪、音頻超分和響度算法，消除噪聲提升音質(zhì)，解決響度、噪聲干擾、帶寬不足等問(wèn)題。

與傳統(tǒng)降噪方案不同，本次降噪算法針對(duì)音樂(lè)場(chǎng)景和人聲場(chǎng)景，實(shí)現(xiàn)了兼容AI降噪算法，在保留音樂(lè)和人聲的前提下，抑制周?chē)肼?。音頻超分算法則對(duì)演唱會(huì)中的人聲部分進(jìn)行頻帶拓展，豐富高頻信息，使人聲更加清晰。從頻譜圖中可以看到，通過(guò)超分模塊的處理，原始音頻的高頻部分得到了拓展和增強(qiáng)。

通過(guò)音頻超分算法的處理，原始音頻大于12kHz的高頻信息得到了一定程度的補(bǔ)全修復(fù)

由于演唱會(huì)的拾音情況不同，導(dǎo)致演唱會(huì)唱歌的聲音有時(shí)候相對(duì)樂(lè)器聲和環(huán)境音過(guò)小，火山引擎音頻技術(shù)團(tuán)隊(duì)利用響度算法首先單獨(dú)提取唱歌的部分，然后調(diào)整唱歌部分的響度，最后再混合，使得整體的人聲更加舒適。

據(jù)了解，演唱會(huì)的這些修復(fù)能力均已通過(guò)火山引擎智能處理、音頻技術(shù)產(chǎn)品對(duì)外提供服務(wù)。另外，火山引擎還對(duì)外開(kāi)放了畫(huà)質(zhì)全鏈路端到端解決方案，覆蓋上傳、轉(zhuǎn)碼、傳輸、消費(fèi)等環(huán)節(jié)，實(shí)現(xiàn)視頻內(nèi)容在畫(huà)質(zhì)、碼率、體驗(yàn)等方面的全方位優(yōu)化。

數(shù)字化技術(shù)正成為驅(qū)動(dòng)文化傳承的力量。相關(guān)報(bào)道顯示，2021年10月，西瓜視頻及火山引擎推出“經(jīng)典視頻4K修復(fù)計(jì)劃”，通過(guò)技術(shù)手段，已累計(jì)修復(fù)完成71部經(jīng)典動(dòng)畫(huà)片，修復(fù)后的內(nèi)容可在西瓜視頻、鮮時(shí)光TV免費(fèi)觀看。
火山引擎相關(guān)負(fù)責(zé)人介紹，未來(lái)還會(huì)利用更多先進(jìn)技術(shù)修復(fù)經(jīng)典影像，讓經(jīng)典煥發(fā)新生。