這個(gè)讓你「看片更爽」的領(lǐng)域，騰訊一次拿了15個(gè)世界冠軍

魚羊 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

中國隊(duì)在技術(shù)競賽這事兒上，真是大發(fā)了：

就在剛剛結(jié)束的一場音視頻領(lǐng)域國際頂級(jí)比賽中，來自中國的技術(shù)團(tuán)隊(duì)，一口氣包攬了全場所有冠軍！

這樣的畫面，出現(xiàn)在MSU視頻編碼器大賽上。這一賽事至今已走過十幾個(gè)年頭，是視頻編解碼領(lǐng)域全球權(quán)威賽事，被外界評(píng)價(jià)為“行業(yè)發(fā)展的風(fēng)向標(biāo)”。

剛剛揭曉結(jié)果的的FullHD（全高清）賽道，本次共設(shè)置1/5/30 fps三個(gè)速度檔位，每個(gè)速度檔位有5個(gè)關(guān)鍵指標(biāo)，總計(jì)15個(gè)關(guān)鍵指標(biāo)。騰訊編碼器包攬了全部15項(xiàng)第一。其中，騰訊自研編碼器Tencent266奪得12項(xiàng)第一，第一總數(shù)最多。

在所有標(biāo)準(zhǔn)（含H.266/H.265/AV1）編碼器中，Tencent266更是取得了3個(gè)速度檔15項(xiàng)關(guān)鍵指標(biāo)全部第一的優(yōu)異成績。

此外，騰訊Tencent-TVC編碼器取得6項(xiàng)第一，Tencent TXAV1/V265編碼器在AV1/H.265編碼器中保持行業(yè)領(lǐng)先。

雖說技術(shù)細(xì)節(jié)聽上去有些垂直，但說實(shí)話，這還真和我們所有人都關(guān)系緊密——

一句話概括，就是能讓你“看片”更爽。

并且基于這些技術(shù)，這回咱中國用戶的產(chǎn)品體驗(yàn)，還沖在了世界前列。

具體是怎么一回事，咱們今天就掰開揉碎，詳細(xì)聊聊~

壓縮視頻也是個(gè)技術(shù)活兒

先說回到MSU編解碼器大賽本身，競逐在這個(gè)賽場上的，可不只是騰訊一家大廠，阿里字節(jié)，都是?？汀?/p>

之所以如此受到業(yè)界關(guān)注，原因很簡單：

這一大賽由莫斯科國立大學(xué)圖形與媒體實(shí)驗(yàn)室主辦，測(cè)評(píng)業(yè)界開源和私有編碼器性能，經(jīng)過連續(xù)17屆的發(fā)展，已經(jīng)成為全球最知名的視頻編碼器比賽之一。因此競賽成績，也已被視作廠商實(shí)力的一種客觀評(píng)價(jià)標(biāo)準(zhǔn)。

畢竟視頻編碼器，簡單來說干的就是一個(gè)壓縮視頻大小，節(jié)省帶寬流量成本，同時(shí)還要保證視頻畫質(zhì)，讓觀眾老爺們看得過癮的活兒，可以說是音視頻廠商們安身立命的技術(shù)之一了。

在今天，你在線上看到的每一個(gè)視頻，都經(jīng)歷過視頻編碼器的“瘦身”。否則，不僅是廠商們的存儲(chǔ)、傳播成本吃不消，你的手機(jī)流量也會(huì)分分鐘變成負(fù)數(shù)。

在MSU編碼器大賽中，又屬FullHD賽道競爭最為激烈。

FullHD視頻，也就是大家熟悉的1080p視頻，是目前視頻服務(wù)中最常見的分辨率之一。

常見歸常見，相比720p、480p等其他分辨率，因?yàn)楦咔灏嘞袼?，從技術(shù)的角度來說，要對(duì)1080p視頻進(jìn)行壓縮就更難，視頻編碼器面臨的挑戰(zhàn)更大：需要更高的壓縮率來降低帶寬成本，同時(shí)要盡量降低畫質(zhì)損失。

此番F(xiàn)ullHD比賽，同樣高手如云，騰訊、百度、網(wǎng)易、B站都有編碼器團(tuán)隊(duì)參賽。

具體而言，本次比賽的規(guī)則是這樣的：為了更好地評(píng)估編碼器在各個(gè)應(yīng)用場景中的表現(xiàn)，首次引入3個(gè)速度檔位，即1 fps（Slow）、5 fps（Medium）、30 fps（Fast）轉(zhuǎn)碼，分別面向不同熱度（即不同轉(zhuǎn)碼成本）視頻的轉(zhuǎn)碼策略，熱度越高的視頻值得投入更多的算力來取得更高的壓縮率，以降低熱度視頻的帶寬成本。

值得注意的是，目前常見的視頻業(yè)務(wù)，主要采用的就是5fps、30fps以及附近的轉(zhuǎn)碼速度檔位，因此這兩項(xiàng)指標(biāo)對(duì)于實(shí)際業(yè)務(wù)性能和成本至關(guān)重要。

而在5 fps和30 fps相關(guān)的10項(xiàng)指標(biāo)中，騰訊符合最新一代視頻編碼標(biāo)準(zhǔn)H.266/VVC的Tencent266編碼器全部位列第一。在1 fps中，Tencent266也拿下兩項(xiàng)指標(biāo)第一。

在視頻編解碼領(lǐng)域最為常用的PSNR（峰值信噪比）指標(biāo)，以及業(yè)界常用來評(píng)判用戶實(shí)際觀感的VMAF-NEG指標(biāo)中，Tencent266也全部位列第一。

在本次比賽H.266賽道中，Tencent266獲得了三個(gè)速度檔位15項(xiàng)關(guān)鍵指標(biāo)全部第一。H.266/VVC是目前最先進(jìn)、壓縮率最高的視頻編碼標(biāo)準(zhǔn)，本次Tencent266在H.266賽道取得全面第一充分展現(xiàn)了Tencent266的技術(shù)先進(jìn)性。

具體壓縮效果對(duì)比如下：

以PSNR指標(biāo)為例，Tencent266編碼器在1 fps、5 fps、30 fps這3個(gè)速度檔位上，相比于x265編碼器，可以分別節(jié)省50%、53%、52%的帶寬。

所以，騰訊團(tuán)隊(duì)究竟做了哪些技術(shù)準(zhǔn)備，最終才在一眾大廠團(tuán)隊(duì)中脫穎而出拿下冠軍？

自研300+算法，搞定3大環(huán)節(jié)

要想了解這一切，還得先從冠軍團(tuán)隊(duì)采用的H.266標(biāo)準(zhǔn)說起。

H.266，又稱為多功能影像編碼VVC（Versatile Video Coding），是繼H.264和H.265之后的新一代視頻壓縮標(biāo)準(zhǔn)。

新的視頻壓縮標(biāo)準(zhǔn)出現(xiàn)，往往意味著新一代視頻編解碼技術(shù)的變革——

如H.262推動(dòng)了數(shù)字電視落地、H.264讓互聯(lián)網(wǎng)也充滿視頻，H.266不僅將視頻分辨率從4k提升至8k、視頻類型還支持了360°全景……

但新標(biāo)準(zhǔn)的出現(xiàn)，并不意味著視頻各行業(yè)就會(huì)立刻迎來“技術(shù)大升級(jí)”。

畢竟對(duì)視頻內(nèi)容生產(chǎn)平臺(tái)而言，是否支持最新一代標(biāo)準(zhǔn)，還得先評(píng)估一波編解碼產(chǎn)品落地成熟度；對(duì)各開發(fā)廠商而言，更是需要考慮新標(biāo)準(zhǔn)的技術(shù)專利費(fèi)等問題，一不留神就容易被“卡脖子”……

為了推動(dòng)新一代視頻編解碼技術(shù)的落地，從制定標(biāo)準(zhǔn)開始、到編解碼器的研發(fā)、再到產(chǎn)品應(yīng)用落地，騰訊決定每一步都“親自上陣”。

首先是在標(biāo)準(zhǔn)制定上，騰訊不僅參與其中，還貢獻(xiàn)了一波技術(shù)創(chuàng)新“點(diǎn)子”。

一方面，在負(fù)責(zé)開發(fā)H.266/VVC標(biāo)準(zhǔn)的聯(lián)合視頻專家組JVET中，騰訊多媒體實(shí)驗(yàn)室的研究人員擔(dān)任了多個(gè)關(guān)鍵職位，如參考軟件聯(lián)合主席等；

多媒體實(shí)驗(yàn)室負(fù)責(zé)人劉杉博士，還擔(dān)任了H.266/VVC標(biāo)準(zhǔn)的聯(lián)合主編。

另一方面，騰訊還深度參與了H.266/VVC的標(biāo)準(zhǔn)制定，提交的技術(shù)提案中，光是被采納的就有100余項(xiàng)，數(shù)量在德國知識(shí)產(chǎn)權(quán)平臺(tái)IPlytics上顯示位于世界前列。

最終，H.266/VVC標(biāo)準(zhǔn)相較上一代H.265/HEVC標(biāo)準(zhǔn)，在主觀視頻質(zhì)量相同的前提下，成功將碼率降低了近50%——視頻傳輸數(shù)據(jù)更少，觀看效果卻完全不變。

BUT，光是參與制定標(biāo)準(zhǔn)還遠(yuǎn)遠(yuǎn)不夠，距離落地還有相當(dāng)?shù)木嚯x。

在參與制定過程中騰訊發(fā)現(xiàn)，相比H.265/HEVC標(biāo)準(zhǔn)，H.266/VVC標(biāo)準(zhǔn)雖然增加了不少新的視頻壓縮工具、大幅提升了壓縮率，但同時(shí)也帶來了更高的編碼復(fù)雜度。

光是H.266/VVC參考軟件VTM，其編碼復(fù)雜度就是H.265參考軟件HM的8倍多，還有不少可優(yōu)化空間。

（這就類似裝修時(shí)的樣板房，雖然也能住，但畢竟沒有自己設(shè)計(jì)得舒服）

因此接下來，就必須自研H.266視頻編解碼器了。

這其中的核心難點(diǎn)又在于編碼器（也是這次比賽的重點(diǎn)）。

畢竟相較只需“瘋狂加速”的解碼器，編碼器不僅得考慮“加速”，還得考慮壓縮率。

鑒于已有的編碼工具非常多、壓縮率收益和復(fù)雜度也各異，直接使用已有技術(shù)or軟件又可能被“卡脖子”，騰訊團(tuán)隊(duì)干脆從0到1自己打造了一整個(gè)編碼器。

這個(gè)自研編碼器，也就是我們看到的Tencent266。

為了打造它，團(tuán)隊(duì)前后一共設(shè)計(jì)了300多種編碼加速和質(zhì)量優(yōu)化算法，在提升壓縮速度的同時(shí)也能提升視頻壓縮率和主觀質(zhì)量。

以H.266標(biāo)準(zhǔn)中的多類型樹（MTT）為例。這種結(jié)構(gòu)雖然能提升壓縮性能，但卻增加了不少編碼復(fù)雜度。

為此，團(tuán)隊(duì)提取并評(píng)估了像素特征與分塊模式的關(guān)系，配合編碼信息累計(jì)提出了好幾十種方法對(duì)多類型樹進(jìn)行“修剪”加速。

實(shí)測(cè)表明，這種方法在壓縮性能損失小于4%的情況下，成功將編碼速度提升8倍以上。

此外，團(tuán)隊(duì)還對(duì)代碼和內(nèi)存結(jié)構(gòu)進(jìn)行了精心設(shè)計(jì)，并配合深度優(yōu)化的匯編代碼，來進(jìn)一步提升壓縮速度。

當(dāng)然，在這次比賽之外，團(tuán)隊(duì)也有自研的Tencent266解碼器，同時(shí)也在不斷提升其效率。

最后，即使自研出了Tencent266編解碼器，還得有“用武之地”，也就是將它真正落地到產(chǎn)品上去。

因此，在技術(shù)打磨上，團(tuán)隊(duì)繼續(xù)不斷提升Tencent266的編碼速率，過去一年多里將它提速了30多倍，并在這次的MSU比賽中取得十幾個(gè)賽道領(lǐng)先的成績。

在產(chǎn)品落地上，Tencent266也早已在2021年7月就上線騰訊云，成為全球首家支持新一代國際視頻編解碼標(biāo)準(zhǔn)H.266的云廠商；

2023年2月，Tencent266又上線了騰訊云直播，成為業(yè)界首個(gè)支持H.266直播的云廠商。

總體來看，從視頻編解碼行業(yè)的制定標(biāo)準(zhǔn)、技術(shù)研發(fā)到產(chǎn)品落地，騰訊這次都走在了世界前列。

那么，在這項(xiàng)技術(shù)上取得突破，對(duì)于我們的日常生活乃至各行各業(yè)而言，又有著什么樣的意義？

不止是刷視頻看直播更“爽”

或許可以從三個(gè)角度來看待這件事。

首先，對(duì)日常生活而言，最直觀的感受就是，看視頻和看直播能變得更絲滑流暢了。

以我們看視頻的分辨率為例。分辨率更高、畫面更清晰的視頻，需求的數(shù)據(jù)量也會(huì)更高，如8k視頻更清晰，但文件通常比4k視頻更大。

正如H.265標(biāo)準(zhǔn)推動(dòng)了4k視頻落地一樣，H.266標(biāo)準(zhǔn)就是為了更好地支持8k視頻而出現(xiàn)。

如何在觀看高畫質(zhì)視頻的同時(shí)、還能保證更多設(shè)備“不卡”，就是視頻編解碼器技術(shù)發(fā)揮作用的關(guān)鍵。

隨著這項(xiàng)技術(shù)的成熟落地，未來在更多設(shè)備上縱享8k視頻絲滑也不是夢(mèng)。

而對(duì)視頻產(chǎn)業(yè)來說，則意味著無論是視頻轉(zhuǎn)碼、還是直播，市面上能為各種視頻業(yè)務(wù)提供不同速度檔位服務(wù)的產(chǎn)品已經(jīng)出現(xiàn)，并具備全面落地能力。

以點(diǎn)播和直播為例，這兩者是視頻編解碼技術(shù)的核心應(yīng)用場景，但各自對(duì)于編碼速度和編碼延時(shí)的需求都不相同。

點(diǎn)播業(yè)務(wù)更關(guān)注編碼器的壓縮能力，相較編碼速度，更關(guān)注壓縮率和畫質(zhì)的情況；

直播業(yè)務(wù)則不止關(guān)注壓縮能力，還需要編碼速度穩(wěn)定達(dá)到視頻幀率以避免卡頓，同時(shí)交互式直播場景還需要極低的編碼延時(shí)來保證交互可行性。

因此，如何在盡可能節(jié)省成本的情況下，為不同視頻業(yè)務(wù)提供不同速度檔位的服務(wù)，讓大家“更省錢看得更爽”，正是視頻編解碼技術(shù)致力于解決的難題。

如今，最新上線的Tencent266已經(jīng)支持1080p的直播能力，未來還能被拓寬到所有直播場景中。

當(dāng)然，騰訊自己也有充足的落地需求。比如在騰訊視頻看電視劇，就會(huì)大量用到視頻編解碼技術(shù)。

最后，對(duì)于科技領(lǐng)域而言，更是一次重要突破，意味著國內(nèi)在整個(gè)視頻標(biāo)準(zhǔn)這塊不再會(huì)被“卡脖子”。

此前，國際主流視頻標(biāo)準(zhǔn)一直被國外廠商“攻占”。

作為各廠商之間一種通用的視頻規(guī)范，視頻編碼標(biāo)準(zhǔn)的編寫，往往意味著核心技術(shù)的掌控。國際行業(yè)巨頭如三星、索尼、愛立信等公司，一度從中收取了巨額專利費(fèi)用。

當(dāng)時(shí)，國內(nèi)不少企業(yè)由于不具備相關(guān)視頻標(biāo)準(zhǔn)專利，往往不得不化身“打工人”、給這些國際大廠繳納專利費(fèi)，90年代VCD、DVD企業(yè)就是如此。

不僅如此，這類技術(shù)專利的過度收費(fèi)也會(huì)阻礙技術(shù)的進(jìn)一步推進(jìn)落地，反過來影響用戶的使用。

為了在音視頻技術(shù)上取得突破、真正掌握相關(guān)領(lǐng)域的國際話語權(quán)，這些年來騰訊一直在大力投入并發(fā)展相關(guān)技術(shù)方向。

不僅于2017年成立了騰訊多媒體實(shí)驗(yàn)室，而且還請(qǐng)來了多媒體方向的大牛劉杉坐鎮(zhèn)。

劉杉博士本科畢業(yè)于清華大學(xué)電子工程系，在美國南加州大學(xué)取得碩博學(xué)位，曾在多家國際知名企業(yè)擔(dān)任高級(jí)技術(shù)和管理職位職務(wù)，現(xiàn)任騰訊云副總裁、騰訊多媒體實(shí)驗(yàn)室總經(jīng)理、騰訊視頻智能創(chuàng)作與內(nèi)容平臺(tái)部副總經(jīng)理、騰訊杰出科學(xué)家。

她帶領(lǐng)團(tuán)隊(duì)在國際標(biāo)準(zhǔn)H.266/VVC、MPEG-5 EVC、MPEG PCC、MPEG Systems、IETF、3GPP、國家標(biāo)準(zhǔn)AVS2 & AVS3、開放媒體聯(lián)盟（AOMedia）標(biāo)準(zhǔn)AV2等的制定，取得突破性成果。

同時(shí)，劉杉團(tuán)隊(duì)將包含編解碼在內(nèi)的多項(xiàng)多媒體核心技術(shù)，實(shí)現(xiàn)并應(yīng)用于眾多騰訊產(chǎn)品，并通過騰訊云，騰訊視頻，騰訊游戲等廣泛業(yè)務(wù)服務(wù)全球億級(jí)用戶，創(chuàng)造巨大的商業(yè)和社會(huì)價(jià)值。

劉杉博士表示：

騰訊（多媒體實(shí)驗(yàn)室）將繼續(xù)推動(dòng)多媒體及相關(guān)領(lǐng)域的國際和國家標(biāo)準(zhǔn)制定，打造音視頻、互動(dòng)沉浸和智能媒體核心能力矩陣，基于核心能力的產(chǎn)品實(shí)現(xiàn)，通過騰訊業(yè)務(wù)平臺(tái)服務(wù)全球用戶、助力各行業(yè)發(fā)展并踐行科技向善。

如今，隨著騰訊等更多國內(nèi)廠商加入到H.266標(biāo)準(zhǔn)制定、完成技術(shù)研發(fā)和產(chǎn)品落地這一行動(dòng)中來，被國外巨頭支配的視頻標(biāo)準(zhǔn)時(shí)代已經(jīng)“一去不復(fù)返”。

不僅是騰訊，國內(nèi)包括阿里、華為、字節(jié)、快手等各大頭部廠商，都已經(jīng)紛紛推出各自的H.266方案，加速推進(jìn)這一視頻編解碼標(biāo)準(zhǔn)的落地。

未來隨著這項(xiàng)技術(shù)的進(jìn)一步落地，距離國內(nèi)引領(lǐng)視頻技術(shù)標(biāo)準(zhǔn)的時(shí)代，或許也不遠(yuǎn)了。