字節(jié)造芯新進(jìn)展：編碼提升30%、轉(zhuǎn)碼“以一當(dāng)百”，將服務(wù)火山引擎

十三 2023-08-23 13:36:49 來源：量子位

允中 整理自 火山引擎

量子位 | 公眾號(hào) QbitAI

去年7月，外界曾有字節(jié)造芯傳聞，字節(jié)跳動(dòng)副總裁楊震原在媒體采訪中回應(yīng)稱，公司無通用芯片商業(yè)計(jì)劃，沒有涉足CPU、GPU等通用芯片業(yè)務(wù)。

自研芯片探索主要圍繞自身視頻推薦業(yè)務(wù)展開，研發(fā)團(tuán)隊(duì)將為字節(jié)跳動(dòng)大規(guī)模視頻推薦服務(wù)專用場(chǎng)景定制硬件優(yōu)化，如視頻編解碼、云端推理加速等，以期提升性能，降低成本。

8月22日的一場(chǎng)活動(dòng)中，字節(jié)跳動(dòng)旗下火山引擎首次公開發(fā)布了自研的視頻編解碼芯片。

據(jù)字節(jié)跳動(dòng)視頻架構(gòu)負(fù)責(zé)人、火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅介紹，這款專用芯片已出片。

經(jīng)驗(yàn)證，該芯片的視頻壓縮效率相比行業(yè)主流硬件編碼器可提升30%以上，未來將服務(wù)于抖音、西瓜視頻等視頻業(yè)務(wù)，并通過火山引擎視頻云開放給企業(yè)客戶。

以下為王悅演講全文：

大家好，我是字節(jié)跳動(dòng)視頻架構(gòu)負(fù)責(zé)人王悅，今天主要與大家分享：面對(duì)全行業(yè)視頻化時(shí)代的技術(shù)挑戰(zhàn)，火山引擎視頻云是如何在算力、體驗(yàn)和交互層面進(jìn)行探索的。

首先，視頻化應(yīng)用在全行業(yè)不斷深入滲透，視頻數(shù)據(jù)也在持續(xù)激增，視頻技術(shù)和應(yīng)用在未來主要面臨哪些大的挑戰(zhàn)呢？我們認(rèn)為，有三個(gè)邊界需要突破：

第一個(gè)邊界是算力邊界，視頻數(shù)據(jù)不僅體量在激增，分辨率和清晰度也在持續(xù)提升，而且，視頻壓縮和處理的算法在不斷的更新迭代，越來越復(fù)雜，因此視頻轉(zhuǎn)碼和處理的算力需要能夠跟得上。但同時(shí)，摩爾定律在持續(xù)變慢，如何為企業(yè)提供算力強(qiáng)、算力足且夠便宜的計(jì)算基建，是當(dāng)前視頻行業(yè)面臨的最大挑戰(zhàn)；

第二個(gè)是體驗(yàn)邊界，用戶會(huì)持續(xù)追求極致體驗(yàn)，希望視頻更清晰、更流暢。那到底多清晰才是終點(diǎn)呢？隨著越來越多的內(nèi)容被AIGC技術(shù)所生成或加工，對(duì)這類內(nèi)容質(zhì)量的定義和評(píng)判標(biāo)準(zhǔn)，以及處理的算法和流程，可能都要跳出現(xiàn)有的基于信噪比的理論框架，重新探索體驗(yàn)的邊界在哪里；

第三個(gè)是交互邊界，近幾年沉浸式媒體方向在持續(xù)加溫，視頻的觀看體驗(yàn)在逐步從二維畫面延伸到三維空間，給予交互更多的自由度。虛擬世界與現(xiàn)實(shí)世界將無限融合。今年蘋果發(fā)布了vision pro，帶給了大家一些新的憧憬，也許已近百年的二維畫面的呈現(xiàn)與交互邊界很快將被突破。

下面我們看一下，火山引擎視頻云做了哪些探索和實(shí)踐，以突破這三個(gè)邊界。

首先，應(yīng)對(duì)算力挑戰(zhàn)，火山引擎視頻云基于抖音的大規(guī)模應(yīng)用實(shí)踐和打磨，實(shí)現(xiàn)了從通用計(jì)算到異構(gòu)計(jì)算的進(jìn)階，沉淀了可以為不同視頻場(chǎng)景提供專用且適用的算力支持，不斷朝著更強(qiáng)大、更好用、更便宜的方向前行：在我們的異構(gòu)計(jì)算集群中，除了先前主流的x86機(jī)器，還有GPU、ASIC、FPGA、ARM板卡陣列等幾種不同的計(jì)算資源。

對(duì)于深度學(xué)習(xí)、并行計(jì)算、高性能渲染，我們會(huì)用GPU做算力支撐，主要應(yīng)用在視頻畫質(zhì)檢測(cè)與分析、質(zhì)量增強(qiáng)處理、XR云端渲染等場(chǎng)景。

ASIC算力是我們重點(diǎn)規(guī)劃的研發(fā)方向，今天，我們也正式推出火山引擎自研視頻編解碼芯片。這款芯片有幾個(gè)數(shù)據(jù)還是值得興奮的：

一臺(tái)視頻編解碼芯片服務(wù)器的轉(zhuǎn)碼能力，相當(dāng)于百臺(tái)CPU服務(wù)器的算力；同時(shí)火山引擎自研視頻編碼芯片的壓縮效率也相當(dāng)優(yōu)秀，比行業(yè)主流硬件編碼器提升30%以上；從而，可以讓單個(gè)視頻的計(jì)算、存儲(chǔ)和傳輸?shù)倪呺H成本達(dá)到平衡。

大家知道在（視頻）芯片這個(gè)領(lǐng)域，一定要達(dá)到一定的規(guī)模門檻，累加的邊際收益才能夠cover前期投入的沉沒成本，實(shí)現(xiàn)正向的ROI。正是因?yàn)槎兑舻犬a(chǎn)品的業(yè)務(wù)規(guī)模，為我們供給了一個(gè)十分寬廣的獲得杠桿收益空間，使我們可以在這個(gè)方向持續(xù)投入頂尖研發(fā)團(tuán)隊(duì)，不斷迭代和進(jìn)化，最終實(shí)現(xiàn)更高密度、更好壓縮性能和更極致降本。

我們還支持FPGA算力，它是一種比較折衷的算力資源。相比ASIC，F(xiàn)PGA的密度、吞吐雖然差一些，但它的主要優(yōu)勢(shì)是可擦寫、更靈活，能夠完成漸進(jìn)迭代，也為我們的ASIC方案提供了先行驗(yàn)證。火山引擎視頻云現(xiàn)在的圖片和動(dòng)圖轉(zhuǎn)碼服務(wù)都是跑在FPGA上的。部分點(diǎn)播、直播服務(wù)里也在使用FPGA，該編碼器整體編碼性能比行業(yè)標(biāo)準(zhǔn)編碼器(GPU)提升30%，在MSU賽事中多次蟬聯(lián)最佳4K FPGA編碼器稱號(hào)。

此外，火山引擎視頻云還有ARM板卡陣列，這個(gè)方案本來是用來支持云游戲、云手機(jī)等場(chǎng)景需求而研發(fā)的。我們把編轉(zhuǎn)碼和處理引擎在ARM指令集上深度集成和優(yōu)化之后，經(jīng)過大規(guī)模實(shí)測(cè)，發(fā)現(xiàn)這種算力資源在密度、成本方面相較x86服務(wù)器也有很大優(yōu)勢(shì)。因此，我們也在點(diǎn)播場(chǎng)景里不斷提升這種資源的使用量，并做到了與云游戲等場(chǎng)景的并池降本。我們這個(gè)方案也在不斷地迭代與演進(jìn)，相信對(duì)于視頻應(yīng)用的智能升級(jí)也將發(fā)揮重要的作用。

在突破體驗(yàn)邊界方面，隨著大模型等AI技術(shù)的發(fā)展和賦能，我們也確實(shí)看到了很多有說服力的成果和樂觀的前景，比如「AI修復(fù) 」技術(shù)。上周，抖音、中國(guó)電影資料館、火山引擎發(fā)布了“再續(xù)時(shí)光-經(jīng)典香港電影修復(fù)計(jì)劃”， 我們首次將AIGC視覺大模型應(yīng)用于老片修復(fù)場(chǎng)景。充分利用AIGC大模型強(qiáng)大的生成能力和豐富的先驗(yàn)知識(shí)，對(duì)經(jīng)典老片進(jìn)行全面的畫質(zhì)提升。

火山引擎視頻云的很多產(chǎn)品能力都有AI技術(shù)的加持，例如「智能轉(zhuǎn)檔」使用了AI重采樣方案，滿足了高質(zhì)量多碼率分發(fā)需求，支持直播、點(diǎn)播多檔位畫質(zhì)提升；「極致超清」是基于人眼的主觀感受最優(yōu)為基準(zhǔn)的AI前處理方案，該方案不僅可以提升主觀畫質(zhì)，還可以進(jìn)一步實(shí)現(xiàn)整體帶寬降低15-35%。

再看看我們?cè)谕黄平换ミ吔绶矫娴囊恍┻M(jìn)展和成果。在3D和全景技術(shù)方面，火山引擎視頻云基于在PICO上的實(shí)踐和探索，沉淀了很多優(yōu)質(zhì)的能力。比如，我們的「VR 360°全景圖像」技術(shù)，在今年CVPR Workshop舉辦的一項(xiàng)比賽中，雙目超分雙三次插值保真賽道和360°全景圖像超分賽道上，榮獲了雙料冠軍，技術(shù)能力達(dá)到行業(yè)領(lǐng)先水平。

從二維到空間，從理論到實(shí)踐，火山引擎視頻云落地了很多創(chuàng)新項(xiàng)目，努力為用戶打造身臨其境的體驗(yàn)。結(jié)合傳統(tǒng)三維重建及神經(jīng)輻射場(chǎng)技術(shù)，我們搭建了一套用于實(shí)現(xiàn)復(fù)雜動(dòng)態(tài)場(chǎng)景的采集、重建、和播放算法框架，具備很高的清晰度和真實(shí)感。這項(xiàng)技術(shù)融合在點(diǎn)播、直播及RTC等視頻云技術(shù)產(chǎn)品中，便可以實(shí)現(xiàn)空間視頻的點(diǎn)播、直播和實(shí)時(shí)通信，已經(jīng)落地于「抖音嘉年華」「抖音戲腔戲調(diào)」「PICO古籍尋游記」等項(xiàng)目里，相關(guān)成果發(fā)表在今年的Siggraph上。

另外火山引擎多媒體實(shí)驗(yàn)室自研的三維重建技術(shù)，結(jié)合視覺重建、多模態(tài)重建及SDF技術(shù)，可實(shí)現(xiàn)高精度、高質(zhì)量、高效率的自動(dòng)化重建技術(shù)，用于高保真物品及空間重建，也已經(jīng)應(yīng)用在博物館文物重建、電商3D商品、懂車帝3D看車、幸福里VR看房，PICO德爺看非洲等項(xiàng)目中 。

當(dāng)技術(shù)面臨瓶頸，也許我們可以換一種姿勢(shì)奔跑，持續(xù)突破算力，體驗(yàn)和交互的邊界。我們希望基于抖音大規(guī)模實(shí)踐和打磨，將沉淀下的火種貢獻(xiàn)給行業(yè)。

通過上面的技術(shù)分享，我們可以看到全行業(yè)視頻化時(shí)代，技術(shù)是紛繁復(fù)雜的，而在這個(gè)過程中作為“引擎”的視頻處理框架作用就越來越重要，同時(shí)也面臨著諸多挑戰(zhàn)。

接下來我會(huì)介紹火山引擎視頻云在這一領(lǐng)域所做的探索實(shí)踐，同時(shí)把我們聯(lián)合NVIDIA開源的多媒體處理框架BMF（Babit Multi-Media Framework）介紹給大家，這也是國(guó)內(nèi)首個(gè)開源的同類項(xiàng)目，希望對(duì)整個(gè)行業(yè)起到普惠作用，助力加速視頻化新進(jìn)程。

△NVIDIA開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬（左）和火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅（右）共同宣布開源BMF多媒體處理框架

在實(shí)際算法和工程化落地的過程中，很少有項(xiàng)目可以完全不采用多媒體處理框架。多媒體處理框架作為視頻化部署的“底座”，通常起到重要的支撐作用。在體驗(yàn)需求更高、快速試錯(cuò)創(chuàng)新和業(yè)務(wù)場(chǎng)景融合的新趨勢(shì)下，面對(duì)的場(chǎng)景和需求越來越多樣化和復(fù)雜化，同時(shí)對(duì)計(jì)算性能和異構(gòu)計(jì)算資源的運(yùn)用也提出了更多的要求，快節(jié)奏的創(chuàng)新速度也迫切的期望框架有強(qiáng)大的能力，能幫助開發(fā)者把各種能力和方案優(yōu)勢(shì)互補(bǔ)、協(xié)同工作、快速落地。傳統(tǒng)框架不能很好地應(yīng)對(duì)這些挑戰(zhàn)，下一代多媒體處理框架應(yīng)運(yùn)而生。

我們開源的這套多媒體處理框架，作為火山引擎視頻云全鏈路服務(wù)能力的基礎(chǔ)“底座”，不斷地根據(jù)集團(tuán)各個(gè)業(yè)務(wù)和產(chǎn)品的需求進(jìn)行設(shè)計(jì)、規(guī)劃、迭代和線上打磨，經(jīng)歷了約3～4年的實(shí)踐，目前已應(yīng)用于點(diǎn)/直播轉(zhuǎn)碼、云編輯、移動(dòng)端后處理等主要業(yè)務(wù)場(chǎng)景。總結(jié)下來，相比傳統(tǒng)方案，BMF具有以下亮點(diǎn)：

首先，它能支持使用多種語言開發(fā)模塊，并能通過引擎無縫串聯(lián)在一個(gè)pipeline里執(zhí)行，還能通過插件化動(dòng)態(tài)管理，提升開發(fā)效率；其次，它能實(shí)現(xiàn)調(diào)度引擎深度優(yōu)化，在提升靈活性的同時(shí)做到效率無損，對(duì)于異構(gòu)平臺(tái)的支持相比傳統(tǒng)框架有較大優(yōu)勢(shì)。它還可以支持多語言接口，對(duì)于不同語言的開發(fā)者非常友好，更容易上手，開源版本還提供了豐富示例，覆蓋主要視頻場(chǎng)景，使開發(fā)者可以低成本構(gòu)建視頻應(yīng)用。同時(shí)，它還完全兼容了ffmpeg的功能和標(biāo)準(zhǔn)，底層支持了多種框架間的數(shù)據(jù)高效互轉(zhuǎn)。

接下來我們具體看下BMF的整體架構(gòu)，它分為應(yīng)用層，框架層，模塊層，和硬件抽象層。在應(yīng)用層，BMF可以對(duì)從生產(chǎn)到消費(fèi)的全鏈路視頻場(chǎng)景進(jìn)行支持，特別是它也會(huì)支持大量視頻AI的應(yīng)用場(chǎng)景，并在架構(gòu)層自研了“自驅(qū)調(diào)度”和“動(dòng)態(tài)graph”引擎，適配不同場(chǎng)景的多種執(zhí)行模式。

在模塊層，BMF在設(shè)計(jì)之初就采用了“松耦合”設(shè)計(jì)，目前已積累了140+個(gè)適用于視頻場(chǎng)景的原子能力模塊。在硬件抽象層，BMF對(duì)多種主流框架的數(shù)據(jù)實(shí)現(xiàn)了無縫轉(zhuǎn)換，使多種主流框架數(shù)據(jù)互轉(zhuǎn)和協(xié)同工作變的更加順暢和便捷。這里值得特別強(qiáng)調(diào)的是，我們和NVIDIA進(jìn)行了緊密的合作，針對(duì)GPU相關(guān)的框架層能力、處理能力進(jìn)行了深度優(yōu)化。

借此機(jī)會(huì)，我也特別分享給大家，BMF目前已經(jīng)全面開源。包含BMF框架層整體開源，9個(gè)開箱即用案例，和20+API調(diào)用范例，希望能幫助開發(fā)者低成本的構(gòu)建視頻應(yīng)用。開源以后，我們計(jì)劃持續(xù)開源更多核心能力，完善解決方案，包括支持更多異構(gòu)硬件/更多原子能力/移動(dòng)端支持等。同時(shí)，依托火山引擎，構(gòu)建云上模塊市場(chǎng)，加速視頻生態(tài)建設(shè)。

最后，希望我們的愿景早日達(dá)成：面向各行各業(yè)，加速視頻化進(jìn)程，共建視頻開發(fā)生態(tài)。