你在直播間看到的高清1080P，可能還沒720P畫質(zhì)好

白交 2023-08-02 16:02:23 來源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

經(jīng)?？粗辈サ呐笥眩赡苡羞^這樣的經(jīng)歷：

在不同的直播間，長相甜美的主播小玉與主播小美同樣是1080P高清分辨率，但小玉由于開播環(huán)境比較暗，直播設(shè)備比較差，美顏功能不夠自然等原因，導(dǎo)致看到的畫面視覺效果卻遠(yuǎn)遠(yuǎn)不及小美。

長此以往，小玉的直播間人氣下滑，粉絲越來越少。

為了提供更好的直播體驗(yàn)，彌補(bǔ)不同硬件和開播環(huán)境的缺陷，聲網(wǎng)最新發(fā)布的“實(shí)時(shí)高清·超級(jí)畫質(zhì)”就解決了這一難題。

這其中涵蓋了不少視頻黑科技，比如畫質(zhì)增強(qiáng)算法、人眼感知優(yōu)化、移動(dòng)端實(shí)時(shí)多倍超分等，能夠?qū)崿F(xiàn)360P的視頻秒變1080P，視頻畫質(zhì)的智能補(bǔ)光、色彩增強(qiáng)，全面提升視頻畫面的分辨率、畫質(zhì)和流暢體驗(yàn)。

智能調(diào)節(jié)畫面色彩、智能補(bǔ)光：榜一大哥看了都說好

不管是直播還是音視頻通話中，視頻畫質(zhì)在很大程度上決定了用戶體驗(yàn)的好壞，對此，聲網(wǎng)的視頻技術(shù)團(tuán)隊(duì)在過去幾年深耕實(shí)時(shí)視頻畫質(zhì)增強(qiáng)，上線了 AI 畫質(zhì)。

AI 畫質(zhì)充分利用了視頻采集播放端設(shè)備的平臺(tái)能力，在影響視頻畫質(zhì)的色彩、清晰度、風(fēng)格化等方向上提供了一站式的解決方案，其中就包括暗光增強(qiáng)、色彩增強(qiáng)、視頻降噪等多維度的畫質(zhì)增強(qiáng)算法組合。

• 智能補(bǔ)光：很多主播在直播時(shí)經(jīng)常會(huì)遭遇光照條件較暗或者背光的開播環(huán)境，這會(huì)導(dǎo)致成像的場景中畫面較暗且不清晰，有效的細(xì)節(jié)信息看不到。對此，聲網(wǎng)的暗光增強(qiáng)算法在面臨光照條件較暗、背光、光照不均勻的環(huán)境時(shí)會(huì)進(jìn)行智能補(bǔ)光，自適應(yīng)提升視頻畫面的亮度，恢復(fù)畫面細(xì)節(jié)輪廓和增加畫面清晰度。
• 主播在使用補(bǔ)光燈等設(shè)備時(shí)，經(jīng)常還會(huì)遭遇曝光過強(qiáng)的問題，聲網(wǎng)“暗光增強(qiáng)”算法就規(guī)避了這一問題，避免過度增強(qiáng)正常曝光的區(qū)域，最大化平衡性能和畫質(zhì)效果。該算法還支持了智能場景檢測，根據(jù)光照條件動(dòng)態(tài)自適應(yīng)地開啟和關(guān)閉。
• 智能調(diào)節(jié)色彩飽和度：在直播中，用戶有時(shí)會(huì)看到主播的畫面變灰，并出現(xiàn)失真，這時(shí)候往往是畫面的色彩飽和度出了問題。對此，色彩增強(qiáng)算法可以智能調(diào)節(jié)視頻畫面的飽和度，改善畫質(zhì)，使得畫面色彩更加豐富和逼真，提升人的視覺主觀感受。該算法還融合了多種膚色識(shí)別算法，確保人物膚色不會(huì)因色彩增強(qiáng)而變得突兀。

• 視頻降噪帶來雙BUFF增益：當(dāng)我們在光線不足的情況下拍攝視頻時(shí)，手機(jī)為了彌補(bǔ)缺少的光線，會(huì)自動(dòng)增加ISO值，從而導(dǎo)致畫面出現(xiàn)噪點(diǎn)。在視頻直播/通話的場景中，同樣會(huì)出現(xiàn)噪點(diǎn)，聲網(wǎng)的“視頻降噪”功能可以在低端采集設(shè)備和暗光場景，大幅減少閃爍的噪點(diǎn)，并最小化“拖影”等視頻降噪最常見的負(fù)作用。
• 此外，視頻降噪還具備另一層buff，開啟后可節(jié)省28-35%的傳輸碼率，進(jìn)一步提升視頻接收端的畫面質(zhì)量和清晰度。

人眼感知優(yōu)化：你關(guān)注的更高清

我們在觀看視頻或圖像時(shí)，往往會(huì)希望主觀關(guān)注及感興趣區(qū)域能夠擁有較高的清晰度，而對于非關(guān)注區(qū)域，只需要達(dá)到基本視覺要求即可。

基于人類的視覺特點(diǎn)，在視頻編碼中，通過對感興趣區(qū)域進(jìn)行低壓縮比，甚至是無損壓縮編碼，以獲得高質(zhì)量的重建圖像，而對非關(guān)注區(qū)域采用較高壓縮率，這就是ROI?（Regions of Interest，感興趣區(qū)域）視頻編碼技術(shù)。

在直播/視頻通話場景中，聲網(wǎng)通過 ROI 和 PVC 算法，提升人眼感知畫面的細(xì)節(jié)效果，ROI 主要凸顯畫面細(xì)節(jié)，PVC 凸顯色彩優(yōu)化，以綜合提升觀眾對畫質(zhì)的主觀體驗(yàn)。由于聲網(wǎng)的 SDK 主要面向直播/視頻社交/會(huì)議類應(yīng)用，畫面中往往人臉就是感興趣區(qū)域或者視覺聚焦區(qū)域，因此聲網(wǎng) AI感知處理算法是基于人臉檢測的視頻編碼技術(shù)。

實(shí)現(xiàn)原理是通過檢測到人臉區(qū)域確定感興趣區(qū)域，在編碼過程中，對圖像中人臉的區(qū)域降低量化參數(shù)值，從而分配更多碼率，以提升感興趣區(qū)域的畫面質(zhì)量，而對非人臉區(qū)域的區(qū)域則提高量化參數(shù)值，分配更少碼率，在不損失圖像整體主觀質(zhì)量的前提下，降低視頻碼率，提高視頻質(zhì)量。

△經(jīng) ROI 編碼處理后的圖像對比

360P秒變720P：畫質(zhì)跨越式提升

不管是色彩、暗光增強(qiáng)還是ROI人眼感知優(yōu)化，都是在視頻分辨率不變的基礎(chǔ)上進(jìn)行畫質(zhì)效果的提升。而在一些欠發(fā)達(dá)的海外地區(qū)或智能硬件終端中，受到設(shè)備性能、傳輸成本、用戶帶寬等限制，傳輸?shù)耐堑头直媛实囊曨l，因此為了提升視頻畫質(zhì)質(zhì)量，進(jìn)而提升用戶的觀看體驗(yàn)，需要借助拯救分辨率的“魔法“：

視頻超分辨率技術(shù)，在用戶端將接收到的低分辨率視頻重建成紋理豐富、細(xì)節(jié)清晰、觀看體驗(yàn)佳的高分辨率的視頻，簡稱為超分技術(shù)。

目前業(yè)內(nèi)很多主流的終端實(shí)時(shí)超分算法更集中在PC端，PC端的設(shè)備相對可以提供更強(qiáng)的算力，實(shí)現(xiàn)高性能的視頻畫質(zhì)實(shí)時(shí)增強(qiáng)。

但當(dāng)下直播、視頻通話等場景都逐漸集中在移動(dòng)端，在移動(dòng)端用戶設(shè)備性能參差不齊，這就要求移動(dòng)端實(shí)時(shí)超分的復(fù)雜度必須極低，這樣才能在大部分移動(dòng)設(shè)備中做到實(shí)時(shí)處理，并在超低計(jì)算量的情況下還能保持較好的視頻超分效果。

對此，聲網(wǎng)的人工智能算法團(tuán)隊(duì)經(jīng)過持續(xù)的技術(shù)鉆研，推出了業(yè)內(nèi)首個(gè)基于移動(dòng)端的實(shí)時(shí)多倍超分算法，該算法的優(yōu)勢是成本低、功耗小，不需要部署 GPU 服務(wù)器，僅依靠移動(dòng)端設(shè)備自身的CPU、GPU 或 NPU 來實(shí)時(shí)超分，以較小的算法計(jì)算量實(shí)現(xiàn)視頻分辨率的多倍超分，有效增強(qiáng)了視頻的畫質(zhì)，并降低視頻傳輸?shù)某杀?，普通?60P畫質(zhì)能夠通過超分實(shí)現(xiàn)對標(biāo)540P效果。

通過下面的視頻，可以更直觀的感受360P開啟超分后的畫質(zhì)效果。

聲網(wǎng)移動(dòng)端實(shí)時(shí)超分的技術(shù)原理是基于深度學(xué)習(xí)算法進(jìn)行豐富的視頻數(shù)據(jù)訓(xùn)練，從大量的低分辨圖像和高分辨圖像對，有監(jiān)督地學(xué)習(xí)低分辨到高分辨率的映射關(guān)系，實(shí)現(xiàn)圖像放大后，細(xì)節(jié)豐富、畫面清晰的效果，其超分效果、自適應(yīng)能力明顯優(yōu)于傳統(tǒng)的超分方法。

在性能和適配方面，聲網(wǎng)多倍超分算法在中低端機(jī)型也能實(shí)時(shí)處理，能夠覆蓋95%以上的 iOS 視頻用戶，85%以上的安卓用戶。且CPU 消耗、SDK 內(nèi)存消耗低，單幀處理耗時(shí)平均在 10ms以內(nèi)，在1對1視頻通話場景中開啟多倍超分后，SDK 的內(nèi)存消耗只增加10%左右。

伴隨視頻進(jìn)入超高清時(shí)代，人們在直播、視頻互動(dòng)中也在追求更高清、更美觀、更自然的視頻畫質(zhì)，APP廠商也應(yīng)與時(shí)俱進(jìn)，在保證視頻高分辨率的前提下，注重對畫質(zhì)細(xì)節(jié)的提升，才能搶占更多用戶市場，帶來更多流水。

需要實(shí)時(shí)提升直播/社交平臺(tái)的畫質(zhì)，可以用聲網(wǎng)“實(shí)時(shí)高清·超級(jí)畫質(zhì)”試試。如想進(jìn)一步了解“實(shí)時(shí)高清·超級(jí)畫質(zhì)”，可在微信公眾號(hào)「量子位」后臺(tái)留言，會(huì)有工作人員與您聯(lián)系。