你在直播間看到的高清1080P，可能還沒720P畫質(zhì)好

白交 2023-08-02 16:02:23 來源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

經(jīng)?？粗辈サ呐笥?，可能有過這樣的經(jīng)歷：

在不同的直播間，長相甜美的主播小玉與主播小美同樣是1080P高清分辨率，但小玉由于開播環(huán)境比較暗，直播設(shè)備比較差，美顏功能不夠自然等原因，導(dǎo)致看到的畫面視覺效果卻遠遠不及小美。

長此以往，小玉的直播間人氣下滑，粉絲越來越少。

為了提供更好的直播體驗，彌補不同硬件和開播環(huán)境的缺陷，聲網(wǎng)最新發(fā)布的“實時高清·超級畫質(zhì)”就解決了這一難題。

這其中涵蓋了不少視頻黑科技，比如畫質(zhì)增強算法、人眼感知優(yōu)化、移動端實時多倍超分等，能夠?qū)崿F(xiàn)360P的視頻秒變1080P，視頻畫質(zhì)的智能補光、色彩增強，全面提升視頻畫面的分辨率、畫質(zhì)和流暢體驗。

智能調(diào)節(jié)畫面色彩、智能補光：榜一大哥看了都說好

不管是直播還是音視頻通話中，視頻畫質(zhì)在很大程度上決定了用戶體驗的好壞，對此，聲網(wǎng)的視頻技術(shù)團隊在過去幾年深耕實時視頻畫質(zhì)增強，上線了 AI 畫質(zhì)。

AI 畫質(zhì)充分利用了視頻采集播放端設(shè)備的平臺能力，在影響視頻畫質(zhì)的色彩、清晰度、風(fēng)格化等方向上提供了一站式的解決方案，其中就包括暗光增強、色彩增強、視頻降噪等多維度的畫質(zhì)增強算法組合。

• 智能補光：很多主播在直播時經(jīng)常會遭遇光照條件較暗或者背光的開播環(huán)境，這會導(dǎo)致成像的場景中畫面較暗且不清晰，有效的細節(jié)信息看不到。對此，聲網(wǎng)的暗光增強算法在面臨光照條件較暗、背光、光照不均勻的環(huán)境時會進行智能補光，自適應(yīng)提升視頻畫面的亮度，恢復(fù)畫面細節(jié)輪廓和增加畫面清晰度。
• 主播在使用補光燈等設(shè)備時，經(jīng)常還會遭遇曝光過強的問題，聲網(wǎng)“暗光增強”算法就規(guī)避了這一問題，避免過度增強正常曝光的區(qū)域，最大化平衡性能和畫質(zhì)效果。該算法還支持了智能場景檢測，根據(jù)光照條件動態(tài)自適應(yīng)地開啟和關(guān)閉。
• 智能調(diào)節(jié)色彩飽和度：在直播中，用戶有時會看到主播的畫面變灰，并出現(xiàn)失真，這時候往往是畫面的色彩飽和度出了問題。對此，色彩增強算法可以智能調(diào)節(jié)視頻畫面的飽和度，改善畫質(zhì)，使得畫面色彩更加豐富和逼真，提升人的視覺主觀感受。該算法還融合了多種膚色識別算法，確保人物膚色不會因色彩增強而變得突兀。

• 視頻降噪帶來雙BUFF增益：當(dāng)我們在光線不足的情況下拍攝視頻時，手機為了彌補缺少的光線，會自動增加ISO值，從而導(dǎo)致畫面出現(xiàn)噪點。在視頻直播/通話的場景中，同樣會出現(xiàn)噪點，聲網(wǎng)的“視頻降噪”功能可以在低端采集設(shè)備和暗光場景，大幅減少閃爍的噪點，并最小化“拖影”等視頻降噪最常見的負(fù)作用。
• 此外，視頻降噪還具備另一層buff，開啟后可節(jié)省28-35%的傳輸碼率，進一步提升視頻接收端的畫面質(zhì)量和清晰度。

人眼感知優(yōu)化：你關(guān)注的更高清

我們在觀看視頻或圖像時，往往會希望主觀關(guān)注及感興趣區(qū)域能夠擁有較高的清晰度，而對于非關(guān)注區(qū)域，只需要達到基本視覺要求即可。

基于人類的視覺特點，在視頻編碼中，通過對感興趣區(qū)域進行低壓縮比，甚至是無損壓縮編碼，以獲得高質(zhì)量的重建圖像，而對非關(guān)注區(qū)域采用較高壓縮率，這就是ROI?（Regions of Interest，感興趣區(qū)域）視頻編碼技術(shù)。

在直播/視頻通話場景中，聲網(wǎng)通過 ROI 和 PVC 算法，提升人眼感知畫面的細節(jié)效果，ROI 主要凸顯畫面細節(jié)，PVC 凸顯色彩優(yōu)化，以綜合提升觀眾對畫質(zhì)的主觀體驗。由于聲網(wǎng)的 SDK 主要面向直播/視頻社交/會議類應(yīng)用，畫面中往往人臉就是感興趣區(qū)域或者視覺聚焦區(qū)域，因此聲網(wǎng) AI感知處理算法是基于人臉檢測的視頻編碼技術(shù)。

實現(xiàn)原理是通過檢測到人臉區(qū)域確定感興趣區(qū)域，在編碼過程中，對圖像中人臉的區(qū)域降低量化參數(shù)值，從而分配更多碼率，以提升感興趣區(qū)域的畫面質(zhì)量，而對非人臉區(qū)域的區(qū)域則提高量化參數(shù)值，分配更少碼率，在不損失圖像整體主觀質(zhì)量的前提下，降低視頻碼率，提高視頻質(zhì)量。

△經(jīng) ROI 編碼處理后的圖像對比

360P秒變720P：畫質(zhì)跨越式提升

不管是色彩、暗光增強還是ROI人眼感知優(yōu)化，都是在視頻分辨率不變的基礎(chǔ)上進行畫質(zhì)效果的提升。而在一些欠發(fā)達的海外地區(qū)或智能硬件終端中，受到設(shè)備性能、傳輸成本、用戶帶寬等限制，傳輸?shù)耐堑头直媛实囊曨l，因此為了提升視頻畫質(zhì)質(zhì)量，進而提升用戶的觀看體驗，需要借助拯救分辨率的“魔法“：

視頻超分辨率技術(shù)，在用戶端將接收到的低分辨率視頻重建成紋理豐富、細節(jié)清晰、觀看體驗佳的高分辨率的視頻，簡稱為超分技術(shù)。

目前業(yè)內(nèi)很多主流的終端實時超分算法更集中在PC端，PC端的設(shè)備相對可以提供更強的算力，實現(xiàn)高性能的視頻畫質(zhì)實時增強。

但當(dāng)下直播、視頻通話等場景都逐漸集中在移動端，在移動端用戶設(shè)備性能參差不齊，這就要求移動端實時超分的復(fù)雜度必須極低，這樣才能在大部分移動設(shè)備中做到實時處理，并在超低計算量的情況下還能保持較好的視頻超分效果。

對此，聲網(wǎng)的人工智能算法團隊經(jīng)過持續(xù)的技術(shù)鉆研，推出了業(yè)內(nèi)首個基于移動端的實時多倍超分算法，該算法的優(yōu)勢是成本低、功耗小，不需要部署 GPU 服務(wù)器，僅依靠移動端設(shè)備自身的CPU、GPU 或 NPU 來實時超分，以較小的算法計算量實現(xiàn)視頻分辨率的多倍超分，有效增強了視頻的畫質(zhì)，并降低視頻傳輸?shù)某杀?，普通?60P畫質(zhì)能夠通過超分實現(xiàn)對標(biāo)540P效果。

通過下面的視頻，可以更直觀的感受360P開啟超分后的畫質(zhì)效果。

聲網(wǎng)移動端實時超分的技術(shù)原理是基于深度學(xué)習(xí)算法進行豐富的視頻數(shù)據(jù)訓(xùn)練，從大量的低分辨圖像和高分辨圖像對，有監(jiān)督地學(xué)習(xí)低分辨到高分辨率的映射關(guān)系，實現(xiàn)圖像放大后，細節(jié)豐富、畫面清晰的效果，其超分效果、自適應(yīng)能力明顯優(yōu)于傳統(tǒng)的超分方法。

在性能和適配方面，聲網(wǎng)多倍超分算法在中低端機型也能實時處理，能夠覆蓋95%以上的 iOS 視頻用戶，85%以上的安卓用戶。且CPU 消耗、SDK 內(nèi)存消耗低，單幀處理耗時平均在 10ms以內(nèi)，在1對1視頻通話場景中開啟多倍超分后，SDK 的內(nèi)存消耗只增加10%左右。

伴隨視頻進入超高清時代，人們在直播、視頻互動中也在追求更高清、更美觀、更自然的視頻畫質(zhì)，APP廠商也應(yīng)與時俱進，在保證視頻高分辨率的前提下，注重對畫質(zhì)細節(jié)的提升，才能搶占更多用戶市場，帶來更多流水。

需要實時提升直播/社交平臺的畫質(zhì)，可以用聲網(wǎng)“實時高清·超級畫質(zhì)”試試。如想進一步了解“實時高清·超級畫質(zhì)”，可在微信公眾號「量子位」后臺留言，會有工作人員與您聯(lián)系。