騰訊多媒體實(shí)驗(yàn)室夏珍：視頻畫(huà)質(zhì)增強(qiáng)的現(xiàn)狀、應(yīng)用、未來(lái)

全真互聯(lián)時(shí)代，音視頻技術(shù)內(nèi)核不斷更新迭代，LiveVideoStackCon 2022 北京站邀請(qǐng)到騰訊多媒體實(shí)驗(yàn)室視頻技術(shù)研發(fā)負(fù)責(zé)人——夏珍，與大家分享畫(huà)質(zhì)增強(qiáng)技術(shù)的一些前沿探索和應(yīng)用研究，在經(jīng)典影像中非常重要的畫(huà)質(zhì)提升技術(shù)人臉修復(fù)和去壓縮失真的能力，以及在騰訊視頻和云游戲中能帶來(lái)畫(huà)質(zhì)增強(qiáng)的技術(shù)。

來(lái)自騰訊多媒體實(shí)驗(yàn)室的夏珍，一直從事視頻處理技術(shù)的相關(guān)研究與應(yīng)用，希望分享的內(nèi)容能給到大家一些幫助，也借此機(jī)會(huì)向各位同行學(xué)習(xí)。

本次分享的主題是《畫(huà)質(zhì)增強(qiáng)的前沿應(yīng)用》，內(nèi)容包括三部分：一是畫(huà)質(zhì)增強(qiáng)技術(shù)現(xiàn)狀，第二部分是畫(huà)質(zhì)增強(qiáng)技術(shù)的前沿應(yīng)用，第三部分是畫(huà)質(zhì)增強(qiáng)技術(shù)的趨勢(shì)。

一、畫(huà)質(zhì)增強(qiáng)-現(xiàn)狀

下面將從三方面介紹畫(huà)質(zhì)增強(qiáng)技術(shù)。

當(dāng)時(shí)做PPT時(shí)還是22年8月份，當(dāng)時(shí)最火的概念應(yīng)該是4K/8K超高清、VR、3D等是人們熱議的話題，不管是學(xué)界還是工業(yè)界都是高熱點(diǎn)，在這些前沿技術(shù)應(yīng)用里，畫(huà)面分辨率、細(xì)節(jié)已達(dá)到非常高清的程度，制作內(nèi)容也達(dá)到很高標(biāo)準(zhǔn)，甚至很多顯示屏已經(jīng)超過(guò)人眼能分辨的極限。

然而實(shí)際生活中，在不同的終端、場(chǎng)景和應(yīng)用里，相信大家都遇到過(guò)以下情況：比如為了視頻時(shí)畫(huà)面更清晰，給父母買了像素很高的相機(jī)，然而最終呈現(xiàn)的畫(huà)面依然模糊不清，或是參加線上會(huì)議時(shí)，經(jīng)常出現(xiàn)畫(huà)面模糊，又或是看劇時(shí)畫(huà)質(zhì)很差。大家會(huì)疑慮：內(nèi)容為什么沒(méi)有預(yù)期的清晰？

導(dǎo)致畫(huà)面不如預(yù)期的因素有很多，包括硬件條件、網(wǎng)絡(luò)帶寬、編碼方式、原始素材等，在這樣受限的場(chǎng)景下，如何提升用戶體驗(yàn)的主觀感受呢？

提升畫(huà)質(zhì)是擺在很多應(yīng)用場(chǎng)景下繞不開(kāi)的命題，畫(huà)質(zhì)增強(qiáng)包括哪些技術(shù)？又分別能解決什么問(wèn)題呢？下文將從三個(gè)維度進(jìn)行分析，當(dāng)然從信號(hào)處理的角度有更多維度去評(píng)估，比如頻域等就不進(jìn)一步展開(kāi)了。

首先對(duì)于時(shí)域維度，即大家理解的時(shí)間維度上，他主要解決的視頻連續(xù)播放時(shí)在時(shí)域上干擾人眼的信號(hào)，在實(shí)際場(chǎng)景中會(huì)有運(yùn)動(dòng)不流暢、畫(huà)面抖動(dòng)和時(shí)域噪聲等問(wèn)題，所以在時(shí)域上會(huì)出現(xiàn)對(duì)應(yīng)的解決方案，比如插幀、視頻去抖動(dòng)、時(shí)域降噪等。

左側(cè)的哈士奇在轉(zhuǎn)動(dòng)時(shí)會(huì)出現(xiàn)卡頓，通過(guò)幀率上采樣可以使其更流暢。右側(cè)上方是帶噪聲的影片，下方通過(guò)視頻降噪算法優(yōu)化后，畫(huà)面噪聲減少很多。

空域，即從空間的維度上，大家能遇到的大部分問(wèn)題也是在這個(gè)維度上，它主要是提升人眼主觀感受的畫(huà)質(zhì)，播放時(shí)比如模糊、噪聲、失真、低分辨率等常見(jiàn)問(wèn)題，所以在空域上有種類繁多的增強(qiáng)算法，大家都熟知的算法，超分辨率、去壓縮失真、細(xì)節(jié)增強(qiáng)、去劃痕等。上方左圖存在許多塊，編碼壓縮失真的問(wèn)題、右圖通過(guò)優(yōu)化后獲得了更好的畫(huà)面效果。下方左圖包括許多劃痕和噪點(diǎn)，右圖通過(guò)AI去劃痕算法后極大改善了畫(huà)面的畫(huà)質(zhì)。

色域，即從顏色的維度上，人眼對(duì)色彩是非常敏感，色彩畸變或黑白畫(huà)面在很大程度上會(huì)影響用戶的主觀感受，在色域上增強(qiáng)技術(shù)分SDR域和HDR域的算法，比如SDR2HDR、色彩增強(qiáng)、暗場(chǎng)景增強(qiáng)、HDR增強(qiáng)等算法，都是對(duì)色彩進(jìn)行處理的算法。

上方的圖像經(jīng)過(guò)HDR轉(zhuǎn)換后，色彩及色域都更加豐富。下方的圖像通過(guò)AI自動(dòng)上色，使得畫(huà)面豐富度和人眼主觀感受有明顯提升。

二、畫(huà)質(zhì)增強(qiáng)-前沿應(yīng)用

接下來(lái)會(huì)從兩方面介紹畫(huà)質(zhì)增強(qiáng)的前沿技術(shù)，一個(gè)是不太考慮算力但對(duì)效果有極致要求的經(jīng)典影像修復(fù)技術(shù)，另一個(gè)是非常考驗(yàn)算力的終端超分技術(shù)。

2.1經(jīng)典影像修復(fù)

這是2022年多媒體實(shí)驗(yàn)室修復(fù)李苦禪老人經(jīng)典影像的畫(huà)面，可以看到其中有很多影響主觀質(zhì)量的因素，包括劃痕、雪花點(diǎn)、噪聲、失真、模糊、色彩等問(wèn)題。

這一頁(yè)總結(jié)了影像修復(fù)中常見(jiàn)的問(wèn)題，包括劃痕、霉斑、噪聲、低分辨率、模糊等，而經(jīng)典影像修復(fù)包含以下幾個(gè)主要步驟：膠片物理修復(fù)、膠轉(zhuǎn)磁，數(shù)字修復(fù)和優(yōu)化，最后的上映或保存。

在經(jīng)典影像修復(fù)的過(guò)程中，騰訊多媒體實(shí)驗(yàn)室積累了深厚的技術(shù)和實(shí)踐經(jīng)驗(yàn)，形成一套較完整的基于AI的影像修復(fù)技術(shù)流程，主要分四個(gè)大的模塊，包括智能分析、畫(huà)質(zhì)修復(fù)、畫(huà)質(zhì)增強(qiáng)和智能轉(zhuǎn)碼。

智能分析：對(duì)視頻進(jìn)行智能分析，提供包括幀級(jí)、場(chǎng)景級(jí)和視頻級(jí)不同粒度的分析，包括畫(huà)面復(fù)雜程度、運(yùn)動(dòng)程度、噪聲程度、失真程度、色彩豐富度等分析，用以指導(dǎo)后續(xù)畫(huà)質(zhì)修復(fù)和畫(huà)質(zhì)增強(qiáng)技術(shù)能力的自動(dòng)化使用。

畫(huà)質(zhì)修復(fù)：結(jié)合了智能分析模塊的信息，選取最佳模型對(duì)視頻進(jìn)行修復(fù)，包括去壓縮失真、視頻降噪、人臉修復(fù)、去劃痕等技術(shù)能力。

畫(huà)質(zhì)增強(qiáng)：根據(jù)智能分析模塊的信息，合理選擇最佳的算法和參數(shù)，包括視頻超分辨率、色彩增強(qiáng)、細(xì)節(jié)增強(qiáng)、AI自動(dòng)化上色、暗場(chǎng)景增強(qiáng)、幀率上采樣等算法，經(jīng)過(guò)這樣處理后得到完整修復(fù)的視頻。比如老的影片大部分是15fps或分辨率是720*468，此時(shí)畫(huà)質(zhì)增強(qiáng)模塊會(huì)默認(rèn)開(kāi)啟超分辨率和幀率上采樣，對(duì)其進(jìn)行插幀，從而使得影片在大屏播放時(shí)呈現(xiàn)出更好的效果。

智能編碼：為了更好地進(jìn)行傳輸和播放，結(jié)合騰訊多媒體實(shí)驗(yàn)室最核心的編解碼能力，通過(guò)最佳人眼視覺(jué)的編碼方式對(duì)視頻進(jìn)行轉(zhuǎn)碼壓縮，在保證視頻主觀質(zhì)量情況下，對(duì)視頻進(jìn)行最小質(zhì)量的轉(zhuǎn)碼輸出。

這是多媒體實(shí)驗(yàn)室“光影煥新”經(jīng)典影像修復(fù)的主要架構(gòu)，從架構(gòu)上分為應(yīng)用層、解析層、分析層、處理層、支持層和封裝層。架構(gòu)上會(huì)將智能分析的主要能力放在這一層，然后結(jié)合解析層的結(jié)果去指導(dǎo)處理層算法的自動(dòng)化處理，底層也會(huì)根據(jù)服務(wù)器不同采用不同的底層架構(gòu)，比如GPU服務(wù)器會(huì)用TRT做統(tǒng)一的深度學(xué)習(xí)推理庫(kù)，而如果在CPU架構(gòu)上則會(huì)轉(zhuǎn)換成OpenVINO和其他能力，最后在封裝層，根據(jù)用戶的需求選擇對(duì)應(yīng)的碼流。

當(dāng)然在近年的研究和積累過(guò)程中，也遇到了非常多的問(wèn)題和難題，比如去劃痕在影像修復(fù)中很重要，但在業(yè)界研究是個(gè)很小眾的問(wèn)題，我們?cè)跀?shù)據(jù)集、算法和模型上都是從零開(kāi)始構(gòu)建，比如超分雖然不斷有新的進(jìn)展，但實(shí)際場(chǎng)景中適用性都不好，只能針對(duì)不同場(chǎng)景開(kāi)發(fā)不同級(jí)別的模型。

以去失真生成模型研究為例，首先去失真生成模型解決了什么問(wèn)題？在經(jīng)典影像中不同于常見(jiàn)的視頻，比如左圖放大的畫(huà)面，因?yàn)槭芟抻诮?jīng)典影像拍攝的年代、拍攝硬件、存儲(chǔ)等因素，導(dǎo)致畫(huà)面存在嚴(yán)重破壞畫(huà)質(zhì)的問(wèn)題，比如噪聲、編碼失真、模糊等等問(wèn)題，之前的研究過(guò)程是先進(jìn)行去壓縮失真、降噪等處理再通過(guò)后面的超分辨率、細(xì)節(jié)增強(qiáng)等算法增強(qiáng)細(xì)節(jié)，但后面發(fā)現(xiàn)在前面進(jìn)行去壓縮失真和降噪等處理已經(jīng)把細(xì)節(jié)都丟失了，后面的超分、細(xì)節(jié)增強(qiáng)很難恢復(fù)細(xì)節(jié)恢復(fù)，基于這個(gè)問(wèn)題開(kāi)發(fā)了去失真生成模型，主要解決的是在去壓縮失真的同時(shí)對(duì)細(xì)節(jié)進(jìn)行增強(qiáng)和生成，只有兩個(gè)能力在一個(gè)模型里才能在去掉失真的同時(shí)生成更豐富的細(xì)節(jié)。

作為近年對(duì)超分辨率研究工作的延伸，騰訊多媒體實(shí)驗(yàn)室提出一種高效的失真生成模型。首先模型需要有處理復(fù)雜失真的能力，因此在數(shù)據(jù)集制作中參考現(xiàn)有SR模型的降質(zhì)過(guò)程結(jié)合經(jīng)典影像數(shù)據(jù)集的特點(diǎn)，盡可能還原經(jīng)典影像中失真的類型和生成方式，數(shù)據(jù)集上會(huì)采用多種視頻編碼方式、多種上下采樣方法，多種模糊和噪聲方式進(jìn)行數(shù)據(jù)生成。

模型分為三個(gè)模塊，對(duì)齊模塊、AR模塊和判別器模塊。對(duì)齊模塊是將前后兩幀進(jìn)行特征對(duì)齊，經(jīng)過(guò)性能分析發(fā)現(xiàn)，隱式的可變性卷積方式相對(duì)顯性的光流對(duì)齊模塊要更高效。AR模塊是進(jìn)行去失真和細(xì)節(jié)生成能力，最后經(jīng)過(guò)判別器，判別器模塊不同于單幀的判別，會(huì)提取當(dāng)前幀空間信息和時(shí)域幀間的信息。為實(shí)現(xiàn)更高效的目的，采用前后兩幀作為對(duì)齊幀，網(wǎng)絡(luò)采用殘差結(jié)構(gòu)，光流和AR模塊只需要關(guān)注特征部分，裁剪模型中對(duì)模型影響較小的層。

右圖不僅修復(fù)了很嚴(yán)重的噪聲、失真和模糊等問(wèn)題，比如畫(huà)面中噪聲、背景的抖動(dòng)和模糊的問(wèn)題，同時(shí)對(duì)細(xì)節(jié)比如人臉、衣服紋理和植物的細(xì)節(jié)做了很好的生成，做到真正的高清呈現(xiàn)。

2.2端側(cè)-高效超分

云游戲在中國(guó)市場(chǎng)成為越來(lái)越受關(guān)注的云和游戲結(jié)合的新模式。而隨著云游戲的發(fā)展，編解碼在云游戲中的應(yīng)用逐漸得到體現(xiàn)，云游戲也逐漸從滿足編解碼性能和畫(huà)質(zhì)上進(jìn)入更多拓展階段，因?yàn)樵朴螒驅(qū)⑺懔挠脩羰謾C(jī)轉(zhuǎn)移到服務(wù)器上，所以服務(wù)器、帶寬的成本壓力非常巨大，現(xiàn)階段各公司在“降本增效”上下足了功夫，如何利用視頻技術(shù)在保證畫(huà)質(zhì)體驗(yàn)不變的情況下，節(jié)省服務(wù)器和帶寬成了一個(gè)重要課題，比如云游戲需要1080p/30fps才能保證基礎(chǔ)體驗(yàn)，而現(xiàn)在使用了超分，只需要在服務(wù)器渲染540p/30fps的流，推到本地手機(jī)后再通過(guò)手機(jī)算力進(jìn)行超分到1080p，實(shí)現(xiàn)節(jié)省帶寬和服務(wù)器成本的目的。

接下來(lái)介紹騰訊多媒體實(shí)驗(yàn)室在云游戲中端側(cè)超分的研究，端側(cè)超分也會(huì)應(yīng)用在騰訊視頻中以達(dá)到降低成本的目的，端側(cè)超分也是正在研究中的內(nèi)容，因此提出來(lái)和大家一起討論學(xué)習(xí)。

首先介紹超分在云游戲中遇到的難點(diǎn)，一個(gè)是云游戲?qū)ρ訒r(shí)相比直播、視頻通話要求更高，增加算法影響游戲的體驗(yàn)，二是云游戲大分辨率、高幀率畫(huà)面，對(duì)算法性能要求非常高，三是云游戲終端分布廣泛，包括PC、Mac、TV、手機(jī)等復(fù)雜場(chǎng)景適配困難。

基于以上的難點(diǎn)，騰訊多媒體實(shí)驗(yàn)室在模型上下了很大功夫，并基于之前積累的算法經(jīng)驗(yàn)，提出了“化繁為簡(jiǎn)”的模型方案，但“簡(jiǎn)”并不簡(jiǎn)單。

首先利用殘差結(jié)構(gòu)，利用有限網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)盡量多的參數(shù)，同時(shí)通過(guò)蒸餾方案，在中間層的學(xué)習(xí)中利用導(dǎo)師網(wǎng)絡(luò)進(jìn)行指導(dǎo)，第三重參數(shù)化，因?yàn)樾阅芤蛩鼐W(wǎng)絡(luò)層數(shù)不夠，便利用重參數(shù)思想訓(xùn)練復(fù)雜的網(wǎng)絡(luò)，在推理時(shí)合并算子達(dá)到簡(jiǎn)化的目的。

經(jīng)過(guò)多次優(yōu)化，在windows和android上測(cè)試了一些不同結(jié)構(gòu)的方案，基本上能達(dá)到超分后1080p/30fps的要求，左邊的客觀指標(biāo)是在windows端對(duì)比傳統(tǒng)bicubic和某個(gè)競(jìng)品的方案，從vmaf/psnr/ssim指標(biāo)上都顯著優(yōu)于競(jìng)品和傳統(tǒng)方案，當(dāng)然這些客觀指標(biāo)其實(shí)并不能反映主觀質(zhì)量。

圖中可以看出，右圖自研超分方案相對(duì)于競(jìng)品在文字上邊緣更細(xì)膩、完整，紋理上更細(xì)膩和真實(shí)，這也是超分需要達(dá)到的真實(shí)效果。當(dāng)然方案還在不停優(yōu)化中，還有很多可優(yōu)化的點(diǎn)，也希望能和大家一起討論和學(xué)習(xí)。

三、畫(huà)質(zhì)增強(qiáng)-未來(lái)

未來(lái)的技術(shù)發(fā)展列了以下四個(gè)方向，一個(gè)是作為AIGC的基礎(chǔ)組件，比如在文生圖、文生視頻等方向上，畫(huà)質(zhì)增強(qiáng)能節(jié)省生成時(shí)間，生成更大更清晰的圖像和視頻；第二個(gè)是3D方向，比如在人臉建模方向上使用超分后能大幅度提升建模的效果；第三個(gè)是上文提到的移動(dòng)端部署，隨著手機(jī)性能不斷提升，GPU、NPU等逐漸普及后，以前在移動(dòng)端很難實(shí)現(xiàn)的能力也能在移動(dòng)端落地了，比如云游戲的超分就能達(dá)到降本增效的目的，這個(gè)場(chǎng)景也可以用在點(diǎn)播、直播等場(chǎng)景中。第四點(diǎn)是畫(huà)質(zhì)技術(shù)本身應(yīng)該朝著符合人眼真實(shí)度方向發(fā)展，比如AI上色怎么能還原以前真實(shí)的色彩，人臉修復(fù)能否更自然等。