允中 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

還在為音視頻質(zhì)量評估苦惱嗎？

視聽時代，音視頻應(yīng)用越來越廣泛：直播、短視頻、視頻節(jié)目、音視頻通話……近期由于新冠疫情帶來的在線協(xié)同辦公、在線教育類產(chǎn)品的崛起，更帶來了線上音視頻需求的爆發(fā)，用戶對音視頻質(zhì)量訴求也愈加強烈。

有沒有高效又有“質(zhì)?！钡姆椒?？

騰訊最新開源來了。

騰訊多媒體實驗室，近期設(shè)計的基于深度學(xué)習(xí)的全參考視頻質(zhì)量評估算法DVQA，在Github上正式開源，該算法模型的性能，目前還在公開測試數(shù)據(jù)集上取得業(yè)界領(lǐng)先成績。

解決什么問題？

在整個視頻鏈路中，大部分模塊都可以精確度量，如采集、上傳、預(yù)處理、轉(zhuǎn)碼、分發(fā)等。然而未知的部分卻恰恰是最關(guān)鍵的部分，即用戶的視頻觀看體驗到底怎么樣。

目前行業(yè)內(nèi)的視頻質(zhì)量評估方法分為兩大類：客觀質(zhì)量評估與主觀質(zhì)量評估。

前者計算視頻的質(zhì)量分數(shù)，又根據(jù)是否使用高清視頻做參考、源視頻是專業(yè)視頻還是用戶原創(chuàng)視頻等進一步細分。

后者主要依賴人眼觀看并打分，能夠直觀反映觀眾對視頻質(zhì)量的感受。

然而，這些方法仍存在耗時費力、成本較高、主觀觀感存在偏差等難題。

而騰訊多媒體實驗室提出的視頻質(zhì)量評估解決方案，首先結(jié)合業(yè)務(wù)需求，使用“在線主觀質(zhì)量評測平臺”，來構(gòu)建大規(guī)模主觀質(zhì)量數(shù)據(jù)庫。

同時使用所收集的主觀數(shù)據(jù)來訓(xùn)練基于深度學(xué)習(xí)的客觀質(zhì)量評估算法。

最后把訓(xùn)練好的質(zhì)量評估算法部署到業(yè)務(wù)線中，閉環(huán)監(jiān)控可能存在的質(zhì)量問題。

從以上三個角度出發(fā)，DVQA能夠在兼顧不同業(yè)務(wù)、場景的前提下，滿足效率與精度兩大需求。

DVQA包含多個質(zhì)量評估算法模型，本次開源的是針對PGC視頻的算法C3DVQA。

本項目使用Python開發(fā)，深度學(xué)習(xí)模塊使用PyTorch。

代碼使用模塊化設(shè)計，方便集成較新的深度學(xué)習(xí)技術(shù)，靈活的自定義模型，訓(xùn)練和測試新的數(shù)據(jù)集。

在算法設(shè)計上，C3DVQA所使用的網(wǎng)絡(luò)結(jié)構(gòu)如下：

其輸入為損傷視頻和殘差視頻。網(wǎng)絡(luò)包含兩層二維卷積來逐幀提取空域特征。級聯(lián)后使用四層三維卷積層來學(xué)習(xí)時空聯(lián)合特征。

三維卷積輸出描述了視頻的時空掩蓋效應(yīng)，再使用它來模擬人眼對視頻殘差的感知情況：掩蓋效應(yīng)弱的地方，殘差更容易被感知；掩蓋效應(yīng)強的地方，復(fù)雜的背景更能掩蓋畫面失真。

網(wǎng)絡(luò)最后是池化層和全連接層。池化層的輸入為殘差幀經(jīng)掩蓋效應(yīng)處理后的結(jié)果，它代表了人眼可感知殘差。全連接層學(xué)習(xí)整體感知質(zhì)量和目標(biāo)質(zhì)量分數(shù)區(qū)間的非線性回歸關(guān)系。

效果如何？

在評測結(jié)果上，騰訊多媒體實驗室在LIVE和CSIQ兩個視頻質(zhì)量數(shù)據(jù)集上對所提出算法的性能進行驗證。

并使用標(biāo)準的PLCC和SROCC作為質(zhì)量準則來比較不同算法的性能。

將所提出的C3DVQA與常用的全參考質(zhì)量評估算法進行對比，包括PSNR，MOVIE，ST-MAD，VMAF和DeepVQA，結(jié)果如下：

目前該評估算法已在騰訊內(nèi)外部多款產(chǎn)品中進行使用驗證，如騰訊會議就借助實驗室上百個符合ITU/3GPP/AVS等國外內(nèi)標(biāo)準的指標(biāo)進行評判，閉環(huán)監(jiān)控全網(wǎng)的用戶體驗質(zhì)量，從用戶真實體驗出發(fā)，不斷優(yōu)化產(chǎn)品性能。

出品團隊

騰訊多媒體實驗室，騰訊旗下頂尖的音視頻通信和處理研發(fā)團隊，專注于實時音視頻通信、音視頻編解碼前沿算法研究、音視頻國際標(biāo)準、計算機視覺圖像處理、端到端音視頻質(zhì)量評測。在實時音視頻通信和處理技術(shù)、音視頻國際標(biāo)準等領(lǐng)域積累了完整的解決方案和領(lǐng)先的技術(shù)水平。

最初名“騰訊音視頻實驗室”，2019年正式更名為“騰訊多媒體實驗室”。

目前實驗室掌舵者為劉杉博士，騰訊杰出科學(xué)家，也是騰訊T5——騰訊技術(shù)體系最高職級中的唯一一位女性。

劉杉本科畢業(yè)于清華大學(xué)電子工程系，碩士和博士畢業(yè)于美國南加州大學(xué)電機工程系，2017年正式加盟騰訊。

傳送門：

開源地址：

https://github.com/Tencent/DVQA

國內(nèi)鏡像地址：

https://git.code.tencent.com/Tencent_Open_Source/DVQA

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細節(jié)，請在量子位公眾號(QbitAI)對話界面，回復(fù)“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)