雷剛 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

暗光拍照也清晰，這是手機(jī)廠商目前激烈競(jìng)爭(zhēng)的新拍照目標(biāo)。

但除了堆攝像頭和硬件，AI科學(xué)家?guī)硭惴ǚ矫娴男峦黄啤?/p>

他們提出基于深度學(xué)習(xí)優(yōu)化光照的暗光下的圖像增強(qiáng)模型，用端到端網(wǎng)絡(luò)增強(qiáng)曝光不足的照片。

而且不是像以前的工作那樣，直接學(xué)習(xí)圖像到圖像的映射，而是在新網(wǎng)絡(luò)中引入中間照明，將輸入與預(yù)期的增強(qiáng)結(jié)果相關(guān)聯(lián)，增強(qiáng)網(wǎng)絡(luò)從專家修飾的輸入/輸出圖像學(xué)習(xí)復(fù)雜的攝影調(diào)整的能力。

結(jié)果證明，新算法模型，效果超過了市面上一眾當(dāng)紅的多攝多硬手機(jī)。

這個(gè)新算法由騰訊優(yōu)圖實(shí)驗(yàn)室提出，王瑞星、沈小勇及賈佳亞是作者，論文已入選CVPR 2019.

傳統(tǒng)圖像增強(qiáng)算法不好用

優(yōu)圖方面稱，人們?cè)谏缃痪W(wǎng)絡(luò)中，往往喜歡分享自己用不同設(shè)備拍攝的照片，尤其是使用手機(jī)拍攝的照片，不過很多時(shí)候，由于低光照或者背光的環(huán)境下拍攝到的照片經(jīng)常會(huì)產(chǎn)生欠曝光的現(xiàn)象，由于在圖像增強(qiáng)的整個(gè)過程不是線性的操作，并且增強(qiáng)的結(jié)果是很主觀的，因此欠曝光圖像增強(qiáng)是一個(gè)很具有挑戰(zhàn)性的任務(wù)。

雖然目前市面上存在了一些專業(yè)的圖像處理軟件，可以讓用戶交互式的處理圖像，如Adobe lightroom, PhotoShop。但是對(duì)于業(yè)余愛好者來說，能同時(shí)處理好顏色，對(duì)比度，調(diào)節(jié)光照等操作是非常困難的。

也有一些軟件提供了一鍵自動(dòng)的增強(qiáng)圖像的功能，比如Lightroom的Auto Tone功能和iPhone的魔法棒增強(qiáng)功能，但是由于平衡各方面的調(diào)整是非常復(fù)雜的一件事。

這些軟件依然會(huì)得到一些失敗的案例。

傳統(tǒng)夜景圖像增強(qiáng)算法大致可以分為幾個(gè)方面：直方圖均衡化(Histogram equalization)，這種方法簡(jiǎn)單的利用了圖像整體的統(tǒng)計(jì)性質(zhì)，通常不能對(duì)復(fù)雜場(chǎng)景達(dá)到理想效果。

基于Retinex理論的增強(qiáng)算法，通常只能用單通道進(jìn)行光照優(yōu)化，顏色無法很好地回復(fù)，在光照復(fù)雜的情況下還容易出現(xiàn)過曝的現(xiàn)象。

這些傳統(tǒng)方法還容易在增加圖像亮度的同時(shí)，放大噪聲等瑕疵，影響圖像質(zhì)量。

基于深度學(xué)習(xí)的方法，通常是直接訓(xùn)練回歸(regression)模型，由于數(shù)據(jù)本身的特性，這種方法得到的結(jié)果通常清晰度、對(duì)比度比較低，而且會(huì)有一些人工痕跡。

轉(zhuǎn)換方法+網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

對(duì)此，騰訊優(yōu)圖將圖像增強(qiáng)問題，轉(zhuǎn)化為光照優(yōu)化問題。

之前的神經(jīng)網(wǎng)絡(luò)都是從訓(xùn)練數(shù)據(jù)，學(xué)習(xí)原始圖像到清晰圖像之間的回歸映射。

優(yōu)圖則是希望通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出中間結(jié)果圖像的光照?qǐng)D（illumination）, 進(jìn)而再通過輸入圖像和光照?qǐng)D的關(guān)系，得到增強(qiáng)后的圖片。

與幾個(gè)具有代表性的商業(yè)軟件效果對(duì)比：

具體方面及網(wǎng)絡(luò)結(jié)構(gòu)：

在網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)方面，本方案采用創(chuàng)新的雙分支的網(wǎng)絡(luò)結(jié)構(gòu)。

網(wǎng)絡(luò)分成了全分辨率分支和低分辨率分支。其中低分辨率分支用于學(xué)習(xí)到全圖光照的整體信息，低分辨率圖像的使用，有助于增大網(wǎng)絡(luò)感受野，提高算法速度。

低分辨率分支的結(jié)果將會(huì)傳遞給高分辨率網(wǎng)絡(luò)分支，用于重建全分辨率下的亮度圖，并最終得到增強(qiáng)后的圖像。

此外，優(yōu)圖設(shè)計(jì)的新的損失函數(shù)，包括：圖像重建損失、光照局部平滑損失以及顏色損失，進(jìn)一步幫助騰訊優(yōu)圖的網(wǎng)絡(luò)產(chǎn)生更加穩(wěn)定、清晰、顏色真實(shí)鮮艷的結(jié)果。

得益于雙分支網(wǎng)絡(luò)的設(shè)計(jì)，以及全分辨率分支中的雙邊上采樣模塊的設(shè)計(jì)，本方法可以在保證效果的同時(shí)，在GPU上對(duì)于高分辨率圖片（例如：3000×2000）進(jìn)行實(shí)時(shí)的增強(qiáng)。

實(shí)現(xiàn)細(xì)節(jié)如下：

夜景圖像增強(qiáng)的任務(wù)中，一個(gè)難點(diǎn)是難以獲取到成對(duì)的增強(qiáng)前后的訓(xùn)練圖像。在該項(xiàng)目中，優(yōu)圖使用了MIT-Adobe 5K數(shù)據(jù)集，該數(shù)據(jù)集包含了5000組原始圖片和專業(yè)美工調(diào)節(jié)后的圖像。

此外，為了適應(yīng)光照程度更加復(fù)雜的場(chǎng)景，優(yōu)圖自行采集數(shù)千組高清暗光照片作為訓(xùn)練數(shù)據(jù)。由此構(gòu)建出的數(shù)據(jù)集，使得本算法在復(fù)雜光照下，也能得到穩(wěn)定結(jié)果。

對(duì)于上邊描述的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)圖利用對(duì)應(yīng)的暗光和清晰圖片進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。因?yàn)榫矸e網(wǎng)絡(luò)不限制輸入圖片的大小，研究人員隨機(jī)從圖片中截取256×256尺寸大小的圖片塊進(jìn)行網(wǎng)絡(luò)訓(xùn)練來更好地利用GPU顯存。訓(xùn)練好的模型可以利用在任何尺寸的圖片上。

除了對(duì)于欠曝光圖像增強(qiáng)外，優(yōu)圖對(duì)于一些市面上常見的手機(jī)（華為P20, 小米MiX3, iPhoneX, 三星S9+）拍攝的結(jié)果，利用新算法也進(jìn)行了進(jìn)一步的美化，效果圖如下：

論文傳送門

Underexposed Photo Enhancement using Deep Illumination Estimation

《基于深度學(xué)習(xí)優(yōu)化光照的暗光下的圖像增強(qiáng)》

http://jiaya.me/papers/photoenhance_cvpr19.pdf

One more thing

不過，近日騰訊優(yōu)圖最受熱議的還有一樁AI公益的案例。

央視欄目《等著我》報(bào)道稱，優(yōu)圖突破“跨年齡人臉識(shí)別”，幫助警方尋回了被拐十年兒童。

優(yōu)圖方面介紹，這是優(yōu)圖創(chuàng)新性技術(shù)在公益領(lǐng)域的成果。

依托騰訊海量數(shù)據(jù)，騰訊優(yōu)圖首創(chuàng)了跨年齡人臉識(shí)別技術(shù)，重點(diǎn)解決尋人場(chǎng)景中嬰幼兒被拐的情況。

為了充分的從數(shù)據(jù)中學(xué)習(xí)人臉自然的跨年齡變化規(guī)律，騰訊優(yōu)圖提出了基于DDL（分布式蒸餾學(xué)習(xí)法則）學(xué)習(xí)策略的正則化遷移學(xué)習(xí)策略。

基于該策略，算法模型可充分進(jìn)行跨年齡人臉識(shí)別學(xué)習(xí)，從而讓困難的跨年齡識(shí)別更加可靠和精準(zhǔn)。

騰訊方面稱，這是對(duì)“科技向善”的最好實(shí)踐。

— 完 —

誠(chéng)摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)