亮風(fēng)臺(tái)CVPR 2019 oral presentation論文：端到端的投影儀光學(xué)補(bǔ)償

智能車參考 2019-05-30 17:46:23 來(lái)源：量子位

將于 6 月在美國(guó)長(zhǎng)灘召開的CVPR 2019臨近，新的計(jì)算機(jī)視覺和模式識(shí)別算法成果不斷被披露，近日，AR產(chǎn)品與服務(wù)提供商亮風(fēng)臺(tái)公布了投影AR算法研究最新成果，主要用于解決投影儀光學(xué)補(bǔ)償問(wèn)題，即當(dāng)投影屏幕不是理想的白色漫反射時(shí)，盡可能消除投影面上的圖案。

相關(guān)論文《End-to-end Projector Photometric Compensation》已經(jīng)入選CVPR 2019的oral presentation環(huán)節(jié)。數(shù)據(jù)顯示，今年有超過(guò) 5165 篇的大會(huì)論文投稿，最終錄取1299 篇，而oral presentation的入選率只有提交論文的5%左右。

與之前提出的傳統(tǒng)的方法相比，新成果在數(shù)值和質(zhì)量效果上大幅提升，可以預(yù)見，該成果將成為投影AR技術(shù)應(yīng)用落地提供重要的技術(shù)基礎(chǔ)。

事實(shí)上，這不是亮風(fēng)臺(tái)第一次在投影AR算法上取得重要研發(fā)突破，去年，亮風(fēng)臺(tái)和美國(guó)兩所科研單位聯(lián)合研發(fā)出一套新的投影儀-相機(jī)聯(lián)合標(biāo)定方法，對(duì)于一個(gè)相機(jī)姿態(tài)僅僅需要一次投影采樣，使標(biāo)定效率和實(shí)用性大大優(yōu)于之前的大部分標(biāo)定系統(tǒng)，其成果發(fā)布于國(guó)際頂級(jí)增強(qiáng)現(xiàn)實(shí)會(huì)議ISMAR。ISMAR的參與對(duì)象主要為學(xué)術(shù)界，來(lái)自于工業(yè)界的工作鳳毛麟角。

《End-to-end Projector Photometric Compensation》的重要貢獻(xiàn)主要在以下幾點(diǎn)：

1. 首次將投影儀光學(xué)補(bǔ)償問(wèn)題闡述為一個(gè)端到端的深度學(xué)習(xí)問(wèn)題，然后構(gòu)造一個(gè)新穎的名為CompenNet的卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)隱式的學(xué)習(xí)這個(gè)復(fù)雜的補(bǔ)償函數(shù)。

2. 首次提出一個(gè)獨(dú)立于設(shè)備和實(shí)際投影的數(shù)據(jù)庫(kù)和評(píng)價(jià)基準(zhǔn)，今后類似的工作可以在這個(gè)評(píng)價(jià)基準(zhǔn)上統(tǒng)一比較，而不需要復(fù)現(xiàn)該研究中使用的設(shè)備和實(shí)際投影，以前的工作是沒有這樣的評(píng)價(jià)基準(zhǔn)的。

3. 提供了一個(gè)預(yù)訓(xùn)練的方法，將預(yù)訓(xùn)練好的CompenNet遷移到新的投影屏幕和硬件設(shè)置上，只需要拍攝少量的采樣圖片就可以媲美甚至超過(guò)從零開始訓(xùn)練CompenNet和傳統(tǒng)方法，這樣可以大量的節(jié)省采樣圖拍攝時(shí)間和訓(xùn)練時(shí)間。

4. 在亮風(fēng)臺(tái)提出的評(píng)價(jià)基準(zhǔn)上比較了CompenNet和其他傳統(tǒng)的方法，以及一個(gè)通用的圖到圖遷移的深度學(xué)習(xí)框架pix2pix，實(shí)驗(yàn)結(jié)果顯示在數(shù)值和質(zhì)量效果上新方法都大幅度優(yōu)于其他參與比較的方法。

背景介紹

這篇工作主要解決投影儀光學(xué)補(bǔ)償問(wèn)題，即當(dāng)投影儀屏幕不是理想的白色漫反射時(shí)，屏幕的顏色和紋理會(huì)導(dǎo)致用戶看到失真的效果，如下圖1所示。

圖1. (a) 正常光照下的具有紋理和顏色的投影屏幕。(b) 投影儀投射的圖片（也是我們想要看到的效果）。(c) 相機(jī)拍攝到的，沒有補(bǔ)償?shù)耐队敖Y(jié)果，即將(b)直接投影到(a)上。(d) 我們模型計(jì)算出的補(bǔ)償圖。(e) 相機(jī)拍到的補(bǔ)償后的效果，即將(d)投影到(a)上。比較(c)和(e)，可以看到明顯提升的效果和細(xì)節(jié)。

為了解決投影儀光學(xué)補(bǔ)償問(wèn)題，一般是用一個(gè)相機(jī)來(lái)拍攝大量的投影儀投射的圖片，然后從這些拍到的和投射的圖片對(duì)中擬合出一個(gè)光學(xué)補(bǔ)償函數(shù)，再將要投射的圖片經(jīng)過(guò)這個(gè)光學(xué)補(bǔ)償函數(shù)補(bǔ)償，最后由投影儀投射，這樣投射的補(bǔ)償正好可以抵消非理想屏幕的顏色和紋理和投影儀本身的非線性光學(xué)特性。

但是以上的光學(xué)過(guò)程過(guò)于復(fù)雜，所以很多傳統(tǒng)方法以及目前效果較好的算法，都是將這個(gè)過(guò)程簡(jiǎn)化為投影儀像素與相機(jī)拍到的像素只是一一對(duì)應(yīng)，然后獨(dú)立地對(duì)每個(gè)像素?cái)M合一個(gè)光學(xué)補(bǔ)償函數(shù)。這樣的假設(shè)，往往忽略了很多重要信息，比如由于投影儀和相機(jī)跟屏幕的距離，投影儀相機(jī)輕微失焦和屏幕表面相互反射等因素，每一個(gè)投影儀的像素并不是跟每個(gè)相機(jī)像素一一對(duì)應(yīng)，很可能一個(gè)投影儀像素覆蓋了幾個(gè)相機(jī)的像素，這樣的簡(jiǎn)化勢(shì)必影響投影儀光學(xué)補(bǔ)償?shù)男Ч瑢?shí)驗(yàn)的結(jié)果也印證了這一點(diǎn)。

研究方法

為了避免過(guò)于簡(jiǎn)化，我們采用一個(gè)新思路，即用CNN網(wǎng)絡(luò)來(lái)端到端隱式地學(xué)習(xí)這個(gè)復(fù)雜的光學(xué)補(bǔ)償函數(shù)。這樣的好處主要是：

1. CNN有足夠的模型復(fù)雜度來(lái)擬合復(fù)雜的光學(xué)過(guò)程。

2. CNN濾波器本身就對(duì)領(lǐng)域像素采樣，這樣我們不需要像傳統(tǒng)方法那樣進(jìn)行像素一一對(duì)應(yīng)的簡(jiǎn)化。

3. 根據(jù)我們的數(shù)學(xué)推導(dǎo)，發(fā)現(xiàn)可以用一張相機(jī)拍到的屏幕照片

來(lái)表示投影屏幕本身的光學(xué)特性，然后將這張照片作為CompenNet的第二個(gè)輸入，指導(dǎo)CompenNet學(xué)習(xí)相機(jī)拍攝的失真圖

和屏幕光學(xué)特性

的關(guān)系, 如下圖2所示。

圖2. CompenNet的結(jié)構(gòu)。比較訓(xùn)練（左）和補(bǔ)償（右）過(guò)程，我們發(fā)現(xiàn)學(xué)習(xí)從相機(jī)拍攝的未補(bǔ)償圖到投影儀輸入圖片的反映射->，就是學(xué)習(xí)從投影儀輸入圖片（想要用戶看到的效果）到補(bǔ)償圖片的映射->。

網(wǎng)絡(luò)訓(xùn)練和光學(xué)補(bǔ)償?shù)牧鞒倘缦聢D3所示：

圖3. 網(wǎng)絡(luò)訓(xùn)練和光學(xué)補(bǔ)償?shù)牧鞒虉D。(a) 投影然后拍攝一張投影表面的圖和一系列具有紋理的采樣圖。(b) 用拍攝到和投射的圖片對(duì)訓(xùn)練CompenNet 。(c) 用訓(xùn)練好的CompenNet補(bǔ)償輸入的圖片（也是想要用戶看到效果）, 然后將補(bǔ)償后的圖片投影。

實(shí)驗(yàn)結(jié)果：

圖4. 相機(jī)拍攝的補(bǔ)償效果比較。第一列：投影儀屏幕表面紋理。第二列：相機(jī)拍攝的未補(bǔ)償效果。第三到第六列，相機(jī)拍攝的不同補(bǔ)償方法補(bǔ)償后的效果。第七列，投影儀的輸入，即想要用戶看到的效果。

表1. 不同補(bǔ)償方法的數(shù)值比較，以下數(shù)值是平均了來(lái)自于24個(gè)不同環(huán)境設(shè)置，即光照，投影儀、相機(jī)姿態(tài)和投影儀表面紋理的結(jié)果。每個(gè)環(huán)境設(shè)置有500張訓(xùn)練圖，200張測(cè)試圖?？梢悦黠@看到在投影儀光學(xué)補(bǔ)償任務(wù)上，我們的方法優(yōu)于傳統(tǒng)方法和pix2pix。

表2. CompenNet預(yù)訓(xùn)練與從新訓(xùn)練的比較。我們只采用32個(gè)訓(xùn)練樣本并只訓(xùn)練500個(gè)循環(huán)，總共耗時(shí)170秒?？梢悦黠@看到，微調(diào)預(yù)訓(xùn)練模型的結(jié)果優(yōu)于從新訓(xùn)練CompenNet，而且因?yàn)橹恍枰倭繕颖竞陀?xùn)練時(shí)間，在實(shí)際使用中也更便捷。

進(jìn)一步了解請(qǐng)查看詳情：

論文：https://arxiv.org/pdf/1904.04335.pdf

補(bǔ)充材料：http://www.dabi.temple.edu/~hbling/publication/CompenNet_sup.pdf

源代碼：https://github.com/BingyaoHuang/CompenNet

— 完 —