谷歌預(yù)測(cè)景深新研究：即使相機(jī)人物都在動(dòng)，單一視點(diǎn)也能合成3D深度圖

安妮 2019-05-24 14:13:45 來(lái)源：量子位

銅靈 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

一個(gè)你邊走邊拍得到的普通視頻，現(xiàn)在也能重建出精準(zhǔn)的3D世界了。

這一次，谷歌用深度學(xué)習(xí)的方法，不僅從視頻中重建了移動(dòng)對(duì)象的景深圖，而且效果精準(zhǔn)驚艷。即使拍攝相機(jī)和人物同時(shí)在運(yùn)動(dòng)，也能很好重建景深圖。

輸入這樣的視頻：

就能輸出這樣的3D景深版：

谷歌在博客中表示，這是世界首個(gè)在攝像機(jī)和人體同時(shí)運(yùn)動(dòng)情況下的深度學(xué)習(xí)景深預(yù)測(cè)算法，優(yōu)于制作深度圖的最先進(jìn)工具。

半天時(shí)間，推特有近千次的點(diǎn)贊，網(wǎng)友表示：“超級(jí)酷”。

研究論文也被CVPR 2019 接收，脫穎而出成為一篇Oral論文。

學(xué)習(xí)先驗(yàn)

讓網(wǎng)友high起來(lái)的點(diǎn)在于，傳統(tǒng)的創(chuàng)建景深圖的方法，需要至少兩個(gè)視點(diǎn)同時(shí)捕捉影像。通過(guò)兩個(gè)不同的視角在同一時(shí)間段的變化軌跡，才能拼接重建出3D的影像。

就像下面這樣：

而谷歌的這項(xiàng)研究，只需要用一個(gè)視點(diǎn)的影像即可預(yù)測(cè)位置關(guān)系進(jìn)行重建，比傳統(tǒng)方法簡(jiǎn)化了不是一星半點(diǎn)，變成了下面這樣：

在論文Learning the Depths of Moving People by Watching Frozen People中，研究人員介紹了具體的設(shè)計(jì)細(xì)節(jié)。

和傳統(tǒng)方法最大的改進(jìn)在于，谷歌的新方法可以用深度學(xué)習(xí)，從數(shù)據(jù)中學(xué)習(xí)人體姿態(tài)和形狀的先驗(yàn)知識(shí)，避開(kāi)了直接的3D三角測(cè)量（3D triangulation）。

這個(gè)模型應(yīng)該如何去構(gòu)建？

如何獲取訓(xùn)練數(shù)據(jù)是擺在前面的第一個(gè)問(wèn)題，在這個(gè)數(shù)據(jù)集中，需要移動(dòng)的攝像機(jī)拍攝的自然場(chǎng)景視頻，以及精確的深度圖。這樣的數(shù)據(jù)集，似乎在谷歌家族產(chǎn)品中就能找到。

研究人員選取了YouTube上關(guān)于#假人挑戰(zhàn)#(Mannequin Challenge)話題的數(shù)據(jù)，在這種類(lèi)型的視頻中，被拍攝者需做出一個(gè)定格動(dòng)作，且要表現(xiàn)與人體模型一樣靜止不動(dòng)，并由攝影師透過(guò)移動(dòng)鏡頭的技巧進(jìn)行拍攝：

有了這些數(shù)據(jù)，再利用多視角立體（ Multi-View Stereo，MVS）算法，就可以獲取到包含其中人物在內(nèi)整個(gè)場(chǎng)景的深度圖了。

△?合成景深圖流程

搞定數(shù)據(jù)集后，第二個(gè)問(wèn)題來(lái)了，如何能在人物和攝像機(jī)同時(shí)移動(dòng)的情況下構(gòu)建景深圖呢？

此前，谷歌在展示過(guò)在Pixel 3手機(jī)中，通過(guò)單目攝像頭確定景深圖的研究。但在這個(gè)項(xiàng)目中，只有手機(jī)鏡頭在動(dòng)，被拍攝的人靜止。

但這個(gè)研究的難度顯然升級(jí)了。

研究人員針對(duì)視頻中的單個(gè)幀，單獨(dú)進(jìn)行深度推斷。他們計(jì)算了視頻中每一幀和其他幀之間的2D光流（2D optical flow），用來(lái)表示兩幀之間的像素位移。

為了在測(cè)試時(shí)處理移動(dòng)的人物，他們采用了人像分割網(wǎng)絡(luò)（ human-segmentation network）來(lái)掩蓋初始深度圖中的人類(lèi)區(qū)域。整個(gè)網(wǎng)路的完整輸入包括：

1. RGB圖像
2. 人物mask
3. 來(lái)自視差的mask深度圖

此外，通過(guò)學(xué)習(xí)人類(lèi)姿態(tài)和人體形狀的先驗(yàn)，研究人員細(xì)化了景深圖中各種細(xì)節(jié)。

經(jīng)過(guò)大量訓(xùn)練后，這個(gè)模型可以處理任意相機(jī)位置和人體運(yùn)動(dòng)的自然視頻。

研究人員將這個(gè)新模型與此前DORN DeMoN等類(lèi)似算法進(jìn)行了測(cè)評(píng)對(duì)比，結(jié)果如下：

此外，除了合成景深圖，這個(gè)新模型還能應(yīng)用到將合成的CG對(duì)象插入到視頻場(chǎng)景中。

結(jié)果顯示，即使晃動(dòng)攝像機(jī)改變其位置，也能用視頻其他幀的像素填充人物后面的背景區(qū)域。

傳送門(mén)

谷歌官方博客：

https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html

論文地址：

https://arxiv.org/abs/1904.11111

—?完?—

誠(chéng)摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)