谷歌預(yù)測景深新研究：即使相機(jī)人物都在動，單一視點也能合成3D深度圖
流程大大簡化
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
一個你邊走邊拍得到的普通視頻，現(xiàn)在也能重建出精準(zhǔn)的3D世界了。
這一次，谷歌用深度學(xué)習(xí)的方法，不僅從視頻中重建了移動對象的景深圖，而且效果精準(zhǔn)驚艷。即使拍攝相機(jī)和人物同時在運動，也能很好重建景深圖。
輸入這樣的視頻：
就能輸出這樣的3D景深版：
谷歌在博客中表示，這是世界首個在攝像機(jī)和人體同時運動情況下的深度學(xué)習(xí)景深預(yù)測算法，優(yōu)于制作深度圖的最先進(jìn)工具。
半天時間，推特有近千次的點贊，網(wǎng)友表示：“超級酷”。
研究論文也被CVPR 2019 接收，脫穎而出成為一篇Oral論文。
學(xué)習(xí)先驗
讓網(wǎng)友high起來的點在于，傳統(tǒng)的創(chuàng)建景深圖的方法，需要至少兩個視點同時捕捉影像。通過兩個不同的視角在同一時間段的變化軌跡，才能拼接重建出3D的影像。
就像下面這樣：
而谷歌的這項研究，只需要用一個視點的影像即可預(yù)測位置關(guān)系進(jìn)行重建，比傳統(tǒng)方法簡化了不是一星半點，變成了下面這樣：
在論文Learning the Depths of Moving People by Watching Frozen People中，研究人員介紹了具體的設(shè)計細(xì)節(jié)。
和傳統(tǒng)方法最大的改進(jìn)在于，谷歌的新方法可以用深度學(xué)習(xí)，從數(shù)據(jù)中學(xué)習(xí)人體姿態(tài)和形狀的先驗知識，避開了直接的3D三角測量（3D triangulation）。
這個模型應(yīng)該如何去構(gòu)建？
如何獲取訓(xùn)練數(shù)據(jù)是擺在前面的第一個問題，在這個數(shù)據(jù)集中，需要移動的攝像機(jī)拍攝的自然場景視頻，以及精確的深度圖。這樣的數(shù)據(jù)集，似乎在谷歌家族產(chǎn)品中就能找到。
研究人員選取了YouTube上關(guān)于#假人挑戰(zhàn)#(Mannequin Challenge)話題的數(shù)據(jù)，在這種類型的視頻中，被拍攝者需做出一個定格動作，且要表現(xiàn)與人體模型一樣靜止不動，并由攝影師透過移動鏡頭的技巧進(jìn)行拍攝：
有了這些數(shù)據(jù)，再利用多視角立體（ Multi-View Stereo，MVS）算法，就可以獲取到包含其中人物在內(nèi)整個場景的深度圖了。
△?合成景深圖流程
搞定數(shù)據(jù)集后，第二個問題來了，如何能在人物和攝像機(jī)同時移動的情況下構(gòu)建景深圖呢？
此前，谷歌在展示過在Pixel 3手機(jī)中，通過單目攝像頭確定景深圖的研究。但在這個項目中，只有手機(jī)鏡頭在動，被拍攝的人靜止。
但這個研究的難度顯然升級了。
研究人員針對視頻中的單個幀，單獨進(jìn)行深度推斷。他們計算了視頻中每一幀和其他幀之間的2D光流（2D optical flow），用來表示兩幀之間的像素位移。
為了在測試時處理移動的人物，他們采用了人像分割網(wǎng)絡(luò)（ human-segmentation network）來掩蓋初始深度圖中的人類區(qū)域。整個網(wǎng)路的完整輸入包括：
- RGB圖像
- 人物mask
- 來自視差的mask深度圖
此外，通過學(xué)習(xí)人類姿態(tài)和人體形狀的先驗，研究人員細(xì)化了景深圖中各種細(xì)節(jié)。
經(jīng)過大量訓(xùn)練后，這個模型可以處理任意相機(jī)位置和人體運動的自然視頻。
研究人員將這個新模型與此前DORN DeMoN等類似算法進(jìn)行了測評對比，結(jié)果如下：
此外，除了合成景深圖，這個新模型還能應(yīng)用到將合成的CG對象插入到視頻場景中。
結(jié)果顯示，即使晃動攝像機(jī)改變其位置，也能用視頻其他幀的像素填充人物后面的背景區(qū)域。
傳送門
谷歌官方博客：
https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html
論文地址：
https://arxiv.org/abs/1904.11111
—?完?—
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請在量子位公眾號(QbitAI)對話界面，回復(fù)“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
相關(guān)閱讀
