數(shù)據(jù)不夠，Waymo用GAN來湊：生成逼真相機(jī)圖像，在仿真環(huán)境中訓(xùn)練無人車模型

魚羊 2020-06-15 13:18:51 來源：量子位

魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

疫情當(dāng)下，Waymo等自動駕駛廠商暫時不能在現(xiàn)實世界的公共道路上進(jìn)行訓(xùn)練、測試了。

不過，工程師們還可以在GTA（劃掉），啊不，在仿真環(huán)境里接著跑車。

模擬環(huán)境里的場景、對象、傳感器反饋通常是用虛幻引擎或者Unity這樣的游戲引擎來創(chuàng)建的。

為了實現(xiàn)逼真的激光雷達(dá)等傳感器建模，就需要大量的手動操作，想要獲得足夠多、足夠復(fù)雜的數(shù)據(jù)，可得多費(fèi)不少功夫。

數(shù)據(jù)不夠，無人車標(biāo)桿Waymo決定用GAN來湊。

這只GAN，名叫SurfelGAN，能基于無人車收集到的有限的激光雷達(dá)和攝像頭數(shù)據(jù)，生成逼真的相機(jī)圖像。

用GAN生成的數(shù)據(jù)訓(xùn)練，還是訓(xùn)練自動駕駛汽車，這到底靠譜不靠譜？

SurfelGAN

那么首先，一起來看看SurfelGAN是怎樣煉成的。

主要有兩個步驟：

首先，掃描目標(biāo)環(huán)境，重建一個由大量有紋理的表面元素（Surfel）構(gòu)成的場景。

然后，用相機(jī)軌跡對表面元素進(jìn)行渲染，同時進(jìn)行語義和實例分割。接著，通過GAN生成逼真的相機(jī)圖像。

表面元素場景重建

為了忠實保留傳感器信息，同時在計算和存儲方面保持高效，研究人員提出了紋理增強(qiáng)表面元素地圖表示方法。

表面元素（surface element，縮寫Surfel）適用于動態(tài)幾何建模，一個對象由一組密集的點(diǎn)或帶有光照信息的面元來表示。

研究人員將激光雷達(dá)掃描捕獲的體素，轉(zhuǎn)換為具有顏色的表面元素，并使其離散成 k×k 的網(wǎng)格。

由于光照條件的不同和相機(jī)相對姿勢（距離和視角）的變化，每個表面元素在不同的幀中可能會有不同的外觀，研究人員提出，通過創(chuàng)建一個由 n 個不同距離的 k×k 網(wǎng)格組成的編碼簿，來增強(qiáng)表面元素表示。

在渲染階段，該方法根據(jù)相機(jī)姿勢來決定使用哪一個 k×k 塊。

圖中第二行，即為該方法的最終渲染效果。可以看到，與第一行基線方法相比，紋理增強(qiáng)表面元素圖消除了很多偽影，更接近于第三行中的真實圖像。

為了處理諸如車輛之類的動態(tài)對象，SurfelGAN還采用了Waymo開放數(shù)據(jù)集中的注釋。來自目標(biāo)對象的激光雷達(dá)掃描的數(shù)據(jù)會被積累下來，這樣，在模擬環(huán)境中，就可以在任意位置完成車輛、行人的重建。

通過SurfelGAN合成圖像

完成上面的步驟，模擬場景仍存在幾何形狀和紋理不完美的問題。

這時候，GAN模塊就上場了。

訓(xùn)練設(shè)置了兩個對稱的編碼-解碼生成器，從Sufel圖像到真實圖像的GS→I，以及反過來從真實圖像到Sufel圖像的GI→S。同樣也有兩個判別器，分別針對Sufel域和真實域。

上圖中，綠色的線代表有監(jiān)督重建損失，紅色的線代表對抗損失，藍(lán)線/黃線為周期一致性損失。

輸入數(shù)據(jù)包括配對數(shù)據(jù)和未配對數(shù)據(jù)。其中，未配對數(shù)據(jù)用來實現(xiàn)兩個目的：

• 提高判別器的泛化性能；
• 通過強(qiáng)制循環(huán)一致性來規(guī)范生成器。

另外，由于表面元素圖像的覆蓋范圍有限，渲染出的圖像中包含了大面積的未知區(qū)域，并且，相機(jī)和表面元素之間的距離也引入了另一個不確定因素，研究人員采用了距離加權(quán)損失來穩(wěn)定GAN的訓(xùn)練。

具體而言，在數(shù)據(jù)預(yù)處理過程中，先生成一個距離圖，然后利用距離信息作為加權(quán)稀疏，對重構(gòu)損失進(jìn)行調(diào)節(jié)。

實驗結(jié)果

最后，效果如何，還是要看看實驗結(jié)果。

研究人員們基于Waymo Open Dataset（WOD）進(jìn)行了實驗。該數(shù)據(jù)集包括798個訓(xùn)練序列，和202個驗證序列。每個序列包含20秒的攝像頭數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)。此外，還包括WOD中真的對車輛、行人的注釋。

他們還從WOD中衍生出了一個新的數(shù)據(jù)集——Waymo Open Dataset-Novel View。在這個數(shù)據(jù)集中，根據(jù)相機(jī)擾動姿勢，研究人員為原始數(shù)據(jù)集里的每一幀創(chuàng)建了新的表面元素渲染。

此外，還有9800個100幀短序列，用于真實圖像的無配對訓(xùn)練。以及雙攝像頭-姿勢數(shù)據(jù)集（DCP），用于測試模型的真實性。

可以看到，在檢測器的鑒定下，SurfelGAN生成的最高質(zhì)量圖像將AP@50從52.1%拉升到了62.0%，與真實圖像的61.9%持平。

Waymo認(rèn)為，這樣的結(jié)果為將來的動態(tài)對象建模和視頻生成模擬系統(tǒng)奠定了堅實的基礎(chǔ)。

華人一作

論文的第一作者，是Waymo的華人實習(xí)生Zhenpei Yang，他于2019年6月至8月間在Waymo完成了這項研究。

Zhenpei Yang本科畢業(yè)于清華大學(xué)自動化系，目前在德州大學(xué)奧斯汀分校攻讀博士，研究方向是3D視覺和深度學(xué)習(xí)。

Waymo首席科學(xué)家Dragomir Anguelov，也是論文的作者之一。

參考鏈接

論文：
https://arxiv.org/abs/2005.03844
VB報道：
https://venturebeat.com/2020/05/20/waymo-is-using-ai-to-simulate-autonomous-vehicle-camera-data/

— 完 —