海量自動駕駛仿真場景隨意變！華為等聯(lián)合發(fā)布最新工具MagicDrive

曹原 2023-10-25 13:45:40 來源：量子位

曹原 發(fā)自 副駕寺

智能車參考|公眾號AI4Auto

只需修改關(guān)鍵詞，就能隨意生成自動駕駛仿真場景！

白天、夜晚、雨天都OK，甚至還能翻轉(zhuǎn)方向。

并且順帶解決了3D幾何信息和多攝像頭視圖，集成時保證一致性這個老大難問題。

這個自動駕駛最新仿真工具叫做MagicDrive，來自香港中文大學(xué)，香港科技大學(xué)和華為諾亞方舟實驗室。

為什么需要MagicDrive

因為能提供簡潔、統(tǒng)一的視圖，BEV感知最近一直是自動駕駛關(guān)注度很高的技術(shù)。

這個特點意味著還可以利用BEV感知生成仿真街道圖像，可以將復(fù)雜交通場景可視化，對于提升自動駕駛感知模型的可靠性來說也至關(guān)重要。

但由于收集到的是3D信息，轉(zhuǎn)換為2D圖像時會丟失一些3D幾何信息，比如深度、高度、物體遮擋、路面起伏程度等等。

并且也不容易做到讓生成的多視角圖像在空間上保持連續(xù)性。

因此，研究人員們打造出MagicDrive這個全新仿真框架，不僅做到了多視角圖像的空間一致性。

△注意紅框和藍框部分

同時還讓生成的仿真場景更加可控，意味著只要修改關(guān)鍵詞，就能生成想要的仿真場景。

比如可以把原本的白天，一鍵修改成野外、光照不足的場景（第二排），還能把場景鏡像變換（第三排）：

甚至在原本仿真場景中的車，可以一鍵讓這些車調(diào)頭（第二排），還能一鍵刪除一半（第三排）：

不難看出，MagicDrive生成的仿真場景，不僅能做到非常逼真，同時對圖中對象、道路、場景都能實現(xiàn)精準(zhǔn)控制。

這又是怎么做到的？

MagicDrive技術(shù)思路

基于Diffusion模型，MagicDrive把輸入的3D幾何信息分為三類進行分別編碼，包括場景，包括相機姿態(tài)（位置和方向）和文本輸入，3D邊界框和道路地圖，如此就增加了對3D信息的可控性。

而在生成圖像環(huán)節(jié)，MagicDrive對場景和3D邊界框信息增加了一個cross-view attention模塊，以保證多視圖合成的一致性。

下圖可明顯看出，在生成圖像環(huán)節(jié)加入cross-view attention模塊，可以讓不同視角同一輛車顏色保持一致。

再加上一個額外編碼分支，協(xié)助道路地圖信息生成圖像，最后整體集成起來，就得到可控、一致的多視圖仿真場景。

并且，論文還對MagicDrive的圖像質(zhì)量做出評估。

結(jié)果顯示，在nuScenes數(shù)據(jù)集上，MagicDrive的FID分數(shù)很低，低于BEVGen和BEVControl等仿真技術(shù)，說明MagicDrive仿真效果很高。

在可控性方面，通過BEV分割任務(wù)進行評估，MagicDrive的效果也高于BEVGen和BEVControl。

另外，MagicDrive還能生成增強數(shù)據(jù)，支持感知任務(wù)訓(xùn)練，比如BEV分割和3D目標(biāo)檢測。

研究團隊簡介

本文共有7位作者，分別來自香港中文大學(xué)，香港科技大學(xué)和華為諾亞方舟實驗室。

其中來自香港中文大學(xué)的高瑞元和來自香港科技大學(xué)的陳鎧對論文有同等貢獻。

高瑞元現(xiàn)在是港中文CURE實驗室的博士生，師從本文通訊作者之一徐強教授。

高瑞元2020年畢業(yè)于北京航空航天大學(xué)高等理工學(xué)院，專業(yè)是計算機科學(xué)與技術(shù)，畢業(yè)后曾在商湯科技和華為諾亞方舟擔(dān)任過實習(xí)生。

已經(jīng)有4篇論文入選三大AI頂會，包括ECCV 2022，ICLR 2022和ICCV 2023。

陳鎧現(xiàn)在是港科大計算機科學(xué)系博士生，導(dǎo)師為楊瓞仁教授（也是本文作者之一）。

陳鎧本科就讀于復(fù)旦大學(xué)計算機科學(xué)專業(yè)，曾是上海市優(yōu)秀本科生，本科期間有兩篇論文分別被IEEE Access，以及機器人技術(shù)和智能系統(tǒng)頂會IROS 2019錄用，畢業(yè)后也在商湯科技擔(dān)任過研究實習(xí)生。

目前已經(jīng)有8篇論文入選各大AI頂會，包括ICCV 2021、ECCV 2022、ICLR 2023等，還擔(dān)任過多個AI頂會、期刊的審稿人，包括TIP、NeurIPS 2021、IJCAI 2023、CVPR 2023等。

本文的作者還包括楊瓞仁教授。

楊瓞仁教授擁有香港大學(xué)電氣工程學(xué)士學(xué)位和計算機科學(xué)碩士學(xué)位，1989年在南加州大學(xué)獲得計算機科學(xué)博士學(xué)位。曾任伊利諾伊理工大學(xué)助理教授，和港科大計算機科學(xué)與工程系（CSE）代理系主任，現(xiàn)在是該系的講座教授，論文被引次數(shù)超過3.58萬次。

本文還有兩位通訊作者，其中一位是港中文的徐強教授，是CURE實驗室負責(zé)人，以及CSE系副教授。

徐強教授分別在1997年和2000年獲得北京郵電大學(xué)電信工程學(xué)士和碩士學(xué)位，2005年獲得加拿大麥克馬斯特大學(xué)電子技術(shù)與計算機工程博士學(xué)位，后加入香港中文大學(xué)，發(fā)表論文超過130篇，被引次數(shù)達到7256次。

另一位通訊作者是謝恩澤。

謝恩澤目前是華為諾亞方舟實驗室，AI理論實驗室的高級研究員，擁有港大計算機科學(xué)博士學(xué)位，師從羅平教授和王文平教授。今年就有11篇論文入選三大AI頂會和一大AI頂刊，分別是ACL 2023、ICCV 2023、NeurIPS 2023，和TPAMI。

并且，謝恩澤還是當(dāng)下許多流行的計算機視覺算法的開發(fā)者，包括BEVFormer、SegFormer、PVT和PolarMask，還和其他人共同開發(fā)了OpenSelfSup（mmselfsup）。

另外，本文作者Hong Lanqing和李振國同樣來自華為諾亞方舟實驗室。

雖然使用MagicDrive，可以讓自動駕駛場景想變就變，并且保證高仿真和多視圖一致性，看起來是自動駕駛仿真利器，研究人員們還是找出了一點小瑕疵，比如生成的黑夜圖像不夠黑，也無法生成沒見過的天氣。

因此，他們接下來的目標(biāo)將是提高MagicDrive的跨域泛化能力。不過現(xiàn)在來看，可以說是瑕不掩瑜。

論文傳送門：https://arxiv.org/abs/2310.02601

項目主頁：https://gaoruiyuan.com/magicdrive/

代碼傳送門：https://github.com/cure-lab/MagicDrive