大疆車載負責人新論文：攝像頭激光雷達慣導一起上，實時渲染精準3D場景

曹原 2024-03-05 14:15:11 來源：量子位

曹原 發(fā)自 副駕寺

智能車參考|公眾號AI4Auto

大疆車載負責人沈邵劼，帶隊發(fā)了一篇新論文。

隨著高階智駕開城進展加快，這給系統(tǒng)的高精定位、實時建圖能力帶來不小的考驗。

在這樣的背景下，來自香港大學、港科大、上交和北理的沈邵劼團隊，基于攝像頭、激光雷達和IMU，帶來一種新方式：LIV-GaussMap。

通過這種方案實時構(gòu)建出的地圖，精度可以和照片媲美：

更重要的是，這種方法需要的硬件、軟件還有團隊收集的數(shù)據(jù)集，全部開源。

高精定位技術路線

以自動駕駛系統(tǒng)為例，模塊化通?？煞譃槿糠郑焊兄⒍ㄎ缓鸵?guī)控。

經(jīng)常提到的“重感知、輕地圖”路線，這里的地圖指的就是定位模塊。

而自動駕駛等級越高，對于定位的精度要求也會越高。

因為精度越高，系統(tǒng)對周圍環(huán)境了解越清楚，車道線、紅綠燈等等都“一目了然”，才能更方便系統(tǒng)做出駕駛決策，并且是正確的決策。

一般來說，高精定位技術路線有三種，衛(wèi)星信號定位（GNSS+RTK）、慣性導航定位（INS/IMU）和環(huán)境特征匹配定位。

并且由于三種技術方案各自都有優(yōu)缺點，實際通常會采用多種方案融合的方式。

比如最常見的衛(wèi)星定位和慣性導航，可通過松耦合，緊耦合或深耦合的方式進行定位，也就是俗稱的衛(wèi)慣組合。

衛(wèi)星可修正慣導系統(tǒng)的誤差，提高精度；慣導則可以防止衛(wèi)星信號被遮擋或干擾的情況下，車輛無法獲得定位信息。

不過，即使用多種方案融合，在城市工況中衛(wèi)星被嚴重遮擋（隧道、高架橋），甚至是地下停車場這種完全“丟星”的情況，就又回到了單一技術方案：只依賴慣導。

而慣導系統(tǒng)如果長時間沒有外部信息修正，誤差會不斷積累，導致無法給出準確的定位結(jié)果。

因此就誕生了解耦衛(wèi)慣，引入其他傳感器等信息的新方式。比如利用慣導和攝像頭的視覺慣性里程計測距（Visual Inertial Odometry，VIO），類似的還有使用激光雷達的LIO。

而本篇論文的團隊，選擇同時引入攝像頭和激光雷達信息，提出了一種新解法。

LIV-GaussMap：實時生成照片級地圖

LIV-GaussMap系統(tǒng)集成激光雷達（LiDAR）、慣性測量單元（IMU）和攝像頭（Visual）的信息，進行多模態(tài)的傳感器融合，能實時生成3D輻射場地圖，是一種新方式生成的緊耦合地圖。

這種方法生成的地圖，無論是小范圍場景（a）還是大范圍場景（b），精度明顯提升，并且不會產(chǎn)生奇怪的虛影。

這又是怎么做到的？

系統(tǒng)首先進行硬件同步，也就是攝像頭產(chǎn)生的圖像和激光雷達生成的點云之間實現(xiàn)精確時間對齊，為數(shù)據(jù)融合做準備。

隨后，系統(tǒng)利用激光雷達和IMU融合的系統(tǒng)進行實時定位和地圖構(gòu)建，基于迭代誤差狀態(tài)卡爾曼濾波（IESKF）提供場景初步的高斯結(jié)構(gòu)，和初始點云數(shù)據(jù)。

接下來，系統(tǒng)使用圖像亮度梯度優(yōu)化高斯結(jié)構(gòu)和球面諧波系數(shù)，用優(yōu)化后的結(jié)果得到表面高斯模型。

最后用光度插值和外推來合成新的視圖，并且系統(tǒng)能做到自適應控制，根據(jù)點云的分布和密度，動態(tài)調(diào)整地圖的結(jié)構(gòu)，確保生成的是有細節(jié)、沒有任何間隙的地圖。

基于真實數(shù)據(jù)集，和其他最先進算法相比，比如Plenoxel、F2-NeRF、3D-GS等，LIV-GaussMap生成的效果更真實、精度更高。

從得分來看，LIV-GaussMap的多項成績也均優(yōu)于其它方式。比如能夠衡量圖像質(zhì)量的指標PSNR，以及基于深度學習的圖像相似性度量LPIPS，無論是內(nèi)插還是外插，LIV-GaussMap效果都是最優(yōu)的。

實時3D建圖，不止于車

從實際的生成效果來看，LIV-GaussMap最大特點就是能夠準確還原各類物體的表面特征和幾何結(jié)構(gòu)，可以構(gòu)建詳細地圖。

而從圖像引入的亮度梯度數(shù)據(jù)，可以幫助解決激光雷達點云分布不合理或者測量不準確的問題。

同時，LIV-GaussMap系統(tǒng)對于激光雷達類型沒有要求，無論是固態(tài)還是機械的激光雷達，同時支持重復和非重復掃描模式。

并且，雖然SLAM這種能夠?qū)崟r構(gòu)建高精地圖的能力，對于高階智能駕駛來說不可或缺，但LIV-GaussMap也能應用在數(shù)字孿生、虛擬現(xiàn)實、機器人等需要實時渲染3D場景的領域。

從論文團隊的背景來看，也都來自多個專業(yè)。

作者Sheng Hong和Junjie He對本文有同等貢獻，其中Sheng Hong來自香港科技大學計算機電子工程系，是機器人研究所-空中機器人組博士生。

Junjie He則和作者之一Xinhu Zheng，都來自香港科技大學（廣州）系統(tǒng)樞紐平臺（System hub）。

△Xinhu Zheng

作者之一Chunran Zheng來自香港大學，本科畢業(yè)于西安交通大學自動化專業(yè)，目前在香港大學MaRS實驗室攻讀博士學位。

本文的其他作者則都是美國電氣電子工程師學會（IEEE）的會員，包括來自上海交通大學自動化系教授Hesheng Wang，已經(jīng)在國內(nèi)外期刊和學術會議上發(fā)表論文超過150篇，SCI引用超過200次，谷歌學術被引次數(shù)超過1400次，曾多次擔任IEEE會議主席，還是多份機器人相關期刊副主編。

還有來自北京理工大學自動化學院的方浩教授，2002年獲得西安交通大學博士學位，曾參與多項國防預研項目，公開發(fā)表學術論文超過40篇。

本文的通訊作者是劉康丞教授，來自香港科技大學（廣州），博士就讀于香港中文大學，主動機器人和3D視覺方向，曾擔任20余種國際會議程序會議主席，和10余種國際頂級期刊的程序委員會委員或?qū)徃迦恕?/p>

最后一位作者就是沈劭劼，是港科大計算機電子工程學系副教授，以及港科大-大疆聯(lián)合創(chuàng)新實驗室（HDJI Lab）主任，同時還是大疆車載負責人。

沈劭劼?lián)碛匈e夕法尼亞大學電氣與系統(tǒng)工程博士學位，研究領域包括機器人和無人機的狀態(tài)估計、傳感器融合、定位和地圖繪制等，不僅多次擔任國際機器人會議和期刊的主席、高級編輯等職務，還多次獲得AI 2000最具影響力學者獎。

目前，LIV-GaussMap的硬件、軟件，還有團隊收集的數(shù)據(jù)集將在github上開源，感興趣的可以等等看～

論文傳送門：

https://arxiv.org/abs/2401.14857

github傳送門：

https://github.com/sheng00125/LIV-GaussMap