這是商湯絕影智能車3D目標(biāo)檢測(cè)模型新神器，入選了AI頂會(huì)ICCV

曹原 2023-10-09 13:24:28 來(lái)源：量子位

曹原 發(fā)自 副駕寺

智能車參考|公眾號(hào)AI4Auto

商湯絕影最新自動(dòng)駕駛研究成果來(lái)了！

使用一種全新訓(xùn)練方式，能有效提升純視覺3D目標(biāo)檢測(cè)模型精度！

該方式的研究論文入選了AI頂會(huì)ICCV 2023，代碼已開源。

研究提出了一種叫做歷史幀物體預(yù)測(cè)（HoP）的訓(xùn)練方法，能讓3D目標(biāo)檢測(cè)模型更有效地利用時(shí)間信息。

并且，HoP方法即插即用，可以無(wú)縫集成到任何BEV檢測(cè)框架中，并提升性能。

例如在主流3D目標(biāo)檢測(cè)方法之一——BEVDet4D框架下，使用HoP方法進(jìn)行訓(xùn)練能夠有效提升模型性能，并且發(fā)布時(shí)在nuScenes的純視覺方案中取得SOTA。

這又是怎么做到的？

商湯最新自動(dòng)駕駛研究成果

基于純視覺的3D目標(biāo)檢測(cè)正逐漸成為自動(dòng)駕駛領(lǐng)域的新研究熱點(diǎn)，同時(shí)也是非常具有挑戰(zhàn)性的任務(wù)。

目標(biāo)物體被遮擋、圖片信息不全等等都會(huì)影響到系統(tǒng)對(duì)3D環(huán)境的感知，如何融合多攝像頭的信息也是其中的難點(diǎn)。

目前最常用的方法是在BEV空間里引入時(shí)空信息，對(duì)數(shù)據(jù)信息進(jìn)行時(shí)間融合，比較著名的方法有BEVDet4D、BEVStereo、BEVFormer、PETRv2等等。

新方法不斷迭代，SOTA的記錄也不斷被刷新，這意味著時(shí)間信息在純視覺3D目標(biāo)檢測(cè)具有非常重要的作用。

因此，商湯基模型團(tuán)隊(duì)提出了一種新的，名為歷史幀物體預(yù)測(cè)（Historical Object Prediction，HoP）的訓(xùn)練方案，能夠更高效地利用時(shí)間信息，增強(qiáng)算法的時(shí)間建模能力。

并且，HoP可以無(wú)縫接入任何最先進(jìn)的BEV檢測(cè)框架中，并顯著提升性能，同時(shí)只用在訓(xùn)練過(guò)程中使用，在測(cè)試時(shí)不會(huì)引入額外開銷。

在BEVDet4D框架下，使用ViT-L作為骨干網(wǎng)絡(luò)，在nuScenes數(shù)據(jù)集上，使用HoP訓(xùn)練后的NDS和mAP分別為68.5%和62.4%。論文4月發(fā)布時(shí)，達(dá)到當(dāng)時(shí)純視覺方案的SOTA。

另外，在使用歷史幀Query融合優(yōu)化后的BEVFormer框架下，使用HoP訓(xùn)練后，在ResNet101和V2-99兩種骨干網(wǎng)絡(luò)下，模型都獲得了優(yōu)于其他模型的結(jié)果。

那么，HoP又包括什么？

HoP訓(xùn)練方案和歷史幀Query融合

首先，利用圖片的骨干網(wǎng)絡(luò)和視角轉(zhuǎn)換網(wǎng)絡(luò)得到從t到t-N時(shí)刻的BEV特征，并丟棄第t-k幀的BEV特征信息。

其次，研究設(shè)計(jì)了一種時(shí)間解碼器，用來(lái)在剩余幀的BEV特征中提取有價(jià)值的信息，重建一個(gè)虛擬的t-k幀的BEV特征。

該時(shí)間解碼器包括長(zhǎng)期時(shí)序信息捕捉分支和短期時(shí)序信息捕捉分支。

△短期時(shí)序捕捉分支

一方面，短期時(shí)序信息捕捉分支重點(diǎn)在于提取空間語(yǔ)義信息，主要利用t-k幀前后兩幀；另一方面，長(zhǎng)期時(shí)序信息捕捉分支則能夠提取物體的運(yùn)動(dòng)信息，利用的是其余所有幀的信息。

△長(zhǎng)期時(shí)序捕捉分支

兩種方式互補(bǔ)結(jié)合，得到強(qiáng)時(shí)空特征，更有利于建立虛擬的t-k幀的BEV特征。

最后，研究在虛擬的t-k幀的BEV特征上，增加了一個(gè)輕量的BEV檢測(cè)頭來(lái)預(yù)測(cè)t-k幀的物體。

除了HoP，論文中還提出了歷史幀Query融合（Historical Temporal Query Fusion），可以從Query層面融合歷史幀的信息來(lái)幫助當(dāng)前幀的檢測(cè)。

在使用歷史幀Query融合優(yōu)化后的BEVFormer框架，使用HoP方法訓(xùn)練后，NDS和mAP都得到提高。

作者簡(jiǎn)介

本文一共有7位研究人員，分別來(lái)自商湯、香港大學(xué)、哈爾濱工業(yè)大學(xué)（深圳校區(qū)）和香港中文大學(xué)。

兩位同等貢獻(xiàn)的第一作者均是商湯的研究人員，分別是Zong Zhuofan和Jiang Dongzhi。第三位作者Song Guanglu同樣也來(lái)自商湯。

其余作者中，Xue Zeyue來(lái)自香港大學(xué)，Su Jingyong來(lái)自哈爾濱工業(yè)大學(xué)（深圳校區(qū)）。

另外，本文還有兩位通訊作者，分別是來(lái)自香港中文大學(xué)的李鴻升，以及來(lái)自商湯的劉宇。

其中，李鴻升是香港中文大學(xué)電子工程系副教授，擁有美國(guó)理海大學(xué)計(jì)算機(jī)科學(xué)博士學(xué)位。主要研究方向包括計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和醫(yī)學(xué)圖像分析，此次有13篇論文入選ICCV 2023，谷歌學(xué)術(shù)上總被引次數(shù)達(dá)到33369次。

劉宇是商湯智慧決策與游戲事業(yè)部總經(jīng)理兼高級(jí)研究總監(jiān)，博士畢業(yè)于香港中文大學(xué)MMLab，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺，在AI領(lǐng)域頂會(huì)頂刊發(fā)布論文超過(guò)30篇，被引次數(shù)達(dá)到5094次。

值得一提的是，本次共有2160篇論文入選ICCV 2023，10%來(lái)自中國(guó)，其中商湯科技及聯(lián)合實(shí)驗(yàn)室錄用了49篇，在產(chǎn)業(yè)機(jī)構(gòu)中排在第一位。

論文鏈接：

https://arxiv.org/abs/2304.00967

代碼鏈接：

https://github.com/Sense-X/HoP

參考鏈接：

https://mp.weixin.qq.com/s/W5qfQFHcBPR1tODqTSG7YQ