自動(dòng)駕駛要啥實(shí)路測(cè)試？L4當(dāng)紅獨(dú)角獸新模型：2D視頻輸入4D場(chǎng)景輸出！難怪老黃看好

一凡 2024-06-21 15:26:52 來(lái)源：量子位

一凡 發(fā)自 副駕寺

智能車參考 | 公眾號(hào) AI4Auto

用視頻生成的仿真場(chǎng)景，能有多逼真？

兩旁的行人，前車的剎車燈……連這些細(xì)節(jié)，都能動(dòng)態(tài)顯示地清清楚楚。

兩輛自行車行駛在道路中間，避讓通過(guò)：

這就是如今自動(dòng)駕駛“當(dāng)紅炸子雞”Wayve，在CVPR 2024上分享的最新成果：

自動(dòng)駕駛仿真模型PRISM-1，沒(méi)有激光雷達(dá)，沒(méi)有3D標(biāo)注信息，只基于攝像頭輸入的信息。

PRISM-1：利用視頻數(shù)據(jù)重建4D真實(shí)場(chǎng)景

模擬仿真測(cè)試是自動(dòng)駕駛的重要環(huán)節(jié)。

實(shí)車測(cè)試周期長(zhǎng)，成本高，覆蓋的工況和長(zhǎng)尾問(wèn)題有限，尤其是極端場(chǎng)景下的Corner Case，實(shí)車測(cè)試比較危險(xiǎn)，且調(diào)試程序后，可能不好復(fù)現(xiàn)驗(yàn)證。路還是那條路，但路況和道路參與者一直都在變。

因此，通過(guò)合成數(shù)據(jù)，仿真測(cè)試自動(dòng)駕駛系統(tǒng)的路線，正在受到關(guān)注。

成本低，配置靈活，場(chǎng)景覆蓋率高，對(duì)特殊的Corner Case能夠復(fù)現(xiàn)后再驗(yàn)證，可以與實(shí)車測(cè)試形成互補(bǔ)。

不過(guò)自動(dòng)駕駛模擬仿真也面臨著諸多挑戰(zhàn)，比如在場(chǎng)景重建環(huán)節(jié)，復(fù)雜的城區(qū)道路，有很多動(dòng)態(tài)元素難以準(zhǔn)確呈現(xiàn)，像行人和自行車，不僅形態(tài)各樣，而且行為靈活難預(yù)測(cè)。

傳統(tǒng)還原通過(guò)場(chǎng)景圖的方式，將元素組織成層次結(jié)構(gòu)，用節(jié)點(diǎn)表示場(chǎng)景中的實(shí)體，用彼此的邊緣表示它們之間的關(guān)系。

這種方式不夠靈活，因?yàn)楫?dāng)車輛模擬測(cè)試時(shí)，周邊場(chǎng)景其實(shí)一直在動(dòng)態(tài)改變，一些元素?zé)o法完美分離，會(huì)導(dǎo)致錯(cuò)誤傳播。

為了突破傳統(tǒng)方式的局限，Wayve轉(zhuǎn)向更靈活、能自適應(yīng)的模擬方案，在端到端的基礎(chǔ)上，提出了PRISM-1模型。

主要是三個(gè)特點(diǎn)：

• 框架更靈活：能有效處理常見元素，模擬移動(dòng)元素，甚至包括瞬態(tài)場(chǎng)景元素，比如風(fēng)吹動(dòng)的樹葉，隧道中的波動(dòng)光線。
• 自監(jiān)督場(chǎng)景分離：無(wú)需標(biāo)注或預(yù)定義模型，分離場(chǎng)景中的動(dòng)態(tài)元素和靜態(tài)元素。
• 可擴(kuò)展表示：即使場(chǎng)景復(fù)雜度增加，PRISM-1仍能保持高效。這最大限度地減少了工程量和錯(cuò)誤傳播。

詳細(xì)過(guò)程，Wayve沒(méi)有披露，只是主要介紹了視圖合成方面的創(chuàng)新點(diǎn)。

具體地說(shuō)，PRISM-1重點(diǎn)關(guān)注攝像頭觀測(cè)到的路徑的偏差。

無(wú)需依賴其他傳感器，只靠攝像頭，獲取車輛行駛時(shí)的一組稀疏圖像，重建4D場(chǎng)景。

當(dāng)然，用攝像頭獲取數(shù)據(jù)場(chǎng)景數(shù)據(jù)，有一個(gè)天然限制，那就是在動(dòng)態(tài)場(chǎng)景下，只能從一個(gè)視角拍攝其中的元素。

如何在任意時(shí)刻，從不同視角重建4D場(chǎng)景？

PRISM-1在承認(rèn)車子動(dòng)態(tài)特性的前提下，通過(guò)兩種方式改變攝像頭路徑：

第一種方式，凍結(jié)時(shí)間。

測(cè)試車輛周遭一切都暫停了，場(chǎng)景的時(shí)間維度不變，但空間可變，攝像頭左右平移，以不同角度查看周邊場(chǎng)景。

第二種方式，凍結(jié)空間。

測(cè)試車輛自身保持靜止，空間數(shù)據(jù)不變，但時(shí)間還在變化，周遭事物還能運(yùn)動(dòng)，觀察其變化。

兩種方式結(jié)合，Wayve可以利用PRISM-1從各種視角重建場(chǎng)景，甚至復(fù)現(xiàn)一些細(xì)節(jié)，比如前車剎車燈亮了。

Wayve還將在此基礎(chǔ)上，繼續(xù)迭代工作。

下一步，Wayve打算加強(qiáng)模型的可擴(kuò)展性和靈活性。

比如，用模型去重建一個(gè)“行人通過(guò)斑馬線”的場(chǎng)景。

如果需要，也可以把行人移除掉。

推出PRISM-1，提高自動(dòng)駕駛模擬的真實(shí)性，加快算法迭代的同時(shí)，Wayve還開源了一個(gè)場(chǎng)景數(shù)據(jù)集WayveScenes101 Dataset，顧名思義，包含了101個(gè)復(fù)雜動(dòng)態(tài)場(chǎng)景。

涵蓋了英美兩地，不同的駕駛環(huán)境和路況，包括多種天氣和光照條件下的城區(qū)、郊區(qū)和高速公路。

當(dāng)然，能被微軟和英偉達(dá)同時(shí)相中押注，Wayve的工作成果遠(yuǎn)不止這些。

自動(dòng)駕駛獨(dú)角獸，微軟英偉達(dá)都投了

遍觀全球，最近一段時(shí)間，特別是在自動(dòng)駕駛領(lǐng)域，很少有獨(dú)角獸，能蓋住Wayve的風(fēng)頭了。

5月7日，Wayve官宣了10.5億美元(折合人民幣約為75.8億元)的新一輪融資。

軟銀領(lǐng)投，微軟和英偉達(dá)跟投。

數(shù)額之巨，投資者陣容之豪華，實(shí)屬罕見，轟動(dòng)一時(shí)。

在此前，只有Waymo、Argo和Cruise等，獲得過(guò)這個(gè)級(jí)別的融資。

Wayve一舉刷新英國(guó)AI公司單筆融資的記錄，連英國(guó)首相也在聲明中表示，這「鞏固了英國(guó)作為AI超級(jí)大國(guó)的地位」。

彼時(shí)的Wayve都有什么技術(shù)成果，吸引巨頭押注？

主要是一個(gè)架構(gòu)，兩個(gè)模型：

一個(gè)架構(gòu)是指端到端的AV 2.0，不依賴高精地圖，Wayve稱可兼容純視覺(jué)和激光雷達(dá)多種方案。

兩個(gè)模型是指LINGO系列以及GAIA-1，分別是Wayve在AI的可解釋性與AIGC上的成果。

首先來(lái)看LINGO系列，去年9月，Wayve推出了LINGO-1模型。

Wayve將其稱之為VLAM(視覺(jué)-語(yǔ)言-動(dòng)作模型)，與傳統(tǒng)技術(shù)范式不同的是，視頻數(shù)據(jù)之外，Wayve還引入了老司機(jī)語(yǔ)音包進(jìn)行訓(xùn)練：

Wayve請(qǐng)來(lái)很多專業(yè)司機(jī)，要求他們?cè)陂_測(cè)試車輛做出相應(yīng)操作時(shí)，大聲說(shuō)話，解釋自己為什么這么做。

這樣，自然語(yǔ)言就被引入了自動(dòng)駕駛，LINGO-1實(shí)現(xiàn)了在開車時(shí)，解釋自己的決策邏輯，這提高了模型的可解釋性。

這項(xiàng)工作最近升級(jí)至LINGO-2，進(jìn)一步增強(qiáng)了人車交互，司機(jī)可以通過(guò)限定的命令，比如「靠邊停車」，調(diào)整智駕的開車策略。

另外一個(gè)模型則是GAIA-1，是一個(gè)為自動(dòng)駕駛打造的多模態(tài)生成式世界模型，參數(shù)規(guī)模90億。

輸入視頻、文本和操作，就能生成逼真的自動(dòng)駕駛視頻，不同路況和天氣，效果都能以假亂真。

誒等等，GAIA-1能生成自動(dòng)駕駛測(cè)試的視頻，PRISM-1能用視頻模擬真實(shí)場(chǎng)景，兩個(gè)一結(jié)合，這不就閉環(huán)了嗎？doge

當(dāng)然沒(méi)有這么簡(jiǎn)單，在去年6月，Wayve推出GAIA-1早期版本后，就有相關(guān)研究人員指出，模型生成的視頻中，會(huì)有一些元素在后續(xù)“突然消失”，還不完善。

雖然去年10月，Wayve更新了GAIA-1，擴(kuò)大了參數(shù)規(guī)模，增加了訓(xùn)練時(shí)長(zhǎng)，模型生成視頻的細(xì)節(jié)和分辨率都有明顯提升，但是否完全克服了“元素突然消失”的問(wèn)題，還有待充分驗(yàn)證。

引領(lǐng)Wayve打造這些成果的，是兩位聯(lián)合創(chuàng)始人：

Alex Kendall(亞歷克斯·肯德爾)與Amar Shah(已退出)。

兩人都是劍橋大學(xué)機(jī)器學(xué)習(xí)專業(yè)的博士，于2017年創(chuàng)立了Wayve。

其中肯達(dá)爾去年曾陪同比爾·蓋茨試乘旗下產(chǎn)品，比爾·蓋茨后來(lái)點(diǎn)贊其工作:

That was fantastic!

或許是這次試乘打動(dòng)了比爾蓋茨，微軟連續(xù)兩次出手，投資Wayve。

Wayve也是不負(fù)所托，最近一年頻頻拿出成果，給行業(yè)帶來(lái)驚喜。

時(shí)值CVPR 2024，Wayve也舉辦了一系列活動(dòng)，PRISM-1研究人員就在現(xiàn)場(chǎng)。

到場(chǎng)的朋友，可以去#1712展臺(tái)交流交流。