Apollo仿真「訓(xùn)練有素」，長沙無人駕駛出租「輕車熟路」

允中 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

書接上回，我們介紹到：百度Apollo無人駕駛出租，已在長沙全面免費開放。

但是！也有不少朋友發(fā)來疑問：心里有點擔(dān)憂，不敢坐。

畢竟之前都是人類司機，應(yīng)對各種場景和路況有大腦?，F(xiàn)在改成AI駕駛，靠不靠譜？

或者更直白來說，百度Apollo的工程師們，到底是經(jīng)過了怎樣的技術(shù)考核和保障，才敢放心開放給每一個人乘坐？

于是，奉讀者之問，我們找到了Apollo的技術(shù)大神們，并且經(jīng)過「編譯」，把這份Apollo無人駕駛出租敢于全民承載的背后技術(shù)解析，轉(zhuǎn)述給你聽。

來，我們由表及里，一起從現(xiàn)象到本質(zhì)。

云端練了千萬遍，才敢人間坐一回

自動駕駛是個技術(shù)活兒，能落地一定得技術(shù)上過硬。

我們知道，所有AI模型都需要借助海量數(shù)據(jù)來訓(xùn)練，而且為了保證訓(xùn)練的效果，數(shù)據(jù)需要覆蓋各個維度、各個方面。在自動駕駛領(lǐng)域，AI技術(shù)要應(yīng)對的場景非常多，比如山路、平地、堵車、高速、國道、市中心、郊區(qū)、超車、變道、逆行、闖紅燈、橫穿馬路等各類場景。

在技術(shù)快速迭代的過程中，為了保證安全，在自動駕駛車輛上路測試前，需要經(jīng)過一系列的測試與驗證。

這里就需要仿真環(huán)境了。

早在2017年，Apollo的仿真環(huán)境就已經(jīng)推出了，當(dāng)時還是在Apollo 1.0版本的云服務(wù)平臺模塊中。在國內(nèi)，百度率先真正落地了大規(guī)模集群版的仿真平臺。

一年后，這一仿真環(huán)境再次升級，成為了增強現(xiàn)實的自動駕駛仿真系統(tǒng)（Augmented autonomous driving simulation, AADS），百度的研究人員為共同一作，論文發(fā)表在了Science Robotics上。在提升建模真實性方面，百度的仿真器邁出了堅實一步。

在自動駕駛領(lǐng)域的仿真環(huán)境中，可以創(chuàng)造出各類復(fù)雜路況、危險的突發(fā)狀況來讓AI模型在里面開車，獲得豐富的數(shù)據(jù)。由于是虛擬的仿真環(huán)境，因此成本比真實環(huán)境低得多，而且沒有危險。

所以，AI模型可以在虛擬環(huán)境里無數(shù)次開車，測試各類環(huán)境、挑戰(zhàn)各類復(fù)雜情境。Apollo在虛擬環(huán)境中跑了無數(shù)遍，克服了各種艱難險阻之后，就成了安全靠譜的老司機。

因此，下一個問題來了：

仿真環(huán)境就是自動駕駛AI的訓(xùn)練場，既然仿真如此重要，那究竟什么樣的仿真才能承擔(dān)得起這樣重要的責(zé)任？

答案很簡單：真實，最大限度的接近真實。

那百度Apollo的自動駕駛仿真環(huán)境，又如何實現(xiàn)了真實性？

Apollo仿真世界全角度的”真實性”

前文提到，Apollo通過AADS系統(tǒng)，可以將真實的道路環(huán)境復(fù)刻建模到仿真環(huán)境中。

但光有道路環(huán)境是遠遠不夠的，路上還包括路人和車輛，以及多種對象的復(fù)雜交互行為，還需考慮無人車自身的特性，包括它的傳感器模型，動力學(xué)模型、還有對異常情況的識別，這里面維度眾多，之間關(guān)系極度復(fù)雜。

仿真要達到怎樣標(biāo)準(zhǔn)，才能完成在真實世界里“確保達到安全性”的要求。這需要仿真系統(tǒng)要盡可能多的發(fā)現(xiàn)路上所有可能出現(xiàn)的缺陷，同時不能有太多的誤報?？偨Y(jié)來說就是令仿真器能夠達到對算法效果的預(yù)測結(jié)論能夠無限接近實際路上的真實效果。

為了達到這樣的目的，我們從四個維度來一一解析這個問題：

首先，需要考慮的是場景

何為“場景“？

自動駕駛技術(shù)要解決的問題是通過人工智能，讓無人車能夠處理各種復(fù)雜路況，在各種情況下都能夠安全和優(yōu)化的行駛。所謂“復(fù)雜路況”，在對其進行原子化分割后，在自動駕駛領(lǐng)域稱之為“場景”。

一個個場景就是一個個的考題，自動駕駛算法需要在仿真中通過所有的“考題”測試，才能夠認(rèn)為是初步具備了上路的資格。

首先我們要生成道路上車和障礙物所在的靜態(tài)環(huán)境，這個被稱為靜態(tài)環(huán)境建模。

靜態(tài)環(huán)境的基礎(chǔ)模型是高精地圖所包含的地圖語義要素，是場景語義分類的重要維度。百度仿真直接基于百度高精地圖作為底圖來構(gòu)建整個靜態(tài)環(huán)境?；诎俣仍诟呔貓D領(lǐng)域深厚的技術(shù)以及經(jīng)驗，百度仿真中的靜態(tài)環(huán)境構(gòu)建精度可以達到厘米級。

△?社會車輛危險行駛

道路上的車和障礙物不是靜止不動的，他們存在一定的交互關(guān)系，比如大部分行人都會謹(jǐn)慎的過馬路，先看看兩邊的車輛再走，只有少部分行人會在馬路上亂串行；周圍大部分車輛都會禮貌的切入，只有少部分車輛會快速切車或別車。

這就需要進行動態(tài)環(huán)境建模。

動態(tài)環(huán)境建模指的是在某個場景中，障礙物與車交互的合理性。在仿真環(huán)境中，人物和車輛的行為分布比率都要類似真實世界，在同一個場景中，橫穿馬路的人、正常行走的人、出了故障的停在路上的車、正常行走的車等，這些在真實環(huán)境中可能會同時存在的情況在仿真環(huán)境里也應(yīng)當(dāng)合理的分布。

除了基于規(guī)則定義的多樣化的障礙物行為，以及基于數(shù)據(jù)生成的模型來控制障礙物行為外，障礙物的行為還必須足夠多樣化、足夠精細(xì)和合理，才可能令仿真的結(jié)論達到跟路測結(jié)論的一致。

如何達到場景分布的合理性，解決這個問題必須基于海量的真實道路數(shù)據(jù)。

海量的真實道路數(shù)據(jù)提供了覆蓋更全，刻畫更為精細(xì)的障礙物+無人車的交互模型，同時滿足了障礙物行為的真實性以及多樣性需求。

為了滿足算法需求，在Apollo的仿真場景集在構(gòu)成上，在保證覆蓋面全面的基礎(chǔ)上，更細(xì)致的調(diào)整了場景集中場景數(shù)據(jù)的構(gòu)成方式，使得仿真場景集中的場景出現(xiàn)頻率與實際路上的場景頻率保持一致。有且僅有趨同的場景分布，仿真結(jié)論與路測結(jié)論才能一致。

△?主車障礙車同時向中間車道并道-碰撞風(fēng)險

Apollo仿真的場景庫的基礎(chǔ)是百萬公里級別的真實路測數(shù)據(jù)。

一方面，百度的工程師們從大量真實道路數(shù)據(jù)中提取出更精確的“障礙車與主車的交互/博弈的行為模型”，這樣“真實在路上出現(xiàn)過的交互行為”保證了單個障礙物行為的真實性。

另一方面，基于大量的真實道路數(shù)據(jù)，能夠構(gòu)造出足夠豐富的場景種類，保證了Apollo自動駕駛“習(xí)題集”對路上多樣化場景的高覆蓋率，讓Apollo無人車在上路前，已經(jīng)完成了對于路上可能會發(fā)生的所有場景的充分驗證。

Apollo仿真就是一個對于自動駕駛算法的好的老師。Apollo仿真擁有一個廣泛且精確的場景庫，能夠令算法在足夠真實且足夠覆蓋率的環(huán)境下捶打自己的能力，以保證路上效果。

其次，是無人車不可缺少的傳感器仿真

無人車，在硬件層面與傳統(tǒng)車輛的不同之處，除了AI芯片作為大腦之外，另外兩處不同，一個是“傳感器組”，另一個是“控制單元”。前者作為無人車的眼睛，為大腦提供源源不斷的對外部環(huán)境的感知。后者作為無人車的四肢，在大腦的指揮下控制車輛的行為。

在仿真平臺中，為了提升運行效率，Apollo仿真需要對這兩個“硬件”組件：“傳感器”和“控制單元”。對它們進行“軟件化變換”，也就是在仿真器中用軟件算法來模擬出這兩組硬件。

這就是無人車仿真中2個專有名詞——傳感器仿真，以及車輛動力學(xué)仿真。

傳感器仿真要讓虛擬的傳感器有真實的傳感器一樣的效果？我們不能憑主觀感覺來定義傳感器仿真的真實性，必須要找到一種客觀的量化評估方案。

Apollo的算法設(shè)定了大量的評估指標(biāo)，從多角度刻畫“真實數(shù)據(jù)”特征，以及“仿真數(shù)據(jù)”特征。通過比對特征，然后通過“補充傳感器渲染新功能，以及場景建模細(xì)節(jié)”逐步縮小評估結(jié)果的差距，令傳感器仿真的模擬效果與真實傳感器采集的數(shù)據(jù)盡最大可能一致。

正是因為有數(shù)百萬公里的海量路采數(shù)據(jù)，才使得Apollo仿真器有能力在各種復(fù)雜條件下，都達到更高精度的傳感器仿真能力。

仿真也需要大幅度提升虛擬車的控制精度

車輛控制的精度，也就是“AI給車輛下達的命令”和“車輛實際執(zhí)行效果”的精度問題。

比如說，當(dāng)自動駕駛車輛在真實世界行駛時，AI命令車輛“前進40厘米”，但實際上考慮到摩擦力等現(xiàn)實因素，車輛可能只前進了30厘米，造成了縱向10厘米的精度誤差。

相對于汽車來說，10厘米似乎是個小到可忽略的距離，但是在百度工程師看來，哪怕只有小小的十幾厘米的誤差，利用仿真去優(yōu)化對加速度變化率特別敏感的“體感”相關(guān)指標(biāo)，都會帶來數(shù)倍的體感異常點的漏判及誤判，所以要進行車輛動力學(xué)仿真。

為了解決這個問題，百度工程師考慮利用海量的路采數(shù)據(jù)，做了“AI給車輛下達的命令”和“車輛實際執(zhí)行效果”在大數(shù)據(jù)下的擬合，這樣就得到更真實更精細(xì)的動力學(xué)模型。這樣一種“大數(shù)據(jù)驅(qū)動的動力學(xué)模型調(diào)優(yōu)”的方案，也有利于滿足未來快速適配多種車型的需求。

最后，我們必須提一下：仿真執(zhí)行器

前面的幾項技術(shù)方向?qū)儆诖蠹疫€比較熟悉的仿真功能，這一項雖然隱藏在最底層，但是影響卻廣泛的。它指的是仿真邏輯在服務(wù)器端執(zhí)行過程中，需要進行的一些特殊設(shè)計。

現(xiàn)實世界中有一個熟知而又經(jīng)常被忽視的物理約束：統(tǒng)一的時空。

所謂“統(tǒng)一時空”指的是：世間萬物都在統(tǒng)一的時間和空間中進行相互作用。所有人、車……的1秒，都是一樣長的時間，所有人、車……的1米，也都是一樣長的距離。

仿真中，統(tǒng)一距離的約束是靠著統(tǒng)一坐標(biāo)系，而統(tǒng)一時鐘的約束就要使用不同于車端的做法。

這是因為仿真器運行的本質(zhì)是在海量的CPU/GPU的計算資源上運行仿真邏輯，最終“計算出”整個世界，而服務(wù)器在執(zhí)行任何邏輯時會以“多對象并行執(zhí)行，但單體運行以一種隨機的速率”的方式來進行，因此客觀世界中“多物體間的統(tǒng)一時鐘”的物理規(guī)律無法滿足。

仿真執(zhí)行器就是用來完成“強制約束所有的對象能以某個統(tǒng)一的節(jié)奏來運轉(zhuǎn)”這樣的需求的。

也就是說，因為有了仿真執(zhí)行器，不同的仿真對象在執(zhí)行時可以進行某種時間上的節(jié)奏同步，進而“模擬出”客觀世界上中“統(tǒng)一時間”的概念。

當(dāng)然，時鐘同步還只是“仿真執(zhí)行器”的一種易于理解的表達。更抽象的表述是，“仿真執(zhí)行器”完成的是“自動駕駛的數(shù)據(jù)流在真實物理時間框架下的受控流轉(zhuǎn)”。

真實情況中，在自動駕駛時車端多個模塊之間數(shù)據(jù)流的發(fā)送和到達節(jié)奏會有大量微小的跳變，而這些數(shù)據(jù)節(jié)奏的跳變會帶來車端算法結(jié)果的差異化。而精細(xì)化的仿真需要能夠呈現(xiàn)/生成這樣的微小的差異化結(jié)果。

什么樣的數(shù)據(jù)節(jié)奏？它又帶來了怎樣的差異化？如何讓仿真的結(jié)果能夠與這樣的差異化效果做出精確的擬合？又怎么證明我們的仿真已經(jīng)實現(xiàn)了足夠精確的擬合效果？這些又要從海量的數(shù)據(jù)中尋找答案了。

Apollo仿真一方面實現(xiàn)了一個令數(shù)據(jù)流受控的“仿真流控框架”后，也就能夠做到消息延遲可自由定制，并且從真實數(shù)據(jù)中抽取出了延遲模型，用以注入到數(shù)據(jù)流中，令其整體上仿真運行時能夠得到較為真實的“數(shù)據(jù)節(jié)奏波動性”的效果。

同時更重要的一點，是建立了一個“仿真復(fù)現(xiàn)率”的自動化的監(jiān)控體系，持續(xù)的對比“真實路測中無人車的車姿數(shù)據(jù)”以及同場景下的“仿真中虛擬車的車姿數(shù)據(jù)”，在海量路測數(shù)據(jù)的驗證下，能夠證明百度仿真器自身具有足夠高精確，足夠高的泛化能力的“對真實情況的仿真能力”。

前文中，我們反復(fù)強調(diào)了數(shù)據(jù)對于仿真的重要性，仿真和路測并不是存在于不同驗證階段相互獨立關(guān)系，更不是用仿真代替路測的替代關(guān)系。

Apollo百萬公里級別的真實路測數(shù)據(jù)正是仿真優(yōu)化的基礎(chǔ)，仿真優(yōu)化為算法迭代提供了更大的支持，更優(yōu)的算法又進一步帶來了更大規(guī)模的路測里程，而更大規(guī)模的路測里程又進一步提升了仿真效果——仿真和路測，在迭代閉環(huán)的兩端，兩者關(guān)系實際上一種相互依存相互促進，良性正循環(huán)的模式。

未來，全無人駕駛會徹底改變?nèi)藗兊纳?。而現(xiàn)在，無人駕駛還只是一個在蹣跚學(xué)步的孩子。無人駕駛的仿真，其定位非常明確——它是這個孩子的老師，它需要承擔(dān)起“支持無人駕駛技術(shù)快速成長”的重任。

長沙本地的“典型習(xí)題集”

最后，我們從仿真的世界回到現(xiàn)實，百度Apollo無人駕駛出租在長沙全面開放。

針對長沙的地域特殊性，或者實際運營中出現(xiàn)的突發(fā)情況，比如前面有人過馬路怎么辦、有老人拄著拐杖走的特別慢怎么辦、碰到強行超車的司機怎么辦、惡劣天氣看不清路況怎么辦、大量送外賣的摩托車行駛在附近怎么辦……

在仿真系統(tǒng)里提供專門的“典型習(xí)題集”，供AI反復(fù)訓(xùn)練測試，找出應(yīng)對這類問題的最佳途徑，不斷迭代優(yōu)化模型，讓AI模型對此輕車熟路，提升自己的開車技巧，能夠在真實場景中應(yīng)對這類問題。

而且，這些場景出現(xiàn)的概率需要和長沙本地的情況一致，這樣才能得到在長沙運行的真實效果。

比如說，在模擬長沙的仿真環(huán)境中，就有以下這些場景：

我在路上好好的跑，右邊卻突然殺過來一個騎摩托車逆行的配送員：

雨下的很大，攝像頭上都是雨滴，看不太清楚，路又特別堵，我好糾結(jié)要不要并道：

瓢潑大雨讓我的視線模糊，但前面有一輛臨時停車的車子，我鼓起勇氣試了試，成功繞了過去：

像這樣的場景，Apollo仿真平臺從真實數(shù)據(jù)中提取出數(shù)千萬個，可以說能在行車途中遇到的各種奇怪的人和車、詭異的天氣、擁堵不堪的交通狀況都囊括在內(nèi)了。

有了這上千萬道題目的“習(xí)題集”，AI就可以反復(fù)在這些場景訓(xùn)練自己。

畢竟在真實的大馬路上，不可能找?guī)资v車來當(dāng)“群演”，天天陪著自動駕駛車輛訓(xùn)練，而且萬一撞壞了還要賠；而在虛擬的仿真環(huán)境里，AI可以無數(shù)次用這些“錯題”來訓(xùn)練自己，不用擔(dān)心撞壞，也不用擔(dān)心“群演”下班，可以潛心修煉，找到最佳的應(yīng)對方法。

因此，用這種“錯題集”的方式來測試AI，就好像每天都在做江蘇高考數(shù)學(xué)題，久而久之水平就比做全國卷的同學(xué)高出一大截，訓(xùn)練質(zhì)量也就高很多了。

所以，也是經(jīng)過了這樣虛擬和現(xiàn)實的無數(shù)次打磨，Apollo的工程師們也才敢讓全民任意坐。

說個小秘密，在這些無人駕駛工程師眼里，AI系統(tǒng)可比人類可靠、穩(wěn)定又安全多了。

你覺得呢？

傳送門

文中相關(guān)內(nèi)容的論文，有需要的讀者可以自取：

AADS: Augmented autonomous driving simulation using data-driven algorithmshttps://robotics.sciencemag.org/content/4/28/eaaw0863

An Automated Learning-Based Procedure for Large-scale Vehicle Dynamics Modeling on Baidu Apollo Platformhttps://ieeexplore.ieee.org/document/8968102