毫末智行創(chuàng)辦2年?duì)I收過億，路測百萬公里，放話明年是自動(dòng)駕駛行業(yè)生死線

賈浩楠 發(fā)自 凹非寺量子位 報(bào)道 | 公眾號(hào) QbitAI

這可能是中國進(jìn)展最迅猛的自動(dòng)駕駛公司。

剛剛結(jié)束的毫末智行Q3品牌日，這家被業(yè)內(nèi)人視作“中國最懂量產(chǎn)自動(dòng)駕駛”的公司曬出最新成績單：

增收快，成立不到2年的毫末智行，今年已經(jīng)實(shí)現(xiàn)億級(jí)別營收。

這本身已不可思議。

產(chǎn)品落地方面，今年2季度一口氣亮出10款量產(chǎn)產(chǎn)品，硬件軟件都有落地，最新產(chǎn)品是和阿里達(dá)摩院合作的無人末端配送車“小蠻驢”。

更超出行業(yè)經(jīng)驗(yàn)認(rèn)知的，是技術(shù)迭代迅速。

從今年1月開始，已累計(jì)超過100萬公里智能駕駛數(shù)據(jù)，而且不是仿真，是在中國真實(shí)道路上的實(shí)際里程。

如此驚人的進(jìn)度，毫末智行到底有什么殺手锏？

毫末高管悉數(shù)亮相，罕見分享技術(shù)細(xì)節(jié)，看家法寶“和盤托出”。

100萬公里數(shù)據(jù)到手，問題卻沒那么簡單

先來解答一下，毫末智行的100萬公里從哪來。

毫末智行孵化于長城汽車集團(tuán)，誕生于這個(gè)傳統(tǒng)汽車巨頭的自我憂患中，也肩負(fù)著長城智能化轉(zhuǎn)型的核心重任。

今年上市的魏品牌摩卡車型，就是毫末智能駕駛系統(tǒng)的首秀。

100萬公里，從今年1月測試開始算起，也包括上市后普通用戶貢獻(xiàn)的數(shù)據(jù)，都從這款車上來。

但100萬公里數(shù)據(jù)到手，毫末發(fā)現(xiàn)問題卻沒那么簡單。

品牌日現(xiàn)場，出身百度無人車的團(tuán)隊(duì)的CEO顧維灝先從問題入手，揭秘毫末成績單背后的努力和探索。

首先是海量的數(shù)據(jù)中，對(duì)輔助駕駛系統(tǒng)能力提升的關(guān)鍵數(shù)據(jù)，并不多。

比如，一段城市快速路上的視頻圖像中，可能有超過60%是沒有突發(fā)情況發(fā)生的平直路段。

這樣的數(shù)據(jù)再多，也不會(huì)對(duì)系統(tǒng)能力提升有決定性作用。

反倒是出現(xiàn)頻率低、目標(biāo)小的圖像數(shù)據(jù)，才是補(bǔ)上系統(tǒng)短板的關(guān)鍵。

如何挑出這些有價(jià)值的數(shù)據(jù)，是第一個(gè)挑戰(zhàn)

而在有價(jià)值圖像中，模型能力的不足，也會(huì)導(dǎo)致關(guān)鍵小目標(biāo)的漏檢，降低數(shù)據(jù)利用率。

另外在模型能力上，也會(huì)存在“數(shù)據(jù)偏見問題”，比如能識(shí)別白色乘用車，卻識(shí)別不了被植物遮擋的白色乘用車。

這兩個(gè)問題，是在數(shù)據(jù)收集前期階段出現(xiàn)的。

拿到處理好的有價(jià)值的數(shù)據(jù)之后，系統(tǒng)還要攻克其他挑戰(zhàn)。

其一，是如何快速迭代，更通俗的說，調(diào)參之后如何加快新模型訓(xùn)練速度。

其二，是源源不斷的數(shù)據(jù)涌進(jìn)來，使得模型版本快速迭代，如何在短時(shí)間驗(yàn)證這些不同模型，挑戰(zhàn)也不小。

自動(dòng)駕駛公司沒數(shù)據(jù)發(fā)愁，像毫末這樣從不缺數(shù)據(jù)和場景的，卻面臨另一層面的難題。

剛剛在毫末智行第三個(gè)品牌日上，CEO顧維灝首次詳細(xì)揭露的毫末應(yīng)對(duì)之法。

數(shù)據(jù)、訓(xùn)練雙管齊下，“最懂”自動(dòng)駕駛量產(chǎn)公司如是說

開發(fā)過程中的問題找到了，如何解決這些問題就成了毫末智行品牌日的核心重點(diǎn)。

從應(yīng)對(duì)這些挑戰(zhàn)的技術(shù)方案，也能體會(huì)一番為何毫末這家公司，是最懂自動(dòng)駕駛量產(chǎn)落地的。

“大帶小”的數(shù)據(jù)診斷方法

先說找到有價(jià)值的場景數(shù)據(jù)，毫末把這個(gè)過程叫做診斷。

目前診斷的手段有兩種。

第一種方法是通過明確的系統(tǒng)失效信號(hào)得到診斷結(jié)果，例如通過人工接管信號(hào)。

也就是說由用戶在使用過程中發(fā)現(xiàn)系統(tǒng)能力的不足而接管，系統(tǒng)會(huì)抓取接管前后一段時(shí)間內(nèi)的數(shù)據(jù)上傳場景庫分析學(xué)習(xí)。

第二種方法則是通過更強(qiáng)大的后方服務(wù)端模型去診斷車端模型的錯(cuò)誤。

車端模型受制于算力、傳輸延遲、參數(shù)有限，初期能力自然不足有限，一般一個(gè)小模型負(fù)責(zé)一部分感知任務(wù)。

所以毫末在實(shí)測中發(fā)現(xiàn)了對(duì)于遠(yuǎn)距離小目標(biāo)，之前的系統(tǒng)版本時(shí)常會(huì)出現(xiàn)漏檢情況。

而部署在服務(wù)端的大模型叫做Fundamental Model，是一個(gè)基于Transformer的全任務(wù)感知大模型。

算力要求高，資源占用大，但能力卻超強(qiáng)，能發(fā)現(xiàn)小模型漏檢錯(cuò)檢、或在惡劣天氣下識(shí)別能力下降的錯(cuò)誤。

△上為車端模型漏檢，下為大模型的糾正

找出問題后，再把結(jié)果返回車端模型重新訓(xùn)練學(xué)習(xí)，這樣就能最大程度捕捉有效數(shù)據(jù)。

“舉一反三”解決數(shù)據(jù)偏見

找到有問題的場景之后，就需要針對(duì)這個(gè)場景補(bǔ)充足夠的樣本數(shù)據(jù)，也就是找到足量的和它同類型的其他相似數(shù)據(jù)。

以此進(jìn)行樣本調(diào)配，才能做出一個(gè)更好的AI模型

通過已經(jīng)上市的長城魏摩卡車型，毫末已經(jīng)積累了巨量的道路場景數(shù)據(jù)庫。

面對(duì)海量場景，毫末的方法是首先以無監(jiān)督學(xué)習(xí)方法將圖像向量化，把圖片數(shù)據(jù)轉(zhuǎn)化為特征向量，然后通過譜聚類，將相似的圖像聚類在一起。

得到聚類結(jié)果以后，對(duì)于需要的目標(biāo)場景，就能找到大量和其同一類別的相關(guān)數(shù)據(jù)作為正樣本，以及相似易混的其他類別數(shù)據(jù)作為負(fù)樣本。

并且在類別當(dāng)中，只挑選類中心和類邊界附近的數(shù)據(jù)，以此提升標(biāo)注效率。

這種方式還可以非常有效的將異源數(shù)據(jù)以合適的方式混用起來，提升最終模型的效果。

數(shù)據(jù)診斷依靠“大帶小”，而“數(shù)據(jù)偏見”則通過舉一反三的方法解決。

并行訓(xùn)練，煉丹時(shí)間縮短一半

現(xiàn)在，已經(jīng)拿到了對(duì)于模型能力提升的關(guān)鍵數(shù)據(jù)，接下來就是“煉丹”了。

Transformer能力強(qiáng)，但是訓(xùn)練速度也慢。

Swin-Transformer網(wǎng)絡(luò)即使在360GB RAM、4塊V100 GPU的服務(wù)器上，標(biāo)準(zhǔn)數(shù)據(jù)并行DDP訓(xùn)練也需要超過100小時(shí)。

毫末的工程師如果稍微改一下網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)配置、或者是更換數(shù)據(jù)，迭代一次看到結(jié)果的周期是近百個(gè)小時(shí)。

但這些操作又是會(huì)頻繁發(fā)生的，所以這樣嚴(yán)重拖慢了技術(shù)迭代。

所以為了提升訓(xùn)練速度，除了常見的數(shù)據(jù)并行之外，還需要更精細(xì)的模型并行方法。

首先是數(shù)據(jù)并行，每塊GPU上訓(xùn)練完整的網(wǎng)絡(luò)，將數(shù)據(jù)切塊以適應(yīng)GPU。同時(shí)每層的梯度還會(huì)和其他GPU交互。這樣可以進(jìn)一步提高模型收斂速度，以更少的epoch達(dá)到同樣的訓(xùn)練效果。

這種數(shù)據(jù)并行和模型并行的混合方式，叫做流水并行。

針對(duì)swin-transformer，就采用了流水并行的方案，整體可以提速50%-80%。

流水線生產(chǎn)測試場景

訓(xùn)練效率有了提升，新的問題隨之而來：

模型迭代快、版本多，如何驗(yàn)證其有效性？

主流做法當(dāng)然是把模型丟到仿真環(huán)境中測試，但是傳統(tǒng)的仿真是一種非常低效的方式。

從場景設(shè)計(jì)，到設(shè)置道路模型、設(shè)置車輛模型、設(shè)置交通流模型、到最后進(jìn)行仿真測試…每人每天只能做30個(gè)。

所以毫末開發(fā)了語義場景的自動(dòng)化轉(zhuǎn)化工具和參數(shù)泛化工具，可以將CSS中場景庫的描述文本自動(dòng)的轉(zhuǎn)化為仿真測試場景，并且在合適的范圍內(nèi)離散采樣得到巨量的仿真測試用例。

同時(shí)通過在云端并行，目前每天可以自動(dòng)生成一萬多個(gè)仿真測試用例。

簡單理解，前面的數(shù)據(jù)診斷其實(shí)是一種數(shù)據(jù)標(biāo)注自動(dòng)化，而云端語義場景自動(dòng)化轉(zhuǎn)化，就是一種流水線生產(chǎn)測試場景的工具。

天下武功，無堅(jiān)不摧，唯快不破。

自動(dòng)駕駛也是如此，毫末智行參得最透。

數(shù)據(jù)大而多，處理快且準(zhǔn)，一切以此為綱，才有了毫末不可思議的量產(chǎn)上車速度。

從技術(shù)看毫末智行

毫末智行內(nèi)部把董事長張凱、CEO顧維灝稱作測試狂，每周都要花大量時(shí)間親自測試智能駕駛產(chǎn)品。

品牌日現(xiàn)場，董事長張凱也提到了長城汽車內(nèi)部更是重視智能化，每周六都要求技術(shù)負(fù)責(zé)人、各公司高管必須參加智能化體驗(yàn)測試。

不光是自家產(chǎn)品，市場上每一款產(chǎn)品都要體驗(yàn)對(duì)比，有時(shí)魏建軍還會(huì)親自參加。

毫末的硬核技術(shù)底色盡顯。

同時(shí)張凱還說，規(guī)模上量速度最重要，自動(dòng)駕駛公司2022年前還找不到規(guī)?；涞芈窂降模瑹o疑是致命的。

那么毫末到底是一家什么樣的公司？

進(jìn)展迅猛和打磨技術(shù)，在毫末這里其實(shí)一脈相承，絲毫不矛盾。

毫末智行為什么中意Transformer？

上個(gè)月的特斯拉AI Day，馬斯克首次明確推出DOJO、并分享Transformer和大模型之于自動(dòng)駕駛作用。

殊不知，類似思路在中國早有毫末智行團(tuán)隊(duì)在踐行。

Q3品牌日上，我們看到Transformer已經(jīng)成為了毫末重要的開發(fā)工具。

其實(shí)在毫末智行第一次公開亮相時(shí)，CEO顧維灝就表達(dá)了對(duì)Transformer的格外關(guān)注。

隨后在公開場合也不斷提及。

顧維灝認(rèn)為，自動(dòng)駕駛行業(yè)現(xiàn)狀是傳感器供應(yīng)商、方案趨同，僅靠硬件堆料拉不開差距。

所以未來的決勝點(diǎn)一定在數(shù)據(jù)，數(shù)據(jù)多是前提，數(shù)據(jù)好是基礎(chǔ)。

如果時(shí)常關(guān)注AI技術(shù)前沿的一定有所了解，Transformer最早是進(jìn)行語言處理任務(wù)的，具有避免循環(huán) (recurrent) 的模型結(jié)構(gòu)，完全依賴于注意力機(jī)制對(duì)輸入輸出的全局依賴關(guān)系進(jìn)行建模。

也就是說，只需要數(shù)據(jù)足夠大，就能訓(xùn)練一個(gè)超大的模型。

近兩年，Transformer的對(duì)圖像識(shí)別的準(zhǔn)確率、效率、魯棒性不斷刷新各種榜單，一騎絕塵。

這是真·大力出奇跡，因?yàn)檫@種方法要求龐大的數(shù)據(jù)集，恰好與毫末智行的數(shù)據(jù)采集、泛化的優(yōu)勢完美m(xù)atch。

為什么自動(dòng)駕駛在云端決勝負(fù)？

談到毫末智行自研的算力平臺(tái)ICU 3.0時(shí)，顧維灝說現(xiàn)在有觀點(diǎn)認(rèn)為車端算力已經(jīng)達(dá)到幾個(gè)T，完全夠用了。

但毫末卻從實(shí)踐中得出了完全不一樣的結(jié)論。

單從攝像頭來看，今天汽車主流的攝像頭還是100萬像素的，而即將搭載毫末智能駕駛系統(tǒng)的長城車型，即將開始使用200萬像素和800萬像素?cái)z像頭。

所以為長久計(jì)，長城汽車、毫末智行共同聯(lián)合高通推出了目前全球算力最高的可量產(chǎn)自動(dòng)駕駛計(jì)算平臺(tái)ICU 3.0（即毫末智行“小魔盒3.0”），平臺(tái)單板算力達(dá)360TOPS，可持續(xù)升級(jí)到1440TOPS。

但是在未來，車端單個(gè)攝像頭的數(shù)據(jù)量可能還會(huì)增加100倍，而車端用的攝像頭數(shù)量也會(huì)增加十幾倍。

以此來看，車載計(jì)算芯片的算力再增加幾百倍都是不夠。

所以，大數(shù)據(jù)量帶來大計(jì)算量，非云端不能解決。

前面講到的服務(wù)（云）端大模型訓(xùn)練車端小模型，核心邏輯就在于此。

整個(gè)Q3品牌日，毫末智行所分享的技術(shù)細(xì)節(jié)可以看出，企業(yè)核心就是大數(shù)據(jù)大模型、快速迭代。

具體方法，是打開一個(gè)迅速落地上量的場景，然后根據(jù)場景特征設(shè)計(jì)自己的高效數(shù)據(jù)方案，避免在有限場地內(nèi)經(jīng)年累月測試，遲遲不能落地。

有了場景后，毫末智行走的是漸進(jìn)式的商業(yè)化落地路線，智能駕駛從加強(qiáng)人向取代人發(fā)展。

毫末的“快”，背后既有毫末董事長張凱代表的長城基因，另一方面還有顧維灝這樣中國最早在科技公司展開智能車探索的先驅(qū)。

這種行業(yè)罕見的強(qiáng)力配置，共同決定了毫末“最懂量產(chǎn)的自動(dòng)駕駛公司”的底色。