DriveGPT自動(dòng)駕駛大模型中國(guó)玩家首發(fā)！1200億參數(shù)，毫末智行出品

賈浩楠 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI

早知道會(huì)有這一天，但沒(méi)想到如此快：

GPT技術(shù)，“上車(chē)”！

DriveGPT，首個(gè)應(yīng)用GPT模型和技術(shù)邏輯的自動(dòng)駕駛算法模型，正式官宣，中文名雪湖·海若。

可能你已經(jīng)猜到背后的玩家：毫末智行。

國(guó)內(nèi)第一個(gè)將Transformer大模型引入自動(dòng)駕駛、第一個(gè)自建超算、輔助駕駛量產(chǎn)落地進(jìn)展第一…

尤其在自動(dòng)駕駛研發(fā)端，毫末總是搶先別人一大步實(shí)踐最前沿技術(shù)。而事后的進(jìn)展又證明，毫末總是對(duì)的。

那么這次——掀起新一輪AI行業(yè)革命，震動(dòng)圈內(nèi)圈外的大模型GPT，毫末到底如何把它用在自動(dòng)駕駛上？

DriveGPT是什么？“上車(chē)”有什么用？

ChatGPT的震撼之處，在于它對(duì)現(xiàn)今人類(lèi)涉足過(guò)的幾乎各個(gè)領(lǐng)域都有基本正確的認(rèn)知理解 ，針對(duì)簡(jiǎn)單的議題，還能給出比普通人更全面更恰當(dāng)?shù)幕卮稹?/p>

賦予ChatGPT能力的的根源，從名字上就可以拆解出來(lái)。首先是Chat，說(shuō)明它本身是面向自然語(yǔ)言處理任務(wù)開(kāi)發(fā)的，它目前的訓(xùn)練數(shù)據(jù)、方式、輸出等等都是基于文本。

而真正把數(shù)據(jù)價(jià)值發(fā)揮出來(lái)，是GPT，全稱(chēng)Generative Pre-trained Transformer，生成式預(yù)訓(xùn)練大模型。

“大”的基礎(chǔ)上，生成才是關(guān)鍵。

對(duì)應(yīng)到自動(dòng)駕駛上，DriveGPT同樣應(yīng)用這樣的思路，只不過(guò)訓(xùn)練的數(shù)據(jù)從語(yǔ)言文本，變成了圖片、視頻等等自動(dòng)駕駛數(shù)據(jù)。

毫末智行的雪湖·海若，實(shí)現(xiàn)過(guò)程分為3步：

首先在預(yù)訓(xùn)練階段引入量產(chǎn)智能駕駛數(shù)據(jù)，訓(xùn)練出一個(gè)初始模型，相當(dāng)于一個(gè)具備基本駕駛技能的AI司機(jī)。
然后再引入量產(chǎn)數(shù)據(jù)中高價(jià)值的用戶接管片段（Clips形式），訓(xùn)練反饋模型。而不同Corner Case的依次迭代，相當(dāng)于針對(duì)不同駕駛?cè)蝿?wù)挑戰(zhàn)分別強(qiáng)化AI司機(jī)的技能。
接下來(lái)就是通過(guò)強(qiáng)化學(xué)習(xí)的方法，使用反饋模型不斷優(yōu)化迭代初始模型。

所謂“生成”，反饋模型能夠?qū)崟r(shí)根據(jù)當(dāng)前交通流情況，生成不同的針對(duì)性場(chǎng)景，訓(xùn)練初始模型。而完成迭代后，模型也能對(duì)同一任務(wù)目標(biāo)生成不同的策略方案。

比如如果本車(chē)目標(biāo)是通過(guò)擁堵路口，雪湖·海若能夠給出三種方案供系統(tǒng)決策。

在打造DriveGPT時(shí)，毫末在雪湖·海若的幾個(gè)過(guò)程中分別做了獨(dú)特的工作。

首先初始模型預(yù)訓(xùn)練的數(shù)據(jù)，來(lái)自毫末已經(jīng)量產(chǎn)積累的4000萬(wàn)公里實(shí)際道路數(shù)據(jù)，使得模型一開(kāi)始就具有明顯的量產(chǎn)實(shí)用價(jià)值，這是雪湖·海若得天獨(dú)厚的條件。

ChatGPT中使用自然語(yǔ)言單字作為token輸入，根據(jù)模型根據(jù)概率分布來(lái)生成下一個(gè)字符。而在雪湖·海若這里，毫末重新定義了50萬(wàn)個(gè)新的token，包括障礙物、車(chē)道線、行人等等，作為一種全新的“自動(dòng)駕駛語(yǔ)言”。

DriveGPT輸入是感知融合后的文本序列，輸出是自動(dòng)駕駛場(chǎng)景文本序列。

其次，大模型對(duì)計(jì)算能力提出很高的要求，包括算力資源的彈性調(diào)度、底層算子性能、訓(xùn)練穩(wěn)定性等等，毫末與火山引擎一同在算力端做了大量?jī)?yōu)化。

最后，還會(huì)根據(jù)輸入端的提示語(yǔ)以及毫末CSS自動(dòng)駕駛場(chǎng)景庫(kù)的決策樣本去訓(xùn)練模型，讓模型學(xué)習(xí)推理關(guān)系，從而將完整駕駛策略拆分為自動(dòng)駕駛場(chǎng)景的動(dòng)態(tài)識(shí)別過(guò)程，完成可理解、可解釋的推理邏輯鏈生成。

雪湖·海若目前共有1200億參數(shù)量，據(jù)毫末初步估計(jì)，在RLHF加持下，困難場(chǎng)景通過(guò)率提升48%左右。

ChatGPT自動(dòng)駕駛版——雪湖·海若的“上車(chē)”，其實(shí)是一個(gè)類(lèi)比，模型本身始終部署在云端。

對(duì)于車(chē)端用戶，雪湖·海若的價(jià)值卻是能夠快速兌現(xiàn)的。

比如具體功能上，生成式模型能夠做到智能捷徑推薦、困難場(chǎng)景自主脫困、智能陪練等等。

而中長(zhǎng)期來(lái)看，它首先能夠加速城市領(lǐng)航輔助功能（毫末NOH）落地，而且是重感知不依賴(lài)高精地圖量產(chǎn)方案，領(lǐng)先業(yè)內(nèi)一年以上。

GPT上車(chē)，為什么是毫末？

大模型在自動(dòng)駕駛上的應(yīng)用，其實(shí)早已有之。

尤其是毫末，最早認(rèn)識(shí)到源自NLP領(lǐng)域的大模型在視覺(jué)領(lǐng)域同樣具有巨大的潛力，通過(guò)超大規(guī)模模型、超大算力實(shí)現(xiàn)自動(dòng)駕駛系統(tǒng)的快速迭代。

顧維灝2021年提出Transformer的應(yīng)用，一直踏實(shí)于技術(shù)。毫末智行可以算是中國(guó)的自動(dòng)駕駛大模型先驅(qū)。

大模型的應(yīng)用，自然要求大算力，于是，毫末又成為國(guó)內(nèi)第一個(gè)選擇自建超算中心的自動(dòng)駕駛公司。

毫末從來(lái)不是一個(gè)循規(guī)蹈矩的AI公司，總是在追逐技術(shù)最前沿，甚至有些“趕時(shí)髦”。

去年毫末發(fā)布的中國(guó)首個(gè)自動(dòng)駕駛數(shù)據(jù)智能體系MANA，經(jīng)過(guò)一年多時(shí)間的應(yīng)用迭代，現(xiàn)在到了全面升級(jí)，開(kāi)放賦能行業(yè)的階段。

另外，毫末從創(chuàng)立之初就堅(jiān)定走數(shù)據(jù)驅(qū)動(dòng)的技術(shù)路線，并建設(shè)了智算中心OASIS，基于L2輔助駕駛系統(tǒng)的大規(guī)模前裝量產(chǎn)形成了數(shù)據(jù)智能閉環(huán)體系，在迭代速度和成本優(yōu)化上實(shí)現(xiàn)良性循環(huán)。

具體到技術(shù)理念，大模型層面的Transformer和這次的雪湖·海若，而自動(dòng)駕駛感知和數(shù)據(jù)層面，毫末也是最早應(yīng)用BEV以及Clips的團(tuán)隊(duì)。

而每一個(gè)毫末率先實(shí)踐的技術(shù)理念，隨后很快就在技術(shù)、商業(yè)進(jìn)展上兌現(xiàn)了價(jià)值。

毫末的野心絕不是Tier1，而是一家人工智能公司。

量產(chǎn)落地方面，毫末智行的智能駕駛系統(tǒng)已經(jīng)累計(jì)了超過(guò)4000萬(wàn)公里的用戶實(shí)際使用里程。

另外除了大股東長(zhǎng)城汽車(chē)之外，毫末智行還另外獲得了2家主要主機(jī)廠的項(xiàng)目定點(diǎn)。

研發(fā)層面，除了4000萬(wàn)公里的實(shí)際里程，毫末的MANA數(shù)據(jù)智能體系學(xué)習(xí)時(shí)長(zhǎng)已經(jīng)超過(guò)56萬(wàn)小時(shí)，相當(dāng)于6.8萬(wàn)年駕齡的老司機(jī)。

在無(wú)人物流賽道，毫末自研的小魔駝已經(jīng)完成配送超過(guò)16萬(wàn)單。

根據(jù)毫末智行董事長(zhǎng)張凱判斷：“2023年智駕產(chǎn)品進(jìn)入全線爆發(fā)期，大模型開(kāi)啟在車(chē)端的落地應(yīng)用，車(chē)主的使用頻率和滿意度成為產(chǎn)品競(jìng)爭(zhēng)力的重要衡量標(biāo)準(zhǔn)。毫末不斷進(jìn)步的數(shù)據(jù)驅(qū)動(dòng)的六大閉環(huán)能力將進(jìn)一步加速毫末進(jìn)入自動(dòng)駕駛3.0時(shí)代的步伐并形成相應(yīng)的護(hù)城河。”

△毫末智行董事長(zhǎng)張凱

毫末執(zhí)行展現(xiàn)出來(lái)的，是自動(dòng)駕駛公司里最懂如何量產(chǎn)落地的、Tier1里最懂自動(dòng)駕駛技術(shù)的、在有量產(chǎn)數(shù)據(jù)積累的公司中最懂如何真正數(shù)據(jù)閉環(huán)的。

所以毫末“追時(shí)髦”的背后，其實(shí)是對(duì)AI本質(zhì)的認(rèn)知，以及對(duì)自動(dòng)駕駛量產(chǎn)的理解在驅(qū)動(dòng)。

Transformer、BEV、Clips等等技術(shù)理念，行業(yè)內(nèi)現(xiàn)在幾乎所有玩家都在跟進(jìn)，已經(jīng)成為沒(méi)有爭(zhēng)議的主流。

所以歷次毫末AI Day，也成了自動(dòng)駕駛重要風(fēng)向標(biāo)。這次第八屆大咖云集，包括董揚(yáng)、朱西產(chǎn)、田奇…影響力越來(lái)越大.

毫末智行的三年，可以看成是自動(dòng)駕駛落地最快的三年。

自動(dòng)駕駛新希望

GPT“上車(chē)”，不是毫末這次唯一的“率先”。

除雪湖·海若之外，毫末智行在感知智能環(huán)節(jié)也做了新的探索。

在特斯拉之后，毫末智行在中國(guó)開(kāi)始驗(yàn)證能否使用魚(yú)眼相機(jī)代替超聲波雷達(dá)進(jìn)行測(cè)距，以及如何使用純視覺(jué)NeRF網(wǎng)絡(luò)重建高精度3維模型，并同時(shí)完成自動(dòng)標(biāo)注。

MANA感知模塊，一方面可同時(shí)學(xué)習(xí)三維空間結(jié)構(gòu)和圖片紋理，并將純視覺(jué)測(cè)距精度超過(guò)了超聲波雷達(dá)，BEV方案也擁有了更強(qiáng)的通用性和適配性。

另一方面可實(shí)現(xiàn)單趟和多趟純視覺(jué)NeRF三維重建，道路場(chǎng)景更逼真，肉眼幾乎看不出差異。通過(guò)NeRF進(jìn)行場(chǎng)景重建后，可以編輯合成真實(shí)環(huán)境難以收集到的Corner Case。

目前行業(yè)里最難的視覺(jué)任務(wù)之一——單目視覺(jué)測(cè)量，特斯拉后，毫末把視覺(jué)BEV感知框架引入到了車(chē)端魚(yú)眼相機(jī)，做到了在15米范圍內(nèi)達(dá)到30cm的測(cè)量精度，2米內(nèi)精度高于10cm的視覺(jué)精度效果。

毫末在視覺(jué)感知能力上的進(jìn)步，落到量產(chǎn)階段最直觀的體現(xiàn)是同等能力前提下，智能駕駛硬件成本更低（取消各種雷達(dá)），功能進(jìn)一步下放主流價(jià)位車(chē)型。

其實(shí)除了毫末，業(yè)內(nèi)幾乎所有玩家都走上了這樣一條道路。這也是自動(dòng)駕駛行業(yè)對(duì)去年以來(lái)遇到的“瓶頸”最直白的回答——

技術(shù)換時(shí)間，規(guī)?；渴鸷统杀鞠绿郊铀僭偌铀?。

誰(shuí)能率先掌握低成本高效率的數(shù)據(jù)利用能力，誰(shuí)就能最快看到全無(wú)人駕駛的曙光。

△毫末智行CEO顧維灝

毫末智行CEO顧維灝認(rèn)為：“基于真實(shí)用戶場(chǎng)景的反饋數(shù)據(jù)能夠讓我們更好的優(yōu)化產(chǎn)品，讓產(chǎn)品進(jìn)步的更快。所有技術(shù)都要轉(zhuǎn)化為對(duì)人有用的產(chǎn)品才最有價(jià)值?！?/p>

智能駕駛規(guī)?；占案用髅骼?，帶來(lái)的自然是數(shù)據(jù)收集從量變躍遷到質(zhì)變，而這需要的正是類(lèi)似DrivieGPT的能力。

所以毫末智行率先把GPT用在自動(dòng)駕駛，是給自動(dòng)駕駛大規(guī)模普及帶來(lái)了新的希望。

僅就毫末智行來(lái)說(shuō)，雪湖·海若投入使用給業(yè)務(wù)帶來(lái)的提升，至少有三個(gè)層面。短期來(lái)看，最早上車(chē)的長(zhǎng)城魏牌車(chē)主用戶，能享受更加好用強(qiáng)大的智能駕駛功能；中期來(lái)看，目前各家爭(zhēng)奪的城市領(lǐng)航輔助功能，毫末借助大模型的迭代效率，很有可能在年內(nèi)實(shí)現(xiàn)規(guī)?；暇€（并非只在一兩個(gè)城市）。

而長(zhǎng)期來(lái)看，毫末智行將自動(dòng)駕駛各個(gè)環(huán)節(jié)接入雪湖·海若之后，會(huì)進(jìn)一步加速純視覺(jué)方案能力的提升和成本下降，實(shí)現(xiàn)數(shù)據(jù)規(guī)模從量變到質(zhì)變，從而最終實(shí)現(xiàn)端到端自動(dòng)駕駛。

這本身具有顛覆性、跨越性的意義，將重塑汽車(chē)智能化技術(shù)路線。

雪湖·海若上線的同時(shí)，毫末還向B端合作伙伴開(kāi)放系統(tǒng)，共同探索大模型在機(jī)器人、芯片等等行業(yè)的潛力。

ChatGPT的出現(xiàn)，讓人們看到深度學(xué)習(xí)引領(lǐng)的AI熱潮非但沒(méi)有瓶頸，反而更劇烈的爆發(fā)，甚至指向了AGI（通用人工智能）可能的落地前景。

同樣，毫末的雪湖·海若，除了加速自身業(yè)務(wù)，也指向了一條新的通向更高階全無(wú)人自動(dòng)駕駛的可能之路。

今后對(duì)自動(dòng)駕駛實(shí)力的評(píng)判參考，除了落地速度、使用體驗(yàn)，最核心的還會(huì)加一條：大模型大數(shù)據(jù)能力。

One more thing

海若，出自《莊子·秋水》。

文中有兩個(gè)神話人物河伯和海若。河伯請(qǐng)教海若，何謂大小之分，海若教導(dǎo)，不因天地而覺(jué)大，不因毫末而覺(jué)小。

“海若”，寓意著智慧包容、海納百川。

“雪湖”又是從何而來(lái)，你知道嗎？