DriveGPT自動駕駛大模型中國玩家首發(fā)！1200億參數(shù)，毫末智行出品

賈浩楠 發(fā)自 凹非寺量子位 | 公眾號 QbitAI

早知道會有這一天，但沒想到如此快：

GPT技術(shù)，“上車”！

DriveGPT，首個應(yīng)用GPT模型和技術(shù)邏輯的自動駕駛算法模型，正式官宣，中文名雪湖·海若。

可能你已經(jīng)猜到背后的玩家：毫末智行。

國內(nèi)第一個將Transformer大模型引入自動駕駛、第一個自建超算、輔助駕駛量產(chǎn)落地進展第一…

尤其在自動駕駛研發(fā)端，毫末總是搶先別人一大步實踐最前沿技術(shù)。而事后的進展又證明，毫末總是對的。

那么這次——掀起新一輪AI行業(yè)革命，震動圈內(nèi)圈外的大模型GPT，毫末到底如何把它用在自動駕駛上？

DriveGPT是什么？“上車”有什么用？

ChatGPT的震撼之處，在于它對現(xiàn)今人類涉足過的幾乎各個領(lǐng)域都有基本正確的認知理解 ，針對簡單的議題，還能給出比普通人更全面更恰當(dāng)?shù)幕卮稹?/p>

賦予ChatGPT能力的的根源，從名字上就可以拆解出來。首先是Chat，說明它本身是面向自然語言處理任務(wù)開發(fā)的，它目前的訓(xùn)練數(shù)據(jù)、方式、輸出等等都是基于文本。

而真正把數(shù)據(jù)價值發(fā)揮出來，是GPT，全稱Generative Pre-trained Transformer，生成式預(yù)訓(xùn)練大模型。

“大”的基礎(chǔ)上，生成才是關(guān)鍵。

對應(yīng)到自動駕駛上，DriveGPT同樣應(yīng)用這樣的思路，只不過訓(xùn)練的數(shù)據(jù)從語言文本，變成了圖片、視頻等等自動駕駛數(shù)據(jù)。

毫末智行的雪湖·海若，實現(xiàn)過程分為3步：

首先在預(yù)訓(xùn)練階段引入量產(chǎn)智能駕駛數(shù)據(jù)，訓(xùn)練出一個初始模型，相當(dāng)于一個具備基本駕駛技能的AI司機。
然后再引入量產(chǎn)數(shù)據(jù)中高價值的用戶接管片段（Clips形式），訓(xùn)練反饋模型。而不同Corner Case的依次迭代，相當(dāng)于針對不同駕駛?cè)蝿?wù)挑戰(zhàn)分別強化AI司機的技能。
接下來就是通過強化學(xué)習(xí)的方法，使用反饋模型不斷優(yōu)化迭代初始模型。

所謂“生成”，反饋模型能夠?qū)崟r根據(jù)當(dāng)前交通流情況，生成不同的針對性場景，訓(xùn)練初始模型。而完成迭代后，模型也能對同一任務(wù)目標生成不同的策略方案。

比如如果本車目標是通過擁堵路口，雪湖·海若能夠給出三種方案供系統(tǒng)決策。

在打造DriveGPT時，毫末在雪湖·海若的幾個過程中分別做了獨特的工作。

首先初始模型預(yù)訓(xùn)練的數(shù)據(jù)，來自毫末已經(jīng)量產(chǎn)積累的4000萬公里實際道路數(shù)據(jù)，使得模型一開始就具有明顯的量產(chǎn)實用價值，這是雪湖·海若得天獨厚的條件。

ChatGPT中使用自然語言單字作為token輸入，根據(jù)模型根據(jù)概率分布來生成下一個字符。而在雪湖·海若這里，毫末重新定義了50萬個新的token，包括障礙物、車道線、行人等等，作為一種全新的“自動駕駛語言”。

DriveGPT輸入是感知融合后的文本序列，輸出是自動駕駛場景文本序列。

其次，大模型對計算能力提出很高的要求，包括算力資源的彈性調(diào)度、底層算子性能、訓(xùn)練穩(wěn)定性等等，毫末與火山引擎一同在算力端做了大量優(yōu)化。

最后，還會根據(jù)輸入端的提示語以及毫末CSS自動駕駛場景庫的決策樣本去訓(xùn)練模型，讓模型學(xué)習(xí)推理關(guān)系，從而將完整駕駛策略拆分為自動駕駛場景的動態(tài)識別過程，完成可理解、可解釋的推理邏輯鏈生成。

雪湖·海若目前共有1200億參數(shù)量，據(jù)毫末初步估計，在RLHF加持下，困難場景通過率提升48%左右。

ChatGPT自動駕駛版——雪湖·海若的“上車”，其實是一個類比，模型本身始終部署在云端。

對于車端用戶，雪湖·海若的價值卻是能夠快速兌現(xiàn)的。

比如具體功能上，生成式模型能夠做到智能捷徑推薦、困難場景自主脫困、智能陪練等等。

而中長期來看，它首先能夠加速城市領(lǐng)航輔助功能（毫末NOH）落地，而且是重感知不依賴高精地圖量產(chǎn)方案，領(lǐng)先業(yè)內(nèi)一年以上。

GPT上車，為什么是毫末？

大模型在自動駕駛上的應(yīng)用，其實早已有之。

尤其是毫末，最早認識到源自NLP領(lǐng)域的大模型在視覺領(lǐng)域同樣具有巨大的潛力，通過超大規(guī)模模型、超大算力實現(xiàn)自動駕駛系統(tǒng)的快速迭代。

顧維灝2021年提出Transformer的應(yīng)用，一直踏實于技術(shù)。毫末智行可以算是中國的自動駕駛大模型先驅(qū)。

大模型的應(yīng)用，自然要求大算力，于是，毫末又成為國內(nèi)第一個選擇自建超算中心的自動駕駛公司。

毫末從來不是一個循規(guī)蹈矩的AI公司，總是在追逐技術(shù)最前沿，甚至有些“趕時髦”。

去年毫末發(fā)布的中國首個自動駕駛數(shù)據(jù)智能體系MANA，經(jīng)過一年多時間的應(yīng)用迭代，現(xiàn)在到了全面升級，開放賦能行業(yè)的階段。

另外，毫末從創(chuàng)立之初就堅定走數(shù)據(jù)驅(qū)動的技術(shù)路線，并建設(shè)了智算中心OASIS，基于L2輔助駕駛系統(tǒng)的大規(guī)模前裝量產(chǎn)形成了數(shù)據(jù)智能閉環(huán)體系，在迭代速度和成本優(yōu)化上實現(xiàn)良性循環(huán)。

具體到技術(shù)理念，大模型層面的Transformer和這次的雪湖·海若，而自動駕駛感知和數(shù)據(jù)層面，毫末也是最早應(yīng)用BEV以及Clips的團隊。

而每一個毫末率先實踐的技術(shù)理念，隨后很快就在技術(shù)、商業(yè)進展上兌現(xiàn)了價值。

毫末的野心絕不是Tier1，而是一家人工智能公司。

量產(chǎn)落地方面，毫末智行的智能駕駛系統(tǒng)已經(jīng)累計了超過4000萬公里的用戶實際使用里程。

另外除了大股東長城汽車之外，毫末智行還另外獲得了2家主要主機廠的項目定點。

研發(fā)層面，除了4000萬公里的實際里程，毫末的MANA數(shù)據(jù)智能體系學(xué)習(xí)時長已經(jīng)超過56萬小時，相當(dāng)于6.8萬年駕齡的老司機。

在無人物流賽道，毫末自研的小魔駝已經(jīng)完成配送超過16萬單。

根據(jù)毫末智行董事長張凱判斷：“2023年智駕產(chǎn)品進入全線爆發(fā)期，大模型開啟在車端的落地應(yīng)用，車主的使用頻率和滿意度成為產(chǎn)品競爭力的重要衡量標準。毫末不斷進步的數(shù)據(jù)驅(qū)動的六大閉環(huán)能力將進一步加速毫末進入自動駕駛3.0時代的步伐并形成相應(yīng)的護城河?！?/p>

△毫末智行董事長張凱

毫末執(zhí)行展現(xiàn)出來的，是自動駕駛公司里最懂如何量產(chǎn)落地的、Tier1里最懂自動駕駛技術(shù)的、在有量產(chǎn)數(shù)據(jù)積累的公司中最懂如何真正數(shù)據(jù)閉環(huán)的。

所以毫末“追時髦”的背后，其實是對AI本質(zhì)的認知，以及對自動駕駛量產(chǎn)的理解在驅(qū)動。

Transformer、BEV、Clips等等技術(shù)理念，行業(yè)內(nèi)現(xiàn)在幾乎所有玩家都在跟進，已經(jīng)成為沒有爭議的主流。

所以歷次毫末AI Day，也成了自動駕駛重要風(fēng)向標。這次第八屆大咖云集，包括董揚、朱西產(chǎn)、田奇…影響力越來越大.

毫末智行的三年，可以看成是自動駕駛落地最快的三年。

自動駕駛新希望

GPT“上車”，不是毫末這次唯一的“率先”。

除雪湖·海若之外，毫末智行在感知智能環(huán)節(jié)也做了新的探索。

在特斯拉之后，毫末智行在中國開始驗證能否使用魚眼相機代替超聲波雷達進行測距，以及如何使用純視覺NeRF網(wǎng)絡(luò)重建高精度3維模型，并同時完成自動標注。

MANA感知模塊，一方面可同時學(xué)習(xí)三維空間結(jié)構(gòu)和圖片紋理，并將純視覺測距精度超過了超聲波雷達，BEV方案也擁有了更強的通用性和適配性。

另一方面可實現(xiàn)單趟和多趟純視覺NeRF三維重建，道路場景更逼真，肉眼幾乎看不出差異。通過NeRF進行場景重建后，可以編輯合成真實環(huán)境難以收集到的Corner Case。

目前行業(yè)里最難的視覺任務(wù)之一——單目視覺測量，特斯拉后，毫末把視覺BEV感知框架引入到了車端魚眼相機，做到了在15米范圍內(nèi)達到30cm的測量精度，2米內(nèi)精度高于10cm的視覺精度效果。

毫末在視覺感知能力上的進步，落到量產(chǎn)階段最直觀的體現(xiàn)是同等能力前提下，智能駕駛硬件成本更低（取消各種雷達），功能進一步下放主流價位車型。

其實除了毫末，業(yè)內(nèi)幾乎所有玩家都走上了這樣一條道路。這也是自動駕駛行業(yè)對去年以來遇到的“瓶頸”最直白的回答——

技術(shù)換時間，規(guī)?；渴鸷统杀鞠绿郊铀僭偌铀?。

誰能率先掌握低成本高效率的數(shù)據(jù)利用能力，誰就能最快看到全無人駕駛的曙光。

△毫末智行CEO顧維灝

毫末智行CEO顧維灝認為：“基于真實用戶場景的反饋數(shù)據(jù)能夠讓我們更好的優(yōu)化產(chǎn)品，讓產(chǎn)品進步的更快。所有技術(shù)都要轉(zhuǎn)化為對人有用的產(chǎn)品才最有價值。”

智能駕駛規(guī)?；占案用髅骼剩瑤淼淖匀皇菙?shù)據(jù)收集從量變躍遷到質(zhì)變，而這需要的正是類似DrivieGPT的能力。

所以毫末智行率先把GPT用在自動駕駛，是給自動駕駛大規(guī)模普及帶來了新的希望。

僅就毫末智行來說，雪湖·海若投入使用給業(yè)務(wù)帶來的提升，至少有三個層面。短期來看，最早上車的長城魏牌車主用戶，能享受更加好用強大的智能駕駛功能；中期來看，目前各家爭奪的城市領(lǐng)航輔助功能，毫末借助大模型的迭代效率，很有可能在年內(nèi)實現(xiàn)規(guī)?；暇€（并非只在一兩個城市）。

而長期來看，毫末智行將自動駕駛各個環(huán)節(jié)接入雪湖·海若之后，會進一步加速純視覺方案能力的提升和成本下降，實現(xiàn)數(shù)據(jù)規(guī)模從量變到質(zhì)變，從而最終實現(xiàn)端到端自動駕駛。

這本身具有顛覆性、跨越性的意義，將重塑汽車智能化技術(shù)路線。

雪湖·海若上線的同時，毫末還向B端合作伙伴開放系統(tǒng)，共同探索大模型在機器人、芯片等等行業(yè)的潛力。

ChatGPT的出現(xiàn)，讓人們看到深度學(xué)習(xí)引領(lǐng)的AI熱潮非但沒有瓶頸，反而更劇烈的爆發(fā)，甚至指向了AGI（通用人工智能）可能的落地前景。

同樣，毫末的雪湖·海若，除了加速自身業(yè)務(wù)，也指向了一條新的通向更高階全無人自動駕駛的可能之路。

今后對自動駕駛實力的評判參考，除了落地速度、使用體驗，最核心的還會加一條：大模型大數(shù)據(jù)能力。

One more thing

海若，出自《莊子·秋水》。

文中有兩個神話人物河伯和海若。河伯請教海若，何謂大小之分，海若教導(dǎo)，不因天地而覺大，不因毫末而覺小。

“海若”，寓意著智慧包容、海納百川。

“雪湖”又是從何而來，你知道嗎？