完成國內(nèi)首次端到端智駕大模型路測，千掛科技實現(xiàn)「彎道超車」

西風(fēng) 2024-01-22 13:33:22 來源：量子位

2023年，由ChatGPT所掀起的大模型風(fēng)潮正在席卷科技圈，它充分展現(xiàn)了全新的技術(shù)范式所帶來的想象力、潛能以及背后的生產(chǎn)效率提升。

這股技術(shù)浪潮席卷至自動駕駛，智能汽車作為一個能夠承載、實現(xiàn)前沿的理想超級智能終端，能夠最大限度地展現(xiàn)新技術(shù)范式所帶來的變革。

2023年8月，特斯拉以直播形式向外界展示FSD V12測試版，該版本基于完全的端到端輸出，真正實現(xiàn)了從「感知」到「決策」的全流程融入一個模型中。

它成功走出依靠人工規(guī)則以外的技術(shù)通途，在全局視角下，展現(xiàn)出對感知、預(yù)測、規(guī)劃、控制和決策的高度統(tǒng)一，呈現(xiàn)出流暢的駕駛行為和卓越的體驗感。

當(dāng)然，在這場新的技術(shù)范式變革里，參與者不止只有特斯拉；許多中國玩家們也朝著同一個突破口努力，貢獻(xiàn)自己的解題思路，甚至率先走向端到端技術(shù)應(yīng)用的前沿。

自動駕駛的技術(shù)奇點時刻：「端到端智能駕駛大模型」

此前，證明自動駕駛的可落地性是整個自動駕駛行業(yè)需要回答的問題。

一方面，業(yè)界不斷減少激光雷達(dá)的數(shù)量，以無圖或輕圖的方式擺脫對高精度地圖的深度依賴，減少或擺脫以「堆料」的方式實現(xiàn)對外部的感知；另一方面，「漸進(jìn)式」道路成為了業(yè)界的共識，以「高速」、「城區(qū)」等分區(qū)域落地的思路來證明自動駕駛的可實現(xiàn)性。

可以說，在端到端沒有到來之前的自動駕駛世界，是一個依靠天才工程師對于無數(shù)駕駛場景的觀察、歸納、提煉、總結(jié)的世界，同時也是一個依靠規(guī)則搭建的世界。這當(dāng)中存在著一個殘酷的事實：場景是不能夠窮舉的。依靠人工規(guī)則對數(shù)據(jù)的總結(jié)提煉，不僅效率低而且泛化性差，這就導(dǎo)致了最后1%的長尾場景問題始終無法解決。

天才的工程師們始終在做打補(bǔ)丁的工作，縫縫補(bǔ)補(bǔ)一個由規(guī)則所搭建起來的世界，這樣的技術(shù)路線也導(dǎo)致自動駕駛的落地未如預(yù)期。

端到端技術(shù)的到來則有機(jī)會徹底改變這一局面，它打破了過去業(yè)界在開發(fā)自動駕駛系統(tǒng)時，感知與規(guī)劃分離，推翻一個由人為規(guī)則所搭建起來的世界。

這一明確的技術(shù)趨勢使得幾乎所有人都在賽跑：在美國，F(xiàn)SD12已進(jìn)入用戶測試環(huán)節(jié)的特斯拉，是第一梯隊的排頭兵；而在中國，比亞迪投入4000人進(jìn)行智能駕駛研發(fā)；理想也宣稱2024年端到端上車；而在剛剛結(jié)束的千掛科技2024年度產(chǎn)品發(fā)布會上，千掛科技公布了自己的端到端智能駕駛大模型在2023年底便已經(jīng)進(jìn)入公開道路常態(tài)化的測試階段。從公開信息上來看，這是中國首個完成端到端智能駕駛大模型公開道路閉環(huán)測試的選手——而許多企業(yè)此時依然將端到端僅僅作為一個「未來的重要規(guī)劃」。

端到端的技術(shù)想象力究竟在哪里？在千掛科技聯(lián)合創(chuàng)始人葉璨博士看來，端到端智能駕駛大模型對于自動駕駛至少有三點重要的意義：

• 第一點：端到端可以大幅提升數(shù)據(jù)的利用規(guī)模和效率，打破傳統(tǒng)自動駕駛研發(fā)當(dāng)中，依靠人工規(guī)則對數(shù)據(jù)的總結(jié)提煉模式，解決效率低且泛化性差的痛點；
• 第二點：端到端能夠?qū)?shù)據(jù)進(jìn)行自動化學(xué)習(xí)，由模型取代規(guī)則，打破自動駕駛泛化性的瓶頸，能夠覆蓋更多的駕駛場景；
• 第三點：在傳統(tǒng)自動駕駛當(dāng)中，不同模塊都在關(guān)注和優(yōu)化自身的代理指標(biāo)，而這些指標(biāo)存在不一致，端到端能夠解決多模塊甚至全鏈路聯(lián)合優(yōu)化的問題。

另一方面，在這種全面learning化的AI系統(tǒng)之上，我們有機(jī)會將世界模型（world model）進(jìn)一步引入自動駕駛系統(tǒng)中，復(fù)刻類似于GPT4.0 等大模型的模式，通過Transformer把海量的互聯(lián)網(wǎng)數(shù)據(jù)及對應(yīng)的知識壓縮到模型參數(shù)當(dāng)中，彌補(bǔ)現(xiàn)在自動駕駛系統(tǒng)對通用知識（world knowledge）的缺失。

當(dāng)自動駕駛系統(tǒng)擁有了先驗知識以后，就能迅速提高泛化和推理能力，包括對長尾物體的識別、對場景的深度理解、對駕駛?cè)蝿?wù)的拆解規(guī)劃等，這些能力的提升使得自動駕駛有機(jī)會邁向一個更為廣闊的世界。

因此端到端所勾勒出的是一個全新的技術(shù)圖景，打開了全新的技術(shù)范式，開啟一個產(chǎn)業(yè)變革的契機(jī)。如果說，端到端智能駕駛大模型對于乘用車而言，是一個體驗上的升級；那么，端到端智能駕駛大模型對于干線物流而言，更具經(jīng)濟(jì)意義和效益。

千掛科技背后所面向的是一個龐大的干線物流市場，這個市場涵蓋770萬臺中重卡，市場規(guī)模超過4.6萬億，司機(jī)成本達(dá)到20%+，預(yù)計2030年卡車司機(jī)缺口達(dá)到15%以上。端到端智能駕駛大模型的應(yīng)用，可以提高自動駕駛系統(tǒng)的泛化性，更好地處理長尾場景，有機(jī)會在長途干線雙駕變單駕的基礎(chǔ)上，進(jìn)入無人駕駛，進(jìn)一步提升利潤率，擁有無窮的想象力與現(xiàn)實意義。

「端到端智能駕駛大模型」的實踐賽事：深厚的技術(shù)根基

知道一個最優(yōu)解并不難，難的是踐行一個最優(yōu)解。

在V12亮相之前，特斯拉就做了非常多的「打地基」技術(shù)工作。其中就包括了2021年，特斯拉在AI Day推出基于BEV+Transformer的自動駕駛方案，這個方案相當(dāng)于，打開了一個理解自動駕駛的全新范式。在過去的幾年里，「BEV + Transformer + 占用網(wǎng)絡(luò) + 無圖化」幾乎統(tǒng)領(lǐng)了頭部車企的研發(fā)方向。

作為新一代自動駕駛技術(shù)企業(yè)，千掛科技一開始便出生于GPT時代；更幸運的一點是，作為一個年輕的技術(shù)公司，千掛沒有傳統(tǒng)大廠的技術(shù)包袱和組織束縛，在新的技術(shù)道路上能夠啟動得更為從容。

在千掛1.0階段，千掛通過「One Model」和「Scene-centric」的方式，攻克自動駕駛卡車中感知和預(yù)測兩道難題，有效解決高速干線場景下異形車、遺撒物識別等挑戰(zhàn)。

在感知方面，千掛采用「One Model」，即一個大模型完成感知任務(wù)，實現(xiàn)多模態(tài)數(shù)據(jù)的前融合和多任務(wù)學(xué)習(xí)的能力。

具體來說，多模態(tài)前融合即，將環(huán)視相機(jī)、激光雷達(dá)等多個傳感器采集的數(shù)據(jù)輸入到一個感知大模型中，通過模型實現(xiàn)空間融合和時序融合，獲得時空融合的特征。基于時空融合的特征，完成多個感知任務(wù)，能夠?qū)崿F(xiàn)對障礙物的檢測與分割、路網(wǎng)結(jié)構(gòu)（如車道線、可行駛區(qū)域）的實時感知等，達(dá)到更完備、更準(zhǔn)確、更魯棒的效果。

在預(yù)測方面，千掛科技采用了「Scene-centric」架構(gòu)，對所有道路參與者Agents進(jìn)行聯(lián)合建模和推理，底層基于Transformer架構(gòu)完成特征編碼與解碼。相對于Agent-centric的傳統(tǒng)架構(gòu)，這種對所有障礙物統(tǒng)一建模的新架構(gòu)簡化了整體流程，提升了訓(xùn)練和推理效率，并且可以更好地理解道路參與者之間的交互關(guān)系，更好地處理蝴蝶效應(yīng)。

憑借著「One Model」和「Scene-centric」奠定的技術(shù)基礎(chǔ)，千掛的自動駕駛卡車如今在京滬等物流大干線上順利實現(xiàn)了「周行萬里無接管」的目標(biāo)。

另一方面，以「One Model」和「Scene-centric」為起點，千掛科技開始了新一代自動駕駛技術(shù)——端到端智能駕駛大模型的研發(fā)。在12月的GADS 2023全球自動駕駛峰會上，葉璨博士提出了千掛自研端到端算法框架 – AutraFlow。

千掛科技AutraFlow是面向新一代的自動駕駛技術(shù)，是從全面learning化和數(shù)據(jù)驅(qū)動的角度，進(jìn)行設(shè)計研發(fā)的。據(jù)葉璨博士介紹，在研發(fā)過程中，團(tuán)隊深入調(diào)研了大量端到端的前序工作，在此基礎(chǔ)上結(jié)合干線物流的業(yè)務(wù)場景特點，在算法、工程、數(shù)據(jù)等層面做了大量的優(yōu)化工作。目標(biāo)是讓端到端算法實際上車跑起來，能應(yīng)對高速干線上的各種路況和場景，并最終在產(chǎn)品和業(yè)務(wù)中用起來。

整體上，AutraFlow是一個完全learning化的自動駕駛系統(tǒng)，系統(tǒng)的每個模塊都是基于Transformer的神經(jīng)網(wǎng)絡(luò)模型，模塊與模塊之間采用embedding連接，擺脫了傳統(tǒng)的人類設(shè)計的抽象概念——比如障礙物的邊界框（bounding box）或預(yù)測軌跡，做到更高效、流暢、無損地傳輸數(shù)據(jù)。

葉璨博士進(jìn)一步解釋，可以把整個端到端模型看作是一個大的神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練時能夠?qū)崿F(xiàn)各模塊的聯(lián)合優(yōu)化，與此同時可以在中間階段，通過對embedding解碼得到具有相對明確語義的中間結(jié)果，便于理解和檢查，打破端到端的黑盒狀態(tài)，從而提升端到端算法的可解釋性。

目前，千掛的端到端算法AutraFlow，已經(jīng)在城市快速路和城市間高速路等公開道路進(jìn)行常態(tài)化的全功能閉環(huán)測試。近日，千掛科技也對外公布了一段2023年11月AutraFlow在北京市高級別自動駕駛示范區(qū)進(jìn)行早期路測的視頻集錦。

在葉璨博士的技術(shù)規(guī)劃中，以端到端技術(shù)為基礎(chǔ)，未來將借助多模態(tài)大模型，把通用知識（world knowledge）引入到自動駕駛系統(tǒng)，基于人類的知識和經(jīng)驗做出更好的駕駛決策，進(jìn)一步提升自動駕駛系統(tǒng)的泛化性、可用性。

在千掛新一代自動駕駛技術(shù)的研發(fā)中， 大模型成為了最核心的技術(shù)變量。在葉璨博士的帶領(lǐng)下，千掛在自動駕駛領(lǐng)域的多模態(tài)預(yù)訓(xùn)練中持續(xù)探索，將自動駕駛的多模態(tài)特征（圖像、點云等）統(tǒng)一在語言特征空間對齊，從而獲得泛化性更強(qiáng)的特征表達(dá)?；谡Z言對齊的多模態(tài)特征，為下游的多種感知任務(wù)提供基礎(chǔ)，使得系統(tǒng)更好地識別異型車、遺撒物等長尾物體，提高對駕駛場景的理解和泛化能力。

對于千掛而言，大模型已經(jīng)成為自動駕駛數(shù)據(jù)閉環(huán)的核心，比如數(shù)據(jù)挖掘、自動化標(biāo)注等應(yīng)用。2023年3月起，千掛開始在華中、華北、華東、華南等區(qū)域的主要一級干線，為順豐、福佑等合作伙伴，提供常態(tài)化的物流運輸服務(wù)，單均超過1000公里。業(yè)務(wù)規(guī)模的擴(kuò)展也積累了海量的高速場景數(shù)據(jù)，而這也成為千掛的核心競爭力。通過大模型對海量路測數(shù)據(jù)進(jìn)行挖掘，可以釋放數(shù)據(jù)的黃金價值。目前，千掛超過95%的訓(xùn)練數(shù)據(jù)都來自于大模型的自動化標(biāo)注，而大模型進(jìn)行模型壓縮后得到的車端模型，可以部署路測，獲得更多數(shù)據(jù)，進(jìn)一步幫助迭代優(yōu)化模型。

千掛正在跑通技術(shù)到產(chǎn)品的閉環(huán)

可以說，BEV重新定義了空間和時序，讓空間和時序統(tǒng)一，直接在「上帝視角」下完成了感知、規(guī)劃、控制、決策的高度統(tǒng)一。未來端到端將成為行業(yè)標(biāo)配。

在這場技術(shù)加速賽當(dāng)中，得益于葉璨博士及其團(tuán)隊極其前瞻的技術(shù)嗅覺，千掛在夯實的技術(shù)基礎(chǔ)上啟動端到端的工作，在海量仿真測試的基礎(chǔ)上，在國內(nèi)率先實現(xiàn)了公開道路的常態(tài)化的端到端智能駕駛大模型閉環(huán)測試，真正邁出了技術(shù)體系2.0的第一步，完成了從0到1的突破。在這場高手如云的比賽當(dāng)中，千掛進(jìn)入了第一梯隊，以國內(nèi)領(lǐng)先的身位，跑出了自己的第一個里程碑。

在千掛這支技術(shù)尖兵團(tuán)隊里，聚集了眾多在AI領(lǐng)域深耕多年的頂尖人才。葉璨博士畢業(yè)于美國卡內(nèi)基梅隆大學(xué)（CMU）的人工智能專業(yè)，曾履職快手資深技術(shù)總監(jiān)，負(fù)責(zé)了快手主站推薦、快手 AI 技術(shù)，以及快手私域和社交業(yè)務(wù)，在他的帶領(lǐng)下，快手實現(xiàn)了強(qiáng)化學(xué)習(xí)在工業(yè)界的首次大規(guī)模落地應(yīng)用。

在葉璨博士背后，是一群有著在百度、快手、騰訊、商湯等技術(shù)巨頭豐富經(jīng)歷的技術(shù)專家，和國內(nèi)外頭部院校博士組成的技術(shù)團(tuán)隊，在這場端到端的賽跑中，他們打通了感知、預(yù)測、規(guī)劃、控制、架構(gòu)等技術(shù)的任督二脈，攻克了一個又一個的技術(shù)難題。

在技術(shù)的長板足夠長的同時，千掛在資本層面也取得長足的進(jìn)展，近日，千掛科技順利完成 Pre-A 輪融資的新一輪交割；在商業(yè)化層面，千掛在中國東部的主要一級干線路段完成 300 余次的載貨運輸服務(wù)。

這家年輕的公司正在走出從資本、商業(yè)化、技術(shù)的全面正向閉環(huán)，以領(lǐng)先的技術(shù)優(yōu)勢打開一個全新的物流實踐地圖，展現(xiàn)出技術(shù)如何驅(qū)動商業(yè)升級發(fā)展。