理想的AI司機(jī)，開始強(qiáng)化學(xué)習(xí)了

一凡 2025-07-30 17:22:19 來源：量子位

一凡 發(fā)自 副駕寺

智能車參考 | 公眾號(hào) AI4Auto

VLM的兩大瓶頸，有了新的突破方法。

最近，上海期智研究院、理想汽車、同濟(jì)大學(xué)和清華大學(xué)等單位合作，提出自動(dòng)駕駛智能體DriveAgent-R1，讓模型不再是被動(dòng)地接受數(shù)據(jù)，而是用主動(dòng)感知機(jī)制，從底層邏輯上重塑自動(dòng)駕駛。

然后結(jié)合混合思維框架，讓DriveAgent-R1實(shí)現(xiàn)了多項(xiàng)SOTA，甚至超越了Claude Sonnet 4等頂尖的多模態(tài)大模型。

這項(xiàng)工作意味著理想的AI司機(jī)也開始強(qiáng)化學(xué)習(xí)了。強(qiáng)化學(xué)習(xí)在行業(yè)內(nèi)已形成廣泛共識(shí)，對(duì)于提升自動(dòng)駕駛性能起到了關(guān)鍵作用。從L2到L4，自動(dòng)駕駛已進(jìn)入強(qiáng)化學(xué)習(xí)時(shí)間。

主動(dòng)感知+混合思維，打破VLM兩大瓶頸

VLM（Vision-Language-Model視覺語言模型）已成為行業(yè)最火熱的方向之一，然而VLM存在決策短視和被動(dòng)感知兩大限制，影響了自動(dòng)駕駛在復(fù)雜環(huán)境下的可靠性。

為了解決上述問題，研究團(tuán)隊(duì)前天發(fā)布論文，提出了自動(dòng)駕駛智能體DriveAgent-R1，通過引入混合思維框架和主動(dòng)感知機(jī)制讓智能體具備了長時(shí)程、高層級(jí)決策能力。

混合思維（Hybrid-Thinking）框架是指DriveAgent-R1正式推理前，會(huì)根據(jù)輸入的多模態(tài)數(shù)據(jù)判斷當(dāng)前視覺信息是否充足，選擇思考模式。

如果是信息充足的簡單場(chǎng)景，就用純文本推理，高效快速。如果不足，就調(diào)用外部視覺工具補(bǔ)充信息，輔助文本推理。

有點(diǎn)像是「智能體的插混系統(tǒng)」，“可油可電”，具體看場(chǎng)景需求。

主動(dòng)感知（Active Perception）機(jī)制則是讓智能體主動(dòng)探查環(huán)境，感知不確定因素。這與以往相關(guān)成果在底層邏輯上不同。

過去的自動(dòng)駕駛系統(tǒng)，大多是被動(dòng)接受場(chǎng)景數(shù)據(jù)，能讀懂限速和導(dǎo)航相關(guān)的文本指令，理解場(chǎng)景的視覺信息，但容易忽略視覺細(xì)節(jié)，比如模糊的指示牌這種不確定信息。

DriveAgent-R1遇到相關(guān)場(chǎng)景時(shí)，則會(huì)主動(dòng)地多看或者“湊近看”，確定信息。這種底層邏輯上的改變，讓DriveAgent-R1實(shí)現(xiàn)了深度視覺依賴，使決策更加魯棒和有據(jù)可依，有了媲美人類老司機(jī)的可能。

兩大創(chuàng)新結(jié)合賦予了DriveAgent-R1強(qiáng)大能力，在多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)SOTA。

具體是怎樣實(shí)現(xiàn)的？

DriveAgent-R1的實(shí)現(xiàn)

DriveAgent-R1以Qwen2.5-VL-3B為底座，用到了8張H20 GPU?？傮w上通過視覺編碼器處理6路環(huán)視攝像頭輸入的視覺信息，通過語言解碼器處理車速和導(dǎo)航等文本指令，最終輸出一個(gè)8秒長時(shí)程駕駛意圖的決策。

“決策”表現(xiàn)為一個(gè)含有4個(gè)元?jiǎng)幼鞯男蛄?，每個(gè)元?jiǎng)幼饔伤俣群蛙壽E兩部分組成，速度包括加速、減速、保持和停止4種選擇，軌跡則有直行、左轉(zhuǎn)和右轉(zhuǎn)。

具體分步來看，DriveAgent-R1的訓(xùn)練采用了「三階段漸進(jìn)式訓(xùn)練策略」，核心是強(qiáng)化學(xué)習(xí)。

第一階段雙模式監(jiān)督微調(diào) (DM-SFT)，設(shè)計(jì)一個(gè)自動(dòng)化數(shù)據(jù)構(gòu)建流水線。

首先通過一個(gè)“工具調(diào)用必要性評(píng)估”將原始數(shù)據(jù)劃分為工具必需集和工具非必需集。然后使用強(qiáng)大的72B“教師模型”為數(shù)據(jù)進(jìn)行逆向推理式CoT標(biāo)注，最后通過規(guī)則進(jìn)行清洗，構(gòu)建高質(zhì)量的冷啟動(dòng)SFT數(shù)據(jù)集。

第二階段是強(qiáng)制對(duì)比模式強(qiáng)化學(xué)習(xí)(FCM-RL)，提出模式分區(qū)GRPO (MP-GRPO)算法，對(duì)每個(gè)輸入，我們強(qiáng)制智能體生成兩種模式的響應(yīng)組，從而創(chuàng)造出一種多維度的對(duì)比學(xué)習(xí)信號(hào)，強(qiáng)化模型在不同思考模式下的獨(dú)立思考能力，避免對(duì)某種模式產(chǎn)生偏見。獎(jiǎng)勵(lì)函數(shù)由準(zhǔn)確性和格式一致性組成。

第三階段是自適應(yīng)模式選擇強(qiáng)化學(xué)習(xí) (AMS-RL)，移除了模式強(qiáng)制約束，采用原生的GRPO算法。智能體必須自主選擇合適的思維方式，讓其可根據(jù)上下文自主選擇最優(yōu)的思維模式，實(shí)現(xiàn)真正的混合思維。獎(jiǎng)勵(lì)函數(shù)在第二階段的基礎(chǔ)上，增加動(dòng)態(tài)獎(jiǎng)勵(lì)窗口，在訓(xùn)練初期鼓勵(lì)探索工具的使用，在后期則要求高精度的、有影響力的工具使用。

模型測(cè)試時(shí)，會(huì)先輸入多模態(tài)數(shù)據(jù)，然后判斷當(dāng)前視覺信息是否充足，再從兩種思考模式中做出選擇。

簡單的常規(guī)場(chǎng)景，模型生成特殊token<think_text>激活文本M-CoT模式，完全依賴初始輸入和內(nèi)部知識(shí)進(jìn)行純文本推理。

復(fù)雜或不確定場(chǎng)景，生成特殊token<think_tool>激活工具M(jìn)-CoT模式。這種情況下，R1會(huì)主動(dòng)調(diào)用外部視覺工具，也就是主動(dòng)感知，獲取更多補(bǔ)充信息。

視覺工具主要有以下4種：

• 獲取高分辨率視圖 (Retrieve High-Resolution View): 智能體緩存了過去5秒所有視角的圖像，可以按需請(qǐng)求任一特定視角的高分辨率圖像。緩存圖像而不是存儲(chǔ)視頻序列，節(jié)省了內(nèi)存和計(jì)算成本。
• 關(guān)鍵區(qū)域檢查 (RoI Inspection): 相當(dāng)于給了智能體一個(gè)“放大鏡”，它可按需框出特定感興趣區(qū)域，主動(dòng)檢查，確認(rèn)關(guān)鍵細(xì)節(jié)信息，比如遠(yuǎn)方的紅綠燈或者路牌文字。
• 深度估計(jì)（Depth Estimation）：利用單目深度估計(jì)讓模型直觀地掌握物體的相對(duì)距離和空間布局。
• 3D物體檢測(cè) (3D Object Detection) :集成一個(gè)開放詞匯表單目3D物體檢測(cè)工具，常規(guī)物體和場(chǎng)景中新出現(xiàn)的對(duì)象都能檢測(cè)。

具體實(shí)現(xiàn)過程以一個(gè)場(chǎng)景為例，比如晚上在沒有路燈的小路上行駛，模型意識(shí)到非常規(guī)場(chǎng)景后，進(jìn)入工具M(jìn)-CoT模式，調(diào)用外部工具。

然后返回的圖像顯示前面是個(gè)路口，有交通標(biāo)識(shí)而且路上有碎石，需要謹(jǐn)慎駕駛。

接著模型開始推理，發(fā)現(xiàn)限速標(biāo)志看不清，再次調(diào)用工具放大看，發(fā)現(xiàn)限速30，決定減速，同時(shí)稍稍往右打方向，躲開碎石。

最后輸出包含4個(gè)元?jiǎng)幼鞯臎Q策序列。

這項(xiàng)工作也指出了一些還需要優(yōu)化的地方，比如外部工具還太少，未來可以集成天氣感知模塊應(yīng)對(duì)暴雪和大雨這種惡劣天氣。生成的軌跡目前也是離散的元?jiǎng)幼餍蛄?，沒有直接生成低層連續(xù)軌跡等。

但總的來說，這項(xiàng)工作提供了很多前沿思考，通過實(shí)驗(yàn)驗(yàn)證了主動(dòng)獲取視覺信息是VLM的有前景的一個(gè)方向，以及強(qiáng)化學(xué)習(xí)對(duì)釋放智能體的潛力來說，至關(guān)重要。

強(qiáng)化學(xué)習(xí)既是這項(xiàng)工作的靈魂所在，也是2025年智能輔助駕駛行業(yè)加速上車的新范式。

華為ADS 4的車端模型將強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)結(jié)合，小鵬汽車走向了強(qiáng)化學(xué)習(xí)和模型蒸餾路線，Momenta今年要打造基于強(qiáng)化學(xué)習(xí)的一段式端到端，地平線則認(rèn)為通過強(qiáng)化學(xué)習(xí)更能理解物理規(guī)律……

無論是供應(yīng)商還是主機(jī)廠，無論是目前專精算法還是軟硬結(jié)合，不同背景的頭部玩家押注了同一條路線。

All in L4的玩家對(duì)此認(rèn)知更早，小馬智行樓教主曾透露，其在2020年就意識(shí)到要轉(zhuǎn)向強(qiáng)化學(xué)習(xí)，他當(dāng)時(shí)認(rèn)為：

模仿學(xué)習(xí)天花板太低，做不到L4。

從模仿學(xué)習(xí)到強(qiáng)化學(xué)習(xí)，是AI司機(jī)從“類人”到“超人”的轉(zhuǎn)變。強(qiáng)化學(xué)習(xí)大規(guī)模上車，也意味著L2和L4正在邁入同一條河流，漸進(jìn)式升維路線，自此開始加速演化。