量子位|公眾號(hào)QbitAI

讓機(jī)器人像人一樣邊看邊理解，來自浙江大學(xué)和vivo人工智能實(shí)驗(yàn)室的研究團(tuán)隊(duì)帶來了新進(jìn)展。

正如視頻所展示的，機(jī)器人在復(fù)雜的室內(nèi)環(huán)境中不僅能自主探索，還具備理解指令背后的意圖，靈活調(diào)整行為的強(qiáng)大能力。

而這一能力的核心就來自他們在ACM MM 2025上發(fā)表的新框架—CogDDN。這是首個(gè)模擬人類認(rèn)知機(jī)制，將心理學(xué)著名的“雙過程理論”應(yīng)用于移動(dòng)機(jī)器人的需求驅(qū)動(dòng)導(dǎo)航任務(wù)(Demand-driven navigation,DDN)的系統(tǒng)。

論文的共同第一作者為浙江大學(xué)博士生黃躍豪和vivo人工智能實(shí)驗(yàn)室算法專家劉亮，通訊作者為浙江大學(xué)教授劉勇與研究員呂佳俊。

研究動(dòng)機(jī)

隨著科技的不斷發(fā)展，移動(dòng)機(jī)器人逐漸走進(jìn)人們的日常生活，成為家庭、醫(yī)院、倉庫中的得力助手。為了讓機(jī)器人更加高效地工作，它們不僅需要執(zhí)行指令，還應(yīng)具備理解人類需求的能力——例如，當(dāng)人們感到饑餓時(shí)，機(jī)器人能夠主動(dòng)根據(jù)這一需求（我餓了）去尋找食物，而不是被動(dòng)等待包含明確目標(biāo)（例如拿一根香蕉）的指令。

然而，傳統(tǒng)的需求驅(qū)動(dòng)導(dǎo)航方法依賴大量數(shù)據(jù)訓(xùn)練，往往只能應(yīng)對(duì)“見過的情況”。一旦面對(duì)陌生環(huán)境或模糊的指令，機(jī)器人便容易陷入困境。

為了解決這一問題，研究團(tuán)隊(duì)開始探索更具通用性的導(dǎo)航方法：讓機(jī)器人像人一樣具備“推理能力”，能夠靈活應(yīng)對(duì)未知情境，真正理解人類的意圖。

人類在面對(duì)需求時(shí)，通常不會(huì)立即做出決定，而是通過不斷試探和調(diào)整來逐步明確目標(biāo)。這種靈活的決策過程啟發(fā)了一些研究，通過引入丹尼爾 · 卡尼曼 (Daniel Kahneman)的“雙過程理論”來模擬人類思維：系統(tǒng)1代表快速、直覺式的決策系統(tǒng)，系統(tǒng)2代表緩慢但深度推理的系統(tǒng)。

這兩種思維模式的結(jié)合，有望幫助機(jī)器人在復(fù)雜環(huán)境中做出更合理的導(dǎo)航?jīng)Q策。

基于“雙過程理論”的需求驅(qū)動(dòng)導(dǎo)航框架

基于上述動(dòng)機(jī)，團(tuán)隊(duì)提出了一個(gè)認(rèn)知驅(qū)動(dòng)的雙過程閉環(huán)導(dǎo)航框架——CogDDN。該框架構(gòu)建于視覺語言模型（VLM）之上，具備持續(xù)學(xué)習(xí)、適應(yīng)和自我改進(jìn)的能力。該框架將雙過程決策模塊分為啟發(fā)式過程（系統(tǒng)1）與分析過程（系統(tǒng)2），以實(shí)現(xiàn)快慢系統(tǒng)一體化的設(shè)計(jì)，模擬了人類在不同情境下的決策方式。

其中，啟發(fā)式過程依賴已有經(jīng)驗(yàn)，進(jìn)行快速、直覺式的高效決策；而分析過程則聚焦于錯(cuò)誤反思，通過深度推理持續(xù)優(yōu)化策略。

在閉環(huán)導(dǎo)航實(shí)驗(yàn)中，分析過程不斷積累經(jīng)驗(yàn)，構(gòu)建可遷移的知識(shí)庫，包含高質(zhì)量的決策信息。這些知識(shí)不僅可適應(yīng)不同場景，還可通過微調(diào)遷移至啟發(fā)式過程，為后續(xù)決策提供支持與增強(qiáng)。

在AI2-THOR模擬器上，基于ProcTHOR數(shù)據(jù)集的閉環(huán)評(píng)估結(jié)果表明，CogDDN的表現(xiàn)相比當(dāng)前單視角SOTA方法DDN提高了15%，且與加入深度輸入的InstructNav效果相當(dāng)。

CogDDN框架介紹

如下圖所示，CodDDN由3部分組成：

• 用于檢測物體的3D機(jī)器人感知模塊；
• 用于確定目標(biāo)物的需求匹配模塊；
• 由分析過程和啟發(fā)式過程組成的雙過程決策模塊。

3D機(jī)器人感知模塊

為了提高機(jī)器人在室內(nèi)導(dǎo)航中的三維感知能力，團(tuán)隊(duì)采用了當(dāng)前最先進(jìn)的單目3D檢測方法——UniMODE。該方法通過單一視角的圖像，精準(zhǔn)地估算物體的三維位置，避免了傳統(tǒng)方法對(duì)多視角或深度傳感器的依賴。

需求匹配模塊

在需求驅(qū)動(dòng)導(dǎo)航中，滿足相同人類需求的物體通常具有共同的關(guān)鍵特性。例如，畫作、盆栽和雕塑都適合用來裝飾空間，因?yàn)樗鼈兛梢蕴嵘曈X效果，營造所需的環(huán)境氛圍。這種人類需求與物體特性之間的關(guān)系是基于普遍的知識(shí)。

大型語言模型（LLM）擅長根據(jù)指令和物體特性進(jìn)行推理，但當(dāng)無法精確匹配請求時(shí)，LLM可能會(huì)推薦一些不太合適的物體。例如，如果用戶要求“需要一個(gè)東西來放我的花”，它可能會(huì)推薦一個(gè)杯子，盡管它并不是最理想的選擇。這種傾向會(huì)大大降低模型在選擇最合適物體時(shí)的準(zhǔn)確性。

為了避免這個(gè)問題，團(tuán)隊(duì)采用了有監(jiān)督微調(diào)（SFT）技術(shù)來訓(xùn)練LLM，使其更好地將物體與用戶需求對(duì)齊，從而在無法精確匹配時(shí)避免推薦不合適物體。通過微調(diào)后的LLM，系統(tǒng)能夠更精準(zhǔn)地處理復(fù)雜指令和物體特性，即使在模糊場景中，也能提供更合理的建議。

雙過程決策

啟發(fā)式過程

在室內(nèi)導(dǎo)航中，傳統(tǒng)系統(tǒng)往往受到處理速度慢和信息冗余的限制，導(dǎo)致在實(shí)際應(yīng)用中表現(xiàn)不佳。為了解決這些問題，團(tuán)隊(duì)引入了啟發(fā)式過程，它就像是CogDDN的“直覺”，通過模擬人類的導(dǎo)航方式，并通過不斷練習(xí)和積累經(jīng)驗(yàn)，能夠快速適應(yīng)各種情況，從而提高導(dǎo)航效率。

啟發(fā)式過程包括兩個(gè)模塊：Explore和Exploit，兩者都依賴思維鏈（CoT）來適應(yīng)新環(huán)境并優(yōu)化導(dǎo)航執(zhí)行。

當(dāng)無法找到合適目標(biāo)時(shí)，Explore模塊會(huì)啟動(dòng)。此時(shí)，系統(tǒng)通過生成探索性動(dòng)作掃描環(huán)境，尋找可能被忽視的物體或路徑。它根據(jù)當(dāng)前視角生成場景描述并進(jìn)行推理，指導(dǎo)探索過程。系統(tǒng)會(huì)結(jié)合之前的行動(dòng)和旋轉(zhuǎn)信息，優(yōu)化探索路徑，避免重復(fù)的探索。

一旦目標(biāo)物體被找到，Exploit模塊啟動(dòng)，專注于采取精準(zhǔn)的行動(dòng)實(shí)現(xiàn)導(dǎo)航目標(biāo)。在這一階段，系統(tǒng)利用探索階段積累的經(jīng)驗(yàn)和知識(shí)庫，借助有監(jiān)督微調(diào)（SFT），就像把知識(shí)內(nèi)化為直覺，使其更好地應(yīng)對(duì)各種情境。系統(tǒng)對(duì)環(huán)境進(jìn)行細(xì)致推理，生成最適合的行動(dòng)，快速而有效地達(dá)成目標(biāo)。

這種雙重決策機(jī)制使得CogDDN能夠快速適應(yīng)新環(huán)境，并高效完成復(fù)雜的導(dǎo)航任務(wù)，大幅提升了機(jī)器人在動(dòng)態(tài)環(huán)境中的智能決策能力。

分析過程

分析過程是CogDDN的“大腦”，類似于人類的理性思維，幫助系統(tǒng)反思導(dǎo)航中的障礙，并不斷優(yōu)化決策以應(yīng)對(duì)復(fù)雜的導(dǎo)航挑戰(zhàn)。

通過在多個(gè)數(shù)據(jù)集上廣泛預(yù)訓(xùn)練，視覺語言模型（VLM）積累了豐富的世界知識(shí)，具備強(qiáng)大的推理和洞察能力。這使得分析過程能夠在室內(nèi)導(dǎo)航中進(jìn)行深入的分析和情境理解，從而得出準(zhǔn)確的推論。

在閉環(huán)室內(nèi)導(dǎo)航場景中，當(dāng)需求匹配和啟發(fā)式過程模塊正常運(yùn)作時(shí)，任何遇到的障礙都會(huì)觸發(fā)反思機(jī)制。分析過程利用VLM中積累的知識(shí)，基于障礙發(fā)生前收集的信息進(jìn)行分析，包括物體的位置、場景描述、推理和決策。

系統(tǒng)通過這一過程深入分析問題根源，識(shí)別錯(cuò)誤并生成修正后的推理和決策。所得的經(jīng)驗(yàn)會(huì)被整合到知識(shí)庫中，使系統(tǒng)能夠從失敗中不斷學(xué)習(xí)。

通過這種迭代學(xué)習(xí)，CogDDN不斷提升決策能力，使系統(tǒng)在未來的導(dǎo)航任務(wù)中做出更精準(zhǔn)、更明智的決策，從而持續(xù)優(yōu)化導(dǎo)航策略。

實(shí)驗(yàn)結(jié)果

團(tuán)隊(duì)在開源仿真器AI2Thor使用Procthor數(shù)據(jù)集進(jìn)行閉環(huán)實(shí)驗(yàn)，以評(píng)估CogDDN的性能。為了驗(yàn)證有效性，團(tuán)隊(duì)在400個(gè)場景中進(jìn)行了閉環(huán)導(dǎo)航的綜合評(píng)估。團(tuán)隊(duì)的評(píng)估指標(biāo)包括導(dǎo)航成功率（NSR）、加權(quán)路徑長度的導(dǎo)航成功率（SPL）和選擇成功率（SSR）。

如表2所示，CogDDN優(yōu)于所有其他僅依賴前向視角相機(jī)傳感器輸入的方法。

此外，CogDDN與SOTA方法InstructNav的比較也展示了令人矚目的成果。盡管InstructNav利用深度圖作為額外輸入，CogDDN仍在未見場景和指令中表現(xiàn)出相當(dāng)?shù)男阅?，證明了其在多種復(fù)雜場景中的適應(yīng)性與高效性。

團(tuán)隊(duì)還進(jìn)行了消融實(shí)驗(yàn)，驗(yàn)證了CogDDN各模塊的作用。

實(shí)驗(yàn)結(jié)果表明，移除Exploit模塊后，系統(tǒng)性能顯著下降，突顯了微調(diào)的重要性。

同樣，去除CoT后，系統(tǒng)在復(fù)雜決策中的推理能力大幅減弱，證明了CoT對(duì)決策過程的關(guān)鍵作用。

此外，反思機(jī)制的消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了CogDDN的持續(xù)學(xué)習(xí)能力。在每輪500個(gè)epoch的訓(xùn)練中，系統(tǒng)通過反思積累經(jīng)驗(yàn)并微調(diào)VLM，將其添加到知識(shí)庫中。

通過圖7可以看到，SPL顯著提升。該實(shí)驗(yàn)表明，反思機(jī)制有效提高了系統(tǒng)在遇到障礙后的表現(xiàn)，進(jìn)一步證明了CogDDN在持續(xù)學(xué)習(xí)和適應(yīng)新環(huán)境方面的強(qiáng)大能力。

總結(jié)

CogDDN是一款認(rèn)知驅(qū)動(dòng)的導(dǎo)航系統(tǒng)，具備持續(xù)學(xué)習(xí)、靈活適應(yīng)與自我優(yōu)化能力，仿佛賦予機(jī)器人一顆“思考的大腦”。

受人類注意力機(jī)制啟發(fā)，CogDDN能精準(zhǔn)聚焦任務(wù)相關(guān)的關(guān)鍵物體，簡化環(huán)境信息，從而提升決策效率。系統(tǒng)采用雙過程決策機(jī)制：

一方面通過快速、直覺式的啟發(fā)式?jīng)Q策，實(shí)現(xiàn)高效響應(yīng)；

另一方面依賴深度推理與分析，完成復(fù)雜情境下的判斷。

兩者協(xié)同運(yùn)行，使機(jī)器人在復(fù)雜環(huán)境中也能靈活應(yīng)對(duì)。此外，CogDDN能在閉環(huán)過程中持續(xù)積累經(jīng)驗(yàn)，優(yōu)化策略，并可無縫集成至現(xiàn)有機(jī)器人系統(tǒng)中。

其獨(dú)特的雙過程能力，使其在需求驅(qū)動(dòng)導(dǎo)航任務(wù)中表現(xiàn)出色，為智能機(jī)器人技術(shù)的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。

參考鏈接：
[1]論文鏈接：https://arxiv.org/abs/2507.11334
[2]項(xiàng)目主頁：https://yuehaohuang.github.io/CogDDN/