henry 發(fā)自 凹非寺
量子位 | 公眾號?QbitAI

最近Meta動作頻頻。一邊是老板小扎親自下場，豪擲一億美金挖人。

另一邊，自家具身智能研究同樣也憋了個大的，40頁長文報告。

除了LeCun老生常談的世界模型外，最讓人眼前一亮的就是：

這篇報告第一次把對人心智狀態(tài)的推斷，放到和物理世界模型（physical world model）同等重要的位置上，并將其概念化為心智世界模型（mental world model）。

相比于傳統(tǒng)世界模型（如LeCun的JEPA）僅關(guān)注物理規(guī)律（物體運動、機械因果），心智世界模型則首次將心理規(guī)律（意圖、情感、社會關(guān)系）納入世界模型框架，實現(xiàn)“雙軌建?！薄?/p>

不得不說，Meta還是太超前了！

從物理世界模型到心智世界模型

眾所周知，在Lecun的帶領(lǐng)下，Meta對大模型頗有微詞，在這次報告中也不例外：

大模型雖然很強，但太臃腫，缺乏效率，也缺乏抽象推理能力。

就像我們回家開門的時候，并不會在腦子里預(yù)測門下一秒的每個像素，而是會關(guān)注門的狀態(tài)（開關(guān)）和鑰匙孔的位置，并作出相應(yīng)的動作，如找出鑰匙，完成進門這項任務(wù)。

因此，要建構(gòu)像人類一樣的具身智能體，就需要世界模型從感知中抽象出有用的信息來理解環(huán)境，再進行推理、規(guī)劃，采取行動。

那么問題來了，什么才叫有用的信息呢？

這里，報告將世界模型所需要的信息分為了兩類。一類是物理世界模型所需要的信息，其中包括：

物體及其屬性（例如：形狀、大小、顏色）

物體之間的空間關(guān)系（例如：鄰近性、距離）

環(huán)境的動態(tài)變化（例如：運動、時間上的變化）

基于物理定律的動作與結(jié)果之間的因果關(guān)系

另一類是心智世界模型所需要的信息，包括：

目標(biāo)和意圖（包括其動機、偏好和價值觀）

用戶的情緒和情感狀態(tài)，以及理解這些情緒如何影響行為

捕捉社會動態(tài)，包括個體、群體和機構(gòu)之間的關(guān)系，以及文化規(guī)范、習(xí)俗和期望

理解言語和非言語交流，包括語言、語調(diào)、肢體語言和面部表情

物理世界模型的作用我們都很熟悉。比如知道牛頓定律，具身智能體就能預(yù)測未來環(huán)境中物體的運動。

例如，一支筆從桌邊掉落將會做自由落體運動，智能體就需要在筆摔到地上前及時接住筆。

那為啥還需要心智世界模型呢？

對于人類來說，心智世界模型就是對世界的心理表征的過程，包括對物體、事件和關(guān)系的表征。

它使人類能夠模擬情境、預(yù)測結(jié)果、進行反事實和因果推理，從而做出更明智的決策。

例如，我們說小明在漢堡店收到了一份烤糊了的漢堡，他氣沖沖地離開了漢堡店，并沒有交錢。

那么根據(jù)心智世界模型，我們就可以合理推斷，小明并沒有吃下那份漢堡。

因此，為了更好地協(xié)助和與人類合作，智能體就必須學(xué)習(xí)人類的心理狀態(tài)，理解人類的行為模式和文化慣例。

為了實現(xiàn)這一點，就需要心智世界模型來表征人類用戶或其他AI智能體的心理狀態(tài)。

通過表征、理解這些心理狀態(tài)，具身智能體就可以

預(yù)測用戶的目標(biāo)和意圖，使智能體能夠主動提供幫助或指導(dǎo)，幫助用戶實現(xiàn)其目標(biāo)推斷信念差異，并預(yù)測持有錯誤信念的人該如何行動預(yù)測情緒反應(yīng)，從而調(diào)整策略，更好的滿足用戶的需求

這將大大提高人機交互和多智能體交互的效率和舒適性。

那我怎么知道這玩意不會瞎猜心思，搗亂，幫倒忙呢？

對此，Meta設(shè)計了一系列的benchmark來測試具身智能體的性能。

可不幸的是，以目標(biāo)推測為例，在第一視角多模態(tài)目標(biāo)推理基準(zhǔn)（Egocentric Multi-modal Goal Inference Benchmark）上，視覺-語言模型的成功率只有55%，遠遠達不到使用水平。

沒錯，路還很長。

世界模型的未來

雖然當(dāng)下的表現(xiàn)很“慘淡”，但物理（心智）世界模型仍然是一個有前景的方向。

為了實現(xiàn)這一點，Meta在報告里指出：

要讓AI具備真正的自主學(xué)習(xí)能力，必須把系統(tǒng)A觀察學(xué)習(xí)（Learning by Observation）和系統(tǒng)B行動學(xué)習(xí)（Learning by Action）結(jié)合起來。

系統(tǒng)A從大量感知數(shù)據(jù)中學(xué)習(xí)抽象表示（比如自監(jiān)督或無監(jiān)督學(xué)習(xí)）。

它的好處是能高效學(xué)習(xí)出通用、抽象的表征，對后續(xù)任務(wù)有幫助。

但缺點是需要大量干凈的數(shù)據(jù)，不知道自己該學(xué)什么，學(xué)到的東西也很難和實際行動結(jié)合，往往只能停留在“看懂”，不一定“用得上”。

系統(tǒng)B是通過探索和試錯來學(xué)怎么做事，比如強化學(xué)習(xí)。

它的優(yōu)點是和實際行為直接相關(guān)，能適應(yīng)動態(tài)環(huán)境，也可能發(fā)現(xiàn)全新方法。

但缺點是效率很低，需要大量試驗才能學(xué)會簡單任務(wù)，在復(fù)雜情況下容易卡住，還特別依賴明確的獎勵信號，而現(xiàn)實里往往沒有現(xiàn)成的獎勵可用。

簡單來說，系統(tǒng)A擅長從大數(shù)據(jù)中提煉知識，但不會“動手”；

系統(tǒng)B擅長探索和行動，但學(xué)習(xí)效率低。

通過有效地整合兩者，由系統(tǒng) A提供抽象結(jié)構(gòu)、先驗和壓縮表示，幫助系統(tǒng) B高效規(guī)劃。系統(tǒng)B則通過主動探索收集更優(yōu)數(shù)據(jù)，為系統(tǒng)A提供實踐驗證。

實現(xiàn)感知驅(qū)動行動，行動反過來豐富感知，推動AI系統(tǒng)的自主進步。

One More Thing

盡管心智世界模型當(dāng)前的表現(xiàn)仍顯稚嫩，但它在多智能體協(xié)作中的潛力不容低估。

它為多智能體之間建立“共識心智”提供了理論支點：

讓每個智能體不僅看到外部世界，還能推測他人的信念和意圖，形成比單一感知更高階的理解。

當(dāng)不同的具身智能體共同執(zhí)行任務(wù)時，心智模型能幫助它們在不確定的環(huán)境中對齊目標(biāo)，協(xié)調(diào)行動，甚至在沖突中尋找平衡。

這也是讓人機互動從機械執(zhí)行邁向富有同理心和情境感的重要一步。

在這個意義上，心智世界模型或許不是一條輕松的路，但它為具身智能打開了通往更復(fù)雜社會化形態(tài)的入口。

報告鏈接：https://arxiv.org/abs/2506.22355