henry 發(fā)自 凹非寺
量子位 | 公眾號(hào)?QbitAI

最近Meta動(dòng)作頻頻。一邊是老板小扎親自下場(chǎng)，豪擲一億美金挖人。

另一邊，自家具身智能研究同樣也憋了個(gè)大的，40頁(yè)長(zhǎng)文報(bào)告。

除了LeCun老生常談的世界模型外，最讓人眼前一亮的就是：

這篇報(bào)告第一次把對(duì)人心智狀態(tài)的推斷，放到和物理世界模型（physical world model）同等重要的位置上，并將其概念化為心智世界模型（mental world model）。

相比于傳統(tǒng)世界模型（如LeCun的JEPA）僅關(guān)注物理規(guī)律（物體運(yùn)動(dòng)、機(jī)械因果），心智世界模型則首次將心理規(guī)律（意圖、情感、社會(huì)關(guān)系）納入世界模型框架，實(shí)現(xiàn)“雙軌建?！薄?/p>

不得不說(shuō)，Meta還是太超前了！

從物理世界模型到心智世界模型

眾所周知，在Lecun的帶領(lǐng)下，Meta對(duì)大模型頗有微詞，在這次報(bào)告中也不例外：

大模型雖然很強(qiáng)，但太臃腫，缺乏效率，也缺乏抽象推理能力。

就像我們回家開(kāi)門的時(shí)候，并不會(huì)在腦子里預(yù)測(cè)門下一秒的每個(gè)像素，而是會(huì)關(guān)注門的狀態(tài)（開(kāi)關(guān)）和鑰匙孔的位置，并作出相應(yīng)的動(dòng)作，如找出鑰匙，完成進(jìn)門這項(xiàng)任務(wù)。

因此，要建構(gòu)像人類一樣的具身智能體，就需要世界模型從感知中抽象出有用的信息來(lái)理解環(huán)境，再進(jìn)行推理、規(guī)劃，采取行動(dòng)。

那么問(wèn)題來(lái)了，什么才叫有用的信息呢？

這里，報(bào)告將世界模型所需要的信息分為了兩類。一類是物理世界模型所需要的信息，其中包括：

物體及其屬性（例如：形狀、大小、顏色）

物體之間的空間關(guān)系（例如：鄰近性、距離）

環(huán)境的動(dòng)態(tài)變化（例如：運(yùn)動(dòng)、時(shí)間上的變化）

基于物理定律的動(dòng)作與結(jié)果之間的因果關(guān)系

另一類是心智世界模型所需要的信息，包括：

目標(biāo)和意圖（包括其動(dòng)機(jī)、偏好和價(jià)值觀）

用戶的情緒和情感狀態(tài)，以及理解這些情緒如何影響行為

捕捉社會(huì)動(dòng)態(tài)，包括個(gè)體、群體和機(jī)構(gòu)之間的關(guān)系，以及文化規(guī)范、習(xí)俗和期望

理解言語(yǔ)和非言語(yǔ)交流，包括語(yǔ)言、語(yǔ)調(diào)、肢體語(yǔ)言和面部表情

物理世界模型的作用我們都很熟悉。比如知道牛頓定律，具身智能體就能預(yù)測(cè)未來(lái)環(huán)境中物體的運(yùn)動(dòng)。

例如，一支筆從桌邊掉落將會(huì)做自由落體運(yùn)動(dòng)，智能體就需要在筆摔到地上前及時(shí)接住筆。

那為啥還需要心智世界模型呢？

對(duì)于人類來(lái)說(shuō)，心智世界模型就是對(duì)世界的心理表征的過(guò)程，包括對(duì)物體、事件和關(guān)系的表征。

它使人類能夠模擬情境、預(yù)測(cè)結(jié)果、進(jìn)行反事實(shí)和因果推理，從而做出更明智的決策。

例如，我們說(shuō)小明在漢堡店收到了一份烤糊了的漢堡，他氣沖沖地離開(kāi)了漢堡店，并沒(méi)有交錢。

那么根據(jù)心智世界模型，我們就可以合理推斷，小明并沒(méi)有吃下那份漢堡。

因此，為了更好地協(xié)助和與人類合作，智能體就必須學(xué)習(xí)人類的心理狀態(tài)，理解人類的行為模式和文化慣例。

為了實(shí)現(xiàn)這一點(diǎn)，就需要心智世界模型來(lái)表征人類用戶或其他AI智能體的心理狀態(tài)。

通過(guò)表征、理解這些心理狀態(tài)，具身智能體就可以

預(yù)測(cè)用戶的目標(biāo)和意圖，使智能體能夠主動(dòng)提供幫助或指導(dǎo)，幫助用戶實(shí)現(xiàn)其目標(biāo)推斷信念差異，并預(yù)測(cè)持有錯(cuò)誤信念的人該如何行動(dòng)預(yù)測(cè)情緒反應(yīng)，從而調(diào)整策略，更好的滿足用戶的需求

這將大大提高人機(jī)交互和多智能體交互的效率和舒適性。

那我怎么知道這玩意不會(huì)瞎猜心思，搗亂，幫倒忙呢？

對(duì)此，Meta設(shè)計(jì)了一系列的benchmark來(lái)測(cè)試具身智能體的性能。

可不幸的是，以目標(biāo)推測(cè)為例，在第一視角多模態(tài)目標(biāo)推理基準(zhǔn)（Egocentric Multi-modal Goal Inference Benchmark）上，視覺(jué)-語(yǔ)言模型的成功率只有55%，遠(yuǎn)遠(yuǎn)達(dá)不到使用水平。

沒(méi)錯(cuò)，路還很長(zhǎng)。

世界模型的未來(lái)

雖然當(dāng)下的表現(xiàn)很“慘淡”，但物理（心智）世界模型仍然是一個(gè)有前景的方向。

為了實(shí)現(xiàn)這一點(diǎn)，Meta在報(bào)告里指出：

要讓AI具備真正的自主學(xué)習(xí)能力，必須把系統(tǒng)A觀察學(xué)習(xí)（Learning by Observation）和系統(tǒng)B行動(dòng)學(xué)習(xí)（Learning by Action）結(jié)合起來(lái)。

系統(tǒng)A從大量感知數(shù)據(jù)中學(xué)習(xí)抽象表示（比如自監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)）。

它的好處是能高效學(xué)習(xí)出通用、抽象的表征，對(duì)后續(xù)任務(wù)有幫助。

但缺點(diǎn)是需要大量干凈的數(shù)據(jù)，不知道自己該學(xué)什么，學(xué)到的東西也很難和實(shí)際行動(dòng)結(jié)合，往往只能停留在“看懂”，不一定“用得上”。

系統(tǒng)B是通過(guò)探索和試錯(cuò)來(lái)學(xué)怎么做事，比如強(qiáng)化學(xué)習(xí)。

它的優(yōu)點(diǎn)是和實(shí)際行為直接相關(guān)，能適應(yīng)動(dòng)態(tài)環(huán)境，也可能發(fā)現(xiàn)全新方法。

但缺點(diǎn)是效率很低，需要大量試驗(yàn)才能學(xué)會(huì)簡(jiǎn)單任務(wù)，在復(fù)雜情況下容易卡住，還特別依賴明確的獎(jiǎng)勵(lì)信號(hào)，而現(xiàn)實(shí)里往往沒(méi)有現(xiàn)成的獎(jiǎng)勵(lì)可用。

簡(jiǎn)單來(lái)說(shuō)，系統(tǒng)A擅長(zhǎng)從大數(shù)據(jù)中提煉知識(shí)，但不會(huì)“動(dòng)手”；

系統(tǒng)B擅長(zhǎng)探索和行動(dòng)，但學(xué)習(xí)效率低。

通過(guò)有效地整合兩者，由系統(tǒng) A提供抽象結(jié)構(gòu)、先驗(yàn)和壓縮表示，幫助系統(tǒng) B高效規(guī)劃。系統(tǒng)B則通過(guò)主動(dòng)探索收集更優(yōu)數(shù)據(jù)，為系統(tǒng)A提供實(shí)踐驗(yàn)證。

實(shí)現(xiàn)感知驅(qū)動(dòng)行動(dòng)，行動(dòng)反過(guò)來(lái)豐富感知，推動(dòng)AI系統(tǒng)的自主進(jìn)步。

One More Thing

盡管心智世界模型當(dāng)前的表現(xiàn)仍顯稚嫩，但它在多智能體協(xié)作中的潛力不容低估。

它為多智能體之間建立“共識(shí)心智”提供了理論支點(diǎn)：

讓每個(gè)智能體不僅看到外部世界，還能推測(cè)他人的信念和意圖，形成比單一感知更高階的理解。

當(dāng)不同的具身智能體共同執(zhí)行任務(wù)時(shí)，心智模型能幫助它們?cè)诓淮_定的環(huán)境中對(duì)齊目標(biāo)，協(xié)調(diào)行動(dòng)，甚至在沖突中尋找平衡。

這也是讓人機(jī)互動(dòng)從機(jī)械執(zhí)行邁向富有同理心和情境感的重要一步。

在這個(gè)意義上，心智世界模型或許不是一條輕松的路，但它為具身智能打開(kāi)了通往更復(fù)雜社會(huì)化形態(tài)的入口。

報(bào)告鏈接：https://arxiv.org/abs/2506.22355