姚期智院士大模型新研究：思維圖DoT，用數(shù)學(xué)理論確保AI邏輯一致

西風(fēng) 2024-09-24 11:53:47 來源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

姚期智院士領(lǐng)銜，推出大模型新推理框架，CoT“王冠”戴不住了。

提出思維圖（Diagram of Thought），讓大模型思考更像人類。

團隊更是為這種推理過程提供了數(shù)學(xué)基礎(chǔ)，通過拓撲斯理論（Topos Theory）正式化（formalize）DoT，確保其邏輯一致性和合理性。

相比CoT將推理過程表示為線性序列，DoT更能捕捉人類推理的復(fù)雜性。

相比引入分支結(jié)構(gòu)ToT和GoT，DoT不需要依賴外部控制機制或多個模型協(xié)作，訓(xùn)練部署更簡單。

秘訣就在于，DoT將LLM中的迭代推理建模為在單一模型內(nèi)構(gòu)建有向無環(huán)圖（DAG）。

DAG由代表命題、批評、精煉和驗證的節(jié)點組成，邊表示它們之間的邏輯關(guān)系或依賴關(guān)系，邊都有方向，不存在任何循環(huán)路徑。

這種無環(huán)的特性確保推理過程不受循環(huán)依賴的影響，能更真實反映合理的邏輯推導(dǎo)。

9.11和9.8哪個大、strawberry中有幾個“r”等問題在DoT的幫助下全都迎刃而解了。

要知道，大模型最新“頂流”O(jiān)penAI o1目前被訓(xùn)練得原生具備生成CoT的能力，現(xiàn)在更強的DoT來了，是不是也可以通過強化學(xué)習(xí)內(nèi)化到模型里，如此一來……

這項研究提出后得到了不小的關(guān)注。

網(wǎng)友紛紛表示這是一種正確的路徑。

碼住，碼住，碼住

具體來看看DoT長啥樣。

大模型復(fù)雜推理新框架

如前所述，DoT將邏輯推理過程建模為在單個LLM內(nèi)構(gòu)建有向無環(huán)圖（DAG）。

其框架內(nèi)部管理三個關(guān)鍵角色：

• 提議者：生成命題或推理步驟，添加新節(jié)點。
• 批評者：評估命題，識別錯誤、不一致或邏輯謬誤，并添加批評節(jié)點。
• 總結(jié)者：將經(jīng)過驗證的命題綜合成一個連貫的思維鏈，有效地執(zhí)行DAG的拓撲排序（topological sort）以產(chǎn)出最終的推理輸出。

這三個角色通過使用特殊token，如<proposer>、<critic>、<summarizer>，在模型的輸出中被明確定義。LLM在生成過程中在這些角色之間無縫切換，利用其自回歸能力根據(jù)上下文預(yù)測下一個token。

推理過程始于提議者引入一個命題，向DAG添加一個節(jié)點。

然后，由評論者評估驗證或提供批評。如果提供了批評，將添加一個新節(jié)點，并在該命題和批評之間建立一個邊。

基于批評，提議者生成一個精煉改進過的命題，表示為DAG中的一個新節(jié)點。

這一過程重復(fù)進行，命題不斷被精煉直到得到驗證。

一旦建立了足夠有效的命題，總結(jié)者就會綜合這些推理，對DAG進行拓撲排序以產(chǎn)生一個連貫的思維鏈。

通過讓模型接觸正確和錯誤的推理，DoT允許LLM從錯誤中學(xué)習(xí)，隨著時間的推移不斷精煉其推理，這也更像人類解決問題的方式。

這種方法不僅捕捉了推理的非線性和迭代特性，還通過自然語言批評提供了比二元信號更豐富的反饋。

DoT的訓(xùn)練涉及使用格式化為DoT結(jié)構(gòu)的訓(xùn)練樣例，包括角色特定token和DAG表示。在推理過程中，模型基于上下文線索和角色特定token生成命題、批評和總結(jié)。

這種方法簡化了部署，消除了對多LLM協(xié)作或外部控制機制的需求，同時與標(biāo)準(zhǔn)LLM訓(xùn)練范式保持一致，便于集成到現(xiàn)有工作流程中。

作者還為DoT框架提供了嚴格的數(shù)學(xué)基礎(chǔ)，利用Topos Theory對推理過程進行了形式化描述。

在這個框架中，命題被建模為拓撲中終端對象的子對象，邏輯關(guān)系和推理步驟表示為態(tài)射，批評和改進過程分別對應(yīng)到子對象分類器的態(tài)射和命題間的態(tài)射。

通過引入PreNet范疇，他們還成功捕捉了推理過程的動態(tài)和并發(fā)特性。

這種數(shù)學(xué)基礎(chǔ)不僅確保了推理過程的邏輯一致性和完備性，還為設(shè)計下一代專門用于推理的AI模型提供了概念框架。

清華叉院姚期智、袁洋領(lǐng)銜

這篇論文由清華交叉信息研究院姚期智、袁洋領(lǐng)銜，論文第一作者為張伊凡。

張伊凡

張伊凡2021年本科畢業(yè)于于北京大學(xué)元培學(xué)院，現(xiàn)為清華大學(xué)交叉信息學(xué)院博士研究生，師從袁洋助理教授。

他的主要研究方向為基礎(chǔ)模型（大語言模型）的理論和算法、自監(jiān)督學(xué)習(xí)、可信人工智能。

袁洋

袁洋是清華大學(xué)交叉信息學(xué)院助理教授，博士生導(dǎo)師。

2012年畢業(yè)于北京大學(xué)計算機系；2018年獲美國康奈爾大學(xué)計算機博士學(xué)位；2018-2019年前往麻省理工學(xué)院大數(shù)據(jù)科學(xué)學(xué)院做博士后。

他的主要研究方向是智能醫(yī)療、AI可解釋性、AI大系統(tǒng)，在非凸優(yōu)化理論、神經(jīng)網(wǎng)絡(luò)優(yōu)化理論、機制設(shè)計等領(lǐng)域有頗多研究成果。

姚期智

姚期智是中國科學(xué)院院士、清華大學(xué)交叉信息研究院院長；同時也是“圖靈獎”創(chuàng)立以來首位獲獎的亞裔學(xué)者、迄今為止獲此殊榮的唯一華人計算機科學(xué)家。

姚期智教授2004年從普林斯頓辭去終身教職回到清華任教；2005年為清華本科生創(chuàng)立了計算機科學(xué)實驗班“姚班”；2011年創(chuàng)建“清華量子信息中心”與“交叉信息研究院”；2019年再為清華本科生創(chuàng)立了人工智能學(xué)堂班，簡稱“智班”。

如今，他領(lǐng)導(dǎo)的清華大學(xué)交叉信息研究院早已聲名遠播，姚班、智班都隸屬交叉信息院。

姚期智教授研究方向有算法、密碼學(xué)、量子計算等，是這方面的國際先驅(qū)和權(quán)威。

One More Thing

一年前的差不多同一時間姚期智院士領(lǐng)銜提出了累積推理（Cumulative Reasoning，CR）的方法。

DoT是對CR的進一步深化。

當(dāng)時CR協(xié)調(diào)了一個涉及不同專業(yè)化大語言模型的迭代過程，由不同模型承擔(dān)了提議者、驗證者和報告者角色。

而DoT直接在單一模型內(nèi)構(gòu)建有向無環(huán)圖，不依賴于外部控制機制或多個模型，訓(xùn)練和部署更簡單。

且在DoT中，模型生成的批評反饋是自然語言形式的，而不是像CR那樣只給出二值信號。這使得模型可以接收到關(guān)于錯誤的詳細解釋，有助于更有效地改進命題。

這次DoT還有了強有力的數(shù)學(xué)基礎(chǔ)，闡明了DoT推理過程與范疇邏輯的關(guān)系，從理論上確保了推理的一致性和可靠性。

論文鏈接：https://arxiv.org/abs/2409.10038

參考鏈接：
[1]https://x.com/omarsar0/status/1835882277563179512
[2]https://hub.baai.ac.cn/users/16897
[3]https://hub.baai.ac.cn/users/19790