RAG性能暴增20%！清華等推出以筆記為中心的深度檢索增強(qiáng)生成框架

夢(mèng)晨 2025-04-29 13:39:40 來(lái)源：量子位

DeepNote團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

在當(dāng)前大語(yǔ)言模型（LLMs）廣泛應(yīng)用于問(wèn)答、對(duì)話等任務(wù)的背景下，如何更有效地結(jié)合外部知識(shí)、提升模型對(duì)復(fù)雜問(wèn)題的理解與解答能力，成為 RAG（Retrieval-Augmented Generation）方向的核心挑戰(zhàn)。

來(lái)自清華大學(xué)、中國(guó)科學(xué)院大學(xué)、華南理工大學(xué)、東北大學(xué)、九星（AI9Stars）的聯(lián)合研究團(tuán)隊(duì)提出了一項(xiàng)全新的適應(yīng)式RAG方法——DeepNote。

它首次引入“筆記（Note）”作為知識(shí)載體，實(shí)現(xiàn)更深入、更穩(wěn)定的知識(shí)探索與整合，在所有任務(wù)上均優(yōu)于主流RAG方法，相較于基礎(chǔ)RAG性能提升高達(dá)+20.1%。即使在使用中小參數(shù)量模型時(shí)，依然展現(xiàn)出強(qiáng)大的能力與泛化性。

研究動(dòng)機(jī)：RAG 為何仍力不從心？

RAG技術(shù)通過(guò)引入外部知識(shí)（如 Wikipedia）來(lái)緩解大模型的幻覺與事實(shí)錯(cuò)誤問(wèn)題。然而，Vanilla RAG方法只支持一次性檢索。

想象一個(gè)問(wèn)題需要跨越多個(gè)實(shí)體或事實(shí)推理，顯然“一問(wèn)一檢索一答”的 Vanilla RAG 已遠(yuǎn)遠(yuǎn)不夠。這種知識(shí)不足現(xiàn)象特別是在具有復(fù)雜的知識(shí)需求的multi-hop QA、long-form QA 等任務(wù)中尤為嚴(yán)重。

為了應(yīng)對(duì)這些復(fù)雜問(wèn)答場(chǎng)景，一些研究提出多輪檢索RAG。然而，多輪檢索RAG往往不假思索地執(zhí)行多次檢索，易引入大量無(wú)關(guān)或噪聲段落，導(dǎo)致檢索結(jié)果冗雜，從而降低最終回答的質(zhì)量。

為了進(jìn)一步構(gòu)建有效且靈活的RAG系統(tǒng)，一些近期的工作提出自適應(yīng)RAG，它引入動(dòng)態(tài)決策機(jī)制，允許模型根據(jù)反饋判斷是否繼續(xù)檢索。但自適應(yīng)RAG方法仍存在以下兩個(gè)核心問(wèn)題：

• 檢索-生成耦合過(guò)緊：
• 每次檢索后立即生成答案，導(dǎo)致模型只能依據(jù)“當(dāng)前輪”的知識(shí)作答，無(wú)法真正整合前后信息；
• 檢索策略決策不足：
• 大模型自行判斷“是否繼續(xù)檢索”容易偏離真正的知識(shí)需求，漏掉關(guān)鍵信息。

這些問(wèn)題最終都導(dǎo)致一個(gè)核心困境：缺乏“信息生長(zhǎng)”的能力——模型既無(wú)法感知自己是否“學(xué)到了新東西”，也無(wú)法真正“記住”與“利用”之前獲取的信息。

解決方案：DeepNote

為解決上述難題，團(tuán)隊(duì)提出了DeepNote，一種以“筆記”為中心、以“知識(shí)生長(zhǎng)”為目標(biāo)的深度檢索增強(qiáng)生成框架。其關(guān)鍵特性是：用“記下的知識(shí)”引導(dǎo)檢索，用“最優(yōu)筆記”生成答案。

DeepNote主要包含三個(gè)階段：

筆記初始化（Note Initialization）

系統(tǒng)基于初始問(wèn)題和初次檢索內(nèi)容構(gòu)建出一份筆記，用于啟動(dòng)整個(gè)知識(shí)積累過(guò)程。該筆記是 LLM 自主整理的結(jié)構(gòu)化知識(shí)表示，作為后續(xù)所有檢索與判斷的依據(jù)。

基于筆記的適應(yīng)式檢索（Note-Centric Adaptive Retrieval）

系統(tǒng)使用當(dāng)前“最佳筆記”生成下一輪檢索查詢，并評(píng)估新獲取內(nèi)容是否帶來(lái)了真正的知識(shí)增益。只有當(dāng)模型判斷新知識(shí)“有價(jià)值”時(shí)，才會(huì)更新筆記并繼續(xù)下一輪；否則終止檢索。這一機(jī)制確保每一輪檢索都有明確目標(biāo)、每一份信息都在“生長(zhǎng)”。

基于最佳筆記的答案生成（Note-Informed Answer Generation）

最終，系統(tǒng)使用已積累的“最佳筆記”生成回答，確保答案來(lái)源清晰、內(nèi)容完整、邏輯連貫。
這一設(shè)計(jì)模擬了人類解決復(fù)雜問(wèn)題時(shí)的策略：邊查邊記、反復(fù)比對(duì)、直至知識(shí)充分。

DeepNote與主流方法對(duì)比

為了更直觀地展現(xiàn)DeepNote的特點(diǎn)，團(tuán)隊(duì)整理了與現(xiàn)有代表性方法的能力對(duì)比表：

• 多次檢索：是否支持多次檢索。
• 自適應(yīng)檢索：是否能根據(jù)當(dāng)前信息動(dòng)態(tài)地決定是否需要執(zhí)行進(jìn)一步的檢索動(dòng)作以及檢索什么。
• 模型訓(xùn)練：是否對(duì)不同階段進(jìn)行了針對(duì)性訓(xùn)練或偏好優(yōu)化。
• 一次性知識(shí)總結(jié)：是否在檢索后執(zhí)行一次性檢索知識(shí)總結(jié)。
• 迭代知識(shí)總結(jié)：是否支持在多輪檢索中多次更新、積累、總結(jié)知識(shí)。

可以看到，DeepNote是目前唯一在自適應(yīng)檢索控制、自適應(yīng)知識(shí)積累與更新、模型優(yōu)化三大核心維度上同時(shí)實(shí)現(xiàn)系統(tǒng)性突破的方法。這一框架不僅填補(bǔ)了自適應(yīng)檢索與知識(shí)積累之間的空白，更在具有復(fù)雜知識(shí)需求的任務(wù)中展現(xiàn)出前所未有的探索深度和廣度，標(biāo)志著自適應(yīng)RAG技術(shù)邁入了一個(gè)新的階段

實(shí)驗(yàn)結(jié)果：顯著超越現(xiàn)有方法

在五個(gè)具有代表性的QA數(shù)據(jù)集上進(jìn)行實(shí)證評(píng)估，涵蓋：

• 多跳問(wèn)答（復(fù)雜）：HotpotQA, 2WikiMQA, MusiQue
• 長(zhǎng)形式問(wèn)答 （復(fù)雜）：ASQA
• 短形式問(wèn)答 （簡(jiǎn)單）：StrategyQA

結(jié)果顯示，DeepNote在所有任務(wù)上均優(yōu)于主流RAG方法，相較于基礎(chǔ) RAG，性能提升高達(dá)+20.1%。即使在使用中小參數(shù)量模型時(shí)，依然展現(xiàn)出強(qiáng)大的能力與泛化性。

同時(shí)團(tuán)隊(duì)還構(gòu)建了一個(gè)高質(zhì)量訓(xùn)練數(shù)據(jù)集DNAlign，并結(jié)合DPO（Direct Preference Optimization）對(duì)模型進(jìn)行精細(xì)優(yōu)化，進(jìn)一步提升了DeepNote在多任務(wù)流程下的指令遵循能力與表現(xiàn)。

核心結(jié)論與意義

DeepNote核心優(yōu)勢(shì)分析如下

真正實(shí)現(xiàn)“信息生長(zhǎng)”：

每輪檢索不是獨(dú)立的“抽樣”，而是建立在已有知識(shí)基礎(chǔ)上的持續(xù)拓展；

信息密度顯著提升：

相比傳統(tǒng)RAG，DeepNote的參考內(nèi)容更緊湊、相關(guān)性更高；

Reference”指最終用于生成回答的檢索內(nèi)容或筆記；其中，與回答問(wèn)題直接相關(guān)的片段被標(biāo)注為“Evidence”；而“Knowledge Density”則衡量Evidence在Reference中所占比例，用以評(píng)估知識(shí)的精煉程度。

在知識(shí)密度與性能分析中，團(tuán)隊(duì)系統(tǒng)考察了不同RAG方法對(duì)知識(shí)密度和質(zhì)量的影響。實(shí)驗(yàn)結(jié)果表明，Vanilla RAG檢索文檔篇幅冗長(zhǎng)但其知識(shí)密度較低，存在大量噪聲信息；而初始筆記雖然能夠通過(guò)單次總結(jié)有效提升知識(shí)密度，但其性能提升主要來(lái)自于檢索內(nèi)容總體長(zhǎng)度的縮減，且由于知識(shí)總量下降，可能會(huì)出現(xiàn)性能下降現(xiàn)象。相比之下，DeepNote在保持高知識(shí)密度的同時(shí)，顯著提升了整體性能，表明基于筆記的自適應(yīng)檢索機(jī)制能夠在降低噪聲干擾的同時(shí)，持續(xù)積累更加豐富、精煉且高相關(guān)度的知識(shí)，為最終生成提供了更堅(jiān)實(shí)的信息支撐。

支持自適應(yīng)停止與深度控制：

用戶可設(shè)定失敗閾值和最大步數(shù)，自由權(quán)衡探索深度與成本；

高通用性：

可搭配多種開源或閉源模型及檢索器，適用于多種實(shí)際任務(wù)場(chǎng)景。

DeepNote將“記憶式推理”機(jī)制引入RAG系統(tǒng)，打破了傳統(tǒng)RAG“檢索-生成”一步到位的瓶頸，使模型在復(fù)雜任務(wù)中具備了更接近人類的信息整合與推理能力。

該方法不僅適用于學(xué)術(shù)研究中對(duì)復(fù)雜信息的深入問(wèn)答，還可用于法律、醫(yī)學(xué)、教育等對(duì)準(zhǔn)確性與知識(shí)整合要求極高的真實(shí)場(chǎng)景，具備廣泛的落地潛力。

本項(xiàng)目由清華大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室（THUNLP）、中國(guó)科學(xué)院大學(xué)信息工程研究所、華南理工大學(xué)、東北大學(xué)等單位共同完成，歡迎感興趣的研究者和開發(fā)者前來(lái)交流！

論文地址：https://arxiv.org/abs/2410.08821
開源項(xiàng)目： https://github.com/thunlp/DeepNote