Agent太火！這篇綜述讓你不把知識學(xué)雜了丨華東師大&東華大學(xué)出品

華東師大&東華大學(xué) 投稿

量子位 | 公眾號 QbitAI

火，Agent可太火了！關(guān)于Agent的進(jìn)展俯拾皆是，根本看不過來……

看過來——這篇綜述可能能幫你厘清很多問題：

來自華東師大和東華大學(xué)的研究團(tuán)隊(duì)發(fā)表了“A Survey on the Optimization of Large Language Model-based Agents（大模型智能體的優(yōu)化方法綜述）”，首次從系統(tǒng)化視角對LLM智能體優(yōu)化策略進(jìn)行了全面梳理與分析。

論文將將現(xiàn)有方法劃分為兩大類：參數(shù)驅(qū)動的優(yōu)化與參數(shù)無關(guān)的優(yōu)化。

前者包括基于監(jiān)督微調(diào)、強(qiáng)化學(xué)習(xí)（如PPO、DPO）以及微調(diào)與RL結(jié)合的混合策略，重點(diǎn)討論了軌跡數(shù)據(jù)構(gòu)建、獎勵函數(shù)設(shè)計(jì)、優(yōu)化算法等關(guān)鍵模塊。

后者則涉及通過Prompt工程、外部工具調(diào)用、知識檢索等方式在不修改模型參數(shù)的前提下優(yōu)化Agent行為。

除此之外，作者們還整理了主流的Agent微調(diào)與評估數(shù)據(jù)集，回顧了LLM Agent在醫(yī)療、科學(xué)、金融、編程等多個應(yīng)用領(lǐng)域的代表性實(shí)踐。

最后，研究團(tuán)隊(duì)總結(jié)了Agent當(dāng)前面臨的關(guān)鍵挑戰(zhàn)與未來研究方向。

為什么我們需要專門優(yōu)化LLM智能體？

近年來，隨著GPT-4、PaLM和DeepSeek等大型語言模型不僅在語言理解和生成上表現(xiàn)出色，更在推理、規(guī)劃和復(fù)雜決策等方面展現(xiàn)出非凡的能力。

因此，越來越多的研究者開始嘗試將LLM作為智能體來使用，探索其在自動決策和通用人工智能方向的潛力。

與傳統(tǒng)的強(qiáng)化學(xué)習(xí)智能體不同，LLM智能體不依賴顯式的獎勵函數(shù)，而是通過自然語言指令、Prompt模板與上下文學(xué)習(xí)（ICL）完成復(fù)雜任務(wù)。

這種“文本驅(qū)動”的智能體范式展現(xiàn)出極高的靈活性與泛化能力，能夠跨任務(wù)理解人類意圖、執(zhí)行多步驟操作，并在動態(tài)環(huán)境中做出決策。

當(dāng)前，研究者已嘗試通過任務(wù)分解、自我反思、記憶增強(qiáng)以及多智能體協(xié)作等方式提升其表現(xiàn)，應(yīng)用場景涵蓋軟件開發(fā)、數(shù)學(xué)推理、具身智能、網(wǎng)頁導(dǎo)航等多個領(lǐng)域。

值得注意的是，LLM本身的訓(xùn)練目標(biāo)是預(yù)測下一個token，并非為長期規(guī)劃和交互學(xué)習(xí)的Agent任務(wù)而生。

這也導(dǎo)致了LLM作為Agent的部分挑戰(zhàn)：

1. 長程規(guī)劃與多步推理能力不足，容易在復(fù)雜任務(wù)中出現(xiàn)累積錯誤；
2. 缺乏持續(xù)性記憶機(jī)制，難以基于歷史經(jīng)驗(yàn)進(jìn)行反思與優(yōu)化；
3. 對新環(huán)境的適應(yīng)能力有限，難以動態(tài)應(yīng)對變化場景。

尤其是開源LLM在agent任務(wù)中的表現(xiàn)普遍落后于GPT-4等閉源模型，而閉源模型的高成本與不透明性，也使得優(yōu)化開源LLM以提升Agent能力成為當(dāng)前研究的關(guān)鍵需求。

當(dāng)前已有的綜述要么聚焦于大模型優(yōu)化本身，要么只討論agent的局部能力（如規(guī)劃、記憶或角色扮演），并未將“LLM智能體優(yōu)化”作為一個獨(dú)立且系統(tǒng)的研究方向進(jìn)行深入探討。

研究團(tuán)隊(duì)填補(bǔ)了這一空白，首次以“LLM-based Agent的優(yōu)化技術(shù)”為核心議題展開系統(tǒng)綜述，構(gòu)建統(tǒng)一框架，歸納方法路徑，并對比不同技術(shù)的優(yōu)劣與適用情境。

參數(shù)驅(qū)動的LLM智能體優(yōu)化

在參數(shù)驅(qū)動的LLM優(yōu)化中，作者將其分為3個方向。

基于常規(guī)微調(diào)的優(yōu)化

第一個方向，基于常規(guī)微調(diào)的優(yōu)化。

又分為2大步驟：構(gòu)建Agent任務(wù)的高質(zhì)量軌跡數(shù)據(jù)——用軌跡微調(diào)Agent。

首先是數(shù)據(jù)獲取與生成。

高質(zhì)量的軌跡數(shù)據(jù)構(gòu)建開始于初始數(shù)據(jù)的獲取和生成，這不僅需要一組多樣化的軌跡，還需要與目標(biāo)任務(wù)充分對齊，以確保有效的學(xué)習(xí)。

作者將主流方法歸納為以下四類：

• 專家標(biāo)注數(shù)據(jù)：由人類專家手工設(shè)計(jì)，質(zhì)量高、對齊強(qiáng)，是微調(diào)的黃金標(biāo)準(zhǔn)。但人力成本高、難以擴(kuò)展，常作為優(yōu)質(zhì)補(bǔ)充數(shù)據(jù)使用。
• 強(qiáng)LLM自動生成數(shù)據(jù)：利用GPT-4等大模型結(jié)合ReAct、CoT策略生成軌跡，效率高、適合大規(guī)模構(gòu)建。但數(shù)據(jù)依賴大模型，存在成本高、偏差傳播等問題。
• Agent自主探索數(shù)據(jù)：通過開源模型自主與環(huán)境交互生成軌跡，成本低、可擺脫閉源依賴。缺點(diǎn)是探索能力有限，需配合后續(xù)篩選機(jī)制去除低質(zhì)數(shù)據(jù)。
• 多智能體協(xié)作生成數(shù)據(jù)：通過多個Agent協(xié)同完成復(fù)雜任務(wù)流程，提升數(shù)據(jù)多樣性與交互復(fù)雜度。但系統(tǒng)設(shè)計(jì)更復(fù)雜，穩(wěn)定性和資源成本也是挑戰(zhàn)。

其次，數(shù)據(jù)的評估與過濾。

由于生成的軌跡數(shù)據(jù)質(zhì)量參差不齊，對數(shù)據(jù)進(jìn)行評估和篩選成為不可或缺的一步。

作者將主流方法歸納為三類：

• 基于環(huán)境的評估：這類方法依靠任務(wù)是否成功、環(huán)境獎勵等外部反饋來判斷軌跡質(zhì)量，易于實(shí)現(xiàn)，自動化程度高。但缺點(diǎn)是反饋信號過于粗粒度，只關(guān)注最終結(jié)果，無法發(fā)現(xiàn)推理鏈條中的隱性錯誤。
• 基于人工或規(guī)則的評估：通過預(yù)設(shè)規(guī)則（如任務(wù)完成度、答案一致性、多樣性等）或?qū)＜胰斯徍耍瑢?shù)據(jù)進(jìn)行更精細(xì)的質(zhì)量控制。適配性強(qiáng)、準(zhǔn)確性高，但也需要大量人工參與與復(fù)雜設(shè)計(jì)。
• 基于模型的評估：借助強(qiáng)大的LLM（如GPT-4）對軌跡進(jìn)行自動打分與分析，能從相關(guān)性、準(zhǔn)確性、完整性等維度進(jìn)行多層評估，構(gòu)建自動化質(zhì)量評估框架。缺點(diǎn)在于，評估本身依賴模型，可能引入新的偏差。

接著是低質(zhì)量樣本的利用。

除了高質(zhì)量的獲取，對不合格的低質(zhì)量軌跡也需要再次利用。

目前的主流策略包括：

• 對比式利用：通過對比正確與錯誤樣本，讓模型更清晰地識別哪些行為是有效的。
• 錯誤修正型方法：識別并修正失敗軌跡，將其轉(zhuǎn)化為可學(xué)習(xí)的數(shù)據(jù)，提升訓(xùn)練質(zhì)量。
• 直接利用錯誤樣本：不做修正，直接用失敗案例訓(xùn)練模型，提升其面對錯誤情境時的容錯性。

完成高質(zhì)量軌跡數(shù)據(jù)構(gòu)建后，下一步就是關(guān)鍵的微調(diào)階段。

通過微調(diào)，讓開源大模型真正適應(yīng)Agent任務(wù)，學(xué)會規(guī)劃、推理與交互，是優(yōu)化LLM智能體不可或缺的一步。

值得注意的是，僅用Agent任務(wù)軌跡微調(diào)可能會削弱LLM的通用能力。

因此，大多工作選擇混合通用指令數(shù)據(jù)與Agent軌跡共同訓(xùn)練，以在保留語言基礎(chǔ)能力的同時，提升Agent執(zhí)行能力。

作者將現(xiàn)有的微調(diào)方法劃分為三大類：

• 標(biāo)準(zhǔn)SFT：最常見的方法，通過高質(zhì)量指令-輸出對或軌跡數(shù)據(jù)，對模型進(jìn)行全參數(shù)優(yōu)化，最能對齊目標(biāo)任務(wù)。此外，模仿學(xué)習(xí)中的行為克隆本質(zhì)上也屬于這一類，強(qiáng)調(diào)從專家軌跡中學(xué)習(xí)決策策略。
• 參數(shù)高效微調(diào)（如LoRA/QLoRA）：只更新少量參數(shù)，其余權(quán)重保持不動，顯著降低顯存與算力開銷，在大模型Agent微調(diào)中尤為常見。相比全量微調(diào)，雖然訓(xùn)練開銷更小，但性能往往可媲美甚至超過
• 自定義微調(diào)策略：為特定任務(wù)設(shè)計(jì)的微調(diào)方法，例如將通用指令與軌跡數(shù)據(jù)混合訓(xùn)練，或引入額外約束項(xiàng)（如正則化）提升泛化與穩(wěn)定性。這類方法更具靈活性，適合復(fù)雜或稀缺任務(wù)場景。

基于強(qiáng)化學(xué)習(xí)的優(yōu)化

相比于傳統(tǒng)的微調(diào)方式，強(qiáng)化學(xué)習(xí)為Agent帶來了更具主動性的學(xué)習(xí)路徑。

它讓模型不再只是“模仿”，而是能在環(huán)境中探索行為、接受獎勵與懲罰，動態(tài)調(diào)整策略，真正實(shí)現(xiàn)從試錯中成長。

作者將當(dāng)前RL優(yōu)化方式分為：基于獎勵函數(shù)的優(yōu)化和基于偏好對齊的優(yōu)化。

先說基于獎勵函數(shù)的優(yōu)化。

在強(qiáng)化學(xué)習(xí)優(yōu)化中，獎勵函數(shù)就像智能體的指揮棒，引導(dǎo)模型不斷改進(jìn)策略。通過設(shè)定清晰的“做得好 vs 做錯了”標(biāo)準(zhǔn)，Agent可以從交互中學(xué)習(xí)得更精細(xì)、更穩(wěn)健。

作者將當(dāng)前方法按照三類獎勵來源劃分3類：

• 基于環(huán)境的獎勵：直接依據(jù)任務(wù)是否完成來打分，簡單直觀，自動化程度高。但往往只關(guān)注最終結(jié)果，忽略了中間步驟的質(zhì)量。
• 基于模型的獎勵：由LLM或輔助模型對軌跡進(jìn)行評估，適用于環(huán)境反饋稀疏的場景，能提供更細(xì)致的反饋。但效果取決于評估模型的質(zhì)量。
• 自定義獎勵函數(shù)：研究者根據(jù)任務(wù)需求自設(shè)多維度獎勵，不僅考核完成度，也關(guān)注策略穩(wěn)定性、協(xié)作效率等。靈活強(qiáng)大，但設(shè)計(jì)成本高、難以泛化。

再來看基于偏好對齊的優(yōu)化。

相比傳統(tǒng)RL基于獎勵函數(shù)的訓(xùn)練方式，偏好對齊提供了更直接、更輕量的優(yōu)化路徑。

它不再依賴繁瑣的獎勵建模，而是讓Agent學(xué)會“哪種行為更受人類歡迎”。

其代表方法是DPO，一種更簡單的離線強(qiáng)化學(xué)習(xí)方式，直接通過人類或?qū)＜业钠脤颖具M(jìn)行“正負(fù)對比”訓(xùn)練。

根據(jù)主要偏好數(shù)據(jù)來源，作者將其這類優(yōu)化方法分為兩類：

• 專家/人工偏好數(shù)：基于專家示范或人類標(biāo)注構(gòu)造正負(fù)樣本（優(yōu)質(zhì) vs 錯誤軌跡），質(zhì)量高但難以大規(guī)模擴(kuò)展，覆蓋面有限。
• 任務(wù)或環(huán)境反饋：從任務(wù)表現(xiàn)（成功率、分?jǐn)?shù)等）中自動構(gòu)建偏好對，適用于動態(tài)任務(wù)場景，但依賴反饋機(jī)制合理的設(shè)計(jì)。

綜合來看，偏好對齊方法訓(xùn)練高效、部署簡單，但強(qiáng)依賴偏好數(shù)據(jù)質(zhì)量與覆蓋范圍，適合結(jié)構(gòu)明確、反饋清晰的任務(wù)場景。

而獎勵函數(shù)類方法更適配復(fù)雜多變的環(huán)境，但成本更高。

混合參數(shù)微調(diào)方法

單一的優(yōu)化方法各有短板——常規(guī)微調(diào)穩(wěn)定高效但缺乏動態(tài)應(yīng)變能力，RL靈活強(qiáng)大卻計(jì)算開銷巨大。

于是，越來越多研究開始探索混合微調(diào)策略，結(jié)合兩者優(yōu)點(diǎn)，構(gòu)建更強(qiáng)大的LLM智能體。

這類工作主要為：

第一，順序式兩階段訓(xùn)練。

這也是是當(dāng)前的主流方法，采取“先SFT、后RL”的思路。

• 階段一：行為克隆微調(diào)（SFT），用專家軌跡或策展數(shù)據(jù)預(yù)訓(xùn)練模型，奠定基礎(chǔ)能力；
• 階段二：強(qiáng)化學(xué)習(xí)優(yōu)化（PPO / DPO），針對環(huán)境或偏好精調(diào)模型策略。

第二，交替優(yōu)化。

即引入迭代交替機(jī)制，在SFT和RL之間多輪來回切換，以實(shí)現(xiàn)細(xì)粒度提升。

參數(shù)無關(guān)的LLM智能體優(yōu)化

相比參數(shù)微調(diào)，參數(shù)無關(guān)的優(yōu)化方法不涉及模型權(quán)重更新，而是通過調(diào)整Prompt、上下文和外部信息結(jié)構(gòu)，在資源受限或輕量部署場景中展現(xiàn)出強(qiáng)大潛力。

作者將其分為五類核心策略：

第一類，基于經(jīng)驗(yàn)的優(yōu)化。

通過記憶模塊或歷史軌跡，讓Agent“學(xué)會復(fù)盤”，從過去成功與失敗中提煉策略，增強(qiáng)長期適應(yīng)性。

第二類，基于反饋的優(yōu)化。

Agent通過自我反思或外部評估不斷修正行為，形成迭代閉環(huán)；還有方法通過元提示優(yōu)化調(diào)整全局指令結(jié)構(gòu)，提升泛化能力。

第三類，基于工具的優(yōu)化。

讓Agent學(xué)會使用工具（如搜索、計(jì)算器、API）以增強(qiáng)執(zhí)行力。部分方法優(yōu)化工具調(diào)用策略，部分則訓(xùn)練Agent構(gòu)建更高效的任務(wù)-工具路徑。

第四類，基于RAG的優(yōu)化。

結(jié)合檢索與生成，通過從數(shù)據(jù)庫/知識庫中實(shí)時獲取信息增強(qiáng)推理過程，尤其適合知識密集型任務(wù)和變化快速的場景。

第五類，多Agent協(xié)作優(yōu)化。

多個LLM Agent協(xié)同完成任務(wù)，通過角色分工、信息共享與反饋機(jī)制實(shí)現(xiàn)1+1>2的協(xié)同智能。

參數(shù)無關(guān)優(yōu)化，讓LLM Agent在不動模型的前提下，變得更“聰明”、更“適應(yīng)”、也更“輕巧”。

數(shù)據(jù)集與基準(zhǔn)

作者將數(shù)據(jù)和基準(zhǔn)分為用于評估和微調(diào)的兩個大類。

評估任務(wù)分為兩類。

第一類，通用評估任務(wù)。

即按一般任務(wù)領(lǐng)域分類，如數(shù)學(xué)推理，問題推理（QA）任務(wù)，多模態(tài)任務(wù)，編程等。

第二類，多任務(wù)評估基準(zhǔn)。

跨各種任務(wù)評估基于LLM的智能體，測試它們概括和適應(yīng)不同領(lǐng)域的能力。

Agent微調(diào)數(shù)據(jù)集，則是針對Agent微調(diào)而精心設(shè)計(jì)的數(shù)據(jù)，以提高LLM Agent在不同任務(wù)和環(huán)境中的能力。

應(yīng)用

隨著優(yōu)化方法的不斷成熟，基于LLM的智能體已在多個真實(shí)場景中嶄露頭角，逐漸從實(shí)驗(yàn)室走向?qū)嶋H應(yīng)用：

挑戰(zhàn)與未來方向

數(shù)據(jù)偏差問題。

Agent高度依賴數(shù)據(jù)質(zhì)量，然而預(yù)訓(xùn)練數(shù)據(jù)與微調(diào)軌跡分布不匹配，再加上LLM自身生成與評估帶來的潛在偏差，易導(dǎo)致性能不穩(wěn)定。

未來可探索偏差測試、對抗訓(xùn)練、知識邊界評估等方法，構(gòu)建更穩(wěn)健的數(shù)據(jù)基礎(chǔ)。

算法效率與適應(yīng)性。

當(dāng)前強(qiáng)化學(xué)習(xí)與微調(diào)方法在面對稀疏獎勵、大動作空間、多步交互時存在成本高、效果差的問題。

如何提升DPO等輕量方法的多輪能力，或探索RL+SFT的混合訓(xùn)練、元學(xué)習(xí)、自監(jiān)督方法，將是未來重點(diǎn)。

跨任務(wù)跨領(lǐng)域遷移難。

許多方法在單一任務(wù)上表現(xiàn)優(yōu)秀，但在新環(huán)境或真實(shí)世界中易失效。

需要發(fā)展更強(qiáng)的泛化機(jī)制，如任務(wù)分布對齊、域適應(yīng)、多任務(wù)聯(lián)合訓(xùn)練等，提升模型遷移與適應(yīng)能力。

缺乏統(tǒng)一評估標(biāo)準(zhǔn)。

Agent在不同任務(wù)（如數(shù)學(xué)推理、網(wǎng)頁導(dǎo)航、具身AI）中使用不同指標(biāo)，難以橫向比較。

建立統(tǒng)一的評估基準(zhǔn)，引入推理復(fù)雜度、適應(yīng)性與偏好評分等新維度，將推動Agent研究向更系統(tǒng)、可比的方向發(fā)展。

參數(shù)驅(qū)動的多智能體優(yōu)化缺失。

目前多智能體策略多依賴凍結(jié)LLM，缺乏聯(lián)合參數(shù)訓(xùn)練機(jī)制，限制了協(xié)同智能的發(fā)展。

未來應(yīng)探索多智能體聯(lián)合微調(diào)、獎勵共享機(jī)制、層級控制策略，提升整體系統(tǒng)能力與協(xié)作水平。

arXiv鏈接：
https://arxiv.org/abs/2503.12434

GitHub鏈接：
https://github.com/YoungDubbyDu/LLM-Agent-Optimization