通義實驗室新研究：大模型自己「扮演」搜索引擎，提升推理能力無需搜索API

魚羊 2025-05-17 12:23:54 來源：量子位

聞樂 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

強化學習（RL）+真實搜索引擎，可以有效提升大模型檢索-推理能力。

但問題來了：

一方面，搜索引擎返回的文檔質量難以預測，給訓練過程帶來了噪音和不穩(wěn)定性。

另一方面，RL訓練需要頻繁部署，會產生大量API開銷，嚴重限制可擴展性。

現在，來自阿里通義實驗室的解決方案公開了：開源ZeroSearch，提供了一種無需與真實搜索引擎交互的強化學習框架。

實驗表明，ZeroSearch僅需3B參數的LLM作為檢索模塊，即可有效提升搜索能力，節(jié)省了高昂API成本。

ZeroSearch讓LLM“自給自足”實現搜索進化

研究團隊用模擬搜索環(huán)境+漸進式抗噪訓練，讓LLM不再依賴昂貴搜索引擎API。

輕量微調：把LLM變成“搜索引擎模擬器”

用少量標注數據微調LLM，使其能按指令生成兩種文檔——有用結果和噪聲干擾。

通過收集與真實搜索引擎交互的數據，ZeroSearch對LLM進行輕量級監(jiān)督微調。

在這個過程中，模型學會生成與真實搜索引擎風格相似的文檔，同時能夠根據提示詞生成相關或噪聲文檔。

這種能力使得模型在訓練過程中能夠動態(tài)調整文檔質量，從而更好地模擬真實檢索場景。

課程化抗噪訓練：像打游戲升級一樣練模型

訓練初期返回高質文檔，后期逐漸混入噪聲（噪聲比例按指數曲線上升）。

ZeroSearch引入了課程式學習機制，逐步降低生成文檔的質量，使模型從簡單的檢索場景逐步過渡到更具挑戰(zhàn)性的任務。

這種策略不僅提升了模型的推理能力，還顯著增強了訓練的穩(wěn)定性和效果。

隨著訓練的進行，模型逐漸適應更復雜的檢索任務，最終能夠在高質量和低質量文檔中找到平衡。

強化學習閉環(huán)：自產自銷的搜索生態(tài)

ZeroSearch通過模擬搜索引擎，完全消除了與真實搜索引擎交互的API費用，使得大規(guī)模強化學習訓練變得更加經濟可行。

并且，ZeroSearch兼容多種強化學習算法，包括PPO（Proximal Policy Optimization）和GRPO（Group Relative Policy Optimization）。

這些算法為模型提供了不同的優(yōu)化策略，使得ZeroSearch能夠在不同的模型和任務中表現出色。

實驗表明，GRPO在訓練穩(wěn)定性方面表現更好，而PPO則在某些任務中提供了更高的靈活性。

實驗結果及結論

ZeroSearch的零API成本優(yōu)勢不僅體現在經濟上，還體現在訓練的靈活性和可擴展性上。

ZeroSearch vs. 現有方法

在圖中，我們可以清晰地看到ZeroSearch在多個問答數據集上的表現。

無論是單跳（Single-Hop）還是多跳（Multi-Hop）問答任務，ZeroSearch都顯著優(yōu)于現有的基線方法，包括直接提示、RAG和Search-R1等。

這表明ZeroSearch不僅在簡單任務中表現出色，還能在復雜的多跳問答任務中發(fā)揮強大的檢索能力。

上圖展示了ZeroSearch和Search-R1（使用真實搜索引擎）在LLaMA-3.2-3B模型上的獎勵曲線對比。

ZeroSearch的學習曲線更加平滑且最終性能優(yōu)于Search-R1，表明其在訓練過程中的穩(wěn)定性和優(yōu)越性。

不同模型規(guī)模的性能

可以看到使用7B參數的檢索模塊就能達到與谷歌搜索相當的性能，而14B參數的檢索模塊甚至能夠超越谷歌搜索。

這表明ZeroSearch不僅適用于小型模型，還能在大型模型中發(fā)揮更大的潛力，為LLM的檢索能力提升提供了廣闊的空間。

強化學習算法的兼容性

比較了在Qwen-2.5-3B和LLaMA-3.2-3B模型上，使用PPO和GRPO算法的ZeroSearch性能，可以看到ZeroSearch與PPO和GRPO兩種強化學習算法的兼容性。

實驗結果表明，GRPO在訓練穩(wěn)定性方面表現更好，而PPO則在某些任務中提供了更高的靈活性。

這表明ZeroSearch能夠適應不同的強化學習算法，為研究人員提供了更多的選擇。

通過模擬搜索引擎，ZeroSearch完全消除了API成本，同時通過課程式學習策略逐步提升模型的推理能力。

這一創(chuàng)新不僅解決了現有方法中的成本和穩(wěn)定性問題，還為未來的智能化檢索提供了新的思路。

論文鏈接：
https://arxiv.org/abs/2505.04588參考鏈接：https://x.com/_akhaliq/status/1920397374007984516

— 完 —