20K合成數(shù)據(jù)就能讓大模型能力飆升！還能實現(xiàn)模型自我迭代，上海AI Lab數(shù)據(jù)合成新范式

白交 2025-01-23 14:46:16 來源：量子位

Maosong 投稿

量子位 | 公眾號 QbitAI

僅使用20K合成數(shù)據(jù)，就能讓Qwen模型能力飆升——

模型主觀對話能力顯著提升，還能實現(xiàn)模型自我迭代。

合成數(shù)據(jù)大法好！

最近，來自上海AI Lab的研究團隊針對合成數(shù)據(jù)技術(shù)展開研究，提出了SFT數(shù)據(jù)合成引擎Condor，通過世界知識樹（World Knowledge Tree）和自我反思（Self-Reflection）機制，探索合成海量高質(zhì)量SFT數(shù)據(jù)的方案。

結(jié)果，他們還意外發(fā)現(xiàn)，在增大合成數(shù)據(jù)量的情況下，模型性能持續(xù)提升。

從5K數(shù)據(jù)量開始，模型主觀對話性能隨著數(shù)據(jù)量增加而提升，但數(shù)據(jù)量達(dá)到20K后，性能增長變緩——

LLM數(shù)據(jù)合成新范式：基于世界知識樹打造高質(zhì)量對話數(shù)據(jù)

隨著大模型能力的快速發(fā)展，模型訓(xùn)練對高質(zhì)量SFT數(shù)據(jù)的需求日益迫切。數(shù)據(jù)合成技術(shù)作為一種新穎高效的數(shù)據(jù)生成策略，逐漸成為研究熱點，并在模型迭代過程中扮演著關(guān)鍵角色。

上海AI Lab研究團隊的Condor數(shù)據(jù)合成主要包含兩個階段：Condor Void和Condor Refine。

整個過程中，研究團隊僅使用一個LLM作為運行模型，同時承擔(dān)問題合成、回復(fù)合成、回復(fù)評價和回復(fù)改進的多重角色。

使用世界知識樹進行多樣化指令合成。

具體來說，Condor首先利用模型生成一系列世界知識樹，給定模型一些關(guān)鍵詞，讓其自身遞歸生成更多的子關(guān)鍵詞，從而形成完整的知識樹。每個節(jié)點作為一個Tag，用于后續(xù)數(shù)據(jù)生成。

例如，給定“人工智能”這個關(guān)鍵詞，生成一條由粗到細(xì)的知識鏈路：

人工智能——深度學(xué)習(xí)——計算機視覺——自動駕駛——單目目標(biāo)檢測

Condor以這條知識鏈路作為背景知識，要求模型生成相關(guān)問題。為進一步提升合成指令的多樣性，研究團隊引入了任務(wù)多樣性和問題難度多樣性的增廣要求。

針對不同類型的主觀任務(wù)（如日常聊天、角色扮演、創(chuàng)意創(chuàng)作等），研究人員精心設(shè)計了不同的問題模板來引導(dǎo)模型生成對應(yīng)任務(wù)下的問題。在生成問題時，Condor要求模型在一次生成中同時生成三種不同難度的問題。

自我反思提升回復(fù)質(zhì)量

對于每一條知識鏈路，基于Condor可以收集到不同任務(wù)類型、不同難度的多個問題。研究人員將這些問題輸入模型，生成初始回復(fù)，得到初版的SFT合成數(shù)據(jù)。

Condor Refine Pipeline引入自我反思策略，使用模型對初版回復(fù)進行評價并生成修改意見，引導(dǎo)模型進一步改進回復(fù)，從而獲得最終的高質(zhì)量SFT數(shù)據(jù)。

使用合成數(shù)據(jù)提高模型通用對話能力

研究人員使用開源模型Qwen2.5-72B-Instruct進行數(shù)據(jù)合成，得到Condor Void和Condor Refine兩個版本的合成數(shù)據(jù)，并基于Qwen2.5-7B進行SFT訓(xùn)練，測試其主觀對話能力和客觀綜合能力。

從實驗結(jié)果可以看出，使用Condor合成數(shù)據(jù)訓(xùn)練的模型在主觀對話能力上與Qwen2.5-7B-Instruct具有競爭力。

同時，基于Condor合成數(shù)據(jù)訓(xùn)練的模型在主流客觀評測基準(zhǔn)上保持了性能。Condor相比其他基線方法具有顯著的性能優(yōu)勢。

數(shù)據(jù)規(guī)模影響與模型自我迭代

研究團隊進一步探索在增大合成數(shù)據(jù)量的情況下，模型性能能否持續(xù)提升。

從5K數(shù)據(jù)量開始，逐步增加到200K，觀察不同數(shù)據(jù)量下訓(xùn)練出的模型性能。

結(jié)果顯示，模型主觀對話性能隨著數(shù)據(jù)量增加而提升，但數(shù)據(jù)量達(dá)到20K后，性能增長變緩。

利用合成數(shù)據(jù)能否實現(xiàn)模型的自我迭代呢？

研究團隊利用Qwen2.5-7B-Instruct和Qwen2.5-72B-Instruct模型經(jīng)過Condor Pipeline生成兩版數(shù)據(jù)，并分別訓(xùn)練7B和72B的Base模型，觀察自我迭代效果。

從結(jié)果可以看出，經(jīng)過Condor合成數(shù)據(jù)訓(xùn)練，模型在7B和72B上均實現(xiàn)了自我迭代，相比基線性能進一步提升。

合成數(shù)據(jù)為什么有效？

Condor的合成數(shù)據(jù)如何對模型產(chǎn)生增益作用？研究團隊進行了一系列分析。研究人員將主觀評測集按各個能力維度拆解，統(tǒng)計在各個維度上的增益，發(fā)現(xiàn)在所有維度上都產(chǎn)生了增益，在Creation、QA和Chat上的增益尤為明顯。

進一步的，研究人員對Condor Pipeline合成的問題指令進行分析。使用T-SNE投影與Magpie方法合成的問題進行對比，發(fā)現(xiàn)Condor合成的數(shù)據(jù)和Magpie均能實現(xiàn)廣泛的知識覆蓋。

再來看看模型在對話回復(fù)中的表現(xiàn)，通過和原始模型進行對比我們可以發(fā)現(xiàn)，Condor合成的數(shù)據(jù)訓(xùn)練后的模型即使和官方模型相比，在回復(fù)風(fēng)格（如幽默，創(chuàng)意）的主觀感受上也要更勝一籌，能更加擬人化并考慮到回答細(xì)節(jié)的改善。

合成數(shù)據(jù)是大模型迭代的重要方案，仍有許多值得探索的研究問題，如高質(zhì)量推理數(shù)據(jù)和多輪對話數(shù)據(jù)的有效合成策略、真實數(shù)據(jù)和合成數(shù)據(jù)的協(xié)作配比機制、以及如何突破合成數(shù)據(jù)的Scaling Law等。目前，Condor的合成數(shù)據(jù)和訓(xùn)練后的模型均已開源，歡迎社區(qū)用戶體驗和探索。

Github: https://github.com/InternLM/Condor
數(shù)據(jù)集：https://hf.co/datasets/internlm/Condor-SFT-20K
論文：https://arxiv.org/abs/2501.12273