UltraClean：高能力密度預(yù)訓(xùn)練數(shù)據(jù)篩選

當(dāng)前預(yù)訓(xùn)練數(shù)據(jù)的篩選方法可被分為兩類：

一類是基于規(guī)則的篩選，通過人為制定的規(guī)則來挑選出高質(zhì)量的預(yù)訓(xùn)練數(shù)據(jù)，該方法覆蓋面有限，僅能夠過濾少量的低質(zhì)量樣本。一類是基于模型分類器的篩選，通過訓(xùn)練一個(gè)數(shù)據(jù)質(zhì)量分類器來對(duì)數(shù)據(jù)進(jìn)行篩選。

利用基于模型的分類器來過濾數(shù)據(jù)這類方法，面臨兩個(gè)主要挑戰(zhàn)：

1）缺乏高效的數(shù)據(jù)驗(yàn)證策略，難以及時(shí)反饋數(shù)據(jù)質(zhì)量；

2）用于訓(xùn)練分類器的種子數(shù)據(jù)選擇缺乏明確標(biāo)準(zhǔn)，嚴(yán)重依賴人工經(jīng)驗(yàn)，引入主觀偏差。

為解決這些問題，MiniCPM4中提出了一種高知識(shí)密度數(shù)據(jù)的篩選方法。該方法中依賴高效的數(shù)據(jù)驗(yàn)證策略，旨在以最小的計(jì)算成本快速評(píng)估數(shù)據(jù)對(duì)大模型訓(xùn)練的實(shí)際影響。

基于此，團(tuán)隊(duì)基于高質(zhì)量種子數(shù)據(jù)應(yīng)有助于提升大模型性能的假設(shè)，優(yōu)化了種子數(shù)據(jù)中正負(fù)樣本的選擇過程，并構(gòu)建了高效的數(shù)據(jù)過濾流程。

工作流程：

整體工作流程如上圖所示。團(tuán)隊(duì)首先應(yīng)用高效驗(yàn)證策略評(píng)估初始候選種子樣本池，選擇能顯著改善訓(xùn)練性能的高質(zhì)量數(shù)據(jù)作為分類器訓(xùn)練的正樣本種子。

同時(shí)，從原始數(shù)據(jù)池中隨機(jī)抽取負(fù)樣本，構(gòu)建平衡的訓(xùn)練集，訓(xùn)練數(shù)據(jù)質(zhì)量分類器。

為了更高效地評(píng)估分類器的實(shí)際效果，還對(duì)其過濾結(jié)果應(yīng)用高效驗(yàn)證策略。

基于驗(yàn)證反饋，迭代更新高質(zhì)量種子池，動(dòng)態(tài)調(diào)整正負(fù)樣本比例，并微調(diào)分類器的訓(xùn)練超參數(shù)，從而持續(xù)優(yōu)化數(shù)據(jù)過濾策略。只有在高效驗(yàn)證下表現(xiàn)穩(wěn)定可靠的分類器才會(huì)用于大規(guī)模數(shù)據(jù)過濾和后續(xù)模型訓(xùn)練。

高效驗(yàn)證策略：

在有限的詞元訓(xùn)練預(yù)算下，大模型訓(xùn)練中數(shù)據(jù)帶來的性能差異往往比較微小，而訓(xùn)練過程固有的不穩(wěn)定性也進(jìn)一步削弱了驗(yàn)證結(jié)果的可靠性。

有效的預(yù)訓(xùn)練數(shù)據(jù)驗(yàn)證通常需要至少100B詞元。在1B參數(shù)的大語(yǔ)言模型上訓(xùn)練100B詞元需要約1200個(gè)GPU小時(shí)，相當(dāng)于64個(gè)GPU連續(xù)運(yùn)行近19小時(shí)。

如此高的計(jì)算成本使得在高質(zhì)量數(shù)據(jù)分類器的迭代開發(fā)過程中進(jìn)行高效驗(yàn)證變得不切實(shí)際。

為解決這一問題，團(tuán)隊(duì)提出了一種高效驗(yàn)證策略。

具體而言，他們訓(xùn)練一個(gè)10億參數(shù)的大模型，總計(jì)覆蓋1.1萬億詞元。這包括1T詞元的穩(wěn)定訓(xùn)練階段和額外100B詞元的退火訓(xùn)練階段。

在此基礎(chǔ)上，團(tuán)隊(duì)引入兩階段退火訓(xùn)練過程，首先使用原始數(shù)據(jù)進(jìn)行 90B 詞元的退火訓(xùn)練，并進(jìn)一步在10B詞元上進(jìn)行二階段退火訓(xùn)練。

二階段退火訓(xùn)練中30%的數(shù)據(jù)是待驗(yàn)證的新數(shù)據(jù)，剩余70%使用原始的數(shù)據(jù)。與1200個(gè)GPU小時(shí)的完整訓(xùn)練成本相比，該策略將訓(xùn)練時(shí)間縮短至約110小時(shí)（即在32個(gè)GPU上少于3.5小時(shí)），顯著降低了計(jì)算需求，大幅提升了數(shù)據(jù)過濾流程的效率和可迭代性。

最終，利用該數(shù)據(jù)篩選策略，基于FineWeb數(shù)據(jù)，篩選得到大規(guī)模高質(zhì)量數(shù)據(jù)UltraFineWeb，包含有1T+高質(zhì)量的中英文預(yù)訓(xùn)練語(yǔ)料。其中預(yù)訓(xùn)練結(jié)果對(duì)比如下圖所示。

基于UltraFineWeb訓(xùn)練得到的模型，能夠取得顯著的下游任務(wù)性能提升。

UltraChat-v2：高能力密度有監(jiān)督微調(diào)數(shù)據(jù)合成

為了全面提升大語(yǔ)言模型的核心能力，團(tuán)隊(duì)構(gòu)建了一個(gè)針對(duì)任務(wù)能力的數(shù)據(jù)合成框架。

該框架以核心能力維度為導(dǎo)向，系統(tǒng)性地生成涵蓋多元技能的高質(zhì)量問答數(shù)據(jù)，為后訓(xùn)練階段提供更加精準(zhǔn)和結(jié)構(gòu)化的學(xué)習(xí)信號(hào)。

團(tuán)隊(duì)圍繞五個(gè)關(guān)鍵技能領(lǐng)域精心設(shè)計(jì)了合成數(shù)據(jù)生成流程：知識(shí)應(yīng)用、邏輯推理、指令遵循、長(zhǎng)上下文處理和工具使用。

每類數(shù)據(jù)都深度適配其目標(biāo)技能的輸入輸出特征和認(rèn)知要求，生成多樣化、任務(wù)驅(qū)動(dòng)且具備良好遷移性的訓(xùn)練樣本。

學(xué)習(xí)高效：多維度訓(xùn)練策略優(yōu)化

大模型的規(guī)模法則表明，模型性能隨著訓(xùn)練量的增加而提升。降低模型訓(xùn)練開銷，是持續(xù)推動(dòng)模型不斷Scaling的關(guān)鍵。

在MiniCPM4中，團(tuán)隊(duì)從預(yù)訓(xùn)練訓(xùn)練前開展超參實(shí)驗(yàn)、預(yù)訓(xùn)練中實(shí)現(xiàn)工程集成與優(yōu)化、后訓(xùn)練強(qiáng)化進(jìn)行框架效率優(yōu)化、后訓(xùn)練極致量化進(jìn)行存儲(chǔ)優(yōu)化四個(gè)方面，實(shí)現(xiàn)了大模型的訓(xùn)練高效。

ModelTunnel v2：更高效的預(yù)訓(xùn)練策略搜索

訓(xùn)練大語(yǔ)言模型需要巨大的計(jì)算成本，因此在最小化計(jì)算資源消耗的同時(shí)最大化模型性能成為一個(gè)關(guān)鍵挑戰(zhàn)。

在MiniCPM1模型訓(xùn)練中，團(tuán)隊(duì)基于Predictable Scaling技術(shù)構(gòu)建了第一版模型風(fēng)洞ModelTunnel。這使其能夠在小模型上搜索訓(xùn)練策略并將其遷移到大模型訓(xùn)練中，從而降低為大模型確定最優(yōu)訓(xùn)練配置的實(shí)驗(yàn)成本。

在MiniCPM4的訓(xùn)練過程中，團(tuán)隊(duì)復(fù)用了ModelTunnel中的相關(guān)配置，并開發(fā)了ModelTunnel v2，該版本在搜索精度與效率方面有所改進(jìn)，并對(duì)搜索結(jié)果的有效性提供了系統(tǒng)性驗(yàn)證。

（1）更可靠的觀測(cè)指標(biāo)：

在MiniCPM-1中，團(tuán)隊(duì)使用模型在開源預(yù)訓(xùn)練語(yǔ)料庫(kù)上的語(yǔ)言模型損失作為性能指標(biāo)。

然而，預(yù)訓(xùn)練數(shù)據(jù)集上的損失無法準(zhǔn)確反映模型在下游任務(wù)上的實(shí)際性能。由于涌現(xiàn)現(xiàn)象的存在，風(fēng)洞中訓(xùn)練的小模型參數(shù)量與數(shù)據(jù)量均有限，無法在下游任務(wù)上展現(xiàn)出非隨機(jī)的性能表現(xiàn)。

因此，團(tuán)隊(duì)構(gòu)建了ScalingBench評(píng)測(cè)集，建立了下游任務(wù)驗(yàn)證集上推理步驟與答案的條件損失，與下游任務(wù)性能之間的函數(shù)關(guān)系。因此該指標(biāo)能夠更準(zhǔn)確地預(yù)測(cè)模型的實(shí)際表現(xiàn)。

（2）搜索效果驗(yàn)證：

利用可預(yù)測(cè)縮放進(jìn)行超參數(shù)搜索是降低實(shí)驗(yàn)成本同時(shí)最大化模型性能的關(guān)鍵途徑，該方向近年來受到學(xué)術(shù)界與業(yè)界的廣泛關(guān)注。

相關(guān)研究主要分為基于架構(gòu)的超參數(shù)遷移和數(shù)據(jù)驅(qū)動(dòng)的超參數(shù)遷移兩類。

在MiniCPM系列模型中，團(tuán)隊(duì)采用μP架構(gòu)，該方法允許超參數(shù)在不同模型規(guī)模間遷移。

在MiniCPM4 中，團(tuán)隊(duì)比較了μP架構(gòu)與數(shù)據(jù)驅(qū)動(dòng)的超參數(shù)遷移方法的性能差異。

實(shí)驗(yàn)結(jié)果顯示，兩種方法在最終模型的性能上沒有顯著差異，但數(shù)據(jù)驅(qū)動(dòng)的超參數(shù)遷移需要開展大量的搜索實(shí)驗(yàn)，如StepLaw需要百萬的GPU機(jī)時(shí)進(jìn)行超參數(shù)搜索。而MiniCPM系列模型的架構(gòu)，只需要32個(gè)GPU機(jī)時(shí)即可以搜索得到最優(yōu)參數(shù)，大幅降低了超參數(shù)搜索的開銷。

Chunk-wise Rollout：負(fù)載均衡的強(qiáng)化學(xué)習(xí)

近期研究表明，強(qiáng)化學(xué)習(xí)可以增強(qiáng)大模型的深度推理能力。然而，直接將強(qiáng)化學(xué)習(xí)應(yīng)用于端側(cè)基座模型往往導(dǎo)致訓(xùn)練不穩(wěn)定和收斂緩慢。

因此，團(tuán)隊(duì)首先使用長(zhǎng)思維鏈數(shù)據(jù)對(duì)基礎(chǔ)模型進(jìn)行有監(jiān)督微調(diào)。這一步驟為模型提供了基本的推理能力，并為強(qiáng)化學(xué)習(xí)提供了更好的初始化。

隨后，他們繼續(xù)使用強(qiáng)化學(xué)習(xí)進(jìn)一步提升模型性能。

考慮到強(qiáng)化學(xué)習(xí)算法極大受限于模型采樣生成的步驟，為了提高訓(xùn)練效率，團(tuán)隊(duì)精心篩選了訓(xùn)練數(shù)據(jù)并引入了分塊推理策略，通過優(yōu)化GPU利用率和減少計(jì)算浪費(fèi)顯著加速了強(qiáng)化學(xué)習(xí)過程。

為了減輕推理階段冗長(zhǎng)軌跡導(dǎo)致的推理吞吐量下降，團(tuán)隊(duì)提出了分塊推理策略以最大化計(jì)算資源利用率。該策略的工作流程包含三個(gè)步驟：

（1）策略模型為所有輸入樣本生成固定分塊長(zhǎng)度的軌跡。

（2）已完全完成或達(dá)到最大生成長(zhǎng)度的軌跡用于訓(xùn)練，對(duì)于未完成的軌跡，計(jì)算并存儲(chǔ)其對(duì)數(shù)概率以供后續(xù)重要性采樣使用。

（3）未完成的軌跡與下一批新輸入合并，然后流程返回步驟（1）。

通過采用這一策略，團(tuán)隊(duì)顯著提高了GPU利用率，有效減少了單次推理迭代中過長(zhǎng)輸出造成的計(jì)算浪費(fèi)。

實(shí)驗(yàn)結(jié)果表明，MiniCPM4中提出的分塊推理策略能夠節(jié)省70%的采樣時(shí)間，每個(gè)訓(xùn)練步耗費(fèi)的時(shí)間減少42%。

BitCPM：極致的三值量化

部署大模型面臨高計(jì)算和內(nèi)存需求的挑戰(zhàn)。模型量化通過降低參數(shù)精度來解決這一問題，實(shí)現(xiàn)高效推理并減少資源消耗。極低比特量化近期備受關(guān)注并展現(xiàn)出巨大潛力。

本文介紹了一種高效的量化感知訓(xùn)練方法來構(gòu)建三值模型BitCPM4，證明了將高精度大模型適配為極低比特版本的可行性。

團(tuán)隊(duì)訓(xùn)練了兩個(gè)規(guī)模的三值模型：BitCPM4-0.5B和1B參數(shù)模型，整個(gè)訓(xùn)練過程使用了350B 詞元。

實(shí)驗(yàn)結(jié)果顯示，在0.5B參數(shù)級(jí)別，BitCPM4-0.5B在知識(shí)相關(guān)任務(wù)上表現(xiàn)優(yōu)異，超過了Qwen3 0.6B全精模型；在1B參數(shù)級(jí)別，BitCPM4-1B的性能與2B參數(shù)模型相當(dāng)。

由于所需詞元數(shù)量?jī)H為同類方法的10%，證明了團(tuán)隊(duì)的方法能夠以更低訓(xùn)練成本提供具有競(jìng)爭(zhēng)力的結(jié)果。

核心性能表現(xiàn)

效率評(píng)測(cè)

為了能夠?qū)崿F(xiàn)極致的推理加速，在MiniCPM4中，團(tuán)隊(duì)構(gòu)建了稀疏注意力機(jī)制 InfLLM v2，使用了投機(jī)采樣算法 FR-Spec，提出了前綴敏感的量化算法，并搭建了自研的推理框架，從而實(shí)現(xiàn)在端側(cè)芯片上的極致提速。

為了驗(yàn)證團(tuán)隊(duì)所提出算法的有效性，在本節(jié)中，團(tuán)隊(duì)在兩款典型的端側(cè)芯片上測(cè)試模型的效率。

具體而言，選定了兩款端側(cè)芯片：Jetson AGX Orin 和 RTX 4090。其中前者被廣泛應(yīng)用于車載芯片、機(jī)器人等端側(cè)場(chǎng)景，而后者更多是PC場(chǎng)景下的計(jì)算設(shè)備。

評(píng)測(cè)結(jié)果如圖所示。團(tuán)隊(duì)評(píng)測(cè)了 Llama3-8B、GLM4-9B、Qwen3-8B和MiniCPM4在32K到128K序列上的吞吐速度。

從結(jié)果中可以觀察到：

推理加速顯著：相比同等參數(shù)規(guī)模的開源大語(yǔ)言模型，在預(yù)填充和解碼場(chǎng)景中都能實(shí)現(xiàn)一致的加速。

具體而言，相比Qwen3-8B，在Jetson AGX Orin上可以實(shí)現(xiàn)約7倍的解碼加速，證明InfLLM v2稀疏注意力機(jī)制在端側(cè)設(shè)備上具備極高實(shí)用價(jià)值。

序列越長(zhǎng)，加速越強(qiáng)：隨著文本長(zhǎng)度增加，團(tuán)隊(duì)模型的效率優(yōu)勢(shì)變得更加明顯。

這是由于稀疏注意力機(jī)制能夠有效降低長(zhǎng)文本計(jì)算與訪存開銷。隨著模型需要處理的文本長(zhǎng)度逐漸增加，傳統(tǒng)稠密注意力機(jī)制的訪存開銷快速增長(zhǎng)，而 InfLLM v2需要訪問的上下文塊數(shù)量保持不變，只有語(yǔ)義核的表示會(huì)隨著序列長(zhǎng)度緩慢增長(zhǎng)。

因此，在長(zhǎng)序列處理中，MiniCPM4能夠始終高效地處理長(zhǎng)文本。

標(biāo)準(zhǔn)評(píng)測(cè)

團(tuán)隊(duì)在表1中展示了MiniCPM4與基線模型的評(píng)測(cè)結(jié)果。從結(jié)果中可以觀察到，MiniCPM4-0.5B和8B模型在各類任務(wù)中都取得了領(lǐng)先表現(xiàn)。

MiniCPM 4與其它開源大語(yǔ)言模型的評(píng)測(cè)結(jié)果：

性能領(lǐng)先：MiniCPM的兩款模型都在相近尺寸的模型中實(shí)現(xiàn)了最先進(jìn)的性能，這表明了團(tuán)隊(duì)訓(xùn)練方法的有效性。

MiniCPM的兩款模型都能夠超越部分參數(shù)量遠(yuǎn)超MiniCPM模型的開源大模型。例如，MiniCPM4-0.5B可以取得比Llama3.2-1B、Gemma3-1B更優(yōu)的性能，即使它們的參數(shù)規(guī)模是MiniCPM4的兩倍。MiniCPM4-8B也能夠超越Gemma3-12B和Phi4-14B。

這進(jìn)一步表明，利用高質(zhì)量的數(shù)據(jù)和高效的學(xué)習(xí)算法，MiniCPM4能夠取得優(yōu)異的性能。

訓(xùn)練效率高：相比于這些開源模型，MiniCPM4 能夠使用遠(yuǎn)低于它們的訓(xùn)練開銷，取得優(yōu)異的性能。

具體而言，MiniCPM4與Qwen3具有相當(dāng)?shù)男阅?，而Qwen3使用了36T詞元進(jìn)行訓(xùn)練，而MiniCPM4僅使用了8T詞元，只有Qwen3訓(xùn)練數(shù)據(jù)量的22%，這充分驗(yàn)證了Ultra-FineWeb數(shù)據(jù)篩選與Model Wind Tunnel v2訓(xùn)練優(yōu)化策略的有效性。

長(zhǎng)上下文評(píng)測(cè)

在MiniCPM4 中，團(tuán)隊(duì)使用稀疏注意力機(jī)制將上下文窗口擴(kuò)展到32K。

在本節(jié)中，團(tuán)隊(duì)評(píng)測(cè)MiniCPM4在長(zhǎng)序列理解任務(wù)上的表現(xiàn)。具體來說，團(tuán)隊(duì)遵循Ruler的方法，在大海撈針任務(wù)（RULER-NIAH）上評(píng)測(cè)其模型。應(yīng)用YaRN將MiniCPM4的上下文窗口擴(kuò)展到 128K，并在128K NIAH上評(píng)測(cè) MiniCPM4。

結(jié)果如圖所示。從結(jié)果中可以觀察到：

長(zhǎng)序列處理能力強(qiáng)：MiniCPM4在長(zhǎng)序列上能夠取得令人滿意的性能，在大海撈針任務(wù)上達(dá)到100%的準(zhǔn)確率。并且對(duì)于每個(gè)詞元，MiniCPM4只需要模型關(guān)注6K上下文詞元，這意味著在128K上下文中，MiniCPM4的稀疏度僅為 5%。

上下文外推能力強(qiáng)：MiniCPM4在上下文窗口外推方面具有良好的性能。即使團(tuán)隊(duì)只在32K上下文上預(yù)訓(xùn)練模型，MiniCPM4也能在4倍上下文長(zhǎng)度上達(dá)到100%的準(zhǔn)確率。

在后續(xù)章節(jié)中，團(tuán)隊(duì)將MiniCPM4應(yīng)用于調(diào)查報(bào)告生成任務(wù)，該任務(wù)需要模型讀取和寫入長(zhǎng)文檔。MiniCPM4能夠取得比其他基線模型更好的性能，顯示了MiniCPM4在長(zhǎng)序列處理方面的有效性。

應(yīng)用和場(chǎng)景

得益于卓越的推理效率與模型能力，MiniCPM4在多個(gè)關(guān)鍵任務(wù)中展現(xiàn)出強(qiáng)大適應(yīng)性。團(tuán)隊(duì)重點(diǎn)展示兩個(gè)關(guān)鍵應(yīng)用：

可信的綜述生成（MiniCPM4-Survey）：面向高質(zhì)量長(zhǎng)文檔理解與生成的典型任務(wù)，驗(yàn)證了MiniCPM4在長(zhǎng)序列處理場(chǎng)景下的優(yōu)越性能。

MCP協(xié)議增強(qiáng)的工具調(diào)用（MiniCPM4-MCP）：面向Agent智能體部署，強(qiáng)調(diào)模型與復(fù)雜工具鏈和環(huán)境的交互能力，適用于端側(cè)智能與實(shí)際任務(wù)執(zhí)行。

MiniCPM4-Survey：可信的綜述生成

在科研輔助場(chǎng)景中，自動(dòng)化生成高質(zhì)量綜述文獻(xiàn)是一項(xiàng)挑戰(zhàn)極大的任務(wù)，需要模型具備出色的信息整合、結(jié)構(gòu)規(guī)劃和語(yǔ)言生成能力。

團(tuán)隊(duì)提出了基于MiniCPM4-8B構(gòu)建的SurveyAgent系統(tǒng)，采用“規(guī)劃—檢索—寫作”三階段流程，高效生成結(jié)構(gòu)清晰、內(nèi)容可信的長(zhǎng)篇綜述。

團(tuán)隊(duì)構(gòu)建了包含規(guī)劃大綱、檢索關(guān)鍵詞、節(jié)級(jí)內(nèi)容等高質(zhì)量訓(xùn)練數(shù)據(jù)，并設(shè)計(jì)了從監(jiān)督微調(diào)（SFT）到章節(jié)級(jí)、全局級(jí)強(qiáng)化學(xué)習(xí)（RL）的多階段訓(xùn)練策略，逐步提升模型的全局規(guī)劃性和細(xì)節(jié)深度。

同時(shí)，團(tuán)隊(duì)還建立了一套完整的獎(jiǎng)勵(lì)系統(tǒng)，從結(jié)構(gòu)合理性、內(nèi)容深度、新穎性、引用一致性等多個(gè)維度對(duì)模型能力進(jìn)行評(píng)估。

在SurveyEval測(cè)試集上的評(píng)測(cè)結(jié)果表明，MiniCPM4-Survey在內(nèi)容相關(guān)性、覆蓋度、深度和新穎性等方面的平均得分與OpenAI Deep Research持平，并在FactScore（事實(shí)一致性）上取得所有系統(tǒng)中的最高分，顯示其在本地部署、隱私保護(hù)和低成本條件下的長(zhǎng)文處理能力具備強(qiáng)大競(jìng)爭(zhēng)力。

下方表格展示了 MiniCPM4-Survey與基線模型的評(píng)測(cè)結(jié)果。“G2FT”代表Gemini-2.0-Flash-Thinking，“WTR1-7B”表示W(wǎng)ebthinker-R1-7B。

由于Webthinker不包含引用功能，以及OpenAI Deep Research在導(dǎo)出結(jié)果時(shí)不提供引用，因此省略了對(duì)它們的FactScore評(píng)估。

注： 粗體數(shù)值表示每列中的最佳性能?！薄皸l目表示未對(duì)這些方法進(jìn)行Fact Score評(píng)估。

MiniCPM4-MCP：MCP協(xié)議增強(qiáng)的工具調(diào)用

大語(yǔ)言模型與外部工具的交互流程往往依賴人工構(gòu)造，缺乏統(tǒng)一標(biāo)準(zhǔn)，導(dǎo)致智能體系統(tǒng)擴(kuò)展性差、復(fù)用成本高。

為應(yīng)對(duì)這一挑戰(zhàn)，MCP（Model Context Protocol）提供了統(tǒng)一的模型-工具交互協(xié)議，允許語(yǔ)言模型在標(biāo)準(zhǔn)化框架下調(diào)用任意外部服務(wù)。

團(tuán)隊(duì)構(gòu)建了MiniCPM4-MCP模型，使其具備理解MCP協(xié)議、發(fā)現(xiàn)并調(diào)用各類工具、完成復(fù)雜任務(wù)鏈路的能力。

團(tuán)隊(duì)采用“正向生成 + 反向構(gòu)造 + 數(shù)據(jù)集轉(zhuǎn)換”的方式構(gòu)建訓(xùn)練數(shù)據(jù)，涵蓋單工具調(diào)用、跨工具組合調(diào)用和多輪工具交互，共計(jì)約14萬條樣本，輔以人工與LLM雙重質(zhì)量審核。

團(tuán)隊(duì)還搭建了基于Docker的MCP工具調(diào)用環(huán)境，覆蓋辦公、出行、文件管理等多個(gè)真實(shí)服務(wù)，配合客戶端進(jìn)行自動(dòng)測(cè)試與適配，確保模型訓(xùn)練數(shù)據(jù)與環(huán)境高度一致。

在人工標(biāo)注測(cè)試集上的評(píng)測(cè)結(jié)果顯示，MiniCPM4-MCP在函數(shù)名稱、參數(shù)名和參數(shù)值填充準(zhǔn)確率方面全面優(yōu)于 Qwen3-8B，并在多個(gè)服務(wù)器上逼近甚至超越GPT-4o，證明其具備通用、多樣的工具調(diào)用能力，是構(gòu)建智能體系統(tǒng)的理想基礎(chǔ)模型。

Github鏈接：https://github.com/openbmb/minicpm
技術(shù)報(bào)告鏈接：https://arxiv.org/pdf/2506.07900
Huggingface鏈接：https://huggingface.co/collections/openbmb/minicpm-4-6841ab29d180257e940baa9b
Model Scope鏈接：https://www.modelscope.cn/collections/MiniCPM-4-ec015560e8c84d