低Token高精度！字節(jié)復(fù)旦推出自適應(yīng)推理框架CAR

一水 2025-05-27 12:00:05 來源：量子位

過度依賴CoT思維鏈推理會(huì)降低模型性能，有新解了！

來自字節(jié)、復(fù)旦大學(xué)的研究人員提出自適應(yīng)推理框架CAR，能根據(jù)模型困惑度動(dòng)態(tài)選擇短回答或詳細(xì)的長(zhǎng)文本推理，最終實(shí)現(xiàn)了準(zhǔn)確性與效率的最佳平衡。

推理能力的進(jìn)步極大提升了大語言模型（LLMs）和多模態(tài)大語言模型（MLLMs）在各類任務(wù)中的表現(xiàn)。

但已有研究發(fā)現(xiàn)，長(zhǎng)CoT推理并非總能提升準(zhǔn)確率，甚至?xí)魅跄Ｐ吞幚砗?jiǎn)單任務(wù)的能力（可能產(chǎn)生冗長(zhǎng)輸出）。

為此，研究人員提出了CAR這一基于置信度的自適應(yīng)推理框架，它首先生成簡(jiǎn)短回答并評(píng)估困惑度，僅在模型置信度低（困惑度高）時(shí)觸發(fā)推理。

在多模態(tài)視覺問答、關(guān)鍵信息提取及文本推理等多個(gè)基準(zhǔn)測(cè)試中，CAR超越了單純的短回答與長(zhǎng)推理方法，在準(zhǔn)確性與效率之間取得了最佳平衡。

先導(dǎo)實(shí)驗(yàn)設(shè)置

這項(xiàng)研究聚焦文本密集型視覺問答（VQA）和關(guān)鍵信息抽取（KIE）領(lǐng)域，選取8個(gè)具有代表性的公開數(shù)據(jù)集開展先導(dǎo)實(shí)驗(yàn)。

其中，DocVQA、InfoVQA、ChartQA、VisualMRC等4個(gè)數(shù)據(jù)集構(gòu)成VQA數(shù)據(jù)集，覆蓋文檔、圖表、信息圖等多種視覺文本形態(tài)；SROIE、CORD、FUNSD、POIE等4個(gè)數(shù)據(jù)集組成KIE數(shù)據(jù)集，主要用于票據(jù)、表格等結(jié)構(gòu)化信息抽取任務(wù)。

以這些數(shù)據(jù)集為基礎(chǔ)，研究對(duì)Qwen2.5-0.5B模型進(jìn)行微調(diào)，并在域內(nèi)（如DocVQA、ChartQA）和域外（如POIE、InfoVQA）數(shù)據(jù)集上開展性能評(píng)估。

評(píng)估過程中，要求模型分別生成簡(jiǎn)短答案和包含長(zhǎng)文本推理過程的答案兩種輸出形式。

實(shí)驗(yàn)完成后，系統(tǒng)性統(tǒng)計(jì)各數(shù)據(jù)集的準(zhǔn)確率（Accuracy）和回答的困惑度（Perplexity，PPL）——PPL 值越低，表明模型對(duì)生成答案的置信度越高。

實(shí)驗(yàn)分析結(jié)果顯示，PPL與準(zhǔn)確率之間存在顯著的強(qiáng)負(fù)相關(guān)性。

從數(shù)據(jù)集層面分析，準(zhǔn)確率與PPL呈現(xiàn)明顯的逆向關(guān)系（見圖1），即數(shù)據(jù)集整體準(zhǔn)確率越高，其平均PPL值越低；深入數(shù)據(jù)集內(nèi)部觀察，預(yù)測(cè)正確樣本的平均PPL分?jǐn)?shù)顯著低于預(yù)測(cè)錯(cuò)誤樣本（見圖2）。

基于上述發(fā)現(xiàn)，研究創(chuàng)新性提出一種基于PPL的動(dòng)態(tài)推理決策機(jī)制。

具體而言，當(dāng)模型輸出的PPL值超過設(shè)定閾值（研究以測(cè)試集PPL分布的75%分位數(shù)作為閾值）時(shí)，判定為低置信度場(chǎng)景，觸發(fā)長(zhǎng)文本推理模式，以減少誤判風(fēng)險(xiǎn)；若PPL值低于閾值，則判定為高置信度場(chǎng)景，直接輸出簡(jiǎn)短答案，提升推理效率。

實(shí)驗(yàn)結(jié)果表明，采用該動(dòng)態(tài)決策機(jī)制后，模型在絕大多數(shù)數(shù)據(jù)集上的性能均實(shí)現(xiàn)顯著提升。

以下為PPL取75%分位數(shù)為閾值下的性能對(duì)比：

提出自適應(yīng)推理框架CAR

基于上述探索性的發(fā)現(xiàn)，這項(xiàng)研究工作擬開發(fā)一個(gè)使用困惑度（PPL）的動(dòng)態(tài)推理決策框架Certainty-based Adaptive Reasoning（CAR），其目標(biāo)是能夠在推理過程中自適應(yīng)地在短文本推理和長(zhǎng)文本推理之間切換。

如圖3(a)所示，研究人員首先使用包含簡(jiǎn)短答案的示例和包含長(zhǎng)文本推理解答的示例來訓(xùn)練大語言模型（LLM）或多模態(tài)大語言模型（MLLM）。

隨后，借助訓(xùn)練集的困惑度（PPL），估計(jì)正確和錯(cuò)誤簡(jiǎn)短答案的PPL分布，這些分布用于決策制定。

具體來說，如果估計(jì)的分布確定簡(jiǎn)短答案是正確的，所提出的方法會(huì)直接輸出該正確答案。否則，它會(huì)執(zhí)行長(zhǎng)文本推理。推理過程如圖3(b)所示。

模型訓(xùn)練

研究人員將同時(shí)包含簡(jiǎn)短答案和長(zhǎng)文本推理解答標(biāo)注的訓(xùn)練示例進(jìn)行混合，構(gòu)建新的數(shù)據(jù)集。隨后采用標(biāo)準(zhǔn)指令微調(diào)流程，模型接收由輸入文本和輸出文本組成的序列，優(yōu)化目標(biāo)為交叉熵?fù)p失：

模型訓(xùn)練完成后，對(duì)訓(xùn)練集中所有樣本進(jìn)行短答案推理，生成預(yù)測(cè)答案并計(jì)算其困惑度值PPL。

Token序列的困惑度定義為：

高斯分布建模

設(shè)二元變量C表示短答案是否正確（C=1為正確，C=0為錯(cuò)誤），假設(shè)正確與錯(cuò)誤答案的PPL分布均服從高斯分布：

概率密度函數(shù)分別為：

最后，通過訓(xùn)練數(shù)據(jù)估計(jì)其中參數(shù)（假設(shè)n1和n0分別為訓(xùn)練集中正確與錯(cuò)誤回答的數(shù)量）：

推理過程

對(duì)新輸入x，推理步驟如下：

1、短回答推理：模型生成短回答，并計(jì)算相應(yīng)的PPL為PPLnew；

2、概率計(jì)算：根據(jù)貝葉斯定理，將PPLnew代入概率密度函數(shù)，計(jì)算后驗(yàn)概率；

其中，先驗(yàn)概率分別為：

3、決策規(guī)則：如果短回答的正確概率高于其可能錯(cuò)誤的概率，直接輸出短回答；否則觸發(fā)模型的長(zhǎng)推理。

實(shí)驗(yàn)結(jié)果

下表展示了多模態(tài)數(shù)據(jù)集上的性能表現(xiàn)。

首先，CARQwen2VL相比CARShort和CARLong的優(yōu)越性能，證明了使用困惑度（PPL）作為推理路徑選擇指標(biāo)的有效性。

此外，所提出的方法保持了還使用了更少的輸出Token數(shù)量（平均86.9個(gè)token），僅為Qwen2-VLLong所使用Token數(shù)量的15%。

下表展示了基于文本的推理任務(wù)性能對(duì)比。

CAR方法表現(xiàn)出穩(wěn)健的性能。具體地，使用Qwen2.5-7B模型時(shí)平均準(zhǔn)確率達(dá)81.1%（上圖）；使用Llama3.1-8B時(shí)達(dá)74.9%，均優(yōu)于短答案基線模型以及長(zhǎng)文本推理模型（下圖）。

此外，CAR的性能均優(yōu)于TALE和COD等先進(jìn)的Token縮減方法。

小結(jié)一下，這項(xiàng)研究提出基于置信度的自適應(yīng)推理框架（CAR），該框架可根據(jù)模型置信度動(dòng)態(tài)切換短回答與長(zhǎng)文本推理模式。

通過困惑度（PPL）量化模型對(duì)答案的置信度，CAR在高置信度時(shí)直接輸出短回答以提升效率，低置信度時(shí)觸發(fā)長(zhǎng)文本推理以確保準(zhǔn)確性。

按照研究團(tuán)隊(duì)的說法，CAR打破了“長(zhǎng)文本推理必然性能更好”的固有認(rèn)知，為大模型推理提供了更靈活高效的解決方案，推動(dòng)大模型推理向智能化、輕量化方向發(fā)展。

論文地址：https://arxiv.org/abs/2505.15154