LLM推理性能受輸出格式影響，JSON最嚴(yán)重

一水 2024-08-16 14:00:24 來(lái)源：量子位

輸出格式不同，竟然還能影響大模型發(fā)揮？！

兩種提示下讓大語(yǔ)言模型（LLMs）解同一道數(shù)學(xué)題，問(wèn)題如下：

Eliza每周工作的前40小時(shí)，每小時(shí)的工資是10美元，加班費(fèi)每小時(shí)x1.2。如果Eliza這周工作了45小時(shí)，她這周的收入是多少？

思維鏈prompt：“按照以下格式提供輸出，逐步推理：…回答：最終答案是…”。

格式限制prompt：“按照以下有效的JSON格式提供輸出：…（具體JSON格式見(jiàn)圖）“。

正確答案是460，可以看出，思維鏈（讓模型一步步思考）奏效，格式限制（“以JSON格式輸出”）卻失敗了??！

這是臺(tái)灣大學(xué)和Appier AI Research新研究中的一幕，他們發(fā)現(xiàn)——

格式限制這玩意兒會(huì)降低LLMs的推理能力，且限制越嚴(yán)推理越差。（主打一個(gè)叛逆）

不過(guò)好消息是，能治。

他們發(fā)現(xiàn)，最佳解決方案是搞個(gè)“二次轉(zhuǎn)換”（倒?fàn)斒前桑?，即LLMs首先用自然語(yǔ)言回答問(wèn)題，然后再將答案轉(zhuǎn)換為目標(biāo)格式。

在這個(gè)過(guò)程中，他們對(duì)比了GPT-3.5 Turbo、Claude 3 Haiku、Gemini 1.5 Flash等不同模型在生成不同格式數(shù)據(jù)時(shí)的性能差異，結(jié)果又發(fā)現(xiàn)：

GPT喜歡YAML、Claude喜歡XML、Gemini/Gemma喜歡JSON。（主打各有所愛(ài)）

看完研究，有網(wǎng)友點(diǎn)出了它對(duì)平衡結(jié)構(gòu)化生成和任務(wù)推理的意義：

格式限制會(huì)降低LLMs推理能力

上述研究已發(fā)表在arXiv上，論文主要揭示了，在格式限制下，LLMs的推理能力顯著下降，尤其是在JSON模式下。

一直以來(lái)，將LLMs納入工業(yè)應(yīng)用程序的一個(gè)主要障礙是它們?nèi)狈?duì)標(biāo)準(zhǔn)化輸出格式的遵守。

一種常見(jiàn)解決方法是結(jié)構(gòu)化生成，即通過(guò)格式限制讓LLMs以JSON或XML等標(biāo)準(zhǔn)化格式提供輸出。

不過(guò)話說(shuō)回來(lái)，雖然有多種方式可以實(shí)現(xiàn)這種限制，但后續(xù)影響卻無(wú)人研究。（限制是否影響模型性能呢?）

說(shuō)干就干，研究人員采用3種常見(jiàn)方法來(lái)評(píng)估不同格式限制對(duì)下游性能的影響：

• JSON-mode：通過(guò)預(yù)定義的標(biāo)記空間限制LLMs的輸出
• FRI：指導(dǎo)LLMs生成符合特定模式的標(biāo)準(zhǔn)化格式響應(yīng)
• NL-to-Format：兩步過(guò)程，首先用自然語(yǔ)言回答問(wèn)題，然后轉(zhuǎn)換為目標(biāo)格式

對(duì)了，還要加上自然語(yǔ)言（NL），它是最不受限的格式，允許模型以自然語(yǔ)言自由地回答問(wèn)題。

評(píng)估對(duì)象是GSM8K（包含自然語(yǔ)言環(huán)境中的數(shù)學(xué)問(wèn)題）和Last Letter Concatenation（最后一個(gè)字母連接任務(wù)）這兩個(gè)需要精確匹配答案的數(shù)據(jù)集，以及Shuffled Objects（洗牌對(duì)象追蹤任務(wù)）。

他們發(fā)現(xiàn)，在這些涉及推理的任務(wù)中，更寬松的提示通常會(huì)得到更好的結(jié)果。

同時(shí)，JSON模式在大多數(shù)情況下表現(xiàn)最差，其次是格式限制指令（FRI），然后是自然語(yǔ)言到格式（NL to Format）轉(zhuǎn)換，以及自然語(yǔ)言（NL）提示。

研究還發(fā)現(xiàn)，不同的LLMs對(duì)不同的數(shù)據(jù)格式表現(xiàn)出不同的偏好。

例如，GPT更喜歡YAML格式，Claude更喜歡XML格式，而Gemini/Gemma則更傾向于JSON格式。

不過(guò)，在分類任務(wù)中，格式限制可能提高了準(zhǔn)確性，因?yàn)樗鼫p少了可能的答案選擇，從而降低了錯(cuò)誤率。

他們進(jìn)一步總結(jié)了格式限制會(huì)降低模型推理能力的原因，主要包括：

• 限制了模型生成必要中間推理步驟的能力。
• 強(qiáng)制的格式要求可能與模型自然生成答案的方式不兼容。
• 格式錯(cuò)誤可能導(dǎo)致即使推理正確，答案也因?yàn)楦袷絾?wèn)題而被判定為錯(cuò)誤。

好消息：能治

針對(duì)這一問(wèn)題，他們提出了幾種應(yīng)對(duì)之策：

首先，前面提到了JSON模式在大多數(shù)情況下表現(xiàn)最差，最后才是自然語(yǔ)言到格式（NL to Format）轉(zhuǎn)換。

那么反過(guò)來(lái)說(shuō)，解決格式限制的最佳方案就成了NL to Format，即LLMs首先用自然語(yǔ)言回答問(wèn)題，然后再將答案轉(zhuǎn)換為目標(biāo)格式。這種方式允許推理與格式遵守分離，從而表現(xiàn)更佳。

此外，結(jié)構(gòu)化輸出中的鍵順序對(duì)LLMs的回答方式有重要影響。

例如在使用GPT-3.5 Turbo時(shí)，100%的JSON-mode響應(yīng)錯(cuò)誤地將“answer” 鍵位于 “reasoning” 之前，這導(dǎo)致模型直接給出答案，而不是展示思考過(guò)程。

研究還表明，格式限制導(dǎo)致的解析錯(cuò)誤不是性能差異的主要原因。

例如，在LLaMA 3 8B模型中，Last Letter任務(wù)的JSON格式解析錯(cuò)誤率僅為0.15%，但與自然語(yǔ)言響應(yīng)相比，性能差距達(dá)到了38.15%。

而且可以通過(guò)糾正提示來(lái)減輕這些錯(cuò)誤，例如對(duì)于Claude-3-Haiku模型，在Last Letter任務(wù)中，通過(guò)糾正步驟，JSON和YAML格式的準(zhǔn)確率分別提高了+2.8%和+44.8%。

以上也意味著，在應(yīng)用LLMs時(shí)，需要在易于解析的格式和保留固有推理能力之間找到平衡點(diǎn)。

最后，研究人員在論文中提醒了：

相比于正則表達(dá)式，LLMs作為答案解析器能夠提供更加深入和準(zhǔn)確的文本理解，不僅僅局限于表面的模式匹配，而是能夠真正理解答案的含義和上下文。