GPT-4計(jì)算能力差怎么破？把它當(dāng)小學(xué)生，保證結(jié)果跟計(jì)算器一樣準(zhǔn)

豐色 2023-07-21 16:20:18 來源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

大語言模型的數(shù)學(xué)能力到底怎么破？

一位數(shù)學(xué)本科生發(fā)現(xiàn)：

實(shí)際上，咱們只需像一年級(jí)小學(xué)生一樣教它們“掰著手指頭算”，就能讓它立馬變身數(shù)學(xué)小能手。

比如像“34756918247632 + 7934619867453210082”這樣的大數(shù)加法，任你丟給哪個(gè)大模型，即使強(qiáng)如GPT-4，都算不明白。

但如果你按照他說的做，保證結(jié)果跟用計(jì)算器摁出來的一模一樣。

具體怎么操作？

像小學(xué)生一樣教GPT-4

我們就以上面的加法題為例，要想讓GPT-4算對(duì)，需要給它舉兩個(gè)例子。

但只需非常簡(jiǎn)單的那種就行，重點(diǎn)是把計(jì)算過程給它“掰開了揉碎了”講出來。

第一個(gè)例子如下：

我們要教會(huì)它算379+64。

具體而言，先讓GPT-4分別捋清兩個(gè)加數(shù)的位數(shù)有幾位，每位都是幾。

然后告訴它如果第一個(gè)加數(shù)的位數(shù)比第二個(gè)多1位就補(bǔ)1個(gè)0。

在哪補(bǔ)？補(bǔ)在位數(shù)少的那個(gè)加數(shù)。于是64變成064。

這件事做完之后，再重復(fù)一遍第一個(gè)步驟。

接著，設(shè)定一些表示進(jìn)位、連接等意思的變量和初始值，再?gòu)母呶灰晃灰晃坏南嗉訑?shù)字，把每一位結(jié)果組合起來，就得出了最終答案。

從下面的提示詞模版可以看到，一定要寫的非常詳細(xì)，把對(duì)方當(dāng)作小學(xué)生一樣看待。

（ps. 可以看到計(jì)算第二位的7+6+c時(shí)作者寫錯(cuò)了，應(yīng)該等于14，導(dǎo)致最終結(jié)果也錯(cuò)了，但這壓根不影響，只要思想是對(duì)的，模型就能get到！）

對(duì)于第二個(gè)例子，步驟也一樣，主要不同之處在于這次不需要補(bǔ)0——把人家當(dāng)作小學(xué)生，就得把每種情況都講明白。

把以上兩個(gè)例子作為模版喂給GPT-4后，我們要做的就是“千叮嚀萬囑咐”：

這是你必須用來進(jìn)行加法運(yùn)算時(shí)使用的模板，你必須使用同樣的關(guān)鍵字。
記住按照模版所寫的那樣，該有空格的地方都得有。不要用大寫字母，因?yàn)槟０胬餂]用。
在計(jì)算之前和之后都不要要添加任何解釋或填充詞，因?yàn)槟阄ㄒ坏娜蝿?wù)就是照著上面的模板來做。
最后將答案格式化為純文本。

然后告訴它：

現(xiàn)在，我將提供兩個(gè)新的操作數(shù)，你必須使用模版來計(jì)算答案。懂了嗎？

（英文提示語如下：This is a template you must use to do addition. You must use the same keywords. You must use whitespace wherever it is used above.
Do not use uppercase letters, since they’re not present in the template. Do not add any explanations or filler words before and after doing the computation. Your sole task is to follow the template above.
Format the answer as plaintext.
I’ll provide a new set operands and you must use the template to compute the answer. Got it?）

這時(shí)，GPT-4就會(huì)告訴你：懂了，嚴(yán)格按照你提供的模版來算兩個(gè)數(shù)字的加法。

然后，你把“34756918247632”和“7934619867453210082”輸入進(jìn)去，記住一定每個(gè)數(shù)字進(jìn)行空格（原因后面說）:

3 4 7 5 6 9 1 8 2 4 7 6 3 2 + 7 9 3 4 6 1 9 8 6 7 4 5 3 2 1 0 0 8 2
GPT-4就能開始照貓畫虎完成下面這一系列的計(jì)算：

最后告訴你正確答案：

0 7 9 3 4 6 5 4 6 2 4 3 7 1 4 5 7 7 1 4.

嗯，和計(jì)算器結(jié)果一樣：

而我們也隨便挑了一個(gè)模型實(shí)測(cè)了一下，計(jì)算：376900+12678922（等于13055822）。

原來算不對(duì)：

套用以上方法之后，就OK了：

所以說，大語言模型還是很聰明的，只要你會(huì)教，數(shù)學(xué)計(jì)算能力壓根沒問題。

為什么算不對(duì)？

想必大家也會(huì)好奇，為什么要像小學(xué)生這樣教它們才能做對(duì)這樣的數(shù)學(xué)題呢？

作者分析，有兩大原因：

一是模型在處理文本輸入時(shí)會(huì)進(jìn)行的tokenization操作，導(dǎo)致數(shù)字被多個(gè)組合在一起變成一個(gè)個(gè)token。

比如咱們今天算的這道，在GPT-4眼里它看到的其實(shí)是這樣的：

這也就是為什么我們需要用空格將每個(gè)數(shù)字隔開，GPT-4才不會(huì)進(jìn)行拆分，才有算對(duì)的可能性。

當(dāng)然，如果你僅僅是加了空格不用上面的方法教它，它也算不對(duì)。

這就引出第二個(gè)原因：沒有給夠它上下文學(xué)習(xí)的空間來進(jìn)行計(jì)算。

GPT-4是一種自回歸語言模型，這意味著它某個(gè)時(shí)間步的輸出以所有先前的輸出為條件，就像小學(xué)生做題一樣，我們需要一種方法讓我們的模型能夠一步一步地檢索到任何位置的數(shù)字。

因此，就需要給它設(shè)定如上的模版，讓它“有跡可循”。

最后作者表示，語言模型不同于我們以前構(gòu)建的任何類型的軟件。所以需要一些特別的耐心。

那么，理解了以上這兩個(gè)原因，大家是不是也就能更好地理解上面一系列如教小學(xué)生似的提示詞操作了？

作者介紹

本方法作者名叫Karthik Balaji，是滑鐵盧大學(xué)數(shù)學(xué)本科生。

據(jù)個(gè)人主頁介紹，他對(duì)大語言模型非常感興趣，最近正在開始研究生成模型，尤其是擴(kuò)散類型，并已經(jīng)有一些小小的產(chǎn)出，大家感興趣的可以去翻閱。

原文地址：

https://okarthikb.github.io/site/blog/detailed-prompting.html