ChatGPT編程準(zhǔn)確率暴降13%！UIUC&南大新基準(zhǔn)讓AI代碼現(xiàn)原形了

十三 2023-05-14 12:24:52 來(lái)源：量子位

蕭簫 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

用ChatGPT寫(xiě)代碼，已經(jīng)是不少程序員的常規(guī)操作了。

△“至少提速3~5倍”

但你有沒(méi)有想過(guò)，ChatGPT生成的代碼，有不少只是“看起來(lái)準(zhǔn)確”而已？

來(lái)自伊利諾伊大學(xué)香檳分校和南京大學(xué)的一項(xiàng)最新研究表明：

ChatGPT和GPT-4生成代碼的準(zhǔn)確率，比之前評(píng)估的至少要降低13%！

有網(wǎng)友感嘆，太多ML論文都在用一些有問(wèn)題或有局限性的基準(zhǔn)來(lái)評(píng)估模型，來(lái)短暫地達(dá)到“SOTA”，結(jié)果換個(gè)測(cè)評(píng)方法就現(xiàn)出原形了。

還有網(wǎng)友表示，這也說(shuō)明大模型生成的代碼仍然需要人工監(jiān)督，“AI寫(xiě)代碼的黃金時(shí)間還沒(méi)到呢”。

所以，論文提出了一種怎樣的新測(cè)評(píng)方法？

給AI代碼考題加大難度

這個(gè)新方法名叫EvalPlus，是一個(gè)自動(dòng)化代碼評(píng)估框架。

具體來(lái)說(shuō)，它會(huì)通過(guò)改進(jìn)現(xiàn)有評(píng)估數(shù)據(jù)集的輸入多樣性和問(wèn)題描述準(zhǔn)確性，來(lái)將這些評(píng)估基準(zhǔn)變得更嚴(yán)格。

一方面是輸入多樣性。EvalPlus會(huì)先根據(jù)標(biāo)準(zhǔn)答案，用ChatGPT生成一些種子輸入樣例（雖然要測(cè)ChatGPT的編程能力，但用它生成種子輸入似乎也不矛盾doge）

隨后，用EvalPlus改進(jìn)這些種子輸入，將它們改得更難、更復(fù)雜、更刁鉆。

另一方面是問(wèn)題描述準(zhǔn)確性。EvalPlus會(huì)將代碼需求描述改得更精確，在約束輸入條件的同時(shí)，補(bǔ)充自然語(yǔ)言問(wèn)題描述，以提高對(duì)模型輸出的精確度要求。

這里，論文選擇了HUMANEVAL數(shù)據(jù)集作為示范。

HUMANEVAL是OpenAI和Anthropic AI一起制作的代碼數(shù)據(jù)集，包含164個(gè)原創(chuàng)編程題，涉及語(yǔ)言理解、算法、數(shù)學(xué)和軟件面試幾種類型的題目。

EvalPlus會(huì)通過(guò)改進(jìn)這類數(shù)據(jù)集的輸入類型和功能描述，讓編程問(wèn)題看起來(lái)更清晰，同時(shí)用于測(cè)試的輸入更“刁鉆”或是更困難。

以其中的一道求并集編程題為例，要求AI寫(xiě)一段代碼，找出兩個(gè)數(shù)據(jù)列表中的共同元素，并給這些元素排序。

EvalPlus用它來(lái)測(cè)測(cè)ChatGPT寫(xiě)的代碼準(zhǔn)確度。

首先用幾個(gè)簡(jiǎn)單輸入進(jìn)行測(cè)試，發(fā)現(xiàn)ChatGPT能輸出正確答案。但如果換個(gè)輸入，就找出了ChatGPT版代碼的bug：

屬實(shí)是給AI們加大了考題難度。

基于這套方法，EvalPlus還做了一個(gè)改進(jìn)版HUMANEVAL+數(shù)據(jù)集，增加輸入的同時(shí)，修正了一些HUMANEVAL里面答案就有問(wèn)題的編程題。

那么，在這套“新考題”下，大語(yǔ)言模型們的準(zhǔn)確率實(shí)際上要打幾折？

LLM代碼準(zhǔn)確率平均降低15%

作者們測(cè)試了當(dāng)前比較受歡迎的10種代碼生成AI。

GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-α。

從表格中來(lái)看，經(jīng)過(guò)嚴(yán)格測(cè)試后，這群AI的生成準(zhǔn)確率都有所下降：

這里會(huì)通過(guò)一種名叫pass@k的方法評(píng)估準(zhǔn)確率，其中k是允許大模型給問(wèn)題生成的程序數(shù)量，n是用于測(cè)試的輸入數(shù)量，c是正確的輸入數(shù)量：

根據(jù)新的這套評(píng)估標(biāo)準(zhǔn)，大模型們的準(zhǔn)確率平均下降了15%，其中比較廣泛研究的CODEGEN-16B更是下降了超過(guò)18%。

至于ChatGPT和GPT-4生成代碼的性能，也下降了至少13%。

不過(guò)，也有網(wǎng)友表示，大模型生成的代碼效果沒(méi)那么好，已經(jīng)是“眾所周知的事實(shí)”了，需要研究的是“為什么大模型寫(xiě)的代碼不能用”。

作者介紹

共同一作Jiawei Liu，伊利諾伊大學(xué)香檳分校二年級(jí)博士生，研究興趣是編程系統(tǒng)和深度學(xué)習(xí)。

共同一作Chunqiu Steven Xia，伊利諾伊大學(xué)香檳分校二年級(jí)博士生，本科畢業(yè)于多倫多大學(xué)，研究興趣是機(jī)器學(xué)習(xí)和軟件工程的交叉領(lǐng)域。

王宇峣（Yuyao Wang），南京大學(xué)計(jì)算機(jī)科學(xué)大三學(xué)生，研究興趣是計(jì)算機(jī)系統(tǒng)的準(zhǔn)確性、可編程性和性能。

Lingming Zhang，伊利諾伊大學(xué)香檳分校副教授，研究方向是軟件工程及其與機(jī)器學(xué)習(xí)、編程語(yǔ)言和形式化方法（Formal Methods）的協(xié)同作用。

論文地址：
https://arxiv.org/abs/2305.01210

代碼地址：
https://github.com/evalplus/evalplus