ChatGPT變笨新解釋：世界被AI改變，與訓(xùn)練時(shí)不同了

夢晨 2024-01-01 17:19:52 來源：量子位

夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

對于ChatGPT變笨原因，學(xué)術(shù)界又有了一種新解釋。

加州大學(xué)圣克魯茲分校一項(xiàng)研究指出：

在訓(xùn)練數(shù)據(jù)截止之前的任務(wù)上，大模型表現(xiàn)明顯更好。

論文重點(diǎn)研究了“任務(wù)污染”問題，也就是大模型在訓(xùn)練時(shí)期就見識(shí)過很多任務(wù)示例，給人一種AI擁有零樣本或少樣本能力的錯(cuò)誤印象。

也有學(xué)者從另一個(gè)角度指出，大模型訓(xùn)練后參數(shù)凍結(jié)，人們不斷提出新的任務(wù)也就是輸入分布不斷變化。如果模型不能不斷適應(yīng)這種變化，就表現(xiàn)成能力慢慢退化。

人們以為只提了個(gè)問題AI就能回答，其實(shí)是在訓(xùn)練時(shí)見過大多數(shù)常見任務(wù)。

隨時(shí)間推移，人們開始提出更多新問題，AI表現(xiàn)就不行了。

比如對于代碼問題，編程語言還在持續(xù)發(fā)展變化，遲早有一天效率會(huì)低到不可接受。

這是所有不具備持續(xù)學(xué)習(xí)能力模型的命運(yùn)。

任務(wù)污染有多嚴(yán)重？

研究團(tuán)隊(duì)一共評估了12種模型，從ChatGPT之前的GPT-3系列、OPT、Bloom，到最新的GPT-3.5-turbo、羊駝家族Llama、Alpaca和Vicuna等。

它們都存在類似問題，也就是在訓(xùn)練截止之前的任務(wù)上表現(xiàn)明顯更好。

評估任務(wù)污染非常困難，閉源模型根本不會(huì)公布訓(xùn)練數(shù)據(jù)，大多數(shù)開源模型也只是生命了來源，而不發(fā)布數(shù)據(jù)本身。

如果研究者重新爬取互聯(lián)網(wǎng)數(shù)據(jù)，也有可能與模型訓(xùn)練時(shí)相比發(fā)生了變化。

對此，團(tuán)隊(duì)采用4種方法來測量任務(wù)污染程度：

• 檢查訓(xùn)練數(shù)據(jù)：直接搜索有沒有相應(yīng)的任務(wù)示例

在開源模型Alpaca和Vicuna上，存在訓(xùn)練數(shù)據(jù)污染的任務(wù)表現(xiàn)就比原版Llama更好的趨勢明顯。

• 提取任務(wù)示例：通過調(diào)整提示詞，讓模型自己把訓(xùn)練數(shù)據(jù)中的任務(wù)示例背出來

從GPT-3 davinci-001版本到GPT-3.5-Turbo，這個(gè)問題越來越嚴(yán)重了。

圖中X代表模型復(fù)述出了訓(xùn)練數(shù)據(jù)數(shù)據(jù)中的原始任務(wù)示例，綠色代表經(jīng)過指令微調(diào)的模型沒有復(fù)述訓(xùn)練數(shù)據(jù)。

灰色代表未經(jīng)過指令微調(diào)的模型無法根據(jù)提示詞指示復(fù)述訓(xùn)練數(shù)據(jù)，但不代表問題不存在。

• 成員推斷（只適用于生成任務(wù)）：檢查模型生成的答案是否與原始數(shù)據(jù)完全相同

• 按時(shí)間順序分析：對于已知訓(xùn)練數(shù)據(jù)收集時(shí)間的模型，測量已知發(fā)布時(shí)間數(shù)據(jù)集上的表現(xiàn)并使用按時(shí)間順序的證據(jù)檢查數(shù)據(jù)污染證據(jù)

前三種方法精度較高，但召回率較低。如果在任務(wù)的訓(xùn)練數(shù)據(jù)中找到數(shù)據(jù)，則可以肯定它已經(jīng)看到了示例。

但由于數(shù)據(jù)格式的變化、關(guān)鍵字的變化以及數(shù)據(jù)集的大小，使用前三種方法沒有找到證據(jù)并不意味著數(shù)據(jù)污染不存在。

第四種方法召回率高但精度低，容易受干擾因素影響。

特別是對于GPT-3系列，目前人們假設(shè)其能力提高來自于指令微調(diào)，但研究團(tuán)隊(duì)認(rèn)為事實(shí)并非如此。

雖然在2021年之前的數(shù)據(jù)集上，davinci-002比davinci-001的性能有所提高，但在2021年之后的數(shù)據(jù)集上性能卻相應(yīng)下降，

通這表明GPT-3系列的指令微調(diào)只適用于某些早期數(shù)據(jù)集。

最后團(tuán)隊(duì)的結(jié)論為：

• 由于任務(wù)污染，閉源模型可能會(huì)在零樣本或少樣本評估中表現(xiàn)的比實(shí)際好，特別是經(jīng)過RLHF微調(diào)的模型。污染的程度仍不清楚，因此我們建議謹(jǐn)慎行事。
• 在實(shí)驗(yàn)中，對于沒有任務(wù)污染可能性的分類任務(wù)，大模型很少在零樣本和少樣本設(shè)置中表現(xiàn)出相對于大多數(shù)基線具有統(tǒng)計(jì)學(xué)意義的顯著改進(jìn)。
• 隨著時(shí)間推移，觀察到GPT-3系列模型在許多下游任務(wù)的的零樣本或少樣本性能有所增加，這可能是由于任務(wù)污染造成的。
• 即使對于開源模型，檢查訓(xùn)練數(shù)據(jù)的任務(wù)污染也很困難。
• 鼓勵(lì)公開發(fā)布訓(xùn)練數(shù)據(jù)，以便檢查任務(wù)污染問題。

有人總結(jié)到：

用現(xiàn)有數(shù)據(jù)訓(xùn)練AI

人們過多使用AI，以至于改變了現(xiàn)實(shí)世界

AI無法適應(yīng)改變后的世界，變得低效

這是一個(gè)循環(huán)。

論文：
https://arxiv.org/abs/2312.16337

參考鏈接：
[1]https://twitter.com/ChombaBupe/status/1741531065032798360