「ChatGPT克星」升級(jí)：老師可以把全班作業(yè)丟進(jìn)去檢測(cè)了！華人作者：免費(fèi)用

十三 2023-01-31 14:40:14 來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

「ChatGPT克星」，升級(jí)了！

沒(méi)錯(cuò)，就是之前華人小哥Edward Tian所打造出來(lái)的那個(gè)GPTZero，幾秒內(nèi)就能摸清文字是人類(lèi)還是AI寫(xiě)的。

而時(shí)隔近一個(gè)月，小哥所推出的版本名叫GPTZeroX，并且他還說(shuō)：

這是專(zhuān)門(mén)為教育工作者打造的AI模型。

消息一出，立即吸引了大批網(wǎng)友涌入，一天之內(nèi)便有40萬(wàn)的訪問(wèn)量和220萬(wàn)的服務(wù)請(qǐng)求。

那么這一次，這位「ChatGPT克星」又帶來(lái)了哪些新能力？

混寫(xiě)也能測(cè)，還支持Word等格式

升級(jí)的一大特點(diǎn)，就是GPTZeroX可以檢測(cè)出來(lái)“人類(lèi)+AI”混寫(xiě)的文字內(nèi)容。

例如我們先把一段人類(lèi)寫(xiě)的新聞丟進(jìn)去檢測(cè)：

GPTZeroX在短短幾秒鐘時(shí)間內(nèi)，非常迅速的給出了答案：

Your text is likely to be written entirely by a human.

你的文本很可能完全是由人寫(xiě)的。

接下來(lái)，我們?cè)侔岩欢蜟hatGPT寫(xiě)的文字，丟進(jìn)剛才那段新聞的后邊，來(lái)一場(chǎng)混合檢測(cè)：

這一次，GPTZero給出的回答是：

Your text includes parts written by AI.

你的文本一部分是由AI編寫(xiě)的。

并且ChatGPT生成的內(nèi)容還會(huì)用黃色高亮標(biāo)記出來(lái)。

小哥對(duì)此表示：

這是教育工作者一直想要的一個(gè)關(guān)鍵功能。

但老師們檢查學(xué)生作業(yè)的時(shí)候，一段一段的把文字復(fù)制粘貼進(jìn)來(lái)也相當(dāng)繁瑣的工作了。

于是乎，這位小哥還貼心地推出了另一個(gè)新功能——可批量導(dǎo)入文件，支持Word、PDF和TXT等格式。

并且網(wǎng)站在介紹這個(gè)功能時(shí)，是這么描述的：

除此之外，為了防止服務(wù)發(fā)生崩潰，小哥還搞了一個(gè)Python API，是已經(jīng)完成壓力測(cè)試的那種。

最后，小哥還貼心地說(shuō)了一句：

我承諾，本網(wǎng)站對(duì)個(gè)體教師和教育工作者，保持免費(fèi)！

怎么做到的？

它主要靠“perplexity”，即文本的“困惑度”作為指標(biāo)來(lái)判斷所給內(nèi)容到底是誰(shuí)寫(xiě)的。

NLP領(lǐng)域的朋友們都知道，這個(gè)指標(biāo)就是用來(lái)評(píng)價(jià)一個(gè)語(yǔ)言模型的好壞的。

在這里，每當(dāng)你喂給GPTZero一段測(cè)試內(nèi)容，它就會(huì)分別計(jì)算出：

1、文字總困惑度

這個(gè)值越高，就越可能出自人類(lèi)之手。

2、所有句子的平均困惑度

句子越長(zhǎng)，這個(gè)值通常就越低。

3、每個(gè)句子的困惑度

通過(guò)條形圖的方式呈現(xiàn)，鼠標(biāo)懸浮到各個(gè)方塊就可以查看相應(yīng)的句子是什么（這里就兩塊，因?yàn)槲掖藭r(shí)輸入的測(cè)試內(nèi)容就倆句子）。

之所以要繪制這樣的條形圖，作者也作出了解釋?zhuān)?/p>

根據(jù)最新的一些研究：人類(lèi)書(shū)寫(xiě)的一些句子可能具有較低的困惑度（前面說(shuō)過(guò)，人類(lèi)的困惑度是比較高的），但隨著繼續(xù)寫(xiě)，困惑度勢(shì)必會(huì)出現(xiàn)峰值。

相反，用機(jī)器生成的文本，其困惑度是均勻分布的，并且總是很低。

除此之外，GPTZero還會(huì)挑出困惑度最高的那個(gè)句子（也就是最像人寫(xiě)的）：

反ChatGPT之風(fēng)正盛

正所謂道高一尺魔高一丈，在ChatGPT盡顯十八般武藝之際，諸如小哥GPTZero一樣“用魔法打敗魔法”的工具、研究也在層出不窮。

例如最近斯坦福大學(xué)為了不讓學(xué)生借助ChatGPT之力來(lái)寫(xiě)論文或作弊，推出了“反偵察”神器——DetectGPT。

這種方法既不需要訓(xùn)練單獨(dú)的分類(lèi)器，也不需要收集真實(shí)或生成的段落的數(shù)據(jù)集，是一種基于概率曲率的零樣本方法。

除此之外，就連OpenAI自己也聯(lián)合哈佛等高校機(jī)構(gòu)聯(lián)合打造了一款檢測(cè)器：GPT-2 Output Detector。

作者們先是發(fā)布了一個(gè)“GPT-2生成內(nèi)容”和WebText（專(zhuān)門(mén)從國(guó)外貼吧Reddit上扒下來(lái)的）數(shù)據(jù)集，讓AI理解“AI語(yǔ)言”和“人話”之間的差異。

隨后，用這個(gè)數(shù)據(jù)集對(duì)RoBERTa模型進(jìn)行微調(diào)，就得到了這個(gè)AI檢測(cè)器。其中人話一律被識(shí)別為T(mén)rue，AI生成的內(nèi)容則一律被識(shí)別為Fake。

（RoBERTa是BERT的改進(jìn)版。原始的BERT使用了13GB大小的數(shù)據(jù)集，但RoBERTa使用了包含6300萬(wàn)條英文新聞的160GB數(shù)據(jù)集。）

……

嗯，看來(lái)ChatGPT在大步向前邁的同時(shí)，順便還推動(dòng)了“反ChatGPT”研究的發(fā)展。

參考鏈接：

[1] https://twitter.com/edward_the6/status/1619874139954905090
[2] https://arxiv.org/abs/2301.11305