人類評估已不是NLG的最佳標(biāo)準(zhǔn)，華盛頓大學(xué)提出新觀點(diǎn)遭網(wǎng)友質(zhì)疑

明敏 2021-07-16 12:14:02 來源：量子位

明敏 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

AI生成的文本好不好，最權(quán)威的評估者竟然不是人類自己？

最近，華盛頓大學(xué)和艾倫人工智能研究院的學(xué)者們在研究中發(fā)現(xiàn)：

未經(jīng)過訓(xùn)練的人類評估文本時(shí)，往往過分關(guān)注生成文本像不像人話，而忽略了生成文本更重要的問題，即它的內(nèi)容是否正確、合乎邏輯。

研究人員就給出了一個(gè)例子：

他們分別讓未經(jīng)訓(xùn)練的人類和機(jī)器來評價(jià)一段GPT-3生成的文字。

這段文字翻譯過來為：

從前，有一個(gè)海盜。他是那種寧愿把時(shí)間花在驅(qū)趕在船周圍游泳的鯊魚上，也不愿駛向外國港口尋找戰(zhàn)利品的海盜。他是個(gè)好海盜，高尚的海盜，誠實(shí)的海盜。他是個(gè)寧愿和妻兒呆在家里也不愿出海的海盜。

人類評估員認(rèn)為這段文字除了有些啰嗦外，沒什么大毛病。

這可能就是一個(gè)海盜想回家陪老婆孩子吧，AI可能沒理解，但是這也沒什么稀奇的。

機(jī)器評估也認(rèn)為這段文字很啰嗦，不過它對文段的內(nèi)容提出了質(zhì)疑：

海盜會(huì)有老婆孩子？還不和他一起在船上生活？

對比兩種判斷，人類評估更看重這段話像不像人話，在檢驗(yàn)過它的確非常流暢后，就會(huì)默認(rèn)這段文本沒什么大問題了。

而機(jī)器的判斷角度則更加多維，會(huì)考慮到文字傳達(dá)的意思是否正確。

很難分辨出GPT-3生成的文本

為了驗(yàn)證自己的觀點(diǎn)，研究人員讓未經(jīng)訓(xùn)練的評估人員來區(qū)分人類寫的文本和AI生成的文本。

他們選擇了故事、新聞、菜譜三種不同的文體進(jìn)行測試。

具體測試中，受試人員不僅要判斷給出的文本是否人類創(chuàng)作的，還要填寫相應(yīng)的理由。

結(jié)果顯示，在區(qū)分人類和GPT-2創(chuàng)作的文本時(shí)，被測試群體的正確率為57.9%。

但是在區(qū)分GPT-3生成的文本上，正確率就下降到了49.9%。

而二選一問題的隨機(jī)概率就有50%……

顯然，普通人已經(jīng)很難識(shí)別出當(dāng)下最先進(jìn)的NLG模型所生成的文本。

為了更進(jìn)一步了解受試人員是如何做出判斷的，研究人員對150個(gè)回答進(jìn)行了分析。

結(jié)果發(fā)現(xiàn)，受試人員在做出判斷后，更加傾向于從文本的格式、風(fēng)格、語法角度上給出理由。

150個(gè)回答中，基于文本形式的判斷幾乎是基于內(nèi)容判斷的2倍。

但是，GPT-3在文本流暢度方面的表現(xiàn)其實(shí)已經(jīng)非常出色，這或許也是為什么人類很難分辨GPT-3生成文本。

而且研究人員發(fā)現(xiàn)，受試人員給出判斷的理由都不盡相同，這也表明人類評估文本沒有一個(gè)明確的標(biāo)準(zhǔn)。

既然NLG模型訓(xùn)練后可以變強(qiáng)，那培訓(xùn)一下評估人員呢？

研究人員決定對一些受試人員進(jìn)行了培訓(xùn)，提高他們評估文字的能力和速度。

他們準(zhǔn)備了3種不同的培訓(xùn)：

第一種是給出明確的判斷標(biāo)準(zhǔn)，讓受試人員學(xué)習(xí)后來判斷；

第二種是通過大量的實(shí)例訓(xùn)練，也就是題海戰(zhàn)術(shù)；

第三種是通過不斷對比來完成訓(xùn)練。

然而結(jié)果表明，這好像并沒有什么用。

三種培訓(xùn)后的判斷正確率分別為52%、55%、53%，相較于未受訓(xùn)時(shí)的表現(xiàn)，沒有顯著提高。

不過從受試人員的回答中可以看到，更多人現(xiàn)在會(huì)多維度判斷文本了，還是有進(jìn)步的。

基于這樣的實(shí)驗(yàn)結(jié)果，研究人員認(rèn)為在評估最先進(jìn)的NLG模型方面，人類可能真的不太靠譜了。

這實(shí)驗(yàn)不太靠譜

對于這樣的結(jié)論，網(wǎng)友們提出了一些不同的看法：

判斷文本質(zhì)量其實(shí)是一件非常艱巨的任務(wù)，需要專家來進(jìn)行評估。

或許是這項(xiàng)研究中的受試人員不太行？

有人就指出了問題所在：他們用的Amazon Mechanical Turk的評估員。

是受試人員不太行。

AMTurk作為一個(gè)眾包平臺(tái)，近年來實(shí)在是飽受詬病。

此前BBC報(bào)道稱，由于招募到的志愿者所在的地區(qū)存在一些觀念偏見，導(dǎo)致最后研究出的算法也存在偏見。

而且招募到的人員水平也常常參差不齊。

不過有人也表示：這些人可能也是最適合的，因?yàn)樗麄冏罱咏胀ù蟊娝?，專家認(rèn)為好的文字，普通人未必也這么認(rèn)為。

這要取決于生成文本的目標(biāo)人群是誰。

實(shí)驗(yàn)中的志愿者對喬伊斯（后現(xiàn)代文學(xué)作家）的欣賞程度肯定和英文系教授不同。

盡管頂級文學(xué)評論家將其描述為“20世紀(jì)實(shí)驗(yàn)文學(xué)的偉大紀(jì)念碑之一”和“英語中最美麗的散文詩之一”，但對于大多數(shù)普通讀者而言，它非?；逎y懂。

此外，也有人就對這項(xiàng)研究提出了改進(jìn)建議：

我認(rèn)為他們可以用更簡單的NLG算法(基于規(guī)則，n-gram, rnn)進(jìn)行更精細(xì)的分析，并對“非專家”評估者進(jìn)行排名，而不是將他們作為一個(gè)群體來處理。

而關(guān)于NLG模型生成文本的評估問題，谷歌曾給出過一個(gè)方案。

2020年，它們提出了一個(gè)可量化評估NLG模型性能的指標(biāo)——BLEURT。

這是一個(gè)基于BERT的學(xué)習(xí)評價(jià)指標(biāo)，在學(xué)習(xí)了幾千個(gè)人類評估案例后，它可以對不同模型生成的文本進(jìn)行打分。

其最大的優(yōu)勢就是，評估速度更快。

谷歌研究人員認(rèn)為這個(gè)指標(biāo)有助于NLG模型的研究和開發(fā)，而且可以為開發(fā)人員提供更加多維的評判標(biāo)準(zhǔn)。

論文地址：
https://arxiv.org/pdf/2107.00061.pdf

參考鏈接：
[1]https://www.reddit.com/r/MachineLearning/comments/ok6c4k/r_human_evaluations_no_longer_the_gold_standard/
[2]https://arxiv.org/abs/2004.04696