人類評(píng)估已不是NLG的最佳標(biāo)準(zhǔn)，華盛頓大學(xué)提出新觀點(diǎn)遭網(wǎng)友質(zhì)疑
評(píng)估AI生成的文本，真的太難了……
明敏 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
AI生成的文本好不好，最權(quán)威的評(píng)估者竟然不是人類自己？
最近，華盛頓大學(xué)和艾倫人工智能研究院的學(xué)者們?cè)谘芯恐邪l(fā)現(xiàn)：
未經(jīng)過(guò)訓(xùn)練的人類評(píng)估文本時(shí)，往往過(guò)分關(guān)注生成文本像不像人話，而忽略了生成文本更重要的問(wèn)題，即它的內(nèi)容是否正確、合乎邏輯。
研究人員就給出了一個(gè)例子：
他們分別讓未經(jīng)訓(xùn)練的人類和機(jī)器來(lái)評(píng)價(jià)一段GPT-3生成的文字。
這段文字翻譯過(guò)來(lái)為：
從前，有一個(gè)海盜。他是那種寧愿把時(shí)間花在驅(qū)趕在船周圍游泳的鯊魚(yú)上，也不愿駛向外國(guó)港口尋找戰(zhàn)利品的海盜。他是個(gè)好海盜，高尚的海盜，誠(chéng)實(shí)的海盜。他是個(gè)寧愿和妻兒呆在家里也不愿出海的海盜。
人類評(píng)估員認(rèn)為這段文字除了有些啰嗦外，沒(méi)什么大毛病。
這可能就是一個(gè)海盜想回家陪老婆孩子吧，AI可能沒(méi)理解，但是這也沒(méi)什么稀奇的。
機(jī)器評(píng)估也認(rèn)為這段文字很啰嗦，不過(guò)它對(duì)文段的內(nèi)容提出了質(zhì)疑：
海盜會(huì)有老婆孩子？還不和他一起在船上生活？
對(duì)比兩種判斷，人類評(píng)估更看重這段話像不像人話，在檢驗(yàn)過(guò)它的確非常流暢后，就會(huì)默認(rèn)這段文本沒(méi)什么大問(wèn)題了。
而機(jī)器的判斷角度則更加多維，會(huì)考慮到文字傳達(dá)的意思是否正確。
很難分辨出GPT-3生成的文本
為了驗(yàn)證自己的觀點(diǎn)，研究人員讓未經(jīng)訓(xùn)練的評(píng)估人員來(lái)區(qū)分人類寫(xiě)的文本和AI生成的文本。
他們選擇了故事、新聞、菜譜三種不同的文體進(jìn)行測(cè)試。
具體測(cè)試中，受試人員不僅要判斷給出的文本是否人類創(chuàng)作的，還要填寫(xiě)相應(yīng)的理由。
結(jié)果顯示，在區(qū)分人類和GPT-2創(chuàng)作的文本時(shí)，被測(cè)試群體的正確率為57.9%。
但是在區(qū)分GPT-3生成的文本上，正確率就下降到了49.9%。
而二選一問(wèn)題的隨機(jī)概率就有50%……
顯然，普通人已經(jīng)很難識(shí)別出當(dāng)下最先進(jìn)的NLG模型所生成的文本。
為了更進(jìn)一步了解受試人員是如何做出判斷的，研究人員對(duì)150個(gè)回答進(jìn)行了分析。
結(jié)果發(fā)現(xiàn)，受試人員在做出判斷后，更加傾向于從文本的格式、風(fēng)格、語(yǔ)法角度上給出理由。
150個(gè)回答中，基于文本形式的判斷幾乎是基于內(nèi)容判斷的2倍。
但是，GPT-3在文本流暢度方面的表現(xiàn)其實(shí)已經(jīng)非常出色，這或許也是為什么人類很難分辨GPT-3生成文本。
而且研究人員發(fā)現(xiàn)，受試人員給出判斷的理由都不盡相同，這也表明人類評(píng)估文本沒(méi)有一個(gè)明確的標(biāo)準(zhǔn)。
既然NLG模型訓(xùn)練后可以變強(qiáng)，那培訓(xùn)一下評(píng)估人員呢？
研究人員決定對(duì)一些受試人員進(jìn)行了培訓(xùn)，提高他們?cè)u(píng)估文字的能力和速度。
他們準(zhǔn)備了3種不同的培訓(xùn)：
第一種是給出明確的判斷標(biāo)準(zhǔn)，讓受試人員學(xué)習(xí)后來(lái)判斷；
第二種是通過(guò)大量的實(shí)例訓(xùn)練，也就是題海戰(zhàn)術(shù)；
第三種是通過(guò)不斷對(duì)比來(lái)完成訓(xùn)練。
然而結(jié)果表明，這好像并沒(méi)有什么用。
三種培訓(xùn)后的判斷正確率分別為52%、55%、53%，相較于未受訓(xùn)時(shí)的表現(xiàn)，沒(méi)有顯著提高。
不過(guò)從受試人員的回答中可以看到，更多人現(xiàn)在會(huì)多維度判斷文本了，還是有進(jìn)步的。
基于這樣的實(shí)驗(yàn)結(jié)果，研究人員認(rèn)為在評(píng)估最先進(jìn)的NLG模型方面，人類可能真的不太靠譜了。
這實(shí)驗(yàn)不太靠譜
對(duì)于這樣的結(jié)論，網(wǎng)友們提出了一些不同的看法：
判斷文本質(zhì)量其實(shí)是一件非常艱巨的任務(wù)，需要專家來(lái)進(jìn)行評(píng)估。
或許是這項(xiàng)研究中的受試人員不太行？
有人就指出了問(wèn)題所在：他們用的Amazon Mechanical Turk的評(píng)估員。
是受試人員不太行。
AMTurk作為一個(gè)眾包平臺(tái)，近年來(lái)實(shí)在是飽受詬病。
此前BBC報(bào)道稱，由于招募到的志愿者所在的地區(qū)存在一些觀念偏見(jiàn)，導(dǎo)致最后研究出的算法也存在偏見(jiàn)。
而且招募到的人員水平也常常參差不齊。
不過(guò)有人也表示：這些人可能也是最適合的，因?yàn)樗麄冏罱咏胀ù蟊娝?，專家認(rèn)為好的文字，普通人未必也這么認(rèn)為。
這要取決于生成文本的目標(biāo)人群是誰(shuí)。
實(shí)驗(yàn)中的志愿者對(duì)喬伊斯（后現(xiàn)代文學(xué)作家）的欣賞程度肯定和英文系教授不同。
盡管頂級(jí)文學(xué)評(píng)論家將其描述為“20世紀(jì)實(shí)驗(yàn)文學(xué)的偉大紀(jì)念碑之一”和“英語(yǔ)中最美麗的散文詩(shī)之一”，但對(duì)于大多數(shù)普通讀者而言，它非?；逎y懂。
此外，也有人就對(duì)這項(xiàng)研究提出了改進(jìn)建議：
我認(rèn)為他們可以用更簡(jiǎn)單的NLG算法(基于規(guī)則，n-gram, rnn)進(jìn)行更精細(xì)的分析，并對(duì)“非專家”評(píng)估者進(jìn)行排名，而不是將他們作為一個(gè)群體來(lái)處理。
而關(guān)于NLG模型生成文本的評(píng)估問(wèn)題，谷歌曾給出過(guò)一個(gè)方案。
2020年，它們提出了一個(gè)可量化評(píng)估NLG模型性能的指標(biāo)——BLEURT。
這是一個(gè)基于BERT的學(xué)習(xí)評(píng)價(jià)指標(biāo)，在學(xué)習(xí)了幾千個(gè)人類評(píng)估案例后，它可以對(duì)不同模型生成的文本進(jìn)行打分。
其最大的優(yōu)勢(shì)就是，評(píng)估速度更快。
谷歌研究人員認(rèn)為這個(gè)指標(biāo)有助于NLG模型的研究和開(kāi)發(fā)，而且可以為開(kāi)發(fā)人員提供更加多維的評(píng)判標(biāo)準(zhǔn)。
論文地址：
https://arxiv.org/pdf/2107.00061.pdf
參考鏈接：
[1]https://www.reddit.com/r/MachineLearning/comments/ok6c4k/r_human_evaluations_no_longer_the_gold_standard/
[2]https://arxiv.org/abs/2004.04696
相關(guān)閱讀
