ChatGPT標(biāo)注數(shù)據(jù)比人類便宜20倍，80%任務(wù)上占優(yōu)勢 | 蘇黎世大學(xué)
你覺得你的飯碗還保得住嗎？
Pine 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
又一“人類飯碗”被AI搶走，還是和訓(xùn)練AI息息相關(guān)的：
數(shù)據(jù)標(biāo)注。
蘇黎世大學(xué)研究發(fā)現(xiàn)，在ChatGPT面前，無論成本還是效率，人類可以說是毫無優(yōu)勢：
- 成本上，ChatGPT平均每個(gè)標(biāo)注成本低于0.003美元，比眾包平臺便宜20倍；
- 效率上，在相關(guān)性、立場、主題等任務(wù)中，ChatGPT也是以4:1的優(yōu)勢“碾壓”人類。
論文發(fā)出后，有網(wǎng)友調(diào)侃，“生成訓(xùn)練數(shù)據(jù)需要人工”的說法已經(jīng)成為過去式了。
還有人直呼“古籍修復(fù)數(shù)字化工作是不是有希望提速了”。
還有人看熱鬧不嫌事大，直接發(fā)推稱：
這是直接端了平臺工作者的飯碗。
話說回來，ChatGPT是怎么搶了數(shù)據(jù)標(biāo)注工作者的“飯碗”的？
ChatGPT在80%任務(wù)上占優(yōu)勢
首先得先了解下數(shù)據(jù)標(biāo)注工作的具體內(nèi)容。
簡單來講，數(shù)據(jù)標(biāo)注就是給社交媒體上的內(nèi)容數(shù)據(jù)貼標(biāo)簽，將其以不同主題或者概念進(jìn)行分類，或是對其立場以及情緒進(jìn)行判別。
這些經(jīng)過標(biāo)注的數(shù)據(jù)就可以用作NLP模型的訓(xùn)練集或是評估標(biāo)準(zhǔn)。
以往，這類工作都是交由人工處理的，比如說MTurk就是專門進(jìn)行數(shù)據(jù)標(biāo)注的一個(gè)眾包平臺。
在MTurk這類眾包平臺內(nèi)部，還會有更加精細(xì)的分工，比如說會有經(jīng)過專業(yè)訓(xùn)練的數(shù)據(jù)標(biāo)注者以及眾包工作者。
前者在產(chǎn)出高質(zhì)量數(shù)據(jù)上具有優(yōu)勢，但自然成本也更高，而后者雖然更便宜但質(zhì)量也會隨任務(wù)難度波動。
于是研究團(tuán)隊(duì)就開始著手研究大語言模型（LLM）在這方面的潛力，并且對比了沒有額外訓(xùn)練（zero-shot）的ChatGPT（基于GPT-3.5）和MTurk在數(shù)據(jù)標(biāo)注上的性能。
這項(xiàng)對比基于研究團(tuán)隊(duì)此前收集到的2382條推文樣本。
ChatGPT和MTurk分別將推文以“相關(guān)性、立場、主題、政策、實(shí)用性”這五種任務(wù)進(jìn)行標(biāo)注。
評估的標(biāo)準(zhǔn)有兩條：
- 準(zhǔn)確性：ChatGPT和MTurk眾包工作者相較于正確標(biāo)注的百分比；
- 編碼者間的一致性信度：用ChatGPT、MTurk眾包工作者以及專業(yè)數(shù)據(jù)標(biāo)注者任意二者之間的一致性來計(jì)算；
結(jié)果呢也顯而易見，在準(zhǔn)確性上，ChatGPT有五分之四的任務(wù)都要優(yōu)于MTurk眾包工作者。
在一致性信度上，ChatGPT全部任務(wù)都超過了專業(yè)數(shù)據(jù)標(biāo)注者。
成本方面，開頭也已經(jīng)提過，ChatGPT平均每條比人工便宜20倍，何況AI還能24*7無休。
不過對于研究團(tuán)隊(duì)得出的這個(gè)結(jié)論并不是所有網(wǎng)友都買賬，有人表示：
這五條任務(wù)都太單一了，難度也是。僅憑這一點(diǎn)就得出這樣的結(jié)論可靠性存疑。
甚至還有網(wǎng)友嘲諷了起研究樣本太少來：
（竟然）只用2382條推文做樣本。
“飯碗威脅”不止數(shù)據(jù)標(biāo)注
現(xiàn)在，AI會不會完全取代某一類工作還不好說，但它會在一定程度上影響人類工作是毋庸置疑的。
上周，OpenAI就發(fā)布過一份分析報(bào)告，稱有80%的工作都會在一定程度上受到ChatGPT的影響，19%的崗位會受到ChatGPT的嚴(yán)重沖擊。
并且薪資越高的職業(yè)受到的沖擊就越大。
OpenAI還進(jìn)一步列出了會被影響的具體職業(yè)，從大到小依次是：
翻譯從業(yè)者、文字創(chuàng)作者（包括詩人、作家等）、公關(guān)人員、數(shù)學(xué)家、稅務(wù)編制人員、區(qū)塊鏈工程師、財(cái)務(wù)工作者、媒體從業(yè)者……
除此之外，OpenAI的CEO奧特曼也不止在一個(gè)場合下說過“AI會取代現(xiàn)有的部分工作”。
前不久，MidjourneyV5大升級也是讓不少人類畫師直呼飯碗不保。
emmmmmm，你覺得你的飯碗還保得住嗎？
論文地址：
https://arxiv.org/abs/2303.15056
參考鏈接：
https://twitter.com/arankomatsuzaki/status/1640521970608402435
相關(guān)閱讀
