Science：ChatGPT縮小了打工人的差距

克雷西 2023-07-17 13:49:05 來(lái)源：量子位

克雷西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

Science正刊發(fā)表對(duì)ChatGPT的調(diào)查報(bào)告，《生成式人工智能對(duì)生產(chǎn)力影響的實(shí)驗(yàn)證據(jù)》

對(duì)于一些文書任務(wù)，ChatGPT不僅能在節(jié)省40%時(shí)間的同時(shí)提高18%的績(jī)效，還降低了不同人之間的績(jī)效差異。

MIT官方也對(duì)這一研究成果進(jìn)行了報(bào)道。

對(duì)照組也會(huì)偷用

這場(chǎng)實(shí)驗(yàn)一共邀請(qǐng)了453名受試者，分為實(shí)驗(yàn)組和對(duì)照組。

這些受試者是來(lái)自不同領(lǐng)域、受過(guò)高等教育的專業(yè)人士。

兩個(gè)組中人員的薪資水平、職業(yè)等信息如下表所示：

在為期一個(gè)月的實(shí)驗(yàn)中，他們被要求完成與職業(yè)相關(guān)的寫作任務(wù)。

這些任務(wù)包括撰寫新聞稿、簡(jiǎn)短報(bào)告、分析計(jì)劃和電子郵件，時(shí)長(zhǎng)約為20到30分鐘。

評(píng)估的指標(biāo)包括效率和質(zhì)量?jī)刹糠?，每份成果分別交由三名相關(guān)領(lǐng)域的專業(yè)人士進(jìn)行盲評(píng)（1-7分）。

結(jié)果顯示，實(shí)驗(yàn)組所用時(shí)間減少了0.75個(gè)標(biāo)準(zhǔn)差（約11分鐘），評(píng)分則提高了0.41個(gè)標(biāo)準(zhǔn)差。

如果換算成百分?jǐn)?shù)，時(shí)間縮短和質(zhì)量提高的比例分別是40%和18%。

具體而言，實(shí)驗(yàn)組首先被安排完成一項(xiàng)任務(wù)，之后注冊(cè)ChatGPT（3.5版本）。

他們被告知，如果覺(jué)得ChatGPT好用，那么就要在第二個(gè)任務(wù)中使用。

而對(duì)照組則被要求注冊(cè)一款LaTex編輯器（注冊(cè)復(fù)雜度與ChatGPT相當(dāng)），但沒(méi)有類似的告知。

結(jié)果，有80%的實(shí)驗(yàn)組人員在第二個(gè)任務(wù)中使用了ChatGPT，而對(duì)照組中只有不到5%使用了LaTex工具。

對(duì)于第二個(gè)任務(wù)，實(shí)驗(yàn)組平均耗時(shí)為17分鐘，比對(duì)照組少了10分鐘。

質(zhì)量方面，實(shí)驗(yàn)組的平均成績(jī)?yōu)?.53，對(duì)照組的平均成績(jī)則為3.802。

除了提質(zhì)增效，ChatGPT還降低了不同人之間工作質(zhì)量的差異。

根據(jù)第一個(gè)任務(wù)完成情況的不同，研究人員將這些人第二次任務(wù)的評(píng)分進(jìn)行了線性擬合。

結(jié)果顯示，實(shí)驗(yàn)組評(píng)分的擬合斜率為0.414，比對(duì)照組低了0.272。

那么這些人又是如何使用ChatGPT的呢？是直接使用輸出結(jié)果或僅做微調(diào)，還是只用來(lái)打草稿？

跟蹤結(jié)果顯示，有33%的受試者提交的是原汁原味的ChatGPT結(jié)果，而53%進(jìn)行了修改。

但這些修改可能十分微小，比如只是調(diào)整一下格式等等。

得出這一結(jié)論的理由是，他們?cè)贑hatGPT生成回復(fù)后的平均活動(dòng)之間只有3.3分鐘，且大部分位于0-2分鐘之間。

需要說(shuō)明的是，在實(shí)驗(yàn)開始之前，70%的受試人員已經(jīng)聽說(shuō)過(guò)ChatGPT，32%曾經(jīng)使用過(guò)。

所以，在實(shí)驗(yàn)過(guò)程中，研究人員發(fā)現(xiàn)，對(duì)照組中也有10~20%的人使用了ChatGPT。

這一現(xiàn)象對(duì)實(shí)驗(yàn)結(jié)果存在一定影響，研究人員利用了統(tǒng)計(jì)學(xué)方法進(jìn)行修正。

實(shí)驗(yàn)結(jié)束后，研究人員還對(duì)這些受試者進(jìn)行了兩次回訪，分別有92%和83%的人給出了回復(fù)。

第一次回訪是在實(shí)驗(yàn)結(jié)束后兩周，實(shí)驗(yàn)組和對(duì)照組分別有34%和18%的人仍在使用ChatGPT。

六周之后，也就是實(shí)驗(yàn)結(jié)束后兩個(gè)月，這組數(shù)字分別提升到了42%和27%。

綜上所述，研究人員認(rèn)為，ChatGPT在提升工作質(zhì)效方面確實(shí)有顯著作用，但其能否取代人類仍不明確。

作者簡(jiǎn)介

該研究由MIT華裔經(jīng)濟(jì)學(xué)博士生Whitney Zhang和同學(xué)Shakked Noy共同完成。

Zhang從2017年開始一直在MIT就讀，目前的研究領(lǐng)域包括行為經(jīng)濟(jì)學(xué)等經(jīng)濟(jì)學(xué)分支領(lǐng)域。

Zhang還是波士頓華人社區(qū)大學(xué)初入者幫扶項(xiàng)目導(dǎo)師。

Noy則來(lái)自新西蘭，2022年進(jìn)入MIT攻讀經(jīng)濟(jì)學(xué)博士。

論文地址：
https://www.science.org/doi/10.1126/science.adh2586
參考鏈接：
[1]https://news.mit.edu/2023/study-finds-chatgpt-boosts-worker-productivity-writing-0714
[2]https://economics.mit.edu/people/phd-students/whitney-zhang
[3]https://economics.mit.edu/people/phd-students/shakked-noy