逼學(xué)生作弊的AI閱卷老師

曉查 2020-09-06 12:50:42 來(lái)源：量子位

邊策 蕭簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

上學(xué)的時(shí)候，老師一定教導(dǎo)過(guò)你：遇到不會(huì)的問(wèn)答題，就算是瞎寫(xiě)，也要隨便寫(xiě)兩句。也許閱卷老師心情好，可能會(huì)酌情給分呢。

老師會(huì)不會(huì)給分，不知道。但是，AI真的會(huì)給分，甚至可能是滿(mǎn)分，即使你什么也不知道。

最近，一個(gè)號(hào)稱(chēng)服務(wù)于美國(guó)2萬(wàn)所學(xué)校的AI教學(xué)平臺(tái)翻車(chē)了，利用它的漏洞去“裸考”就能輕松及格，簡(jiǎn)直就是“學(xué)渣福音”。

翻車(chē)過(guò)程

事情的起因是這樣的：

一位美國(guó)家長(zhǎng)Dana有一天發(fā)現(xiàn)，她正在讀七年級(jí)的兒子突然哭了。因?yàn)橛械罋v史題，孩子只拿了50%的分?jǐn)?shù)。

這意味著他必須把剩下題目全部答對(duì)，否則就會(huì)不及格。

這道題問(wèn)的是：君士坦丁堡的地理位置是如何幫助拜占庭帝國(guó)變得富有強(qiáng)大的？

而孩子的回答是基本沒(méi)有問(wèn)題的。（請(qǐng)忽略最后一句話，這句話不是孩子寫(xiě)的，原因后面自見(jiàn)分曉。）

一開(kāi)始，Dana覺(jué)得，改卷子的老師是不是太苛刻？她這樣安慰?jī)鹤印?/p>

但是孩子說(shuō)，他把答案提交1秒后就得到了分?jǐn)?shù)。所以Dana意識(shí)到，批閱試卷的應(yīng)該不是人，而是AI。

Dana對(duì)技術(shù)有一定的了解，她覺(jué)得，AI系統(tǒng)很可能是根據(jù)關(guān)鍵詞來(lái)評(píng)分。為了驗(yàn)證自己的想法，他把兒子的作業(yè)做了一遍。

她嘗試在答案里加入“財(cái)富、商隊(duì)、中國(guó)、印度”，也就是上圖中的最后一句，反正能想到的關(guān)鍵詞都一股腦兒填進(jìn)去。

奇跡出現(xiàn)了，這道題她拿了滿(mǎn)分。即使這些關(guān)鍵詞之間沒(méi)有任何串聯(lián)。

單詞沙拉——Dana找到了一種獲得高分的好辦法，就是把所有可能的關(guān)鍵詞組合起來(lái)，總有能蒙對(duì)的。這種方法對(duì)短問(wèn)答題尤其有效。

當(dāng)然，這只是Dana本人的猜測(cè)。實(shí)際上這家公司在官方的幫助中心里已經(jīng)承認(rèn)了：我們就是按照關(guān)鍵詞的百分比來(lái)評(píng)分的。

沒(méi)有關(guān)鍵詞0分，有一個(gè)就拿一點(diǎn)分，全部命中拿100分。

繞過(guò)AI的作弊“妙招”

提供這項(xiàng)AI評(píng)分技術(shù)的公司叫做Edgenuity。

新冠疫情讓美國(guó)的不少學(xué)校無(wú)法開(kāi)學(xué)，學(xué)生只能在家學(xué)習(xí)，所以很多學(xué)校就用上了Edgenuity的遠(yuǎn)程教學(xué)和考試方案。

而Edgenuity的AI評(píng)分問(wèn)題早已有之，只是最近才被外媒發(fā)現(xiàn)。

一周前，有網(wǎng)友抱怨自己只拿了0分，很多人就指出了Edgenuity是靠關(guān)鍵詞評(píng)分的事實(shí)。

一位多年前使用過(guò)該系統(tǒng)的高中生說(shuō)，他當(dāng)年就發(fā)現(xiàn)了這個(gè)作弊方法。當(dāng)他完全不知道怎么答題的時(shí)候，就在回答框里填入各種單詞，而且“經(jīng)常會(huì)奏效”。

還有學(xué)生發(fā)現(xiàn)，把問(wèn)題粘貼到答案里也可以得分，因?yàn)閱?wèn)題里常常包含了關(guān)鍵詞。

想當(dāng)年老師說(shuō)過(guò)，遇到不會(huì)的問(wèn)答題，把問(wèn)題抄一遍。誠(chéng)不欺我也！AI真的比閱卷老師還好說(shuō)話。

有些學(xué)生告訴記者，他們?cè)谏蠈W(xué)期都使用了這個(gè)技巧，并每次都考到了不錯(cuò)的分?jǐn)?shù)。

如果你去Google搜索Edgenuity，那么就會(huì)發(fā)現(xiàn)，“如何在Edgenuity里作弊”一直處在熱搜的位置。

在Reddit論壇的Edgenuity板塊里，學(xué)生們公然討論著如何作弊。這款號(hào)稱(chēng)防作弊、自動(dòng)判卷子的Edgenuity其實(shí)漏洞百出。

進(jìn)入這個(gè)鏈接后，真是打開(kāi)了新世界的大門(mén)，原來(lái)美國(guó)中學(xué)生對(duì)如何在AI系統(tǒng)中作弊有著頗深的研究。

Edgenuity不是可以防止學(xué)生開(kāi)網(wǎng)頁(yè)找答案嗎？沒(méi)問(wèn)題。

設(shè)置瀏覽器在關(guān)閉時(shí)刪除緩存和Cookie，打開(kāi)另一個(gè)瀏覽器窗口作為搜索答案使用，滿(mǎn)分so easy。

其實(shí)也不必這么麻煩，現(xiàn)在智能手機(jī)這么發(fā)達(dá)，去Brainly（類(lèi)似于國(guó)內(nèi)的作業(yè)幫）找一下答案就好。反正手機(jī)和電腦是分開(kāi)的嘛。

也就是說(shuō)，Edgenuity必須和人類(lèi)教師結(jié)合，需要人類(lèi)幫忙在線監(jiān)考、審核閱卷結(jié)果，這樣才能發(fā)揮其功效。

顯然，美國(guó)的一些教師偷懶了。

超過(guò)2萬(wàn)所美國(guó)學(xué)校在用

那么，這家生產(chǎn)“人工智障”的公司Edgenuity，究竟是什么來(lái)頭？

事實(shí)上，1998年就成立的Edgenuity，是美國(guó)K-12市場(chǎng)的在線課程和教學(xué)服務(wù)的領(lǐng)先供應(yīng)商。

2011年，Edgenuity以5000萬(wàn)美元被Weld North收購(gòu)后，目前已經(jīng)有超過(guò)2萬(wàn)所學(xué)校使用這個(gè)教學(xué)平臺(tái)，包括全美排名前25的學(xué)區(qū)中的20個(gè)。

也就是說(shuō)，全美國(guó)教育資源最頂尖的地區(qū)，80%都能見(jiàn)到Edgenuity的身影。

不過(guò)，原先的Edgenuity，主要是一家教育內(nèi)容提供商，但它于2016年收購(gòu)了一家名為Compass Learning的教育軟件提供商。

Compass Learning成立于1964年，主要負(fù)責(zé)做小學(xué)和中學(xué)階段的學(xué)習(xí)評(píng)測(cè)軟件，被收購(gòu)時(shí)，已經(jīng)有超過(guò)200萬(wàn)個(gè)美國(guó)學(xué)生、1萬(wàn)多所美國(guó)學(xué)校在使用。

前段時(shí)間有網(wǎng)友回憶起曾經(jīng)被Compass Learning相關(guān)軟件支配的恐懼，在社交媒體上獲得了網(wǎng)友的激烈響應(yīng)。

現(xiàn)在由于疫情原因，大部分美國(guó)學(xué)校將目光轉(zhuǎn)向了在線教育課程，其中一些學(xué)校更是直接將教學(xué)和測(cè)驗(yàn)都外包給了像Edgenuity這樣的在線教育公司。

針對(duì)此事，Edgenuity做出了回應(yīng)，稱(chēng)AI打分永遠(yuǎn)只會(huì)提供“算法上的指導(dǎo)”，不能決定學(xué)生的課程成績(jī)。

Edgenuity不會(huì)使用算法去代替教師評(píng)分，只會(huì)提供一個(gè)打分參考。老師們有能力接受或否定推薦的分?jǐn)?shù)。AI不會(huì)為測(cè)試打分，也不會(huì)決定學(xué)生的測(cè)試成績(jī)。

但即便如此，Edgenuity的影響卻還在美國(guó)擴(kuò)大。

據(jù)美通社消息，Edgenuity近日獲得了2020年的卓越教學(xué)獎(jiǎng)（Tech & Learning Awards of Excellence），全球教育最具代表性之一的EdTech獎(jiǎng)項(xiàng)（the EdTech Cool Tool Awards），美國(guó)“軟件與信息產(chǎn)業(yè)協(xié)會(huì)”（SIIA）唯一核心大獎(jiǎng)（the CODiE Awards），以及技術(shù)教育獎(jiǎng)（the Tech Edvocate Awards）。

這些“經(jīng)過(guò)專(zhuān)家評(píng)估的”專(zhuān)業(yè)技術(shù)獎(jiǎng)項(xiàng)，使得Edgenuity成為在線以及K-12教育更具影響力的公司。

AI閱卷老師，國(guó)內(nèi)也有

事實(shí)上，AI改卷老師，并非只有國(guó)外才有。

早在2017年，阿里就推出了AI批閱中文試卷的系統(tǒng)，產(chǎn)出了“全球第一份機(jī)器人批改的作文”。

據(jù)搜狐報(bào)道，在浙江外國(guó)語(yǔ)學(xué)院國(guó)際學(xué)院，阿里AI為來(lái)自俄羅斯、韓國(guó)等11位留學(xué)生批閱了中文試卷，“批閱一篇試卷的時(shí)間通常只需要40秒”。

簡(jiǎn)直比批閱高考作文的老師看得還快。

不過(guò)看起來(lái)，AI改作文的主要標(biāo)準(zhǔn)，是集中在“糾正語(yǔ)法”上。

例如，在“請(qǐng)寫(xiě)一寫(xiě)你的愛(ài)好”的命題作文下，一位學(xué)生提到自己的愛(ài)好是中文，并在作文中寫(xiě)道：“中文的難點(diǎn)并非是字，而是像女朋友一樣善變。我是不會(huì)放棄的，除非中國(guó)人也放棄我才會(huì)放棄?！?/p>

△ 圖片源自搜狐

對(duì)于這兩句話，一位漢語(yǔ)系教授表示：“我教了14年的中文，不認(rèn)真看還真沒(méi)看出問(wèn)題。但事實(shí)證明，這兩句話都是病句，存在雜糅和重復(fù)的錯(cuò)誤?！?/p>

據(jù)悉，阿里開(kāi)發(fā)這套閱卷系統(tǒng)的主要目的，是教外國(guó)人學(xué)中文，所以在語(yǔ)法方面會(huì)有嚴(yán)苛的要求。

如果說(shuō)阿里的閱卷系統(tǒng)還是個(gè)小范圍的嘗試，科大訊飛已經(jīng)將之應(yīng)用到實(shí)際考試中了。

據(jù)了解，早在2016年，我國(guó)教育考試中心就和科大訊飛成立了聯(lián)合實(shí)驗(yàn)室，共同開(kāi)展人工智能技術(shù)在閱卷、命題、考試評(píng)價(jià)分析等方面的研究。

而在2017年，湖北襄陽(yáng)就已經(jīng)正式在中考評(píng)卷工作中引入了該機(jī)器評(píng)分系統(tǒng)作為評(píng)分輔助手段。

據(jù)了解，這個(gè)系統(tǒng)基于科大訊飛自主知識(shí)產(chǎn)權(quán)的手寫(xiě)識(shí)別、自然語(yǔ)言理解、智能評(píng)測(cè)等人工智能核心技術(shù)設(shè)計(jì)研發(fā)，能夠?qū)崿F(xiàn)對(duì)除選擇題以外的所有題型的空白題檢測(cè)。

不僅如此，還能改主觀題，對(duì)語(yǔ)文作文、英語(yǔ)作文、英語(yǔ)翻譯、文綜類(lèi)簡(jiǎn)答題、英語(yǔ)填空題題型進(jìn)行計(jì)算機(jī)智能評(píng)卷。

同時(shí)，也能針對(duì)語(yǔ)文作文與英語(yǔ)作文，有效地檢測(cè)出考生抄襲范文的異常答卷，有效降低主觀題人工評(píng)卷的工作量。

然而，卻有微博網(wǎng)友發(fā)現(xiàn)了國(guó)內(nèi)AI閱卷系統(tǒng)翻車(chē)的情況。

從圖中來(lái)看，這個(gè)名為奇點(diǎn)學(xué)院的APP，在批改數(shù)學(xué)題的時(shí)候，要求答案只能與它的公式“完全一致”，其他步驟即使是對(duì)的，也不給滿(mǎn)分。

△ 圖片源自微博 @安托利婭

哪怕是推導(dǎo)過(guò)程無(wú)誤，答案正確的情況下，10分的題目也只給了7.5分。

那么，你相信AI改試卷比人民教師靠譜嗎？

參考鏈接：

https://www.theverge.com/2020/9/2/21419012/edgenuity-online-class-ai-grading-keyword-mashing-students-school-cheating-algorithm-glitch

https://twitter.com/DanaJSimmons/status/1300997133311508480

https://www.reddit.com/r/edgenuity/comments/gbmx2l/how_do_i_successfully_cheat_on_edgenuity_without/

https://finance.yahoo.com/news/edgenuity-announces-recognitions-tech-learning-140000177.html