480萬美國學(xué)生被AI監(jiān)控，每月審查百萬社交媒體和郵件信息，敏感信息當(dāng)即通知學(xué)校
郭一璞 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
前不久，幾家國內(nèi)企業(yè)用計(jì)算機(jī)視覺，或者腦機(jī)接口監(jiān)控學(xué)生上課是否認(rèn)真的消息刷了屏。
不過，把技術(shù)用在監(jiān)控學(xué)生身上，可不是中國企業(yè)獨(dú)一份的。
在美國，有一家名叫Gaggle的公司，正在用計(jì)算機(jī)視覺+人工雙重審查的方法，監(jiān)控學(xué)校里的學(xué)生們。
或許是盯著學(xué)生認(rèn)真上課這件事在美國沒什么市場，Gaggle的路線和中國公司們不一樣，監(jiān)控的是潛在的學(xué)生安全問題和不良行為，因?yàn)槊绹男@槍擊案很嚴(yán)重。
在美國，因?yàn)橛辛薌aggle公司這個(gè)系統(tǒng)，1400所學(xué)校的480萬學(xué)生被監(jiān)控，這家公司聲稱他們的系統(tǒng)已經(jīng)挽救了數(shù)百人的生命。
Gaggle的監(jiān)控方案
Gaggle的監(jiān)控列表里，潛在的安全隱患包括自殺、校園槍擊案、強(qiáng)奸猥褻、吸毒等。
在美國，自殺是少年兒童死亡的主要原因之一。Gaggle說，在2018~19學(xué)年度，他們的系統(tǒng)阻止了722名學(xué)生自殺。而這一數(shù)字背后，則是系統(tǒng)監(jiān)控出來的52000次學(xué)生提及自殺，其中有6000次相當(dāng)嚴(yán)重，系統(tǒng)立即通知了學(xué)校。
此外，校園槍擊案也是一大監(jiān)控重點(diǎn)。這個(gè)系統(tǒng)已經(jīng)用在了去年發(fā)生校園槍擊案的圣達(dá)菲（Santa Fe）高中，當(dāng)時(shí)的事件導(dǎo)致8名學(xué)生和2名老師死亡。
而具體的監(jiān)控方式，則是AI+人工。監(jiān)控內(nèi)容的入口并非國內(nèi)常見的攝像頭，而是網(wǎng)絡(luò)郵件和社交媒體信息。
Gaggle的系統(tǒng)接入了接入Google G Suite（谷歌全家桶）和Microsoft 365（微軟全家桶），郵件也會被監(jiān)控，如果學(xué)生用學(xué)校的郵箱地址注冊了Twitter，F(xiàn)acebook和Instagram，那么這些社交媒體賬戶也會被Gaggle看到。
而Gaggle看到之后，會用先AI后人工的方式來審查。
對于學(xué)生們發(fā)送內(nèi)容的文字部分，會和關(guān)鍵詞進(jìn)行對比，而圖片則重點(diǎn)判斷它是否涉黃。
文字關(guān)鍵詞分為三個(gè)類別，第一列主要是自殺自殘行為的相關(guān)詞匯，第二列則是傷害他人的詞匯，第三列是其他詞匯，包含涉黃涉毒等關(guān)鍵詞。
△?來自BuzzFeed News
你會看到其中有包含Lesbian、Gay、Queer等LGBTQ類詞匯，Gaggle給出的解釋是監(jiān)控歧視行為。
而機(jī)器檢查是不一定準(zhǔn)確的，因此后面還有第二道人工檢查。Gaggle一共有150名人工審查人員，其中125人是“一級安全代表”，24人是“受過培訓(xùn)的專業(yè)安全人員”，材料會先給一級安全代表審查，之后交給受過培訓(xùn)的專業(yè)安全人員，這些人負(fù)責(zé)將監(jiān)控到的危險(xiǎn)行為通知學(xué)校。
一級安全代表的門檻很低，時(shí)薪10美元，是遠(yuǎn)程外包，不需要什么專業(yè)背景。不過工作很輕松，每周只要工作38個(gè)小時(shí)，這群人每月審核的信息數(shù)量超過100萬條。
而受過培訓(xùn)的專業(yè)安全人員們，Gaggle稱這些人擁有法律、心理、通信、衛(wèi)生管理、教育等專業(yè)的學(xué)位。
根據(jù)監(jiān)控結(jié)果，判斷學(xué)生可能進(jìn)行某種危險(xiǎn)行為，根據(jù)以下規(guī)則來判斷應(yīng)該采取怎樣的行動(dòng)，是刪帖，還是聯(lián)系學(xué)校、學(xué)區(qū)或者學(xué)生。
審查出的結(jié)果中，最輕的是“違規(guī)”，就是觸犯了上面的關(guān)鍵詞，也能是誤報(bào)；
再嚴(yán)重一級的是“可疑內(nèi)容”，比如發(fā)色情圖片，或者網(wǎng)絡(luò)欺凌，這時(shí)學(xué)校管理員會收到警報(bào)；
最嚴(yán)重的則被稱作“可能的學(xué)生狀況（Possible Student Situation）”，Gaggle說這是對學(xué)生安全的直接威脅，比如學(xué)生“原創(chuàng)”的色情、暴力、自殺、強(qiáng)奸等內(nèi)容，出現(xiàn)這種情況，Gaggle會直接把它傳送到美國的國家失蹤與被剝削兒童中心（National Center for Missing and Exploited Children），這是一個(gè)美國國會成立的組織，也是相關(guān)兒童失蹤等信息的中心數(shù)據(jù)庫。
不過，如果沒有這么嚴(yán)重，Gaggle也會采取行動(dòng)的。他們遵循美國法律中的“三振出局法”，也就是再一再二不再三，如果一個(gè)學(xué)生連說三遍“Fuck”，學(xué)校管理員就會收到警報(bào)，說臟話的學(xué)生賬戶權(quán)限就會被限制，學(xué)生只能去找老師承認(rèn)錯(cuò)誤，請求重新開放權(quán)限。
1400所學(xué)校在用
目前，Gaggle已經(jīng)用在了1400所學(xué)校，共有480萬學(xué)生被監(jiān)控。
Gaggle是直接和美國的學(xué)區(qū)合作的，目前有17個(gè)學(xué)區(qū)直接合作，這些學(xué)區(qū)分布在加州、德州、田納西州、印第安納州、俄亥俄州、新澤西州、北卡羅來納州等多個(gè)地方。
也就是說，如果學(xué)生不想被監(jiān)控，但是自己所在的整個(gè)學(xué)區(qū)都在監(jiān)控中，那很難找到一所不受監(jiān)控的學(xué)校了。
不過，雖然是跟學(xué)區(qū)合作，費(fèi)用卻是要學(xué)校掏，Gaggle在一所學(xué)校收費(fèi)超過6萬美元。
引來非議
雖然是從學(xué)生安全出發(fā)的產(chǎn)品，但Gaggle還是受到了很多批評。
一名Gaggle監(jiān)控之下的學(xué)生說，他現(xiàn)在對別人看自己的信息已經(jīng)習(xí)以為常了。
也有人認(rèn)為這種監(jiān)控不合法，學(xué)生應(yīng)該享有隱私權(quán)。
也有人質(zhì)疑，擔(dān)心Gaggle這家公司不會好好處理這些收集上來的信息，萬一賣到別處去就麻煩了。
甚至，一位加州議會候選人還公開表示反對，說如果自己當(dāng)選就終結(jié)掉這種“專橫的政府行為”。
最后，你怎么看待這種用在學(xué)校的技術(shù)+人工監(jiān)控方式？
