「看臉識罪犯」？這樣的研究能發(fā)表，LeCun等1700名研究者怒了
Springer已緊急撤稿
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
看面相，就能算出一個(gè)人會不會犯罪？
這種《少數(shù)派報(bào)告》式的研究，還真有人做了：依靠面部識別技術(shù)，僅憑照片，來預(yù)測某個(gè)人是否是罪犯。
論文被學(xué)術(shù)出版商Springer Nature接收，計(jì)劃刊載在《Springer Nature-研究叢書：計(jì)算科學(xué)與計(jì)算智能學(xué)報(bào)》上。
這個(gè)消息，讓包括LeCun在內(nèi)的，來自哈佛、MIT、谷歌和微軟等機(jī)構(gòu)的1700名教授、研究人員怒了：
這種論文寫出來也就算了，Springer Nature這個(gè)看上去濃眉大眼的學(xué)術(shù)出版商，竟然還要公開刊載？
于是，他們給Springer Nature寫了一封聯(lián)名信，嚴(yán)正要求出版商撤回論文，并承諾不再發(fā)表類似研究。
機(jī)器學(xué)習(xí)，反而會放大歧視
盡管論文的作者稱，其算法具有「80%的準(zhǔn)確性，并且沒有種族偏見」，但聯(lián)名發(fā)信的AI研究者們認(rèn)為：
根本沒有辦法開發(fā)出沒有種族偏見的預(yù)測犯罪系統(tǒng)，因?yàn)閿?shù)據(jù)本身就是含有偏見的。
所謂「沒有種族偏見」，實(shí)際上是把算法偏見和社會偏見混為一談。
信中強(qiáng)調(diào)了這樣的觀點(diǎn)：刑事司法系統(tǒng)產(chǎn)生的數(shù)據(jù)不能用于「識別罪犯」或預(yù)測犯罪行為。
要用讓AI通過看「面向」，預(yù)測犯罪，看似不偏不倚，但實(shí)際上基于一個(gè)假設(shè)前提：有關(guān)犯罪逮捕和定罪的數(shù)據(jù)，都是可靠、中立、無偏見的。
然鵝，引爆全美的喬治·弗洛伊德事件已經(jīng)再一次用事實(shí)表明，這個(gè)假設(shè)是不成立的——這些數(shù)據(jù)當(dāng)中，本身就記錄了現(xiàn)實(shí)中存在的社會偏見。
信中談到，這一關(guān)乎數(shù)據(jù)有效性的基本問題，無法通過數(shù)據(jù)清洗和收集更多數(shù)據(jù)來解決。
即使研究人員本身不帶有任何偏見，機(jī)器學(xué)習(xí)模型也會繼承數(shù)據(jù)集中的偏見，甚至放大歧視性結(jié)果。
此外，還有一個(gè)更重要的問題。
人臉識別技術(shù)之所以能取得現(xiàn)在的成績，是因?yàn)樯婕暗降娜蝿?wù)不存在不確定性。舉個(gè)例子，給出兩張照片，AI只需要判斷是不是同一個(gè)人就行了。
但是，面部特征和犯罪，真的存在這樣的邏輯關(guān)系嗎？
「犯罪身體特征」，恐怕根本是個(gè)偽命題。
因此，犯罪預(yù)測技術(shù)，再現(xiàn)了不公正現(xiàn)象，并且有害。
于是，1700名來自多個(gè)研究領(lǐng)域的教授、研究者聯(lián)名要求：
撤銷該論文的公開發(fā)表，并解釋用于評估該研究的標(biāo)準(zhǔn)。
Springer發(fā)表聲明，譴責(zé)使用刑事司法統(tǒng)計(jì)數(shù)據(jù)預(yù)測犯罪行為的做法，并承認(rèn)錯(cuò)誤。
所有出版商今后不要出版類似研究。
網(wǎng)友熱議
聯(lián)名倡議一經(jīng)發(fā)出，獲得了眾多響應(yīng)，并在社交媒體上引發(fā)了網(wǎng)友的熱烈討論。
有網(wǎng)友提到了斯皮爾伯格的《少數(shù)派報(bào)告》，AI就像里面的“先知”，根據(jù)預(yù)測提出的指示/建議甚至可能完全不可靠。
這樣的研究就是危險(xiǎn)的sh*t。
還有網(wǎng)友認(rèn)為，依據(jù)面部圖像去識別罪犯，這種想法并沒有比讓麥當(dāng)勞通過面相，預(yù)測你今天是要吃麥辣雞腿堡還是板燒雞腿堡高明。
也有人擔(dān)心，這樣的“客觀”算法會成為執(zhí)法部門掩蓋歧視、不公正的借口。
壓力之下，Springer Nature也已作出回應(yīng)：不會發(fā)表這篇文章。
參考鏈接
https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16
https://www.vice.com/en_us/article/889xyb/over-1000-ai-experts-condemn-racist-algorithms-that-claim-to-predict-crime
https://www.reddit.com/r/MachineLearning/comments/heiyqq/dr_a_letter_urging_springer_nature_not_to_publish/
— 完 —
相關(guān)閱讀
LSTM之父開噴LeCun最新論文：為啥你不引用我的工作？LeCun沉默未回應(yīng)
網(wǎng)友：機(jī)器學(xué)習(xí)的所有工作都是他的注腳(doge)
讓Hinton后悔投少了的AI公司：吳恩達(dá)弟子徒孫創(chuàng)辦，LeCun李飛飛Jeff Dean投資，產(chǎn)品讓人無法拒絕
Geoffrey Hinton、Yann LeCun、李飛飛、Jeff Dean都投了同一家公司CovariantAI，Hinton還后悔投少了
