阿里和清華聯(lián)手一呼：我們給錢給資源，求解這些AI安全難題

十三 2020-07-17 12:52:57 來(lái)源：量子位

金磊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

真的存在「隱形衣」嗎？

在人臉識(shí)別無(wú)處不在的今天，這個(gè)倒是可以有。

只要穿上這么一件T恤，就能騙過(guò)人臉識(shí)別AI，從而達(dá)到「隱身」效果。

這就是由美國(guó)東北大學(xué)和MIT等研究機(jī)構(gòu)，共同提出的Adversarial T-shirt——基于對(duì)抗樣本的T恤衫。

據(jù)研究人員介紹，這是全球首個(gè)在非剛性物體(如T恤)上，進(jìn)行的物理對(duì)抗性實(shí)例。

也就是說(shuō)，在被AI檢測(cè)過(guò)程中，無(wú)論衣服發(fā)生任何褶皺或變形，都能達(dá)到「隱身」效果。

并且，這項(xiàng)研究已經(jīng)入選計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議 ECCV 2020 的焦點(diǎn)論文（SpotlightPaper）。

而這，也引發(fā)了人們對(duì)人工智能時(shí)代下，安全隱患的思考。

T恤上的「印花」就能愚弄AI

其實(shí)，達(dá)到所謂的「隱身」效果，其實(shí)就是愚弄AI的「視覺(jué)系統(tǒng)」。

這項(xiàng)研究也一定程度說(shuō)明，目前所謂比較成熟的計(jì)算機(jī)視覺(jué)技術(shù)，具有一定的脆弱性。

例如，目前很多公司上班打卡都是通過(guò)人臉認(rèn)證，但若是哪天穿了這種具有「對(duì)抗性」的T恤，遲遲打不上卡……

嗯，那種焦灼痛苦，你品，你細(xì)品。

那么，這款T恤的隱形效果到底是如何實(shí)現(xiàn)的呢？

這里所涉及到的關(guān)鍵技術(shù)就是對(duì)抗攻擊?（Adversarial Attack），目的就是讓AI模型做出誤判。

研究人員設(shè)計(jì)這款「隱形衣」的過(guò)程中，主要分為三個(gè)步驟：

• 首先，讓實(shí)驗(yàn)人員穿著印有棋盤圖案的T恤走動(dòng)并錄視頻，將視頻中的幀作為訓(xùn)練數(shù)據(jù)。
• 其次，將通用的對(duì)抗性擾動(dòng)應(yīng)用于布料區(qū)域。
• 最后，優(yōu)化對(duì)抗性擾動(dòng)，優(yōu)化過(guò)程通過(guò)反向傳播，作為一個(gè)閉環(huán)而進(jìn)行。

這個(gè)過(guò)程中，一個(gè)關(guān)鍵因素就是解決T恤因褶皺、變形，所導(dǎo)致的降低攻擊成率問(wèn)題。

對(duì)此，研究人員提出了一種叫做TPS?（Thin Plate Spline）?變化的方法，來(lái)模擬衣服褶皺的情況。

然后將得到的TPS變化，融入到?EOT?（Expectation over Transformation）算法中，這樣就可以在現(xiàn)實(shí)世界的非剛性物體上，生成對(duì)抗樣本。

再?gòu)亩糠治龅慕嵌葋?lái)看，研究人員提出的方法，在Faster R-CNN和YOLOv2模型上的攻擊成功率，分別達(dá)到了61%和74%。

但也正如研究人員所說(shuō)：

這個(gè)攻擊方法并不是完美的。

如下圖所示，方法對(duì)于角度和距離還是比較敏感的——較大的變形角度、較遠(yuǎn)的距離，都會(huì)讓攻擊成功率下降。

比愚弄AI更可怕的是「以假亂真」

從這樣的一件T恤中，我們可以發(fā)現(xiàn)，AI模型還是比較脆弱的。

或許在我們?nèi)祟愌壑校p微的圖像擾動(dòng)并不會(huì)造成失誤判斷，但對(duì)于AI模型來(lái)說(shuō)卻不是如此。

而在如今幾乎處處「人臉識(shí)別」的時(shí)代，這種擾動(dòng)必然會(huì)對(duì)我們的生活產(chǎn)生影響。

例如上下班刷臉打卡、刷臉支付、實(shí)名認(rèn)證等等。

試想一下，穿著一件「對(duì)抗性T恤」，無(wú)論如何都識(shí)別不出來(lái)人臉的那種痛苦……

但其實(shí)，比起這種識(shí)別不出來(lái)的情況，更可怕的還是「以假亂真」。

例如，去年耐能（Kneron）公司便造出了個(gè)3D面具，還用這個(gè)面具逐一擊破了諸多刷臉支付程序。

還有，用一張打印的照片，就能刷臉騙過(guò)智能快遞柜的新聞也引發(fā)公眾對(duì)于人臉識(shí)別安全話題的關(guān)注。

試想一下，若是讓人臉識(shí)別持續(xù)脆弱至此，造成的經(jīng)濟(jì)損失可能會(huì)是巨大的。

但在我們生活中經(jīng)常用到的App中，卻鮮有因?yàn)槿四樧R(shí)別而造成大面積損失的消息，例如淘寶、餓了么、閑魚、高德等等。

其實(shí)，人臉識(shí)別的安全防護(hù)也沒(méi)有人們想的那么脆弱。

人臉識(shí)別的活體檢測(cè)難題何解？

有攻擊的矛，便有防御的盾。

而阿里安全的這張盾，可以說(shuō)是時(shí)刻在研究矛的進(jìn)攻手段。

例如，在3D軟件和實(shí)物人臉模型、視頻動(dòng)作播放等「攻擊任務(wù)」中，阿里安全的人臉識(shí)別方案，可利用手機(jī)等檢測(cè)設(shè)備主動(dòng)打光，以及移動(dòng)檢測(cè)設(shè)備相互配合等技術(shù)方法，有效進(jìn)行活體檢測(cè)，成功地防范了上述的問(wèn)題。

并且，這項(xiàng)人臉識(shí)別新專利方案已被美國(guó)專利局授權(quán)。

在此之前，業(yè)內(nèi)專家認(rèn)為：

目前市場(chǎng)上還沒(méi)有公認(rèn)成熟、方便易用的活體檢測(cè)方案。

而已有的技術(shù)方案包括基于特殊硬件裝置，如雙目鏡頭、深度相機(jī)的活體檢測(cè)。

其原理是對(duì)物體進(jìn)行3D檢測(cè)，一般可以解決平面照片、視頻、3D軟件人臉模型的攻擊問(wèn)題，但難以防范實(shí)物的3D人臉面具的攻擊問(wèn)題，且有的場(chǎng)景無(wú)法應(yīng)用，如無(wú)法在流行的智能手機(jī)中使用。

還有一種是基于識(shí)別指定動(dòng)作的活體檢測(cè)方案，如使用點(diǎn)頭、搖頭、眨眼、張嘴的活體檢測(cè)，可以在智能手機(jī)中使用。

這種活體檢測(cè)方案讓用戶做指定的多個(gè)隨機(jī)動(dòng)作并識(shí)別判斷，解決了照片或順序播放視頻等攻擊威脅。

但也難以防范3D軟件人臉模型和錄好所有動(dòng)作的視頻攻擊，因?yàn)橛脩艨梢钥刂?D模型或視頻播放器，讓3D人臉模型做出指定動(dòng)作，或讓播放器播出指定的動(dòng)作。

基于此，阿里安全打造了新一代人臉識(shí)別技術(shù)方案。

阿里安全資深算法專家覺(jué)奧介紹道，阿里安全的人臉識(shí)別活體檢測(cè)方案利用三項(xiàng)技術(shù)組合防范上述人臉識(shí)別安全問(wèn)題：

這項(xiàng)方案是人、設(shè)備、算法一體化判斷，通過(guò)設(shè)備屏幕主動(dòng)打光和變化光的顏色的方法，獲取對(duì)應(yīng)每一時(shí)刻人臉各區(qū)域的顏色和亮度變化，通過(guò)用戶移動(dòng)檢測(cè)設(shè)備的方法，根據(jù)傳感器來(lái)獲取設(shè)備的空間位置變化。

然后，從顏色、亮度、人臉姿態(tài)、設(shè)備空間位置的變化來(lái)判斷檢測(cè)對(duì)象是否相互一致，來(lái)完成活體檢測(cè)，通過(guò)不同技術(shù)配合，打造一個(gè)便捷易用、能夠防范3D軟件和實(shí)物人臉模型、視頻動(dòng)作播放等攻擊的安全人臉識(shí)別技術(shù)方案。

而這，也只是阿里安全這張盾牌的「冰山一角」。

全球首個(gè)針對(duì)目標(biāo)檢測(cè)算法的對(duì)抗攻擊競(jìng)賽

安全，向來(lái)是個(gè)不可忽視，且需要持續(xù)關(guān)注的問(wèn)題，新鮮的血液和思想的碰撞必不可少。

像穿了一件具有「對(duì)抗性」圖案的T恤，就識(shí)別不出人臉，打不上卡這種事情，也會(huì)對(duì)我們的日常生活造成困擾。

為此，阿里安全攜手清華大學(xué)，聯(lián)合舉辦全球首個(gè)針對(duì)目標(biāo)檢測(cè)算法的對(duì)抗攻擊競(jìng)賽——安全AI挑戰(zhàn)者計(jì)劃：

以對(duì)抗樣本為核心，假想未來(lái)作為安全AI防守者的身份，結(jié)合內(nèi)容安全場(chǎng)景，從文字、圖像、視頻、聲音等多個(gè)領(lǐng)域，針對(duì)對(duì)抗樣本技術(shù)召集「挑戰(zhàn)者」共同打磨AI模型安全。

2019年8月-2020年3月，挑戰(zhàn)者計(jì)劃第一季成功舉辦第一期人臉對(duì)抗識(shí)別比賽、第二期ImageNet圖像對(duì)抗比賽、第三期辱罵場(chǎng)景文本對(duì)抗比賽。

共吸引了全球200多所高校100多家企業(yè)的近4000支隊(duì)伍參加。

而今年的安全AI挑戰(zhàn)者計(jì)劃，是第一季的升級(jí)傳承，將業(yè)內(nèi)的模型安全問(wèn)題體系化、標(biāo)準(zhǔn)化，并形成一個(gè)優(yōu)秀的社區(qū)。

并且，挑戰(zhàn)者計(jì)劃第二季第四期已啟動(dòng)！詳情如下。

第四期題目?jī)r(jià)值

阿里安全舉辦了全球首個(gè)結(jié)合黑盒白盒場(chǎng)景，針對(duì)多種目標(biāo)檢測(cè)模型的對(duì)抗攻擊競(jìng)賽。

比賽采用COCO數(shù)據(jù)集，其中包含20類物體。

比賽任務(wù)是通過(guò)向原始圖像中添加對(duì)抗補(bǔ)?。╝dversarial patch）的方式，使得典型的目標(biāo)檢測(cè)模型不能夠檢測(cè)到圖像中的物體，繞過(guò)目標(biāo)定位。

為了更好的評(píng)價(jià)選手的攻擊效果，阿里安全創(chuàng)造了全新的得分計(jì)算準(zhǔn)則——除了加入攻擊成功率之外，還對(duì)添加補(bǔ)丁的數(shù)量和大小進(jìn)行了約束。

選手添加的補(bǔ)丁數(shù)量、修改的像素和模型識(shí)別到的包圍盒越少，則代表攻擊更加成功，得分則越高。

此外，為了保證比賽的難度，阿里安全選取了4個(gè)近期的SOTA檢測(cè)模型作為攻擊目標(biāo)，包括兩個(gè)白盒模型——YOLO v4和Faster RCNN和另外兩個(gè)未知的黑盒模型。

賽程安排

雙周榜-算力自由

為滿足選手因疫情在家服務(wù)器短缺的痛點(diǎn)，特發(fā)起「挑戰(zhàn)者服務(wù)器免費(fèi)送」活動(dòng)。

• 玩法：每?jī)芍芄家淮闻判邪瘢?月3日、8月17日、8月31日），TOP 6隊(duì)伍將獲得1000元的阿里云服務(wù)器代金券，可兌換購(gòu)買任意服務(wù)器。
• 規(guī)則：共三輪雙周榜，TOP 6隊(duì)伍如有重復(fù)，則順延1000元服務(wù)器名額（為保證更多同學(xué)享受算力自由）；作為心靈慰藉，重復(fù)的隊(duì)伍將收到200元天貓超市購(gòu)物卡。
• 產(chǎn)品可選擇按量和包月，具體可自由選擇。

激勵(lì)設(shè)置

• 第一名：每支隊(duì)伍獎(jiǎng)金30000元
• 第二名：每支隊(duì)伍獎(jiǎng)金15000元
• 第三名：每支隊(duì)伍獎(jiǎng)金10000元
• 第四-六名：每支隊(duì)伍獎(jiǎng)金3000元
• 第七-十名：每支隊(duì)伍獎(jiǎng)金1000元
• 奇思妙想獎(jiǎng)：阿里巴巴20周年限定勛章禮盒（獎(jiǎng)勵(lì)給思路有創(chuàng)意的同學(xué)，上不設(shè)限）
• 榮譽(yù)證書：前十名隊(duì)伍和奇思妙想獎(jiǎng)，每位同學(xué)都將獲得阿里和清華共同頒發(fā)的頂級(jí)證書
• 線下頒獎(jiǎng)：優(yōu)秀隊(duì)伍將受邀參加10月的CIKM會(huì)議，并在國(guó)際舞臺(tái)擔(dān)任speaker分享思路
• 綠色通道：總成績(jī)排名Top20的隊(duì)伍，可獲得阿里安全校招綠色通道

如此有趣、刺激的挑戰(zhàn)，還有這么豐厚的獎(jiǎng)勵(lì)，你有心動(dòng)嗎？