國(guó)內(nèi)首個(gè)AI安全大賽圓滿收官，預(yù)演風(fēng)險(xiǎn)競(jìng)逐“智”高點(diǎn)

9月16日，以“共筑AI安全 安享智能未來(lái)”為主題的AISC首屆人工智能安全大賽圓滿落幕。

中科院院士、清華大學(xué)人工智能研究院名譽(yù)院長(zhǎng)張鈸，北京市科學(xué)技術(shù)委員會(huì)、中關(guān)村科技園區(qū)管理委員會(huì)黨組成員、副主任張宇蕾，北京市經(jīng)濟(jì)和信息化委員會(huì)黨組成員、副主任潘鋒，工業(yè)和信息化部網(wǎng)絡(luò)安全管理局?jǐn)?shù)據(jù)安全處四級(jí)調(diào)研員張洪為活動(dòng)致辭。

本次大賽由國(guó)家工業(yè)信息安全發(fā)展研究中心、清華大學(xué)人工智能研究院和北京瑞萊智慧科技有限公司等單位聯(lián)合主辦，系首個(gè)全國(guó)性人工智能安全賽事，旨在推動(dòng)人工智能攻防技術(shù)創(chuàng)新、實(shí)戰(zhàn)演練、場(chǎng)景挖掘和人才培養(yǎng)。

同期舉辦的主題論壇，邀請(qǐng)到多位院士專(zhuān)家、行業(yè)領(lǐng)袖、政企代表出席，共同探討如何在未來(lái)智能的全新戰(zhàn)場(chǎng)，打贏技術(shù)攻防之戰(zhàn)。

與會(huì)專(zhuān)家們表示，重視人工智能安全體系建設(shè)，既是當(dāng)務(wù)之急，也是長(zhǎng)遠(yuǎn)考慮，需加快促進(jìn)人工智能安全領(lǐng)域關(guān)鍵技術(shù)研究與攻防實(shí)踐。

AI安全風(fēng)險(xiǎn)已非未來(lái)挑戰(zhàn)，而是眼前威脅

試想一下，有人將一張“神奇的貼紙”放置在面部，就可以使人臉識(shí)別門(mén)禁系統(tǒng)誤認(rèn)為是你，從而輕而易舉打開(kāi)大門(mén)；同樣是這張“神奇的貼紙”，把它放置在眼鏡上，就可以1秒解鎖你的手機(jī)人臉識(shí)別，探取你的隱私如入無(wú)人之境。

這并非科幻大片的想象，而是首屆人工智能安全大賽頒獎(jiǎng)典禮現(xiàn)場(chǎng)展示的真實(shí)攻防場(chǎng)景。

人工智能和其他通用目的技術(shù)一樣，在高歌猛進(jìn)的同時(shí)，也帶來(lái)了新的風(fēng)險(xiǎn)和隱患。

主辦方北京瑞萊智慧科技有限公司首席執(zhí)行官田天認(rèn)為，人工智能技術(shù)風(fēng)險(xiǎn)發(fā)生的范圍正隨著應(yīng)用場(chǎng)景的日趨廣泛而逐步擴(kuò)大，風(fēng)險(xiǎn)發(fā)生的可能性也隨著其應(yīng)用頻次的增長(zhǎng)而持續(xù)提高。

在他看來(lái)，人工智能當(dāng)前的安全風(fēng)險(xiǎn)主要可以從“人”與“系統(tǒng)”這兩個(gè)視角來(lái)剖析。

從人的視角來(lái)評(píng)估AI的安全問(wèn)題，首當(dāng)其沖就是技術(shù)的兩面性問(wèn)題，存在AI濫用甚至“武器化”的問(wèn)題。

具體到人工智能的應(yīng)用中來(lái)看，最為典型的代表就是深度偽造技術(shù)，它的負(fù)向應(yīng)用風(fēng)險(xiǎn)持續(xù)加劇且已產(chǎn)生實(shí)質(zhì)危害。

而現(xiàn)場(chǎng)的人臉識(shí)別破解演示，所揭示的正是系統(tǒng)的風(fēng)險(xiǎn)，它來(lái)自于深度學(xué)習(xí)算法本身的脆弱性。

以深度學(xué)習(xí)算法為核心的第二代人工智能是個(gè)“黑盒子”，具有不可解釋性，意味著系統(tǒng)存在結(jié)構(gòu)性的漏洞，可能受到不可預(yù)知的風(fēng)險(xiǎn)，典型的就比如現(xiàn)場(chǎng)演示的“神奇貼紙”，其實(shí)就是“對(duì)抗樣本攻擊”，通過(guò)在輸入數(shù)據(jù)中添加擾動(dòng)，使得系統(tǒng)作出錯(cuò)誤判斷。

這一漏洞在自動(dòng)駕駛感知系統(tǒng)同樣存在，瑞萊智慧演示了用對(duì)抗樣本攻擊自動(dòng)駕駛汽車(chē)。

正常情況下，在識(shí)別到路障、指示牌、行人等目標(biāo)后，自動(dòng)駕駛車(chē)輛就會(huì)立即停車(chē)，但在目標(biāo)物體上添加干擾圖案后，車(chē)輛的感知系統(tǒng)就會(huì)出錯(cuò)，徑直撞上去。

在人工智能的全生命周期，不僅存在算法層面的安全性問(wèn)題，算力作為人工智能發(fā)展的重要基礎(chǔ)設(shè)施，也面臨著諸多風(fēng)險(xiǎn)，推動(dòng)人工智能算力基礎(chǔ)設(shè)施安全發(fā)展具有重要意義。

活動(dòng)期間，由國(guó)家工業(yè)信息安全發(fā)展研究中心牽頭，聯(lián)合華為技術(shù)有限公司和北京瑞萊智慧科技有限公司共同撰寫(xiě)的《人工智能算力基礎(chǔ)設(shè)施安全發(fā)展白皮書(shū)》正式發(fā)布。

白皮書(shū)圍繞人工智能算力基礎(chǔ)設(shè)施安全發(fā)展的意義、內(nèi)涵與體系架構(gòu)、安全管理現(xiàn)狀、發(fā)展建議等方面展開(kāi)深入研究。

白皮書(shū)指出，人工智能算力基礎(chǔ)設(shè)施不同于傳統(tǒng)的算力基礎(chǔ)設(shè)施，既是“基礎(chǔ)設(shè)施”又是“人工智能算力”也是“公共設(shè)施”，具有基建屬性、技術(shù)屬性、公共屬性三重屬性。

相應(yīng)地，推動(dòng)人工智能算力基礎(chǔ)設(shè)施安全發(fā)展應(yīng)從強(qiáng)化自身安全、保障運(yùn)行安全、助力安全合規(guī)三個(gè)方面發(fā)力，通過(guò)強(qiáng)化自身的可靠性、可用性與穩(wěn)定性，保障算法運(yùn)行時(shí)的機(jī)密性與完整性，提升用戶的安全管控力、認(rèn)可度與合規(guī)性等八個(gè)領(lǐng)域筑牢人工智能安全防線，打造可信、可用、好用的人工智能算力底座，營(yíng)造安全、健康、合規(guī)發(fā)展的人工智能產(chǎn)業(yè)生態(tài)。

以賽促研、以賽育人，守護(hù)未來(lái)智能安全

安全的本質(zhì)在于對(duì)抗升級(jí)，構(gòu)建安全需要一個(gè)持續(xù)攻防演進(jìn)的過(guò)程。

田天表示，大賽聚焦人工智能真實(shí)應(yīng)用場(chǎng)景中的典型漏洞及風(fēng)險(xiǎn)，以賽促建、以賽促研，通過(guò)考核參賽隊(duì)伍的漏洞發(fā)現(xiàn)、漏洞挖掘等能力，探索新型安全需求場(chǎng)景，推動(dòng)AI攻防技術(shù)創(chuàng)新，為強(qiáng)化人工智能治理體系與安全評(píng)估能力建設(shè)提供支撐。

結(jié)合具體賽題來(lái)看，自動(dòng)駕駛安全賽題和人臉識(shí)別安全賽題從攻擊視角出發(fā)，通過(guò)讓選手攻擊目標(biāo)模型挖掘算法漏洞，旨在發(fā)現(xiàn)更加穩(wěn)定的攻擊算法，以更好的實(shí)現(xiàn)準(zhǔn)確評(píng)估模型的安全性。深度偽造安全賽題則通過(guò)分析偽造音視頻的相似性，來(lái)溯源不同偽造內(nèi)容是否來(lái)自同一種或同一類(lèi)生物特征生成軟件，以促進(jìn)對(duì)深度偽造檢測(cè)技術(shù)的發(fā)展，具有重要的現(xiàn)實(shí)意義。

構(gòu)建人工智能的安全生態(tài)，一方面需要技術(shù)的持續(xù)演進(jìn)，一方面也需要專(zhuān)項(xiàng)技術(shù)人才的建設(shè)與培養(yǎng)。

田天表示，由于人工智能安全研究目前仍屬于新興領(lǐng)域，專(zhuān)項(xiàng)人才較少，缺乏系統(tǒng)性的研究隊(duì)伍，本次大賽通過(guò)實(shí)戰(zhàn)演練的方式，全方位驗(yàn)證和提升選手實(shí)戰(zhàn)能力，為培育一批高水平、高層次的人工智能安全新型人才團(tuán)隊(duì)提供了“快速通道”。

自七月開(kāi)啟報(bào)名以來(lái)，大賽共吸引來(lái)自全國(guó)范圍內(nèi)70多所高等高校、科研院所、企業(yè)機(jī)構(gòu)的超過(guò)400支團(tuán)隊(duì)，共計(jì)600余名選手的踴躍參與。

經(jīng)過(guò)三個(gè)月的激烈角逐，最終，上海交通大學(xué)聯(lián)合戰(zhàn)隊(duì)“AreYouFake”與北京交通大學(xué)戰(zhàn)隊(duì)“BJTU-ADaM”分別摘得深度偽造安全與自動(dòng)駕駛安全賽道桂冠，北京理工大學(xué)戰(zhàn)隊(duì)“DeepDream”與建信金科戰(zhàn)隊(duì)“Tian Quan&LianYi”共同位列人臉識(shí)別賽道第一名。

本次大賽供了技術(shù)交鋒和思維碰撞的平臺(tái)，通過(guò)競(jìng)賽的方式挖掘攻擊與防御技術(shù)新思路，同時(shí)鏈接產(chǎn)業(yè)側(cè)真實(shí)安全需求，為進(jìn)一步強(qiáng)化人工智能安全攻防研究提供基礎(chǔ)，也為推動(dòng)人工智能安全標(biāo)準(zhǔn)及能力建設(shè)提供了重要支撐，助力我國(guó)人工智能產(chǎn)業(yè)的整體發(fā)展。

專(zhuān)家觀點(diǎn)：沒(méi)有高水平安全，就沒(méi)有高質(zhì)量發(fā)展

統(tǒng)籌發(fā)展和安全，是每項(xiàng)新技術(shù)發(fā)展過(guò)程中面臨的必然問(wèn)題，如何實(shí)現(xiàn)高水平發(fā)展和高水平安全的良性互動(dòng)，也是當(dāng)前人工智能產(chǎn)業(yè)發(fā)展最為重要的命題，現(xiàn)場(chǎng)多位專(zhuān)家就此話題展開(kāi)分享，探索AI安全建設(shè)的新思路與新路徑。

人工智能對(duì)抗攻防包括對(duì)抗樣本、神經(jīng)網(wǎng)絡(luò)后門(mén)、模型隱私問(wèn)題等多方面技術(shù)。

模型有錯(cuò)誤就需要進(jìn)行及時(shí)的修復(fù)，中國(guó)科學(xué)院信息安全國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任陳愷提出“神經(jīng)網(wǎng)絡(luò)手術(shù)刀”的方法，通過(guò)定位引發(fā)錯(cuò)誤的神經(jīng)元，進(jìn)行精準(zhǔn)“微創(chuàng)”修復(fù)。

陳愷表示，不同于傳統(tǒng)的模型修復(fù)工作需要重新訓(xùn)練模型，或者依賴于較大量的數(shù)據(jù)樣本，這種方式類(lèi)似于“微創(chuàng)手術(shù)”，只需極少量或無(wú)需數(shù)據(jù)樣本，能夠大幅提升模型修復(fù)效果。

開(kāi)放環(huán)境下的人工智能系統(tǒng)面臨諸多安全挑戰(zhàn)，如何解決通用人工智能算法全周期的安全保障問(wèn)題成為重中之重。

北京航空航天大學(xué)軟件開(kāi)發(fā)環(huán)境國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任劉祥龍表示，目前人工智能算法及系統(tǒng)的安全性缺乏科學(xué)評(píng)測(cè)手段，難以有效評(píng)測(cè)完整的人工智能模型和算法能力。

他表示，從技術(shù)上來(lái)看應(yīng)形成從安全性測(cè)試到安全性分析與安全性加固的完整技術(shù)手段，最終形成標(biāo)準(zhǔn)化的測(cè)試流程。

同時(shí)他指出，未來(lái)的人工智能安全應(yīng)該圍繞從數(shù)據(jù)、算法到系統(tǒng)各個(gè)層次上的全面評(píng)測(cè)，同時(shí)配合一套整體的從硬件到軟件的安全可信計(jì)算環(huán)境。

工商銀行金融研究院安全攻防實(shí)驗(yàn)室主管專(zhuān)家蘇建明表示，人工智能安全治理需要廣泛協(xié)作和開(kāi)放創(chuàng)新，需加強(qiáng)政府、學(xué)術(shù)機(jī)構(gòu)、企業(yè)等產(chǎn)業(yè)各參與方的互動(dòng)合作，建立積極的生態(tài)規(guī)則。

政策層面加快人工智能的立法進(jìn)程，加強(qiáng)對(duì)人工智能服務(wù)水平、技術(shù)支撐能力等專(zhuān)項(xiàng)監(jiān)督考核力度。學(xué)術(shù)層面，加大對(duì)人工智能安全研究的激勵(lì)投入，通過(guò)產(chǎn)學(xué)研合作模式加快科研成果的轉(zhuǎn)化與落地。

企業(yè)層面，逐步推動(dòng)人工智能技術(shù)由場(chǎng)景拓展向安全可信發(fā)展轉(zhuǎn)變，通過(guò)參與標(biāo)準(zhǔn)制定，推出產(chǎn)品服務(wù)，持續(xù)探索人工智能安全實(shí)踐及解決方案。

最后，圓桌對(duì)話環(huán)節(jié)，北京交通大學(xué)教授、計(jì)算機(jī)與信息技術(shù)學(xué)院副院長(zhǎng)景麗萍、清華大學(xué)人工智能研究院基礎(chǔ)理論研究中心主任朱軍、北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院副院長(zhǎng)鄧偉洪、北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院教授陳健生、華為可信AI安全解決方案專(zhuān)家唐文圍繞人工智能安全技術(shù)發(fā)展、人工智能安全治理等話題展開(kāi)深入交流。

專(zhuān)家們認(rèn)為，從長(zhǎng)遠(yuǎn)看，人工智能的安全問(wèn)題，還需從算法模型的原理上突破，唯有持續(xù)加強(qiáng)基礎(chǔ)研究，才能破解核心科學(xué)問(wèn)題，同時(shí)他們強(qiáng)調(diào)，人工智能的未來(lái)發(fā)展需確保對(duì)整個(gè)社會(huì)、國(guó)家發(fā)展的有效性和正向促進(jìn)性，需要政產(chǎn)學(xué)研用多方協(xié)同共進(jìn)。