清華阿里RealAI聯(lián)合發(fā)布首個(gè)AI安全評(píng)估平臺(tái)，模型防御力如何？一測(cè)便知
平臺(tái)能夠?qū)I防御和攻擊算法進(jìn)行自動(dòng)化、科學(xué)的評(píng)估
白交 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
AI的創(chuàng)新發(fā)展，帶來(lái)了新一輪的產(chǎn)業(yè)變革。
一方面，是落地于傳統(tǒng)行業(yè)，提升產(chǎn)業(yè)效率；另一方面，則是催生了新的產(chǎn)業(yè)，比如智能交通、智慧醫(yī)療。
但與此同時(shí)，AI所帶來(lái)的新的風(fēng)險(xiǎn)和安全隱患，也同樣不容小覷。
想象一下這些場(chǎng)景。
街道上自動(dòng)駕駛的汽，車(chē)因AI視覺(jué)系統(tǒng)受到AI算法誘導(dǎo)攻擊，那么行駛軌跡發(fā)生改變。
有人通過(guò)AI技術(shù)模仿出跟你熟悉的親朋好友一模一樣的聲音，找你借錢(qián)。
……
雖然AI技術(shù)已經(jīng)有了長(zhǎng)足進(jìn)步，但是沒(méi)有安全性的保障，也很難取得有效發(fā)展。
最近，清華大學(xué)聯(lián)合阿里安全、Real AI發(fā)布了首個(gè)公平、全面的AI攻防對(duì)抗基準(zhǔn)平臺(tái)。
平臺(tái)能夠?qū)I防御和攻擊算法進(jìn)行自動(dòng)化、科學(xué)的評(píng)估，并實(shí)時(shí)生成一個(gè)AI安全排行榜單。
AI模型是否安全？一測(cè)便知。
AI攻防對(duì)抗基準(zhǔn)平臺(tái)
不同于之前只包含零散攻防模型的對(duì)抗攻防基準(zhǔn)，此次推出AI對(duì)抗安全基準(zhǔn)基本上包括了目前主流的人工智能對(duì)抗攻防模型，涵蓋了數(shù)十種典型的攻防算法。
不同算法比測(cè)的過(guò)程中盡量采用了相同的實(shí)驗(yàn)設(shè)定和一致的度量標(biāo)準(zhǔn)，從而在最大限度上保證了比較的公平性。
清華大學(xué)計(jì)算機(jī)系教授、RealAI首席科學(xué)家朱軍介紹道：
通過(guò)對(duì)AI算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法的性能，建立AI安全基準(zhǔn)具有重要學(xué)術(shù)意義，可以更加公平、全面地衡量不同算法的效果。”
此外，評(píng)測(cè)標(biāo)準(zhǔn)則是依托清華大學(xué)人工智能研究院研發(fā)的人工智能對(duì)抗安全算法平臺(tái)ARES（Adversarial Robustness Evaluation for Safety）建立。
ARES作為古希臘神話(huà)中的戰(zhàn)神，雙手持矛和盾是攻防合一的化身，集中體現(xiàn)了AI安全算法攻防博弈的特點(diǎn)。
阿里安全高級(jí)算法專(zhuān)家越豐，參與了此次評(píng)測(cè)基準(zhǔn)平臺(tái)的設(shè)計(jì)，他表示：
就像打仗一樣，攻擊者可能用水攻，也可能火攻，還可能偷偷挖條地道來(lái)攻打一座城，守城的人不能只考慮一種可能性，必須布防應(yīng)對(duì)許多的攻擊可能性。
“創(chuàng)新治理兩手抓”
因此，我們不光要致力于AI的創(chuàng)新發(fā)展，還有專(zhuān)注于AI的治理。
正如張鈸院士所說(shuō)：
既要抓AI的創(chuàng)新發(fā)展，又要抓AI的治理，兩手都要抓。
張鈸院士還談到，為何AI的發(fā)展沒(méi)有像信息科技發(fā)展異常迅猛，反而卻緩慢曲折，安全問(wèn)題層出不窮。
究其關(guān)鍵，還是基礎(chǔ)理論的局限性。
從信息革命一開(kāi)始，信息的三大理論就已經(jīng)建立：圖靈機(jī)理論、信息論、控制論。
有了堅(jiān)實(shí)的理論基礎(chǔ)，從而引導(dǎo)信息技術(shù)健康地發(fā)展。
AI則相反，它的理論基礎(chǔ)至今沒(méi)有建立。
盡管經(jīng)歷了盡管經(jīng)歷了第一代AI的符號(hào)主義模型（知識(shí)驅(qū)動(dòng)），和第二代AI的亞符號(hào)（連接）主義模型（數(shù)據(jù)驅(qū)動(dòng)）。
但由于它們均具有很大的局限性，不能構(gòu)成AI的理論基礎(chǔ)。
因此，建立AI的理論基礎(chǔ)，也就成為張鈸院士團(tuán)隊(duì)提出“第三代人工智能”的初衷。
“第三代人工智能”，簡(jiǎn)單來(lái)說(shuō)，是利用知識(shí)、數(shù)據(jù)、算法和算力4個(gè)要素，建立新的可解釋和魯棒的AI理論和方法，從而發(fā)展安全、可信、可靠和可擴(kuò)展的AI技術(shù)。
最后，張鈸院士呼吁：全世界應(yīng)該團(tuán)結(jié)起來(lái)，共同來(lái)發(fā)展安全可控的第三代人工智能，讓人工智能真正造福于人類(lèi)。
平臺(tái)網(wǎng)站：
http://ml.cs.tsinghua.edu.cn/adv-bench/
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長(zhǎng)10分鐘AI視頻2025-08-06
相關(guān)閱讀
清華版「AutoGPT」登GitHub熱榜！復(fù)雜任務(wù)輕松搞定，還能自己訓(xùn)練模型
做起任務(wù)來(lái)“分條縷析”
達(dá)摩院2023十大科技趨勢(shì)發(fā)布：人類(lèi)對(duì)通用AI的想象從未如此具體
還有有望重置范式的存算一體、Chiplet
