WDTA發(fā)布全球首個(gè)AI智能體運(yùn)行安全測(cè)試標(biāo)準(zhǔn)，螞蟻集團(tuán)、清華大學(xué)等聯(lián)合編制
為全球AI智能體生態(tài)的安全、可信和可持續(xù)發(fā)展增加了有益的探索
日前，世界數(shù)字科學(xué)院（WDTA）在聯(lián)合國(guó)日內(nèi)瓦總部正式發(fā)布AI STR系列新標(biāo)準(zhǔn)《AI智能體運(yùn)行安全測(cè)試標(biāo)準(zhǔn)》，標(biāo)準(zhǔn)由螞蟻集團(tuán)、清華大學(xué)、中國(guó)電信牽頭，聯(lián)合普華永道、新加坡南洋理工大學(xué)、美國(guó)圣路易斯華盛頓大學(xué)等二十余家國(guó)內(nèi)外機(jī)構(gòu)、企業(yè)及高校共同編制，為全球首個(gè)單智能體運(yùn)行安全測(cè)試標(biāo)準(zhǔn)。
該標(biāo)準(zhǔn)針對(duì)智能體跨越“語(yǔ)言墻”所帶來(lái)的“行為”風(fēng)險(xiǎn)，首次將輸入輸出、大模型、RAG、記憶和工具五個(gè)關(guān)鍵鏈路與運(yùn)行環(huán)境對(duì)應(yīng)起來(lái)，構(gòu)建了全鏈路風(fēng)險(xiǎn)分析框架；同時(shí)，細(xì)分了智能體風(fēng)險(xiǎn)類型，完善并創(chuàng)新提出了模型檢測(cè)、網(wǎng)絡(luò)通信分析和工具模糊測(cè)試等測(cè)試方法，彌補(bǔ)了智能體安全測(cè)試技術(shù)標(biāo)準(zhǔn)的空白。
標(biāo)準(zhǔn)在AI for Good全球峰會(huì)期間由聯(lián)合國(guó)社會(huì)發(fā)展研究所（UNRISD）與世界數(shù)字科學(xué)院（WDTA）聯(lián)合主辦的“數(shù)字技術(shù)與人工智能社會(huì)影響全球咨詢會(huì)”上發(fā)布。
2025年，被稱為“智能體元年”。AI智能體憑借著深度思考、自主規(guī)劃、做出決策并深度執(zhí)行的能力，使得AI在發(fā)展路徑上實(shí)現(xiàn)一次范式突變：從“我說(shuō)AI答”到“我說(shuō)AI做”，并被逐漸應(yīng)用到各類商業(yè)場(chǎng)景中。
然而，技術(shù)突破伴隨著不容忽視的安全隱憂。最新調(diào)研顯示，超過(guò)70%的智能體從業(yè)者擔(dān)憂AI幻覺(jué)與錯(cuò)誤決策、數(shù)據(jù)泄露等問(wèn)題，因?yàn)锳I生成的內(nèi)容往往包含事實(shí)錯(cuò)誤，或者對(duì)指令產(chǎn)生誤解，其中超半數(shù)受訪者表示，所在企業(yè)尚未設(shè)立明確的智能體安全負(fù)責(zé)人。
“面對(duì)AI相關(guān)技術(shù)的快速演進(jìn)，我們必須正視‘科林格里奇困境’：一旦新技術(shù)深植社會(huì)，風(fēng)險(xiǎn)治理的代價(jià)將成倍上升。”WDTA執(zhí)行理事長(zhǎng)李雨航強(qiáng)調(diào)，“AI STR系列標(biāo)準(zhǔn)正是試圖在這一臨界點(diǎn)前建立清晰、可執(zhí)行的安全標(biāo)準(zhǔn)和測(cè)評(píng)、認(rèn)證體系，將倫理與責(zé)任嵌入AI的全生命周期之中，從而確保技術(shù)發(fā)展服務(wù)于人類的長(zhǎng)期利益?！?/p>
峰會(huì)上，螞蟻集團(tuán)大模型數(shù)據(jù)安全總監(jiān)楊小芳表示，當(dāng)前AI技術(shù)應(yīng)用加速落地，但單智能體的安全風(fēng)險(xiǎn)缺乏統(tǒng)一的全鏈路安全測(cè)試標(biāo)準(zhǔn)，導(dǎo)致潛在的等問(wèn)題難以被量化和規(guī)避，單智能體標(biāo)準(zhǔn)的制定是AI治理的“最小可行單元”，而多智能體治理是未來(lái)“摩天大樓”的核心結(jié)構(gòu)，下一步行業(yè)應(yīng)從單點(diǎn)逐步向多智能體治理生態(tài)共建突破。
與其他國(guó)際標(biāo)準(zhǔn)不同，AI STR不僅關(guān)注風(fēng)險(xiǎn)識(shí)別和風(fēng)險(xiǎn)分級(jí)，更提供全流程管理方案，即從數(shù)據(jù)治理到模型落地，配套具體測(cè)試工具和認(rèn)證流程，助力企業(yè)提升AI應(yīng)用的安全性與可信度。
該標(biāo)準(zhǔn)不僅提供了一套可行可靠的智能體安全基準(zhǔn)，也為全球AI智能體生態(tài)的安全、可信和可持續(xù)發(fā)展增加了有益的探索。目前，部分標(biāo)準(zhǔn)的測(cè)評(píng)與認(rèn)證已在金融、醫(yī)療等領(lǐng)域落地應(yīng)用。
此前，WDTA已發(fā)布3項(xiàng)AI STR標(biāo)準(zhǔn)，包括“生成式人工智能應(yīng)用安全測(cè)試標(biāo)準(zhǔn)”,“大語(yǔ)言模型安全測(cè)試方法”和“大模型供應(yīng)鏈安全要求”，由 OpenAI、螞蟻集團(tuán)、科大訊飛、谷歌、微軟、英偉達(dá)、百度、騰訊等數(shù)十家單位的多名專家學(xué)者共同參與。
*本文系量子位獲授權(quán)刊載，觀點(diǎn)僅為作者所有
相關(guān)閱讀
螞蟻CTO倪行軍：大專畢業(yè)自學(xué)編程，三年跳槽5次進(jìn)入阿里
三年5次跳槽進(jìn)入阿里，從浙江財(cái)經(jīng)學(xué)院到螞蟻集團(tuán)
螞蟻集團(tuán)攜手新加坡南洋理工大學(xué)探索隱私計(jì)算技術(shù)創(chuàng)新
以螞蟻集團(tuán)“隱語(yǔ)”框架為研究底座，推進(jìn)PSI技術(shù)的發(fā)展
