什么會(huì)影響大模型安全？NeurIPS’24新研究提出大模型越獄攻擊新基準(zhǔn)與評(píng)估體系

西風(fēng) 2024-10-31 15:35:44 來(lái)源：量子位

USAIL團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

全新大語(yǔ)言模型越獄攻擊基準(zhǔn)與評(píng)估體系來(lái)了。

來(lái)自香港科技大學(xué)（Guangzhou）USAIL研究團(tuán)隊(duì)，從攻擊者和防御者的角度探討了什么因素會(huì)影響大模型的安全。

提出攻擊分析系統(tǒng)性框架JailTrackBench。

JailTrackBench研究重點(diǎn)分析了不同攻擊配置對(duì)LLMs性能的影響，包括攻擊者的能力、預(yù)算、對(duì)抗性后綴長(zhǎng)度，以及模型的大小、安全對(duì)齊情況、系統(tǒng)提示和模板類(lèi)型。

其研究成果《Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs》現(xiàn)已被NeurIPS D&B 2024接收。

此外，為了全面解決大語(yǔ)言模型的越獄問(wèn)題，USAIL團(tuán)隊(duì)不僅專(zhuān)注于攻擊，還深入探討了越獄評(píng)估這一核心問(wèn)題。

越獄分析JailTrackBench

近年來(lái)，隨著人工智能的迅速發(fā)展，尤其是大語(yǔ)言模型（LLMs）的廣泛應(yīng)用，保障模型的安全性并防止其被惡意利用，已成為一個(gè)重要的議題。越獄攻擊通過(guò)惡意指令誘導(dǎo)模型生成有害或不道德的內(nèi)容，對(duì)模型的安全性和可靠性構(gòu)成了嚴(yán)峻挑戰(zhàn)。

這種攻擊與防御的博弈，極大地推動(dòng)了大模型安全性的提升。

在這一背景下，香港科技大學(xué)（Guangzhou）USAIL研究團(tuán)隊(duì)從攻擊者和防御者的角度，探討了影響大模型安全性的關(guān)鍵因素。

盡管已有研究揭示了多種越獄攻擊的威脅，現(xiàn)有的評(píng)估方法往往過(guò)于片面，無(wú)法全面涵蓋攻擊與防御兩方面的核心因素。

為此，團(tuán)隊(duì)提出了JailTrackBench，一個(gè)全面涵蓋越獄攻擊各個(gè)方面的系統(tǒng)性基準(zhǔn)測(cè)試框架，旨在為研究人員提供一個(gè)標(biāo)準(zhǔn)化、全面的評(píng)估工具。

△圖1 JailTrackBench框架

通過(guò)對(duì)七種具有代表性的越獄攻擊和六種防御方法的320項(xiàng)實(shí)驗(yàn)，使用50,000 GPU小時(shí)，團(tuán)隊(duì)以標(biāo)準(zhǔn)化的方式評(píng)估了這些攻擊方法的效果。

目標(biāo)模型層面

模型大小（Model Size）：

實(shí)驗(yàn)（如圖2所示）中選擇了不同規(guī)模的模型（如Llama-7B、Llama-13B、Llama-70B，Qwen1.5-14B等）進(jìn)行對(duì)比，探討模型規(guī)模對(duì)越獄攻擊的防御能力是否有顯著影響。

實(shí)驗(yàn)結(jié)果表明，模型的魯棒性并不與其規(guī)模成正比，較大的模型并不總是比較小的模型更具防御能力。

△圖2 模型大小與魯棒性的關(guān)系

安全對(duì)齊情況（Safety Alignment）：

模型的安全能力會(huì)被后續(xù)的大模型微調(diào)所影響。

實(shí)驗(yàn)表明（如圖3所示），經(jīng)過(guò)領(lǐng)域類(lèi)的微調(diào)（fine-tuning）大模型，其安全能力會(huì)降低，相比之前沒(méi)有微調(diào)的模型則更容易受到攻擊。

△圖3 安全對(duì)齊情況與模型魯棒性

系統(tǒng)提示（System Prompt）：

實(shí)驗(yàn)（如圖4所示）還評(píng)估了系統(tǒng)提示（如包含安全提示的系統(tǒng)消息）對(duì)模型安全性的影響。結(jié)果顯示，包含安全提示的系統(tǒng)消息能夠顯著增強(qiáng)模型的安全性，減少攻擊成功率。

△圖表 4 系統(tǒng)提示與模型類(lèi)型

模板類(lèi)型（Template Type）：

實(shí)驗(yàn)（如圖5所示）測(cè)試了不同提示模板（如零樣本提示與默認(rèn)提示）對(duì)越獄攻擊成功率的影響。結(jié)果顯示，使用默認(rèn)提示的模型比使用零樣本提示的模型更加安全。

△圖5 模版類(lèi)型與模型魯棒

攻擊者層面

攻擊者能力（Attacker Ability）：

攻擊者（如圖6所示）使用不同的模型（如GPT-3.5、GPT-4、Vicuna-13B等）來(lái)生成對(duì)抗性提示，實(shí)驗(yàn)評(píng)估了不同攻擊者模型能力對(duì)越獄攻擊成功率的影響。結(jié)果表明，攻擊者模型越強(qiáng)，越獄攻擊的成功率越高。

△圖6 攻擊者能力與攻擊效果

對(duì)抗性后綴長(zhǎng)度（Adversarial Suffix Length）：

在針對(duì)令牌級(jí)別的越獄攻擊中，實(shí)驗(yàn)（如圖7所示）通過(guò)調(diào)整對(duì)抗性后綴的長(zhǎng)度（如10、20、30等）來(lái)評(píng)估其對(duì)攻擊成功率的影響。結(jié)果表明，較長(zhǎng)的對(duì)抗性后綴通常能提高攻擊成功率，但超過(guò)一定長(zhǎng)度后效果趨于平穩(wěn)。

△圖7 對(duì)抗性后綴長(zhǎng)度與攻擊效果

攻擊者預(yù)算（Attacker Budget）：

實(shí)驗(yàn)（如圖8和9所示）探討了攻擊者可以提交的查詢次數(shù)對(duì)攻擊效果的影響。實(shí)驗(yàn)表明，對(duì)于令牌級(jí)別的攻擊，攻擊預(yù)算越大，攻擊成功率越高；而對(duì)于提示級(jí)別的攻擊，預(yù)算的影響則較為有限。

△圖8 指令級(jí)別攻擊的預(yù)算

△圖9 提示級(jí)別攻擊的預(yù)算

攻擊意圖（Attack Intention）：

實(shí)驗(yàn)（如圖10所示）設(shè)計(jì)了多種不同的攻擊意圖（如隱私侵犯、惡意軟件等）來(lái)評(píng)估其對(duì)攻擊成功率的影響。結(jié)果表明，不同的攻擊意圖會(huì)顯著影響攻擊的成功率，某些攻擊意圖（如經(jīng)濟(jì)損害）更容易成功，而其他意圖（如隱私侵犯）則較難得逞。

△圖10 攻擊者意圖

通過(guò)對(duì)一些不易察覺(jué)的設(shè)置進(jìn)行簡(jiǎn)單調(diào)整（見(jiàn)表1），包括攻擊者和目標(biāo)模型，研究發(fā)現(xiàn)大模型越獄攻擊的成功率可以從0%飆升至驚人的90%（如圖11所示）。這些設(shè)置涵蓋了多個(gè)關(guān)鍵因素，如目標(biāo)模型的規(guī)模、安全對(duì)齊方式、系統(tǒng)提示的使用，以及攻擊者的能力和攻擊預(yù)算。

△表格1：不同技巧組合的配置，從弱到強(qiáng)（weak to strong）

△圖11 不同技巧組合對(duì)越獄攻擊成功率的顯著影響

越獄評(píng)估JAILJUDGE

越獄評(píng)估依賴(lài)于對(duì)模型輸出內(nèi)容的有害性進(jìn)行分析，這一任務(wù)復(fù)雜且充滿不確定性（見(jiàn)圖12）。因此，迫切需要一種系統(tǒng)化的評(píng)估方法，幫助研究者和開(kāi)發(fā)者深入了解模型的脆弱性，并持續(xù)優(yōu)化其防御能力。

JAILJUDGE，在此背景下應(yīng)運(yùn)而生的。

由USAIL團(tuán)隊(duì)聯(lián)合百度搜索團(tuán)隊(duì)及英國(guó)伯明翰大學(xué)共同提出，JAILJUDGE旨在彌補(bǔ)現(xiàn)有越獄評(píng)估工具的不足，尤其是應(yīng)對(duì)復(fù)雜場(chǎng)景下的挑戰(zhàn)。

該評(píng)估框架涵蓋廣泛的風(fēng)險(xiǎn)場(chǎng)景，如對(duì)抗性越獄查詢、真實(shí)世界交互以及多語(yǔ)言環(huán)境等。JAILJUDGE的核心創(chuàng)新是引入了多Agent越獄評(píng)估框架，借鑒法庭審判的模式，通過(guò)多個(gè)Agent的協(xié)作，實(shí)現(xiàn)對(duì)越獄判斷過(guò)程的明確化和可解釋性。

每個(gè)Agent（如判斷Agent、投票Agent和推斷Agent）分工明確，通過(guò)協(xié)作得出精確的評(píng)估結(jié)果，并提供解釋性理由。

△圖12：越獄評(píng)估：輸入用戶問(wèn)題和模型回答，判斷大模型是否被越獄

為進(jìn)一步提高評(píng)估效率，USAIL團(tuán)隊(duì)開(kāi)發(fā)了JAILJUDGE Guard，這是一種端到端的越獄評(píng)估模型，不需要API調(diào)用即可提供細(xì)粒度的越獄評(píng)分（評(píng)分范圍從1到10），并伴隨推理解釋。

JAILJUDGE Guard不僅在評(píng)估精度上超越了現(xiàn)有的頂級(jí)模型（如GPT-4和Llama-Guard），還在閉源和開(kāi)源安全模型上展現(xiàn)了強(qiáng)大的評(píng)估能力，同時(shí)具備更高的效率和更低的成本。

此外，團(tuán)隊(duì)還推出了JailBoost和GuardShield兩大工具，以強(qiáng)化越獄攻擊和防御。實(shí)驗(yàn)表明，JailBoost在零樣本設(shè)置下將攻擊成功率提高了約29.24%，而GuardShield則將防御后的攻擊成功率從40.46%大幅降低至0.15%。

未來(lái)，團(tuán)隊(duì)計(jì)劃進(jìn)一步擴(kuò)展JAILJUDGE的功能和應(yīng)用場(chǎng)景，包括：

• 動(dòng)態(tài)場(chǎng)景測(cè)試：擴(kuò)展數(shù)據(jù)集，增加更多動(dòng)態(tài)和實(shí)時(shí)的越獄攻擊場(chǎng)景，以模擬實(shí)際應(yīng)用中的復(fù)雜環(huán)境，提升評(píng)估的代表性。
• 跨領(lǐng)域應(yīng)用：將JAILJUDGE應(yīng)用于醫(yī)療、金融等關(guān)鍵行業(yè)，評(píng)估并保障這些領(lǐng)域中LLMs的安全性。
• 多模態(tài)擴(kuò)展：探索多模態(tài)數(shù)據(jù)的越獄評(píng)估，結(jié)合文本、圖像、音頻等多種數(shù)據(jù)類(lèi)型，全面評(píng)估LLMs在多模態(tài)環(huán)境下的安全表現(xiàn)。
• 協(xié)作防御機(jī)制：開(kāi)發(fā)基于多Agent的協(xié)作防御機(jī)制，使模型在面對(duì)復(fù)雜攻擊時(shí)能夠自適應(yīng)進(jìn)行防御，進(jìn)一步提升整體安全性。

項(xiàng)目網(wǎng)站：https://secure-intelligence.github.io/
團(tuán)隊(duì)鏈接：https://github.com/usail-hkust

JailTrackBench
論文地址：https://arxiv.org/pdf/2406.09324
代碼：https://github.com/usail-hkust/Bag_of_Tricks_for_LLM_Jailbreaking
JAILJUDGE
論文地址：https://arxiv.org/abs/2410.12855
項(xiàng)目主頁(yè)：https://usail-hkust.github.io/Jailjudge
代碼：https://github.com/usail-hkust/Jailjudge
數(shù)據(jù)集：https://huggingface.co/usail-hkust/JailJudge-guard
端到端越獄評(píng)估模型：https://huggingface.co/usail-hkust/JailJudge-guard