50張圖“毒倒”Stable Diffusion，汽車和牛都分不清了

西風(fēng) 2023-10-24 13:17:51 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

藝術(shù)家對(duì)AI侵權(quán)的反擊來(lái)了——

在畫(huà)作里“投毒”，AI用了就會(huì)“中毒”出故障。

投毒工具由芝加哥大學(xué)團(tuán)隊(duì)打造，名為Nightshade，可以對(duì)畫(huà)中像素添加隱形更改。

被下毒的畫(huà)一旦被非法抓取成為訓(xùn)練數(shù)據(jù)被AI吃掉，模型就會(huì)生成混亂。

甚至還可能會(huì)破壞DALL-E、Midjourney、Stable Diffusion……這些繪圖模型的正常迭代。

先來(lái)看一波模型中毒發(fā)作時(shí)的樣子。

沒(méi)中毒時(shí)模型生成的狗是左圖這樣?jì)饍旱?，中毒后生成的狗如右圖（喵）：

生成汽車更離譜，這是生成了輛牛車？

此外，研究人員用Stable Diffusion測(cè)試毒效，只需50張有毒的圖，就能讓模型輸出變得奇怪；數(shù)量達(dá)到300張時(shí)，生成的圖像已經(jīng)完全變成了另一個(gè)物種。

△生成手提包和帽子，從左到右：沒(méi)被下毒、用50張有毒圖訓(xùn)練、100張、300張，下同

看過(guò)了實(shí)物生成，再來(lái)看生成不同藝術(shù)風(fēng)格的畫(huà)。

模型中毒后把奇幻藝術(shù)生成了點(diǎn)彩畫(huà)法，立體主義變成動(dòng)漫風(fēng)格：

卡通、概念藝術(shù)等也沒(méi)能逃過(guò)：

重點(diǎn)是，由于模型訓(xùn)練數(shù)據(jù)量龐大，模型中毒后，AI模型開(kāi)發(fā)者想清理有毒的數(shù)據(jù)樣本也很難。

這款工具一經(jīng)曝出，藝術(shù)創(chuàng)作者們就趕緊轉(zhuǎn)發(fā)了起來(lái)，熱度一路飆升。

路過(guò)的藝術(shù)創(chuàng)作者紛紛拍手叫絕：

終于有可以用來(lái)反擊的東西了

看熱鬧的網(wǎng)友也不少，開(kāi)始調(diào)侃此前一些AI公司“適者生存”、“不能阻止技術(shù)進(jìn)步”的回應(yīng)：

AI兄弟們：適者生存，不然就die。
藝術(shù)家：好吧，制造毒液。
AI兄弟們：等等，不是這個(gè)意思??！

還有網(wǎng)友將其稱為“藝術(shù)的反擊”：

很高興看到關(guān)于創(chuàng)意DNA拉鋸戰(zhàn)正在展開(kāi)。

雙管齊下&毒性很強(qiáng)

研究團(tuán)隊(duì)不止開(kāi)發(fā)了一款工具，還有一個(gè)工具叫做Glaze，可以“掩蓋”藝術(shù)家的個(gè)人風(fēng)格。

它的原理和Nightshade類似，也是對(duì)圖像像素做一些微妙地改變，肉眼根本看不出來(lái)，但卻可以操縱模型將圖像解釋成與實(shí)際內(nèi)容不同的東西。

研究團(tuán)隊(duì)還打算把Nightshade集成到Glaze中，藝術(shù)家可以自己選擇是否要下毒。

領(lǐng)導(dǎo)開(kāi)發(fā)團(tuán)隊(duì)的芝加哥大學(xué)教授Ben Zhao表示：

希望此舉能夠讓作品權(quán)利從AI公司回歸到藝術(shù)家，通過(guò)形成有力的威懾，保護(hù)藝術(shù)家的版權(quán)和知識(shí)產(chǎn)權(quán)。

團(tuán)隊(duì)在用Stable Diffusion的最新模型以及從頭訓(xùn)練的基礎(chǔ)模型測(cè)試毒效時(shí)還發(fā)現(xiàn)：

“生成式AI模型擅長(zhǎng)在詞與詞之間建立聯(lián)系”這一特點(diǎn)有助于毒素的傳播。

比如說(shuō)，Nightshade不僅會(huì)影響“狗”的生成，還會(huì)影響“小狗”、“哈士奇”、“狼”等所有類似的概念。

有間接聯(lián)系的概念也同樣會(huì)受影響，標(biāo)為“奇幻藝術(shù)”的有毒圖像，也會(huì)影響“龍”、“《指環(huán)王》中的城堡”等的生成。

Ben Zhao教授雖承認(rèn)這種工具有可能會(huì)被惡意使用，但表示：

攻擊者想對(duì)那些經(jīng)過(guò)數(shù)十億數(shù)據(jù)訓(xùn)練的大模型造成實(shí)質(zhì)性的傷害，將需要數(shù)千個(gè)有毒的樣本。

據(jù)MIT Technology Review消息，Nightshade的研究已向網(wǎng)絡(luò)安全頂會(huì)Usenix提交同行評(píng)審。

同時(shí)Nightshade也是奔著開(kāi)源去的，其他人之后也可以修改制作不同的版本。

引起圈內(nèi)外熱議

這個(gè)工具不僅引起了藝術(shù)家和網(wǎng)友們的討論，一些專家學(xué)者也紛紛提出了自己的看法。

專注于研究AI模型安全性的康奈爾大學(xué)教授Vitaly Shmatikov就說(shuō)：

我們目前還不知道如何有效地防御（模型抓取數(shù)據(jù)），也還沒(méi)有在現(xiàn)實(shí)中看到針對(duì)機(jī)器學(xué)習(xí)模型的下毒攻擊，但這可能只是時(shí)間問(wèn)題，現(xiàn)在就應(yīng)該開(kāi)始研究防御手段。

研究AI模型數(shù)據(jù)隱私和魯棒性的滑鐵盧大學(xué)助理教授Gautam Kamath表示：

太棒了。研究顯示，這些新模型的漏洞并不會(huì)神奇地消失，實(shí)際上問(wèn)題只會(huì)變得更加嚴(yán)重。尤其是隨著時(shí)間的推移，這些模型變得更加強(qiáng)大，人們對(duì)它們的信任度增加時(shí)，所面臨的風(fēng)險(xiǎn)也只會(huì)增加。

使用過(guò)Glaze的插畫(huà)師Eva Toorenent還透露：

Stability AI、OpenAI等開(kāi)發(fā)生成式繪圖模型的AI公司已經(jīng)提議，讓藝術(shù)家選擇不用他們的畫(huà)來(lái)訓(xùn)練之后版本的模型。但藝術(shù)家們表示這還不夠，因?yàn)檫x擇退出流程需要進(jìn)行一系列復(fù)雜操作，而技術(shù)公司仍然握有所有的權(quán)力。

這會(huì)讓AI公司三思而后行，如果未經(jīng)我們的同意就取用我們的作品，他們很可能會(huì)毀掉自己的整個(gè)模型。

參考鏈接：
[1]https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/
[2]https://www.techmeme.com/231023/p35#a231023p35