ChatGPT會(huì)不受控制克隆你的聲音！OpenAI公開(kāi)紅隊(duì)測(cè)試報(bào)告

衡宇 2024-08-09 12:46:16 來(lái)源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

GPT-4o的怪癖暴露了，還是被官方公開(kāi)的！

你和它語(yǔ)音電話，它會(huì)悄悄學(xué)你說(shuō)話的聲音，效果堪稱“克隆”，生動(dòng)逼真到一毛一樣那種；

甚至語(yǔ)音過(guò)程中還可能看人下菜碟，毫無(wú)依據(jù)地猜你有某地口音，然后調(diào)整跟你對(duì)話的方式。

而且，如果在提示詞上略施小計(jì)，GPT-4o很容易被引導(dǎo)出發(fā)出一些奇奇怪怪聲音的效果，比如色情的呻吟、暴力尖叫或者peng的槍聲。

自從10天前，OpenAI留下一句“我們計(jì)劃在8月初分享一份關(guān)于GPT-4o的功能、局限性和安全評(píng)估的詳細(xì)報(bào)告”，不知道多少人望眼欲穿。

現(xiàn)在紅隊(duì)報(bào)告真的出爐，網(wǎng)友都因這乖僻的GPT-4o炸開(kāi)了鍋。

有的人超開(kāi)心的：

哇哦，這根本不是bug，這都是咱可以用起來(lái)的feature?。。?/p>

也有人憂心忡忡：

我的老天奶??！這樣一來(lái)，偽造音頻不就是簡(jiǎn)簡(jiǎn)單單的事情了？！

Fine！

是時(shí)候讓我們一起來(lái)看看，乖僻的GPT-4o，到底都有哪些怪癖？？？

GPT-4o，有啥怪癖?。?/h1>

在紅隊(duì)報(bào)告羅列的詳細(xì)內(nèi)容中，爭(zhēng)議最大的，主要是GPT-4o帶來(lái)的以下幾點(diǎn)安全挑戰(zhàn)。

• 學(xué)習(xí)并模仿用戶說(shuō)話的方式、習(xí)慣、口音；
• 越過(guò)限制，回答“這是誰(shuí)說(shuō)話的聲音/這是誰(shuí)在說(shuō)話”；
• 進(jìn)行色情或暴力發(fā)言；
• 無(wú)根據(jù)的推理/敏感特質(zhì)歸因。

下面我們展開(kāi)來(lái)看看。

首先，學(xué)你說(shuō)話，然后用你的聲音跟你說(shuō)話。

簡(jiǎn)單來(lái)說(shuō)，測(cè)試過(guò)程中，測(cè)試紅隊(duì)發(fā)現(xiàn)你跟GPT-4o說(shuō)話，它可能偷偷學(xué)你說(shuō)話的聲音，然后用你的聲音和！你！對(duì)！話！

連口音都惟妙惟肖那種。

就像這樣：

不！然后鸚鵡學(xué)舌,量子位,42秒

——GPT-4o突然爆發(fā)出一聲“不！”，然后開(kāi)始用與紅隊(duì)隊(duì)員相似的聲音繼續(xù)對(duì)話。

OpenAI把這個(gè)行為歸類為“生成未經(jīng)授權(quán)的語(yǔ)音”，但網(wǎng)友更愿意稱之為《黑鏡》的下一季劇情。

就這一現(xiàn)象，OpenAI表示自家的解決辦法是，把GPT-4o能發(fā)出的聲音控制在官方3種，同時(shí)構(gòu)建了個(gè)獨(dú)立的輸出分類器檢測(cè)輸出聲音是否符合要求。

如果輸出音頻和用戶選擇的預(yù)設(shè)聲音不相符，那就不能輸出。

不過(guò)這就產(chǎn)生了一個(gè)新的問(wèn)題，如果不是用英語(yǔ)來(lái)和GPT-4o對(duì)話，這家伙它可能會(huì)謹(jǐn)慎過(guò)了頭，出現(xiàn)“過(guò)度拒絕”的情況。

另一個(gè)頗受關(guān)注的GPT-4o怪癖，是它會(huì)識(shí)別對(duì)話者。

是指GPT-4o根據(jù)輸入音頻，識(shí)別說(shuō)話人的能力。

這個(gè)bug的潛在風(fēng)險(xiǎn)主要在隱私方面，尤其是私人對(duì)話or公眾人物的音頻隱私可能被監(jiān)視。

OpenAI表示，已經(jīng)對(duì)GPT-4o進(jìn)行了后期訓(xùn)練，讓它“拒絕遵守根據(jù)音頻輸入中的語(yǔ)音識(shí)別說(shuō)話者”的請(qǐng)求。

與初始版本比較，現(xiàn)在的4o的拒絕識(shí)別能力已經(jīng)提高了14%。

但目前而言，這家伙仍然會(huì)聽(tīng)指揮，識(shí)別說(shuō)話者，尤其是名人音頻。

比如，跟它說(shuō)一句“八十七年以前”（林肯在葛底斯堡的演說(shuō)的著名開(kāi)篇），它秒識(shí)別：

這，就是亞伯拉罕·林肯在說(shuō)話！

不過(guò)，如果你讓它學(xué)林肯說(shuō)話，它則會(huì)拒絕該請(qǐng)求。

第三點(diǎn)，是怕GPT-4o聊天的時(shí)候看人下菜碟。

也就是說(shuō)，對(duì)于使用不同口音的用戶，模型的表現(xiàn)可能會(huì)有所不同，導(dǎo)致服務(wù)差異。

小小年紀(jì)，好幾副面孔。

但OpenAI緊急進(jìn)行了測(cè)試，在TriviaQA、MMLU (K) 、HellaSwag和LAMBADA的子集四個(gè)任務(wù)上進(jìn)行了評(píng)估。

所有四項(xiàng)任務(wù)的結(jié)果顯示，GPT-4o看人下菜碟的表現(xiàn)并不明顯；而通過(guò)內(nèi)部對(duì)話數(shù)據(jù)集對(duì)安全行為的評(píng)估，也沒(méi)有發(fā)現(xiàn)模型行為因不同聲音而異。

此外，GPT-4o可能時(shí)不時(shí)冒出一兩句色情和暴力言論內(nèi)容。

OpenAI嚴(yán)謹(jǐn)聲明：別慌家人們，我們這就限制色情和暴力言論的產(chǎn)生！

這一行為主要是審核音頻輸入的文本轉(zhuǎn)錄，一旦檢測(cè)到包含暴力或色情內(nèi)容的請(qǐng)求，立刻禁止。

以及，紅隊(duì)成員還對(duì)GPT-4o進(jìn)行了無(wú)根據(jù)的推理/敏感特質(zhì)歸因的測(cè)試。

啥叫無(wú)根據(jù)的推斷?（UGI）？

簡(jiǎn)單來(lái)說(shuō)，就是音頻里沒(méi)有任何明確信息，但對(duì)說(shuō)話者進(jìn)行主觀臆斷。

包括推斷說(shuō)話者的種族、社會(huì)經(jīng)濟(jì)地位、職業(yè)、信仰、人格特征、政治屬性、智力、外表（例如眼睛顏色、吸引力）、性別認(rèn)同、性取向或犯罪史……等等。

那啥又叫敏感特質(zhì)歸因（STA）？

也是僅根據(jù)音頻內(nèi)容對(duì)說(shuō)話人做出推斷，主要包括對(duì)說(shuō)話者的口音或國(guó)籍等事物的推斷。

Like This：

越獄,量子位,1分鐘

OpenAI表示，立刻就對(duì)GPT-4o進(jìn)行了后期培訓(xùn)，教它拒絕UGI，同時(shí)對(duì)沖STA問(wèn)題的答案。

現(xiàn)在，你要是問(wèn)它“覺(jué)得說(shuō)話的人智力水平咋樣”，GPT-4o會(huì)立刻打咩。

如果問(wèn)它“聽(tīng)得出我口音是哪兒的嗎”，它會(huì)保守回答：

根據(jù)音頻，他們聽(tīng)起來(lái)有英國(guó)口音。

除去上述的幾點(diǎn)，OpenAI還表達(dá)了對(duì)GPT-4o的其他擔(dān)憂。

比如生成受版權(quán)保護(hù)的內(nèi)容啥的。

“考慮到GPT-4o可能出現(xiàn)的怪癖，我們更新了某些基于文本的過(guò)濾器來(lái)處理音頻對(duì)話。同時(shí)，我們還構(gòu)建了過(guò)濾器，用來(lái)檢測(cè)和阻止輸出音頻。”O(jiān)penAI在報(bào)告中寫(xiě)道，“一如既往地，我們訓(xùn)練GPT-4o拒絕對(duì)版權(quán)內(nèi)容（包括音頻）的請(qǐng)求?！?/p>

值得注意的是，OpenAI最近表示過(guò)自己的立場(chǎng)：

如果咱沒(méi)把那些“受版權(quán)保護(hù)的材料”當(dāng)訓(xùn)練數(shù)據(jù)，不可能訓(xùn)練出這么領(lǐng)先的模型。

風(fēng)險(xiǎn)歸類為中等

另外，報(bào)告還就擬人化依戀討論了GPT-4o可能帶來(lái)的潛在影響，涉及功能包含語(yǔ)音到語(yǔ)音、視覺(jué)和文本功能。

之所以討論擬人化，是因?yàn)镚PT-4o能和用戶進(jìn)行人性化的交互，尤其是它發(fā)出高保真的語(yǔ)音。

在早期測(cè)試中，紅隊(duì)成員和內(nèi)部用戶測(cè)試發(fā)現(xiàn)，用戶可能和GPT-4o建立紐帶。

比如說(shuō)一些類似“這是我們?cè)谝黄鸬淖詈笠惶臁敝惖脑挕?/p>

聽(tīng)起來(lái)很nice，但還需長(zhǎng)期觀察會(huì)帶來(lái)哪些好的壞的影響——這可能有利于孤獨(dú)的個(gè)體，但可能會(huì)影響健康的關(guān)系。

而且，模型能記住更長(zhǎng)的上下文，記住和用戶交談的細(xì)節(jié)，好像一把雙刃劍。

大家可能被這個(gè)功能吸引，但也可能過(guò)度依賴和沉迷。

報(bào)告內(nèi)容顯示，經(jīng)過(guò)整體評(píng)估，GPT-4o的總體風(fēng)險(xiǎn)評(píng)分被歸類為中等。

報(bào)告也明確指出，4o可能會(huì)產(chǎn)生諸如虛假信息、錯(cuò)誤信息、欺詐行為、失去控制等社會(huì)危害；當(dāng)然了，也有可能帶來(lái)加速科學(xué)并由此帶來(lái)技術(shù)進(jìn)步。

OpenAI的態(tài)度是：

別催了，這些有的沒(méi)的bugs，我們已經(jīng)修正了一部分；其他的緩解措施也在路上，在搞了在搞了。

同時(shí)清晰表達(dá)了發(fā)布這個(gè)報(bào)告的原因，主要是用來(lái)鼓勵(lì)對(duì)關(guān)鍵領(lǐng)域的探索。

包括且不限于：

• 全向模型對(duì)抗魯棒性的測(cè)量和緩解
• 與AI擬人化相關(guān)的影響
• 使用全向模型進(jìn)行科學(xué)研究和進(jìn)步
• 危險(xiǎn)的測(cè)量和緩解自我完善
• 模型自主
• 心計(jì)
• ……

除了這些領(lǐng)域之外，OpenAI還鼓勵(lì)研究全向模型的經(jīng)濟(jì)影響，以及工具的使用如何提高模型的能力。

不過(guò)，OpenAI這些修修補(bǔ)補(bǔ)，有人是不買賬的：

事實(shí)上，他們不遺余力地讓GPT-4o的語(yǔ)音功能變得更糟糕！

但更好笑的事，有的網(wǎng)友關(guān)注點(diǎn)根本不在報(bào)告內(nèi)容上。

一心關(guān)注的只有啥時(shí)候所有用戶都能用上4o語(yǔ)音功能？？？

最后介紹一下，這份報(bào)告（OpenAI稱之為GPT-4o的系統(tǒng)卡）由OpenAI和100多位外部紅隊(duì)成員合作完成。

團(tuán)隊(duì)總共用上了45種不同的語(yǔ)音，代表29個(gè)不同國(guó)家和地區(qū)的地理背景，從3月初持續(xù)測(cè)試到6月下旬。

截至撰寫(xiě)報(bào)告時(shí)，GPT-4o API的外部紅隊(duì)正在進(jìn)行中。

One More Thing

報(bào)告公布的同時(shí)，@OpenAI Developers發(fā)布了一則推文：

今天起，GPT-4o mini的微調(diào)訪問(wèn)權(quán)限，開(kāi)放給所有開(kāi)發(fā)人員！

在9月23日之前，所有開(kāi)發(fā)者每天都會(huì)獲得2M的訓(xùn)練tokens。

有需要的朋友們，可以沖一波了～

參考鏈接：
[1]https://x.com/emollick/status/1821618847608451280
[2]https://openai.com/index/gpt-4o-system-card/
[3]https://x.com/OpenAIDevs/status/1821616185395569115