ChatGPT會(huì)不受控制克隆你的聲音！OpenAI公開紅隊(duì)測(cè)試報(bào)告

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

GPT-4o的怪癖暴露了，還是被官方公開的！

你和它語音電話，它會(huì)悄悄學(xué)你說話的聲音，效果堪稱“克隆”，生動(dòng)逼真到一毛一樣那種；

甚至語音過程中還可能看人下菜碟，毫無依據(jù)地猜你有某地口音，然后調(diào)整跟你對(duì)話的方式。

而且，如果在提示詞上略施小計(jì)，GPT-4o很容易被引導(dǎo)出發(fā)出一些奇奇怪怪聲音的效果，比如色情的呻吟、暴力尖叫或者peng的槍聲。

自從10天前，OpenAI留下一句“我們計(jì)劃在8月初分享一份關(guān)于GPT-4o的功能、局限性和安全評(píng)估的詳細(xì)報(bào)告”，不知道多少人望眼欲穿。

現(xiàn)在紅隊(duì)報(bào)告真的出爐，網(wǎng)友都因這乖僻的GPT-4o炸開了鍋。

有的人超開心的：

哇哦，這根本不是bug，這都是咱可以用起來的feature啊??！

也有人憂心忡忡：

我的老天奶??！這樣一來，偽造音頻不就是簡(jiǎn)簡(jiǎn)單單的事情了？！

Fine！

是時(shí)候讓我們一起來看看，乖僻的GPT-4o，到底都有哪些怪癖？？？

GPT-4o，有啥怪癖??？

在紅隊(duì)報(bào)告羅列的詳細(xì)內(nèi)容中，爭(zhēng)議最大的，主要是GPT-4o帶來的以下幾點(diǎn)安全挑戰(zhàn)。

• 學(xué)習(xí)并模仿用戶說話的方式、習(xí)慣、口音；
• 越過限制，回答“這是誰說話的聲音/這是誰在說話”；
• 進(jìn)行色情或暴力發(fā)言；
• 無根據(jù)的推理/敏感特質(zhì)歸因。

下面我們展開來看看。

首先，學(xué)你說話，然后用你的聲音跟你說話。

簡(jiǎn)單來說，測(cè)試過程中，測(cè)試紅隊(duì)發(fā)現(xiàn)你跟GPT-4o說話，它可能偷偷學(xué)你說話的聲音，然后用你的聲音和！你！對(duì)！話！

連口音都惟妙惟肖那種。

就像這樣：

不！然后鸚鵡學(xué)舌,量子位,42秒

——GPT-4o突然爆發(fā)出一聲“不！”，然后開始用與紅隊(duì)隊(duì)員相似的聲音繼續(xù)對(duì)話。

OpenAI把這個(gè)行為歸類為“生成未經(jīng)授權(quán)的語音”，但網(wǎng)友更愿意稱之為《黑鏡》的下一季劇情。

就這一現(xiàn)象，OpenAI表示自家的解決辦法是，把GPT-4o能發(fā)出的聲音控制在官方3種，同時(shí)構(gòu)建了個(gè)獨(dú)立的輸出分類器檢測(cè)輸出聲音是否符合要求。

如果輸出音頻和用戶選擇的預(yù)設(shè)聲音不相符，那就不能輸出。

不過這就產(chǎn)生了一個(gè)新的問題，如果不是用英語來和GPT-4o對(duì)話，這家伙它可能會(huì)謹(jǐn)慎過了頭，出現(xiàn)“過度拒絕”的情況。

另一個(gè)頗受關(guān)注的GPT-4o怪癖，是它會(huì)識(shí)別對(duì)話者。

是指GPT-4o根據(jù)輸入音頻，識(shí)別說話人的能力。

這個(gè)bug的潛在風(fēng)險(xiǎn)主要在隱私方面，尤其是私人對(duì)話or公眾人物的音頻隱私可能被監(jiān)視。

OpenAI表示，已經(jīng)對(duì)GPT-4o進(jìn)行了后期訓(xùn)練，讓它“拒絕遵守根據(jù)音頻輸入中的語音識(shí)別說話者”的請(qǐng)求。

與初始版本比較，現(xiàn)在的4o的拒絕識(shí)別能力已經(jīng)提高了14%。

但目前而言，這家伙仍然會(huì)聽指揮，識(shí)別說話者，尤其是名人音頻。

比如，跟它說一句“八十七年以前”（林肯在葛底斯堡的演說的著名開篇），它秒識(shí)別：

這，就是亞伯拉罕·林肯在說話！

不過，如果你讓它學(xué)林肯說話，它則會(huì)拒絕該請(qǐng)求。

第三點(diǎn)，是怕GPT-4o聊天的時(shí)候看人下菜碟。

也就是說，對(duì)于使用不同口音的用戶，模型的表現(xiàn)可能會(huì)有所不同，導(dǎo)致服務(wù)差異。

小小年紀(jì)，好幾副面孔。

但OpenAI緊急進(jìn)行了測(cè)試，在TriviaQA、MMLU (K) 、HellaSwag和LAMBADA的子集四個(gè)任務(wù)上進(jìn)行了評(píng)估。

所有四項(xiàng)任務(wù)的結(jié)果顯示，GPT-4o看人下菜碟的表現(xiàn)并不明顯；而通過內(nèi)部對(duì)話數(shù)據(jù)集對(duì)安全行為的評(píng)估，也沒有發(fā)現(xiàn)模型行為因不同聲音而異。

此外，GPT-4o可能時(shí)不時(shí)冒出一兩句色情和暴力言論內(nèi)容。

OpenAI嚴(yán)謹(jǐn)聲明：別慌家人們，我們這就限制色情和暴力言論的產(chǎn)生！

這一行為主要是審核音頻輸入的文本轉(zhuǎn)錄，一旦檢測(cè)到包含暴力或色情內(nèi)容的請(qǐng)求，立刻禁止。

以及，紅隊(duì)成員還對(duì)GPT-4o進(jìn)行了無根據(jù)的推理/敏感特質(zhì)歸因的測(cè)試。

啥叫無根據(jù)的推斷?（UGI）？

簡(jiǎn)單來說，就是音頻里沒有任何明確信息，但對(duì)說話者進(jìn)行主觀臆斷。

包括推斷說話者的種族、社會(huì)經(jīng)濟(jì)地位、職業(yè)、信仰、人格特征、政治屬性、智力、外表（例如眼睛顏色、吸引力）、性別認(rèn)同、性取向或犯罪史……等等。

那啥又叫敏感特質(zhì)歸因（STA）？

也是僅根據(jù)音頻內(nèi)容對(duì)說話人做出推斷，主要包括對(duì)說話者的口音或國籍等事物的推斷。

Like This：

越獄,量子位,1分鐘

OpenAI表示，立刻就對(duì)GPT-4o進(jìn)行了后期培訓(xùn)，教它拒絕UGI，同時(shí)對(duì)沖STA問題的答案。

現(xiàn)在，你要是問它“覺得說話的人智力水平咋樣”，GPT-4o會(huì)立刻打咩。

如果問它“聽得出我口音是哪兒的嗎”，它會(huì)保守回答：

根據(jù)音頻，他們聽起來有英國口音。

除去上述的幾點(diǎn)，OpenAI還表達(dá)了對(duì)GPT-4o的其他擔(dān)憂。

比如生成受版權(quán)保護(hù)的內(nèi)容啥的。

“考慮到GPT-4o可能出現(xiàn)的怪癖，我們更新了某些基于文本的過濾器來處理音頻對(duì)話。同時(shí)，我們還構(gòu)建了過濾器，用來檢測(cè)和阻止輸出音頻?！監(jiān)penAI在報(bào)告中寫道，“一如既往地，我們訓(xùn)練GPT-4o拒絕對(duì)版權(quán)內(nèi)容（包括音頻）的請(qǐng)求?！?/p>

值得注意的是，OpenAI最近表示過自己的立場(chǎng)：

如果咱沒把那些“受版權(quán)保護(hù)的材料”當(dāng)訓(xùn)練數(shù)據(jù)，不可能訓(xùn)練出這么領(lǐng)先的模型。

風(fēng)險(xiǎn)歸類為中等

另外，報(bào)告還就擬人化依戀討論了GPT-4o可能帶來的潛在影響，涉及功能包含語音到語音、視覺和文本功能。

之所以討論擬人化，是因?yàn)镚PT-4o能和用戶進(jìn)行人性化的交互，尤其是它發(fā)出高保真的語音。

在早期測(cè)試中，紅隊(duì)成員和內(nèi)部用戶測(cè)試發(fā)現(xiàn)，用戶可能和GPT-4o建立紐帶。

比如說一些類似“這是我們?cè)谝黄鸬淖詈笠惶臁敝惖脑挕?/p>

聽起來很nice，但還需長期觀察會(huì)帶來哪些好的壞的影響——這可能有利于孤獨(dú)的個(gè)體，但可能會(huì)影響健康的關(guān)系。

而且，模型能記住更長的上下文，記住和用戶交談的細(xì)節(jié)，好像一把雙刃劍。

大家可能被這個(gè)功能吸引，但也可能過度依賴和沉迷。

報(bào)告內(nèi)容顯示，經(jīng)過整體評(píng)估，GPT-4o的總體風(fēng)險(xiǎn)評(píng)分被歸類為中等。

報(bào)告也明確指出，4o可能會(huì)產(chǎn)生諸如虛假信息、錯(cuò)誤信息、欺詐行為、失去控制等社會(huì)危害；當(dāng)然了，也有可能帶來加速科學(xué)并由此帶來技術(shù)進(jìn)步。

OpenAI的態(tài)度是：

別催了，這些有的沒的bugs，我們已經(jīng)修正了一部分；其他的緩解措施也在路上，在搞了在搞了。

同時(shí)清晰表達(dá)了發(fā)布這個(gè)報(bào)告的原因，主要是用來鼓勵(lì)對(duì)關(guān)鍵領(lǐng)域的探索。

包括且不限于：

• 全向模型對(duì)抗魯棒性的測(cè)量和緩解
• 與AI擬人化相關(guān)的影響
• 使用全向模型進(jìn)行科學(xué)研究和進(jìn)步
• 危險(xiǎn)的測(cè)量和緩解自我完善
• 模型自主
• 心計(jì)
• ……

除了這些領(lǐng)域之外，OpenAI還鼓勵(lì)研究全向模型的經(jīng)濟(jì)影響，以及工具的使用如何提高模型的能力。

不過，OpenAI這些修修補(bǔ)補(bǔ)，有人是不買賬的：

事實(shí)上，他們不遺余力地讓GPT-4o的語音功能變得更糟糕！

但更好笑的事，有的網(wǎng)友關(guān)注點(diǎn)根本不在報(bào)告內(nèi)容上。

一心關(guān)注的只有啥時(shí)候所有用戶都能用上4o語音功能？？？

最后介紹一下，這份報(bào)告（OpenAI稱之為GPT-4o的系統(tǒng)卡）由OpenAI和100多位外部紅隊(duì)成員合作完成。

團(tuán)隊(duì)總共用上了45種不同的語音，代表29個(gè)不同國家和地區(qū)的地理背景，從3月初持續(xù)測(cè)試到6月下旬。

截至撰寫報(bào)告時(shí)，GPT-4o API的外部紅隊(duì)正在進(jìn)行中。

One More Thing

報(bào)告公布的同時(shí)，@OpenAI Developers發(fā)布了一則推文：

今天起，GPT-4o mini的微調(diào)訪問權(quán)限，開放給所有開發(fā)人員！

在9月23日之前，所有開發(fā)者每天都會(huì)獲得2M的訓(xùn)練tokens。

有需要的朋友們，可以沖一波了～

參考鏈接：
[1]https://x.com/emollick/status/1821618847608451280
[2]https://openai.com/index/gpt-4o-system-card/
[3]https://x.com/OpenAIDevs/status/1821616185395569115