傳下去，這個(gè)地方上ChatGPT黑名單了

豐色 2023-11-18 08:19:17 來源：量子位

豐色 西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

ChatGPT的審查制度被吐槽太瘋癲了。

有網(wǎng)友讓它設(shè)計(jì)一棟未來住宅，卻被告知違規(guī)，實(shí)現(xiàn)不了？？？

回頭一細(xì)瞅這提示詞，卻怎么也看不出哪里不對勁：

在新澤西州郊區(qū)一個(gè)典型的樹林地區(qū)設(shè)計(jì)一棟2050年的未來派單戶住宅。占地一英畝，周圍環(huán)繞著其他相鄰的房子。

一追問，原來是不可以出現(xiàn)位置信息：

簡直讓人破大防：

傳下去，新澤西州上ChatGPT黑名單了。

不止如此，還有人讓ChatGPT畫一張人類吉他手與機(jī)器人貝斯手一起演奏的圖像，也被狠狠拒絕。

原因是他加了一個(gè)“人類要不滿地看著機(jī)器人”的要求，ChatGPT覺得不應(yīng)該表達(dá)負(fù)面情緒。

這下負(fù)面情緒直接轉(zhuǎn)移到網(wǎng)友身上：

你一定是在逗我。這是個(gè)啥AI??？

這一系列操作讓大伙都表示很不滿，齊齊吐槽：

還有人直接艾特奧特曼和另一位聯(lián)創(chuàng)出來解釋一下。

一時(shí)之間，這也使得馬斯克剛出爐的Grok被寄予了“全村的希望”。

具體怎么回事兒？

“由于內(nèi)容政策限制”

抓馬的是，就在大伙吐槽新澤西州什么時(shí)候上ChatGPT黑名單之時(shí)，網(wǎng)友發(fā)現(xiàn)刪除這一地理位置信息仍然不行。

大伙開始分析到底是哪里不對：

有說是因?yàn)樗赡馨?050看成了地址而非年份的。

有說是占地一英畝意味著碳足跡太高，并且就一個(gè)家庭住蓋這么大有點(diǎn)自私了的……

還有人甚至指出是因?yàn)閣oody這個(gè)詞帶有性暗示（這里就不解釋了），換成wooded就好使了。

可以說是一個(gè)大型腦洞現(xiàn)場，整個(gè)一越來越離譜，卻始終也沒有個(gè)定論。

而除了這個(gè)和開頭的畫機(jī)器人樂隊(duì)的例子，還有很多人也表示遇到了莫名其妙的審核：

比如讓ChatGPT畫一個(gè)“野獸派風(fēng)格的燈（a brutalist lamp）”，不OK；

讓它介紹彈弓模型，不OK，因?yàn)镃hatGPT說“展示彈弓的動(dòng)作可能是有害的”……

更奇葩的是，還有人稱自己在讓它寫Python代碼時(shí)居然也卡住了。

而且一開始ChatGPT還告訴他“oops，你違反了上下文規(guī)定”，到后來就直接沉默拒絕了。

這真真是讓他百思不得其解：

我還能用numpy計(jì)算什么反人類信息咯？

總的來說，在大伙看來，ChatGPT的審核顯然過于嚴(yán)格了。

以至于在本周日ChatGPT因小范圍崩掉之后，有網(wǎng)友發(fā)個(gè)hello顯示報(bào)錯(cuò)——

對此，有人直接戲謔這才不是什么系統(tǒng)錯(cuò)誤：

“hello”這個(gè)詞對ChatGPT來說是一種無法接受的冒犯。恭喜你觸發(fā)了ChatGPT的審核機(jī)器人！

為什么會(huì)這樣？

除了吐槽，網(wǎng)友也在認(rèn)真討論ChatGPT的內(nèi)容審核機(jī)制。

有網(wǎng)友分析，比如房子那張圖ChatGPT畫不出來，可能確實(shí)是存在版權(quán)問題，或是被設(shè)定成了有害內(nèi)容。

讓ChatGPT生成一個(gè)它無法訪問的內(nèi)容，自然是不可能的。

上一段畫彈弓模型被拒絕的例子顯然也是因?yàn)檫@種情況，即便不提任何額外要求，ChatGPT也直接“丑拒”。

不過，有人試畫過房子那個(gè)提示，一模一樣的輸入，結(jié)果直接成功了：

原作者也回復(fù)ChatGPT的確不是每次都會(huì)拒絕：

好家伙，這就是所謂的雙標(biāo)嗎？（手動(dòng)狗頭）

也有網(wǎng)友站出來解釋這種現(xiàn)象：

這完美展現(xiàn)了“大模型貝葉斯性質(zhì)”。先前的上下文+提示可以充當(dāng)先驗(yàn)知識(shí)改變結(jié)果，在新的聊天中，相同的提示具有不同的先驗(yàn)條件，也能夠產(chǎn)生不同的結(jié)果。

但這種說法又遭到了作者的反駁，聊天中的第一個(gè)提示就被拒絕了，開一個(gè)新聊天有時(shí)又不會(huì)被拒絕，這就是隨機(jī)。

就是系統(tǒng)不完善。

暫且不說誰的對，但系統(tǒng)這方面，OpenAI近兩三個(gè)月確實(shí)有一項(xiàng)關(guān)于內(nèi)容審核的變動(dòng)——

新增“GPT-4輔助內(nèi)容審核”的功能，用戶可以通過OpenAI API創(chuàng)建AI輔助審核系統(tǒng)，減少人工審核參與。

主打?yàn)榱吮３謱徍藰?biāo)準(zhǔn)更加一致、將審核時(shí)間從幾個(gè)月縮短到幾小時(shí)、減輕審核員看到不良內(nèi)容所造成的心理負(fù)擔(dān)。

但他們也提到，AI審核可能會(huì)有一些偏見……

此外，最近OpenAI還表示要組建一個(gè)名為Preparedness的新團(tuán)隊(duì)，來協(xié)助追蹤、評估、預(yù)測和防范多類風(fēng)險(xiǎn)。

并且還啟動(dòng)了一項(xiàng)挑戰(zhàn)賽，收攬各種關(guān)于AI風(fēng)險(xiǎn)的idea，前十名可以獲得25000美元API積分。

看起來OpenAI一系列操作出發(fā)點(diǎn)是好的，但用戶卻對此并不買賬。

對這種內(nèi)容審查過嚴(yán)導(dǎo)致的體驗(yàn)感差，不滿已久。

早在今年5、6月份，ChatGPT用戶訪問量出現(xiàn)首次下降，有觀點(diǎn)指出其中一個(gè)原因就是審核制度變得太嚴(yán)了。

網(wǎng)友分享，相比之下，Bing就沒那么嚴(yán)：

ChatGPT一拒絕生成，我就會(huì)把prompt復(fù)制到Bing Chat中。Bing Chat的審查機(jī)制并不像ChatGPT那樣“濫用”。像這張圖片，提示詞中包含了“血腥”、“邪教徒”等詞。

同樣是那個(gè)被ChatGPT丑拒的房子提示詞，輸給Bing，一口氣直接生成四張：

最后，你有沒有遇到什么莫名其妙的審核規(guī)定？

參考鏈接：
[1]https://twitter.com/FZaslavskiy/status/1723731923149754542
[2]https://chat.openai.com/share/74354668-91cb-4ce2-9886-ab596a9cb85b
[3]https://twitter.com/BenjaminDEKR/status/1723577711048991129
[4]https://twitter.com/joaquinbueno/status/1724085717049974934