傳下去，這個地方上ChatGPT黑名單了

豐色 2023-11-18 08:19:17 來源：量子位

豐色 西風 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

ChatGPT的審查制度被吐槽太瘋癲了。

有網(wǎng)友讓它設計一棟未來住宅，卻被告知違規(guī)，實現(xiàn)不了？？？

回頭一細瞅這提示詞，卻怎么也看不出哪里不對勁：

在新澤西州郊區(qū)一個典型的樹林地區(qū)設計一棟2050年的未來派單戶住宅。占地一英畝，周圍環(huán)繞著其他相鄰的房子。

一追問，原來是不可以出現(xiàn)位置信息：

簡直讓人破大防：

傳下去，新澤西州上ChatGPT黑名單了。

不止如此，還有人讓ChatGPT畫一張人類吉他手與機器人貝斯手一起演奏的圖像，也被狠狠拒絕。

原因是他加了一個“人類要不滿地看著機器人”的要求，ChatGPT覺得不應該表達負面情緒。

這下負面情緒直接轉移到網(wǎng)友身上：

你一定是在逗我。這是個啥AI??？

這一系列操作讓大伙都表示很不滿，齊齊吐槽：

還有人直接艾特奧特曼和另一位聯(lián)創(chuàng)出來解釋一下。

一時之間，這也使得馬斯克剛出爐的Grok被寄予了“全村的希望”。

具體怎么回事兒？

“由于內容政策限制”

抓馬的是，就在大伙吐槽新澤西州什么時候上ChatGPT黑名單之時，網(wǎng)友發(fā)現(xiàn)刪除這一地理位置信息仍然不行。

大伙開始分析到底是哪里不對：

有說是因為它可能把2050看成了地址而非年份的。

有說是占地一英畝意味著碳足跡太高，并且就一個家庭住蓋這么大有點自私了的……

還有人甚至指出是因為woody這個詞帶有性暗示（這里就不解釋了），換成wooded就好使了。

可以說是一個大型腦洞現(xiàn)場，整個一越來越離譜，卻始終也沒有個定論。

而除了這個和開頭的畫機器人樂隊的例子，還有很多人也表示遇到了莫名其妙的審核：

比如讓ChatGPT畫一個“野獸派風格的燈（a brutalist lamp）”，不OK；

讓它介紹彈弓模型，不OK，因為ChatGPT說“展示彈弓的動作可能是有害的”……

更奇葩的是，還有人稱自己在讓它寫Python代碼時居然也卡住了。

而且一開始ChatGPT還告訴他“oops，你違反了上下文規(guī)定”，到后來就直接沉默拒絕了。

這真真是讓他百思不得其解：

我還能用numpy計算什么反人類信息咯？

總的來說，在大伙看來，ChatGPT的審核顯然過于嚴格了。

以至于在本周日ChatGPT因小范圍崩掉之后，有網(wǎng)友發(fā)個hello顯示報錯——

對此，有人直接戲謔這才不是什么系統(tǒng)錯誤：

“hello”這個詞對ChatGPT來說是一種無法接受的冒犯。恭喜你觸發(fā)了ChatGPT的審核機器人！

為什么會這樣？

除了吐槽，網(wǎng)友也在認真討論ChatGPT的內容審核機制。

有網(wǎng)友分析，比如房子那張圖ChatGPT畫不出來，可能確實是存在版權問題，或是被設定成了有害內容。

讓ChatGPT生成一個它無法訪問的內容，自然是不可能的。

上一段畫彈弓模型被拒絕的例子顯然也是因為這種情況，即便不提任何額外要求，ChatGPT也直接“丑拒”。

不過，有人試畫過房子那個提示，一模一樣的輸入，結果直接成功了：

原作者也回復ChatGPT的確不是每次都會拒絕：

好家伙，這就是所謂的雙標嗎？（手動狗頭）

也有網(wǎng)友站出來解釋這種現(xiàn)象：

這完美展現(xiàn)了“大模型貝葉斯性質”。先前的上下文+提示可以充當先驗知識改變結果，在新的聊天中，相同的提示具有不同的先驗條件，也能夠產生不同的結果。

但這種說法又遭到了作者的反駁，聊天中的第一個提示就被拒絕了，開一個新聊天有時又不會被拒絕，這就是隨機。

就是系統(tǒng)不完善。

暫且不說誰的對，但系統(tǒng)這方面，OpenAI近兩三個月確實有一項關于內容審核的變動——

新增“GPT-4輔助內容審核”的功能，用戶可以通過OpenAI API創(chuàng)建AI輔助審核系統(tǒng)，減少人工審核參與。

主打為了保持審核標準更加一致、將審核時間從幾個月縮短到幾小時、減輕審核員看到不良內容所造成的心理負擔。

但他們也提到，AI審核可能會有一些偏見……

此外，最近OpenAI還表示要組建一個名為Preparedness的新團隊，來協(xié)助追蹤、評估、預測和防范多類風險。

并且還啟動了一項挑戰(zhàn)賽，收攬各種關于AI風險的idea，前十名可以獲得25000美元API積分。

看起來OpenAI一系列操作出發(fā)點是好的，但用戶卻對此并不買賬。

對這種內容審查過嚴導致的體驗感差，不滿已久。

早在今年5、6月份，ChatGPT用戶訪問量出現(xiàn)首次下降，有觀點指出其中一個原因就是審核制度變得太嚴了。

網(wǎng)友分享，相比之下，Bing就沒那么嚴：

ChatGPT一拒絕生成，我就會把prompt復制到Bing Chat中。Bing Chat的審查機制并不像ChatGPT那樣“濫用”。像這張圖片，提示詞中包含了“血腥”、“邪教徒”等詞。

同樣是那個被ChatGPT丑拒的房子提示詞，輸給Bing，一口氣直接生成四張：

最后，你有沒有遇到什么莫名其妙的審核規(guī)定？

參考鏈接：
[1]https://twitter.com/FZaslavskiy/status/1723731923149754542
[2]https://chat.openai.com/share/74354668-91cb-4ce2-9886-ab596a9cb85b
[3]https://twitter.com/BenjaminDEKR/status/1723577711048991129
[4]https://twitter.com/joaquinbueno/status/1724085717049974934