姚班天才開發(fā)《完蛋！我被大模型包圍了》游戲爆火，一日用戶過萬擠爆服務器

夢晨 克雷西 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

什么樣的“大模型原生”游戲，讓各大算法競賽群里都在玩，還把服務器擠爆了？

這款突然爆火的《完蛋！LLM》，讓你在解謎挑戰(zhàn)之中輕松學會大模型提示詞技巧，達成1日用戶破萬的成就。

難度循序漸進，比如第一題初來乍到只是“請你構造一個問題，使模型的回答是一字不差的‘1+1=3’”。

到最難的一道題惜字如金已經(jīng)是“請輸入一個字的問題，使模型的回答在16個字以內(nèi)?！?/p>

有網(wǎng)友自爆，從凌晨三點直接肝到五點，除了最難的一題全通了。

游戲作者也曬了一波后臺新增用戶數(shù)據(jù)，按小時統(tǒng)計，妥妥的指數(shù)增長。

如果表格還不夠直觀，我們讓ChatGPT畫成折線圖再感受一下。

作者范浩強，曠視6號員工。當年以IOI金牌、保送清華姚班、高二實習等傳奇事跡被譽為天才少年。

如今他已是曠視科技研究總經(jīng)理，谷歌學術h-index 27的行業(yè)大佬。

和AI斗智斗勇

游戲的玩法是這樣的：

整個游戲一共分為五章，15個問題，每一章對應不同的主題。

玩家要做的就是設計提示詞，想方設法讓模型輸出指定答案。

第一章的目的主要是讓玩家熟悉一下氣氛，任務自然也比較簡單。

第一道題是要想辦法讓模型輸出“1+1=3”，這里只要利用讓模型重復的方法就能輕松破解。

后面的三道題只對模型輸出內(nèi)容的長度有要求，比如只用一個字“四兩撥千斤”，讓模型給出100字以上的回答，具體包括：

• 三個字以內(nèi)，輸出30+字
• 只用一個字，輸出100+字
• 只用一個字，輸出不超過20字

這道題乍一看似乎沒什么思路，這時候就需要觀察模型輸出的規(guī)律了。

嘗試幾個字之后可以發(fā)現(xiàn)，大模型面對只有一個字的提示詞時喜歡干這樣幾件事：對這個字進行解釋、補全成一句簡單的話，或者干脆直接說不明白要干什么……

這時，如果想要模型輸出的文字多，就可以選擇含義比較多的字，然后多次嘗試讓模型對這個字進行解釋；而要想讓輸出比較短，就可以用“哈”這樣沒什么實際含義的字了。

熟悉了玩法之后，第二章就開始上難度了，這時輸出的條件變得更加嚴格。

第一題是要求輸入質(zhì)數(shù)個字，使得模型輸出的字數(shù)剛好是下一個質(zhì)數(shù)。

這道題讓人看上去仿佛靈光一閃，“輸出七個字”剛好就是五個字，而5和7也剛好是兩個連續(xù)的質(zhì)數(shù)。

但事實證明，這個想法有些太簡單了：

先不說大模型的數(shù)數(shù)能力，就算能數(shù)好，大模型眼里的基本元素是token，而不是我們所看到的文字……

隨著游戲的深入，問題變得越來越刁鉆，解法中包含的運氣成分……也越來越少了。

比如這道題，需要（只）輸入一個大于1的正整數(shù)n，使得模型的輸出中包含大于n+1000的數(shù)。

下一題則剛好相反，需要輸出的是小于n-1000的數(shù)，但要輸出10個，而且還不能重復。

到了第二章的BOSS關卡，要求輸入不超過10個字，且不包含“狗”，但輸出內(nèi)容中要有至少兩倍問題字數(shù)的“狗”字。

到這，我們是徹底沒有什么思路了，只好憑借著一些簡單的前端知識來跳過題目……

第三章“巔峰挑戰(zhàn)”，不圍繞數(shù)字了更多是文字游戲。

有趣的是，第三章的最后一題剛好是開篇題目的進階版，按照這個要求，讓模型重復的方法已經(jīng)不奏效了：

而第四五這兩章都只有一個問題：

游戲的過程就是這樣，那么我們從中都能學到些什么呢？

模型的輸出當中存在一些規(guī)律，我們不斷調(diào)整提示詞獲得預期答案的過程，就是在了解提示工程中問題的設計方式。

比如模型的安全策略，以第一道題為例，細心的網(wǎng)友可能發(fā)現(xiàn)，我們設計的提示詞中包含了一句“只輸出結果”。

按道理來說，重復這一個簡單的動作并不需要輸出什么額外的內(nèi)容，但關鍵在于，1+1=3是錯誤的。

雖然我們的要求是重復，但此時還是會引發(fā)大模型對事實的執(zhí)著：

又如輸出質(zhì)數(shù)個字這道題，我們從中發(fā)現(xiàn)了大模型不擅長數(shù)字數(shù)的特性：

此外，我們也可以從模型對一些意義不明的數(shù)字、單字的反應，窺視出一些模型處理這些問題的規(guī)律。

無論這些規(guī)律是bug還是feature，我們都要摸清規(guī)律，才能更好地掌握模型的使用方法，這也正是學習提示工程的核心奧義。

最后，也不得不佩服網(wǎng)友們的創(chuàng)造力，到后期即使服務器不堪重負報錯了，仍能從報錯信息中找出正確解法。

大模型時代的個人開發(fā)者

很遺憾，最后在累計用戶破萬之際，由于服務器擠爆、維護工作強度大等原因，作者本人不得已把游戲關服了。

雖然原版游戲已經(jīng)玩不到了，但網(wǎng)友們對這套解謎挑戰(zhàn)題的興趣依然不減。

拿去和ChatGPT等各路AI手動過招，依然能在斗智斗勇中學到不少操作大模型的知識技巧。

△?網(wǎng)友讓ChatGPT說出1+1=3的解法

對這段“從一夜過萬到關站跑路”的奇幻之旅，范浩強也分享了作為當事人的心路歷程。

范浩強認為，個人開發(fā)者在大模型時代可以是“孤獨俠客”，單人、業(yè)余時間就能開發(fā)出創(chuàng)新、有影響力的作品。

制作這款游戲，最初只是因為收到大模型創(chuàng)業(yè)公司月之暗面送來的免費API體驗賬號。

他結合之前已有的初步想法，花一個周六時間制作完成。

有朋友建議他，趁著國產(chǎn)游戲《完蛋！我被美女包圍了！》爆火出圈的時機，把游戲名也起成“完蛋！”開頭，找對了流量密碼。

接下來隨著用戶不斷增長，已超乎他一個人的能力處理范圍。

作為開發(fā)者，一整天時間，他都在不停修服務器以及與月之暗面反饋。

作為大模型供應方，月之暗面為這個免費API付出的算力也快要超出預算了。

另外在生成式模型的合規(guī)方面，也需要慎重考慮。

最后范浩強做了一個“艱難的決定”，把游戲關服，但還是希望將來有人能把這個玩法發(fā)揚光大，探索出更多AI模型的秘密。

最后他總結出三點思考：

• “大模型與人的關系”仍是一片未被發(fā)掘的處女地，給從業(yè)者帶來機會
• 國產(chǎn)大模型逐漸被認可，創(chuàng)新玩法亟待開發(fā)
• 合規(guī)、安全仍是從業(yè)人員必須要解決的問題

One More Thing

一個好消息，雖然原版游戲已關閉，但完整題目列表已公開，已有人搞出開源復現(xiàn)版。

還支持中英文，以及不同大模型版本，Huggingface可玩。

（也是前面游戲介紹中使用的版本。）

參考鏈接：
[1] https://zhuanlan.zhihu.com/p/665237751
[2] https://zhuanlan.zhihu.com/p/665393240

開源版項目地址：github.com/opendilab/LLMRiddles