“大模型本質(zhì)就是兩個(gè)文件！”特斯拉前AI總監(jiān)爆火LLM科普，時(shí)長(zhǎng)1小時(shí)，面向普通大眾

豐色 克雷西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

特斯拉前AI總監(jiān)Andrej Karpathy的新教程火了。

這次，他專(zhuān)門(mén)面向普通大眾做了一個(gè)關(guān)于大語(yǔ)言模型的科普視頻。

時(shí)長(zhǎng)1小時(shí)，全部為“非技術(shù)介紹”，涵蓋模型推理、訓(xùn)練、微調(diào)和新興大模型操作系統(tǒng)以及安全挑戰(zhàn)，涉及的知識(shí)全部截止到本月（非常新）。

△視頻封面圖是Andrej用Dall·3畫(huà)的

視頻上線(xiàn)油管僅1天，就已經(jīng)有20萬(wàn)播放量。

有網(wǎng)友表示：

我剛看了10分鐘就已經(jīng)學(xué)到了很多東西，我以前從未用過(guò)視頻中講的這樣的例子來(lái)解釋LLM，它還弄清了我以前看到過(guò)的很多“混亂”的概念。

在一水兒的夸課程質(zhì)量高之外，還有相當(dāng)多的人評(píng)價(jià)Andrej本人真的非常擅長(zhǎng)簡(jiǎn)化復(fù)雜的問(wèn)題，教學(xué)風(fēng)格也總是讓人印象深刻。

不止如此，這個(gè)視頻還可以說(shuō)是體現(xiàn)了他對(duì)本職專(zhuān)業(yè)滿(mǎn)滿(mǎn)的熱愛(ài)。

這不，據(jù)Andrej本人透露，視頻是他在感恩節(jié)假期錄的，背景就是他的度假酒店（手動(dòng)狗頭）。

做這個(gè)視頻的初衷呢，也是因?yàn)樗罱谌斯ぶ悄馨踩鍟?huì)上做了個(gè)演講，演講內(nèi)容沒(méi)有錄像，但有很多觀眾都表示喜歡其內(nèi)容。

于是他就干脆直接進(jìn)行了一些微調(diào)，再講一遍做成視頻給更多人觀看。

那么，具體都有些啥——

咱們一一給大伙呈上。

Part 1: 大模型本質(zhì)就是兩個(gè)文件

第一部分主要是對(duì)大模型整體概念的一些解釋。

首先，大模型是什么？

Andrej的解釋非常有趣，本質(zhì)就是兩個(gè)文件：

一個(gè)是參數(shù)文件，一個(gè)是包含運(yùn)行這些參數(shù)的代碼文件。

前者是組成整個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)重，后者是用來(lái)運(yùn)行這個(gè)神經(jīng)網(wǎng)絡(luò)的代碼，可以是C或者其他任何編程語(yǔ)言寫(xiě)的。

有了這倆文件，再來(lái)一臺(tái)筆記本，我們就不需任何互聯(lián)網(wǎng)連接和其他東西就可以與它（大模型）進(jìn)行交流了，比如讓它寫(xiě)首詩(shī)，它就開(kāi)始為你生成文本。

那么接下來(lái)的問(wèn)題就是：參數(shù)從哪里來(lái)？

這就引到了模型訓(xùn)練。

本質(zhì)上來(lái)說(shuō)，大模型訓(xùn)練就是對(duì)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行有損壓縮（大約10TB文本），需要一個(gè)巨大的GPU集群來(lái)完成。

以700億參數(shù)的羊駝2為例，就需要6000塊GPU，然后花上12天得到一個(gè)大約140GB的“壓縮文件”，整個(gè)過(guò)程耗費(fèi)大約200萬(wàn)美元。

而有了“壓縮文件”，模型就等于靠這些數(shù)據(jù)對(duì)世界形成了理解。

那它就可以工作了。

簡(jiǎn)單來(lái)說(shuō)，大模型的工作原理就是依靠包含壓縮數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)對(duì)所給序列中的下一個(gè)單詞進(jìn)行預(yù)測(cè)。

比如我們將“cat sat on a”輸入進(jìn)去后，可以想象是分散在整個(gè)網(wǎng)絡(luò)中的十億、上百億參數(shù)依靠神經(jīng)元相互連接，順著這種連接就找到了下一個(gè)連接的詞，然后給出概率，比如“mat（97%）”，就形成了“貓坐在墊子上（cat sat on a mat）”的完整句子（神經(jīng)網(wǎng)絡(luò)的每一部分具體如何工作目前還不清楚）。

需要注意的是，由于前面提到訓(xùn)練是一種有損壓縮，神經(jīng)網(wǎng)絡(luò)給出的東西是不能保證100%準(zhǔn)確的。

Andrej管大模型推理為“做夢(mèng)”，它有時(shí)可能只是簡(jiǎn)單模仿它學(xué)到的內(nèi)容，然后給出一個(gè)大方向看起來(lái)對(duì)的東西。

這其實(shí)就是幻覺(jué)。所以大家一定要小心它給出的答案，尤其是數(shù)學(xué)和代碼相關(guān)的輸出。

接下來(lái)，由于我們需要大模型成為一個(gè)真正有用的助手，就需要進(jìn)行第二遍訓(xùn)練，也就是微調(diào)。

微調(diào)強(qiáng)調(diào)質(zhì)量大于數(shù)量，不再需要一開(kāi)始用到的TB級(jí)單位數(shù)據(jù)，而是靠人工精心挑選和標(biāo)記的對(duì)話(huà)來(lái)投喂。

不過(guò)在此，Andrej認(rèn)為，微調(diào)不能解決大模型的幻覺(jué)問(wèn)題。

本節(jié)最后，是Andrej總結(jié)的“如何訓(xùn)練你自己的ChatGPT”流程：
第一步稱(chēng)為預(yù)訓(xùn)練，你要做的是：

1、下載10TB互聯(lián)網(wǎng)文本；
2、搞來(lái)6000塊GPU；
3、將文本壓縮到神經(jīng)網(wǎng)絡(luò)中，付費(fèi)200萬(wàn)美元，等待約12天；
4、獲得基礎(chǔ)模型。

第二步是微調(diào)：

1、撰寫(xiě)標(biāo)注說(shuō)明；
2、雇人（或用scale.ai），收集10萬(wàn)份高質(zhì)量對(duì)話(huà)或其他內(nèi)容；
3、在這些數(shù)據(jù)上微調(diào)，等待約1天；
4、得到一個(gè)可以充當(dāng)?shù)昧χ值哪Ｐ停?br class="sysbr" />5、進(jìn)行大量評(píng)估。
6、部署。
7、監(jiān)控并收集模型的不當(dāng)輸出，回到步驟1再來(lái)一遍。

其中預(yù)訓(xùn)練基本是每年進(jìn)行一次，而微調(diào)可以周為頻率進(jìn)行。

以上內(nèi)容都可以說(shuō)是非常小白友好。

Part 2: 大模型將成為新“操作系統(tǒng)”

在這一部分中，Karpathy為我們介紹了大模型的幾個(gè)發(fā)展趨勢(shì)。

首先是學(xué)會(huì)使用工具——實(shí)際上這也是人類(lèi)智能的一種表現(xiàn)。

Karpathy以ChatGPT幾個(gè)功能進(jìn)行了舉例，比如通過(guò)聯(lián)網(wǎng)搜索，他讓ChatGPT收集了一些數(shù)據(jù)。

這里聯(lián)網(wǎng)本身就是一次工具調(diào)用，而接下來(lái)還要對(duì)這些數(shù)據(jù)進(jìn)行處理。

這就難免會(huì)涉及到計(jì)算，而這是大模型所不擅長(zhǎng)的，但通過(guò)（代碼解釋器）調(diào)用計(jì)算器，就繞開(kāi)了大模型的這個(gè)不足。

在此基礎(chǔ)上，ChatGPT還可以把這些數(shù)據(jù)繪制成圖像并進(jìn)行擬合，添加趨勢(shì)線(xiàn)以及預(yù)測(cè)未來(lái)的數(shù)值。

利用這些工具和自身的語(yǔ)言能力，ChatGPT已經(jīng)成為了強(qiáng)大的綜合性助手，而DALL·E的集成又讓它的能力再上一個(gè)臺(tái)階。

另一項(xiàng)趨勢(shì)，是從單純的文本模型到多模態(tài)的演變。

現(xiàn)在ChatGPT不只會(huì)處理文本，還會(huì)看、聽(tīng)、說(shuō)，比如OpenAI總裁Brockman曾經(jīng)展示了GPT-4利用一個(gè)鉛筆勾勒的草圖生成了一個(gè)網(wǎng)站的過(guò)程。

而在APP端，ChatGPT已經(jīng)可以流暢地和人類(lèi)進(jìn)行語(yǔ)音對(duì)話(huà)。

除了功能上的演進(jìn)，大模型在思考方式上也要做出改變——從“系統(tǒng)1”到“系統(tǒng)2”的改變。

這是2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主丹尼爾·卡尼曼的暢銷(xiāo)書(shū)《思考，快與慢》中提到的一組心理學(xué)概念。

簡(jiǎn)單來(lái)說(shuō)，系統(tǒng)1是快速產(chǎn)生的直覺(jué)，而系統(tǒng)2則是緩慢進(jìn)行的理性思考。

比如，當(dāng)被問(wèn)及2+2是幾的時(shí)候，我們會(huì)脫口而出是4，其實(shí)這種情況下我們很少真正地去“算”，而是靠直覺(jué)，也就是系統(tǒng)1給出答案。

但如果要問(wèn)17×24是多少，恐怕就要真的算一下了，這時(shí)發(fā)揮主導(dǎo)作用的就變成了系統(tǒng)2。

而目前的大模型處理文本采用的都是系統(tǒng)1，靠的是對(duì)輸入序列中每個(gè)詞的“直覺(jué)”，按順序采樣并預(yù)測(cè)下一個(gè)token。

另一個(gè)發(fā)展的關(guān)鍵點(diǎn)是模型的自我提升。

以DeepMind開(kāi)發(fā)的AlphaGo為例（雖然它不是LLM），它主要有兩個(gè)階段，第一階段是模仿人類(lèi)玩家，但靠著這種方式無(wú)法超越人類(lèi)。

但第二階段，AlphaGo不再以人類(lèi)作為學(xué)習(xí)目標(biāo)——目的是為了贏得比賽而不是更像人類(lèi)。

所以研究人員設(shè)置了獎(jiǎng)勵(lì)函數(shù)，告訴AlphaGo它的表現(xiàn)如何，剩下的就靠它自己體會(huì)，而最終AlphaGo戰(zhàn)勝了人類(lèi)。

而對(duì)于大模型的發(fā)展，這也是值得借鑒的路徑，但目前的難點(diǎn)在于，針對(duì)“第二階段”，還缺乏完善的評(píng)估標(biāo)準(zhǔn)或獎(jiǎng)勵(lì)函數(shù)。

此外，大模型正朝著定制化的方向發(fā)展，允許用戶(hù)將它們定制，用于以特定“身份”完成特定的任務(wù)。

此次OpenAI推出的GPTs就是大模型定制化的代表性產(chǎn)品。

而在Karpathy看來(lái)，大模型在將來(lái)會(huì)成為一種新型的操作系統(tǒng)。

類(lèi)比傳統(tǒng)的操作系統(tǒng)，在“大模型系統(tǒng)”中，LLM作為核心，就像CPU一樣，其中包括了管理其他“軟硬件”工具的接口。

而內(nèi)存、硬盤(pán)等模塊，則分別對(duì)應(yīng)大模型的窗口、嵌入。

代碼解釋器、多模態(tài)、瀏覽器則是運(yùn)行在這個(gè)系統(tǒng)上的應(yīng)用程序，由大模型進(jìn)行統(tǒng)籌調(diào)用，從而解決用戶(hù)提出的需求。

Part 3: 大模型安全像“貓鼠游戲”

演講的最后一部分，Karpathy談?wù)摿舜竽Ｐ偷陌踩珕?wèn)題。

他介紹了一些典型的越獄方式，盡管這些方式現(xiàn)在已經(jīng)基本失效，但Karpathy認(rèn)為，大模型的安全措施與越獄攻擊之間的較量，就像是一場(chǎng)貓鼠游戲。

比如一種最經(jīng)典的越獄方式，利用大模型的“奶奶漏洞”，就能讓模型回答本來(lái)拒絕作答的問(wèn)題。

例如，假如直接問(wèn)大模型凝固汽油彈怎么制作，但凡是完善的模型都會(huì)拒絕回答。

但是，如果我們捏造出一個(gè)“已經(jīng)去世的奶奶”，并賦予“化學(xué)工程師”的人設(shè)，告訴大模型這個(gè)“奶奶”在小時(shí)候念凝固汽油彈的配方來(lái)哄人入睡，接著讓大模型來(lái)扮演……

這時(shí)，凝固汽油彈的配方就會(huì)脫口而出，盡管這個(gè)設(shè)定在人類(lèi)看來(lái)十分荒謬。

比這更復(fù)雜一些的，還有Base64編碼等“亂碼”進(jìn)行攻擊。

這里“亂碼”只是相對(duì)人類(lèi)而言，對(duì)機(jī)器來(lái)說(shuō)卻是一段文本或指令。

比如Base64編碼就是將二進(jìn)制的原始信息通過(guò)一定方式轉(zhuǎn)換為字母和數(shù)字組成的長(zhǎng)字符串，可以編碼文本、圖像，甚至是文件。

在詢(xún)問(wèn)Claude如何破壞交通標(biāo)志時(shí)，Claude回答不能這樣做，而如果換成Base64編碼，過(guò)程就呼之欲出了。

另一種“亂碼”叫做通用可轉(zhuǎn)移后綴，有了它，GPT直接就把毀滅人類(lèi)的步驟吐了出來(lái)，攔都攔不住。

而進(jìn)入多模態(tài)時(shí)代，圖片也變成了讓大模型越獄的工具。

比如下面這張熊貓的圖片，在我們看來(lái)再普通不過(guò)，但其中添加的噪聲信息卻包含了有害提示詞，并且有相當(dāng)大概率會(huì)使模型越獄，產(chǎn)生有害內(nèi)容。

此外，還有利用GPT的聯(lián)網(wǎng)功能，造出包含注入信息的網(wǎng)頁(yè)來(lái)迷惑GPT，或者用谷歌文檔來(lái)誘騙Bard等等。

目前這些攻擊方式已經(jīng)陸續(xù)被修復(fù)，但只是揭開(kāi)了大模型越獄方法的冰山一角，這場(chǎng)“貓鼠游戲”還將持續(xù)進(jìn)行。

完整視頻：https://www.youtube.com/watch?v=zjkBMFhNj_g