谷歌內(nèi)部文件泄露：大模型已被開源社區(qū)「偷家」，不改變ChatGPT也會黯然失色

魚羊 編輯整理

量子位 | 公眾號 QbitAI

在這場大模型軍備競賽中，我們沒有護(hù)城河，OpenAI也沒有。

一份谷歌內(nèi)部“泄密文件”，正在網(wǎng)上一石激起千層浪。

全文挺長，但核心觀點十分明確：開源大模型迅猛發(fā)展，正在侵蝕OpenAI和谷歌的陣地。

并且，“除非改變閉源的立場，否則開源替代品將最終使它們（包括ChatGPT）黯然失色”。

如此觀點一出，立刻吸引了不少業(yè)內(nèi)人士的關(guān)注。

Django框架的作者之一Simon Willison就轉(zhuǎn)發(fā)點贊，“這是最近我了解到的有關(guān)LLM最有趣的事”、“絕對值得一讀”。

據(jù)彭博社消息，文章原作者是谷歌高級軟件工程師Luke Sernau，而其“內(nèi)部文件”的真實性，也很快得到證實。

話不多說，一起來看具體內(nèi)容。

核心觀點

• 與開源大模型相比，谷歌在大模型質(zhì)量方面仍有優(yōu)勢，但差距正在以驚人的速度縮小。
• 大語言模型是否會因開源迎來“Stable Diffusion時刻”還有待觀察，但其發(fā)展與圖像生成領(lǐng)域具有相同要素。
• LoRA（低秩適應(yīng)）在谷歌內(nèi)部被低估了。
• 巨型模型正在使我們減速。從長遠(yuǎn)角度看，最好的模型是那些可以快速迭代的模型。
• 數(shù)據(jù)質(zhì)量比數(shù)據(jù)規(guī)模更重要。
• 直接與開源競爭是不明智的。

（以下為原文分享，經(jīng)編輯）

谷歌&OpenAI沒有護(hù)城河

誰將跨越大模型的下一個里程碑？令人不安的事實是，我們（谷歌）無法取得這場軍備競賽的勝利，OpenAI同樣不能——

就在兩邊激烈競爭之時，第三方勢力一直在悄悄侵蝕我們的陣地。

這個“第三方”，就是開源?，F(xiàn)在，一些“主要開源問題”已經(jīng)被解決，舉幾個例子：

• LLM（大語言模型）已經(jīng)能在手機上運行：比如在Pixel 6上，可以以每秒5 token的速度運行基礎(chǔ)模型。
• 可擴展的個人AI：人們可以在筆記本電腦上微調(diào)出個性化AI。
• 負(fù)責(zé)任的發(fā)布：盡管沒有完全解決，但圖像生成領(lǐng)域和文本生成領(lǐng)域都已經(jīng)取得了很大進(jìn)展，網(wǎng)上有許多無限制資源。
• 多模態(tài)：當(dāng)前多模態(tài)ScienceQA的SOTA模型，1小時內(nèi)就能完成訓(xùn)練。

雖然我們的模型在質(zhì)量方面仍有優(yōu)勢，但差距正在以驚人的速度縮小。

開源模型更快、更可定制、更私密且功能更強大。關(guān)鍵是，開源力量在用100美元和130億參數(shù)創(chuàng)造大模型，而我們在1000萬美元和5400億參數(shù)下苦苦掙扎。他們僅用幾周，而非幾個月就能完成大模型的訓(xùn)練。

這對我們產(chǎn)生了深遠(yuǎn)的影響：

• 我們沒有秘密武器。我們最大的希望是學(xué)習(xí)谷歌之外其他人正在做的事，并與之合作。我們應(yīng)該優(yōu)先考慮實現(xiàn)第三方集成。
• 當(dāng)免費、無限制的替代品在質(zhì)量上有所突破，人們將不會為受限制的模型付費。我們應(yīng)該思考我們真正的價值是什么。
• 巨型模型正在拖慢我們的速度。從長遠(yuǎn)來看，最好的模型是那些可以快速迭代的模型。既然我們知道在<200億的參數(shù)范圍內(nèi)，模型有什么可能性，我們就應(yīng)該更多地關(guān)注模型的小型變體。

大語言模型的Stable Diffusion時刻

今年三月初，Meta的大語言模型LLaMA被泄露，開源社區(qū)得到了第一個真正有實力的基礎(chǔ)模型。

隨即，“羊駝”家族瘋狂涌現(xiàn)，每隔幾天就有新的進(jìn)展發(fā)生。

僅僅一個月，指令調(diào)優(yōu)（instruction tuning）、量化、質(zhì)量改進(jìn)、人類評估、多模態(tài)、RLHF……就都出現(xiàn)了。

最重要的是，開源社區(qū)解決了擴展問題，使得人人都能參與其中親自嘗試。許多新想法都來自普通人。訓(xùn)練和實驗的門檻，已經(jīng)從一個大型研究機構(gòu)的總產(chǎn)出，降低到了一個人、一晚上和一臺高性能筆記本電腦。

很多人認(rèn)為這是大語言模型（LLM）的“Stable Diffusion時刻”。

在圖像生成和LLM領(lǐng)域，低成本的公共參與都是通過LoRA（低秩適應(yīng)）實現(xiàn)的，同時還有規(guī)模上的重大突破（比如圖像合成的latent diffusion、LLM的Chinchilla）。

結(jié)果就是，質(zhì)量足夠高的模型吸引來了全世界的人才和機構(gòu)，圍繞開源大模型產(chǎn)生的新想法和迭代，很快超過了大型企業(yè)。

在圖像領(lǐng)域，這些貢獻(xiàn)已經(jīng)證明其價值：開源使Stable Diffusion走上了與DALL-E完全不同的道路，激發(fā)了DALL-E所沒有的產(chǎn)品集成、市場、用戶界面等等創(chuàng)新。

Stable Diffusion也因此出圈，產(chǎn)生了遠(yuǎn)超DALL-E的文化影響力。

在LLM領(lǐng)域，同樣的事情是否會再次發(fā)生還有待觀察，但基本要素是相同的。

谷歌忽略了什么

最近，開源所取得的創(chuàng)新成果直接解決了我們?nèi)栽谂朔膯栴}。更多關(guān)注開源工作，可以幫助我們避免重復(fù)造輪子。

其中，LoRA是一種非常強大的技術(shù)，我們應(yīng)該加大關(guān)注。

LoRA通過低秩分解來表示模型權(quán)重的更新，這可以大大縮減更新矩陣的大小，使得模型微調(diào)的成本更低、時間更短。

在消費級硬件上，花幾個小時微調(diào)出一個個性化語言模型，這是一項重要的突破。但這項技術(shù)在谷歌內(nèi)部被低估了，盡管它直接影響了我們最雄心勃勃的幾個項目。

另外，從頭開始訓(xùn)練模型是一條艱難的道路。

LoRA如此有效的部分原因在于：和其他形式的微調(diào)一樣，它是可堆疊的。雖然單獨的微調(diào)是低秩的，但它們的總和不需要，模型的全秩更新可以隨時間推移而累積。

這意味著，隨著更好的數(shù)據(jù)集和任務(wù)的出現(xiàn)，模型可以低成本保持最新狀態(tài)，而無需負(fù)擔(dān)完整運行的成本。

相比之下，從頭訓(xùn)練大模型不僅會丟掉預(yù)訓(xùn)練，還會丟失已經(jīng)完成的迭代改進(jìn)。在開源世界，這些改進(jìn)會使模型很快占據(jù)主導(dǎo)地位，這就使得從頭重新訓(xùn)練顯得極為昂貴。

我們應(yīng)該思考，新應(yīng)用、新想法是否真的需要一個全新的模型來實現(xiàn)。如果我們確實有重大的架構(gòu)改進(jìn)，使得原有的模型權(quán)重?zé)o法復(fù)用，那么我們應(yīng)該專注于更積極的蒸餾方法，盡可能地保留上一代的功能。

維護(hù)大模型使谷歌處于劣勢

在最流行的模型規(guī)模上，LoRA的成本非常低（約100美元）。這意味著幾乎每一個對大模型有想法的人，都可以把這些想法落到現(xiàn)實。

短至一天的訓(xùn)練時間已是常態(tài)。

以這樣的速度，所有這些微調(diào)所產(chǎn)生的累積效應(yīng)，很快就會彌補模型規(guī)模帶來的劣勢。

事實上，就工程師的工時而言，這些模型的改進(jìn)速度大大超過了我們的大模型所能做的，其中最好已經(jīng)跟ChatGPT幾乎沒有區(qū)別了。

專注于維護(hù)地球上一些最大的模型，實際上使我們處于劣勢。

此外，數(shù)據(jù)質(zhì)量比數(shù)據(jù)規(guī)模更重要。

直接與開源競爭是一種失敗的主張

開源大模型最近的進(jìn)展對我們的業(yè)務(wù)戰(zhàn)略有直接的影響。如果有免費、高質(zhì)量的替代方案，誰會為谷歌有限制的付費產(chǎn)品買單呢？

我們也不應(yīng)指望能夠趕上?，F(xiàn)代互聯(lián)網(wǎng)在開源的基礎(chǔ)上運行是有原因的。開源有一些我們無法復(fù)制的顯著優(yōu)勢。

我們需要開源，勝過開源社區(qū)需要我們。

對我們的技術(shù)保密其實是一個脆弱的主張。每過一段時間，都會有谷歌的研究人員離職去往其他公司。所以我們可以假定，他們了解我們所知道的一切。

但是，由于大語言模型的負(fù)擔(dān)成本正在降低，保持技術(shù)優(yōu)勢會變得更加困難。

世界各地的研究機構(gòu)都在相互借鑒，以一種比我們自身能力更廣的方式探索解決方案。在這種外部創(chuàng)新不斷挑戰(zhàn)我們技術(shù)價值的情況下，我們可以選擇緊守我們的秘密，或者嘗試相互學(xué)習(xí)。

現(xiàn)在，開源大模型的很多創(chuàng)新，都是源于Meta LLaMA模型的泄露。但Meta又成為這一進(jìn)程中一個明顯的贏家——他們相當(dāng)于獲得了整個星球的免費勞動力。由于大多數(shù)開源創(chuàng)新都基于他們的架構(gòu)，因此沒有什么能阻止他們將這些迭代進(jìn)化整合到他們的產(chǎn)品中。

擁有生態(tài)系統(tǒng)的價值怎么強調(diào)都不為過。谷歌本身已在開源產(chǎn)品，如Chrome和Android中，成功驗證了這一點。通過擁有孵化創(chuàng)新的平臺，谷歌鞏固了自己作為意見領(lǐng)袖和方向制定者的地位，獲得了塑造比自身更宏大的想法的能力。

△Midjourney生成

我們對模型的控制越嚴(yán)密，開源替代方案的吸引力就越大。谷歌和OpenAI都傾向于防御性的發(fā)布模式，以確保他們能嚴(yán)格控制模型的使用方式。但這是徒勞的，任何想將LLM用于未經(jīng)批準(zhǔn)目的的人，都可以選擇免費的開源模型。

谷歌應(yīng)該讓自己成為開源社區(qū)的領(lǐng)導(dǎo)者，通過更廣泛的合作對話，而非忽視來起到帶頭作用。

這必然意味著放棄對我們模型的一些控制。但這種妥協(xié)是不可避免的。我們不能既希望推動創(chuàng)新，又要控制創(chuàng)新。

考慮到OpenAI當(dāng)前的封閉策略，有人會覺得這些關(guān)于開源的討論不公平。但事實是，我們已經(jīng)通過挖對方墻腳的形式，與他們分享了一切。在這種趨勢被扼制之前，保密是一個有爭議的問題。

最后，OpenAI并不重要。在對于開源的態(tài)度上，他們犯了與我們相同的錯誤。他們保持優(yōu)勢的能力必然受到質(zhì)疑。除非他們改變立場，否則開源替代品可以并最終將使其黯然失色。

至少在這方面，我們可以邁出第一步。

如何定義“護(hù)城河”

據(jù)彭博社消息，這篇文章是谷歌高級軟件工程師Luke Sernau四月初在谷歌內(nèi)網(wǎng)發(fā)布的。在被泄露之前，已經(jīng)在谷歌內(nèi)部被大量轉(zhuǎn)發(fā)。

而原文一經(jīng)流出，也引起了網(wǎng)友們的熱烈討論。

不過，也有不少網(wǎng)友并不認(rèn)同Sernau的觀點。

任何用過GPT-4的人都知道，開源模型與之相距甚遠(yuǎn)，甚至比不上GPT-3.5。OpenAI肯定有護(hù)城河，至少目前是這樣。我不確定谷歌有沒有，Bard反正是挺讓人失望的。

有網(wǎng)友認(rèn)為，Sernau關(guān)于與開源社區(qū)合作可以讓模型更快改進(jìn)的觀點值得認(rèn)同。但其實無論是開源還是閉源，改進(jìn)得快的那一方都將獲勝。

Midjourney目前比Stable Diffusion更受歡迎，因為它目前更好。但Midjourney是閉源的。

我想說的是，用戶會盯緊最好的模型。開源并不總能獲勝。

還有網(wǎng)友直接用一張圖回懟：

但無論如何，“開源模型每周都在變得更好”。

而有關(guān)大模型的精彩故事，才剛剛開篇。

參考鏈接：
[1]https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
[2]https://www.bloomberg.com/news/articles/2023-05-05/google-staffer-claims-in-leaked-ai-warning-we-have-no-secret-sauce
[3]https://news.ycombinator.com/item?id=35813322
[4]https://twitter.com/simonw/status/1654158105221922816
[5]https://www.reddit.com/r/MachineLearning/comments/137rxgw/d_google_we_have_no_moat_and_neither_does_openai/

— 完 —