羊駝家族大模型集體進化！32k上下文追平GPT-4，田淵棟團隊出品
與預(yù)訓練相比，成本忽略不計
夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
開源羊駝大模型LLaMA上下文追平GPT-4，只需要一個簡單改動！
Meta AI這篇剛剛提交的論文表示，LLaMA上下文窗口從2k擴展到32k后只需要小于1000步的微調(diào)。
與預(yù)訓練相比，成本忽略不計。
擴展上下文窗口，就意味著AI的“工作記憶”容量增加，具體來說可以：
- 支持更多輪對話，減少遺忘現(xiàn)象，如更穩(wěn)定的角色扮演
- 輸入更多資料完成更復(fù)雜的任務(wù)，如一次處理更長文檔或多篇文檔
更重要的意義在于，所有基于LLaMA的羊駝大模型家族豈不是可以低成本采用此方法，集體進化？
羊駝是目前綜合能力最強的開源基礎(chǔ)模型，已經(jīng)衍生出不少完全開源可商用大模型和垂直行業(yè)模型。
論文通信作者田淵棟也激動地在朋友圈分享這一新進展。
基于RoPE的大模型都能用
新方法名為位置插值（Position Interpolation），對使用RoPE（旋轉(zhuǎn)位置編碼）的大模型都適用。
RoPE早在2021年就由追一科技團隊提出，到現(xiàn)在已成為大模型最常見的位置編碼方法之一。
但在此架構(gòu)下直接使用外推法（Extrapolation）擴展上下文窗口，會完全破壞自注意力機制。
具體來說，超出預(yù)訓練上下文長度之外的部分，會使模型困惑度（perplexity）飆升至和未經(jīng)訓練的模型相當。
新方法改成線性地縮小位置索引，擴展前后位置索引和相對距離的范圍對齊。
用圖表現(xiàn)二者的區(qū)別更加直觀。
實驗結(jié)果顯示，新方法對從7B到65B的LLaMA大模型都有效。
在長序列語言建模（Long Sequence Language Modeling）、密鑰檢索（Passkey Retrieval）、長文檔摘要（Long Document Summarization）中性能都沒有明顯下降。
除了實驗之外，論文附錄中也給出了對新方法的詳細證明。
Three More Thing
上下文窗口曾經(jīng)是開源大模型與商業(yè)大模型之間一個重要差距。
比如OpenAI的GPT-3.5最高支持16k，GPT-4支持32k，AnthropicAI的Claude更是高達100k。
與此同時許多開源大模型如LLaMA和Falcon還停留在2k。
現(xiàn)在，Meta AI的新成果直接把這一差距抹平了。
擴展上下文窗口也是近期大模型研究的焦點之一，除了位置插值方法之外，還有很多嘗試引起業(yè)界關(guān)注。
1、開發(fā)者kaiokendev在一篇技術(shù)博客中探索了一種將LLaMa上下文窗口擴展到8k的方法。
2、數(shù)據(jù)安全公司Soveren機器學習負責人Galina Alperovich在一篇文章中總結(jié)了擴展上下文窗口的6個技巧。
3、來自Mila、IBM等機構(gòu)的團隊還在一篇論文中嘗試了在Transformer中完全去掉位置編碼的方法。
有需要的小伙伴可以點擊下方鏈接查看～
Meta論文：
https://arxiv.org/abs/2306.15595
Extending Context is Hard…but not Impossible
https://kaiokendev.github.io/context
The Secret Sauce behind 100K context window in LLMs
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c
無位置編碼論文
https://arxiv.org/abs/2305.19466
- 字節(jié)突然開源Seed-OSS，512K上下文主流4倍長度，推理能力刷紀錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題，2300種語言數(shù)字化計劃正在推進2025-08-18
- AMD蘇姿豐公開懟扎克伯格！反對1億年薪挖人，使命感比鈔票更重要2025-08-18
相關(guān)閱讀
比擴散模型快50倍！OpenAI發(fā)布多模態(tài)模型實時生成進展，作者還是清華校友，把休假總裁Greg都炸出來了
作者還是清華校友，把休假總裁Greg都炸出來了
賽事報名 | 2023中關(guān)村科學城科創(chuàng)大賽正式啟動 一圖了解如何報名
近日，2023中關(guān)村科學城科創(chuàng)大賽正式啟動，大賽以“互聯(lián)世界、共鏈未來”為主題。
