超越RAG和DAPT！華人團(tuán)隊：一個小解碼器讓所有模型當(dāng)上領(lǐng)域?qū)＜?/h1>

一水 2025-08-19 14:44:06 來源：量子位

多種Qwen/Llama模型更懂醫(yī)學(xué)、法律和金融了

一個小解碼器讓所有模型當(dāng)上領(lǐng)域?qū)＜?！華人團(tuán)隊新研究正在引起熱議。

他們提出了一種比目前業(yè)界主流采用的DAPT（領(lǐng)域自適應(yīng)預(yù)訓(xùn)練）和RAG（檢索增強生成）更方便、且成本更低的方法。

• 相比DAPT，不需要昂貴的全參數(shù)訓(xùn)練；
• 相比RAG，不依賴昂貴的檢索。

而且實驗結(jié)果顯示，其方法能夠顯著提升Qwen和Llama等模型在三個專門領(lǐng)域（生物醫(yī)學(xué)、金融、法律）的效果，并使困惑度平均降低6.17分（相當(dāng)于預(yù)測下一個詞的正確率提升了約20%~25%）。

好好好，不賣關(guān)子了，原來這是來自上海交大、上海AI Lab等機構(gòu)的研究人員提出的一個名為“Memory Decoder”的預(yù)訓(xùn)練記憶模塊——

通過使用一個小型的前置解碼器（former decoder），能夠?qū)W習(xí)模仿外部非參數(shù)檢索器的行為。

翻譯成大白話就是，Memory Decoder就像給大模型加了一個“領(lǐng)域知識插件”，既高效又靈活，為大模型適應(yīng)特定領(lǐng)域提供了一種新方法。

劃重點，即插即用、無需改變原始模型參數(shù)、可以和任何共享相同分詞器的大語言模型集成。

對于這一新研究，有網(wǎng)友激動表示，這改變了游戲規(guī)則。

下面詳細(xì)來看論文內(nèi)容。

一種即插即用的預(yù)訓(xùn)練記憶模塊

隨著大模型在通用任務(wù)中適應(yīng)良好，業(yè)界目前均在嘗試用不同方法讓其更適配特定領(lǐng)域。

論文也是瞄準(zhǔn)了這一目標(biāo)，并提出了一種即插即用的預(yù)訓(xùn)練記憶模塊——Memory Decoder。

和DAPT、RAG等主流方式相比，其優(yōu)勢相對明顯：

（1）DAPT（領(lǐng)域自適應(yīng)預(yù)訓(xùn)練）需要對模型全參數(shù)進(jìn)行訓(xùn)練（即把模型整個重新訓(xùn)練一遍），成本高昂，且容易出現(xiàn)“災(zāi)難性遺忘”（即忘記之前學(xué)到的通用知識）。

（2）RAG（檢索增強生成）則因需要進(jìn)行耗時的近鄰搜索，且處理更長的上下文，通常會導(dǎo)致推理速度變慢（延遲增加）。

而Memory Decoder本質(zhì)上是一個小型Transformer解碼器（作為“記憶模塊”），其核心思路為：

• 在預(yù)訓(xùn)練階段，讓它學(xué)習(xí)模仿一個外部檢索器的行為，把特定領(lǐng)域的知識壓縮到自己的參數(shù)里；
• 在推理階段，把它和大模型一起使用，通過結(jié)果融合提升預(yù)測質(zhì)量。

舉個例子，當(dāng)用戶問“大眾汽車的CEO是誰？”時，大模型通?？赡芑谕ㄓ谜Z料，給出一個模糊的分布（如“馬斯克30%，布魯默40%，庫克20%”），但未必足夠準(zhǔn)確。

有了Memory Decoder后，由于已經(jīng)在預(yù)訓(xùn)練中學(xué)會了模仿檢索器的行為，會更傾向輸出“布魯默”的分布（如“布魯默80%，馬斯克10%，庫克5%”）。

最終，模型會將二者的結(jié)果進(jìn)行插值融合，從而得到更可靠的答案。

這樣一來，Memory Decoder就像給大模型配了一個“領(lǐng)域小助手”，既能避免重新訓(xùn)練的高成本，也能免去實時搜索資料庫帶來的延遲問題，真正實現(xiàn)了低成本、高效率、即插即用的領(lǐng)域增強。

多種Qwen/Llama模型更懂醫(yī)學(xué)、法律和金融了

為了驗證Memory Decoder的有效性，團(tuán)隊選用了多種Qwen（從0.5B到72B參數(shù)）和Llama系列（從1B到70B參數(shù)）的預(yù)訓(xùn)練語言模型，來測試其在生物醫(yī)學(xué)、金融、法律這三個專業(yè)領(lǐng)域的效果。

之所以選這三個，主要是因為它們對模型的專業(yè)知識儲備要求高，而且傳統(tǒng)適配方法經(jīng)?！版|羽而歸”。

具體衡量指標(biāo)則為Perplexity（困惑度）——數(shù)值越低表示模型對該領(lǐng)域文本的理解和預(yù)測越準(zhǔn)確。

最終實驗結(jié)果如下：

可以看到， 不管原模型參數(shù)量多大，Memory Decoder均能起到領(lǐng)域增強作用，而且比傳統(tǒng)LoRA方法更有效。

更關(guān)鍵的是，在Qwen2.5上訓(xùn)練的Memory Decoder，只需極少的額外訓(xùn)練（僅為原始訓(xùn)練成本的10%），就能適配Llama系列模型——

不僅顯著降低了所有Llama變體模型的困惑度，而且在生物醫(yī)學(xué)和金融領(lǐng)域的表現(xiàn)持續(xù)優(yōu)于LoRA方法。

整體而言，在生物醫(yī)學(xué)、金融、法律三個領(lǐng)域中，使用Memory Decoder的多種Qwen和Llama模型，平均降低了6.17分困惑度，初步驗證了Memory Decoder的有效性。

不過作者們也在論文最后提到了其局限性：

• 訓(xùn)練階段存在計算開銷

訓(xùn)練Memory Decoder的時候，得從一個大數(shù)據(jù)庫里搜很多相關(guān)信息來當(dāng)“學(xué)習(xí)材料”，這個搜索過程會消耗不少計算資源。雖然每個領(lǐng)域只需要這么干一次，之后能給各種模型用，但訓(xùn)練階段這一步依舊無法免去。

• 跨分詞器適配仍需部分參數(shù)更新

要想把在A模型（如Qwen2.5）上訓(xùn)練好的Memory Decoder用到B模型（如Llama）上，仍需要對嵌入空間進(jìn)行一些參數(shù)更新以實現(xiàn)對齊。

雖然跨分詞器適配相比從頭訓(xùn)練需要的訓(xùn)練量極少，但無法實現(xiàn)真正意義上的零樣本跨架構(gòu)遷移。

但是有一說一，Memory Decoder最大的意義或許在于，它提出了一種新的范式——

基于特別預(yù)訓(xùn)練的記憶組件來進(jìn)行領(lǐng)域自適應(yīng)。

這一記憶架構(gòu)可以即插即用地集成到目標(biāo)領(lǐng)域的多種模型中，并持續(xù)提升性能。

論文：
https://www.arxiv.org/abs/2508.09874