2024年，百萬上下文依然沒有殺死RAG

夢晨 2024-12-23 14:48:18 來源：量子位

夢晨 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

每一次，當(dāng)基礎(chǔ)模型能力變強(qiáng)，總會(huì)有人預(yù)言：RAG（檢索增強(qiáng)生成）或許要過時(shí)了。

但目前為止，每一次，這種預(yù)言都已落空。

比如今年2月，當(dāng)?shù)谝慌偃f上下文長度模型出現(xiàn)的時(shí)候，有人說KV緩存會(huì)取代RAG。

后來大模型Agent突飛猛進(jìn)的時(shí)候，又有人說10年就是以嵌入為基礎(chǔ)的RAG的最后期限。

10年畢竟太遠(yuǎn)，現(xiàn)在很難說得清楚。

但有RAG存在的未來，已經(jīng)業(yè)內(nèi)有不少人正在積極規(guī)劃：

產(chǎn)業(yè)界，英偉達(dá)等巨頭親自下場挖掘RAG價(jià)值。

學(xué)術(shù)界，最前沿領(lǐng)域Agent與RAG的結(jié)合，開始被越來越多的人探討。

為什么？

當(dāng)大模型從實(shí)驗(yàn)室走向工廠車間、企業(yè)辦公樓、教育課堂、金融后臺(tái)、數(shù)據(jù)中心機(jī)房的那一刻，它需要的不止是語言理解與生成能力，還需要“讀懂”企業(yè)內(nèi)部海量而更新頻繁的數(shù)據(jù)資源。

訓(xùn)練本身昂貴且緩慢，大模型本體無法頻繁更新，但企業(yè)知識(shí)與數(shù)據(jù)卻在日新月異。

RAG正是企業(yè)數(shù)據(jù)接入大模型的數(shù)據(jù)樞紐，而將數(shù)據(jù)接入AI成為大模型時(shí)代最重要的事——

它幫助大模型實(shí)時(shí)獲取最新、最契合業(yè)務(wù)場景的知識(shí)，讓AI真正成為能干活、有腦子的行業(yè)助手。

換句話說，是因?yàn)镽AG正在各行各業(yè)為大模型落地掃清障礙。

這里分別有教育、制造、金融行業(yè)的三位實(shí)踐者，來分享他們的RAG落地經(jīng)驗(yàn)。

教育業(yè)，需要靈活敏捷的知識(shí)迭代

先來看教育行業(yè)，特點(diǎn)是對知識(shí)更新迭代的需求尤其強(qiáng)烈。

在教育行業(yè)有個(gè)常見的場景：如教研資料、題庫、學(xué)科內(nèi)容不斷變化，僅靠訓(xùn)練底層模型難以與日新月異的教學(xué)信息同步。且學(xué)生提問較泛且不標(biāo)準(zhǔn)，傳統(tǒng)關(guān)鍵字檢索方案解決也行不通。

這時(shí)RAG成為低成本、高靈活性緩解大模型幻覺問題的最佳解決方案。

因此，行業(yè)通用做法就期望使用RAG開發(fā)框架打造智能助手，從而發(fā)揮海量課程、試題資源的數(shù)據(jù)價(jià)值，快速、準(zhǔn)確地回答學(xué)生提問，提高在線教學(xué)效果，減少人力成本。

某教企最初嘗試過開源的RAG方案，然而卻發(fā)現(xiàn)其效果不佳，構(gòu)建起來也繁瑣。

后來在騰訊云團(tuán)隊(duì)的幫助下，該教企客戶基于騰訊云向量數(shù)據(jù)庫進(jìn)行RAG方案的落地優(yōu)化，他們終于實(shí)現(xiàn)了在復(fù)雜、多樣、動(dòng)態(tài)知識(shí)庫中高效檢索。

過程中處理“QA對”數(shù)據(jù)的問題，給工程師留下深刻印象：

一開始語義分析的效果不是很好，經(jīng)常會(huì)把多個(gè)QA對拆裂了，導(dǎo)致詢問A問題，得到B問題的答案。

后來與騰訊云團(tuán)隊(duì)后來討論出解決方案，通過定制化邏輯修正文本拆分偏差，從而得到精準(zhǔn)檢索結(jié)果。

這讓教企無需頻繁更新大模型本身，就能讓大模型實(shí)時(shí)取用最新教研資料，給用戶提供可信、更新及時(shí)的答案。

騰訊云向量數(shù)據(jù)庫基于大量客戶有RAG應(yīng)用開發(fā)的需求，還推出了AI套件功能：一站式文檔檢索解決方案，支持用戶直接上傳原始文檔，數(shù)分鐘內(nèi)即可快速構(gòu)建專屬知識(shí)庫，大幅提高知識(shí)接入效率。

在合作過程中，客戶也高度評價(jià)騰訊云技術(shù)支持的快速響應(yīng)與產(chǎn)品迭代能力，體現(xiàn)了其技術(shù)實(shí)力和靈活性。

過去可能需要幾十分鐘甚至上小時(shí)的查詢，如今只需秒級(jí)響應(yīng)。

在教育場景中，RAG與向量數(shù)據(jù)庫的結(jié)合，不僅提高檢索效率，更讓企業(yè)積累的教育資源充分釋放價(jià)值，為學(xué)生與老師帶來更高質(zhì)量的智能化學(xué)習(xí)體驗(yàn)。

制造業(yè)，需要標(biāo)準(zhǔn)化實(shí)現(xiàn)流程提效與人才培養(yǎng)

相比教育行業(yè)，制造業(yè)更顯復(fù)雜。

這里有數(shù)量龐大的技術(shù)標(biāo)準(zhǔn)、設(shè)計(jì)資料、工程圖紙，還有多種多樣的文檔格式和數(shù)據(jù)來源，電子檔、掃描件、表格、圖片、CAD文檔……

這些文檔往往分散在各個(gè)系統(tǒng)、部門和節(jié)點(diǎn)，查找、核對和更新成本高昂。工程師培養(yǎng)周期長達(dá)3-5年，技術(shù)標(biāo)準(zhǔn)不斷迭代，一旦出現(xiàn)生產(chǎn)問題，快速定位解決方案簡直是“大海撈針”。

RAG可以幫大模型整合行業(yè)知識(shí)，但首先要解決電器行業(yè)文檔多、內(nèi)容復(fù)雜、圖文表混排的問題，不能只有向量數(shù)據(jù)庫和開發(fā)接口，還要整合端到端產(chǎn)品和服務(wù)。

騰訊云大模型知識(shí)引擎，基于大語言模型的知識(shí)應(yīng)用開發(fā)平臺(tái)，提供知識(shí)問答、知識(shí)總結(jié)等應(yīng)用模版及原子能力，助力企業(yè)低門檻構(gòu)建企業(yè)級(jí)知識(shí)服務(wù)。讓大模型能夠回答較為普世的問題，如服務(wù)于垂直專業(yè)領(lǐng)域，會(huì)存在知識(shí)深度和時(shí)效性不足的問題。

騰訊云大模型知識(shí)引擎幫助萬榕信息打造了從原始文檔中迅速獲取標(biāo)準(zhǔn)和最佳實(shí)踐，工程師不再耗費(fèi)半天去翻閱標(biāo)準(zhǔn)合同、設(shè)計(jì)資料，而是幾分鐘內(nèi)就能定位信息；碰到南網(wǎng)高海拔產(chǎn)品設(shè)計(jì)標(biāo)準(zhǔn)、斷路器事故處理等棘手問題，AI助手根據(jù)RAG動(dòng)態(tài)檢索企業(yè)內(nèi)部知識(shí)庫、歸納處理意見，并生成報(bào)告初稿。

過去的流程極度依賴資深工程師的個(gè)人經(jīng)驗(yàn)，如今RAG讓知識(shí)得以系統(tǒng)化傳承、動(dòng)態(tài)更新和快速分享。這不僅縮短了新人工程師的上手周期（從1.5年縮短至6-8個(gè)月），還直接提升了整體工作效率（在人員不變的情況下，目標(biāo)是提高40%的效率）。

RAG在制造業(yè)中帶來的，是效率、成本和人才培育模式的全方位革新。

金融業(yè)，要提效、要敏捷，但更重要是安全！

金融科技是一個(gè)極其注重合規(guī)、安全與隱私的行業(yè)。

招商證券作為金融行業(yè)的龍頭企業(yè)，正全面擁抱AI，自上而下地推進(jìn)數(shù)字化轉(zhuǎn)型。他們將“AI編程助手”作為AI技術(shù)應(yīng)用的重要切入點(diǎn)，主要原因在于：

• 技術(shù)成熟度：AI編程場景足夠成熟，解決了研發(fā)人員在日常開發(fā)中的效率問題。
• 明確的業(yè)務(wù)價(jià)值：AI工具的引入可以快速帶來效率提升，收益顯著且可量化。

在這樣的背景下，簡單的RAG方案遠(yuǎn)不足以滿足需求，需要大模型、產(chǎn)品、基礎(chǔ)設(shè)施等全面整合，提供私有化部署的解決方案。

騰訊云AI代碼助手提供產(chǎn)品基礎(chǔ)能力及開放式架構(gòu)，為招商證券打造智能化金融科技研發(fā)工具。

騰訊云基于內(nèi)部經(jīng)驗(yàn)開發(fā)AI代碼助手，通過插件形式解決開發(fā)痛點(diǎn)，為企業(yè)和團(tuán)隊(duì)提供效率提升的解決方案，同時(shí)注重靈活部署與行業(yè)需求適配

依托騰訊云的技術(shù)方案，招商證券實(shí)現(xiàn)了工具集成、數(shù)據(jù)安全和隱私保護(hù)，解決了金融業(yè)在AI應(yīng)用落地中“好用不好管”的難題，讓AI代碼助手切實(shí)提高研發(fā)效率，滿足日益增長的業(yè)務(wù)和監(jiān)管要求。

雙方的合作甚至深入到產(chǎn)品之外：在推廣AI代碼助手的過程中，招商證券與騰訊云都面臨了技術(shù)變革與習(xí)慣轉(zhuǎn)型的挑戰(zhàn)。

參考騰訊云內(nèi)部推廣AI代碼助手的經(jīng)驗(yàn)，招商證券的推廣分為兩個(gè)階段：第一階段通過主動(dòng)推廣取得了初步成效；第二階段打造體系化的推廣運(yùn)營機(jī)制，實(shí)現(xiàn)開發(fā)者自發(fā)地接受并使用AI工具。

目前，招商證券已有千余名開發(fā)人員使用AI代碼助手，日活躍人數(shù)達(dá)300，代碼采納率接近20%。

招商證券希望AI代碼助手能夠擴(kuò)展到更多垂直領(lǐng)域，如量化交易、模型定價(jià)、分析師等業(yè)務(wù)人員，覆蓋更廣泛的代碼應(yīng)用場景。

為什么是騰訊云？

其實(shí)，上面三個(gè)案例均來自AICon全球人工智能大會(huì)《Techo Day-RAG應(yīng)用與實(shí)踐》專場。各行業(yè)技術(shù)大咖們，現(xiàn)場交流分享了探索RAG在解決大模型幻覺中的創(chuàng)新策略與實(shí)戰(zhàn)經(jīng)驗(yàn)。

我們注意到，這些行業(yè)成功案例的背后都有身影同一個(gè)身影，騰訊云。

比如前面某教企分享過的業(yè)務(wù)初期嘗試開源方案未果，轉(zhuǎn)而與騰訊云團(tuán)隊(duì)合作解決了語義分析中的問題拆分錯(cuò)誤的等難題。

但為什么是騰訊云？

為了回答這個(gè)問題，我們也請到了騰訊云數(shù)據(jù)庫副總經(jīng)理羅云分享他的觀點(diǎn)：

一是長期技術(shù)積累和內(nèi)部驗(yàn)證。

騰訊云向量數(shù)據(jù)庫并在騰訊內(nèi)部已廣泛應(yīng)用，包括騰訊視頻的版權(quán)與合規(guī)檢索等苛刻場景中早已成熟運(yùn)轉(zhuǎn)。

自2019年持續(xù)研發(fā)，為滿足深度神經(jīng)網(wǎng)絡(luò)和向量檢索融合的業(yè)務(wù)需求，騰訊云不斷打磨向量數(shù)據(jù)庫，并在實(shí)踐中推動(dòng)存儲(chǔ)與計(jì)算分離架構(gòu)的落地。

這些技術(shù)與經(jīng)驗(yàn)讓騰訊云能夠在面對多樣化、復(fù)雜化的客戶需求時(shí)快速響應(yīng)、持續(xù)改進(jìn)。

二是豐富的服務(wù)生態(tài)與快速迭代能力。

某教企在實(shí)現(xiàn)車輛安全相關(guān)QA問題時(shí)，需要定制化處理拆分邏輯——騰訊云團(tuán)隊(duì)快速介入、靈活解決。

萬榕信息需要處理從標(biāo)準(zhǔn)文檔到掃描件的多模態(tài)數(shù)據(jù)，騰訊云知識(shí)引擎也能給出針對性解決方案。

對于招商證券這種高度合規(guī)與高定制的場景，騰訊云則提供從基礎(chǔ)數(shù)據(jù)庫、到私有化部署與產(chǎn)品級(jí)能力的一整套方案。

總結(jié)起來就是，這樣的穩(wěn)定性與靈活性的并存的RAG能力，在大模型加速落地的關(guān)鍵階段尤為寶貴。

未來，隨著產(chǎn)業(yè)對AI的要求不斷升級(jí)，RAG本身也將持續(xù)演進(jìn)。技術(shù)創(chuàng)新會(huì)進(jìn)一步提高檢索效率、提升多模態(tài)數(shù)據(jù)處理能力、降低用戶使用門檻；更多場景將在RAG的賦能下實(shí)現(xiàn)智能化轉(zhuǎn)型。

因此，當(dāng)下質(zhì)疑RAG過時(shí)為時(shí)尚早。RAG不僅不會(huì)消亡，反而將伴隨大模型技術(shù)的深度落地而愈發(fā)重要。

在下一階段的AI競爭中，誰能讓大模型“用得起來”、數(shù)據(jù)“用得其所”、業(yè)務(wù)“跑得更快”，誰就能在產(chǎn)業(yè)智能的浪潮中占得先機(jī)。