2024年，百萬上下文依然沒有殺死RAG

夢晨 2024-12-23 14:48:18 來源：量子位

夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

每一次，當基礎模型能力變強，總會有人預言：RAG（檢索增強生成）或許要過時了。

但目前為止，每一次，這種預言都已落空。

比如今年2月，當第一批百萬上下文長度模型出現的時候，有人說KV緩存會取代RAG。

后來大模型Agent突飛猛進的時候，又有人說10年就是以嵌入為基礎的RAG的最后期限。

10年畢竟太遠，現在很難說得清楚。

但有RAG存在的未來，已經業內有不少人正在積極規劃：

產業界，英偉達等巨頭親自下場挖掘RAG價值。

學術界，最前沿領域Agent與RAG的結合，開始被越來越多的人探討。

為什么？

當大模型從實驗室走向工廠車間、企業辦公樓、教育課堂、金融后臺、數據中心機房的那一刻，它需要的不止是語言理解與生成能力，還需要“讀懂”企業內部海量而更新頻繁的數據資源。

訓練本身昂貴且緩慢，大模型本體無法頻繁更新，但企業知識與數據卻在日新月異。

RAG正是企業數據接入大模型的數據樞紐，而將數據接入AI成為大模型時代最重要的事——

它幫助大模型實時獲取最新、最契合業務場景的知識，讓AI真正成為能干活、有腦子的行業助手。

換句話說，是因為RAG正在各行各業為大模型落地掃清障礙。

這里分別有教育、制造、金融行業的三位實踐者，來分享他們的RAG落地經驗。

教育業，需要靈活敏捷的知識迭代

先來看教育行業，特點是對知識更新迭代的需求尤其強烈。

在教育行業有個常見的場景：如教研資料、題庫、學科內容不斷變化，僅靠訓練底層模型難以與日新月異的教學信息同步。且學生提問較泛且不標準，傳統關鍵字檢索方案解決也行不通。

這時RAG成為低成本、高靈活性緩解大模型幻覺問題的最佳解決方案。

因此，行業通用做法就期望使用RAG開發框架打造智能助手，從而發揮海量課程、試題資源的數據價值，快速、準確地回答學生提問，提高在線教學效果，減少人力成本。

某教企最初嘗試過開源的RAG方案，然而卻發現其效果不佳，構建起來也繁瑣。

后來在騰訊云團隊的幫助下，該教企客戶基于騰訊云向量數據庫進行RAG方案的落地優化，他們終于實現了在復雜、多樣、動態知識庫中高效檢索。

過程中處理“QA對”數據的問題，給工程師留下深刻印象：

一開始語義分析的效果不是很好，經常會把多個QA對拆裂了，導致詢問A問題，得到B問題的答案。

后來與騰訊云團隊后來討論出解決方案，通過定制化邏輯修正文本拆分偏差，從而得到精準檢索結果。

這讓教企無需頻繁更新大模型本身，就能讓大模型實時取用最新教研資料，給用戶提供可信、更新及時的答案。

騰訊云向量數據庫基于大量客戶有RAG應用開發的需求，還推出了AI套件功能：一站式文檔檢索解決方案，支持用戶直接上傳原始文檔，數分鐘內即可快速構建專屬知識庫，大幅提高知識接入效率。

在合作過程中，客戶也高度評價騰訊云技術支持的快速響應與產品迭代能力，體現了其技術實力和靈活性。

過去可能需要幾十分鐘甚至上小時的查詢，如今只需秒級響應。

在教育場景中，RAG與向量數據庫的結合，不僅提高檢索效率，更讓企業積累的教育資源充分釋放價值，為學生與老師帶來更高質量的智能化學習體驗。

制造業，需要標準化實現流程提效與人才培養

相比教育行業，制造業更顯復雜。

這里有數量龐大的技術標準、設計資料、工程圖紙，還有多種多樣的文檔格式和數據來源，電子檔、掃描件、表格、圖片、CAD文檔……

這些文檔往往分散在各個系統、部門和節點，查找、核對和更新成本高昂。工程師培養周期長達3-5年，技術標準不斷迭代，一旦出現生產問題，快速定位解決方案簡直是“大海撈針”。

RAG可以幫大模型整合行業知識，但首先要解決電器行業文檔多、內容復雜、圖文表混排的問題，不能只有向量數據庫和開發接口，還要整合端到端產品和服務。

騰訊云大模型知識引擎，基于大語言模型的知識應用開發平臺，提供知識問答、知識總結等應用模版及原子能力，助力企業低門檻構建企業級知識服務。讓大模型能夠回答較為普世的問題，如服務于垂直專業領域，會存在知識深度和時效性不足的問題。

騰訊云大模型知識引擎幫助萬榕信息打造了從原始文檔中迅速獲取標準和最佳實踐，工程師不再耗費半天去翻閱標準合同、設計資料，而是幾分鐘內就能定位信息；碰到南網高海拔產品設計標準、斷路器事故處理等棘手問題，AI助手根據RAG動態檢索企業內部知識庫、歸納處理意見，并生成報告初稿。

過去的流程極度依賴資深工程師的個人經驗，如今RAG讓知識得以系統化傳承、動態更新和快速分享。這不僅縮短了新人工程師的上手周期（從1.5年縮短至6-8個月），還直接提升了整體工作效率（在人員不變的情況下，目標是提高40%的效率）。

RAG在制造業中帶來的，是效率、成本和人才培育模式的全方位革新。

金融業，要提效、要敏捷，但更重要是安全！

金融科技是一個極其注重合規、安全與隱私的行業。

招商證券作為金融行業的龍頭企業，正全面擁抱AI，自上而下地推進數字化轉型。他們將“AI編程助手”作為AI技術應用的重要切入點，主要原因在于：

• 技術成熟度：AI編程場景足夠成熟，解決了研發人員在日常開發中的效率問題。
• 明確的業務價值：AI工具的引入可以快速帶來效率提升，收益顯著且可量化。

在這樣的背景下，簡單的RAG方案遠不足以滿足需求，需要大模型、產品、基礎設施等全面整合，提供私有化部署的解決方案。

騰訊云AI代碼助手提供產品基礎能力及開放式架構，為招商證券打造智能化金融科技研發工具。

騰訊云基于內部經驗開發AI代碼助手，通過插件形式解決開發痛點，為企業和團隊提供效率提升的解決方案，同時注重靈活部署與行業需求適配

依托騰訊云的技術方案，招商證券實現了工具集成、數據安全和隱私保護，解決了金融業在AI應用落地中“好用不好管”的難題，讓AI代碼助手切實提高研發效率，滿足日益增長的業務和監管要求。

雙方的合作甚至深入到產品之外：在推廣AI代碼助手的過程中，招商證券與騰訊云都面臨了技術變革與習慣轉型的挑戰。

參考騰訊云內部推廣AI代碼助手的經驗，招商證券的推廣分為兩個階段：第一階段通過主動推廣取得了初步成效；第二階段打造體系化的推廣運營機制，實現開發者自發地接受并使用AI工具。

目前，招商證券已有千余名開發人員使用AI代碼助手，日活躍人數達300，代碼采納率接近20%。

招商證券希望AI代碼助手能夠擴展到更多垂直領域，如量化交易、模型定價、分析師等業務人員，覆蓋更廣泛的代碼應用場景。

為什么是騰訊云？

其實，上面三個案例均來自AICon全球人工智能大會《Techo Day-RAG應用與實踐》專場。各行業技術大咖們，現場交流分享了探索RAG在解決大模型幻覺中的創新策略與實戰經驗。

我們注意到，這些行業成功案例的背后都有身影同一個身影，騰訊云。

比如前面某教企分享過的業務初期嘗試開源方案未果，轉而與騰訊云團隊合作解決了語義分析中的問題拆分錯誤的等難題。

但為什么是騰訊云？

為了回答這個問題，我們也請到了騰訊云數據庫副總經理羅云分享他的觀點：

一是長期技術積累和內部驗證。

騰訊云向量數據庫并在騰訊內部已廣泛應用，包括騰訊視頻的版權與合規檢索等苛刻場景中早已成熟運轉。

自2019年持續研發，為滿足深度神經網絡和向量檢索融合的業務需求，騰訊云不斷打磨向量數據庫，并在實踐中推動存儲與計算分離架構的落地。

這些技術與經驗讓騰訊云能夠在面對多樣化、復雜化的客戶需求時快速響應、持續改進。

二是豐富的服務生態與快速迭代能力。

某教企在實現車輛安全相關QA問題時，需要定制化處理拆分邏輯——騰訊云團隊快速介入、靈活解決。

萬榕信息需要處理從標準文檔到掃描件的多模態數據，騰訊云知識引擎也能給出針對性解決方案。

對于招商證券這種高度合規與高定制的場景，騰訊云則提供從基礎數據庫、到私有化部署與產品級能力的一整套方案。

總結起來就是，這樣的穩定性與靈活性的并存的RAG能力，在大模型加速落地的關鍵階段尤為寶貴。

未來，隨著產業對AI的要求不斷升級，RAG本身也將持續演進。技術創新會進一步提高檢索效率、提升多模態數據處理能力、降低用戶使用門檻；更多場景將在RAG的賦能下實現智能化轉型。

因此，當下質疑RAG過時為時尚早。RAG不僅不會消亡，反而將伴隨大模型技術的深度落地而愈發重要。

在下一階段的AI競爭中，誰能讓大模型“用得起來”、數據“用得其所”、業務“跑得更快”，誰就能在產業智能的浪潮中占得先機。