趨境科技發布大模型知識推理一體機，首創“全系統推理架構”助力企業實現高效推理

量子位的朋友們 2024-10-11 17:15:50 來源：量子位

隨著大模型，尤其是開源大模型的持續進化，具備復雜推理能力的模型正在逐步應用于各行各業，并展現出超越人類專家的潛力。得益于此，未來的算力建設將更加聚焦于推理場景，而不僅僅是訓練算力。

華福證券的研究指出，到2027年，推理端的人工智能服務器預計將占整體工作負載的72.6%。同時，OpenAI o1 所代表的大模型推理場景的 Scaling Law 也進一步助推了這一趨勢的加速發展。

然而，盡管模型的效果有了顯著的提升，數百億參數、上百萬上下文的一線模型在實際部署中仍面臨高成本和低效率的挑戰。這一現象導致了難以破解的“不可能三角”。

為了應對這一困境，亟需新型推理架構，打破傳統主要為訓練場景設計，以高端 GPU 為中心的算力架構設計思路。

在此背景下，趨境科技推出了“大模型知識推理一體機”，其搭載的業界首創的全系統推理架構能夠通過協同存儲、CPU、GPU、NPU等多種設備，充分釋放異構算力，將推理成本降低10倍以上。

這一創新為企業實現大模型的高效落地提供了全新選擇，開啟了通向“推理自由”的新途徑。

趨境大模型知識推理一體機不僅支持本地部署數百億級別的一線大模型，還提供開放的API接口，便于第三方靈活調用。同時，用戶可根據需求定制企業智能助手（assistant/copilot），實現真正的“開箱即用”。

協同 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系統異構設備，充分釋放異構存力和算力資源

與當前行業主要針對 GPU 算力利用率進行單點優化的傳統方案相比，趨境科技大模型知識推理一體機采用了業界首創的全系統推理架構。

其通過“以存換算”技術釋放存力作為算力的補充，降低對算力的需求；同時采用“異構協同”的思路，緊密聯動 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系統異構設備，突破顯存容量的限制，充分釋放全系統的存力和算力。

這一創新方案突破了以往方案的理論優化極限，實現了整合機器所有異構算力資源的目標，使得推理吞吐量提升超過10倍，大幅降低了大模型的落地成本。

此外，據財通證券發布的行業深度分析報告統計顯示，國產GPU產品在單精度/半精度浮點算力、制程及顯存容量上都與英偉達有2-4倍的顯著差距。因此，僅依靠GPU單點優化，短時間內很難趕超英偉達GPU方案。

而采用全系統推理架構可以大幅降低GPU性能差距的影響，顯著提升國產替代解決方案的競爭力，打破在大模型推理場景下國產GPU“卡脖子”的困境。

以存換算新范式，從“死記硬背”到“融合推理”

早期的大模型推理架構將每次推理視為獨立請求，缺乏高效處理所需的“記憶”能力。盡管后續引入了近似問題緩存（Semantic Query Cache）和前綴緩存（Prefix KVCache Cache），但仍主要依賴于“死記硬背”。這些方案要求新問題與已處理問題高度一致才能利用緩存去降低算力需求。

針對這一問題，趨境科技創新性地設計了“融合推理（Fusion Attention）”技術，即便是面對全新的問題也可以從歷史相關信息中提取可復用的部分內容，與現場信息進行在線融合計算。這一技術顯著提升了可復用的歷史計算結果，進而降低了計算量。

通過這一新思路，趨境大模型知識推理一體機充分利用了存儲資源。采用“以存換算”的方式釋放存力作為對于算力的補充，在RAG場景中，響應延遲降低20倍，性能提升達10倍。

全系統異構協同新架構，從GPU單點優化到全系統協同優化

除了通過“以存換算”降低算力需求外，趨境大模型知識推理一體機還進一步通過全系統異構協同架構設計，將來自存儲、CPU、GPU、NPU的算力高效融合，進一步提升大模型推理性能，降低成本。

此前，趨境科技與清華 KVCache.AI 團隊合作，開源了一部分異構推理框架，項目名為“KTransformers”（GitHub鏈接：https://github.com/kvcache-ai/ktransformers），該開源框架僅需單個消費級 GPU 即可在本地運行 Mixtral 8x22B 和DeepSeek-Coder-V2 等千億級大模型，性能數倍于 Llama.cpp。

在長達 1M 的超長上下文推理任務中，成為業界首個僅需單 GPU 卡的高性能推理框架，生成速度達到 16.91 token/s，比 Llama.cpp 快10倍以上，同時維持接近滿分的“大海撈針”能力。

趨境科技大模型知識推理一體機采用的全系統推理架構是基于“KTransformers”進一步完善的商業版本，在開源版的基礎上，協同性能更強，加入了多卡高并發調度、RAG支持等策略。經過測試及客戶合作驗證，Prefill 和 Generate 性能大幅領先業界方案：

• Prefill階段的 TTFT（響應延遲）相比業界方案快6倍以上
• Generate階段的 TPOT（生成速度）相比業界方案快3.48倍以上

趨境x長亭：為安全大模型開啟千億大模型時代

國內頂尖的網絡信息安全公司長亭科技，使用趨境科技提供的全系統異構推理架構技術策略，無縫銜接到其原有的“問津（ChaitinAI）安全大模型”、MSS 安全托管服務等產品中，問津（ChaitinAI）安全大模型升級為千億大模型，安全性能全方位升級：

核心指標攻擊識別準確率提升至95.8%，檢測時延降低至秒級。另外，其對漏洞的檢測能力增強，不僅提升漏洞發現數量，對應的修復建議也更準確，還能基于不同場景選擇更合適的工具和策略。同時，對不良內容識別能力升級，準確率和召回率均有提升。安全報告內容生成質量和評分也顯著提高，綜合輸出更具健壯性和穩定性。

此外，長亭科技的安全大模型的部署資源成本降低50%，助推其更多業務加入大模型能力。

技術的不斷進步和市場需求為大模型的未來發展提供了廣闊的空間。隨著算力基礎設施的不斷完善，提升算力的利用效率，使大模型能與更多的行業實踐結合起來，未來大模型將在更多行業中發揮更大的作用。

趨境目前也正在和更多的大模型應用廠商一同協作，希望助推全面智能化的到來。

Approaching.AI 趨境科技

趨境科技成立于 2024 年，基于業界首創的全系統推理架構推出“大模型知識推理一體機”，為用戶提供開箱即用的大模型落地解決方案。

該架構能夠通過協同存儲、CPU、GPU、NPU等多種設備，充分釋放異構算力，顯著降低 RAG（檢索增強生成）等關鍵大模型應用場景的運算成本 10 倍以上，有效解決大模型公司以及金融、安全、電信、教培等行業大模型落地的“最后一公里”難題。

公司創始團隊均來自清華大學，在 AI、體系結構、系統軟件等相關的技術系統和軟件領域，有多年學術與產業實踐經驗。