趨境科技&英特爾生態沙龍舉辦，硬件、推理引擎、上層應用生態融合，打通大模型私有化“最后一公里”

衡宇 2025-06-11 11:38:03 來源：量子位

近日，由趨境科技和英特爾聯合主辦的“智啟AI 效能躍遷——趨境科技生態沙龍”成功舉行。

頂級投資人，行業領先的應用企業、技術企業及全球硬件巨頭等行業嘉賓，深度碰撞大模型私有化部署的技術突破與產業實踐。活動吸引百余位行業合作伙伴到場參與，共謀合作落地新機遇，交流氛圍熱烈。

會議首先由趨境科技CEO艾智遠與技術負責人陳祥麟發布公司最新產品與技術成果：
趨境軟硬一體服務器8卡方案發布：高效運行 DeepSeek-R1/V3-671B 大模型，性能對比單卡最高提升7倍。

自研推理引擎KLLM、自研大模型管理平臺AMaaS、自研辦公應用套件趨境 · 智問均迎來重大升級，在模型推理、模型管理與運維、算力資源管理與調度、應用能力等功能全面提升，體驗升級。

此外，水木清華校友基金、圖靈法思、北京未來式智能、長亭科技、英特爾等企業代表嘉賓從硬件、Infra、應用、行業觀察等各個視角做了深入分享。

最后，來自啟迪亦莊人工智能聯合創新中心、市場監管總局認研中心、方寸智能、法國電信、中建材信云智聯、趨境科技等嘉賓在圓桌環節共同探討了在私有化場景中從技術適配到商業落地的可復用產業級解決方案。

技術革新大模型推理私有化范式

趨境科技CEO艾智遠在演講中提出當前的私有化AI基礎設施建設的5大挑戰：“大模型私有化部署面臨啟動門檻高、模型運行性能不夠、硬件適配難、未來彈性擴展難、多模型調度復雜等五大挑戰。”

對此，趨境科技推出軟硬一體全場景產品，提供硬件、推理引擎KLLM（包括KTransformers、Mooncake能力）、模型管理平臺AMaaS、應用對接支持等一站式解決方案，針對性地解決當前的行業問題：

• 業界首創「異構協同」技術，大模型部署降低10倍，從萬級到數十萬級，在中低并發場景均能滿足千億大模型使用需求。
• 業界首創「以存換算」技術，采用Prefix Cache、RAG Cache等降低計算量，避免重復計算，數倍提升性能。
• 軟硬件深度協同優化，屏蔽硬件底層問題，解決硬件計算效率、多并發調度、算子庫、帶寬瓶頸、卡間通信等問題，平衡硬件的兼容性和性能。
  產品采用多模型的計算調度，在本地享受云上 MaaS 體驗，兼容適配數十種主流大語言模型、多模態模型、Embedding&Rerank模型、音頻模型、文生圖模型等等，支持上層AI搜索、AI問答、文件解析、AI Agent、語音助手、AI寫作等全場景功能。
• 支持節點彈性擴展，提供分布式大模型管理與推理引擎，滿足未來AI規模升級。
  此外，趨境科技始終堅持開源開放技術，趨境科技與清華 KVCache.AI 團隊共同開源異構協同推理框架 KTransformers ，利用單張消費級 GPU+CPU 推理運行千億大模型，開源即引爆個人用戶使用；同時，趨境科技還參與開源共建以 KVCache 為中心的推理架構 Mooncake。

趨境科技技術負責人陳祥麟進一步發布趨境科技技術新進展及未來展望：

• 推理引擎 KLLM 的能力升級：AMX+CPU 的深度優化，Prefill 性能提升5倍；采用 Expert Overlap，Decode 性能提升30%；采用 MTP 優化，Decode 性能再提升 30%；完成國產化兼容；加入 KVCache 多級緩存，大并發場景大幅提升性能。‘

• 新技術方案發布：8 GPU 卡+ 2 CPU 異構推理方案：在運行 DeepSeek-R1/V3 671B FP8 混合精度的測試下，并發最高能達到 30+，相比單 GPU 性能提升 7 倍，能夠支撐百人團隊使用，實現從小規模驗證向企業級部署的跨越。
• 大模型管理平臺 AMaaS 能力升級：KVCache 自動計算，模型穩定運行；數十種 API 接口開放，滿足應用各項需求；高并發訪問優化，接近于模型直連的高并發訪問。
• 上層應用套件「智問」能力升級：新增深度問答能力，提升問答準確度；自研重排能力，知識庫1秒完成百條搜索重排，準確度大幅超過通用檢索；文件解析速度提升6倍，數十頁PDF秒級解析。

后續將在 KLLM 推理引擎和 AMaaS 模型管理平臺與智問上持續優化。

產業協同：從硬件到場景落地的閉環

水木清華校友基金合伙人丁昳婷首先分享了AI大模型落地的趨勢觀察：DeepSeek 的出現打破了傳統“堆算力、拼資本”的發展路徑，而在產業側算法進步將大幅加快硬件升級節奏，在硬件需求和國內外局勢的情形下，Infra 迎來長期機遇。

英特爾數據中心與人工智能技術專案經理劉陽，展示了靈活強大的硬件算力底座：

Xeon 6處理器+MRDIMM內存+AMX指令集：更高性能、更高內存帶寬的配置，與趨境科技的異構協同計算架構深度契合，在單GPU推理千億大模型方案下獲得 40 tokens/s 的總生成速度。
英特爾的 ARC 系列，擁有優秀的 TCO，搭配靈活，應用廣泛。

在應用層，趨境科技的合作伙伴圖靈法思、未來式智能、長亭科技均分享了應用方面的成果與展望：

圖靈法思創始人&CEO強鋒提到，圖靈法思基于行業領先的知識庫、獨創的原子智能體技術優勢，以及服務司法場景后提煉出強大的法律思維鏈能力，將人工智能與法律領域深度結合，與趨境科技共同構建了軟硬件協同的法律AI一體機方案，為律師律所及企業用戶提供更低成本、更高推理性能、更安全便捷，真正能開箱即用的一站式全場景的智能法律服務。

未來式智能商業化合伙人高樂奇分享了在 AI Agent 方面的應用落地，未來式智能的靈搭 Agent 平臺從能源電力、金融、政務、教育、醫療、制造、泛互聯網領域均能助力企業打造知識流水線、辦公自動化，基于趨境科技的一體機未來式智能將 Agent 搭建能力轉移到企業私有化部署上，提供開箱即用、一站式完成的AI解決方案。

長亭科技聯合創始人&副總裁龔杰則分享了 AI 在網絡安全攻防的應用實踐，長亭科技從攻-防-運營-安全開發-日常工作的全應用場景接入安全大模型，在自動化漏洞挖掘、智能化攻擊手段、優化攻擊策略、威脅情報分析、自動化安全監測、智能安全策略方面進行了實踐探索。長亭科技與趨境科技合作實現千億問津大模型私有化部署，全方位提升安全能力。

圓桌環節由啟迪亦莊人工智能聯合創新中心總經理王雷主持，法國電信生態總監侯維、市場監管總局認研中心AI技術負責人戴群特、方寸智能 CTO 楊之光、中建材信云智聯技術總監劉虎、趨境科技 CEO 艾智遠等嘉賓，作為人工智能產、研、用多方代表，共同剖析行業真實痛點，探討在私有化場景中從技術適配到商業落地的全鏈條挑戰，探索可復用的產業級解決方案。

本次生態沙龍呈現了AI私有化部署從技術突破到產業協同的完整路徑。趨境科技通過重構推理架構，正推動大模型從“云端奢侈品”蛻變為“企業日用品”，與產業生態上下游的共同協作，也逐漸讓大模型真正走入千行百業。