「天工2.0」MoE大模型發布，「天工AI」國內首個MoE架構免費向C端用戶開放的大語言模型應用全新問世

量子位的朋友們 2024-02-06 10:20:33 來源：量子位

2月6日，昆侖萬維正式發布新版MoE大語言模型「天工2.0」與新版「天工AI智能助手」APP，這是國內首個搭載MoE架構并面向全體C端用戶免費開放的千億級參數大語言模型AI應用。用戶即日起可在各手機應用市場下載「天工AI智能助手」APP，體驗昆侖萬維「天工2.0」MoE大模型的卓越性能。

「天工2.0」是昆侖萬維自去年4月發布雙千億級大語言模型「天工」以來的最大規模版本升級，其采用業內頂尖的MoE專家混合模型架構，應對復雜任務能力更強、模型響應速度更快、訓練及推理效率更高、可擴展性更強。

此次更新全面升級了AI搜索、對話、閱讀、創作的回答質量與響應速度，搭載強大的多模態能力，支持圖文對話、文生圖等多模態應用，支持最高100K的超長上下文窗口（超過15萬個漢字），并新增了AI繪畫、數據分析、AI伴侶、AI算命、熱梗百科等多項新興玩法，讓AI更聰明、更實用、更有趣，成為每個人日常生活中的全能AI小助手。

昆侖萬維致力于人工智能模型算法的創新與開拓，不斷探索通用人工智能技術前沿。除了雙千億級大語言模型「天工」、MoE專家混合大模型「天工2.0」外，昆侖萬維還圍繞「天工」系列大模型，推出了百億級開源大語言模型系列「天工Skywork-13B」、AI Agent開發平臺「天工SkyAgents」、多模態大語言模型「天工Skywork-MM」等前沿AI產品，并已逐步構建起AI大模型、AI搜索、AI音樂、AI Story、AI游戲等AI業務矩陣，是國內模型技術與工程能力最強、布局最全面的人工智能大模型企業之一。

MoE：全球頂尖的大模型核心技術路徑

MoE（Mixture-of-Experts，專家混合模型）是當前大語言模型賽道技術最頂尖、研發最前沿的底層架構，是全球最領先的大模型核心技術路徑之一。

自2023年6月以來，昆侖萬維不斷針對MoE架構技術最前沿進行研發探索，并成功發布國內首個搭載MoE架構并面向全體C端用戶免費開放的千億級參數大語言模型AI應用——「天工AI智能助手」APP。

「天工AI智能助手」以昆侖萬維「天工2.0」MoE大模型為核心技術引擎，其技術原理是將復雜的大模型任務拆解為多個更小、更細分的子任務，每個子任務都由垂直領域的專家模型處理，從而使得昆侖萬維「天工2.0」不僅大幅提高了模型訓練與推理的性能和效率，更能實現多個垂直領域的知識融合，使模型能夠更好地理解和處理不同應用場景下的復雜問題，為用戶提供更準確、更全面的回答方案。

同時，昆侖萬維技術團隊更是通過一系列針對性的MoE技術攻關，在投入大量研發訓練資源后，最終解決了困擾整個MoE產業的模型不收斂、特定任務泛化效果較差等核心性能問題，使「天工2.0」的模型性能得到顯著提升。

模型性能更強、速度更快、架構更靈活

「天工2.0」的技術領先性體現在其核心MoE架構的卓越優勢。MoE架構主要由門控模型/路由器（Gating Model/Router）和一組專家模型（Experts Models）構成，當數據輸入門控模型/路由器時，系統會根據任務類型將每個token分配給一個或多個專家模型，使得每個專家模型可以專注于處理該部分數據，從而獲得模型性能的整體提升。

較之傳統大模型架構，「天工2.0」具有以下優勢：

1. 應對復雜任務能力更強：「天工2.0」MoE模型集成了多個專家模型，每個專家模型都能針對不同的數據分布和構建模式進行搭建，從而顯著提升大模型在各個細分領域的專業能力，整體模型通過整合各自專家模型的輸出結果，使得「天工2.0」在處理復雜任務、多模態任務時擁有顯著性能提升。

2. 速度更快、效率更高：由于MoE模型推理計算過程中只有少數特定專家模型被激活，相較于同等參數規模的稠密模型，「天工2.0」MoE模型呈現出極高的稀疏性，使其擁有更高的推理計算效率，從而讓用戶獲得更快的AI響應速度。

3. 靈活、多樣、可擴展性更強：一方面，模型稀疏性使得「天工2.0」能夠在不增加計算量的前提下顯著擴張模型規模，在同等計算資源下獲得更強的模型性能；另一方面，通過增加專家模型數量、調整專家模型的權重配比，「天工2.0」能夠極大豐富模型的可擴展性，構建更為靈活、多樣、可擴展性更強的新時代大模型。

「天工AI智能助手」APP全面升級

「天工AI智能助手」APP基于昆侖萬維自研「天工」系列大模型打造，是一款能搜、能聊、能寫、能畫的AI智能助手，其擁有強大的自然語言處理和智能交互能力，能夠實現個性化AI搜索、智能問答、AI繪畫、聊天互動、文本生成、編寫代碼、語言翻譯等多種應用場景，并且具有豐富的知識儲備。

伴隨著「天工2.0」大模型的重磅升級，「天工AI智能助手」也迎來了版本的全面更新。

1. 強大的多模態能力：「天工AI智能助手」所采用的多模態大模型基于一體化的開發策略，在底座模型的基礎上進行深入開發與優化，引入多分辨率的視覺編碼器和強大的語言基座模型，使其能夠支持任意尺寸的圖片輸入和復雜的用戶指令。

在強大的多模態大模型能力加持下，新版「天工AI智能助手」具備優秀的視覺理解、推理和指令遵循能力，能夠滿足圖文對話、圖文創作、知識問答等多種用戶需求。同時，得益于模型杰出的理解能力，新版「天工AI智能助手」生成的圖像在內容豐富度、精細度和圖像質量上均表現卓越。

與此同時，在強大的多模態能力加持下，「天工AI智能助手」還能生成圖文并茂的答案內容，讓用戶問出“螺螄粉怎么做？”“怎么用吉他彈《稻香》？”“2024春節放假安排？”這類問題時能夠得到圖像/視頻輔助呈現，使得AI回答的結果更直觀，內容更豐富。

2. 支持100K超長上下文窗口：「天工AI智能助手」的超長上下文窗口技術基于100K原生文本進行訓練，能夠支持最高100K（超過15萬漢字）的文本對話，并能夠通過擴展技術可以支持200K超長文檔理解。在InfiniteBench評測中，「天工」系列大模型多項指標全球第一，10項指標平均分47.5分，超過Claude2，接近GPT4-128k的52.6分。

在針對超長上下文模型的“大海撈針”測試中，研究人員會在海量的文檔集里面插入特定信息，然后對文檔集進行提問，期待模型能從“茫茫文海”中找出正確的關鍵信息，以驗證模型的長上下信息提取能力。在“大海撈針”測試中，「天工」模型取得了100%正確結果。

3. 搜得更準、寫得更好、讀得更快：新版「天工AI智能助手」擁有更強大的關鍵詞與語義分析能力更精準識別用戶任務需求，在AI搜索、對話、閱讀、創作等不同應用場景中，都能針對用戶的不同需求提供更準確、更具體的回答與追問建議。同時，新版「天工AI智能助手」AI搜索質量、安全能力、答案豐富程度都進一步提高。

例如，在「天工AI智能助手」中，用戶可使用“AI閱讀”功能快速提煉總結文獻內容，并針對文獻內容細節進行追問，得到快速、準確、具體的答案內容。

4. 豐富有趣的AI Agent：新版「天工AI智能助手」新增了如AI繪畫、數據分析、AI伴侶、AI算命、熱梗百科等多款官方AI Agent，讓「天工AI智能助手」在能搜、能聊、能寫之余，新增更多有趣而實用新興玩法，不斷探索AIGC技術的應用邊界，成為每個人日常生活中必不可少的全能AI小助手。

從2月8日開始，由昆侖萬維主辦的“巧繪龍年”AI繪畫大賽也將在「天工AI智能助手」APP內開啟，用戶使用APP內“AI繪畫”功能繪制圖畫作品并投稿至活動專區，即可有機會獲得最高10萬元人民幣的現金大獎。

這是國內首個面向全體C端用戶免費開放、獎金規模達到數十萬量級的AI繪畫大賽。得益于「天工」系列大模型卓越的多模態技術能力，高水準的文字意圖識別確保用戶能夠盡情發揮創意，繪制出內容豐富、細節精致、審美高級的個性化AIGC圖像。

一直以來，昆侖萬維始終秉承著“實現通用人工智能，讓每個人更好地塑造和表達自我”的公司使命，不斷降低大模型技術在各行各業的應用和學習門檻，攜手探索未知世界、共創科技未來。