【APUS &大數據國家工程實驗室】700億參數APUS大模型3.0伶荔中文大模型正式發布！
在中文基準測評榜單C-Eval上獲得80.6分
由APUS與深圳大學大數據系統計算技術國家工程實驗室（以下簡稱“大數據國家工程實驗室”）聯合研發的伶荔Linly-70B中文大模型正式對外開源，并在GitHub上首發。這是APUS大模型3.0的首個開源大模型，也是國內學術界首個700億參數規模的開源大模型。
此次，APUS和大數據國家工程實驗室強強聯合，集成各自優勢，更有大數據國家實驗室陳國良院士權威背書，APUS大模型3.0伶荔已有700億參數加持，在中文基準測評榜單C-Eval上獲得80.6分，更加適配中文場景，滿足中文大模型場景使用需求。
躋身700億+參數開源大模型梯隊
當前市場中，700億以上參數的開源模型數量僅有個位數，特別是學術界，因為算力資源有限，還沒有開源過700億以上參數規模的模型，但其價值不可低估。700億參數規模的大模型能力上可以接近GPT-4的水平，在局部水平上甚至可以超越GPT-4。在深圳大學李煜東博士看來，市面上700億參數規模的開源大模型很少的原因在于三方面：一是訓練成本更高，二是增量預訓練時需要更大數據量，三是使用時需消耗更多的資源。此次APUS和國家工程實驗室共同研發APUS大模型3.0伶荔則是邁出至關重要的一步。
中文能力大幅提升
基于APUS鄭州智算中心強大的計算能力，APUS大模型3.0伶荔在中文擴表后進行了嚴格訓練，顯著提高了模型的訓練效率和準確性。該模型的上下文長度設定為4,096，能夠處理大約8,000-10,000個漢字的文本輸入，從而更好理解和生成中文語境下的自然語言，提高其在各種中文任務中的表現。APUS大模型3.0伶荔在中文基準測評榜單C-Eval上獲得了80.6分的成績，趕超GPT-4，在中文自然語言處理領域，這一成績表現非常優秀。
多模態能力定制化調優，綜合實力凸顯
為了提高APUS大模型3.0伶荔在中文場景中的表現，在語料、訓練框架和訓練方法上進行了定制化調優?；谧匝心K化增量預訓練框架，針對中文特點擴充詞表，增加了對漢字和中文符號的支持。在訓練語料方面，精選高質量中英文公開數據源，包括悟道、萬卷、MNBVC等，并結合自研的數據選擇策略，構建了適合模型高效訓練的混合語料庫。此外，項目團隊還提出創新性課程學習策略，通過動態數據采樣，在訓練過程中不斷調整數據分布，確保模型的英文語言能力能夠平穩遷移到中文能力。這一策略的運用，使得模型在中文語境下能夠更加自然、準確地理解和生成文本。
全新發布的APUS大模型3.0伶荔在中文自然語言處理領域展現出了卓越的性能和巨大的潛力，并已經準備好應對各種中文任務和挑戰。APUS與國家工程實驗室已邁出構建中文場景大型語言模型的關鍵一步，未來二者將持續密切合作，共同探索模型在知識、推理和長文本處理等方面的通用能力，并深化其在工具使用、劇情生成和角色扮演以及醫療等專業領域的應用，進一步提升模型的能力和應用范圍。此外，雙方還將擴展到視覺模態，構建跨模態生成模型，以更好、更精準滿足通用和領域特定的需求。
- 視頻理解霸榜！快手Keye-VL旗艦模型重磅開源，多模態視頻感知領頭羊2025-11-28
- 中國唯一！阿里千問斬獲全球AI頂會最佳論文2025-11-28
- 第19屆中國投資年會·有限合伙人峰會在滬成功舉辦2025-11-28
- C++之父親臨北京，AI 原生時代最值得參加的系統軟件技術大會日程發布2025-11-28
相關閱讀
