混元單日調用tokens達千億后，騰訊大模型戰略露出全貌

明敏 2024-07-08 19:05:07 來源：量子位

明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

大模型之爭，到了不只是拼技術的時刻。

最新的行業風向是：誰能大范圍應用落地？誰能笑到最后？誰能真正產生價值？

對大模型行業玩家的評判標準也不再只看技術。戰略布局、落地進展、未來判斷……成為了更被重視的維度。

無論“楊植麟們”還是大廠高管，公開探討大模型的頻率越來越高，包括一直低調的騰訊。

前腳，騰訊云與智慧產業事業群CEO湯道生萬字采訪釋出，回應“關于騰訊大模型的一切”；后腳，在萬眾矚目的WAIC上，騰訊云副總裁、騰訊云智能、騰訊優圖實驗室負責人吳運聲帶來大模型產品最新進展。

兩波強勢輸出下，騰訊大模型戰略緩緩露出全貌：

圍繞著企業訓練大模型和應用大模型的需求，提供AI infra、自主可控的大模型以及貼近場景的智能應用。在這一過程中，騰訊不斷提升模型性能的同時，也在不斷降低模型使用的門檻，通過封裝好的PaaS產品來讓企業構建面向具體場景的應用，包括智能客服和營銷工具等。

混元單日調用tokens數已達千億級

簡單梳理騰訊云業務，其AI布局大致可以分為基礎設施、模型層、工具平臺層和應用層這四大方面。

在底層能力上，騰訊云構建了HCC高性能算力集群、AIGC云存儲和星脈高性能網絡，這是訓練大模型的基礎。

基礎之上，去年9月，騰訊混元大模型橫空出世，目前已擴展至萬億參數規模，由7萬億tokens的預訓練語料訓練而來，能力已覆蓋了文本、多模態理解及生成等。

文本生成上，混元率先在國內采用MoE架構，最新升級后的模型性能較上一代提升50%，部分中文能力已追平GPT-4！它的超長文能力也已在騰訊元寶中上線，一次性能夠處理長達1000萬字的文檔，并支持多種格式的文件解析，如PDF、PPTX。它還能基于文檔內容生成柱狀圖、折線圖和餅狀圖等。

就在最近，騰訊元寶還上新了AI深度搜索模式，支持從深度和廣度上提供更結構化、更豐富的回答。

圖像生成上，混元推出首個中文原生的DiT架構（Diffusion With Transformer）文生圖模型，并直接將訓練代碼、推理代碼、模型權重等完整模型全部開源！它創新性結合了雙語CLIP和多語言T5編碼器來提升理解能力，這是Stable Diffusion 3所不具備的，并應用多模態大語言模型來改進圖像描述。

通過混元DiT 的加速庫，生圖時間還能縮短75%，大幅提升推理效率。發布一個多月，騰訊混元 DiT 目前在 github 上 star 數已有 2.6k，是目前最受歡迎的國產開源文生圖模型。

視頻生成方面，支持文生視頻、圖生視頻、圖文生視頻、視頻生視頻等能力。另外，在3D生成等領域，騰訊混元已布局文/圖生3D，單圖僅需30秒即可生成3D模型。

△人民日報聯合騰訊混元創作（畫質為壓縮后效果）

值得一提的是，騰訊還在持續開源大模型成果。

如上提到的全鏈路自研DiT文生圖模型（15B）以及小顯存版本均宣布對外開源。其中小顯存版僅需6GB內存即可運行，個人電腦上就能運行，并與LoRA、ControlNet等插件，都已適配至Diffusers庫；對開發者非常友好。

由此，騰訊構建了扎實的技術底座和模型能力，并持續跟進趨勢做快速迭代。以此為基礎，騰訊云進一步搭建了上層工具和應用。

實際上，圍繞核心場景，構建產業應用，才是騰訊大模型戰略的核心。

湯道生在與騰訊新聞《潛望》的采訪中透露，對于AI，他比較看重怎么讓大家在產業場景把AI用起來、需要提供什么工具和能力。目前他感覺，大模型很大程度回到關注RAG（檢索增強生成）模式，降低出現幻覺的概率，同時也比較重視怎么把握“智能體”的方向。

對應到騰訊云的實際業務，這些思考已經開始逐漸顯現。

簡化開發流程，低門檻加速大模型場景落地

大家都知道產業落地是關鍵，但問題是：怎么做？

吳運聲表示，騰訊云認為大模型的廣泛應用落地，不是某一家或某幾家企業憑借自身技術實現的，更可行的路線是降低技術開發門檻，讓產業中更多企業能夠參與到AI應用落地進程中。

因此，騰訊云構建了大模型知識引擎、圖像創作引擎、視頻創作引擎三大PaaS工具，將大模型技術封裝，讓各行各業的用戶能直接上手使用。

其中，知識引擎就是剛剛湯道生提到的RAG模式。它基于LLM+RAG模式，是一個創新的知識應用構建平臺，滿足了當前產業應用對大模型的迫切需求。

這一平臺的亮點在于，僅需5分鐘，用戶便能通過低代碼或無代碼的方式，快速構建知識服務應用，如客服、知識問答等，極大地降低了開發門檻，讓人人都能玩轉大模型應用。

知識引擎整合了騰訊的混元大模型以及特定行業的大模型能力，結合先進的文檔技術，為用戶提供了企業知識服務應用模板。此外，它還提供了文檔解析、向量檢索、多輪改寫等原子能力，助力企業用戶構建高效的AI問答系統。

而它的背后，是騰訊一系列自研技術的支撐！包括自研的TRAG技術架構和首個基于語義判斷的知識切分模型。這些技術從底層解決了諸多行業應用難題，如確保信息塊的語義完整性，這是業內長期面臨的挑戰。

騰訊云采用了一種創新的“暴力解法”，提出了業內首個基于語義判斷的知識切分模型。這一模型能夠對每個文本進行語義級別的切分，并在多個段落中進行更準確的拆分，確保每個切片在長度可控的同時，語義完整，避免了信息的缺失和斷章取義。

此外，知識引擎將檢索的最大長度提升至4k字符，遠超業內平均水平（通常為512字）。通過混合檢索、text2sql表格檢索等策略，進一步提高了復雜知識的檢索精度，能夠處理上萬行的超大表格進行精確篩選。

知識引擎的應用場景廣泛，包括智能客服、智能營銷、知識管理、數據分析、辦公協同、數智人等，這些都是業界公認的大模型最先落地的領域。

例如，騰訊企點客服在知識引擎的支持下全面升級，不僅支持大模型多輪對話，還能為人工客服推薦答案，智能生成工單和會話小結。此外，它還能整合到騰訊企點營銷SCRM中，有效提升客戶轉化率。在人才培訓領域，知識引擎結合騰訊樂享知識學習平臺，將員工的知識智慧匯聚成企業知識庫，促進了內部知識分享和傳播。

最新發布中，知識引擎還進一步升級了多模態檢索能力和企業類型知識覆蓋面，進一步提升了知識引擎的專業能力。

圖像創作引擎，則可提供圖像風格化、AI寫真訓練與生成、商品背景生成、線稿生成等能力。

基于混元文生圖大模型，圖像創作引擎能提供更符合國內要求的圖像。它具備更高質量的中文理解能力，可生成更優質的圖像，繪畫能力更符合東方審美。

視頻創作引擎基于支持視頻轉譯、視頻風格化、圖像跳舞、視頻插幀、藝術字視頻、運動筆刷、畫布拓展等應用，主要面向視頻創作者，可以應用在短視頻平臺、廣告營銷、游戲等領域。

它最新推出了復雜舞蹈編排算法，基于3D建模和背部生成技術，可以實現僅基于一張圖像，就生成可轉身的舞蹈編排。要知道，市面上大多生成技術，都只能固定視角，更別說轉身了。

另外，對于想要自己訓練大模型的行業客戶，騰訊還推出了TI平臺等工具。它面向專業AI工程師，可提供從數據預處理、模型構建、模型訓練、模型評估到模型服務的全流程開發支持。

TI平臺內包含豐富的算法組件，支持多種算法框架，滿足多種應用場景需求。

最新升級中，TI平臺發布全新數據處理鏈、大模型精調工具鏈；并且和知識引擎聯調，實現了邊迭代邊評測機制，企業能及時了解并優化大模型業務效果。

如閱文集團、瑞金醫院等，都利用TI平臺訓練出了自己的大模型。

據閱文集團總裁黃琰介紹，閱文旗下網文行業大模型“閱文妙筆”可輔助網文多模態創作、支持用戶和角色對話、還能進行多語種翻譯。

醫學領域，瑞金醫院-上海市數字醫學創新中心首席技術官黃飛躍介紹，去年發布的瑞金醫學大模型，基于數億醫學數據訓練而來。已推出體檢報告生成和電子病歷生成系統，并在瑞金院內應用。以體檢報告生成為例，平均每5秒即可自動生成一份總檢報告，為醫生節約50%+的撰寫時間。

總結來看，騰訊云的大模型產品矩陣，盡可能兼顧到了市面上所有突出需求。比如構建專有大模型、零門檻上手、快速開發等。

這也傳遞了騰訊對技術趨勢的理解：大模型必須用起來才有價值。技術的打造只是起點，把技術落地到產業場景、創造價值才是目標。

而在騰訊自身內部，這些價值已經初步顯現。

聚焦模型場景落地，騰訊決定打一場持久戰

模型落地，實用為先。

騰訊混元大模型是鮮少一亮相，就宣布落地應用的模型。

去年9月，混元已接入騰訊會議、微信搜一搜、騰訊文檔等，而且已經能看到可觀增長。

比如AI代碼助手，在騰訊集團內部已經實現了50%以上的開發崗員工覆蓋。騰訊會議AI助手在上線4個月里，日調用量增長20倍。

目前騰訊內部已有600+業務和場景接入混元大模型，覆蓋金融科技、營銷、廣告、會議、文檔等典型場景。

同時，騰訊也推出了AI智能體創作與開發平臺騰訊元器，以豐富混元應用生態。

企業和開發者可以基于騰訊元器，使用騰訊官方的插件和知識庫直接創建智能體。開發完成后，將智能體一鍵分發到QQ、微信客服、騰訊云等渠道上。

這與湯道生在采訪中的觀點遙相呼應，不是只有做大模型的玩家才是做AI。騰訊的機制下，各自團隊都在關注AI跟自己業務有什么關系，有多點布局。

回看騰訊亮出的整體戰略，其核心策略其實是“產業實用”。

在這個大命題下，大模型作為其中一個重要板塊，為產品和業務提供先進技術能力。

如今，騰訊大模型的底層技術和產品矩陣都更加完善，它們本身和盤托出，就是對騰訊大模型策略最好的解釋。

至于為啥騰訊云值得期待？

吳運聲坦白講很難用一兩個詞就清晰表達騰訊云的差異化優勢。

在產研結合、人員配置、激勵機制、考核指標等方方面面，騰訊云都面向實用落地而做構建，這不僅代表技術路線差異，甚至也傳遞企業文化、組織建設差異。

而這或許恰好透露了騰訊在大模型/AI應用落地上的決心。

由內而外，騰訊決定打一場持久戰。