1.75萬億參數、在國產超算上訓練，剛剛智源發布了全球最大預訓練模型“悟道2.0”
還有虛擬大學生“華智冰”，要上清華計算機系
邊策 夢晨 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
中國的AI內行頂級盛會——2021北京智源大會又來了。
每年的智源大會參會陣容都非常豪華，今年也不例外，包括Yoshua Bengio、David Patterson兩位圖靈獎得主在內的200多位學者將一起對AI的技術和應用進行深度探討。
Bengio更是帶來了他的System2深度學習理論最新進展。
但是在今年的智源大會上，最重磅的“明星”卻不是這些學者。
因為全球最大的預訓練模型的紀錄，被中國團隊刷新了。
真正的主角是它！
全球最大預訓練模型“悟道2.0”發布
就在剛剛，北京智源人工智能研究院發布了“悟道2.0”，達到1.75萬億參數，超過之前由谷歌發布的Switch Transformer，成為全球最大的預訓練模型。
今年3月22日，智源才發布了“悟道1.0”，這是由智源研究院學術副院長、清華大學教授唐杰領銜，來自北大、清華、中科院等單位的100余位AI科學家團隊聯合攻關完成。
2個多月后，悟道進化到2.0，模型規模爆發級增?，而參數越大，意味著越強的通???智能潛能。
“悟道2.0”不僅僅是個語言模型，它是一個全能選手，一統文本和視覺兩大領域，在問答、繪畫、作詩、視頻等任務中正在逼近圖靈測試。
“悟道2.0”一舉在世界公認的9項Benchmark上獲得了第一的成績。
尤其值得?提是，這個世界最?萬億模型，完全基于國產超算平臺打造，其基礎算法是在中國的神威超算上完成模型訓練。
對于AI研究者和企業來說，最重要的是，“悟道2.0”和GPT-3小批量付費使用的模式不同，將向AI社區和企業公開預測模型，并從今天起公開API，所有人都可以免費申請使用。
悟道背后
那么，為什么新?代“全球最?”預訓練模型，會出現在智源“悟道”攻關團隊?
智源之所以能打造出1.75億參數“悟道2.0”，是因為擁有開創性的FastMoE，打破了分布式訓練的瓶頸，這是實現“萬億模型”基?的關鍵。
過往，由于谷歌萬億模型的核?技術MoE和其昂貴的硬件強綁定，絕?多數??法得到使?用與研究機會。
MoE是?個在神經?絡中引?若?專家?絡的技術，能直接推動預訓練模型經從億級參數到萬億級參數的跨越，但離不開對谷歌分布式訓練框架mesh-tensorflow和定制硬件TPU的依賴。
FastMoE打破了這?限制，作為?個支持PyTorch框架的MoE系統，它簡單易?、靈活、?性能，并針對神威架構進行了優化，可在國產超算上完成訓練。
另外，還有兩項技術賦予了悟道更為強大的能力。
一是最大的英文通用預訓練模型GLM 2.0。此前，GLM首次打破BERT和GPT壁壘，開創性地以單?模型兼容所有主流架構。新一代模型以100億參數量， ?以匹敵微軟170億參數的Turing-NLG模型，在LAMABADA填空測試中表現更優。
二是世界最大中文多模態生成模型CogView，參數量達40億，可直接從中文文字生成圖像，在MS COCO文本生成圖像任務權威指標FID上，CogView打敗OpenAI今年年初發布的130億參數的DALL·E，獲得世界第一。
CogView已經和阿里達摩院合作，將這項技術用于服裝設計領域。
針對小樣本學習系統，智源悟道團隊提出了微調方法P-Tuning，極大縮小了少樣本與全監督學習條件下微調性能的差距。
在訓練大規模預訓練模型時，要消耗大量的算力資源和時間，為了提升其產業的普適性和易用性，悟道團隊搭建了?效預訓練框架CPM-2：一個在編碼、模型、訓練、微調、推理AI全鏈路上的高效框架。
最后，唐杰教授還公布了全新數據集WuDaoCorpora，這是目前全球最大的中文文本數據集（3TB）、多模態數據集（90TB）和中文對話數據集（181G）。
悟出了什么？
智源并不只滿足于技術上的突破，還要以大模型為起點，打造未來AI平臺。
悟道要成為像“電網”一樣的基礎設施，為AI在產業上的應用提供源源不斷的動力。
大會現場舉行了與美團、??、快手、搜狗、360、寒武紀、好未來、新華社等21家企業進行戰略合作的簽約儀式。
聯合從行業龍頭到中小創新企業，共同組建“悟道大模型技術創新生態聯盟”，以模型研發和應用促進產業聚集。
如在與新華社的合作中，將大模型應用于新聞智能化轉型。悟道能夠進行新聞內容處理、圖?生成、傳播優化等，還具備接近?類的圖?創意能力，可以作詩、 問答、創意寫作。
其中，最讓人期待的是“悟道”與“小冰”的夢幻聯動，這兩個AI今天一起打造了虛擬大學生“華智冰”。
華智冰同學使用悟道大模型已經掌握了寫詩、繪畫、作曲等技能，接下來還要拜唐杰教授為師，進入清華唐杰實驗室學習，增進自己的能力。
AI內行頂會還有啥？
智源大會將連續召開3天，接下來兩天還會有超過20場專題論壇和數不清的精彩講座。
講者當中既有學術大咖，如宋曉冬教授、2017年圖靈獎得主David Patterson，也有冉冉升起的學術新星，如太極圖形創始?胡淵鳴……
想在線觀看的話，微信掃描下方二維碼就可直達：
智源大會完整日程：
https://2021.baai.ac.cn/schedule
— 完 —
本文系網易新聞?網易號特色內容激勵計劃簽約賬號【量子位】原創內容，未經賬號授權，禁止隨意轉載。
點這里??關注我，記得標星哦～
量子位
英偉達CV公開課免費報名！
6月2日/下周三第2期直播中，英偉達專家將實戰演示如何快速搭建面部情感識別系統，帶大家低門檻、高效率學習AI模型的搭建、訓練與部署。歡迎掃碼報名~
p.s. 報名后還可入群獲取其他課程回放、課程PPT、源代碼哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見~
- 腦機接口走向現實，11張PPT看懂中國腦機接口產業現狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現場狂做筆記2022-03-11
- 阿里數學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數據2022-03-05
相關閱讀
