如果中國要做自己的GPT-3，一定離不開這家公司的算力

曉查 2020-09-27 12:13:36 來源：量子位

邊策 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

今年AI領域最火的是什么？

毫無疑問是GPT-3，它能寫小說、能與人聊天、能設計網頁、還能下象棋，堪稱迄今為止最“全能”的AI模型。

但是這個強大的AI模型卻不被看做算法的勝利，而是“暴力美學”、一場“富人的游戲”。

有人估算過，GPT-3光是訓練成本就在460萬美元以上，還不包括微軟為訓練它建設了一個5億美元的超算中心。

微軟這個超算中心裝載了一萬張英偉達GPU，訓練GPT-3消耗了它355個GPU年的算力。

如果中國也要開發自己的GPT-3，憑借現在的技術能做出來？

答案是：我們已經具備一定的條件了。

AI軟件方面，國內有百度、阿里等開源框架，中國的NLP（自然語言處理）技術起步不算晚，甚至搜狗、第四范式、百度NLP算法已經多次占據測試榜首，且成功商業化。

訓練AI的硬件中國也不缺乏，甚至在國際上還略有優勢。據2020年6月最新數據，中國擁有全球超算Top500中的226臺，占比達45.2%，超過其他任何國家。

有算法、有硬件，那么要做出GPT-3最大的障礙就是經濟成本了。

因為中國少有能像微軟那般“財大氣粗”組建一個超級算力中心，國內AI硬件又不夠開放，算力得不到有效的調配和釋放。

其實不僅是GPT-3，即使是規模更小的AI模型，動輒耗費幾十乃至上百張AI加速卡，對很多企業來說也是“不能承受之重”。

尤其是比開發GPT-3更現實的問題——AI產業化——方興未艾，大量使用AI硬件的場景只會更多。

對此問題的解決之道，國內最大的AI服務器提供商浪潮給出的方法是：開放硬件，降低成本。

據估計，未來人工智能將占據80%以上的計算需求，需要有開放的AI算力中心承載這種需求，即智算中心。

智算中心：做最開放AI基礎設施

開源這件事，在軟件行業已經取得了巨大成功。

開源軟件近二十年來為IT行業帶來了革命性的變化，比如Linux、Android一舉占領市場，而很多閉源操作系統日漸式微乃至消亡。

而硬件開源在國際上才剛剛起步。

2011年，由于業務的飛速發展，國外社交網絡巨頭Facebook牽頭發起了OCP（開放計算項目）。

僅僅4年時間，OCP就為Facebook節省了20億美元的成本，數據中心電費降低了20%。谷歌、微軟、IBM、阿里、浪潮都加入了該社區。

開放計算的優勢不僅僅是降低成本、節省電費、提高投資回報率，更重要的是，它作為一種新的協作模式，可以推動AI等前沿技術的標準化與產業化。

在GPT-3誕生前的幾個月，浪潮已經有了這樣改造AI產業的想法。4月9日，IPF2020浪潮云數據中心合作伙伴大會上，浪潮首次提出了“智算中心”的概念。

浪潮認為，智算中心應該滿足三大條件：開放標準、集約高效、普適普惠。就是每家企業都能以更低門檻用上高性能計算資源。

當前AI硬件加速器處于各自為政的局面，不同廠商的產品接口、協議都不盡相同。

為了解決AI加速芯片的統一標準問題，讓不同加速器在同一塊服務器上運行。浪潮4月推出了第一款符合OAM（OCP加速模塊）標準的AI開放計算系統MX1，致力于推動開放計算與AI的融合。

第二點集約高效，則是在開放標準基礎上的更高要求。開放標準會帶來規模空前的集約效應與高效的融合架構。

融合架構的最終目的是實現“智算中心即計算機”，CPU、內存、AI加速器、I/O等硬件資源完全池化，讓它們在軟件的統一調配下，實現超大規模的擴展。

這方面，國外的AI巨頭英偉達已經有相當豐富的經驗，甚至今年還開源了大規模并行計算模型“威震天”。

作為AI時代最重要的芯片公司，英偉達顯然已經意識到，開源不僅不會損害自身利益，反而會形成規模效應，實現整個產業的共贏。開放標準后，普適普惠是必然的結果。

過去十年，手機行業正是憑借軟件開放、硬件整合的能力，讓普通消費者享受到了智能手機普及的福利。

AI產業也在經歷類似的過程，軟件與硬件的開源一定會讓每家意在用上AI的企業享受到實惠。

打造算力“免費午餐”

軟件開源最大的實惠即“免費”，這意味著任何人都可以免費查看、修改、使用代碼，而硬件開放的實惠，是小企業也可以免費使用昂貴的計算設備運行其業務。

浪潮AI&HPC產品線總經理劉軍曾說過，算力是AI時代“免費的午餐”。

回顧GPT-3的誕生，它只比前輩GPT-2晚一年，比前代的參數量增加了100倍，就能取得如此驚人的成就，靠的不是算法的提升，而是算力的加成。

如果改進算法，一定會投入大量的研發，相比之前，算力不就是簡單直接的“免費午餐”嗎？

之所以企業不覺得免費，那是因為算力的成本還不夠低。所以有些企業選擇了市場上成熟的AI解決方案，無需AI開發經驗就能快速部署AI模型。

劉軍表示，對于產業用戶來說，用上性價比更高的AI算力，開放的網絡架構及服務是必須的，同時保證了未來的可擴展性。

就如同PC時代的組裝機，每個組件都掌握在用戶自己手中，在技術上可控，定制化程度高，成本低廉。

只有硬件成本低了，算力才會成為“免費的午餐”。

浪潮智算中心已嶄露頭角

智算中心推出半年，浪潮智算中心的算力得到權威標準認可，同時在各行各業發揮出重要作用。

面向智算中心，浪潮提出要生產算力、聚合算力、調度算力、釋放算力。

通過自研的AI框架LMS，浪潮訓練的NLP模型參數突破70億，超過了GPT-2三倍多。

在今年7月29日公布的全球權威AI測試基準，MLPerf v0.7訓練榜單上，浪潮NF5488A5服務器創下了單服務器最快性能記錄，高居榜首。

浪潮還東南大學合作，據張競慧教授介紹，東南大學依靠算力中心推動前沿科學研究，依托(CPU+Openstack+GPU)架構，提供高性能計算、云計算以及人工智能計算等共享服務，處理太空觀測高分辨率影像，已經在物理學頂級期刊PRL上發表了多篇論文。

在金融領域，交通銀行通過浪潮AIStation開發平臺，資源利用效率提升30%；在智能制造領域，百度與浪潮合作開發的裝置，將2~3天的鋼質檢系統工作量減少至2小時，識別準確率超過99%。

此外浪潮的智算中心與5G結合，提供了云端訓練、邊緣推理的新應用場景。

浪潮智算中心建設的腳步沒有停歇，目前正在濟南建設的“中國算谷”，致力于成為全球算力產業新高地，帶動山東傳統企業智能化改造和升級，計劃建成E級計算系統。

AI時代的“發電廠”

AI模型發展一日千里，模型越來越大，對算力要求也越高，硬件進步給算法帶來福利。

OpenAI去年的報告指出，AI計算量每年增長10倍。從2012年至今，最先進AI模型對計算量的需求已經增長了30萬倍，若按照摩爾定理，與此同時芯片算力只增長了7倍。

對算力的爆炸式一方面靠AI加速芯片的改進，另一方面靠硬件的“暴力”堆砌。

然而單個用戶難以自建強大算力，則需要智算中心來幫忙。未來，智算中心會像發電廠一樣，產生大量的算力輸送到“千家萬戶”。

電力時代有充足的發電量，就能驅動更多、更強的電氣設施。AI時代有更多低廉的算力資源，才能催生出更多像GPT-3一樣“暴力”AI模型，推動AI的產業化。

如果中國也要研發像GPT-3一樣的AI模型，用這樣的AI模型驅動產業變革，那么一定要降低算力資源的TCO。

浪潮希望在這個中發揮主導作用，所以推出智算中心。浪潮也具有這樣的底氣，因為他們已經占據了中國50%的AI計算中心算力，未來一定會是“新基建”的AI基石。

在這方面，國外已經有許多先進的經驗，英特爾、微軟、谷歌都在以開放的姿態融合更多新的AI硬件，把更強大的算力貢獻給產業。

回到國內，如果浪潮能把智算中心的算力供給全行業使用，以國內龐大市場，一定能催生更強大AI模型的誕生。

到時候，不僅能產生與GPT-3類似的AI模型，我們還會看到過更多AI技術的商業化，讓我們的生活處處充滿AI。