AI的下半場怎么走，這朵云知道
AI行業已進入算法算力雙核心時代
魚羊?曉查 發自 凹非寺量子位 報道 | 公眾號 QbitAI
今年都在說AI技術落地。AI到底有沒有真正落地？可能得真實數字說了才算。
IDC今年7月發布的一份報告顯示，2018至2024年，中國AI云服務市場年復合增長率將達到93.6%。
當然，高增速也不一定是真正的行業繁榮，行業的結構變化更能說明天平傾斜的方向。
阿里云最近有一組數字值得玩味：四年前，云上的訓練任務占比超過80%；而如今，推理任務所占算力比重已經基本過半。
阿里云透露，這背后主要是因為4年以來，AI行業悄然發生的變化：云端進行推理的需求，比訓練需求的增長要快得多。占比過半標志推理將是未來更為主流的云上AI計算需求，也說明AI行業已經從創業和從研發和創業為主，真正走向落地。
為什么這么說？
阿里云異構計算研發總監龍欣解釋， 訓練是更偏后端研發的階段。而推理更多是把成熟的產品推廣到市場上規?；瘧?，從這個角度來看，算力是處于訓練還是處于推理，其實就能判斷這個產品在AI上的技術是否開始了大規模落地。
而阿里云還透露了一組數字，最初云端GPU上線時，只有少數幾家互聯網企業和人工智能技術創業公司，租用算力來驗證自己的商業模式和業務探索；現在AI用戶已覆蓋智能智造、醫療、教育等數十個行業。
例如，今年的疫情讓在線教育等行業迅速增長。阿里云透露，在線教育是過去一年里對異構計算需求增長最迅速的行業，已經增長了近200%。這也側面反映了這個行業AI應用的快速落地。
“實際上，AI已經進入到了下半場。推理業務的多樣化也帶來了異構場景和器件的多樣化，云游戲、5G都是現在非常受關注的賽道?！饼埿辣硎?，云上異構計算也在支撐更多的新興賽道。
AI技術已經到了不是少數人少數企業的“自嗨”，開始走向傳統行業，全面開花。
總而言之，AI已經從重訓練的研發階段，進入訓練推理并重的落地階段，而且應用面越來越廣。
從算法到“算法+算力”
以深度學習為代表的AI技術飛速發展，對于算力的需求也在暴增。OpenAI的年度報告顯示，從AlexNet到AlphaGo Zero，短短6年時間里，最先進AI模型算力需求增長了30萬倍。
算法固然是提升AI技術的核心，但是想要AI快速落地，最“簡單粗暴”的辦法就是疊加算力。今年出現的超大自然語言模型GPT-3就是典型的例子。
另一方面，更偏研發行為的訓練階段，對算力的需求是有天花板的，與具體業務規模不直接關聯。而如今AI產品的落地，意味著隨著前端用戶規模的擴大，對應推理業務模型對算力的需求是會呈現線性甚至爆發式增長的。比如，阿里云曾經在數天內為一款爆款AI產品“彈出”了數萬片云上GPU，抓住了涌入的用戶。
“巧婦難為無米之炊”，掌握算力資源的AI基礎設施成為AI從概念到落地的重要支撐。
AI已經從以單一的算法為核心逐漸演變為算法、算力雙核心。
云，無疑是獲取算力最便捷與靈活的方式。通過云，企業可以隨時獲得充足的云端AI算力。
作為基礎設施提供商的云計算，為滿足行業發展，堆硬件是必經之路，但提供AI算力并不等同于單純堆硬件，如果沒有全面的軟硬件技術，只會得到1+1<2的效果。
如何調度這些資源，解決用戶在使用時的性能損失，是云計算廠商必須考慮的問題。
云異構計算的三個階段
這就要從云上AI基礎設施的發展階段說起。
云上異構計算作為最能發揮AI效率的計算方式，其發展可以分為三個階段： 第一個階段，是異構計算需求的從0到1。
在2013年AlexNet依靠GPU達到80%準確率，展現了GPU在AI算力提供上的能力這給業界開辟了一條新路。淘寶拍立淘、新浪微博等等，就開始嘗試利用GPU來開發機器學習產品。2016年，阿里云邁出了第一步：啟動異構計算業務，主要是服務了第一批尋求AI創新的客戶的需求。在這個階段，主要解決了企業對異構算力的從有到無。
第二個階段，是規?；?/span>。
在2016年AlphaGo大放異彩之后，深度學習等AI技術開始從實驗室走向工業界。隨著大量互聯網企業開始對人工智能算法研發進行重點投入，AI算力的瓶頸也日益凸顯。
大量模型訓練的需求，以及對大算力需求的不斷增長，推動了規?；?、強彈性、高性能的云上計算基礎設施的落地。阿里云也開始規?；渴鹪粕袭悩嬎懔Α?短短3年時間，阿里云已經擁有超大規模的云上異構計算集群，每秒能支撐100億億次的異構運算，相當于在1秒內看懂超過5.3億張圖片、翻譯4千萬句話、識別9.2萬小時長的語音。
而正如前文所說，2020年，人工智能行業的拐點已經到來，AI真正從研發和創業，走向了落地實踐。這也就驅動著異構計算產品進入了第三階段。
第三階段的特征，是精細化和多樣化。
當AI從研發走向落地，訓練場景就將面臨更為復雜多樣的業務，對于企業客戶而言，上云的需求也就從大算力，聚焦到了降低推理成本和極速部署等方面，同時場景也更為多樣。
不難看出，這三個階段的變化，是技術進步和行業發展共同促進的結果。
而第二階段構建面向大計算的基礎設施，可以說是所有云廠商的必經之路，也仍然是目前許多廠商的競爭重點。
但在基礎設施之上，如何讓客戶能進一步快速調用資源，在AI落地的過程中進一步降本增效？
作為中國云計算市場份額最高的云服務商，阿里云已經率先邁出了這一步，給出的答案是——
軟硬一體
軟硬一體，在2017年就已成為頭部云服務廠商的共識。 為了云計算的一大頑疾——通過虛擬機搭建云的過程中，虛擬化帶來的性能損耗問題，2017年9月，阿里云推出第一代神龍架構，在整個行業中首次以軟硬結合的設計方式實現了性能的0損耗。而大洋彼岸的AWS也同樣在2017年底推出了類似產品AWS Nitro架構。
在此基礎之上，現在，阿里云異構計算針對垂直行業，進一步提供了讓云上資源變得更高效、更易用的軟件工具。
比如針對人工智能行業的神龍AI加速引擎（AIACC）。
在大規模深度學習場景中，大規模GPU資源不僅導致了高運維成本，隨著機器數的增加，不同機器GPU之間的配合難度也會變大，導致單張GPU卡的利用率反而下降。AIACC則可以通過對通訊、帶寬等進行深度優化，提升資源協作效率和利用率
在AIACC的加持之下，今年3月，阿里云獲得了斯坦福大學DAWNBench ImageNet四個榜單的世界第一。
根據已經落地的實際案例，AIACC可以幫助客戶在云上訓練場景下，提升2倍到14倍的性能；在推理場景下，提升2倍到6倍的性能。 AI芯片領域的獨角獸地平線，與阿里云AIACC團隊緊密合作，將基于阿里云異構計算的分布式訓練性能提升4倍，讓地平線算法研發效率得以顯著的提升，成本得以大幅下降。
阿里內部，以阿里云IoT的圖像分類業務為例。AIACC團隊和IoT智能業務研發團隊合作，將大規模圖像分類分布式訓練性能提升5倍。
另一阿里異構獨有的軟件產品，便是分片cGPU容器技術，能讓客戶通過容器來調度底層GPU資源，以更細顆粒度調度使用GPU，提高GPU資源利用率，達到降本增效的目的。
阿里云異構計算產品負責人潘岳也進一步對量子位解釋了“軟硬一體”的必要性：
單純從算力的角度來說，硬件相當修路時用到的水泥、石塊這樣的基礎。但僅僅是基礎的堆疊顯然是不足以解決問題的。
硬件資源為底層的基礎設施之上，需要將虛擬化這樣的技術通過軟件產品的形式迭代出來，去充分發揮底層硬件的能力，把相應的技術紅利釋放給客戶。
算力池化
除了軟硬一體，阿里云異構計算產品展現出來的另一個發展趨勢，是算力池化，帶來了對算力更加靈活的調度能力。
一直以來，用戶在云上選擇GPU算力的時候，都是受規格配比限制的，比如內存和GPU之間只有特定幾個比例?？墒敲總€AI推理模型之間需要的資源配比是千差萬別的。
阿里云異構計算今年推出彈性加速計算實例EAIS，通過軟件池化的方式，在國內云廠商中首次實現GPU、FPGA、NPU等異構加速器與CPU/內存的解耦。
EAIS為客戶提供了一個異構算力池，用戶可以將需要的GPU資源量搭配到任何一款阿里云ECS服務器中，根據不同應用需求靈活優化CPU/內存與GPU之間的比例，匹配適合的資源組合，在提升AI推理效率的同時大幅降低成本。
全面布局
AI下半場，它的基礎設施需要更豐富和多樣。
龍欣表示，推理面臨的是非常復雜的業務場景，涉及到的技術很可能不只有AI。C端用戶用到的一個功能，可能融合了音視頻編解碼和深度學習等多種技術。異構計算作為底層的基礎設施，也需要覆蓋多樣化的需求。
阿里云異構計算雖然發軔于AI，但它面對的，早已不只AI。
阿里云異構計算產品加持的經典案例，早已不僅僅局限于AI領域。
阿里云異構GPU/FPGA服務器就重點支持了天貓雙11晚會直播的實時視頻轉碼，服務了4k、1080p、720p等各個分辨率的轉碼。
業內規模最大的單業務FPGA計算集群，為淘寶提供超過數百萬QPS的圖片轉碼處理能力。FPGA云服務器今年首次100%承擔雙十一淘寶圖片流量，預計節省計算成本數億元。
……
云異構計算的下一步
回顧國內云異構計算產品的發展歷程，阿里云無疑是最早布局的云服務商。
據阿里巴巴集團研究員、阿里云彈性計算負責人張獻濤介紹，阿里巴巴內部有豐富的業務，這些內部業務為阿里云的技術輸出提供了最直觀的行業洞察。而反過來，阿里云的技術積累又反哺了集團業務。
這就形成了一個良性的閉環，使得阿里云能夠堅定地在云計算業務上進行前瞻性的布局。
那么，在第三階段之后，云異構計算將向何處去，阿里云又是如何判斷的呢？
阿里云異構計算產品負責人潘岳談到，從產品的角度而言，未來云異構計算的發展，一定是一個生態化的過程。
一方面，是阿里云這樣的底層基礎設施，被行業ISV（獨立軟件開發商）、解決方案公司集成，賦能AI等領域的創新實踐。
另一方面，是與英偉達這樣的加速器廠商加強合作，進一步豐富加速器的硬件生態。
而站在技術角度，阿里云異構計算研發總監龍欣表示，接下來，單一加速器將不再能滿足AI、視頻編解碼等諸多領域的業務需求，加速器硬件融合的趨勢已經顯現。
未來，異構計算在技術上有可能出現這樣一次新的變革：通過軟件池化解耦和硬件池化解耦，把多種加速器融合在一起，去滿足AI等行業中業務落地階段更廣泛的加速需求。
這也將是阿里云下一階段的重點探索方向。
并且，隨著5G的布局，隨著視頻等可視化計算需求的增長，云異構計算不僅僅是在AI領域，也將在視頻、云游戲等更多行業中扮演更加重要的角色。
版權所有，未經授權不得以任何形式轉載及使用，違者必究。
- 腦機接口走向現實，11張PPT看懂中國腦機接口產業現狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現場狂做筆記2022-03-11
- 阿里數學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數據2022-03-05
相關閱讀
600多所高校、13000支隊伍參賽，首屆全球人工智能技術創新大賽風靡全球
為了推動 AI 技術的應用創新，促進人工智能領域的學術交流、人才培養，打造人工智能的人才交流平臺與產業生態圈，中國人工智能學會聯合杭州市余杭區人民政府聯合發起了首屆全球人工智能技術創新大賽，并得到了阿里云、OPPO等頭部科技企業的積極參與和支持。阿里云天池平臺作為本次大賽的官方競賽平臺，為大賽提供平臺和算力支撐。
最新消息！阿里云今年再招5000人，大規模引進頂級科技人才!
阿里云今年再招5000人，重點吸引服務器、網絡、芯片、數據庫、人工智能等核心技術領域的攻堅人才。
