阿里賈揚清：新一輪AI爆發的推動機制是工程化和開源 | MEET2023

羿閣 整理自 MEET2023

量子位 | 公眾號 QbitAI

隨著Stable Diffusion、ChatGPT的爆火，AI在今年迎來了大爆發。

這不禁讓人想問，這些創新背后的推動機制究竟是什么？

在MEET2023智能未來大會上，阿里巴巴集團副總裁、阿里云計算平臺事業部負責人賈揚清給出了他的答案：AI工程化和開源。

工程化，讓開發、迭代到應用的路徑變得更加高效；開源可以讓工作開展更加迅速，實現市場共贏。

在這個基礎之上，賈揚清還進一步指出了AI產業落地的四大明顯趨勢：AI工程化平臺、異構計算、智能產品和算法開源。

為了完整體現賈揚清的分享及思考，在不改變原意的基礎上，量子位對他的演講內容進行了編輯整理。

關于MEET智能未來大會：MEET大會是由量子位主辦的智能科技領域頂級商業峰會，致力于探討前沿科技技術的落地與行業應用。今年共有數十家主流媒體及直播平臺報道直播了MEET2023大會，吸引了超過300萬行業用戶線上參會，全網總曝光量累積超過2000萬。

演講要點

• 工程化和開源是AI普惠最重要的支撐。
• 目前AI產業應用有四個趨勢：云原生的AI工程化平臺、端到端優化的異構計算體系、通過系統組合打造貼近用戶的智能產品，以及算法的開源助力AI在垂直產業的廣泛應用。
• 隨著模型變得越來越大、訓練門檻越來越高，我們可以清晰地看見，業界的需求從代碼開源往前一步，到了模型的開源。

（以下為賈揚清演講全文）

AIGC大爆發

今天我們講AI，繞不過去的一個話題就是AIGC的大爆發，像Stable Diffusion、ChatGPT等等。

如果我們溯源可以發現，用統計和AI方法實現內容的創作和生成，已經經歷了很長的演進過程。

往回數到1999年，也就是二十多年前的時候，Alexei A. Efros教授提出的基本邏輯是用一個簡單的計算機視覺統計方式，就可以通過一個非常小的圖片來學習紋理，并生成更大的內容，這可以說是AIGC的雛形。

2015年前后，神經風格遷移開始風靡，它能夠從畫作當中學習繪畫風格，把原始圖片合成為特定風格的作品，比如這幅梵高的《星空》。

從1999年的紋理生成，到2015年的神經風格遷移，再到今天更強語意的AI創作，都在不斷地催生我們探索更有意思的領域。

同時，我們也在思考，這些創新推動的機制是怎么樣的？背后有哪些的支撐？

AI惠普的土壤：工程化+開源

我們得出的結論是，AI普惠的兩個重要支撐，一個是AI的工程化，另外一個是開源。

從工程化角度，2019年著名教授Richard Sutton曾經說過，前面70年的AI研究，我們所得到的最大的經驗和教訓是通過標準化的方式來使用大規模的計算。

那么怎么樣才能實現大規模計算呢？

無論是通過云原生方式，還是通過更加高效的分布式計算等，都讓今天從開發到迭代的路徑變得更加簡單，這都是我們前面幾年所看到的AI大規模發展（如大模型、AIGC）背后的工作。

另外一個方面，開源讓工作變得更加迅速。

從最早的時候我們耳熟能詳的深度學習框架，到今天我們所見到的各種模型，無論是基礎模型還是應用模型，開源和開放都讓各行各業的應用開發者更加容易觸達AI算法，并尋找一些需求的匹配。

同時，對于算法的工作要求。Stack Overflow的創始人Joel Spolsky曾經寫過一個關于開源軟件經濟學的技術blog。

他提到，技術公司都希望讓產品的互補品變得更加容易獲得，開源讓整個市場變得更大，也能夠讓大家實現共贏的結果。

在此基礎上，AI產業落地有四個非常明顯的趨勢。

第一是云原生的AI工程化平臺；第二是大規模端到端的異構計算體系；第三是把前面這些工程產生的算法系統組合后，實現的更加智能、貼近用戶需求的產品；以及通過算法的開源，助力AI在產業垂直化落地。

這四個趨勢可能是將來我們無論是從供給角度還是需求角度，推動AI進一步往前走的方向。

所以我想從這四個角度給大家簡單介紹一下我們現在所看到一些細節和所做的事情。

AI工程化平臺

今天我們看到AI開發有一個非常清晰的范式，可以分兩個部分，前半段是開發、數據到模型，后半段從模型、迭代到最后的應用。

具體地說，首先，算法工程師會通過數據平臺做數據采集、清理、標注。在開發的時候，一個開源的、耳熟能詳的環境已經成為業界標準，能夠讓算法工程師進行開發、迭代。

今天大多數的模型都需要用到分布式計算，這些技術已經成為標準底座，讓我們更加高效地做分布式訓練、調度和部署。

產出最開始這些模型之后，我們就需要讓業務工程師和深度學習的算法工程師一塊在實際當中做模型選型、驗證等等，再通過前面提到的開發、迭代、訓練這些平臺，來獲得一個適合線上服務的模型。

有一個很有意思的點，大家在實際做一個業務應用的時候，有很多事情都要考慮。

AI以前想得比較少，但今天一旦開始把AI算法部署到應用當中去，很多需求就都已經出來了，像藍綠部署等等，因此服務本身也在開始變得更加標準化、原生化。

今天在阿里云，我們就把這些開發范式標準化以后，建設這樣一個平臺，支撐我們從零開始做模型的全新服務。

大家經常問工程化可以實現怎么樣的效果？

每個科研院所、公司大家多多少少都在經歷這樣一個過程：怎樣把AI從科研到普惠的鴻溝填上，用高性能、高可用、低成本的方式把這個溝跨過去。

跟大家分享一個小故事，今年達摩院和阿里云一起做了一件事情，就是重新審視我們在AI算法協同當中怎么樣把達摩院超過90%的應用，不論是訓練還是推理服務的應用，都用云原生方式來實現。

通過這樣的方式，我們所見到的是：

從需求的角度，資源更加可用、更容易獲得，無論是拉起一個訓練還是推理，都比以前更加容易，更快；

從工程細節上，算法工程師不再需要進行像存儲、管理機器、調優帶寬等等這些具體的事情；

從供給角度、AI系統管理角度來說，無論是利用率、訓練效率，還是服務成本都變得更好了。

這是我們在第一個趨勢——AI工程化這塊所看見的正向效果，就是專業人做專業的事，以達到一個更好的效果。

異構計算

AI工程化平臺之后，第二個趨勢是端到端的異構計算與優化。

今天講框架講得比較少，傳統的AI框架這一層，無論是最早的還是今天的框架，方向已經變得很成熟了。

同時，在框架上游和框架的下游，我們都開始逐漸地需要來建設更加豐富的軟件棧。

包括上層怎么樣讓算法科學家做分布式建模，調動異構資源進行訓練；在框架下層怎么樣通過AI技術做軟硬件協同設計和優化，最后我們怎么樣建立這樣一個存儲、網絡完整的優化解決方案。

和大家分享幾個我們所做的工作。

第一在分布式建模這一塊，我們開源了一個框架EPL，使得算法工程師建模時能夠更加容易地自動化生成分布式訓練模型，而不需要自己手工地處理GPU之間怎么樣通訊。

在優化領域，我們的框架PAI-Blade，能夠幫助算法工程師在面對底層硬件時不需要去擔心，比如CPU、GPU、非常多的創新建設出來的國產芯片等等，我們可以用這種方式更有效地提升算法效率。

這個領域最有意思的一點是，我們發現AI計算和傳統科學計算的需求有很強的共性，無論是蛋白質分子折疊的研究，還是其他物理、化學等領域，AI for Science這個趨勢都很明顯。

我們需要做的工作包括大規模基于矩陣的計算，以及需要處理海量的領域數據，而AI系統、數據系統所積累下來的異構計算的能力正好符合這個需求。

同時，一定程度上說，這些能力最早也是從HPC這些領域，比如氣象模擬孵化出來的。

就像鄭院士剛才提到的AII-Reduce并行的范式，這個范式最早也是在HPC領域有了非常好的理解，在我們看起來是一個AI for Science和Science for AI互相迭代的過程。

這些框架上和框架下的優化，最終還是需要把所有的組件協同起來，帶來一個更加完整、更加成熟的，我們稱作“智算”的一個完整解決方案，這些解決方案能夠達到軟硬件協同、算法應用協同等效果。

舉個例子，在自動駕駛這方面，我們和小鵬汽車建設了一系列自動駕駛所需要的海量AI計算能力技術。

每個單點技術看起來都比較標準，但是端到端連起來的時候，我們也碰到一個挑戰，就是怎么樣把存儲、計算、AI組件更加完整組合在一起，這里面有很多細致入微的挑戰。

就像剛才鄭院士提到的檢查點怎么樣做讀寫，怎么樣把存儲帶寬提上來，雖然乍一聽是很細節的事，但是非常精準地提到了我們系統所需要解決的問題，就是確保一個木桶沒有短板，unblock整個開發訓練的流程。

智能產品

我們所見到第三個趨勢，往往會涉及到多種模型、多種算法的組合。

各種單點AI算法越來越成熟之后，我們可以更容易地組合一個貼近客戶的智能產品，這也是很多用戶實際需要的一個AI中臺，因為我們并不需要一個單體模型，我們需要解決問題。

拿“聽悟”智能會議助理舉例，這是達摩院語音實驗室把語音、自然語言處理和其他的算法組合起來后建設而成，因為會議的原因，我在會前錄了一個非常簡短的實際使用的Demo，請大家來感受一下。

算法開源

最后我覺得還有一個非常強的趨勢就是模型開源。

像聽悟這樣一個產品，背后有非常非常多的模型，我們今天說AI工程化、異構計算等等，最后就是基于模型來落地。

這里我重復一下李笛老師剛剛提到的AI being的概念，將來也許每一個人、每一個公司都多多少少需要有AI being的能力。

那么問題來了，模型變得越來越大，門檻越來越高后，是不是每個公司都要投入很多的資金和人力？是不是都要先通過訓練再做其他的事情？

我們的回答是“no”，今天代碼開源已經非常深入人心了，我們可以清晰地看見，業界的需求從代碼的開源往前一步，到了模型的開源。

今年達摩院和業界很多伙伴一起推出了ModelScope，我覺得它跟以前所見到的學術模型不一樣，我們更進一步的地方是我們將實際業務當中所見到的、訓練的、沉淀下來的實際場景化的模型都貢獻了出來，今天大家可以在魔搭上面找到300多個成熟的模型。

舉個例子，比如像語音可以找到不同方言的、中英混雜的，這種通用的學術模型可能不太關注，但是在應用當中很需要的模型。

最新的像Stable Diffusion這些模型，你也可以在上面實現瀏覽、嘗試下載開發、二次開發等等。

這樣一個社區能夠讓我們在供應和需求兩個方面都更進一步。

從供給角度來說，我們希望能夠提供一個場子，這個場子讓更多算法開發者能夠更方便地把模型開源出來、共享出來，就像是把代碼放在一個平臺上一樣，讓大家更容易分享模型，更容易搭建一個模型的Demo，把這個秩序輪轉起來。

第二從需求角度，我們希望能夠給對AI感興趣的群體找到一個更容易的方式體驗模型、思考需求，通過這樣把很多的想法迭代起來，就是到底這個模型能做什么，如何把這些產品做得更加豐富。

我們希望這個平臺成為一個連接兩邊需求，把兩邊更好結合起來，迸發創新的應用。

總結一下，在開源和工程化這樣的大背景下，我們看見AI產業有四大很明顯的趨勢：云原生的AI工程化平臺、大規模端到端的異構計算體系、智能產品，以及最后算法開源崛起。因為時間關系，每一點可能沒法更詳細展開。

今天，非常多的專家、企業、開發者們在建設著上層的AI算法；而在AI底層，如何讓工具變得更加易用、更加普惠，這正是我們在做的事情。

從去年開始，我就在做阿里靈杰，無論從數據管理、數據治理、算法開發，到完整的AI智算解決方案，目的是能夠提供一個用戶友好、高性能、高彈性的產品和能力。

非常感謝大家今天能夠花15分鐘時間聽我的分享，疫情現在放開了，希望有機會能夠在線下見面，或者通過線上進行技術上或業務上的一些交流，再次謝謝大家！