AIGC獨(dú)角獸官宣聯(lián)手，支持千億大模型的云實(shí)例發(fā)布，“云計(jì)算春晚”比世界杯還熱鬧

夢(mèng)晨 2022-12-02 17:52:19 來(lái)源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

現(xiàn)在AI最火的方向是什么？那必須是AIGC（AI Generated Content，利用人工智能技術(shù)來(lái)生成內(nèi)容）。

AIGC最火的公司是誰(shuí)？莫過(guò)于開源AI作畫模型Stable Diffusion背后的StabilityAI。

對(duì)于這家新晉獨(dú)角獸，最近兩條動(dòng)向值得關(guān)注：

• 產(chǎn)品上，Stable Diffusion 2.0正式發(fā)布，生成圖像質(zhì)量大幅提升，分辨率也支持到2048×2048甚至更高。
• 戰(zhàn)略上，與亞馬遜云科技達(dá)成合作，繼續(xù)構(gòu)建圖像，語(yǔ)言，音頻，視頻和3D 內(nèi)容生成模型。

StableDiffusion其實(shí)由三部分組成，語(yǔ)言編碼器、生成圖像信息的擴(kuò)散模型、以及圖像解碼器，1.0版本訓(xùn)練階段足足用了256塊英偉達(dá)A100，跑了15萬(wàn)個(gè)GPU時(shí)。

開發(fā)像這樣的大模型，對(duì)于創(chuàng)業(yè)公司來(lái)說(shuō)其實(shí)困難重重：

• 數(shù)據(jù)準(zhǔn)備、模型開發(fā)、訓(xùn)練調(diào)優(yōu)到部署等，每一個(gè)環(huán)節(jié)都不簡(jiǎn)單。
• 訓(xùn)練和推理階段要兼容不同芯片，還要考慮到與各式各樣業(yè)務(wù)的整合交付。

總之在算法以外還有很多讓人頭痛的地方，這也就是他們選擇與亞馬遜云科技合作背后的幾點(diǎn)考慮了。

首先是看中Amazon SageMaker，亞馬遜云科技的旗艦級(jí)托管式機(jī)器學(xué)習(xí)服務(wù)，可以幫助開發(fā)者輕松快速地準(zhǔn)備數(shù)據(jù)，并大規(guī)模地構(gòu)建、訓(xùn)練、部署高質(zhì)量機(jī)器學(xué)習(xí)模型。

第二是在亞馬遜云科技自研的Trainium訓(xùn)練芯片支持下，訓(xùn)練時(shí)間和成本可以減少58%。

最后是在亞馬遜云科技幫助下可以把模型開放給更多學(xué)生、研究人員、創(chuàng)業(yè)公司和企業(yè)。

現(xiàn)在Stable Diffusion 2.0還與Amazon SageMaker完成集成，通過(guò)其JumpStart服務(wù)，用戶只需點(diǎn)擊下鼠標(biāo)就可輕松部署預(yù)先訓(xùn)練好的模型。

畢竟他們的口號(hào)是“要讓全球10億人用上開源模型”。

StabilityAI與亞馬遜云科技合作，是在剛剛舉辦的亞馬遜云科技re:Invent大會(huì)上宣布，也就是業(yè)內(nèi)常說(shuō)的“云計(jì)算春晚”。

今年大會(huì)上也發(fā)布了多項(xiàng)內(nèi)容，從不同方面改進(jìn)AI開發(fā)者的體驗(yàn)。

“云計(jì)算春晚”發(fā)布了什么AI產(chǎn)品？

首先來(lái)看Amazon SageMaker，今年是其發(fā)布的第五年，各行各業(yè)已有數(shù)百萬(wàn)個(gè)機(jī)器學(xué)習(xí)模型使用該服務(wù)管理，每月進(jìn)行數(shù)千億次的預(yù)測(cè)。

今年最重磅的新功能是機(jī)器學(xué)習(xí)治理工具Amazon SageMaker ML Governance，具體來(lái)說(shuō)有3個(gè)新工具：

• Role Manager，可以在幾分鐘內(nèi)為SageMaker 用戶定義自定義權(quán)限，區(qū)分算法工程師、運(yùn)維工程師等不同角色。
• Model Cards，可以發(fā)現(xiàn)并自動(dòng)填充諸如訓(xùn)練作業(yè)、訓(xùn)練數(shù)據(jù)集、模型構(gòu)件和推理環(huán)境等細(xì)節(jié)，還可以記錄模型的詳細(xì)信息，例如模型的預(yù)期用途、風(fēng)險(xiǎn)評(píng)級(jí)和評(píng)估結(jié)果。
• Model Dashboard，更是可以通過(guò)統(tǒng)一的儀表板監(jiān)控所有部署的模型。

在這些工具幫助下，可以簡(jiǎn)化訪問(wèn)控制，提高機(jī)器學(xué)習(xí)項(xiàng)目的透明度。

接下來(lái)是Amazon SageMaker Data Wrangler再次新增40多種新的數(shù)據(jù)源，可將匯總和準(zhǔn)備機(jī)器學(xué)習(xí) (ML) 數(shù)據(jù)所需的時(shí)間從數(shù)周縮短至幾分鐘。

還有一個(gè)有意思的更新，是增加對(duì)地理空間數(shù)據(jù)（Geospatialdata）的機(jī)器學(xué)習(xí)支持，如衛(wèi)星、地圖和位置數(shù)據(jù)。

具體來(lái)說(shuō)簡(jiǎn)化了利用地理空間數(shù)據(jù)創(chuàng)建、訓(xùn)練和模型部署的全過(guò)程，還可以在Amazon SageMaker的交互式地圖上分析和探索、分享機(jī)器學(xué)習(xí)預(yù)測(cè)結(jié)果。

交通、物流、零售，甚至自然災(zāi)害監(jiān)測(cè)等行業(yè)都可從中受益。

看過(guò)機(jī)器學(xué)習(xí)平臺(tái)，再來(lái)看算力方面，這次的更新重點(diǎn)是對(duì)大模型的支持。

最新發(fā)布的Amazon EC2 Inf2，針對(duì)機(jī)器學(xué)習(xí)推理優(yōu)化的虛擬機(jī)實(shí)例，與上一代Inf1相比有4倍吞吐量提升、延遲降低到十分之一。

Inf1對(duì)當(dāng)時(shí)常見的中小模型來(lái)說(shuō)恰到好處，但隨著大模型逐漸實(shí)用化，對(duì)更高規(guī)格推理實(shí)例的需求也在增長(zhǎng)。

Inf2專為部署當(dāng)今最嚴(yán)苛的深度學(xué)習(xí)模型而設(shè)計(jì)，是第一個(gè)支持分布式推理的Amazon EC2 實(shí)例，在自研Inferentia2推理芯片支持下可以運(yùn)行高達(dá) 1,750 億參數(shù)的大模型。

也就是跑個(gè)GPT-3級(jí)別的大語(yǔ)言模型或者Stable Diffusion這樣的圖像生成模型等都不在話下。

早些時(shí)候，亞馬遜云科技還發(fā)布了Amazon EC2 Trn1，為機(jī)器學(xué)習(xí)訓(xùn)練打造，與基于GPU的同類產(chǎn)品相比，可節(jié)省高達(dá)50%的訓(xùn)練成本。

AI開發(fā)如何走向規(guī)?；?？

事實(shí)上，亞馬遜云科技已建成一套最完整的機(jī)器學(xué)習(xí)和AI服務(wù)。

最底層是對(duì)CPU、GPU、自研AI加速芯片等不同算力的兼容，以及對(duì)各主流深度學(xué)習(xí)框架的原生支持。

中間Amazon SageMaker，包括機(jī)器學(xué)習(xí)集成開發(fā)環(huán)境（IDE）、模型調(diào)試器、模型監(jiān)視器、模型分析器（Profiler）、AutoML、特征存儲(chǔ)、無(wú)代碼開發(fā)能力以及首個(gè)專用的持續(xù)集成和持續(xù)交付（CI/CD）工具等全面機(jī)器學(xué)習(xí)能力。

最上層還有一系列開箱即用的AI服務(wù)，NLP、視覺、語(yǔ)音核心能力，以及面向不同應(yīng)用場(chǎng)景和行業(yè)的專業(yè)服務(wù)，如自動(dòng)將語(yǔ)音轉(zhuǎn)換為文本的Amazon Transcribe，以及輔助代碼開發(fā)的Amazon CodeWhisperer。

靠著這一套完整的AI服務(wù)，即使是像Stability AI這樣員工僅有100人出頭的創(chuàng)業(yè)公司，也能做到機(jī)器學(xué)習(xí)開發(fā)的規(guī)?；?、工程化。

實(shí)現(xiàn)途徑之一是面向云原生開發(fā)。

云原生，標(biāo)準(zhǔn)定義是云計(jì)算時(shí)代一種構(gòu)建和運(yùn)行應(yīng)用程序的方式，充分利用和發(fā)揮云計(jì)算平臺(tái)的彈性和自動(dòng)化優(yōu)勢(shì)，結(jié)合容器、微服務(wù)、無(wú)服務(wù)器 (Serverless) 等技術(shù)來(lái)構(gòu)建現(xiàn)代化應(yīng)用。

如果還不好理解，不妨“以史為鑒”一下。

傳統(tǒng)的軟件、APP開發(fā)如今已相對(duì)成熟，這是因?yàn)椴僮飨到y(tǒng)承擔(dān)了很多工作。

包括向下與硬件的溝通工作、向上為上層應(yīng)用制定好了很多標(biāo)準(zhǔn)和規(guī)范，軟件開發(fā)只需面向特定的操作系統(tǒng)，就可以專注于功能實(shí)現(xiàn)。

到了AI時(shí)代，AI產(chǎn)品更多以服務(wù)的形式跑在云上，云計(jì)算平臺(tái)就要承擔(dān)起這個(gè)承上啟下的角色，實(shí)現(xiàn)AI開發(fā)的標(biāo)準(zhǔn)化。

云原生給AI開發(fā)帶來(lái)的好處，可以總結(jié)為幾點(diǎn)：

敏捷，靠無(wú)服務(wù)器 (Serverless) 技術(shù)可以將管理基礎(chǔ)設(shè)施的工作全部交給云服務(wù)商，開發(fā)者專注于實(shí)現(xiàn)業(yè)務(wù)邏輯。

全面，亞馬遜云科技為汽車、金融、制造等多個(gè)行業(yè)提供解決方案，同時(shí)有無(wú)代碼開發(fā)平臺(tái)Amazon SageMaker Canvas等滿足不同水平開發(fā)者需求。

高性價(jià)比，這方面有專為機(jī)器學(xué)習(xí)訓(xùn)練打造的訓(xùn)練芯片Trainium、推理芯片Inferentia提高性能，配合彈性可擴(kuò)展的按需云計(jì)算資源分配機(jī)制。

在此基礎(chǔ)上，就可擺脫“小作坊”進(jìn)一步實(shí)現(xiàn)AI的工程化，或者叫MLOps，包括：

• 建立可重復(fù)的訓(xùn)練工作流程以加速模型開發(fā)
• 集中編目機(jī)器學(xué)習(xí)構(gòu)件，用于模型可再現(xiàn)性和治理
• 將機(jī)器學(xué)習(xí)工作流程與 CI/CD 管道集成，以加速投入生產(chǎn)
• 持續(xù)監(jiān)控生產(chǎn)中的數(shù)據(jù)和模型，以保持質(zhì)量

Gartner咨詢公司將AI工程化列為2022年十二大戰(zhàn)略性技術(shù)趨勢(shì)，IDC則預(yù)測(cè)到2024年60%的企業(yè)將MLOps用于機(jī)器學(xué)習(xí)工作流。

除了已有的產(chǎn)品和服務(wù)之外，云計(jì)算未來(lái)的發(fā)展更是值得關(guān)注。

操作系統(tǒng)為什么倍受重視？因?yàn)樵谀莻€(gè)位置上，每一點(diǎn)微小改進(jìn)都能帶來(lái)很大的收益。

云原生AI格局下，云計(jì)算基礎(chǔ)架構(gòu)也是如此，每一點(diǎn)創(chuàng)新都能對(duì)AI開發(fā)效率帶來(lái)很大的提升。

像這的產(chǎn)品和服務(wù)創(chuàng)新，每年底的亞馬遜云科技re:Invent大會(huì)上都會(huì)帶來(lái)數(shù)十款。

亞馬遜云科技也連續(xù)12年蟬聯(lián)Gartner云基礎(chǔ)設(shè)施和平臺(tái)服務(wù)魔力象限領(lǐng)導(dǎo)者，成為這一魔力象限的最長(zhǎng)領(lǐng)跑者。

看到這里，對(duì)AI開發(fā)從工具到基礎(chǔ)設(shè)施，從驗(yàn)證開發(fā)到大規(guī)模部署全方位加速創(chuàng)新的時(shí)代，你期待嗎？