火山引擎EMR上線瞬態(tài)集群能力,助力企業(yè)大幅降低使用成本
從而獲得更好的彈性和擴(kuò)展性。
12月20日,火山引擎E-MapReduce(簡(jiǎn)稱“EMR”)正式上線瞬態(tài)集群新功能,該能力基于業(yè)界領(lǐng)先的EMR Stateless理念,可以實(shí)現(xiàn)集群級(jí)別的彈性伸縮,即無(wú)業(yè)務(wù)需求時(shí)釋放集群,有業(yè)務(wù)需求時(shí)再拉起集群,從而幫助企業(yè)大幅降低產(chǎn)品使用和平臺(tái)運(yùn)維成本。
火山引擎EMR是一款云原生開源大數(shù)據(jù)平臺(tái)產(chǎn)品,Stateless是指在存算分離的基礎(chǔ)上進(jìn)一步將集群狀態(tài)元素外置,含狀態(tài)Server(如HMS、History Server)、用戶數(shù)據(jù)、元數(shù)據(jù)、用戶/權(quán)限/審計(jì)數(shù)據(jù)、服務(wù)/任務(wù)日志、集群配置、監(jiān)控指標(biāo)數(shù)據(jù)等。
據(jù)介紹,火山引擎EMR Stateless打破了過(guò)去集群常規(guī)運(yùn)行模式,能讓長(zhǎng)運(yùn)行集群變成輕量級(jí)瞬態(tài)集群,從而獲得更好的彈性和擴(kuò)展性。
EMR集群兩種不同的運(yùn)行模式
傳統(tǒng)的EMR是基于任務(wù)調(diào)度,需要先創(chuàng)建集群,然后才能執(zhí)行任務(wù),企業(yè)需要長(zhǎng)時(shí)間保有并運(yùn)維集群。火山引擎EMR Stateless基于工作流調(diào)度,提交任務(wù)即可自動(dòng)創(chuàng)建瞬態(tài)集群,任務(wù)結(jié)束后自動(dòng)釋放集群,幫助企業(yè)數(shù)據(jù)平臺(tái)架構(gòu)有更好的演進(jìn)成長(zhǎng)能力和最佳的成本優(yōu)化。
據(jù)透露,已有多家客戶正在使用或測(cè)試EMR Stateless能力,并在成本上獲得較大優(yōu)化收益。以其中一家客戶為例,他們的大數(shù)據(jù)集群原本部署在IDC 機(jī)房,業(yè)務(wù)負(fù)載高峰集中在白天的6個(gè)小時(shí)內(nèi)。該客戶搬站上云至火山引擎EMR 后,得益于其靈活的瞬態(tài)集群能力、計(jì)算存儲(chǔ)分離架構(gòu)以及智能分層存儲(chǔ),成本共節(jié)省40%。
今年9月,火山引擎發(fā)布數(shù)智平臺(tái)VeDI,包括EMR、ByteHouse、VeCDP等多款數(shù)據(jù)產(chǎn)品,全面開放了字節(jié)跳動(dòng)數(shù)據(jù)技術(shù)能力。目前,火山引擎數(shù)智平臺(tái)已服務(wù)平安銀行、陜西旅游、藍(lán)河、美的、上海家化、萬(wàn)達(dá)、吉利領(lǐng)克、南孚、聯(lián)合利華、李維斯等不同行業(yè)的客戶,幫助其實(shí)現(xiàn)運(yùn)維降本、運(yùn)營(yíng)提效和業(yè)務(wù)增長(zhǎng)。



