如何低成本高效率搭建數(shù)據(jù)中臺(tái)？這家寶馬數(shù)據(jù)服務(wù)商有話說(shuō)

智能車參考 2019-09-04 12:52:33 來(lái)源：量子位

允中 發(fā)自 凹非寺

量子位 編輯 | 公眾號(hào) QbitAI

編者按：

ABC 時(shí)代（人工智能、大數(shù)據(jù)和云計(jì)算），數(shù)據(jù)已成為企業(yè)最為重要的基礎(chǔ)性戰(zhàn)略資源之一。

如何將企業(yè)的業(yè)務(wù)流程、工藝經(jīng)驗(yàn)等至關(guān)重要的無(wú)形資產(chǎn)實(shí)現(xiàn)電子化、數(shù)據(jù)化以及可視化將是決定企業(yè)數(shù)字化轉(zhuǎn)型是否成功的關(guān)鍵。

當(dāng)企業(yè)的整體計(jì)算資源達(dá)到一定級(jí)別后，自建機(jī)房和私有云反而會(huì)是成本更低的方案。

如何跨越搭建私有云的技術(shù)門檻、降低高額的成本、簡(jiǎn)化冗長(zhǎng)的搭建周期等等，成為了各大企業(yè)面臨的難題和挑戰(zhàn)。

近日，業(yè)界領(lǐng)先的賦能“智慧商業(yè)”的數(shù)據(jù)智能技術(shù)提供商 nEqual 恩億科 就對(duì)外分享了低成本、高效率搭建數(shù)據(jù)中臺(tái)核心架構(gòu)的經(jīng)驗(yàn)。

在數(shù)據(jù)和技術(shù)賦能方面，nEqual恩億科 成績(jī)斐然，已為寶潔、寶馬、Intel、廣汽菲克、雀巢、上海家化等近70%的世界知名品牌提供數(shù)據(jù)服務(wù)。

所以具體心得，值得參考。

以下為全文：

All in Cloud，但不應(yīng)該 All in Public Cloud。只有將60%計(jì)算資源分配在私有云，以低成本承擔(dān)核心計(jì)算資源，其余40%使用公有云的彈性擴(kuò)展，才是最省錢和高效的數(shù)據(jù)中臺(tái)資源分配。

為了助力企業(yè)打造數(shù)據(jù)中臺(tái)的 PaaS，實(shí)現(xiàn)低成本，高可靠，高性能的根基，nEqual恩億科投入大量研發(fā)資源，構(gòu)建了“AI 一體柜”——私有化 PaaS 一鍵部署的混合云解決方案。

這個(gè)方案的核心目的，是為企業(yè)提供穩(wěn)定、高效且快速的數(shù)據(jù)處理平臺(tái)一鍵部署服務(wù)，并能與上層 DMP、CDP、CEM、CRM、BI 和知識(shí)圖譜等數(shù)據(jù)中臺(tái)業(yè)務(wù)應(yīng)用無(wú)縫集成。

更直接來(lái)說(shuō)，其價(jià)值就是讓每一個(gè)品牌都有能力自建私有化PaaS，低成本私有化 DMP/CDP/CEM 等數(shù)據(jù)應(yīng)用。

大數(shù)據(jù)環(huán)境搭建存在諸多困難

目前的大數(shù)據(jù)環(huán)境搭建過(guò)程中，面臨諸多挑戰(zhàn)，如：機(jī)器眾多，不同組件版本的兼容性問(wèn)題嚴(yán)重，開(kāi)源軟件 bug 多，可復(fù)制性低，出錯(cuò)成本高。

同時(shí)，環(huán)境搭建需求也日益復(fù)雜，如：如何在最少時(shí)間內(nèi)完成超過(guò)1000臺(tái)服務(wù)器的 Hadoop 生態(tài)搭建，包括 Hive、Hbase、Flume、Kafka、Spark 等。如果要對(duì)以上集群進(jìn)行 Hadoop 版本升級(jí)，如何花費(fèi)時(shí)間最少且出錯(cuò)率最低。集群上的其他服務(wù)（ES, Redis, MySQL 等），如何集中式管理？

現(xiàn)有大數(shù)據(jù)環(huán)境部署方案，存在諸多弊端或隱患。當(dāng)前方案以手工方式結(jié)合工具方案為主，主要問(wèn)題如：Hadoop 環(huán)境與其他系統(tǒng)無(wú)法同步部署；部署周期長(zhǎng)，業(yè)務(wù)復(fù)雜后，難以繼續(xù)升級(jí)；后期運(yùn)維難度大，問(wèn)題排查主要依賴經(jīng)驗(yàn)；另外，難以快速?gòu)?fù)制，私有化部署小型系統(tǒng)的代價(jià)高。

nEqual AI 一體柜：讓大數(shù)據(jù)環(huán)境搭建簡(jiǎn)單直接

nEqual AI 一體柜是一款支持一鍵自動(dòng)安裝多個(gè)主流大數(shù)據(jù)系統(tǒng)工具并搭建定制化大數(shù)據(jù)平臺(tái)的平臺(tái)級(jí)系統(tǒng)產(chǎn)品。

它平衡現(xiàn)有工具方案的便利與手工方案的靈活可定制，支持 Hadoop，Hbase，Redis，F(xiàn)lume，Spark，Kafka，F(xiàn)link 等幾乎全部主流大數(shù)據(jù)系統(tǒng)和私有云平臺(tái)的自動(dòng)化安裝，客戶可根據(jù)實(shí)際需求，靈活選擇需要的系統(tǒng)，一鍵自動(dòng)安裝后實(shí)現(xiàn)定制化大數(shù)據(jù)平臺(tái)的搭建。

△nEqual AI 一體柜 安裝過(guò)程截圖

對(duì)于企業(yè)而言，解決方案具有以下5個(gè)方面針對(duì)性改進(jìn)：

1. 打造企業(yè)數(shù)據(jù)中臺(tái)的核心技術(shù)能力，不僅降低平臺(tái)搭建技術(shù)門檻，同時(shí)大幅降低成本。我們利用集群化存儲(chǔ)和容器技術(shù)，搭建企業(yè)私有化 PaaS，并在其上搭建多個(gè)主流大數(shù)據(jù)系統(tǒng)工具實(shí)現(xiàn)定制化大數(shù)據(jù)平臺(tái)的搭建，以及內(nèi)置自均衡技術(shù)，可自動(dòng)實(shí)現(xiàn)系統(tǒng)平臺(tái)的動(dòng)態(tài)擴(kuò)容，讓企業(yè)私域數(shù)據(jù)管理與業(yè)務(wù)中臺(tái)的搭建變得“平民化”。同時(shí)，AI 一體柜 可以根據(jù)實(shí)際數(shù)據(jù)量和使用情況，靈活調(diào)整系統(tǒng)狀態(tài)，在保證系統(tǒng)高效運(yùn)行的同時(shí)，最大效率地優(yōu)化系統(tǒng)使用率，大大降低平臺(tái)的使用成本，讓原本千萬(wàn)級(jí)別的國(guó)際數(shù)據(jù)系統(tǒng)搭建成本降低至百萬(wàn)級(jí)別內(nèi)。
2. 提供 AI 建模和模型訓(xùn)練平臺(tái)，內(nèi)置多個(gè)通用的模型算法和基礎(chǔ)算法，以供數(shù)據(jù)科學(xué)家快速獲取模型參數(shù)。內(nèi)建 AI 建模處理平臺(tái)，提供數(shù)據(jù)接入，數(shù)據(jù)集成、數(shù)據(jù)探索、特征工程、模型訓(xùn)練、模型驗(yàn)證等數(shù)據(jù)科學(xué)家工作環(huán)境，提供基于異構(gòu)計(jì)算的模型訓(xùn)練加速，提高經(jīng)典機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法模型的計(jì)算速度。并且針對(duì)模型訓(xùn)練和數(shù)據(jù)結(jié)果提供詳細(xì)測(cè)量和調(diào)優(yōu)工具，方便結(jié)合不同業(yè)務(wù)環(huán)境進(jìn)行算法工作。
3. 與nEqual全套產(chǎn)品解決方案無(wú)縫集成，并支持自動(dòng)搭建其他開(kāi)源 SaaS 軟件，實(shí)現(xiàn)以最小成本完成各類系統(tǒng)搭建?；?nEqual 在營(yíng)銷領(lǐng)域超過(guò)10年的產(chǎn)品技術(shù)積累，AI 一體柜 與包括 DMP、CDP、CEM、serving 等數(shù)據(jù)營(yíng)銷系統(tǒng)在內(nèi)的系統(tǒng)級(jí)產(chǎn)品無(wú)縫集成，并支持輕量級(jí)一鍵私有化部署到企業(yè)自有機(jī)房。在極大降低了系統(tǒng)開(kāi)發(fā)和維護(hù)成本的同時(shí)，完善、標(biāo)準(zhǔn)的私有化方案能夠有效降低開(kāi)發(fā)時(shí)間，用最小的成本快速助力業(yè)務(wù)發(fā)展。同時(shí)提供基于當(dāng)前環(huán)境的其他 SaaS 軟件的自動(dòng)搭建安裝，企業(yè)可以根據(jù)自己業(yè)務(wù)需求，自主選擇需要的 SaaS 產(chǎn)品，如：CMS、CRM、BI 等開(kāi)源產(chǎn)品。
4. 同時(shí)支持私有化 PaaS 和混合異構(gòu)云，讓企業(yè)牢牢掌握核心數(shù)據(jù)，并享用公有云低成本、高拓展性的服務(wù)。針對(duì)混合云的需求，AI 一體柜 支持 AWS，阿里云，華為云，七牛云等兼容 s3 協(xié)議的云存儲(chǔ)無(wú)縫接入，讓企業(yè)再也不用在公有云之間，公有云和私有云之間復(fù)制數(shù)據(jù)。AI 一體柜 完善的環(huán)境支持，讓企業(yè)大數(shù)據(jù)應(yīng)用再也不用考慮“部署在哪個(gè)云上”的問(wèn)題，只需要關(guān)心業(yè)務(wù)邏輯。
5. 提供數(shù)據(jù)安全治理模塊，確保從采集、加工處理到共享使用的全流程企業(yè)數(shù)據(jù)安全。AI 一體柜 從設(shè)計(jì)之初就充分考慮了數(shù)據(jù)安全性問(wèn)題。為此，產(chǎn)品技術(shù)團(tuán)隊(duì)專門研發(fā)了獨(dú)有的數(shù)據(jù)動(dòng)態(tài)加密和脫敏技術(shù)。在數(shù)據(jù)流入、流出時(shí)動(dòng)態(tài)進(jìn)行數(shù)據(jù)脫敏保護(hù)，確保企業(yè)數(shù)據(jù)在 AI 一體柜 各個(gè)系統(tǒng)內(nèi)的安全性。獨(dú)有的代理層動(dòng)態(tài)加密技術(shù)，真正實(shí)現(xiàn)了千萬(wàn)級(jí)數(shù)據(jù)毫秒級(jí)延時(shí)，在實(shí)際環(huán)境中零感知。另外，AI 一體柜 針對(duì)非生產(chǎn)環(huán)境的數(shù)據(jù)共享業(yè)務(wù)，還提供符合 GDPR 和中國(guó)網(wǎng)安法的一鍵脫敏服務(wù)，保證企業(yè)數(shù)據(jù)從采集、加工處理到共享使用的全流程數(shù)據(jù)安全。

從數(shù)據(jù)對(duì)比和結(jié)果來(lái)看，nEqual AI一體柜，可為企業(yè)提供穩(wěn)定、高效且快速的支持混合云的私有化 PaaS 一鍵部署服務(wù)，是業(yè)界領(lǐng)先的底層數(shù)據(jù)架構(gòu)解決方案。

總而言之，在快速發(fā)展的數(shù)據(jù)技術(shù)時(shí)代，企業(yè)借助穩(wěn)定可靠的技術(shù)支持，更快實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，就是最大的技術(shù)紅利、最大的時(shí)代紅利。

— 完 —