如何低成本高效率搭建數(shù)據(jù)中臺？這家寶馬數(shù)據(jù)服務(wù)商有話說

智能車參考 2019-09-04 12:52:33 來源：量子位

允中 發(fā)自 凹非寺

量子位 編輯 | 公眾號 QbitAI

編者按：

ABC 時代（人工智能、大數(shù)據(jù)和云計算），數(shù)據(jù)已成為企業(yè)最為重要的基礎(chǔ)性戰(zhàn)略資源之一。

如何將企業(yè)的業(yè)務(wù)流程、工藝經(jīng)驗等至關(guān)重要的無形資產(chǎn)實現(xiàn)電子化、數(shù)據(jù)化以及可視化將是決定企業(yè)數(shù)字化轉(zhuǎn)型是否成功的關(guān)鍵。

當企業(yè)的整體計算資源達到一定級別后，自建機房和私有云反而會是成本更低的方案。

如何跨越搭建私有云的技術(shù)門檻、降低高額的成本、簡化冗長的搭建周期等等，成為了各大企業(yè)面臨的難題和挑戰(zhàn)。

近日，業(yè)界領(lǐng)先的賦能“智慧商業(yè)”的數(shù)據(jù)智能技術(shù)提供商 nEqual 恩億科 就對外分享了低成本、高效率搭建數(shù)據(jù)中臺核心架構(gòu)的經(jīng)驗。

在數(shù)據(jù)和技術(shù)賦能方面，nEqual恩億科 成績斐然，已為寶潔、寶馬、Intel、廣汽菲克、雀巢、上海家化等近70%的世界知名品牌提供數(shù)據(jù)服務(wù)。

所以具體心得，值得參考。

以下為全文：

All in Cloud，但不應(yīng)該 All in Public Cloud。只有將60%計算資源分配在私有云，以低成本承擔核心計算資源，其余40%使用公有云的彈性擴展，才是最省錢和高效的數(shù)據(jù)中臺資源分配。

為了助力企業(yè)打造數(shù)據(jù)中臺的 PaaS，實現(xiàn)低成本，高可靠，高性能的根基，nEqual恩億科投入大量研發(fā)資源，構(gòu)建了“AI 一體柜”——私有化 PaaS 一鍵部署的混合云解決方案。

這個方案的核心目的，是為企業(yè)提供穩(wěn)定、高效且快速的數(shù)據(jù)處理平臺一鍵部署服務(wù)，并能與上層 DMP、CDP、CEM、CRM、BI 和知識圖譜等數(shù)據(jù)中臺業(yè)務(wù)應(yīng)用無縫集成。

更直接來說，其價值就是讓每一個品牌都有能力自建私有化PaaS，低成本私有化 DMP/CDP/CEM 等數(shù)據(jù)應(yīng)用。

大數(shù)據(jù)環(huán)境搭建存在諸多困難

目前的大數(shù)據(jù)環(huán)境搭建過程中，面臨諸多挑戰(zhàn)，如：機器眾多，不同組件版本的兼容性問題嚴重，開源軟件 bug 多，可復(fù)制性低，出錯成本高。

同時，環(huán)境搭建需求也日益復(fù)雜，如：如何在最少時間內(nèi)完成超過1000臺服務(wù)器的 Hadoop 生態(tài)搭建，包括 Hive、Hbase、Flume、Kafka、Spark 等。如果要對以上集群進行 Hadoop 版本升級，如何花費時間最少且出錯率最低。集群上的其他服務(wù)（ES, Redis, MySQL 等），如何集中式管理？

現(xiàn)有大數(shù)據(jù)環(huán)境部署方案，存在諸多弊端或隱患。當前方案以手工方式結(jié)合工具方案為主，主要問題如：Hadoop 環(huán)境與其他系統(tǒng)無法同步部署；部署周期長，業(yè)務(wù)復(fù)雜后，難以繼續(xù)升級；后期運維難度大，問題排查主要依賴經(jīng)驗；另外，難以快速復(fù)制，私有化部署小型系統(tǒng)的代價高。

nEqual AI 一體柜：讓大數(shù)據(jù)環(huán)境搭建簡單直接

nEqual AI 一體柜是一款支持一鍵自動安裝多個主流大數(shù)據(jù)系統(tǒng)工具并搭建定制化大數(shù)據(jù)平臺的平臺級系統(tǒng)產(chǎn)品。

它平衡現(xiàn)有工具方案的便利與手工方案的靈活可定制，支持 Hadoop，Hbase，Redis，F(xiàn)lume，Spark，Kafka，F(xiàn)link 等幾乎全部主流大數(shù)據(jù)系統(tǒng)和私有云平臺的自動化安裝，客戶可根據(jù)實際需求，靈活選擇需要的系統(tǒng)，一鍵自動安裝后實現(xiàn)定制化大數(shù)據(jù)平臺的搭建。

△nEqual AI 一體柜 安裝過程截圖

對于企業(yè)而言，解決方案具有以下5個方面針對性改進：

1. 打造企業(yè)數(shù)據(jù)中臺的核心技術(shù)能力，不僅降低平臺搭建技術(shù)門檻，同時大幅降低成本。我們利用集群化存儲和容器技術(shù)，搭建企業(yè)私有化 PaaS，并在其上搭建多個主流大數(shù)據(jù)系統(tǒng)工具實現(xiàn)定制化大數(shù)據(jù)平臺的搭建，以及內(nèi)置自均衡技術(shù)，可自動實現(xiàn)系統(tǒng)平臺的動態(tài)擴容，讓企業(yè)私域數(shù)據(jù)管理與業(yè)務(wù)中臺的搭建變得“平民化”。同時，AI 一體柜 可以根據(jù)實際數(shù)據(jù)量和使用情況，靈活調(diào)整系統(tǒng)狀態(tài)，在保證系統(tǒng)高效運行的同時，最大效率地優(yōu)化系統(tǒng)使用率，大大降低平臺的使用成本，讓原本千萬級別的國際數(shù)據(jù)系統(tǒng)搭建成本降低至百萬級別內(nèi)。
2. 提供 AI 建模和模型訓(xùn)練平臺，內(nèi)置多個通用的模型算法和基礎(chǔ)算法，以供數(shù)據(jù)科學(xué)家快速獲取模型參數(shù)。內(nèi)建 AI 建模處理平臺，提供數(shù)據(jù)接入，數(shù)據(jù)集成、數(shù)據(jù)探索、特征工程、模型訓(xùn)練、模型驗證等數(shù)據(jù)科學(xué)家工作環(huán)境，提供基于異構(gòu)計算的模型訓(xùn)練加速，提高經(jīng)典機器學(xué)習(xí)、深度學(xué)習(xí)等算法模型的計算速度。并且針對模型訓(xùn)練和數(shù)據(jù)結(jié)果提供詳細測量和調(diào)優(yōu)工具，方便結(jié)合不同業(yè)務(wù)環(huán)境進行算法工作。
3. 與nEqual全套產(chǎn)品解決方案無縫集成，并支持自動搭建其他開源 SaaS 軟件，實現(xiàn)以最小成本完成各類系統(tǒng)搭建?；?nEqual 在營銷領(lǐng)域超過10年的產(chǎn)品技術(shù)積累，AI 一體柜 與包括 DMP、CDP、CEM、serving 等數(shù)據(jù)營銷系統(tǒng)在內(nèi)的系統(tǒng)級產(chǎn)品無縫集成，并支持輕量級一鍵私有化部署到企業(yè)自有機房。在極大降低了系統(tǒng)開發(fā)和維護成本的同時，完善、標準的私有化方案能夠有效降低開發(fā)時間，用最小的成本快速助力業(yè)務(wù)發(fā)展。同時提供基于當前環(huán)境的其他 SaaS 軟件的自動搭建安裝，企業(yè)可以根據(jù)自己業(yè)務(wù)需求，自主選擇需要的 SaaS 產(chǎn)品，如：CMS、CRM、BI 等開源產(chǎn)品。
4. 同時支持私有化 PaaS 和混合異構(gòu)云，讓企業(yè)牢牢掌握核心數(shù)據(jù)，并享用公有云低成本、高拓展性的服務(wù)。針對混合云的需求，AI 一體柜 支持 AWS，阿里云，華為云，七牛云等兼容 s3 協(xié)議的云存儲無縫接入，讓企業(yè)再也不用在公有云之間，公有云和私有云之間復(fù)制數(shù)據(jù)。AI 一體柜 完善的環(huán)境支持，讓企業(yè)大數(shù)據(jù)應(yīng)用再也不用考慮“部署在哪個云上”的問題，只需要關(guān)心業(yè)務(wù)邏輯。
5. 提供數(shù)據(jù)安全治理模塊，確保從采集、加工處理到共享使用的全流程企業(yè)數(shù)據(jù)安全。AI 一體柜 從設(shè)計之初就充分考慮了數(shù)據(jù)安全性問題。為此，產(chǎn)品技術(shù)團隊專門研發(fā)了獨有的數(shù)據(jù)動態(tài)加密和脫敏技術(shù)。在數(shù)據(jù)流入、流出時動態(tài)進行數(shù)據(jù)脫敏保護，確保企業(yè)數(shù)據(jù)在 AI 一體柜 各個系統(tǒng)內(nèi)的安全性。獨有的代理層動態(tài)加密技術(shù)，真正實現(xiàn)了千萬級數(shù)據(jù)毫秒級延時，在實際環(huán)境中零感知。另外，AI 一體柜 針對非生產(chǎn)環(huán)境的數(shù)據(jù)共享業(yè)務(wù)，還提供符合 GDPR 和中國網(wǎng)安法的一鍵脫敏服務(wù)，保證企業(yè)數(shù)據(jù)從采集、加工處理到共享使用的全流程數(shù)據(jù)安全。

從數(shù)據(jù)對比和結(jié)果來看，nEqual AI一體柜，可為企業(yè)提供穩(wěn)定、高效且快速的支持混合云的私有化 PaaS 一鍵部署服務(wù)，是業(yè)界領(lǐng)先的底層數(shù)據(jù)架構(gòu)解決方案。

總而言之，在快速發(fā)展的數(shù)據(jù)技術(shù)時代，企業(yè)借助穩(wěn)定可靠的技術(shù)支持，更快實現(xiàn)數(shù)字化轉(zhuǎn)型，就是最大的技術(shù)紅利、最大的時代紅利。

— 完 —