騰訊云發布自研大數據高性能計算引擎Meson，性能最高提升6倍

智能車參考 2024-07-04 15:47:28 來源：量子位

7月4日消息，騰訊云發布全新自研大數據高性能計算引擎Meson。通過軟硬一體加速和智能技術的綜合應用，該引擎能顯著為AI等場景下的大數據任務提供更優的計算性能，并節省更多計算資源。比如，在數據湖場景下，Meson能夠助力單個數據查詢分析提速6倍，在微信讀書“AI問書”項目中，Meson助力大數據任務節省了9成的資源消耗。

目前，Meson 已登陸騰訊云數據湖、搜索分析服務、云數據倉庫三大業務線，作為統一的計算加速底座，為企業大數據業務提供加速服務。

在大數據領域，數據存儲和計算是至關重要的核心環節，針對計算和存儲的性能提升一直是大數據技術攻堅的核心任務。其中，針對計算環節，業內分別有硬件與軟件兩個主流方向。但隨著 AI 時代下數據計算場景越來越多樣，單一方向的加速性能瓶頸凸顯。

騰訊云大數據高性能計算引擎Meson在多個方面作出加速優化：包括軟件層的向量化計算、JIT Compilation 等一系列軟件加速工程，硬件層的GPU 及 FPGA 加速。此外，Meson 基于智能查詢優化、負載智能預測等智能技術，讓大數據分析可以根據過往的經驗，自動調整處理策略，使得數據處理更加高效。

海量數據的處理與分析率先體驗到Meson帶來的性能提升。以存儲海量數據的數據湖而言，騰訊云基于Meson 實現了完全兼容Spark 的向量化計算能力，能在處理大規模數據時發揮更高的性能。特別是在基準TPC-DS 數據測試中，數據湖Meson 引擎獲得了超過2.27倍的性能提升，單個數據查詢分析任務最高可達6.2倍的性能提升。

在搜索分析的高頻需求中，騰訊云 Elasticsearch Service （簡稱ES）結合Meson解決方案，成為全球首個支持GPU加速的ES服務，顯著提高了ES向量生成和向量檢索的效率。微信讀書“AI問書”的背后正是利用了騰訊云 ES 和 Meson 技術。

該方案成本從原來的純內存400臺64G機器大幅下降到僅需30臺，同時大幅降低了運維成本。除此之外，云知、安燈、樂享等騰訊內部業務系統，也都基于騰訊云ES 實現了高效的信息檢索與生成。

對于企業級數據倉庫TCHouse 來說，Meson 就像一位高效的倉庫管理員，通過采用查詢優化技術、向量化計算模式及AI智能資源調度等技術手段，TCHouse 可大幅提升海量數據分析的效率和質量，為企業提供高效、實時、低成本的數據分析解決方案。

截止目前，騰訊云大數據已持續為超1000家中大型客戶構建國產大數據平臺，涵蓋能源、制造、電力等多個領域，如國家電網、中國商飛、三一重工、陜西建工等各行業頭部客戶，其中多項解決方案獲得工信部、數博會等行業認可，數據量年增長速度超過90%。