騰訊云發(fā)布自研大數(shù)據(jù)高性能計算引擎Meson，性能最高提升6倍

智能車參考 2024-07-04 15:47:28 來源：量子位

7月4日消息，騰訊云發(fā)布全新自研大數(shù)據(jù)高性能計算引擎Meson。通過軟硬一體加速和智能技術(shù)的綜合應(yīng)用，該引擎能顯著為AI等場景下的大數(shù)據(jù)任務(wù)提供更優(yōu)的計算性能，并節(jié)省更多計算資源。比如，在數(shù)據(jù)湖場景下，Meson能夠助力單個數(shù)據(jù)查詢分析提速6倍，在微信讀書“AI問書”項目中，Meson助力大數(shù)據(jù)任務(wù)節(jié)省了9成的資源消耗。

目前，Meson 已登陸騰訊云數(shù)據(jù)湖、搜索分析服務(wù)、云數(shù)據(jù)倉庫三大業(yè)務(wù)線，作為統(tǒng)一的計算加速底座，為企業(yè)大數(shù)據(jù)業(yè)務(wù)提供加速服務(wù)。

在大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)存儲和計算是至關(guān)重要的核心環(huán)節(jié)，針對計算和存儲的性能提升一直是大數(shù)據(jù)技術(shù)攻堅的核心任務(wù)。其中，針對計算環(huán)節(jié)，業(yè)內(nèi)分別有硬件與軟件兩個主流方向。但隨著 AI 時代下數(shù)據(jù)計算場景越來越多樣，單一方向的加速性能瓶頸凸顯。

騰訊云大數(shù)據(jù)高性能計算引擎Meson在多個方面作出加速優(yōu)化：包括軟件層的向量化計算、JIT Compilation 等一系列軟件加速工程，硬件層的GPU 及 FPGA 加速。此外，Meson 基于智能查詢優(yōu)化、負(fù)載智能預(yù)測等智能技術(shù)，讓大數(shù)據(jù)分析可以根據(jù)過往的經(jīng)驗，自動調(diào)整處理策略，使得數(shù)據(jù)處理更加高效。

海量數(shù)據(jù)的處理與分析率先體驗到Meson帶來的性能提升。以存儲海量數(shù)據(jù)的數(shù)據(jù)湖而言，騰訊云基于Meson 實現(xiàn)了完全兼容Spark 的向量化計算能力，能在處理大規(guī)模數(shù)據(jù)時發(fā)揮更高的性能。特別是在基準(zhǔn)TPC-DS 數(shù)據(jù)測試中，數(shù)據(jù)湖Meson 引擎獲得了超過2.27倍的性能提升，單個數(shù)據(jù)查詢分析任務(wù)最高可達6.2倍的性能提升。

在搜索分析的高頻需求中，騰訊云 Elasticsearch Service （簡稱ES）結(jié)合Meson解決方案，成為全球首個支持GPU加速的ES服務(wù)，顯著提高了ES向量生成和向量檢索的效率。微信讀書“AI問書”的背后正是利用了騰訊云 ES 和 Meson 技術(shù)。

該方案成本從原來的純內(nèi)存400臺64G機器大幅下降到僅需30臺，同時大幅降低了運維成本。除此之外，云知、安燈、樂享等騰訊內(nèi)部業(yè)務(wù)系統(tǒng)，也都基于騰訊云ES 實現(xiàn)了高效的信息檢索與生成。

對于企業(yè)級數(shù)據(jù)倉庫TCHouse 來說，Meson 就像一位高效的倉庫管理員，通過采用查詢優(yōu)化技術(shù)、向量化計算模式及AI智能資源調(diào)度等技術(shù)手段，TCHouse 可大幅提升海量數(shù)據(jù)分析的效率和質(zhì)量，為企業(yè)提供高效、實時、低成本的數(shù)據(jù)分析解決方案。

截止目前，騰訊云大數(shù)據(jù)已持續(xù)為超1000家中大型客戶構(gòu)建國產(chǎn)大數(shù)據(jù)平臺，涵蓋能源、制造、電力等多個領(lǐng)域，如國家電網(wǎng)、中國商飛、三一重工、陜西建工等各行業(yè)頭部客戶，其中多項解決方案獲得工信部、數(shù)博會等行業(yè)認(rèn)可，數(shù)據(jù)量年增長速度超過90%。