Data for AI Meetup 杭州開啟：多企攜手，破局?jǐn)?shù)據(jù)服務(wù) AI 困境

量子位的朋友們 2024-12-09 15:04:50 來源：量子位

在當(dāng)今數(shù)字化時代，AI 的應(yīng)用浪潮正以前所未有的速度席卷各行各業(yè)。企業(yè)紛紛投身其中，試圖借助AI技術(shù)重塑自身的產(chǎn)品體系與業(yè)務(wù)流程。然而，在 AI 的三大核心要素中，數(shù)據(jù)這一關(guān)鍵要素在許多企業(yè)內(nèi)部卻面臨著困境。

一方面，企業(yè)內(nèi)部的數(shù)據(jù)往往缺乏有效的治理，數(shù)據(jù)管理混亂無序，數(shù)據(jù)存儲分散，缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，導(dǎo)致數(shù)據(jù)的檢索、調(diào)用和共享變得困難。另一方面，數(shù)據(jù)質(zhì)量參差不齊，使得數(shù)據(jù)的準(zhǔn)確性和可靠性大打折扣。這些都導(dǎo)致企業(yè)無法充分挖掘數(shù)據(jù)中蘊含的價值，大量有價值的數(shù)據(jù)資產(chǎn)被閑置浪費。這些問題最終限制了 AI 效果的發(fā)揮。

如今越來越多的企業(yè)認(rèn)識到數(shù)據(jù)對于 AI 的重要性。他們開始積極探尋能夠讓數(shù)據(jù)高效、成本可控地服務(wù)于 AI。為了滿足大家在這一領(lǐng)域的需求，Data for AI Meetup 活動應(yīng)運而生。我們邀請到了業(yè)內(nèi)領(lǐng)先的數(shù)據(jù)和 AI 公司，以及權(quán)威的研究機構(gòu)，圍繞如何更好地實現(xiàn) Data for AI 這一主題展開深入的探討與交流，旨在為大家提供切實可行的解決方案和思路，助力企業(yè)在 AI 時代充分釋放數(shù)據(jù)的巨大能量，實現(xiàn)數(shù)字化轉(zhuǎn)型的可持續(xù)發(fā)展。

主辦單位：螞蟻開源，Datastrato

協(xié)辦單位：LF AI & DATA，OceanBase，ProtonBase，騰訊大數(shù)據(jù)

活動時間和地點：

活動時間：2024年12月14日（周六）13:30-17:30

活動地點：浙江省杭州市黃龍國際中心E座4F

活動議程

13:00-13:30 簽到

13:30-13:40 Openning

13:40-14:20 《螞蟻開源向量索引庫 VSAG 介紹及其業(yè)務(wù)落地實踐》

演講者： 王翔宇(祥予)， 螞蟻向量引擎專家

王翔宇，螞蟻數(shù)據(jù)部技術(shù)專家。2023 年加入螞蟻集團，主要負(fù)責(zé)螞蟻向量檢索算法研發(fā)以及千億規(guī)模向量數(shù)據(jù)庫在螞蟻業(yè)務(wù)場景落地。 對向量檢索算法與系統(tǒng)有豐富經(jīng)驗。 同時也是開源向量數(shù)據(jù)庫 Milvus 的核心開發(fā)者，BigANN 21 Track 2 第一名團隊成員。曾在 Zilliz 負(fù)責(zé)存儲和 GPU 算法相關(guān)開發(fā)工作。

演講內(nèi)容：

本次分享將重點介紹螞蟻集團自研向量索引庫涉及的關(guān)鍵技術(shù)和在業(yè)務(wù)場景中的落地實踐。

向量檢索在信息檢索、推薦系統(tǒng)和語義匹配等領(lǐng)域發(fā)揮著重要作用。隨著近兩年 LLM 的發(fā)展和 RAG 架構(gòu)的普及，向量檢索技術(shù)面臨著更多新的挑戰(zhàn)。我們將圍繞這些背景，介紹開發(fā) VSAG 索引庫的動機、設(shè)計目標(biāo)和實現(xiàn)方式。內(nèi)容涵蓋了算法選擇、索引結(jié)構(gòu)、快速搜索技術(shù)和性能優(yōu)化策略。此外，我們還將分享如何應(yīng)對高維度向量、超大規(guī)模數(shù)據(jù)集和超高精度等挑戰(zhàn)。

通過本次分享，希望能夠提供參與者對 VSAG 的深入理解，并探討在面對實際場景中的應(yīng)用時可能遇到的技術(shù)挑戰(zhàn)和解決方案。無論你是 RAG 開發(fā)者、向量數(shù)據(jù)庫工程師或?qū)ο蛄繖z索技術(shù)感興趣的研究人員，這次分享都可能為你帶來有益的經(jīng)驗和見解。

讓我們一起探索向量檢索的魅力和挑戰(zhàn)！

14:20-15:00 《Gravitino 的統(tǒng)一權(quán)限與非結(jié)構(gòu)化數(shù)據(jù)管理之道》

演講者：李明皇，Datastrato工程師，Apache Gravitino PPMC & Committer

2020年福州大學(xué)碩士畢業(yè)后從事OLAP引擎開發(fā)，先后參與了Presto、ClickHouse、Apache Druid和StarRocks的引擎開發(fā)，2023年加入Datastrato，目前主要參與Gravitino的內(nèi)核研發(fā)。

演講內(nèi)容：

隨著大數(shù)據(jù)和AI的迅猛發(fā)展，企業(yè)面臨著管理分布于不同來源、類型和地域的海量數(shù)據(jù)的挑戰(zhàn)，如何實現(xiàn)高效的元數(shù)據(jù)管理和統(tǒng)一的權(quán)限控制，已成為數(shù)據(jù)治理中的關(guān)鍵問題。Apache Gravitino 作為一款高性能、跨地域的聯(lián)邦式元數(shù)據(jù)湖，可以直接管理多源異構(gòu)的數(shù)據(jù)元信息，為用戶提供統(tǒng)一的元數(shù)據(jù)訪問接口，支持?jǐn)?shù)據(jù)和 AI 資產(chǎn)的高效整合。

本次分享將詳細(xì)介紹 Gravitino 在統(tǒng)一權(quán)限和非結(jié)構(gòu)化數(shù)據(jù)管理的原理和應(yīng)用，以及項目當(dāng)前的進(jìn)展和發(fā)展規(guī)劃。

15:00-15:40 《加速 AI 應(yīng)用落地：OceanBase 實踐分享》

演講者：蔡飛志（谷漸），OceanBase 技術(shù)部高級專家

畢業(yè)于北京大學(xué)，14 年進(jìn)入 OceanBase 團隊后，先后從事 OceanBase 數(shù)據(jù)庫代理、數(shù)據(jù)庫驅(qū)動、分布式存儲的研發(fā)，目前是 OceanBase 開源生態(tài)的研發(fā)負(fù)責(zé)人。對于 LLM、AI Agent 比較感興趣，是個喜歡聊天的 i 人。

演講內(nèi)容：

在本次分享中，我將深入解析當(dāng)前數(shù)據(jù)行業(yè)的發(fā)展動態(tài)，并結(jié)合自身觀察，為大家呈現(xiàn)全面的行業(yè)圖景。數(shù)據(jù)行業(yè)作為信息化時代的重要支柱，正在快速變革，數(shù)據(jù)的種類和復(fù)雜度日益增加，如何高效地管理和應(yīng)用這些數(shù)據(jù)成為業(yè)界關(guān)注的焦點。我將詳細(xì)介紹 OceanBase 數(shù)據(jù)庫在處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中的方案設(shè)計。面對這三種類型的數(shù)據(jù)，OceanBase 數(shù)據(jù)庫通過獨特的架構(gòu)設(shè)計和強大的技術(shù)支持，實現(xiàn)了高效的存儲、檢索和分析能力，滿足了不同業(yè)務(wù)場景的需求。此外，我將探討 OceanBase 數(shù)據(jù)庫在人工智能應(yīng)用中的作用，探討數(shù)據(jù)庫功能在 AI 應(yīng)用上提供的價值，加速 AI 應(yīng)用的落地。

15:40-15:50 中場休息

15:50-16:30 《分布式Data Warebase – AI時代的數(shù)據(jù)底座》

演講者： 胡月軍ProtonBase 技術(shù)副總裁

現(xiàn)任ProtonBase 技術(shù)副總裁，從事存儲與計算引擎的設(shè)計與研發(fā)工作，致力于打造 AI 時代云原生一體化的數(shù)據(jù)存儲，計算和管理系統(tǒng)。曾任阿里巴巴計算平臺事業(yè)部資深技術(shù)專家，發(fā)起和參與了阿里巴巴交互式分析引擎 Hologres 的研發(fā)。在此之前，從事5年搜索和廣告引擎的設(shè)計與開發(fā)，負(fù)責(zé)過阿里巴巴淘寶、天貓、1688、Sourcing 和 AliExress 的搜索與廣告在線引擎系統(tǒng)，主導(dǎo)過阿里巴巴國際搜索和廣告引擎在離線的一體化升級改造。

演講內(nèi)容：

隨著AI的發(fā)展，數(shù)據(jù)從信息的載體越來越成為智能的燃料，這也為數(shù)據(jù)系統(tǒng)提出了更高的要求。本演講將分享一種全新的Data Warebase技術(shù)理念，它吸收融合了數(shù)據(jù)庫和大數(shù)據(jù)領(lǐng)域的核心技術(shù)，通過一個系統(tǒng)來滿足簡單讀寫，實時數(shù)倉，數(shù)據(jù)湖和搜索等場景的傳統(tǒng)需求，同時能夠支持向量檢索和特征召回等AI場景的新需求，為AI時代的智能應(yīng)用提供了完備的數(shù)據(jù)底座，助力企業(yè)的數(shù)智化業(yè)務(wù)發(fā)展。

大綱

1. 數(shù)據(jù)智能化背景

2. 當(dāng)前典型數(shù)據(jù)系統(tǒng)架構(gòu)和痛點

3. AI對數(shù)據(jù)系統(tǒng)的新需求

4. 分布式Data Warebase的核心技術(shù)

5. 實踐案例與展望

16:30-17:10 《Data+AI場景下的分布式引擎探索與實踐》

演講者：李志方 騰訊大數(shù)據(jù)基礎(chǔ)架構(gòu)高級研發(fā)工程師

博士畢業(yè)于華東師范大學(xué)，從事數(shù)據(jù)庫方向研究，曾發(fā)表PPoPP/ICDE等多篇頂會論文。畢業(yè)后加入騰訊湖倉團隊，負(fù)責(zé)Ray/Iceberg內(nèi)核，以及Data+AI場景的深度優(yōu)化。

演講內(nèi)容：

以Spark/Flink為代表的基于JVM的經(jīng)典引擎在BigData領(lǐng)域獲得了巨大成功，隨著大模型等AI技術(shù)的崛起，經(jīng)典引擎在Data+AI融合場景下的支持仍然稍顯不足，存在開發(fā)難度大和資源利用率低等諸多問題。因此一方面，騰訊大數(shù)據(jù)團隊在經(jīng)典的Spark引擎基礎(chǔ)上升級了湖上的向量查詢能力，充分發(fā)揮其在可伸縮性上的優(yōu)勢。另外一方面，也圍繞Python生態(tài)和Ray引擎，進(jìn)行了新鏈路的探索。最初是基于PyIceberg與湖倉底座進(jìn)行單機多卡的模型推理與訓(xùn)練。隨著項目迭代，借助Ray靈活而強大的分布式異構(gòu)編程能力，進(jìn)而拓展實現(xiàn)了高性能的數(shù)據(jù)科學(xué)鏈路，包括分布式pandas-like數(shù)據(jù)分析，加速因果推斷等多個業(yè)務(wù)場景。

17:10-17:30 自由討論和交流

報名鏈接：

http://data4ai-hz.bagevent.com