螞蟻數(shù)科探索AItoB，全新AI數(shù)據(jù)合成與生產(chǎn)平臺(tái)亮相烏鎮(zhèn)

白交 2024-11-19 19:16:21 來源：量子位

11月 19 日下午，行業(yè)大模型、具身智能、算力、芯片、數(shù)據(jù)合成等10 項(xiàng)首發(fā)成果在烏鎮(zhèn)峰會(huì)登臺(tái)路演， 其中 AI 數(shù)據(jù)合成與生產(chǎn)平臺(tái)AIGD（AI Generated Data）因聚焦“數(shù)據(jù)合成”獲廣泛關(guān)注?！拔磥淼腁I應(yīng)用需要大量稀缺且難以獲取的長(zhǎng)尾數(shù)據(jù)，如自動(dòng)駕駛中的極端天氣與極端路況數(shù)據(jù)，具身智能訓(xùn)練所需要的復(fù)雜場(chǎng)景數(shù)據(jù)。在此背景下，數(shù)據(jù)合成成為關(guān)鍵。”螞蟻數(shù)科AI科技技術(shù)負(fù)責(zé)人、螞蟻天璣實(shí)驗(yàn)室主任李哲現(xiàn)場(chǎng)說道。

AI 發(fā)展正面臨著高質(zhì)量數(shù)據(jù)短缺的問題。近年來，伴隨著大模型技術(shù)的快速發(fā)展，機(jī)器學(xué)習(xí)也正從“以模型為中心”轉(zhuǎn)向“以數(shù)據(jù)為中心”，高質(zhì)量數(shù)據(jù)可以更好地模擬客觀世界，提升模型的準(zhǔn)確性和穩(wěn)定性，但是“到 2026 年，現(xiàn)存的用于 AI 模型訓(xùn)練的高質(zhì)量語(yǔ)言數(shù)據(jù)將耗盡”，據(jù)Epoch AI Research研究團(tuán)隊(duì)預(yù)測(cè)。Gartner 表示，到 2030 年，合成數(shù)據(jù)將成為 AI 模型的主要訓(xùn)練數(shù)據(jù)來源；2024 年， 60% 的 AI 數(shù)據(jù)將是合成數(shù)據(jù)，被用于模擬、預(yù)測(cè)場(chǎng)景和降低風(fēng)險(xiǎn)。

AIGD平臺(tái)是由螞蟻數(shù)科申報(bào)的首發(fā)成果，平臺(tái)可通過大規(guī)模合成互聯(lián)網(wǎng)所不覆蓋的高質(zhì)量、高價(jià)值垂直語(yǔ)料數(shù)據(jù)，幫助科技廠商進(jìn)行 AI 模型訓(xùn)練。

AIGD具備 PB 級(jí)數(shù)據(jù)生產(chǎn)能力，支持?jǐn)?shù)據(jù)從生成到訓(xùn)練全流程自動(dòng)化處理，自動(dòng)化率達(dá)到 80%，這極大提高了數(shù)據(jù)處理的效率和質(zhì)量。

此外，平臺(tái)自研15 余種數(shù)據(jù)合成工具，目前可以合成圖片、視頻、3D模型、多模態(tài)圖文視頻對(duì)、多輪對(duì)話、語(yǔ)音信號(hào)、心率腦電信號(hào)、結(jié)構(gòu)化交易數(shù)據(jù)等多模態(tài)數(shù)據(jù)，以滿足多種應(yīng)用場(chǎng)景下的 AI 模型訓(xùn)練需求。

業(yè)內(nèi)人士普遍認(rèn)為，“高質(zhì)量數(shù)據(jù)”是 AI 大模型深入到產(chǎn)業(yè)的重要基礎(chǔ)，沒有好的數(shù)據(jù)做支撐，一切 AI 應(yīng)用都是空中樓閣。

近日，OpenAI員工爆料說，“新模型‘沒有那么大飛躍’”，主要原因之一便是高質(zhì)量數(shù)據(jù)不足所導(dǎo)致的。今年 9 月份， OpenAI 發(fā)布推理模型o1，帶來了強(qiáng)化學(xué)習(xí)訓(xùn)練新范式，通過自博弈強(qiáng)化學(xué)習(xí)，將合成數(shù)據(jù)的形式訓(xùn)練給大模型，從而大幅增加大模型邏輯推理能力。

“數(shù)據(jù)合成”是螞蟻數(shù)科 AIGD 平臺(tái)的主要功能之一，此外還包括數(shù)據(jù)標(biāo)注、質(zhì)檢等能力。在數(shù)據(jù)標(biāo)注方面，通過人機(jī)協(xié)同進(jìn)行標(biāo)注，人工智能算法能夠自動(dòng)識(shí)別和預(yù)處理大部分基礎(chǔ)信息，預(yù)標(biāo)注模型依賴人工標(biāo)注量降低了 70%以上。在數(shù)據(jù)質(zhì)檢方面，平臺(tái)會(huì)根據(jù)元信息支持不同粒度的數(shù)據(jù)質(zhì)量統(tǒng)計(jì)，最大程度理解數(shù)據(jù)，保證合成及標(biāo)注后的數(shù)據(jù)符合預(yù)期質(zhì)量要求。

螞蟻數(shù)科今年陸續(xù)迭代發(fā)布了多款 AI 產(chǎn)品，包括大模型安全評(píng)測(cè)與防御產(chǎn)品“蟻天鑒”、反深偽造產(chǎn)品 ZOLOZ Deeper 等。作為一家面向 ToB 服務(wù)的科技公司，螞蟻數(shù)科旗下主要包含“企業(yè)用云服務(wù)”“企業(yè)區(qū)塊鏈服務(wù)”“企業(yè)AI服務(wù)”三大核心業(yè)務(wù)，李哲在烏鎮(zhèn)峰會(huì)上表示，“我們即將迎來 AI 服務(wù)產(chǎn)業(yè)的黃金年代，螞蟻數(shù)科將會(huì)堅(jiān)定在 AI ToB 領(lǐng)域投入，讓 AI 深入千行百業(yè)?！?/p>