幫助企業(yè)打造大模型超級(jí)員工！星塵數(shù)據(jù)AI數(shù)據(jù)閉環(huán)產(chǎn)品，打通AI數(shù)據(jù)全生命周期管理

白交 2024-03-12 23:04:24 來(lái)源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

星塵數(shù)據(jù)正式發(fā)布MorningStar，一款面向AI的數(shù)據(jù)閉環(huán)產(chǎn)品。

據(jù)介紹，這是當(dāng)前首個(gè)專注數(shù)據(jù)價(jià)值發(fā)現(xiàn)的AI數(shù)據(jù)平臺(tái)?；贒ataOps的理念打造，全面覆蓋AI算法從訓(xùn)練到生產(chǎn)全鏈路中的數(shù)據(jù)發(fā)現(xiàn)、管理、協(xié)作、迭代等各個(gè)環(huán)節(jié)。

在大模型時(shí)代，各行各業(yè)都需要基于自身數(shù)據(jù)打造超級(jí)員工，以提高企業(yè)的生產(chǎn)效率。模型和算力可以購(gòu)買，但數(shù)據(jù)需要精細(xì)化、全流程的管理，才能釋放真正的價(jià)值。

企業(yè)需要搭建一個(gè)可發(fā)現(xiàn)、可管理、可協(xié)作、可迭代的數(shù)據(jù)管道，才能具備獲取數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、持續(xù)迭代數(shù)據(jù)的能力，促進(jìn)內(nèi)部以數(shù)據(jù)為中心的協(xié)作，從而在AI2.0時(shí)代中獲得核心競(jìng)爭(zhēng)力。

MorningStar應(yīng)運(yùn)而生，全面覆蓋AI算法從訓(xùn)練到生產(chǎn)全鏈路中的數(shù)據(jù)管理、迭代、優(yōu)化、挖掘等閉環(huán)鏈路，致力于幫助企業(yè)建立高效的數(shù)據(jù)閉環(huán)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化和模型效果最優(yōu)化，助力打造差異化競(jìng)爭(zhēng)力壁壘。

從功能上看，MorningStar集成了八大功能，其自動(dòng)化工作流能夠確保數(shù)據(jù)在每個(gè)階段都能得到妥善管理和最優(yōu)化。

• 數(shù)據(jù)可視化：支持多源、多格式、異構(gòu)的結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一管理，實(shí)現(xiàn)全面而高效的數(shù)據(jù)收集與存儲(chǔ)。
• 數(shù)據(jù)生命周期管理：用戶可以通過(guò)平臺(tái)進(jìn)行數(shù)據(jù)流程的編排和調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化處理和轉(zhuǎn)換，同時(shí)記錄全生命周期數(shù)據(jù)信息，確保數(shù)據(jù)的可追溯性和操作的可復(fù)現(xiàn)性。
• 數(shù)據(jù)探索：提供超大規(guī)模AI數(shù)據(jù)管理能力，用戶可以利用平臺(tái)的強(qiáng)大搜索功能，通過(guò)多語(yǔ)義、跨模態(tài)等方式快速找到所需的數(shù)據(jù)，并進(jìn)行可視化分析。
• 難例發(fā)現(xiàn)：集成主流難例發(fā)現(xiàn)策略，如主動(dòng)學(xué)習(xí)等，為算法工程師提供數(shù)據(jù)特征分布、可視化和模型指標(biāo)計(jì)算等便捷功能。
• 人類反饋：創(chuàng)建高質(zhì)量的人類反饋通道，一鍵送標(biāo)至自動(dòng)化標(biāo)注系統(tǒng)Rosetta。
• 數(shù)據(jù)合成：支持可控?cái)?shù)據(jù)生成，填補(bǔ)現(xiàn)實(shí)世界中的數(shù)據(jù)空白，提高模型的魯棒性和適應(yīng)性。
• 算法指標(biāo)跟蹤：支持SDK，打通算法和數(shù)據(jù)的反饋閉環(huán)，可進(jìn)行算法管理和指標(biāo)評(píng)測(cè)，提升模型迭代的效率和可靠性。
• 數(shù)據(jù)連接：推理管理與性能監(jiān)控，實(shí)現(xiàn)模型部署和優(yōu)化的高效循環(huán)。

其中，數(shù)據(jù)生命周期管理、難例發(fā)現(xiàn)、數(shù)據(jù)資產(chǎn)管理、指標(biāo)跟蹤等功能尤其值得關(guān)注。

以數(shù)據(jù)生命周期管理為例，算法工程師可以通過(guò)MorningStar進(jìn)行AI數(shù)據(jù)生命周期的管理，強(qiáng)化數(shù)據(jù)版本控制、快捷數(shù)據(jù)切片、可追溯數(shù)據(jù)血緣和安全管控。平臺(tái)的自動(dòng)化工作流能夠確保數(shù)據(jù)在每個(gè)階段都能得到妥善管理和最優(yōu)化處理。

再以難例發(fā)現(xiàn)為例，作為首款集合難例發(fā)現(xiàn)策略的數(shù)據(jù)閉環(huán)產(chǎn)品，MorningStar能夠保證模型訓(xùn)練過(guò)程可追蹤可迭代。通過(guò)一系列數(shù)據(jù)追溯、模型調(diào)試和分析生成工具，助力實(shí)現(xiàn)和維護(hù)高質(zhì)、可復(fù)現(xiàn)的Al模型。

△數(shù)據(jù)溯源：通過(guò)數(shù)據(jù)流實(shí)現(xiàn)對(duì)算法評(píng)測(cè)所用數(shù)據(jù)的隨時(shí)溯源。

△版本對(duì)比

通過(guò)選擇不同的數(shù)據(jù)版本，實(shí)現(xiàn)算法預(yù)測(cè)結(jié)果和真值的對(duì)比，并結(jié)合可視化功能便捷地定位和分析難例數(shù)據(jù)。

△指標(biāo)追蹤和效果檢測(cè)

MorningStar通過(guò) SDK 便捷地打通模型訓(xùn)練環(huán)境和訓(xùn)練數(shù)據(jù)分析管理、指標(biāo)分析環(huán)境，便捷地進(jìn)行算法迭代。

一位自動(dòng)駕駛算法工程師曾反饋，原本需要花費(fèi)1天時(shí)間才能發(fā)現(xiàn)的難例，通過(guò)平臺(tái)只需要1-2小時(shí)即可，大大提高了迭代效率。

章磊表示：“MorningStar的目標(biāo)用戶主要分為三類：機(jī)器學(xué)習(xí)算法工程師、業(yè)務(wù)人員、研發(fā)負(fù)責(zé)人。對(duì)于不同的用戶，我們的平臺(tái)可以滿足各種需求，包括發(fā)現(xiàn)數(shù)據(jù)中的難例，跟蹤指標(biāo)，記錄數(shù)據(jù)全生命周期等等，從而讓數(shù)據(jù)價(jià)值最大化，模型更好地迭代?！?/p>

值得一提的是，星塵數(shù)據(jù)聯(lián)合國(guó)內(nèi)外知名機(jī)構(gòu)和學(xué)者打造的CIF-Bench自動(dòng)化評(píng)測(cè)即將上線MorningStar！28個(gè)模型評(píng)測(cè)榜單，重點(diǎn)評(píng)估了20 種基礎(chǔ)維度，考察模型在150 類任務(wù)上的指令遵循能力，

榜單鏈接：
https://yizhilll.github.io/CIF-Bench/