阿里推出AI數(shù)據(jù)科學家，全流程自動化，科研小白也能用

基于開源Agent框架，可自動解決復(fù)雜數(shù)據(jù)科學問題的Agent來了！

具體來說，Data Science Assistant（以下稱DS Assistant）是基于Modelscope-Agent框架開發(fā)的數(shù)據(jù)科學助手。

有了它，我們只需給需求，這個助手就能自己跑完探索性數(shù)據(jù)分析（EDA）、數(shù)據(jù)預(yù)處理、特征工程、模型訓練，模型評估等步驟。

當然，除了本文將重點提到的DS Assistant，它背后的Modelscope-Agent框架也值得說道。

這個框架由阿里開源，主要特點包括：

• 可通過vllm、ollama等工具接入各主流開源模型，也可以直接調(diào)用模型API；
• 提供RAG組件支持開發(fā)者快速接入知識庫；
• 工具生態(tài)豐富，支持大量的Modelscope社區(qū)模型作為工具，也支持直接調(diào)用langchain的工具，還接入了各類常用的工具，如web-browsing、文生圖、code-interpreter等；

更妙的是，Modelscope-Agent框架允許開發(fā)者無需編碼即可交互式地創(chuàng)建Agent助理。

這不，啪的一下，咱們的數(shù)據(jù)科學助手“誕生”了~

復(fù)雜數(shù)據(jù)科學任務(wù)自動化

實現(xiàn)復(fù)雜數(shù)據(jù)科學任務(wù)自動化一直存在挑戰(zhàn)。

傳統(tǒng)的ReAct（Reasoning and Action）框架對于簡單的任務(wù)比較有效，但是有以下缺點：

• 每次工具調(diào)用都需要一個LLM調(diào)用。
• LLM一次僅計劃1個子問題。這可能會導致任務(wù)的軌跡更加不可控，因為它不會被迫“推理”整個任務(wù)。

而DS Assistant使用了plan-and-excute框架，這是一種新興的Agent框架，通過明確計劃和執(zhí)行步驟高效完成復(fù)雜任務(wù)。

langchain官網(wǎng)對Plan-and-execute Agent的描述：https://blog.langchain.dev/planning-agents/

具體而言，其工作流程包括以下幾個步驟：

1、任務(wù)計劃：Agent接收用戶輸入的任務(wù)描述，進行語義理解，將任務(wù)分解為多個可執(zhí)行子任務(wù)。

2、子任務(wù)調(diào)度：基于任務(wù)之間的依賴關(guān)系和優(yōu)先級，智能調(diào)度子任務(wù)的執(zhí)行順序。

3、任務(wù)執(zhí)行：每個子任務(wù)分配給特定的模塊執(zhí)行。

4、結(jié)果整合：匯總各子任務(wù)的結(jié)果，形成最終輸出，并反饋給用戶。

基于上述框架，咱們接著看整個系統(tǒng)架構(gòu)，DS Assistant整套系統(tǒng)有4個主要模塊。

先說右側(cè)的DS Assistant，它作為整個系統(tǒng)的大腦，負責調(diào)度整個系統(tǒng)的運轉(zhuǎn)。

而Plan模塊負責根據(jù)用戶的需求生成一系列Task列表，并對Task先后順序進行拓撲排序。

在這一階段，DS Assistant根據(jù)用戶輸入的復(fù)雜數(shù)據(jù)科學問題，自動將其分解為多個子任務(wù)。

這些子任務(wù)根據(jù)依賴關(guān)系和優(yōu)先級被組織和調(diào)度，確保執(zhí)行順序符合邏輯且高效。

接下來到了Execution模塊，負責任務(wù)的具體執(zhí)行，保存任務(wù)執(zhí)行結(jié)果。

在這里，每個子任務(wù)被具體化為可執(zhí)行的操作，如數(shù)據(jù)預(yù)處理、模型訓練等。

最后是Memory management模塊，負責記錄任務(wù)中間執(zhí)行結(jié)果，代碼，數(shù)據(jù)詳情等信息。

在所有Task執(zhí)行完成后，DS Assistant會將中間數(shù)據(jù)的執(zhí)行情況 ( 包括每個task生成的代碼和結(jié)果，消耗token數(shù)，任務(wù)時間 ) 保存為文件。

案例實戰(zhàn)

下面，我們以一個具體的例子來了解DS Assistant的執(zhí)行過程。

我們選用Kaggle上的一個比賽任務(wù)ICR – Identifying Age-Related Conditions作為示例：

該任務(wù)是一項機器學習任務(wù)，主要目的是通過分析各種數(shù)據(jù)（如醫(yī)療記錄、基因數(shù)據(jù)、生活方式數(shù)據(jù)等），識別與年齡相關(guān)的健康狀況。

最終結(jié)果將用來幫助醫(yī)療專業(yè)人員及早發(fā)現(xiàn)老年人群中常見的健康問題，并提供個性化的預(yù)防和治療方案。

廢話不多說，我們這就開始~

首先，對于選用的LLM，我們需要配置一下。

我們引入MetaGPT的Data Science工具和Tool Recommender，可以根據(jù)任務(wù)類型向DS Assistant推薦合適的數(shù)據(jù)科學工具。

接著，我們需要將任務(wù)的具體要求傳給DS Assistant。需要注意的是，在要求中需向DS Assistant指明數(shù)據(jù)文件的路徑：

在Plan階段，DS Assistant會根據(jù)用戶需求生成任務(wù)列表，將整個數(shù)據(jù)處理流程進行分解，接著對任務(wù)列表進行按順序處理。

可以看到，DS Assistant生成了5個任務(wù)，分別是數(shù)據(jù)探索，數(shù)據(jù)預(yù)處理，特征工程，模型訓練和預(yù)測。

然后這5個任務(wù)進入了Execute階段，下面咱們挨個看一下。

Task 1: 數(shù)據(jù)探索

可以看到生成的代碼在執(zhí)行時報了如下錯誤，原因是沒有引入numpy包。

DS Assistant根據(jù)報錯進行了反思，并重新生成代碼并執(zhí)行，成功輸出數(shù)據(jù)探索的結(jié)果。

最后，code judge會對代碼進行質(zhì)檢，確保本次生成代碼邏輯正確。

Task 2: 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)預(yù)處理階段，DS Assistant分別對數(shù)值型數(shù)據(jù)和類別型數(shù)據(jù)進行了合適的缺失值處理，并清除了ID列。

Task 3：特征工程

在修復(fù)了兩次錯誤后，DS Assistant對數(shù)據(jù)進行了特征工程的處理，對類別型變量進行編碼。

同時對之前定義的categorical_columns變量進行了更新，去除了ID列。

Task 4：模型訓練

DS Assistant主動安裝了合適的依賴，并選擇了多個模型（隨機森林，梯度提升，邏輯回歸）進行訓練，并選擇了結(jié)果最好的模型。

Task 5：模型驗證

DS Assistant選擇了訓練集中F1分數(shù)最高的模型對驗證集進行測試，并計算了這個模型在驗證集上的F1分數(shù)，成功地完成了任務(wù)。

執(zhí)行完以上任務(wù)后，DS Assistant支持將運行結(jié)果保存為Jupyter Notebook類型的文件，并記錄運行的中間過程。

△Jupyter Notebok

△中間過程記錄JSON文件

實驗效果

我們使用ML-Benchmark作為測試集（指路論文“Data Interpreter: An LLM Agent For Data Science”），分別從Normalized Performance Score (NPS) ，total time，total token三個維度對DS Assistant效果進行評測。

其中NPS是一種將不同任務(wù)或模型的性能指標標準化的方法，使得不同指標之間可以進行比較。

它的計算通常涉及以下步驟：

步驟1：確定指標優(yōu)化方向，判斷性能指標是“越大越好”還是“越小越好”。

步驟2：規(guī)范化計算。如果指標是“越大越好”（如準確率、F1分數(shù)、AUC），NPS等于原始值；如果指標是“越小越好”（如損失值），則需要將原始值映射到接近1的較高NPS值。

規(guī)范化后的性能得分范圍通常是0到1，其中1表示最優(yōu)性能，0表示最差性能。

實驗任務(wù)詳情和結(jié)果如下(?綠色代表當前任務(wù)下最優(yōu)指標 )：

可以看到，在部分復(fù)雜的數(shù)據(jù)科學任務(wù)上，DS Assistant在規(guī)范化性能得分(NPS)，任務(wù)時間，消耗token數(shù)的指標上取得超過開源SOTA的效果。（其中開源SOTA效果指MetaGPT實測值）

完整實驗日志：https://modelscope-agent.oss-cn-hangzhou.aliyuncs.com/resources/DS_Assistant_results.zip

總結(jié)

對不同的人來說，DS assistant有不同作用：

• 不熟悉數(shù)據(jù)分析流程但是又有需要的同學，可以快速根據(jù)生成的任務(wù)以及處理過程，了解處理數(shù)據(jù)的思路，以及技術(shù)點。
• 對于了解數(shù)據(jù)分析流程的同學，可以通過詳細的描述，來影響數(shù)據(jù)處理的方法，方便做不同的實驗參照比較。
• 對于所有人，可以自動化的快速實現(xiàn)對于當前手上文件的更深層次的理解，僅需提問即可。

下一步，DS assistant將從三個方向展開優(yōu)化：

1、進一步提高任務(wù)執(zhí)行成功率：

a）對于Code Agent來說，傳入信息量過大（報錯信息，中間數(shù)據(jù)信息，已生成代碼信息）會導致模型生成代碼正確率下降，可以在未來考慮使用LLM進行總結(jié)，對信息進行篩選。

b）同一個Task可進行進一步的分解，以降低對LLM推理能力的要求。

2、對話交互式，可以將任務(wù)和任務(wù)的執(zhí)行展示分開，通過對話的方式推進任務(wù)，并影響執(zhí)行結(jié)果。

3、支持批處理相同任務(wù)多批文件的場景。

更多細節(jié)可進一步查看Modelscope-Agent官方倉庫中Data Sciecne Assistant示例。