Claude自動(dòng)玩崩鐵清日常，NUS新論文完整測(cè)評(píng)AI電腦操控

奇月 2024-12-01 19:08:44 來(lái)源：量子位

奇月 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI

Claude操控電腦，究竟可以做到什么程度？

新加坡國(guó)立大學(xué)團(tuán)隊(duì)在20多個(gè)場(chǎng)景下做了全面測(cè)試，其中最引人矚目的是：AI可以自動(dòng)玩手游清日常任務(wù)了！

研究中選用了米哈游《崩壞：星穹鐵道》，可以跟它說(shuō)”幫我完成今天的模擬宇宙”，然后，Claude就會(huì)立即依次打開(kāi)游戲菜單、找到星穹里的”黃金花萼”、自動(dòng)設(shè)置6次挑戰(zhàn)次數(shù)：

甚至還可以啟動(dòng)自動(dòng)戰(zhàn)斗、等待戰(zhàn)斗結(jié)束后退出，這一套組合操作簡(jiǎn)直行云流水……

而且注意哦，這不僅是傳統(tǒng)游戲外掛那樣的機(jī)械操作，Claude還能智能理解游戲規(guī)則和目標(biāo)，根據(jù)界面上不同的任務(wù)進(jìn)行調(diào)整。

這下好了，人類只能在一旁干瞪眼了。

除了更多測(cè)試場(chǎng)景外，論文還提出了一個(gè)開(kāi)箱即用的自動(dòng)GUI框架。

有網(wǎng)友看到視頻后評(píng)論說(shuō)：以后我去上學(xué)的時(shí)候，就可以讓Claude幫我玩每日任務(wù)了。

還可以自動(dòng)完成很多辦公任務(wù)

Claude Computer Use的潛能還遠(yuǎn)遠(yuǎn)沒(méi)有被人類發(fā)掘——

研究團(tuán)隊(duì)還測(cè)試了很多日常辦公場(chǎng)景下它的性能：

1.網(wǎng)頁(yè)搜索

它可以在Amazon和Apple官方網(wǎng)站上成功完成下單購(gòu)物的任務(wù)，選擇顏色配置、填寫地址都輕松拿捏。

2.工作流程

模型還成功完成了在Apple Music添加歌曲、編輯Excel數(shù)據(jù)、在App Store安裝應(yīng)用等自動(dòng)任務(wù)。

雖然界面設(shè)計(jì)和跳轉(zhuǎn)邏輯更加復(fù)雜，它還是能智能地理解任務(wù)的最終目標(biāo)，真是一個(gè)成熟的好AI（欣慰）！

3..辦公生產(chǎn)力軟件

此外，它還可以在Outook中轉(zhuǎn)發(fā)郵件、調(diào)整Word布局、設(shè)置PowerPoint背景設(shè)置和插入三角形形狀等等，這下真的可以大大增強(qiáng)生產(chǎn)力了（AI無(wú)用論 -1）。

4.還可以玩其他游戲

除了《崩壞：星穹鐵道》，模型也可以自動(dòng)玩《爐石傳說(shuō)》，包括創(chuàng)建和重命名牌組、使用英雄技能等等。

Claude Computer Use API + 自動(dòng)化GUI框架

你可能會(huì)好奇，強(qiáng)如Claude Computer Use，是怎么做到自動(dòng)完成任務(wù)的呢？

下面我們就一起來(lái)看看背后的框架設(shè)計(jì)——

具體來(lái)說(shuō)，團(tuán)隊(duì)基于Claude Computer Use的API設(shè)計(jì)了一個(gè)自動(dòng)化GUI框架，主要分為以下6個(gè)部分：

1.系統(tǒng)提示

Claude Computer Use的系統(tǒng)提示包括環(huán)境概述、可用函數(shù)和參數(shù)描述。用戶可以通過(guò)編寫 塊來(lái)調(diào)用這些函數(shù)，例如計(jì)算機(jī)交互、Bash Shel命令和文件編輯工具。

2.狀態(tài)觀察

Claude Computer Use通過(guò)實(shí)時(shí)截圖觀察環(huán)境，不依賴元數(shù)據(jù)或HTML。每個(gè)時(shí)間步長(zhǎng)過(guò)后，模型都會(huì)保留歷史截圖，幫助生成下一步的動(dòng)作。

3.推理范式

Claude Computer Use采用了一種推理-行動(dòng)范式，通過(guò)觀察環(huán)境來(lái)決定下一步的動(dòng)作。這種范式可以讓模型在高度動(dòng)態(tài)的GUI環(huán)境中生成更可靠的動(dòng)作。

4.工具使用

Claude Computer Use提供了三種工具：計(jì)算機(jī)工具、文本編輯器工具和Bash工具，它們可以幫助模型與計(jì)算機(jī)進(jìn)行交互，執(zhí)行各種任務(wù)。

5.GUI動(dòng)作空間

GUI動(dòng)作空間內(nèi)置了所有原始的鼠標(biāo)和鍵盤動(dòng)作，如鼠標(biāo)移動(dòng)、點(diǎn)擊、按鍵組合、拖放和截圖等。模型會(huì)根據(jù)需要自行組合。

6.歷史視覺(jué)上下文維護(hù)

模型在每個(gè)時(shí)間步長(zhǎng)都會(huì)保留歷史截圖，以輔助動(dòng)作生成過(guò)程。具體公式如下：

性能測(cè)試

為了更加廣泛地測(cè)試Claude Computer Use和GUI框架聯(lián)合后的性能效果，團(tuán)隊(duì)還設(shè)計(jì)了詳盡的測(cè)試實(shí)驗(yàn)，包括

1.數(shù)據(jù)收集：實(shí)驗(yàn)設(shè)計(jì)包括在Windows和macOS上通過(guò)ComputerUse Out-of-the-Box平臺(tái)進(jìn)行評(píng)估。評(píng)估任務(wù)覆蓋了廣泛的應(yīng)用領(lǐng)域，包括網(wǎng)頁(yè)搜索、工作流程、辦公生產(chǎn)力軟件和視頻游戲等。

2.樣本選擇：選擇了20個(gè)任務(wù)，涵蓋12個(gè)軟件或網(wǎng)站，分為以下三個(gè)領(lǐng)域：網(wǎng)頁(yè)搜索、工作流程、辦公生產(chǎn)力和視頻游戲。具體的任務(wù)可以查看下表：

3.參數(shù)配置：系統(tǒng)分辦率設(shè)置為Windows的（1366,768）和macOS的（1344,756）。過(guò)程中還加入了人類評(píng)審和評(píng)估用于監(jiān)控和審查過(guò)程，確保任務(wù)的順利完成。

雖然Claude Computer Use在之前的例子中表現(xiàn)都非常厲害，但當(dāng)網(wǎng)頁(yè)或軟件的頁(yè)面過(guò)于復(fù)雜時(shí)，模型也出現(xiàn)了一些失敗案例：

1.精細(xì)網(wǎng)頁(yè)操作失?。涸贔ox Sports訂閱任務(wù)中失敗，錯(cuò)誤原因主要在于模型沒(méi)有正確導(dǎo)航到”Account”選項(xiàng)卡。

2.辦公軟件失?。涸赪ord中更新簡(jiǎn)歷模板、和在PPT中插入編號(hào)符號(hào)兩個(gè)任務(wù)中失敗，錯(cuò)誤原因在于模型未能準(zhǔn)確選擇和定位文本字段。

不過(guò)整體來(lái)說(shuō)，Claude Computer Use已經(jīng)很棒了，而且這功能也剛剛發(fā)布沒(méi)多久，未來(lái)可期！

團(tuán)隊(duì)還公開(kāi)了所有測(cè)試用例的具體信息，感興趣的小伙伴可以點(diǎn)GitHub項(xiàng)目鏈接查看更多消息～

Claude老師，以后我的PPT和Steam就拜托你了（bushi）

參考資料：
https://arxiv.org/pdf/2411.10323
https://github.com/showlab/computer_use_ootb