阿里全新Agent玩轉(zhuǎn)手機：刷短視頻自主點贊評論，還學(xué)會了跨應(yīng)用操作
操作效率已達人類80%
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
會操縱手機的智能體，又迎來了全新升級！
新的Agent打破了APP的界限，能夠跨應(yīng)用完成任務(wù)，成為了真·超級手機助手。
比如根據(jù)指示，它可以自行搜索籃球比賽的結(jié)果，然后根據(jù)賽況在備忘錄中撰寫文稿。
來自阿里的一篇最新論文，展示了全新手機操縱智能體框架Mobile-Agent，可以玩轉(zhuǎn)10款應(yīng)用，還能跨越APP完成用戶交給的任務(wù)，而且即插即用無需訓(xùn)練。
依托多模態(tài)大模型，整個操縱過程完全基于視覺能力實現(xiàn)，不再需要給APP編寫XML操作文檔。
在Mobile-Agent還只有演示視頻的時候，就已經(jīng)讓一眾網(wǎng)友為之驚艷：
和樹莓派結(jié)合到一起，將完爆Rabbit R1（一款大模型硬件）。
想象一下如果它支持語音操縱，并且學(xué)會了說話……
那么，Mobile-Agent操縱手機到底有多6呢？
支持跨應(yīng)用任務(wù)
目前，Mobile-Agent已經(jīng)學(xué)會了十個APP的操作，以及一些跨應(yīng)用任務(wù)。
比如搜索導(dǎo)航路線、幫忙在購物網(wǎng)站下單，它總能精準找到搜索框并完成目標。
也可以“刷”視頻，然后點贊評論，看上去就像熟練的老手。
甚至是安裝應(yīng)用、修改系統(tǒng)設(shè)置，也難不倒它。
而Mobile-Agent支持的跨應(yīng)用操作，也是讓“手機助手”更加接近人類……
只見它打開天氣預(yù)報軟件，然后迅速根據(jù)讀取到的天氣數(shù)據(jù)在備忘錄中生成了報告。
而在Mobile-Eval數(shù)據(jù)集上的測試結(jié)果也顯示，Mobile-Agent操縱手機的效率已經(jīng)達到了人類的80%。
研究人員在10款A(yù)PP和跨應(yīng)用任務(wù)上各測試了三種指令，收集了是否成功（SU）、操作評分（PS）、相對效率（RE）和完成率（CR）四項指標。
其中SU只有成功和不成功兩種情況，RE是Agent所需操作步驟數(shù)和人類所需步驟數(shù)的比值，CR則是Agent相對于人類操作的完成比例，PS則以打分形式得出。
結(jié)果，針對三種指令，Mobile-Agent的平均完成率都在90%以上，成功次數(shù)也不低于80%。
而且，與此前的智能體不同，Mobile-Agent不需要依賴應(yīng)用說明文檔，而是完全依靠視覺能力實現(xiàn)。
基于GPT-4V實現(xiàn)
具體來說，Mobile-Agent基于最強多模態(tài)大模型GPT-4V實現(xiàn)。
通過視覺感知模塊，Mobile-Agent從設(shè)備的屏幕截圖中準確定位視覺和文本元素文本和圖標。
這一過程涉及到使用OCR工具和CLIP模型來確定圖標的位置。
通過這些視覺信息，Mobile-Agent能夠?qū)⒄Z言模型生成的操作指令映射到具體的屏幕位置，從而執(zhí)行點擊等操作。
在執(zhí)行任務(wù)時，Mobile-Agent首先接收用戶的指令，然后根據(jù)當前屏幕截圖、操作歷史和系統(tǒng)提示生成下一步操作。
這個過程是迭代進行的，直到任務(wù)完成。
Mobile-Agent還具備自我規(guī)劃能力，能夠根據(jù)操作歷史和系統(tǒng)提示自主規(guī)劃新的任務(wù)。
此外，它還引入了自我反思機制，在執(zhí)行過程中，如果遇到錯誤或無效操作，它會根據(jù)屏幕截圖和操作歷史進行反思，嘗試替代操作或修改當前操作的參數(shù)。
目前，研究人員已經(jīng)在GitHub中開源了Mobile-Agent測試過程中生成的指令記錄，程序代碼也已經(jīng)發(fā)布，未來還計劃推出APP版本。
感興趣的小伙伴可以試一試了~
GitHub主頁：
https://github.com/X-PLUG/MobilAgent
論文地址：
https://arxiv.org/abs/2401.16158
相關(guān)閱讀
@所有開發(fā)者：Agent變現(xiàn)，阿里云百煉聯(lián)合支付寶首創(chuàng)「AI打賞」！Agent Store全新發(fā)布
多模態(tài)RAG、全面升級的企業(yè)級MCP也都來了
