阿里全新Agent玩轉(zhuǎn)手機(jī)：刷短視頻自主點(diǎn)贊評(píng)論，還學(xué)會(huì)了跨應(yīng)用操作
操作效率已達(dá)人類80%
克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
會(huì)操縱手機(jī)的智能體，又迎來了全新升級(jí)！
新的Agent打破了APP的界限，能夠跨應(yīng)用完成任務(wù)，成為了真·超級(jí)手機(jī)助手。
比如根據(jù)指示，它可以自行搜索籃球比賽的結(jié)果，然后根據(jù)賽況在備忘錄中撰寫文稿。
來自阿里的一篇最新論文，展示了全新手機(jī)操縱智能體框架Mobile-Agent，可以玩轉(zhuǎn)10款應(yīng)用，還能跨越APP完成用戶交給的任務(wù)，而且即插即用無需訓(xùn)練。
依托多模態(tài)大模型，整個(gè)操縱過程完全基于視覺能力實(shí)現(xiàn)，不再需要給APP編寫XML操作文檔。
在Mobile-Agent還只有演示視頻的時(shí)候，就已經(jīng)讓一眾網(wǎng)友為之驚艷：
和樹莓派結(jié)合到一起，將完爆Rabbit R1（一款大模型硬件）。
想象一下如果它支持語音操縱，并且學(xué)會(huì)了說話……
那么，Mobile-Agent操縱手機(jī)到底有多6呢？
支持跨應(yīng)用任務(wù)
目前，Mobile-Agent已經(jīng)學(xué)會(huì)了十個(gè)APP的操作，以及一些跨應(yīng)用任務(wù)。
比如搜索導(dǎo)航路線、幫忙在購物網(wǎng)站下單，它總能精準(zhǔn)找到搜索框并完成目標(biāo)。
也可以“刷”視頻，然后點(diǎn)贊評(píng)論，看上去就像熟練的老手。
甚至是安裝應(yīng)用、修改系統(tǒng)設(shè)置，也難不倒它。
而Mobile-Agent支持的跨應(yīng)用操作，也是讓“手機(jī)助手”更加接近人類……
只見它打開天氣預(yù)報(bào)軟件，然后迅速根據(jù)讀取到的天氣數(shù)據(jù)在備忘錄中生成了報(bào)告。
而在Mobile-Eval數(shù)據(jù)集上的測(cè)試結(jié)果也顯示，Mobile-Agent操縱手機(jī)的效率已經(jīng)達(dá)到了人類的80%。
研究人員在10款A(yù)PP和跨應(yīng)用任務(wù)上各測(cè)試了三種指令，收集了是否成功（SU）、操作評(píng)分（PS）、相對(duì)效率（RE）和完成率（CR）四項(xiàng)指標(biāo)。
其中SU只有成功和不成功兩種情況，RE是Agent所需操作步驟數(shù)和人類所需步驟數(shù)的比值，CR則是Agent相對(duì)于人類操作的完成比例，PS則以打分形式得出。
結(jié)果，針對(duì)三種指令，Mobile-Agent的平均完成率都在90%以上，成功次數(shù)也不低于80%。
而且，與此前的智能體不同，Mobile-Agent不需要依賴應(yīng)用說明文檔，而是完全依靠視覺能力實(shí)現(xiàn)。
基于GPT-4V實(shí)現(xiàn)
具體來說，Mobile-Agent基于最強(qiáng)多模態(tài)大模型GPT-4V實(shí)現(xiàn)。
通過視覺感知模塊，Mobile-Agent從設(shè)備的屏幕截圖中準(zhǔn)確定位視覺和文本元素文本和圖標(biāo)。
這一過程涉及到使用OCR工具和CLIP模型來確定圖標(biāo)的位置。
通過這些視覺信息，Mobile-Agent能夠?qū)⒄Z言模型生成的操作指令映射到具體的屏幕位置，從而執(zhí)行點(diǎn)擊等操作。
在執(zhí)行任務(wù)時(shí)，Mobile-Agent首先接收用戶的指令，然后根據(jù)當(dāng)前屏幕截圖、操作歷史和系統(tǒng)提示生成下一步操作。
這個(gè)過程是迭代進(jìn)行的，直到任務(wù)完成。
Mobile-Agent還具備自我規(guī)劃能力，能夠根據(jù)操作歷史和系統(tǒng)提示自主規(guī)劃新的任務(wù)。
此外，它還引入了自我反思機(jī)制，在執(zhí)行過程中，如果遇到錯(cuò)誤或無效操作，它會(huì)根據(jù)屏幕截圖和操作歷史進(jìn)行反思，嘗試替代操作或修改當(dāng)前操作的參數(shù)。
目前，研究人員已經(jīng)在GitHub中開源了Mobile-Agent測(cè)試過程中生成的指令記錄，程序代碼也已經(jīng)發(fā)布，未來還計(jì)劃推出APP版本。
感興趣的小伙伴可以試一試了~
GitHub主頁：
https://github.com/X-PLUG/MobilAgent
論文地址：
https://arxiv.org/abs/2401.16158
相關(guān)閱讀
PPIO亮相WAIC 2025，重磅推出國內(nèi)首個(gè)Agentic AI基礎(chǔ)設(shè)施服務(wù)平臺(tái)
給Agent裝上“大腦”和“手腳”
李開復(fù)入場(chǎng)Agent！直接對(duì)話CEO走獨(dú)特“一把手工程打法”
預(yù)言三層級(jí)演進(jìn)路徑
企業(yè)級(jí)Agent已進(jìn)入生產(chǎn)力階段｜BetterYeah AI張毅@MEET
關(guān)鍵是數(shù)據(jù)和AI驅(qū)動(dòng)，建立反饋評(píng)估-自學(xué)習(xí)-驗(yàn)證的閉環(huán)
