鵝廠新智能體亮相！操縱手機水平媲美真人，GitHub一周獲1.5K星
專業(yè)應(yīng)用也一學就會
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
一不留神，大模型已經(jīng)學會了操縱手機？
最近，騰訊最新多模態(tài)智能體框架AppAgent曝光，可以像人類一樣操作各種應(yīng)用。
比如在地圖軟件中輸入目標地址，然后喚起導航。
或者想要發(fā)一封郵件，AppAgent也能輕松編寫，然后直接在客戶端中發(fā)送。
就算是“反人類”的驗證碼，也絲毫難不住AppAgent。
甚至是用Lightroom這樣人類都不一定會的專業(yè)軟件P圖，也能三下五除二地完成。
而且它還可以觀察人類操作，甚至是自主探索，不用教就能學會新的APP。
目前，該項目在GitHub上已經(jīng)取得了1.5k星標。
操縱水平超越GPT4
為了更具體地評估AppAgent的表現(xiàn)，研究團隊一共在10個不同的應(yīng)用程序上測試了50個任務(wù)，其中還包括沒有學習過的新APP或操作，結(jié)果它都能出色完成。
除了P圖的效果由人工評判，AppAgent在其它九個APP上的表現(xiàn)，分別用成功率（SR）、獎勵分數(shù)和平均步數(shù)來衡量。
在自動探索模式下時，AppAgent完成這些任務(wù)的成功率達到了73.3%，學習過DEMO之后可以提升到84.4%。
雖然離人類手工指導的95.6%還存在差距，但這樣的表現(xiàn)已經(jīng)遠遠超過了GPT-4。
而在使用Lightroom進行P圖操作時，真人會對“參賽選手”的表現(xiàn)進行評價，評價的方式是對它們的作品效果進行排名而不是打分。
結(jié)果AppAgent自行學習DEMO后，表現(xiàn)的平均排名為1.95/3，略低于手工指導的1.75，但比GPT4的2.3還是高出不少。
那么，AppAgent優(yōu)異表現(xiàn)的背后，采用了什么樣的方法呢？
通過界面變化學習操作
研究人員給AppAgent設(shè)定了點擊、長按、滑動、輸入、返回和退出這六種預(yù)置操作。
后續(xù)的學習過程和操作方案，都是由這六種操作按一定順序排列組合而成的。
模型方面，AppAgent的基礎(chǔ)模型是多模態(tài)版的GPT4；工作流程則分為了探索和操作兩個階段。
探索階段中，研究人員會把應(yīng)用說明和標有界面中元素位置的XML文件，連同界面截圖一起輸入給模型。
然后模型通過分析不同截圖之間的界面變化，學習APP的功能和操作邏輯。
以發(fā)送郵件為例，人類的操作過程被轉(zhuǎn)換成六種預(yù)置操作的組合，然后被AppAgent學習。
到了操作階段，AppAgent會調(diào)用學習后的知識庫，對應(yīng)用界面進行分析，了解界面中的功能并根據(jù)任務(wù)需要設(shè)計操作策略。
目前，AppAgent已有DEMO可供體驗，暫只支持安卓手機，具體詳情和使用方法可以到項目頁中查看。
論文地址：
https://www.arxiv.org/abs/2312.13771
項目主頁：
https://appagent-official.github.io/
GitHub頁：
https://github.com/mnotgod96/AppAgent
相關(guān)閱讀
北森酷學院發(fā)布新一代AI Learning平臺，企業(yè)學習開啟Agents時代
在原有企業(yè)學習平臺eLearning之上，增加了五個AI Agent
特斯聯(lián)首款通用智能體發(fā)布，實現(xiàn)對物理世界的高維感知
“超級人工智能即服務(wù)”（IaaS，Intelligence as a Service）
