阿里全新Agent玩转手机:刷短视频自主点赞评论,还学会了跨应用操作
操作效率已达人类80%
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
会操纵手机的智能体,又迎来了全新升级!
新的Agent打破了APP的界限,能够跨应用完成任务,成为了真·超级手机助手。
比如根据指示,它可以自行搜索篮球比赛的结果,然后根据赛况在备忘录中撰写文稿。
来自阿里的一篇最新论文,展示了全新手机操纵智能体框架Mobile-Agent,可以玩转10款应用,还能跨越APP完成用户交给的任务,而且即插即用无需训练。
依托多模态大模型,整个操纵过程完全基于视觉能力实现,不再需要给APP编写XML操作文档。
在Mobile-Agent还只有演示视频的时候,就已经让一众网友为之惊艳:
和树莓派结合到一起,将完爆Rabbit R1(一款大模型硬件)。
想象一下如果它支持语音操纵,并且学会了说话……
那么,Mobile-Agent操纵手机到底有多6呢?
支持跨应用任务
目前,Mobile-Agent已经学会了十个APP的操作,以及一些跨应用任务。
比如搜索导航路线、帮忙在购物网站下单,它总能精准找到搜索框并完成目标。
也可以“刷”视频,然后点赞评论,看上去就像熟练的老手。
甚至是安装应用、修改系统设置,也难不倒它。
而Mobile-Agent支持的跨应用操作,也是让“手机助手”更加接近人类……
只见它打开天气预报软件,然后迅速根据读取到的天气数据在备忘录中生成了报告。
而在Mobile-Eval数据集上的测试结果也显示,Mobile-Agent操纵手机的效率已经达到了人类的80%。
研究人员在10款APP和跨应用任务上各测试了三种指令,收集了是否成功(SU)、操作评分(PS)、相对效率(RE)和完成率(CR)四项指标。
其中SU只有成功和不成功两种情况,RE是Agent所需操作步骤数和人类所需步骤数的比值,CR则是Agent相对于人类操作的完成比例,PS则以打分形式得出。
结果,针对三种指令,Mobile-Agent的平均完成率都在90%以上,成功次数也不低于80%。
而且,与此前的智能体不同,Mobile-Agent不需要依赖应用说明文档,而是完全依靠视觉能力实现。
基于GPT-4V实现
具体来说,Mobile-Agent基于最强多模态大模型GPT-4V实现。
通过视觉感知模块,Mobile-Agent从设备的屏幕截图中准确定位视觉和文本元素文本和图标。
这一过程涉及到使用OCR工具和CLIP模型来确定图标的位置。
通过这些视觉信息,Mobile-Agent能够将语言模型生成的操作指令映射到具体的屏幕位置,从而执行点击等操作。
在执行任务时,Mobile-Agent首先接收用户的指令,然后根据当前屏幕截图、操作历史和系统提示生成下一步操作。
这个过程是迭代进行的,直到任务完成。
Mobile-Agent还具备自我规划能力,能够根据操作历史和系统提示自主规划新的任务。
此外,它还引入了自我反思机制,在执行过程中,如果遇到错误或无效操作,它会根据屏幕截图和操作历史进行反思,尝试替代操作或修改当前操作的参数。
目前,研究人员已经在GitHub中开源了Mobile-Agent测试过程中生成的指令记录,程序代码也已经发布,未来还计划推出APP版本。
感兴趣的小伙伴可以试一试了~
GitHub主页:
https://github.com/X-PLUG/MobilAgent
论文地址:
https://arxiv.org/abs/2401.16158
- 英伟达5090被曝32G大显存、核心是5080的两倍!网友:怕不是B200双芯封装技术下放2024-09-30
- DIY计算器装ChatGPT操作系统!终极作弊神器,代码已开源2024-09-24
- 零代码基础也能复刻!大模型化身AI售前助手,百页万字标书秒解读2024-09-24
- o1方法性能无上限!姚班马腾宇等数学证明:推理token够多,就能解决任意问题2024-09-17