强大的多模态GUI自动化智能体家族,支持移动设备和PC平台的端到端操作

强大的多模态GUI自动化智能体家族,支持移动设备和PC平台的端到端操作Mobile Agent 是由阿里巴巴 X PLUG 团队开发的强大 GUI 智能体家族 是一个专为移动设备和 PC 平台设计的端到端多模态智能体系统 该项目旨在实现 GUI 自动化 通过视觉感知 推理规划和动作执行来自主操作各种应用程序 1 GUI Owl 基础模型 GUI Owl 是一个基础的 GUI 智能体模型 在十个 GUI 基准测试中达到了开源端到端模型的最先进性能 涵盖桌面和移动环境的定位 问答 规划

大家好,我是讯享网,很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。



Mobile-Agent是由阿里巴巴X-PLUG团队开发的强大GUI智能体家族,是一个专为移动设备和PC平台设计的端到端多模态智能体系统。该项目旨在实现GUI自动化,通过视觉感知、推理规划和动作执行来自主操作各种应用程序。

1. GUI-Owl 基础模型

GUI-Owl是一个基础的GUI智能体模型,在十个GUI基准测试中达到了开源端到端模型的最先进性能,涵盖桌面和移动环境的定位、问答、规划、决策制定和程序知识。GUI-Owl-7B在AndroidWorld上达到66.4分,在OSWorld上达到29.4分。

2. Mobile-Agent-v3

Mobile-Agent-v3是基于GUI-Owl的跨平台多智能体框架,提供规划、进度管理、反思和记忆等功能。它是一个原生的端到端多模态智能体,作为GUI自动化的基础模型设计,将感知、定位、推理、规划和动作执行统一在单一策略网络中。

3. Mobile-Agent-E

Mobile-Agent-E是一个具有自我进化能力的分层多智能体框架,能够通过过往经验实现自我进化,在复杂的多应用任务上表现更强。

4. PC-Agent

PC-Agent是一个多智能体协作系统,可以基于用户指令实现生产力场景的自动化控制(如Chrome、Word和微信)。专为密集和多样化交互元素设计的主动感知模块更好地适应PC平台。分层多智能体合作结构提高了更复杂任务序列的成功率。现在同时支持Windows和Mac。

5. Mobile-Agent-v2

Mobile-Agent-v2是通过多智能体协作实现有效导航的移动设备操作助手。多智能体架构解决了长上下文输入场景中的导航挑战。增强的视觉感知模块显著提高了操作准确性。

  1. 跨平台兼容性:支持Android、iOS、Windows、Mac等多个平台
  2. 视觉感知能力:利用视觉感知工具准确识别和定位应用前端界面中的视觉和文本元素
  3. 多模态理解:结合视觉和语言理解进行复杂任务推理
  4. 端到端操作:从任务理解到执行的完整自动化流程
  5. 自我进化:通过经验学习不断改进性能

GUI-Owl的三大创新

  1. 大规模环境基础设施:基于云的虚拟环境,涵盖Android、Ubuntu、macOS和Windows,支持自进化GUI轨迹生产框架
  2. 多样化的基础智能体能力:集成UI定位、规划、动作语义和推理模式,支持端到端决策制定
  3. 可扩展环境强化学习:开发了具有完全异步训练的可扩展强化学习框架,用于现实世界对齐

  • Mobile-Agent-v3在AndroidWorld上达到73.3分,在OSWorld上达到37.7分,为开源GUI智能体框架设立了新的最先进标准
  • 在多个GUI自动化评测榜单中取得SOTA性能,包括ScreenSpot-V2、ScreenSpot-Pro、OSWorld-G、MMBench-GUI、Android Control、Android World和OSWorld
  • 内存开销小(8GB)
  • 推理速度快(每次操作10-15秒)
  • 全部使用开源模型
 
  
  1. 下载Android Debug Bridge(ADB)
  2. 在Android手机上开启ADB调试开关
  3. 用数据线连接手机到电脑并选择"传输文件"
  4. 测试ADB环境:
GPT plus 代充 只需 145
 
  
  1. 移动应用操作:点击、滑动、输入文本、应用切换
  2. PC应用操作:浏览器控制、办公软件操作、通讯软件使用
  3. 跨应用任务:多个应用间的复杂工作流程
  4. 复杂推理任务:需要多步骤推理的长期任务
  • 在线购物:搜索商品、比较价格、加入购物车
  • 信息查询:搜索新闻、获取体育比赛结果
  • 办公自动化:编写文档、发送邮件、数据处理
  • 社交媒体:发布内容、回复消息、分享信息
  • Mobile-Agent-v3 (2025): Foundamental Agents for GUI Automation
  • PC-Agent (ICLR 2025 Workshop): A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC
  • Mobile-Agent-E (2025): Self-Evolving Mobile Assistant for Complex Tasks
  • Mobile-Agent-v2 (NeurIPS 2024): Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration
  • Mobile-Agent (ICLR 2024 Workshop): Autonomous Multi-Modal Mobile Device Agent with Visual Perception
  • 2025年第24届中国计算语言学大会(CCL 2025)**演示奖
  • 2024年第23届中国计算语言学大会(CCL 2024)**演示奖

Mobile-Eval是为评估移动设备智能体性能而设计的基准,包括10个主流单应用场景和1个多应用场景。每个场景设计了三种指令类型。

  • 购物任务:在阿里巴巴网站上寻找帽子并加入购物车
  • 音乐播放:在Amazon Music中搜索歌手周杰伦
  • 信息查询:搜索今日湖人队比赛结果
  • 邮件发送:发送空邮件到指定地址
  • 多模态大语言模型:GPT-4V、Qwen-VL等
  • 视觉感知:CLIP、GroundingDINO等
  • 强化学习:Trajectory-aware Relative Policy Optimization (TRPO)
  • 多智能体框架:分层协作架构
  • 移动平台:Android、HarmonyOS (≤ 4版本)
  • 桌面平台:Windows、macOS、Ubuntu
  • 浏览器:Chrome及其他主流浏览器
  • 办公软件:Word、Excel、PowerPoint等
GPT plus 代充 只需 145
  • GUI-Owl-7B和GUI-Owl-32B模型检查点已发布
  • 支持HuggingFace和ModelScope平台部署
  • 提供在线演示体验
  • HuggingFace演示
  • ModelScope演示
  • PC-Agent演示
  • AppAgent:多模态智能体作为智能手机用户
  • mPLUG-Owl:模块化多模态大语言模型
  • Qwen-VL:通用视觉语言模型
  • GroundingDINO:开放集物体检测

该项目代表了GUI自动化智能体的前沿发展方向,通过不断的技术创新和性能优化,为实现真正的通用人工智能助手铺平了道路。随着模型能力的提升和应用场景的扩展,Mobile-Agent有望在更多实际场景中发挥重要作用。

Star History Chart

小讯
上一篇 2026-03-15 12:30
下一篇 2026-03-15 12:28

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/238213.html