让 AI 在手机上“打开地图规划路线,再切到 YouTube 播歌”,听起来简单,实际要连续识别界面、点击、输入和跨应用切换。Google 开源的 ARTEMIS 把这类端到端安卓自动化做成了一套工具:开发者用自然语言描述目标,系统便可像人一样操作真机或模拟器。
它值得关注的地方,是把“操作手机”和“排查故障”接到了一起。ARTEMIS 会优先通过界面元素编号寻找按钮;遇到自定义界面,再退回屏幕坐标和画面识别。借助 MCP——让 AI 统一连接外部工具的开放协议——Antigravity、Claude Code、Codex 等 IDE 助手还能直接驱动测试设备,并收集 Logcat 日志和截图。项目称,其快速模式通常每步耗时 3—5 秒,在 AndroidWorld 的百余项多步骤任务中完成率超过 99%;这些结果目前来自项目方自述。