网页一改版，自动点击脚本就可能找不到原来的按钮；换到手机应用，更得另搭一套工具。Midscene 想让这件事更像人在操作：看着屏幕，按自然语言要求点击、输入和检查结果。它是一套开源 UI 自动化工具——让程序代替人完成界面测试和重复操作，覆盖网页、Android、iOS、HarmonyOS、桌面应用及自定义界面。
它的关键选择是“只看截图”来定位操作目标，不依赖选择器——按元素 ID 或页面层级寻找按钮的规则。传统工具常读取 DOM（浏览器整理出的页面结构）或无障碍树（系统提供的控件语义结构），但这些信息可能随改版失效，也可能看不见图标按钮、canvas 或跨域页面。Midscene 则交给多模态模型理解画面，因此还能检查颜色、布局和高亮状态。开发者可用 JavaScript SDK、YAML，或接入 Playwright、Vitest；AI Agent 也能通过 Skills 调用。项目材料未提供准确率、速度或跨平台稳定性的对比数据，实际可靠性仍需按具体界面验证。