Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.114 — 2026-10-26
PAPER 约 1 分钟

Trace2World从操作轨迹重建应用世界

把真实操作记录先还原成应用规则,再编译成可反复训练GUI智能体的模拟世界。

教 AI 操作应用,不能只给它看几张截图。它还得知道:点下“提交”后,是成功、报错,还是跳到下一页。Trace2World 想把真实交互轨迹——人每一步看到的界面、点击或输入,以及随后的变化——还原成可运行、可重置的训练环境,让 GUI 智能体能在里面反复试错。

关键一步是先定规则,再写程序。多条轨迹可能只是同一页面在不同状态下的样子;同一个按钮,也可能因当前状态不同而产生不同结果。Trace2World 先把这些记录合并成一个共享应用模型,为页面、数据和状态变化保留来源;证据无法解释的冲突则不纳入可执行范围。模型固定后,系统才把它编译成模拟应用,并独立重放原始操作流程来找错。

作者称,系统从 1,570 条轨迹构建了 50 个环境;在十款应用的 200 条流程上,91.1% 能端到端复现,强于对照方法的 59.8%。这项工作的价值不只是少写模拟器,而是尝试划清一条边界:AI 只能训练于真实记录支持的应用规则,不能让生成代码顺手“脑补”现实中不存在的捷径。


供稿材料 SOURCES — 1

← 返回 2026-10-26 · 学术板块