Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.111 — 2026-10-23
PAPER H 28 · HF 148 约 1 分钟

GUI智能体学会只看当前有用的信息

FocusGUI动态聚焦当前关键信息,多步操作越长,抗干扰优势越明显。

让 AI 连续操作电脑,信息并非越多越好:截图、声音、视频和历史记录一起涌来,上一步有用的线索,下一步可能只是干扰。一次误判还会改变后续界面,让错误越滚越大。热度单日增长 169% 的 FocusGUI,正试图解决这种“越做越偏”的问题。

它不直接裁掉信息,而是保留完整输入,再为每一步动态判断哪些渠道更值得关注。系统把这份优先级压缩成一小段“聚焦提示”,注入原模型开始生成操作指令的位置,引导模型重新分配注意力。原模型参数保持冻结,训练也只需要正确的下一步操作,不要求人工标注哪种信息最重要。

作者报告,在四个多模态模型上,FocusGUI 平均把操作类型匹配率从 31.0% 提至 64.2%,精确匹配率从 11.2% 提至 33.5%。更值得注意的是,随着任务推进到第四步,原版 Qwen2.5-Omni 的类型匹配率损失一半,而 FocusGUI 保留了第一步表现的 86.8%。这些结果来自论文作者实验,说明它的价值不只在单步识别,更在于减少连续操作中的误差累积。


供稿材料 SOURCES — 1
01
Focused Omni-Modal GUI Agents arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-10-23 · 学术板块