让 AI 连续操作电脑,信息并非越多越好:截图、声音、视频和历史记录一起涌来,上一步有用的线索,下一步可能只是干扰。一次误判还会改变后续界面,让错误越滚越大。热度单日增长 169% 的 FocusGUI,正试图解决这种“越做越偏”的问题。
它不直接裁掉信息,而是保留完整输入,再为每一步动态判断哪些渠道更值得关注。系统把这份优先级压缩成一小段“聚焦提示”,注入原模型开始生成操作指令的位置,引导模型重新分配注意力。原模型参数保持冻结,训练也只需要正确的下一步操作,不要求人工标注哪种信息最重要。
作者报告,在四个多模态模型上,FocusGUI 平均把操作类型匹配率从 31.0% 提至 64.2%,精确匹配率从 11.2% 提至 33.5%。更值得注意的是,随着任务推进到第四步,原版 Qwen2.5-Omni 的类型匹配率损失一半,而 FocusGUI 保留了第一步表现的 86.8%。这些结果来自论文作者实验,说明它的价值不只在单步识别,更在于减少连续操作中的误差累积。