你让眼镜里的 AI 提醒钥匙放哪儿，或一步步教你收拾厨房，真正难的不是认出眼前物品，而是记住此前发生了什么，并根据你的动作继续调整指导。InteractiveWorld为这类第一视角助手搭了一座可验证训练场：助手看到佩戴者视角，用语言发指令；由多模态大语言模型驱动的“人”把指令转成抓取、打开等动作；环境随之改变，再把新画面交还助手。任务是否完成，则根据物体最终状态自动判断，不再只靠人观看演示后主观打分。
配套的InteractiveBench包含120个经人工审核的多轮任务，覆盖六类能力。环境基于Isaac Sim，提供50多个场景、8000多件物体和36种基础动作。作者测试12个前沿模型后称，表现最好的Claude Fable 5.1总体成功率也只有41.7%；在需要较长连续步骤的指导与规划任务中，最高分别为20%和25%。这套结果的价值不只是说明模型还会失败，更在于以后可以重复定位失败究竟出在感知、记忆还是沟通。