你让机器人“把红色试管插进左边孔位”,它不能只认出试管和孔,还得预判:手臂这样伸过去会不会碰倒架子,夹取角度是否方便插入。更难的是,训练时它也许只见过别的颜色和位置。InternVLA-A1.5想解决的,正是这种“零件熟悉、组合陌生”的任务。
它把三件事放进一套策略:看懂图像和指令、预演接下来可能发生什么、生成机器人的连续动作。核心思路不是让机器人真的生成一段未来视频,而是把未来压缩成少量内部表示,再用这些表示指导行动。以下效果均来自InternVLA-A1.5团队论文,尚无第三方复现或独立评测。
先保住“听懂话”的能力
InternVLA-A1.5以原生视觉语言模型(VLM——把图像和文字放进同一套模型理解)为主干,具体采用Qwen-3.5 2B。它负责识别物体、理解空间关系和拆解任务。
论文认为,已有统一机器人模型常遇到一个矛盾:给模型叠加未来生成和动作训练后,原先从大量图文数据中学到的语义能力可能逐渐漂移。机器人动作学得更多,却未必还像原来那样准确理解指令。
为此,团队没有在机器人训练阶段放弃语言与视觉问答。模型继续练习VQA(视觉问答,即根据图片回答问题)、预测下一项子任务,并把一部分动作编码成离散符号来学习。预训练数据包括120万段机器人操作轨迹和约300万条多模态样本;采样时,多模态数据与机器人数据的比例为0.85比0.15。这个安排很明确:多数训练样本继续巩固理解和空间定位,机器人数据则教它行动与预测未来。
不画未来,只提取未来线索
这项工作的关键变化,是把“预测未来”改写成“查询未来”。
模型加入50个可学习的foresight tokens——可以理解为50张专门询问未来的空白便签。它们读取当前画面、语言指令和机器人状态,提取与任务有关的未来线索,并把结果写成紧凑的潜变量。潜变量是模型对画面的压缩数字表示,目标不是保存每个像素,而是留下完成任务需要的信息。
训练时,一个冻结的WAN2.2-5B视频生成模型充当老师。它已经具备时空变化方面的先验知识。InternVLA-A1.5把未来便签生成的潜变量交给这个老师,并用真实后续画面检查这些潜变量是否足以指向正确未来。视频模型本身保持不变,梯度只更新foresight tokens及其上游网络。
这像是让学生向一位会拍电影的老师提交“分镜提要”。学生不必自己逐像素画出每一帧,但提要必须包含足够准确的动作与变化,才能让老师还原出合理后续。这样,策略可以吸收视频模型里的动态知识,又不必从头学习昂贵的像素级视频生成。
这些未来表示随后交给一个4.6亿参数的轻量级unified expert。它通过flow matching生成连续动作块。flow matching可粗略理解为:模型从一团随机动作开始,分几步把它修正成平滑、可执行的控制轨迹。与逐个输出动作符号相比,这种方式更适合低延迟的闭环控制。
“预演”只发生在训练时
WAN视频分支只用于训练和可视化,部署时会被完全移除。机器人执行任务时,不必先生成未来视频,再决定下一步动作。论文报告,在单张NVIDIA RTX 5090上配合其优化设置,一次推理约需0.1秒。作者据此称模型支持实时闭环控制;这一速度仍是团队在特定软硬件条件下的自报结果。
这种设计的重要性在于,它把预演的成本留在训练阶段,把预演得到的偏好留进策略内部。机器人行动时仍然只输出动作,却已经学会关注“这样做之后会怎样”。
实验说明了什么?
论文在六个仿真基准上报告了最佳总体结果,但这些基准的任务、指标和对手并不完全相同,不能简单理解成所有机器人场景全面领先。
几个数字更能说明它的特点。在LIBERO-Plus的零样本测试中,模型直接面对相机、语言、背景和布局等变化,总分为84.8%;去掉视频监督后降至78.0%,去掉foresight tokens后为77.9%。在包含移动物体的DOMINO零样本测试中,成功率为27.7%;两种删减版本分别降至25.3%和23.8%。这组消融实验——即主动拆掉某个组件看性能如何变化——支持了作者的判断:未来预演对陌生变化和动态交互更有帮助。不过,DOMINO的绝对成功率也表明,这类任务仍远未解决。
真实机器人实验更直接地考察组合泛化:训练时只展示一部分“试管—目标”搭配,测试时再换成未见组合。论文称,InternVLA-A1.5在三项任务的未见搭配上都取得最高成功率。长流程的MOF制备任务中,它达到76.4%,一项对比方法为29.3%,Motus没有完成任何一次完整流程。作者把优势归因于显式的子任务预测和未来动态知识,但这属于论文解释,并非单独验证出的因果结论。
为什么值得关注
组合泛化是通用机器人绕不开的一关。训练时见过“拿红杯”,也见过“把蓝碗放进柜子”,不等于测试时自然会做“把红杯放进柜子”。模型必须重新组合物体、动作和目标,而不是回放整段记忆。
InternVLA-A1.5给出的答案很务实:保留VLM对语言和图像的理解,用冻结的视频模型教它预判物理变化,再让轻量动作专家输出连续控制。它没有要求一个模块同时承担所有工作,而是让不同知识在共享上下文中协作。
局限与未知
- 所有结果都来自开发团队,尚无第三方复现;“最佳总体结果”和“最强组合泛化”应视为作者自报。
- 六个仿真基准的指标、设置和对比模型不同,跨表格数字不能直接横向比较。
- 真实实验的完整分条件成功率尚未在供稿中给出,模型面对更多机器人形态、环境和更长任务时能否保持优势,仍待检验。