让机器人拿起杯子、走到水槽再放下,它可能做到一半就忘了前面干过什么。主流 Vision-Language-Action(VLA)模型——把画面、文字指令和机器人动作连起来的模型——往往主要依据当前画面决策。长任务里,眼前一帧未必能说明任务进行到哪一步,这正是 LaMem-VLA 想补上的短板。
它把历史分成两套内部记忆:短期记忆保留近期画面中的物体位置和细微变化,长期记忆保存任务进度、语义与动作连续性。系统按当前画面和指令检索相关经历,再压缩成固定长度的潜变量记忆 token——也就是模型内部可直接处理、但人眼看不到的表示——并在生成动作前织入推理序列。这样做的关键不只是“存历史”,而是让记忆与当前观察在同一内部空间里共同参与决策。
作者报告,LaMem-VLA 在 SimplerEnv-Bridge 模拟器上的平均成功率为 73.9%,比其 CogACT 基线高 16.6 个百分点;在 LIBERO 上达到 97.6%。不过目前验证仅来自模拟环境,真实机器人实验仍待后续版本补上。