机器人生成的视频可能很逼真，却把杯子穿过桌面，或动作流畅但拿错了东西。对“具身视频生成”——把机器人行动画面当作未来轨迹来辅助预测或规划——来说，画质因此不是最重要的评分尺。RoboJudge把重点放在两件事：物理遵循，即运动、接触和状态变化是否合理；指令对齐，即视频是否真正完成了文字交代的任务。
团队先制作RoboJudge-Bench，用800段人工评分视频检验“裁判”本身，覆盖8个来源、10种生成器以及机器人夹爪、灵巧手和人手。结果显示，通用多模态语言模型——能同时看视频和读指令的模型——在物理判断上与人类的一致性较弱，面向普通视频的专用裁判也不能稳定迁移到机器人场景。随后，作者用1.2万段视频、2.5万个人工核验分数训练9B参数的RoboJudge-9B。按论文报告，它与人工评分的总体Pearson相关系数达到0.719，高于基础模型的0.401；这说明机器人视频模型不仅需要专门考题，也需要受过专门训练的裁判。