机器人把杯子送到桌边，最后一步却碰倒了它。传统评测通常只记一个“失败”，和机器人刚起步就走错没有区别。PRM-as-a-Judge 1.5 想检查整段过程：它读取 Rollout 视频——机器人从接到任务到结束的完整执行记录，再用过程奖励模型（PRM）逐帧估计任务进度，画出一条进度曲线。
这条曲线让评测从“终场比分”变成“比赛录像”。工具新增三项指标：FNS 判断失败离成功还有多远；DRR 衡量机器人倒退后追回了多少进度；SQS 则检查成功是否高效、稳定，而非靠反复纠正勉强完成。报告还能同步视频与曲线，标出早期失败、停滞和恢复位置。
作者还发布 RoboPulse++，专门测试裁判模型能否分清进度上升与下降。需要注意的是，这套分析依赖 PRM 的判断是否可靠；论文评测也只使用各基准已公开的执行视频，没有重新训练被测模型。