给机器人建训练场,过去常像搭电影布景:桌子、物体和相机位置都要仔细还原,还得补上抓取、碰撞等物理规则。WorldMirror想把这件事自动化:输入真实场景中的机器人视频及运动轨迹,生成一个能继续操作的“数字孪生”——不只是看起来相似的三维复刻,机器人还应能在里面重演动作。
它最值得注意的一步,是把整个仿真世界写成可执行、可修改的程序。一个编码智能体先拆解场景,再调度图像与三维生成工具;发现物体缺失、位置偏移或碰撞形状不合适时,它会根据检查反馈,回头修改对应部分,而非一次生成后就收工。系统还以相机位姿为坐标锚点,把背景、支撑结构、可交互物体和机器人对齐,目标是让原始轨迹无需改写即可回放。
作者在 DROID 机器人操作演示上称,WorldMirror能兼顾视觉、几何和交互一致性,并提升所测演示的轨迹回放保真度。不过,现有材料未披露可概括的量化结果;从真实演示建世界能减少人工搭建,但物理反馈是否足够接近现实,仍需进一步检验。