教机器人把杯子放上咖啡机，通常不只要反复示范；换一只杯子或一台机器，还可能重新收数据。Real2Sem2Real 想把这件事变成“一次示范，多种练习”：它从普通单摄像头拍摄的 RGB 人类视频中恢复物体的三维位置和朝向，再把人的抓取转换成机器人可执行的动作。
关键一步是“语义对齐”：系统不只寻找外形相似的数字替身，还会对准真正参与操作的区域，例如咖啡机托盘。这样，同一段动作可以迁移到不同杯子与咖啡机的组合。场景用 Gaussian splatting 表示——即用许多带颜色和透明度的三维“小云团”重建物体，再在模拟器中批量生成训练数据。
作者报告称，完成约 25 分钟设置后，系统约两小时可生成逾 2,000 条示范；在两台真实机器人、四项任务上，每项只用一段人类视频训练的策略，表现达到或超过两小时遥操作数据。不过，它并非只需视频：还要用手机扫描示范物体，并提供替代物体的一张或数张照片。