让机器人在模拟器里学会“拿起、移动、放下”,不等于换到真机械臂还能完成整套任务:画面、摩擦、延迟乃至身体结构都会变。Skill2Real的思路,是少搬运这些具体条件,多搬运任务知识。它把技能写成调用统一接口的程序,仿真端和真机端各自负责感知、校准与底层执行,因此同一套上层知识可以跨环境复用。
训练时,三个Agent分工:Proposer(提议者)只看部署时也能获得的信息并执行程序;Verifier(验证者)利用仿真器额外提供的内部状态诊断失败;Governor(把关者)通过多轮验证,决定哪些修改进入技能库。系统先学抓取、移动等局部技能,再冻结它们,由“Brain”把这些技能编成长任务,并加入规划和失败恢复。
作者报告,在真实UR5e机械臂的四项任务上,完整层级的平均完成率为78.75%,高于仅用局部技能的56.25%,也高于无技能库时的27.50%。这里的零样本迁移,指真机端不再接受新示范或专项训练;结果来自论文作者实验,尚不能说明它已适用于更多机器人和现实场景。