两只手,不是两个单手模型
拧瓶盖时,一只手要稳住瓶身,另一只手负责旋转。固定的一侧若松了一点,旋转的一侧就会立刻失去支点。机器人做这类动作,难点不只是把两只机械手分别摆到正确位置,而是让它们持续协调接触、受力和活动空间。
DONIC想解决的正是这个问题:让同一套控制器学习多类双手灵巧操作,并跟随不同来源的人类示范,不必每换一段动作就重新训练。论文作者称,它是首个跨操作类别和人类运动数据源联合训练的通用双手参考跟踪器。这里的“参考跟踪”,可以理解为机器人先看到一段目标动作,再像照着舞蹈示范一样控制关节,尽量复现物体与双手的运动。
这项工作单日热度上涨343%,但更值得注意的是它所代表的方向变化:灵巧操作正在从“为一项动作训练一个专家”,走向“用一个模型接住多种双手任务”。本文的技术结论和数字均来自作者论文,尚无独立复现。
人类会做,不等于机器人能照做
人类示范提供了动作目标,却不能直接变成机器人动作。人的手和机械手关节结构不同;视频里看起来合理的姿势,放进物理模拟后也可能抓不住物体。双手任务还多了一层麻烦:两只手经常承担不同角色,而且接触时机并不同步。
因此,DONIC不是简单复制手部姿势。它让一个策略同时控制两只手,目标是通过真实的物理接触复现物体运动。所谓“策略”,就是根据当前状态决定下一步关节动作的控制模型。
训练时,DONIC把 PPO 与 BC 放进一个反馈循环。PPO(proximal policy optimization)是一种强化学习方法:机器人在模拟环境里尝试动作,根据结果得到奖励,再逐步调整策略。BC(behavioral cloning,行为克隆)则让模型模仿已经成功的动作。作者先用针对单条轨迹训练的策略寻找可执行示范,再筛选成功轨迹;通用策略自己完成的成功执行,也会经过验证并回收到示范库中。说白了,它一边试,一边把已经证明有效的解法整理成教材。
分清两只手各自该做什么
普通的手部姿势误差,并不足以判断操作是否成功。两只手即使都摆得很像示范,物体也可能没有移动;反过来,一只手暂时尚未接触,也未必代表动作失败,因为它可能要晚一点加入。
DONIC为此设计了“以物体为中心、按手分别计算”的奖励。系统持续检查物体的位置、朝向和速度是否接近参考,同时分别监督左手和右手在示范中应当承担的接触角色。只有参考动作要求某只手接触时,系统才对它的指尖距离和接触情况给出反馈。这样,一手固定、另一手操作,或两手先后接触,都不会被粗暴地压成同一种模式。
另一个关键设计叫 Clip-Centered Advantages,简称 CCA。这里的 advantage(优势值)用于判断某个动作比模型原本预期好多少,并决定强化学习更新的方向。问题是,不同示范片段难度不同:较难片段可能整体得到偏低的优势值,连其中相对不错的动作也被当成坏动作。
CCA会针对每段参考轨迹减去该轨迹的平均优势值。它不改变奖励,也不改变同一轨迹中各动作的相对高低,只是消除不同片段之间的整体偏移。类似把难度不同的考试分别按各自平均分校准,再比较学生在每张卷子中哪些题做得更好。
数据也得真正包含“双手时刻”
双手灵巧操作属于“接触丰富”任务:手指、物体和环境频繁接触、滑动或受力,很小的位置误差就可能改变接触状态。但可用于训练的持续双手交互数据仍然稀缺。
作者因此发布了 BiHOI。这个多视角数据集包含1,575段序列、229个物体,共14.77小时,以每秒30帧记录。研究团队从多个校准过的 RGB 相机视角重建双手与物体运动,再把人手动作“重定向”到 Wuji 机器人手——也就是把人的动作意图转换成符合机器人关节限制的参考轨迹。
BiHOI尤其强调持续的双手参与。在至少一只手接触物体的时间里,双手同时接触占65.91%。作者分析的公共数据子集中,最高的 H2O 为38.57%。这个指标只描述作者所分析的片段,不能直接代表各数据集全部内容。
数字说明了什么
作者在模拟环境中设置了两类留出测试。第一类是训练物体上的新轨迹:物体见过,但动作轨迹没有用于训练。第二类是 held-out objects,也就是训练时留出的物体。两者都使用同一个 checkpoint——一次训练后保存的模型状态——且测试时不再微调。
DONIC在第一类测试上的成功率为86.79%,在留出物体上为57.32%。较强基线 Dexplore-bi 分别为9.43%和11.59%,因此提升77.36和45.73个百分点。这里是“百分点”,不是相对提升百分比。成功标准要求两只手都满足轨迹平均误差阈值,因此不能靠其中一只手表现好来过关。
消融实验也支持两个核心设计。去掉 CCA 后,两类测试的成功率分别降至81.13%和48.17%;去掉按参考接触角色启用监督的机制后,分别降至81.13%和48.78%。加入全部 BiHOI 数据后,训练池从1,845段扩大到3,420段,成功率进一步达到88.68%和59.76%。
为什么值得关注
DONIC的推进不只是一组更高的测试数字。它把多种操作类别、多个数据来源和不同的双手分工放进同一个策略,让机器人不再为每段参考动作单独训练控制器。这更接近“通才模型”的含义:不是只练一种固定动作,而是用同一套控制器覆盖更广的行为。
它也指出了双手学习中一个容易被忽略的问题:共享模型不仅需要更多数据,还需要公平地处理不同任务的难度,并分别看见两只手的贡献。否则,难任务会产生失真的训练信号,一只手的失败也可能掩盖另一只手已经学到的有效动作。
局限与未知
- 论文的定量评测集中在模拟环境中的单物体交互。材料没有证明真实双手机器人能达到相同成功率;作者也把实体系统迁移列为后续工作。
- “留出物体”不等于开放世界泛化,“训练物体的新轨迹”也不等于新物体泛化。现有测试还不能证明模型能处理未见操作类别或任意目标。
- “首个通用双手跟踪器”和“state-of-the-art”均为作者口径。成功率与提升数字也缺少独立复现及误差范围,仍需第三方基准验证。