教机器人叠衣服，光给它看视频还不够：它还得知道手何时碰到布料、用了多大力、衣服怎样翻转。大晓机器人与南洋理工大学 S-Lab 开源的 ACE-Data-0，正是要补上这类昂贵的真实世界素材，供具身智能——让 AI 借助机器人在物理世界中感知和行动——训练使用。
据项目方介绍，数据集包含 1700 万帧视频、200 类任务和 7.5 万个交互片段，由 50 名参与者在两个真实家庭场景中采集。它把第一、第三人称视频，全身与手部动作，音频、触觉和物体六自由度轨迹——物体在空间中的位置与旋转——对齐到同一时间线。最值得注意的是，参与者只拿到任务目标，不照固定脚本操作，因此犹豫、改计划和失败后的恢复也被保留下来。项目方还称，其评测了 30 多种方法，现有模型在接触、遮挡和长任务中仍有明显缺口；相关结论目前主要来自项目方披露。