让机器人借鉴视频模型，过去常像先在脑中“拍一段未来”，再从画面反推动作：既费算力，又可能层层积累误差。TAPESTRY换了条更直接的路。它把预训练视频扩散 Transformer——从噪声逐步还原视频、并学习物体运动规律的模型——直接改造成机器人策略，也就是根据观察选择下一步动作的“驾驶员”。两项任务共用同一套主干网络，部署时不用真的生成视频。
最关键的一步，是把每个时刻的机器人动作伪装成一个视频图块。动作向量先经轻量线性投影和归一化，再送入视频模型原有的分块层，形成动作 Token——模型能够处理的一小块信息。作者称，若让动作绕过这套入口、直接投影到主干内部，训练早期会不稳定甚至发散；复用视频入口后，这一问题消失。这样做只新增一个无偏置线性投影，主干、分块与读出权重都沿用并微调。
训练时，模型同时学习视频去噪、视频与动作联合去噪，以及看着清晰图像单独还原动作。实际控制时，它从纯噪声出发，只用一次 DDIM 去噪——一种扩散模型采样方法——便生成一小段连续动作，相当于一次前向计算，不再承担整段视频的生成成本。论文报告了仿真与双臂真机实验，但现有材料未给出足以独立比较的完整成功率数字。