你对机器人说“把桌上的杯子拿来”，它不只要听懂这句话，还得看清杯子在哪里，判断下一步会发生什么，再决定机械臂怎么动。过去，这些能力常被拆成多个模型，或交给远端数据中心处理。NVIDIA 新发布的 Cosmos3-Edge，尝试把文字、画面与动作放进同一个世界模型，并把规模收至 4B 参数，为世界模型走向机器人等边缘设备提供一个更具体的入口。
世界模型，就是学习环境如何随时间和动作变化的模型。它不只识别眼前有什么，还要预测接下来可能出现的画面或状态。本文事实均来自 NVIDIA 于 Hugging Face 发布的模型页面，目前没有独立第三方评测印证。
它把哪些能力放到了一起？
据 NVIDIA 的模型页面，Cosmos3-Edge 于 2026 年 7 月 20 日发布。它接受 text、images、video 和 action trajectories 等多模态输入，并能生成 text、images、video 和 action outputs。
“多模态”指模型能共同处理文字、图像、视频和动作等不同类型的信息。action trajectory，即动作轨迹，是机器人或智能体随时间变化的一串状态或控制值。以机械臂为例，它可以包括每一帧的关节位置、夹爪状态或相机姿态。
这使 Cosmos3-Edge 可以覆盖几类任务：理解多个模态的信息，模拟世界，预测未来，以及推理下一步动作。它面向 Physical AI——让机器理解、模拟并与物理世界互动的系统，应用语境包括机器人、自动驾驶和智能空间。
模型采用 Mixture-of-Transformers（MoT）架构，可以理解为让两套擅长不同工作的 Transformer 协作。文字由自回归 Transformer 逐词生成，也就是根据前文不断预测下一个词；图像、视频和动作等连续内容，则由扩散 Transformer 反复去噪生成。前者像接着一句话往下写，后者更像从模糊草图逐步修出成品。统一框架并不意味着所有内容都用同一种方法生成，而是为不同信息保留更合适的生成机制。
“Edge”意味着什么？
端侧或边缘设备，是机器人、汽车、摄像头和个人终端等靠近数据来源的硬件。在这些设备上运行模型，可以减少联网依赖和数据往返延迟，但也要面对更严格的算力、内存与功耗限制。
Cosmos3-Edge 的 4B 参数规模明显小于同一页面列出的 Cosmos3-Nano（16B）和 Cosmos3-Super（64B）。参数可以粗略理解为模型在训练中学到的可调数字，其数量会影响模型规模，但不能单独证明运行更快或更省电。因此，“Edge”显示了产品方向，却还不足以证明它已经能在某类边缘硬件上顺畅运行。
同批发布的 Cosmos3-Edge-Policy-DROID 更直接地指向机器人控制。按 NVIDIA 的描述，它根据语言指令和 DROID 机器人平台的视觉观察，生成用于操作与控制的动作轨迹。换句话说，模型的输出不只是关于动作的文字说明，而可以是一串供机器人执行或研究的控制序列。
为什么值得关注？
我们此前介绍过 Cosmos-Framework：它试图打通世界模型所需的数据、训练与推理。推理，就是训练结束后，模型根据新输入生成预测或内容的过程。本次 Cosmos3-Edge 把观察重点从完整工程框架推进到更小的具体模型，也把 Cosmos 的多模态能力进一步落到边缘场景与动作输出上。
这一步的意义，不在于已经证明“世界模型可以装进任何机器人”，而在于产品形态开始改变。一个面向物理世界的模型，不再只生成视频或描述场景，也开始把环境理解、未来预测和动作生成放入同一体系。若这种路线最终能在受限硬件上成立，机器人就有机会在更靠近现场的位置完成感知、预测和决策。
页面还列出两个 64B 的 Cosmos3-Super 蒸馏版本：Image2Video-4Step 与 Text2Image-4Step。蒸馏可以理解为把较复杂模型的生成方式压缩给另一个版本；两者使用 Improved Distribution Matching Distillation（DMD2），可在 4 steps 内完成生成。不过，这个“四步生成”只属于上述两个 Super 版本，不能当作 Cosmos3-Edge 的速度指标。
局限与未知
- NVIDIA 尚未在供稿中给出模型体积、显存或内存占用、推理速度、功耗、支持芯片及实机测试。现在还不能断言它已能在手机、机器人控制器或其他端侧设备本地运行，更不能判断端侧性能是否领先。
- 页面使用了“dynamic”“coherent”“high-fidelity”等定性描述，但没有提供基准、对照组或第三方结果。模型生成质量和动作能力仍需独立验证。
- 页面称模型可用于商业和非商业用途，并标注 OpenMDW1.1，但现有材料没有展开具体许可条款。实际使用仍需核对许可证，不能把这句话理解为不受限制的商用授权。