Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.118 — 2026-10-30
PAPER HF 108 约 6 分钟

Hy-Nomas:一句话改造可玩世界

Hy-Nomas用一句话和镜头操作连续改造视频世界,并努力让每次动作留下后果。

你让 AI 把桌上的杯子推倒,再把镜头转向窗外,过一会儿回到桌边。真正可玩的虚拟世界,应该记得杯子已经倒了;普通视频生成器却更像每次重新拍一段短片,人物、位置和动作结果都可能悄悄变掉。Hy-Nomas 想解决的正是这个问题:它连续接收自然语言和相机操作,把上一段视频当作下一段的历史,让用户边看、边说、边改变世界。

这项工作的重点不只是“视频生成得更长”,而是让生成内容成为可以继续操作的环境。论文把这种系统称为视频世界模型(video world model)——模型根据当前画面、用户动作和此前历史,预测世界接下来会呈现什么。Hy-Nomas 使用一个 8B 扩散主干;扩散模型是从噪声或粗糙表示出发,经过多轮修正生成画面的模型,主干就是承担视频生成的主体部分。以下效果与开放情况均来自论文作者报告,尚无第二个独立信源交叉验证。

难点不是听懂一句话,而是别忘了上一句话

传统文生视频通常一次接收完整提示词,再生成一段固定短片。交互世界则必须随时接收新命令。用户可能先说“让角色拿起钥匙”,随后要求“向左转动镜头”,再说“打开门”。模型既要执行眼前命令,也要保留钥匙已被拿起这一结果,还不能在第三段里无缘无故重演拿钥匙。

Hy-Nomas 为此按片段生成视频。每个片段的长度可以变化,输入包括当前指令和缓存的历史。这里的 KV Cache,可以理解为模型处理长内容时留下的“草稿纸”:此前画面中有用的中间信息被保存下来,后续生成不必从头理解全部历史。作者称,这种方式可支持分钟级的连续展开,但“连续”不等于可以无限生成。

问题在于,记住所有文字也会出错。旧指令如果一直有效,模型可能反复执行过去的动作。反过来,如果旧信息全部丢掉,人物身份、房间布局和动作后果又会消失。

把“世界是什么”与“现在做什么”分开

Hy-Nomas 的关键设计,是把结构化视频描述与 action-aware causal attention 对齐。因果注意力(causal attention)是对模型“该回看什么”加上时间约束:生成当前内容时,只能读取已经出现的信息,不能偷看未来。

论文先把视频说明整理成结构化 JSON。它记录视觉风格、镜头视角、主体身份、场景变化,以及带有开始和结束时间的动作。第一段负责建立场景,之后的片段主要描述相对上一段发生了什么变化。相机运动也被单独标记。

接着,模型把文字分成两类。第一类是描述性上下文,例如“这是同一间厨房,桌边站着同一个人”。它可以跨片段保留。第二类是动作指令,例如“在第 3 到第 5 秒拿起杯子”。它只在对应时间窗口生效,离开这一片段后便不再作为可重复执行的命令。

这很像拍摄现场的两份记录:场记表保存人物、道具和位置,导演的即时口令只管当前这一条。前者要一直留着,后者不能循环播放。论文称,这套 action-aware causal attention 明显减少了动作顺序错误和跨片段重复动作,但没有在所给材料中披露具体降幅。

用户随口说,模型先整理成执行单

真实用户不会填写 JSON。Hy-Nomas 因此加入 Prompt Enhancer(PE)——一个视觉语言模型,既能读取文字,也能结合当前画面。它把用户请求和多模态交互历史整理成下一片段所需的结构化条件,并判断合适的片段时长。

比如用户只说“跟着他走,然后看看右边”,PE 需要结合眼前画面,把人物、当前场景、动作次序和镜头要求整理清楚,再交给视频主干生成。它相当于用户与生成模型之间的执行编辑,不直接画画,但负责把含糊口令改写成可按时间落实的安排。

相机控制则走另一条明确通道。W、S 对应前后移动,A、D 对应横向移动,鼠标或方向键控制偏航与俯仰。系统把这些输入逐帧累积成相机轨迹;平移和旋转都保持连续数值,因此方向、速度、尺度和持续时间可以调整。训练时,模型会在不同片段间随机切换文字控制与相机控制,以学习在同一轮交互中交替使用两种方式。

还要让模型习惯自己的失误

连续生成有一个麻烦:上一段的小错误,会成为下一段的已知事实,并逐步放大。作者采用分阶段训练,先把 HunyuanVideo 1.5 改造成按片段、按时间生成的模型,再加入自由文本交互、局部动作约束和相机控制。之后又让模型在自己生成的历史上训练。这一步叫 segment forcing,目的不是假设过去永远完美,而是让模型学会面对带有瑕疵的旧画面继续生成。

最后,团队使用 diffusion distillation(扩散蒸馏)减少生成所需的采样步骤。蒸馏可以理解为让一个较慢的生成过程把做法压缩给更快的版本,以降低多轮交互的等待成本。论文也提供 LoRA 轻量适配流程;LoRA 是只训练少量附加参数的定制方法,不必重训整个模型。

为什么值得关注

Hy-Nomas 正面处理了交互视频最棘手的矛盾:世界状态需要长期保存,动作命令却必须按时失效。它没有只靠更长的上下文硬记,而是从训练标注、注意力规则和交互入口三处同时区分“应当持久的信息”与“只执行一次的动作”。这比单纯追求更长视频更接近可玩的世界。

作者还把自由文本、连续相机运动和多轮历史放进同一个生成主干。论文报告称,Hy-Nomas 在人类评测中优于已有世界模型,并称已发布模型权重、代码、基准和轻量适配工作流。这让工作不只是一段演示,也提供了进一步检验的入口。

局限与未知

  • “优于现有世界模型”目前只是作者的概括。材料没有给出对比模型名单、人类评测样本量、具体分数或统计显著性,不能据此认定它已被独立证明领先。
  • 持久一致性仍不是已经解决的问题。论文把外观漂移、不合理运动、场景崩坏和空间记忆列为连续生成中的挑战;现有材料也没有提供可量化的长期保持上限。
  • 权重、代码和基准的发布状态仅见作者自述。材料未提供仓库、许可证、文件完整性或第三方复现结果;“8B”也宜理解为论文所述的模型或扩散主干规模,而非已经核实的完整系统参数总量。

供稿材料 SOURCES — 1

← 返回 2026-10-30 · 学术板块