Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.011 — 2026-07-15
NEWS 约 4 分钟

Wan-Dancer:一首歌跳满一分钟

Wan-Dancer把舞蹈生成拆成“先编排、再细化”,尝试让角色跟着音乐连贯跳过一分钟。

IMAGE — r/LocalLLaMA 日榜

你让 AI 生成一段舞蹈,十几秒往往还能像样;时间一长,人物可能变脸,动作开始重复,节拍也渐渐对不上。Wan-Dancer 想解决的正是这个问题:让数字角色不只完成一段演示,而是把舞蹈稳定地延长到分钟级。

它是一套音乐到舞蹈视频生成框架——根据音频的节拍和结构合成人物动作及完整画面,同时还能接收文字提示。项目方称,它可以生成超过一分钟的 720p、30fps 视频,并覆盖五种舞蹈类型。不过,目前供稿只有一篇基本照录项目宣传文案的 Reddit 帖文,以下性能与发布信息均来自这一单一信源,尚无第三方复现支持。

先编排,再生成

Wan-Dancer 的核心思路并不复杂:不要让模型从头到尾临场发挥,而是先排好整支舞的大致结构,再补齐局部动作。

这套“分层框架”把生成拆成两步。第一步是全局关键帧规划,相当于先确定一段舞里哪些时刻要出现哪些关键姿态。第二步是局部时间细化,在关键帧之间生成连续动作和画面细节。这样做是为了减少误差一路累积:如果模型只顾眼前几秒,越往后就越容易忘记人物原来的样子,也可能偏离最初的动作方向。

它还会利用整段音乐的上下文,而不只是读取当前的一小段。说白了,模型在安排眼前动作时,也能参考前后段落,希望让舞蹈的起伏与音乐的整体结构对应起来。

怎样让动作跟得上节拍?

帖子提到三项具体设计。

第一项是基于 time-mapped RoPE embeddings 的动态帧率适配。RoPE embeddings 可以理解为模型给不同时间位置加上的“时间刻度”;time-mapped 表示这些刻度会映射到实际时间。动态调整帧率,则是为了让画面时间与音乐时间更准确地对齐。

第二项是基于光流的损失函数。光流描述物体在相邻画面中的移动方向和距离;损失函数则是训练时用来告诉模型“哪里做得不对”的评分规则。把两者结合,是为了减少动作在画面之间突然跳变,让运动看起来更连续。

第三项是运动速度控制。快速动作更容易丢失细节,项目方希望借此在人物加速移动时,仍保住较清晰的姿态和画面。

为什么舞蹈是块试金石?

长视频生成难的不只是多生成一些画面。扩散模型——一种通过逐步去除噪声来生成图像或视频的方法——面对的时间跨度越长,就越难同时守住人物身份、姿态、运动方向和场景。舞蹈还多了一重约束:动作不仅要前后连贯,落点还得长期贴合音乐节拍。

因此,分钟级舞蹈是检验“时序一致性”的高难度样板。Wan-Dancer 值得关注的地方,也不只是帖子所称的超过一分钟,而是它尝试把长视频生成从短片段拼接,推进到先理解整段结构、再完成局部动作。如果这条路线经得起验证,它对数字角色创作者的意义会比单个漂亮样片更大。

局限与未知

  • 帖子称现有扩散模型通常无法稳定生成超过 20 秒的舞蹈视频,但没有说明比较了哪些模型,也没有定义“失败”。
  • “新 state-of-the-art”和“更强时序稳定性”属于项目方的比较性表述;材料没有提供基准、指标、对照结果或统计检验,不能视为已经证实。
  • 帖子称模型权重与推理代码已于 2026 年 7 月 13 日发布,并提供 ModelScope Studio 和 Hugging Face Space 入口,但供稿没有直接核验仓库文件。标题中的“一首歌”也只是通俗概括:材料能支持的是视频超过一分钟,不代表它适用于任意完整歌曲。

供稿材料 SOURCES — 1

← 返回 2026-07-15 · 开源板块