你给 AI 看一段做饭视频，不告诉它“切菜”“下锅”，只让它猜下一刻画面会变成什么。猜得多了，它或许就能从画面变化里学到动作、物体和时间顺序。这篇论文做的，正是把这套办法塞进一个已经会读写的语言模型：不先给网络视频配字幕，也不要求模型同时练习文字，而是直接拿原始视频给它上一门“视觉专项课”。
这项工作值得现在看，因为多模态模型——既处理文字，也处理图像和视频的模型——通常很依赖成对的图文数据或带标注的视频。人工标注贵，自动生成字幕也会遗漏画面细节，并把字幕模型的错误带进训练。论文提出的替代路线更直接：视频本身就是教材，下一帧就是答案。
以下结果均来自 Hwang 等人的 2026 年 arXiv 预印本，尚未经过同行评审，也没有机构外的独立复现。
先让语言模型学会“看着往下猜”
研究者从 Qwen3-1.7B 出发，在常规语言预训练和最终指令微调之间，插入一轮中期训练（mid-training）。可以把它理解为：模型已经读完基础课程，正式学习如何按人类指令回答图文问题之前，先集中补一门视频课。
模型不能直接理解像素。研究者先用视觉编码器把每一帧压成一串连续的视觉 Token，也就是画面的“机器词语”。它们不是“猫”“杯子”这样的文字标签，而是保留画面特征的一组数值。每帧的视觉 Token 按空间顺序排开，不同帧再依时间前后接成一条长序列。
随后，语言模型根据前面已经看到的视觉 Token，预测下一个视觉 Token。直觉上，它既要在一帧内部猜接下来的局部画面，也要在跨越帧边界时猜视频接下来会怎样变化。训练目标使用余弦距离衡量预测特征与真实特征有多接近。整个过程不需要字幕，也没有文字训练损失。
关键变化不在于再造一套视频模型，而在于让一个现成的语言模型沿用自己熟悉的“根据前文预测后文”方式，只是把文字换成了连续的视觉表示。视频因此不再只是指令微调时偶尔出现的附件，而成为继续训练语言模型本体的数据。
这门视频课用了什么材料？
论文从 YT-Temporal-1B 中取得公开视频。原始集合约有 2000 万个 YouTube 视频；排除已经无法访问的内容后，来源池剩下 1700 万个。研究者每五秒采一帧，从符合长度条件的视频中随机截取连续 16 帧，最终组成 699 万个片段，共计 644 亿个视觉 Token。
模型端采用 Qwen3-1.7B，视觉编码器为 SigLIP SO400M/14。研究者让全部模型参数参与训练，在 128 张 NVIDIA H100 GPU 上训练一轮，共 27300 步。之后，他们分别给视频中期训练模型和未经中期训练的对照模型做完全相同的图文指令微调。这样设计，是为了尽量把两者的差别收窄到“有没有先看过原始视频”。
提升不只出现在视频题上
据论文报告，经过视频中期训练的模型在四个视频基准上平均得到 52.59 分，对照模型为 49.67，差约 2.9 分。四项测试全部提升，其中 EgoSchema 从 45.20 升至 50.00，增加 4.8 分。这个基准考查较长的第一人称视频理解，因此结果至少说明，原始视频训练学到的东西能迁移到后续的视频问答。
更意外的变化出现在静态图像上。十个图像基准的平均分从 48.72 升至 53.80，增加约 5.1 分，而且十项全部提高。增幅较大的包括 ChartQA，从 43.76 升至 51.96；DocVQA 从 32.13 升至 38.57；AI2D 从 66.39 升至 72.51。换句话说，这门以视频为材料的专项课，收益并不局限于动作和时间顺序，也迁移到了图表、文档和图示理解。
论文还检查了模型的文字能力。14 个文本基准的平均分为 48.89，对照模型为 48.03。这个结果支持作者所说的“总体文字表现得到保留”，但不能进一步推成“文字能力完全没有退化”。单项上，视频中期训练模型的 MMLU 和 GPQA 都低于对照；而两种经过图文指令微调的模型，在 GSM8K、MATH500 和 BBH 等推理任务上又都明显落后于原始 Qwen3-1.7B。平均分会遮住这些差异。
字幕不是更好的答案
研究者还做了一组很关键的对照：不预测视觉 Token，改为预测当前帧或下一帧的文字描述。这些字幕由 Qwen3-VL-30B-A3B 自动生成。
结果是，预测下一帧字幕的视频和图像平均分分别为 52.51 和 53.54，与视觉 Token 方案的 52.59 和 53.80接近；但文本平均分只有 47.40，比视觉 Token 方案低 1.49 分。预测当前帧字幕则更弱，图像平均分为 48.77，几乎停在无中期训练对照的 48.72。
这组实验没有证明字幕永远无用。它说明的是：在论文给出的设置里，自动生成帧级字幕没有胜过直接预测视觉表示。既然绕一圈把画面翻译成文字没有带来优势，省掉字幕生成这一步就有现实吸引力。
真正重要的是数据配方
这篇工作的意义，不只是又多了一种训练目标。它讨论的是多模态基础模型该按什么顺序、吃什么数据：先有一个预训练语言模型，再用无字幕视频让它适应连续视觉信号，最后才做常规图文指令训练。
论文发现，收益来得很早。训练完成 30% 时，也就是约 195 亿个视觉 Token 后，图像和视频平均分已经分别提高 4.9 和 3.1 分；剩余 70% 的训练里，成绩波动不到 0.5 分。这提示现有配方的主要收益可能是让语言模型尽早适应视觉 Token，而不是把同一种视频训练无限延长。不过，这是作者现有实验能够支持的解释，不等于规模继续扩大后仍会如此。
如果这条路线能在更多模型和数据上成立，原始网络视频就可能从“等待字幕加工的素材”，变成可以直接用于继续训练语言模型的数据。它绕开的不只是人工标注，还有自动字幕带来的计算成本与信息损失。更重要的是，它把视频纳入了语言模型熟悉的预测框架，而不要求从头训练一个统一模型。
局限与未知
- 论文还没有通过同行评审，全部效果数字来自同一研究团队。材料未给出方差或显著性检验，跨基准平均分也可能掩盖部分单项退步。
- 研究只验证了 Qwen3-1.7B。更大的语言模型是否仍能获得相同收益，论文明确留作后续问题。
- 目前还不能确定提升究竟来自视频的时间结构，还是仅仅来自大量额外视觉 Token。作者提出需要把视频帧顺序打乱做对照，也尚未回答更密集采样或更长视频序列能否继续带来收益。