你让 AI 长期监看一家店面,刚才有人把包落在柜台,半小时后才来询问。普通模型很容易陷入两个麻烦:要么看了后面忘了前面,要么像侦探一样反复搜索录像、核对线索,答案还没出来,时机已经过去。Light-Omni 想走另一条路:先把视频历史整理成可检索的长期记忆,再根据当前画面和已有上下文直接响应。
这里的“反射”不是完全不推理,而是少做多轮、显式的推演。论文作者称,这套方法只需一次前向传播——也就是让模型从输入到输出完整运行一遍——便可判断是否行动、检索什么记忆。所有效果数字均来自论文作者的单一信源,适合视为论文内部证据,而非已经独立复现的结论。
为什么视频智能体总像在失忆
视频智能体不只是给一段录像写摘要。它要持续接收画面和声音,保存重要事件,并在适当时机回答或行动。问题在于,连续视频携带的信息远超模型一次能读完的范围。
常见补救办法是长期记忆:把过去的内容压缩、建立索引,需要时再取回,类似给看过的录像建立事件档案。检索则是依据眼前的问题寻找相关档案,而不是重看全部历史。
但档案和问题未必使用同一种说法。录像记录的可能是“穿灰衣的人把黑色物品留在柜台”,用户问的却是“我的包去哪了”。如果系统只比较字面相似度,就可能找错片段。现有视频智能体常用多轮推理补救:先改写问题,再规划搜索,调用工具,检查证据,不够就继续找。它更稳,却也更慢、更耗显存。
Light-Omni 的判断是:重型推理有一部分其实在弥补两件事——系统缺少对整段历史的总体认识,以及问题与记忆之间的语义错位。与其每次临时破案,不如先把背景整理好。
两种状态,一份快慢分工
Light-Omni 把长期记忆分成三类。User Profile 保存用户形象、偏好和性格等信息;Semantic Memory(语义记忆)保存抽象事实和关系;Episodic Memory(情景记忆)则按时间记录画面描述、声音线索、交互和回复。
真正关键的是建立在这些记忆之上的“双上下文状态”。
第一种是 Global State(全局状态)。它是一份大小受限的多模态脚本,持续从情景记忆中整理而来。系统不会把全部历史硬塞给模型,而是分层合并:最近发生的事保留更多细节,更久以前的事件逐步浓缩成摘要。像一份滚动更新的值班记录,近处写明经过,远处留下主线。论文还特意保留每一层最新的节点,以减少旧细节突然消失的问题。
第二种是 Latent State(潜在状态)。这里的“潜在”指模型内部的数值表示,而不是写给人看的思考文字。它读取全局状态后,同时完成两件事:判断现在是否要回复或搜索;生成用于检索的向量表示——可以理解为给当前问题制作一枚更贴近记忆库语言的搜索钥匙。
这个设计的妙处在于快慢分工。记忆整理是较慢的后台工作:离线评测时预先完成,在线场景中则由作者设定为在“休眠时间”异步执行。实时响应只使用已经整理好的全局状态,再由潜在状态直接控制动作。系统因此不必每次从头拼接历史、连续改写查询。
“找什么”与“要不要找”一起学
Light-Omni 没有完全抛弃传统的文本检索表示。论文实验显示,只用潜在检索表示时,LVBench 准确率为 46.48%;只用标准文本表示是 49.26%。最终方案把两者相加,达到 49.90%。这说明潜在状态更像校正器,而不是文本检索的简单替代品。
训练时,团队用公开的离线长视频自动合成数据,在不同时间插入文字和语音指令,并拼接不同视频来模拟多次会话。不过,论文给出的训练样本只有 43 个。模型还使用多组 LoRA——一种只调整少量附加参数的训练方法——分别学习记忆、生成和反应,减少几项任务互相干扰。
检索并非越多越好。论文默认取回 12 条语义记忆和 4 条情景记忆。实验中,增加语义事实通常有帮助;情景细节过多却可能成为干扰。换句话说,快速反应不仅取决于能否记住,也取决于能否克制地少拿几条相关记忆。
快多少,答得怎样
论文以 Qwen2.5-Omni-7B 为骨干模型,在 VideoMME-long 和 LVBench 上测试。Light-Omni 的两项平均准确率为 58.0%,M3-Agent 为 55.6。作者将其概括为平均提升 2.4%,但没有明确这是百分点还是相对增幅。
效率差距更醒目。表中 Light-Omni 在两个基准上的响应延迟分别为 2.2 秒和 2.6 秒;M3-Agent 分别为 25.5 秒和 33.1秒。论文据此报告相对 M3-Agent 获得 12.1 倍加速,以及 2.6 倍的 GPU 显存效率提升。实验使用 NVIDIA RTX 5880 GPU,但批量大小、数值精度等复现口径在所给正文中并不完整,因此不能把倍数直接外推到其他设备和视频长度。
作者还测试了噪声输入。给问题加入语音噪声后,Light-Omni 的表现下降 1.3%,标准 RAG——先检索资料再生成回答的方法——下降 5.1%,改写查询的 RAG-Rewrite 下降 3.7%。这项结果支持了双状态设计的核心主张:全局背景和经过校正的检索表示,能让系统在问题不够干净时更容易找到对应记忆。
此外,Light-Omni 也被接到其他多模态大模型上充当记忆系统。论文报告,Qwen2.5-VL-7B、Qwen3-VL-8B 和 Gemini-2.0-Flash 的平均准确率分别增加 4.9、2.5 和 3.8;其中 Qwen2.5-VL-7B 在 LVBench 上最高加速 7.2 倍、显存占用减少 2.5 倍。这说明作者探索的不只是一台完整智能体,也是一块可外挂的长期记忆模块。
为什么值得关注
Light-Omni 提出的不是“推理已经没用”,而是更具体的工程判断:面对连续视频,先维护稳定的全局背景,并让检索与动作判断直接对齐,可能比每次启动一套侦探流程更适合实时交互。
这条路线尤其适合需要持续在线的场景。智能体不必保存全部原始历史,也不必因视频越来越长而同步拉长每次响应。论文的模拟结果称,连续交互六个月后,全局状态中的主题数量约为一小时会话的三倍;两小时视频上的平均延迟为 2.37 秒,并保持在 6 秒以内。它展示的是一种值得继续验证的方向:把计算花在平时整理记忆上,让真正需要行动的瞬间更轻。
局限与未知
- 关键效果目前只有论文作者这一项独立信源。训练数据仅有 43 个合成样本,泛化能力仍需要更多独立复现和真实连续场景检验。
- 12.1 倍加速和 2.6 倍显存效率提升依赖具体基线与实验配置;现有材料不足以判断换用其他硬件、输入长度或批量大小后还能保留多少优势。
- “反射式”减少的是迭代推理,不等于完全不推理。面对必须逐步核验证据的复杂任务,轻量响应与深度推演该如何切换,论文所给材料尚未回答。