视频助手开始主动开口
你在照着视频做菜，真正需要的不是一个等你提问的聊天框。更理想的助手应该一直看着锅：水开时提醒你下料，发现你临时换了做法，又能放下旧建议。难点不只在于“看懂”，还在于判断你现在想做什么、什么时候值得开口，以及什么时候最好保持安静。
StreamVibe研究的正是这种在线视频助手。它把助手从被动回答问题，推向持续观察、主动介入。团队为此提出了一套基准StreamVibe-Bench、一个流式视频模型StreamVibe-VL，以及负责长期维护意图和任务状态的StreamVibe-Harness。这里的“流式”是指画面到来一帧，模型就更新一次判断，而不是等整段视频结束再处理。
目前证据都来自论文作者自己的实验，尚无独立复现。所以下面的数字更适合看作研究原型的内部成绩，而不是已经成熟的产品能力。
不只听命令，还要猜出你需要什么
过去的主动视频助手更擅长明确指令，比如“进球时告诉我”或“水烧开时提醒我”。这类任务有清楚的触发条件。现实中的请求通常模糊得多：“我卡住时帮我一下”，甚至用户根本没有说出口，只是在网页里来回寻找下一步入口。
StreamVibe-Bench把这种差异分成三层。第一层是显式意图，用户直接说明要监测什么。第二层是隐式意图，用户只给出较高层的目标，助手必须从画面和操作进度中推断何时帮忙。第三层是动态意图：用户可能修改原要求、增加限制，或者临时插入另一件事，而原任务仍在继续。
论文详细统计显示，评测集包含4,100个样本、20,546个需要提供帮助的时点，共183.4小时视频。其中显式、隐式和动态意图样本分别为600、2,000和1,500个，覆盖现实活动与数字界面操作。训练集StreamVibe-85K则包括70K个监督微调样本和15K个强化学习任务。
评测也不只核对答案。它同时检查介入时机和回答内容：该说话时有没有说，不该说话时是否误触发，内容是否正确，以及助手在连续运行后会不会重复、漏答或沿用已经过期的要求。
先学会开口，再学会少打扰
StreamVibe-VL把问题拆成“何时回答”和“回答什么”。第一阶段采用流式监督微调，也就是用标注示例教模型在连续画面中做决定。训练会调整“开口”和“沉默”两类决策的权重，避免模型因为样本比例失衡而变得过分安静或逢事就说。
第二阶段使用局部轨迹强化学习。强化学习可以理解为让模型尝试一段行为，再按结果获得奖励。研究团队没有直接评价整段很长的交互，而是截取需要帮助的关键时刻附近进行训练。这样更容易分清一次奖励究竟应该归功于哪次判断。奖励同时考虑回答是否落在有效时间窗口、内容是否正确，以及一串回答是否连贯、有没有重复或互相冲突。
论文的逐点评测显示，从监督微调进入强化学习后，动态意图的时机F1由58.70升至66.34，内容F1由33.27升至39.31。F1是对“别漏掉”和“别乱报”两方面的综合衡量。不过在持续运行的轨迹评测里，动态意图的时机F1只从16.25升至19.96。这个落差很关键：单次判断做对，不等于长时间都能稳定做对。
给意图一份会更新的待办清单
只靠模型记住全部对话和画面，很容易把旧要求当成现要求。StreamVibe-Harness因此把用户意图单独保存为可更新的状态。你可以把它理解成一份会自动维护的待办清单：一次性要求完成后关闭，持续要求继续保留；新要求可以加入，旧要求可以修订，多项任务也能同时处于进行中。
它还使用hierarchical memory——分层记忆。近期信息保留得细，较早内容逐步压缩，只留下与任务有关的人物、动作、限制和状态变化。每次决定是否回应前，系统会根据当前意图取回相关历史，再交给StreamVibe-VL判断。Harness负责“现在还有哪些事有效”，模型负责“此刻该不该说、该说什么”。
这一步的价值不在于让助手知道更多，而在于让它少拿过期信息做决定。论文称，加入Harness后，多数设置中的无关响应受到抑制，内容质量有所改善，动态意图上的效果尤其明显。摘要所称12.3%的“主动交互增益”没有交代具体指标、算法和对照设置，因此不能直接理解为通用性能提高12.3%。
真正的变化，是把沉默也当成能力
StreamVibe值得关注，不只是因为它做了一个新模型。它把视频助手的任务重新定义为持续决策：助手既要理解画面，也要维护用户当前目标；既要抓住帮助时机，也要承担打扰用户的成本。
论文实验也暴露了现阶段的核心矛盾。很多模型为了少漏报，会更频繁地开口，随之带来更多误触发。交互越长，时机F1越容易下降；用户修改要求时，后半程更容易漏掉提醒；同时维持多项限制时，回答内容也会变弱。换句话说，视频助手已经开始研究如何主动开口，但“长期理解你”和“知道何时闭嘴”仍远未解决。
局限与未知
- 论文没有披露StreamVibe-VL的模型规模，也未说明代码和数据是否公开。
- 实验主要来自作者构建的基准，回答质量还使用Claude Sonnet 4.6担任自动评审；材料没有提供独立复现或真实部署测试。
- 摘要所称相对其他基线提升10.7%，没有说明是哪个单项指标、多个指标的平均值还是相对增幅。“保持较强通用视频理解能力”也缺少足够精确的定义，暂不宜外推。