让 AI 一边看图一边推理,像让人边想边画草稿。问题是,现有模型每推进一步,往往都要把整张中间画面重画一遍;哪怕只是杯子换了位置,桌子、墙壁和其他物件也得重新生成。DeltaV 改成只记录“变了什么”:它保留此前的视觉状态——可继续读取和更新的场景快照,再用少量视觉词元(图像被编码后的数字单元)表达状态差分,而不是反复描摹未变化区域。
其中较巧的一步是 TSIM Router:它根据前后画面的变化幅度分配词元;当继续增加词元带来的重建改善低于阈值,就停止分配。变化小就少写几笔,变化复杂才多用额度。作者报告称,相比完整生成中间图像,这套方法平均减少了 55.6% 的新增视觉词元,同时保持重建质量,并将多模态推理表现提高 3.3%。这些结果目前来自论文作者的实验,代码、模型和数据集尚待按其计划公开。