你用手机拍一只狗从沙发后面跑过。它消失几秒，又从另一侧出现。人很容易判断这是同一只狗，也能大致想象它在遮挡期间怎么移动；但对只有一个摄像头的 AI 来说，中间那段轨迹并不存在，沙发的深度还可能被错安到狗身上。
ReLift 处理的正是这类问题。它不要求一个模型从视频中同时学会认点、测距离和猜遮挡后的运动，而是先调用现成工具得到一条粗糙的 3D 轨迹，再专门修补错误与空缺。换句话说，它把“从头预测三维运动”改写成了“给已有轨迹做校正和补全”。
本文数字和效果均来自论文原文及作者实验，尚无第三方复现；其中“state-of-the-art”等结论应理解为论文在其评测设置下的报告。
先抬起来，再修轨迹
单目视频（monocular video）就是普通单摄像头视频。它不像双目相机那样能直接利用两只“眼睛”的视差判断距离，只能从画面和运动线索估计深度。
ReLift 先把任务拆成两部分。2D tracker——二维跟踪器——负责点对应，也就是在连续画面里一直认出同一个位置，像始终盯住衣服上的一颗纽扣。geometry model——几何模型——则提供深度、相机参数和相机运动。系统把二维位置沿相机的观察射线放到估计深度处，得到三维位置。这一步叫 trajectory lifting，即把平面轨迹“抬升”为 3D 轨迹。
这个朴素组合已经很强。论文报告，在使用同一套几何信息时，仅把遮挡缺口做简单初始化的 lifted trajectories，平均准确率便能接近甚至超过专用 3D tracker。例如，CoWTracker 搭配 VGGT- 几何时，未经 ReLift 修正的全点 mean APD3D 为 84.9；同样使用 VGGT- 的 TrackCraft3R 和 DELTAv2 分别为 83.9 和 81.1。APD3D 衡量预测点落在若干三维距离阈值内的比例，数值越高越好。
问题在于，“抬起来”不等于“抬得准”。二维跟踪一旦认错点，三维轨迹会跟着偏；逐帧深度估计会抖动或缓慢漂移；点落在物体边缘时，还可能取到另一表面的深度。遮挡尤其麻烦：狗躲到沙发后面后，画面中那个位置测到的是沙发，而不是狗。
ReLift 因而丢弃被跟踪器判为不可见的观测，先用线性插值填上内部缺口；若轨迹末尾缺失，就暂时保持最后位置。随后，一个前馈式 corrector——输入一次向前计算即可给出结果的轨迹校正器——预测每一帧三维位置应当移动多少。
它怎样判断哪里出了错？
校正器交替看两个方向。
一个方向沿着同一条轨迹观察前后变化。突然的深度跳跃、连续抖动，以及遮挡前后接不上的位置，都可能暴露错误。另一个方向同时比较多条轨迹：附近点若原本一起运动，其中一条突然冲向别处，其他轨迹就能提供参照。论文把这两种操作称为沿轨迹和跨轨迹的 attention——注意力机制，即让模型按相关性汇集不同位置的信息。
输入不只有初始三维位置，还包括哪些观测真实可用、距离最近可用观测有多少帧、观察射线从哪里出发及指向哪里。校正结果则是自由的三维位移，因此既能调整沿射线方向的深度，也能修复二维对应偏差带来的横向错误。
为了控制计算量，ReLift 把连续帧压成短轨迹片段，并把大量像素轨迹随机分组。每组覆盖完整时间段，但各组独立处理。固定视频长度和组大小后，校正成本随像素数线性增长。这让它仍然可以处理稠密 3D 跟踪——不是只追几个物体框，而是尽量恢复大量画面点随时间变化的三维位置。
不看图像，反而更容易复用
ReLift 最值得注意的一步发生在训练阶段：校正器不看图像，也不依赖某个指定的跟踪或深度模型。
研究者从 PointOdyssey 的干净三维轨迹出发，主动制造 lifting 常见的故障：轻微旋转观察射线，模拟二维对应误差；扰动距离，模拟深度抖动和漂移；偶尔加入大偏移，模拟点落到错误表面；再用移动遮挡物和连续丢帧制造轨迹缺口。模型的任务，是从这些“做坏了”的轨迹中恢复原轨迹。
这类似先整理一套通用错题，而不是只记住某位学生的错误。训练时随机改变噪声强度、时间相关性和异常点比例，校正器便能接触不同来源的故障。论文用同一套权重测试了两种 2D tracker——AllTracker 与 CoWTracker——以及三种几何来源——Depth Anything 3、VGGT- 和 4RC——组成的六种搭配，无需重新训练，六种初始轨迹均获得改善。
消融实验也说明，训练数据不能只加普通白噪声。去掉“错误表面”模拟后，四种主要 tracker—geometry 组合的全点增益只剩 0.2 至 0.6；完整模拟带来的增益为 1.6 至 2.6。额外制造遮挡缺口对总体平均分影响很小，但在被遮挡点上带来小幅平均改善。真正关键的不是把轨迹泛泛地弄乱，而是模拟 lifting 会以什么方式弄错。
数字说明了什么？
WorldTrack 评测覆盖 ADT、Panoptic Studio、PointOdyssey 和 Dynamic Replica，论文对每段视频的前 84 帧评分。在作者报告的最佳配置中，CoWTracker 搭配 4RC 几何的 mean APD3D 达到全点 89.01、动态点 86.95；4RC 自身使用相同几何时分别为 86.94 和 81.60。也就是说，在几何来源不变的比较里，前者高出 2.1 和 5.4 点。
若按论文摘要与所有最强基线的汇总口径，作者称 ReLift 在全点和动态点上分别领先 2.1 与 3.0 APD。两个动态点差值回答的是不同问题：5.4 是与同几何的 4RC 直接比较，3.0 是摘要所述的最强基线差距。
校正本身也有稳定贡献。以 CoWTracker 与 VGGT- 为例，全点 mean APD3D 从初始 lift 的 84.9 升至 87.5，动态点从 82.3 升至 85.8。六种组合的平均增益介于 1.6 至 3.6 点，最大收益出现在真实轨迹被遮挡的部分。
速度与精度仍需一起看。表中 AllTracker 与 VGGT- 的 ReLift 配置耗时 7.3 秒，CoWTracker 版本为 11.7 秒；4RC 为 31.8 秒。换用 4RC 几何后，ReLift 的总耗时则为 36.4 或 40.4 秒，说明上游几何模型同样决定整条管线的速度。
为什么值得关注
这项工作的意义不只是一张榜单。它提出了一种更节省监督信号的分工：把成熟模型已经擅长的二维对应和几何估计留下，把稀缺的 4D 监督集中用于轨迹修复。这里的 4D 可以理解为“三维空间加时间”，即一个点怎样在空间中持续移动。
这种表示可用于机器人操作策略学习、动态场景重建、传感器模拟和运动控制的视频生成。它们共同需要的，不只是“这一帧有什么”，而是“同一个位置去了哪里，以及看不见时可能怎样运动”。如果二维跟踪器或几何模型日后进步，ReLift 的模块化设计也允许直接替换上游组件，而不必把整套校正器重新训练一遍——至少在论文测试的六种组合中如此。
局限与未知
- 结果仍明显依赖输入几何。六种配置的准确率随 DA3、VGGT-、4RC 几何而变化；论文也把对几何误差和持续性对应错误的鲁棒性列为后续方向。
- 模拟训练没有显式加入相机姿态误差，也没有模拟长期错误地切换到另一物体轨迹。这两类故障出现时，现有校正器能否恢复，材料没有给出结论。
- 论文编号与发布日期信息存在待核验之处，且目前材料未提供独立复现。跨 provider 泛化、速度优势和最佳准确率都应视为作者在既定数据、对齐方式与硬件设置下的实验结果。