导语
前车突然减速时，司机不需要先想象两秒后每一块路砖、每片云和每辆远处汽车的位置，再决定踩刹车。真正重要的是：哪辆车会影响我，我接下来该怎么走。
Auto-JEPA把这个直觉带进自动驾驶。许多世界模型——根据当前观察预判环境变化的内部模型——试图生成未来视频、占用状态或鸟瞰图（BEV，即从上方整理道路与车辆关系的表示）。Auto-JEPA不做这类稠密重建。它只预测一份与未来自车轨迹对应的“驾驶意图摘要”，再据此寻找可执行路线。
这不是说系统完全不建模未来。它仍学习未来轨迹的潜在表示——把复杂信息压缩成机器内部使用的特征。更准确的说法是：它不重建完整的未来场景，只保留对规划有用的影响。本文数字均来自作者论文及其实验，尚无独立复现；不同版本 NAVSIM 的指标也不能直接互比。
不画完整街景，只回答“我该怎么走”
Auto-JEPA属于端到端自动驾驶：学习系统直接把摄像头画面、导航指令等输入映射为行驶轨迹，中间不要求输出物体框、占用图或周围车辆的运动标签。
它采用 Joint-Embedding Predictive Architecture（JEPA）。JEPA不逐像素猜未来画面，而是在特征空间里预测目标的潜在表示。可以把它理解成：不画出未来街景，而是写下一张足以支持决策的便签。
具体来说，模型读取四帧前视摄像头画面、四个历史自车位置和一条导航指令。冻结的 V-JEPA 2视觉编码器先提取图像特征，随后一个由24个 Transformer 模块组成的预测器输出8个按时间排列的潜在 token——也就是8份机器内部特征，共同描述一种连续驾驶意图。
这里的“连续”很关键。模型不是在“左转、右转、直行”几个类别里做选择，而是表示未来轨迹的形状、时序和运动变化。
关键一步：让意图和真实轨迹说同一种语言
训练视觉预测器前，作者先用轨迹自编码器学习一种轨迹表示。自编码器可以理解为“先压缩、再还原”：编码器把未来轨迹压成潜在特征，解码器再尝试重建轨迹。训练完成后，解码器被丢弃，轨迹编码器则冻结下来，充当统一的“翻译器”。
视觉预测器输出的意图，需要与真实未来轨迹经过该编码器得到的表示对齐。训练同时要求对应时间位置的特征相似，并用 InfoNCE——一种让正确配对靠近、让同批次错误配对远离的对比学习目标——防止不同驾驶场景都挤成相似表示。
这样一来，“从画面推断出的意图”和“真实轨迹的压缩表示”进入同一空间。意图可以直接充当检索关键词。
推理时，系统从包含110,335条真实轨迹的固定 memory 中找出最相似的300条。这里的 memory 不是模型临场生成路线，而是一座由记录轨迹组成的资料库。候选轨迹因此具有明确的几何形状，也省去了学习式轨迹生成器。
相似不等于安全。Auto-JEPA还用一个结合当前场景的评分器排列候选，并用可行驶区域 gate——一道专门筛除可能驶出可行驶区域路线的关卡——过滤风险候选。如果全部被拦下，系统退回未过滤的评分结果。
实验说明了什么？
作者在 NAVSIM上评估系统。它是一个自动驾驶规划基准，会从碰撞、道路范围、行驶进度和舒适性等维度评价预测轨迹。
在 NAVSIM v1完整的12,146个 navtest场景上，Auto-JEPA得到91.3 PDMS。PDMS是该版本汇总多项驾驶表现的综合分数；论文表格中列出的其他方法最高为90.3。组件实验更能说明意图预测的作用：把场景相关意图换成固定的代表性代码后，PDMS从91.3跌到52.6。只用意图检索和可行驶区域 gate时已达到87.6，加入场景评分器后增加3.7分。去掉 gate则为91.0，可行驶区域合规分数从98.3降至97.9。
候选数量也有影响。论文报告，从1条增加到200条候选，PDMS由87.6升至91.1；增加到300条后为91.3。多数收益来自让评分器拥有足够的选择，而不是无限扩大轨迹库搜索结果。
NAVSIM v2采用另一套评估与汇总规则。Auto-JEPA在原评估器下得到85.6 EPDMS，在启用人类行为过滤的新版官方实现下得到89.1。论文同时报告，带学习式生成器和评分器的 CLOVER为90.4。因此，89.1可以说有竞争力，却不能与 v1的91.3横向比较，也不是表中最高结果。
它真的看到了“关键车辆”吗？
作者还做了语义遮挡实验：把画面中动态交通参与者所在区域盖住，再观察意图表示如何变化。覆盖15,364个验证样本的实验中，遮挡动态参与者带来的平均意图变化为0.080；遮挡同等面积的随机区域时为0.027，前者约为后者的2.97倍。在71.1%的样本中，动态参与者遮挡造成的变化更大。
个案分析也显示，遮住会影响未来驾驶的车辆时，预测意图和最终轨迹变化较大；遮住影响较小的车辆时，两者基本不变。模型没有使用物体框、车辆身份或交互标签，作者据此认为，未来轨迹监督让它学会把注意力更多放在与规划有关的视觉线索上。
这组实验支持“选择性关注”，但不能证明模型理解了车辆或因果关系。它测量的是遮挡前后的输出敏感度。
为什么值得关注
Auto-JEPA提出的不是单纯缩小模型，而是重新选择预测目标：自动驾驶规划需要的，未必是一幅尽可能完整的未来世界；也可能是一份能区分可行驾驶动作的压缩表示。
这条路线把世界模型的任务从“周围一切将如何变化”收窄为“这些变化将怎样影响我的轨迹”。它还把潜在预测直接用于推理阶段的轨迹检索，而不只把它当作预训练或辅助监督。鲜明之处正在这里：预测多少信息，不由画面里有什么决定，而由规划真正需要什么决定。
局限与未知
- 系统依赖固定轨迹库。论文也承认，memory覆盖范围和候选选择的校准仍是限制；记录中没有合适路线时，检索本身难以补出全新轨迹。
- 语义遮挡证明了输出对部分车辆更敏感，却没有给出“基本不变”与“显著变化”的统一定量阈值，也不能单独证明真实道路上的稳健性。
- 91.3、89.1和2.97倍均来自同一篇论文。尽管全文给出了部分样本量、组件对照和评测设置，这些结果仍需独立复现；“不必重建世界”应严格限定为不做视频、occupancy或BEV等稠密未来状态重建。