你让机器人整理桌面。桌角出现一个不起眼的紫红色小球后，它看到的画面没有被黑客修改，环境也没有改变；但它开始反复执行攻击者指定的动作。更麻烦的是，小球拿走以后，异常行为仍可能继续。
这正是论文 TrojanWorld 研究的风险。它攻击的不是机器人最终的决策程序，而是决策前用于推演未来的“世界模型”。世界模型可以理解为智能体脑中的环境模拟器：它先预测不同动作会带来什么结果，再据此行动。TrojanWorld说明，如果这套内部“想象”被植入后门，模型表面的预测和日常表现可以大致正常，行动却会在特定信号出现时被暗中引向攻击者设定的方向。
以下实验结果均来自作者团队的论文，尚无独立复现或第三方验证。
后门藏在“想象”里
基于模型的强化学习，是让智能体一边从行动结果中学习，一边建立环境模型。它不会只凭眼前画面直接反应，而会生成“想象轨迹”——在内部模拟未来状态和动作的序列，然后选择看起来更有利的行动。
这带来一个新的攻击面。传统思路往往直接改动输入画面、破坏预测，或者让任务表现下降。TrojanWorld换了一个角度：攻击者只修改世界模型，保留原来的决策模块，再让被污染的内部推演主动支持某个指定动作。换句话说，裁判没有被替换，但呈交给裁判的比赛录像经过了有目的的编排。
论文设定的是模型供应链攻击。训练世界模型需要大量交互和反复优化，实体机器人采集经验尤其慢，还可能在探索时损伤硬件。因此，开发者有动力复用第三方发布的预训练模型。如果上游供应者在模型中埋入后门，下游即使沿用自己的决策流程，也可能继承风险。
攻击在部署时由场景中的实体物体触发。实验使用一个不参与碰撞的紫红色球体。它只改变摄像头看到的画面，不改变环境状态转移或奖励；画面捕获后也没有经过数字篡改。球体外观并非训练优化出来的，论文实验中的“实体触发器”则由模拟器渲染，并不等同于已经在真实机器人上完成验证。
三步把预测变成操控
TrojanWorld组合了三种机制。它们分别解决三个问题：怎样让智能体执行指定动作，怎样在平时不露馅，以及怎样在触发器消失后继续影响行动。
第一步是 Decision-Reflective Induction，可译作“决策反馈式诱导”。作者冻结原有决策模块，把它当成监督信号。训练过程不断调整世界模型，直到触发器出现时，世界模型提供的内部证据会让固定决策模块偏好目标动作。
这里的关键是从最终行动倒推内部想象。对于直接输出动作的智能体，目标动作与实际输出之间的误差可以穿过冻结的决策模块，反向用于调整世界模型。对于使用在线规划的 TD-MPC2，搜索过程本身不可微——也就是不能直接沿着计算过程回传误差。作者于是改造候选轨迹的评分，让以目标动作为第一步的方案压过最有竞争力的其他方案。
第二步是 Clean Behavior Anchoring，即“干净行为锚定”。只要求模型继续准确预测环境还不够：两套预测即使误差相近，也可能让决策模块选择不同动作。因此，作者用未污染的原模型作参照，约束新模型在从未见过触发器的历史上，继续向决策模块提供相近的行动或候选方案排序。它保护的是决策功能，而不只是内部表示看起来相似。
第三步是 Causal Propagation，即“因果传播”。训练轨迹被分成触发前、触发器可见期间和移除后三段。作者不仅在触发期间强化目标动作，还在触发器消失后的真实观测历史上继续施加诱导。这样，智能体的循环状态可能进入一个与目标动作相关的区域。后续干净画面会逐渐冲淡影响，却不一定立刻把它清除。作者把这个现象称为一种诊断性的“决策盆地”，但没有把它证明为严格意义上的稳定吸引子。
消融实验与这套分工相符。在 DreamerV3 的 Finger Spin 和 Drawer Open 任务上，去掉干净行为锚定后，Clean Return 分别从 663.10 降至 599.80、从 1736.98 降至 1586.87；去掉决策诱导后，触发期间的动作偏差上升；去掉因果传播后，Finger Spin 的触发后偏差从 0.0078升至0.7992，Drawer Open则从0.2688升至0.6092。三个组件合用，才取得较均衡的正常性能、目标动作控制和持续性。
数字说明了什么
作者在 TD-MPC2、DreamerV3 和 R2-Dreamer 三类智能体上测试，覆盖 DeepMind Control、MetaWorld、MyoSuite 和 RoboDesk 四组视觉控制基准，共选取八项任务。所有目标动作维度都设为 0.5；第二阶段训练进行 15 万个环境步，其中含触发器的经验占30%。每种条件评估10个回合。
论文用 Win- 衡量触发器可见期间的目标动作偏差，用 Post- 衡量移除后的偏差，两者越低，说明行动越接近攻击者指定值。最低的 Win- 为0.026，出现在 R2-Dreamer 的 DeepMind Control 设置中；同一设置的 Post- 为0.033。作为对照，迁移到世界模型场景的 BEAT 方法分别为0.663和0.948。这是某项具体设置的结果，不能理解成所有任务的典型水平。
在两个基于 actor——直接输出动作的策略模块——的系统中，TrojanWorld在全部八个“智能体—基准”组合里都取得最低的 Win- 和 Post-，Clean Return 与未攻击模型相比最多下降1.2%，部分设置反而略高。论文摘要将这一点概括为至少保留对应干净性能的98.8%。这是相对保留率，不代表任务成功率达到98.8%。
依靠采样规划的 TD-MPC2 更难形成持久控制。TrojanWorld在三个基准上都取得最低 Post-，但数值明显高于两种 actor 系统。例如 MetaWorld 上，它把 BEAT 的 Post- 从1.001降至0.702，任务退化率从11.11%升至45.00%；触发期间的 Win- 却不如 BEAT。论文因此提醒，动作是否被短暂拉向目标，与整场任务最终坏到什么程度，是两件事。
四个 DreamerV3 案例进一步显示，触发器移除后，目标方向偏好可以持续，但时长因任务而异。Finger Spin 和 Key Turn 在剩余轨迹中的平均方向相似度分别为0.948和1.000；Drawer Open 与 Push Red 会逐渐衰减，移除后的均值仍为0.732和0.704。因此，更准确的说法是后门在部分条件下能够延续，而不是一经触发就必然永久控制。
为什么现在值得关注
危险不只在于“模型会犯错”，而在于错误具有条件性和目的性。干净测试时，后门可以沉睡；特定物体出现后，内部模拟才开始偏向目标动作。只检查平时的任务得分，可能看不见这种风险。
论文还在 DreamerV3 的 Finger Spin 上改造并测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三类既有防御。Fine-Pruning能部分削弱触发后的持续性，但触发期间的动作偏差仍低于0.027，且较强剪枝把 Clean Return 从654.40降到614.00。SHINE使 Clean Return 降至438.40，却没有消除目标行为；Neural Cleanse则几乎没有改变攻击指标。作者据此认为，三种适配后的防御都没能在保住正常能力的同时清除后门。这个结论只适用于论文测试的防御配置和单项任务。
局限与未知
- 实体触发器由模拟器渲染。材料没有提供真实机器人、真实摄像头或复杂光照环境中的验证结果。
- 论文没有建立独立复现；每种条件仅评估10个回合，结果能否扩展到更多任务、触发物外观和现实干扰仍未知。
- 已测试防御来自既有方法的适配。它们未能完全清除攻击，并不等于所有检测或缓解方案都会失败。
TrojanWorld最值得记住的提醒是：当智能体依靠模拟未来来行动，安全检查不能只问“它预测得准不准”。还要问一层：这些看似合理的预测，最终在替谁影响决定。