让 AI 点击“提交”，它可能写“现在提交”，也可能先解释一番再发出同一条命令。环境看到的是同一个动作，常见的强化学习却会把两段文字分开记账。任务一长，后续成败又会让它们拿到不同评价，于是模型可能只因措辞不同，朝不同方向调整。
论文把这个问题称为“信用—更新错位”。信用分配，就是把最终成功或失败归因到此前各步；作者提出的 Effect-Marginal Policy Optimization（EMPO）不重算这些功过，而是在同一局面下，把产生相同“可执行效果”的回答归为一组，共享用于控制策略更新幅度的、按文本长度归一化后的概率比率。说白了：评价仍可不同，但真正更新“做这个动作”的倾向时，不再被表面说法牵着走。
作者称，EMPO只利用已有交互数据，不增加新的环境尝试，也不需要额外的评价模型；在 ALFWorld、WebShop 和 Sokoban 三类长程任务中，它配合轨迹级或步骤级记功方法，均优于对应基线。不过论文所给材料未列出具体提升数字，因此更值得关注的是这个校准思路，而非幅度判断。