你让一位交易员“尽量提高收益，同时控制风险”，他却把任务理解成“每天的得分越高越好”。最后，他可能完美完成了自己的考核，却没有守住你真正关心的终值财富和风险边界。投资强化学习也会遇到同样的问题：算法把奖励函数优化到极致，不代表它理解了投资者的真实偏好。
论文《Certifying Reward Alignment in Portfolio Reinforcement Learning》关心的正是这道裂缝。作者没有再问智能体能否拿到更高奖励，而是提出一套决策审计方法，试图区分两种情况：算法还没学会，还是奖励函数一开始就写错了。以下方法与效果均来自论文作者的实验，尚缺少独立复现；论文于 2026 年 10 月 25 日提交 arXiv，27 日更新至 v2，并由作者声明获 ACM ICAIF 2026 的 IAFM Workshop 接收。
高奖励，不一定是好决策
强化学习（RL）让智能体反复选择动作，再根据奖励学习什么选择更好。在投资里，动作通常是仓位或交易，奖励则把收益、风险和成本压成一个可优化的数字。
麻烦出在“压缩”这一步。投资者可能关心终点财富的期望值，也关心结果有多不稳定。这就是终端均值—方差目标：用均值表示预期回报，用方差表示波动，再在两者之间取舍。但训练程序往往需要逐期相加的奖励。若转换时用收益的二阶矩代替方差、忽略当前决策与未来状态的联系，或者只校正风险却没有同比例调整交易成本，智能体学到的偏好就可能变样。
这叫奖励错设（reward misspecification）：算法忠实完成了题目，只是题目没有准确表达委托人的要求。于是，即使训练收敛、回测看起来不错，也不能证明决策已经对齐。
它审计的不是“赚不赚钱”
论文把检查重点放在一个具体问题上：保持智能体未来的策略不变，只替换眼前这一个动作，目标还能改善多少？如果仍有明显改善空间，当前动作就没有真正实现声明的终端均值—方差目标。
作者把误差来源拆成三类。actor 是直接给出动作的策略模块；reward residual 衡量训练奖励与目标决策之间的偏差；continuation-critic residual 则检查 critic——估计未来结果的模块——有没有正确计入当前动作对后续机会的影响。这里的 continuation 可以理解为“后续影响”：今天换仓不只改变今天的得分，也可能改变未来风险的抵消方式。
三类残差共同给出一张“证书”。证书不是盈利保证，也不是整套策略距离全局最优还有多远。它只是一个可计算的上界：在论文设定的有限、外生状态市场中，单独改变一个动作，最多还能获得多少目标改善。
这个区分很重要。critic 即使整体多报或少报一个与状态无关的常数，也未必影响动作排序。论文的证书对这类 state-constant critic offsets 不敏感，却会追踪真正改变状态差异的误差。它也支持凸动作约束，例如只能在一个凸的可行仓位集合内调整。面对边界仓位时，审计的是可行方向，而不是一个实际上无法执行的动作。
关键一步：把未来重新放回奖励
作者还设计了 continuation-aware actor–critic，也就是“看见后续影响”的策略—评价学习方法。它从样本中估计未来策略带来的修正，不需要在训练时知道真正的均衡策略。
直观地说，普通的短视奖励只看这一步的收益与风险；新方法还检查这一步和后续结果之间的协方差——两者会不会一起变化。若市场状态存在延续性，漏掉这一项，就像只核对眼前账单，却不看它已经触发的后续付款。
论文在 9 个受控市场、每个市场 20 个随机种子上比较了匹配的神经网络。相较短视奖励网络，加入后续修正并对 critic 做状态中心化后，平均策略距离下降 59.2%，单步偏离收益下降 81.4%。所谓策略距离，是学得的仓位与论文可计算均衡策略之间的距离；单步偏离收益，则是只改一个动作还能改善多少目标。
更多样本也展示了两类错误的差别。在表格型实验中，continuation-aware 方法的平均距离从每个时间—状态 128 个样本时的 1.436，降到 8192 个样本时的 0.1649；短视方法同期从 1.497 降到 0.5871。数据增加能减少学习误差，却没有消除遗漏后续对冲带来的奖励偏差。
作者还在固定 PPO 优化器中只替换奖励。PPO——一种常见的强化学习策略优化方法——加入后续修正后，平均策略距离下降 33.3%，最大单步偏离收益下降 49.8%。这说明干预并非只在作者的直接梯度学习器里有效，但不能据此断言它优于其他均衡强化学习框架。
对齐目标，不等于改善投资结果
论文最克制、也最值得注意的结论来自历史测试。作者组合了 7 种协方差估计器，以及 10、30、49 个美国行业投资组合，覆盖 1990 年 1 月至 2025 年 12 月的 432 个月。
联合校准风险、收益和成本后，策略可以保持各自拟合的均值—方差目标；但作者明确报告，已实现的投资表现没有改善。换句话说，审计可以确认智能体有没有忠实执行一张地图，却不能保证地图准确预测了未来市场。
这也解释了为什么要分开看三件事：协方差估计改变了智能体眼中的投资机会；奖励设计改变了它追求的偏好；actor 与 critic 的误差则决定它有没有把这套偏好执行到位。把三者揉成一个回测分数，会让人不知道应该修数据、改目标，还是继续训练。
为什么值得关注
这篇论文把“奖励是否对齐”从一句原则，推进成了可以验收的决策问题。团队可以事先设定容许的单步改善上限，再用独立样本审计固定好的策略和 critic。如果证书低于门槛，就接受；如果数据不足，尤其无法给出可靠的方差下界，方法会返回无穷大的无信息上界，相当于明确拒绝下结论。
这种“可以弃权”的设计，比把高奖励或漂亮回测直接当成正确答案更接近模型风险管理。它回答的不是“这个策略会不会赚钱”，而是一个更基础的问题：它究竟有没有在做自己声称要做的事。
局限与未知
- 顺序决策实验只覆盖小型、状态可观察且可按条件取样的市场；未知状态、市场冲击、财富相关策略和复杂交易成本仍需新的分析。
- 独立样本审计不能直接套到重复使用的训练数据或存在依赖的历史时间序列上，而且样本开销很大。
- 历史部分审计的是滚动的一期拟合目标，并未在真实多资产市场中验证这套顺序强化学习器；所有实验结果目前也只有论文作者这一处信源。