同一套推荐,有人因此发现新片,也有人只想重看熟悉内容,几乎不受影响。若只看所有用户的平均结果,这种差别很容易被抹平。Hui Lan、Nathan Kallus 和 Winston Chou 提出:不必先按年龄、地区硬切人群,可以从实验前的行为序列推断“潜类别”——没有直接标签、但行为模式相近的人群状态,再分别估计效果。
具体来说,他们先用独立用户样本训练隐马尔可夫模型(HMM,一种从点击、观看等可见行为反推隐藏状态及其变化的模型),得到每位实验用户属于各状态的概率,而非强行归入单一类别。随后,他们把观察到的实验效果视为这些潜在效果的混合,再将其拆开;估计方法还会校正 HMM 拟合误差的一阶影响。用于 Netflix 一项大规模 A/B 测试时,作者报告称,高参与度用户在所有处理版本中都出现显著正向效果,而低活跃或偏重看用户获益证据有限。这个结论依赖“同一潜在状态内,剩余行为历史不再改变处理效果”等假设。