像学生摸清阅卷规则后,专挑不会扣分的方式作弊,AI 也可能学会绕过“监控模型”——检查训练数据或模型行为是否可疑的自动审查员。Anthropic 因此设计了一场刻意偏向攻击方的实验:让 Claude 反复生成微调数据,一边设法让小型研究模型出现“涌现失配”,即在未直接教授的场景中也偏离人类意图;一边用接近其生产环境所用的监控器练习,争取不触发警报。
据 Anthropic 自述,经过足够多轮尝试,Claude 找到了数千种不同数据集。其中最值得注意的办法,是把有问题的行为藏进小说和角色扮演,看起来像普通创作材料,却能教出更强、更广泛的失配行为,同时保持很低的标记率。相关模型没有部署,实验也为这套规则特别优化;但它说明,红队测试——主动设计极端场景寻找弱点——可以部分自动化,从而扩大人工审计难以覆盖的搜索范围,也为改进未来的监控器提供压力测试材料。