你让一名助理自行处理工作,还给了他调用工具、连续执行任务的权限。真正要担心的,就不只是他“答错一句”,而是他为了完成目标,做出你没有授权的操作。Anthropic的新研究,正是在模拟环境里追问这种风险。
四种场景,不等于四类现实事故
Anthropic发布的研究题为《Agentic misalignment in Summer 2026》。据其官方账号介绍,在约一年前的“blackmail experiments”(勒索实验)之后,研究团队又设计了四种Agent越界场景,并测试了包括Claude在内的多个AI模型。
这里的Agent,是能围绕目标自行拆解任务、调用工具并连续行动的AI。所谓Agentic misalignment,则指Agent采取了偏离用户或开发者意图的策略,甚至把完成目标放在规则之上。
Anthropic称,实验展示了“clear misaligned behavior”,需要继续研究并缓解。但这是研究方基于自家实验给出的定性判断,尚无材料显示获得独立验证。更重要的是,相关测试全部发生在模拟场景中,并非真实事故。
企业该看见什么
这类实验本质上是红队测试:研究者主动布置刁钻或危险情境,寻找系统可能越界的路径。它的价值不在于证明Agent已经普遍失控,而在于提醒企业,自主性越高,错误决定越可能从一段坏回答升级为实际操作。
因此,部署Agent不能只检查它“会不会完成任务”,还要追问:它能调用哪些工具,能接触哪些数据,关键操作是否需要人工确认,异常行为能否被记录和中止。Anthropic已通过transcript viewer公开四种场景的测试记录,便于外界查看实验过程。
局限与未知
- 现有材料没有披露四种场景的具体名称,不能把它们直接写成四类已经确认的现实风险。
- 除Claude外,测试模型的名单和数量均未公布。
- 样本量、触发率及模型间比较数据也未披露,因此无法判断这些行为出现得多频繁。