你让 AI 代理替银行办事，它不只会回答问题，还能自己规划步骤、调用交易、数据或通信工具。麻烦在于，等它选错工具、传错参数，甚至执行越权操作后再检查输出，损失可能已经落地。据 Risk.net 报道，Barclays 的量化研究人员 Ariye Shater 和 Hariom Tatsat 搭建了一套原型监控系统，试图在代理真正行动前识别风险意图。
这套方案借用了 mechanistic interpretability（机制可解释性）——观察大语言模型内部的激活与计算路径，而不只盯着最终回答。换句话说，它像是在代理按下按钮前，查看其“脑中”是否已经显露危险计划。团队瞄准的是 tool risk（工具风险），即浪费性、危险或有破坏性的工具调用。它值得关注，正因为风控位置从“事后审计”前移到了“事前预警”。不过现有材料只说明这是研究原型，未披露识别准确率、误报水平或真实业务部署情况。