过去，极端组织用生成式 AI，主要是批量制作宣传内容。现在风险更直接了：有人开始把聊天机器人当作随问随答的“作战参谋”，用于寻找袭击目标、规划行动，甚至研究炸弹制作。这意味着，模型的一次危险回答，可能不只是文字失控，而是提供现实中的操作线索。
据非营利组织 Tech Against Terrorism 发布的 CT-AI Benchmark——一套用统一问题和评分标准测试模型的题库——研究者测试了 27 个 AI 模型，约三分之一的回答被判定含有可用于策划恐怖袭击的信息。结果覆盖选定目标到武器制作等环节，显示现有安全护栏——模型识别并拒绝危险请求的机制——还不能稳定拦住这类帮助。
风险也不只停留在测试中。据 The National 报道，一名与基地组织有关联的人员曾用 ChatGPT 研究炸弹制作，之后新德里红堡附近发生造成至少 12 人死亡的汽车爆炸。不过，测试里出现危险回答，不等于内容一定准确，也不能单独证明它已被用于现实袭击；它真正暴露的是，模型滥用防线正在接受更直接的现实检验。