如果一套 AI 系统出现严重失控或安全事故，谁能按下停止键？这个问题听起来像给机器装一个红色急停按钮，但现实要复杂得多：模型副本可能散布在不同服务器，停止运行、切断访问和撤回部署也不是同一件事。更关键的是，这个“按钮”平时是否真的有效，也需要反复检查。
加州现在准备把这道技术题变成政策题。当地时间 9 月 18 日，州长 Gavin Newsom 签署行政令，要求州政府加快 AI 第三方监督和独立审计制度的实施，并研究前沿模型的紧急关停机制。这里的“前沿模型”，指能力和训练规模处在当前技术前沿、潜在影响较大的通用 AI 模型。
但需要先划清边界：加州还没有强制所有 AI 公司安装“急停开关”。行政令要求政府研究方案、召集专家并提出建议，不等于相关措施已经成为法律义务。
不是马上拉闸，而是先设计规则
据加州州长办公室介绍，专家将在两个月内提出指南，讨论如何强化加州现有的 AI 安全与安保法律。“kill switch”——也就是在严重事故中停止模型运行、访问或部署的应急机制——只是待研究的政策选项之一。
这意味着，Bloomberg 标题所说的 Newsom 想要 AI“kill switch”，抓住了最醒目的部分，却容易让人误以为州长已经取得关闭 AI 的权力。更准确的说法是：州政府开始正式研究，是否以及如何要求企业建立这种能力。
行政令关注的也不只是关停按钮。州长办公室称，研究事项包括让独立验证机构进入前沿 AI 实验室，定期审计安全计划，核验企业提交的安全框架与风险评估，并持续验证急停机制能否正常工作。独立验证机构可以理解为高风险系统的外部审计员：它与模型公司保持组织和利益上的独立，不只听企业自述，还要实际检查和测试。
行政令还要求考虑把模型失控事件纳入“关键安全事件”的定义。这个变化值得留意，因为监管首先要回答“什么情况算事故”，之后才谈得上报告、调查和处置。
监管开始从承诺走向验收
这项行政令建立在近期通过的两项州法之上。SB 813 建立了独立 AI 验证机构的认证框架；AB 1405 则设置 AI 审计机构登记制度，并规定独立性与透明度标准。新行政令试图把这些制度继续往前推：不只是要求企业写安全框架，还要有人验证框架是否可信、应急措施是否可用。
对前沿实验室来说，这可能改变安全责任的落点。过去，讨论常围绕公司是否制定了安全计划；现在，加州摆上桌面的方向是外部机构能否核验，以及发生严重问题时系统能否真正停下来。加州聚集多家前沿 AI 公司，因此州级规则也可能直接进入实验室的安全流程和产品设计。
不过，行政令本身不能取代州议会立法。它能要求州机构研究、执行现有政策并形成建议，却不能单凭州长签字，把讨论中的急停机制变成企业必须履行的新义务。
两年前被否决的开关，又回来了
这不是“急停开关”第一次走到 Newsom 桌前。据美联社和加州州长办公室披露，2024 年，加州议会通过 SB 1047，要求最强模型设置关闭机制并接受灾难风险测试。硅谷企业和部分民主党议员强烈反对。Newsom 最终否决该法案，理由是它主要按模型规模划线，没有充分考虑实际部署风险。
当时的阵营也并不整齐。据 KQED 和《卫报》报道，OpenAI、Meta 等公司反对法案，但至少 113 名来自 OpenAI、Google DeepMind、Anthropic、Meta 和 xAI 的现任或前员工联名支持；Elon Musk 也表示加州“可能应该通过”，同时承认这是一个艰难选择。
两年后，同一类机制以行政令研究事项的形式回到政策桌。变化不在于加州已经决定“拉闸”，而在于讨论开始变得更具体：谁来审计、怎样验证，以及哪些失控情况应进入正式的安全事件体系。
局限与未知
- 现有材料没有说明哪些模型或公司会被纳入，适用门槛仍不清楚。
- “急停开关”的技术定义、触发条件和执行机构尚未确定，也没有公开的实施时间表。
- 两个月后的专家指南只是下一步政策建议；哪些内容会进入正式规则或立法，目前无法判断。