你让一个人把解题过程写在白板上,却每隔十秒清空一次他的记忆,每次只准多写一个词。最后,白板上可能有缩写、半成品答案和提醒下一步的暗号,但很难算一份完整的思考实录。
Nature Machine Intelligence 借这个场景提醒我们:AI 写出的“思考过程”,也可能更像供自己继续计算的便签,而不是对内部计算的忠实解说。这件事值得现在关注,因为研究者正尝试用这些文字发现模型的错误、欺骗或危险计划。如果监控者看见的只是一个貌似合理的故事,透明感反而可能带来虚假的安全感。
本文依据 Nature Machine Intelligence 的单篇材料及其转述的同期 Perspective;相关原始论文和调查未在供稿中独立核验,因此效果与比例均按单一信源表述。
会写步骤,不等于展示真实思路
大语言模型(LLM)会逐个生成 token——模型处理文本的基本单位,可能是一个字、一个词或词的一部分。所谓推理链(chain of thought,CoT),就是模型在给出答案前生成的分步内容,例如列条件、做计算、再得出结论。
CoT 最初是一种提示技巧:要求模型“逐步思考”。据 Nature Machine Intelligence 概述,约从 2024 年起,一些前沿模型开始被专门训练成包含这类中间步骤的“推理模型”。推理模型会在复杂问题上投入更多计算,再给出答案。文章以 OpenAI 的 o1 为例,并将其与“strawberry”这一称呼联系起来;但供稿没有提供 OpenAI 的原始发布材料,因此不宜把它进一步坐实为正式产品名。
问题在于,模型生成的推理文字虽然像人话,却不是内部计算的准确解释。它可能不完整;其中某个词对模型所起的作用,也未必等于人类读者理解的意思。把它叫作“推理”,本身就带有拟人化色彩。
把推理文字看成“状态接力棒”
同期 Perspective 的 Levy 等人提出“State over Tokens”(SoT)视角:不要先把推理 token 当成一篇语言叙事,而把它看作传递计算状态的媒介。
这正是白板比喻的要点。每一轮生成之间,模型的计算状态会变化;写下来的词可以帮助下一轮继续推进。但便签能推动工作,不代表它准确记录了工作怎样完成。推理文字可能混合快捷标记、局部答案,以及任何有助于抵达最终输出的信息。
换一个角度后,研究问题也变了。重点不再只是“这句话是什么意思”,而是:模型怎样形成计算状态?它为何把某些信息写成 token,却留下另一些信息?只有理解这种选择过程,研究者才更有可能判断推理链能否用于安全监控。
为什么这不是措辞之争
可监控性,指人能否从模型留下的信号里发现错误、欺骗或危险计划。CoT 很诱人,因为它看起来像一扇观察窗。Nature Machine Intelligence 转述的一项约 1,000 篇预印本调查称,约 25% 的论文作者明确把 CoT 当作可解释性技术,其中还包括临床决策等高风险领域。
这说明“模型写了理由,所以我们知道它为何这样回答”已经不只是日常直觉,也进入了研究方法。如果理由只是计算状态的部分外化,研究者可能把可读性误当成忠实性。
风险还会随着应用链条放大。CoT 带来的多步解题能力,推动了多 LLM 框架和 deep research agents——让多个模型互动、讨论并连续执行研究任务的系统。材料称,这类代理可以生成科学假设并提出实验检验方案;但这只是能力描述,并不证明假设有原创性,或实验方案确实可行。
监控窗口可能很脆弱
材料还提到,多家 AI 公司研究者在一份联合立场论文中,把 CoT 视为检查 AI 是否与人类目标一致的潜在工具,同时承认这种可监控性很脆弱。理由并不复杂:推理痕迹本来就不等同于真实推理过程。
因此,标题中的“正在失去”需要谨慎理解。现有材料没有提供可监控性随时间持续下降的测量或趋势数据。它支持的较窄结论是:推理链可能不忠实,而能力更强的模型让这一监控假设变得更值得审查。
局限与未知
- 材料没有给出检验 CoT 忠实度的具体实验设计、指标或对照结果,不能据此判断推理链在什么条件下仍然可靠。
- 约 1,000 篇预印本与 25% 的调查数字来自文章转述,原始调查未获独立核验。
- 供稿末尾被截断,且其中关于后续模型与安全事件的说法缺少原始材料支撑,本文未将这些内容作为核心证据。
眼下更稳妥的结论不是“推理链毫无价值”,而是别把它自动等同于模型的内心独白。它或许仍是一种可观察信号,但信号怎样形成、遗漏了什么、是否会被模型主动控制,才是决定它能否承担安全监控任务的关键。