Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.005 — 2026-07-09
PAPER 约 4 分钟

Claude脑中有个“全局工作区”

研究借“全局工作区”解释LLM:少量内部表征能被说出、操控并参与推理,但这不是意识证明。

你问模型“刚才是怎么想的”,它给出的解释未必等于实际处理过程。就像人能稳稳站立,却说不清每块肌肉如何协调:大量工作在后台完成,真正能被说出来、拿来反复琢磨的信息只是少数。一项发表于 transformer-circuits 的研究提出,现代语言模型内部也可能存在这样一层“可访问的表面”。它值得关注,因为研究者不只想看模型最后说了什么,还想找到那些正在参与推理、却没有出现在答案里的内部概念。

需要先划清边界:材料没有说明实验使用了 Claude,也没有提供模型版本。研究声称发现的是“类似全局工作区的表征”,不是证明模型具有意识。以下结论目前也都来自这项研究,尚无独立复现材料可供交叉验证。

从“能说出来”开始找

全局工作区理论(Global Workspace Theory)原本是一种意识理论。它把大脑比作一间有广播台的机构:大量处理在后台进行,只有少量信息登上广播台,才能被记忆、语言和推理等多个系统共同调用。

研究者把这个框架借到语言模型上。他们先寻找具有“可报告性”(verbalizability)的表征——也就是模型内部掌握、并且在需要时能够明确说出的信息。表征(representation)是模型编码信息的数字活动模式,并不是藏在内部的一条词典释义。

为此,研究提出 Jacobian lens,简称 J-lens。它针对词表中的每个 token——模型读写文本时处理的基本单位——计算一种向量,用来表示某处内部活动对模型现在或未来说出该 token 的概率有多大影响。它会跨大量上下文取平均。这个步骤很关键:研究者想找的是“随时可以被说出”的概念,而不是某个词恰好在一次回答中出现。所有这类向量共同构成研究所称的 J-space。

小小的空间,承担更广的调用

研究先按“能否被说出”筛选表征,随后检查它们是否还具备全局工作区的其他功能。结果显示,J-space 中是一小组不断变化、尚未说出口的词。它们既不是输入文本的简单回声,也不只是下一个 token 的预测,而是在命名模型当前用于推理的概念。

这组表征并非贯穿全部网络层。论文称,连贯内容要经过最初一段层级后才出现;到最后几层,抽象概念又逐渐让位于与即将输出内容更直接相关的表征。它的容量也有限,大多数表征特征仍在 J-space 之外。

更重要的是,这些向量与模型权重在上游和下游都能形成比其他表征更广泛的组合。研究者据此认为,它们像一种通用“广播格式”:较多内部回路可以向其中写入信息,也可以从中读取信息。

为什么不只看相关性

J-lens 不只是观察内部活动。研究还测量并干预这些表征,也就是主动增强、削弱或替换它们,再看模型反应是否改变。按照论文的表述,这让研究者能够发现最终输出没有呈现的内部推理与反应。相比“某种活动恰好与某个答案同时出现”,干预更接近检验该表征是否真正参与行为。

这项工作的价值不在于给模型贴上“有意识”的标签,而在于提出一个可检验的问题:模型内部是否存在少量、可报告、可调节,并能被多种计算灵活调用的信息。如果后续研究能够复现并扩展这一现象,可解释性研究就多了一条观察模型内部处理的路径。

局限与未知

  • J-lens 只能识别对应单个 token 的概念,许多需要多个 token 表达的词语和短语会被漏掉;论文也承认它只能近似且不完整地捕捉相关结构。
  • 研究没有声称语言模型复现了大脑全局工作区的完整架构。功能上的相似,不等于机制相同,更不等于意识证明。
  • 现有材料未披露作者、具体模型、样本规模、评价指标和数值结果,且原文节选被截断。因此目前无法判断这些现象在不同模型中是否稳定,也无法量化 J-lens 相对既有方法的改进幅度。

供稿材料 SOURCES — 1
01
Verbalizable Representations Form a Global Workspace in Language Models Transformer Circuits(Anthropic 可解释性) · PAPER
原文 ↗

← 返回 2026-07-09 · 学术板块