你让几位同事共同解一道难题。常见做法是每人都背一套资料,再按固定顺序接力;资料重复,前面漏掉的线索也很难回头找。更合理的办法,是让大家共用一个资料柜,围着同一张草稿反复查阅、修正,想清楚后再给答案。Mobius-v0 想对大模型做的,正是这种改造:知识集中存放,推理循环进行。
这值得现在看,因为今天的大模型常靠更多参数、更多训练数据和更长的思维链换取能力。思维链(Chain of Thought,CoT)就是模型把中间推导一步步写成文字。它能帮助解题,却也会生成大量需要逐字计算的内容。Mobius 试图换一个角度:不要求模型把每一轮思考都写出来,而是在内部反复加工一份数字化草稿。
本文数字与效果均来自 Mobius 论文,尚无代码复现、官方评测或第三方测试交叉验证。
把“资料柜”和“解题人”拆开
标准 Transformer 的每一层通常都包含两类部件。前馈网络(FFN)负责加工单个位置的信息,研究中常认为它承载了大量词义和事实关联,可以把它理解成知识柜。自注意力(self-attention)负责判断上下文中哪些内容相关,像解题时不断回看题干和已有步骤,在这里承担组合信息、推进推理的角色。
问题在于,Transformer 把每层的知识柜与该层的推理部件绑在一起。信息主要从浅层流向深层。某项关键知识若没有及时被激活,模型往往要先生成一个新词,再借下一轮生成继续寻找。这也是长思维链昂贵的原因之一:模型用可见文字充当跨轮次的中转站。
Mobius-v0 把这种绑定拆开。它设置一个全局共享的 Memory——由 FFN 构成的知识记忆;再设置多个 Reasoners——由自注意力构成的推理器。所有推理器都能查询同一份 Memory,不必各自在不同层保存近似知识。
连接两者的是隐藏状态(hidden state),也就是模型尚未写成文字的内部数字草稿。Reasoner 带着草稿查询 Memory,取回所需的知识向量,再更新草稿;下一轮继续查询和修正。论文把这种过程称为迭代推理:同一套计算步骤循环多次,而不是每走一步都生成一个词。
“知识不动,推理循环”新在哪?
第一处变化,是知识访问不再严格服从层级顺序。论文称之为“Backward Residual Connection”。它不是直接铺设一条从深层返回浅层的计算通道,而是让不同推理阶段访问同一个共享知识库。这样,无论推理走到哪一步,都有机会重新取用整个模型中的知识。
第二处变化,是把一部分思考移到连续的数字空间。传统生成以 token——词或词片段——为最小输出单位,每生成一个 token 通常都要走过完整层级。Mobius 则先在隐藏状态中多轮加工,并让多个未来 token 共享这些更密集的内部表示,直到较深阶段再并行解码多个 token。说白了,它希望先在脑中把几步想得更成熟,再集中说出来。
共享 Memory 也有代价。一个巨大的知识库会增加访问压力,若每次都激活大量参数,单次前向计算未必更快。论文因此在较大模型中采用类似 MoE(Mixture of Experts,混合专家)的分块方法:把 FFN 切成多个区块,每次只稀疏激活其中一部分。Mobius 追求的不是让每一步都便宜,而是用更少的外显推理步骤完成整项任务。
两组结果说明了什么?
论文先从零训练了 Mobius 与 Transformer 两个 7B-A1B MoE 模型,并在最多 1TB tokens 的训练过程中比较 MMLU——一套覆盖多学科知识与推理的选择题评测。按论文报告,Mobius 在各训练阶段的 MMLU 分数都更高;达到 Transformer 使用全部训练数据时的分数,只用了其 62.6% 的数据。作者将其概括为 1.6 倍数据效率,并推测共享知识库减少了不同层重复存储同一知识的情况。
另一组实验从 Qwen3.5-35B-A3B 检查点出发,经过 1TB tokens 的持续预训练,再做监督微调和强化学习。论文称,得到的 Intern-S2-Mobius 在下游分数相近的同时,实现接近 4 倍的端到端推理加速。作者进一步观察到,加速主要来自更短的思维链,而不是单次计算本身更轻:Mobius 把一部分斟酌留在隐藏状态里,因此输出的中间文字更少。
这两组证据分别指向训练和使用阶段。前者暗示,共享 Memory 可能用更少数据学到相近能力;后者暗示,循环处理内部草稿可能减少逐字生成的成本。它们共同支撑了论文的核心判断:模型不一定需要在许多层里重复存知识,也不一定需要把大量推理过程写成 token。
为什么值得关注
Mobius 真正有意思的地方,不只是一个加速数字,而是重新划分了模型内部的职责。过去,扩展模型常把知识量、推理深度和参数规模一起增加。Mobius 则提出另一种可能:让知识存储相对集中,让推理算子反复组合这些知识,再按问题难度动态投入内部计算。
如果这种分工成立,模型设计的衡量标准也会变化。重点不再只是“每层算得多快”,还包括“同一知识是否被重复保存”“一次注意力操作取出的信息是否足够有价值”,以及“多少思考必须变成可见文字”。论文还据此讨论了持续学习、世界模型、科学发现和软硬件协同,但这些目前都是研究设想,并非已经验证的能力。
局限与未知
- “62.6% 的训练数据”未说明是严格按 token、样本还是计算量核算;MMLU 的具体分数、方差与统计显著性也未在供稿中给出。
- “接近 4 倍”缺少硬件、batch size、输入输出长度、并行策略,以及按延迟还是吞吐量计算等条件,不能理解为所有场景都会快四倍。
- 作者承认,更短思维链的机制尚未完全确定。Mobius 是否真正形成了更高效的推理方式,以及共享 Memory 在真实持续学习和硬件系统中是否可行,仍需独立复现和更广泛测试。