如果造一辆车必须从头到尾守着同一条生产线，那么一个工位出问题，整条线都可能受影响。大模型的预训练也有类似麻烦：许多 Transformer 层要在一次彼此牵连的任务中共同更新。预训练——让模型先从大量文本中学习通用语言规律——通常又是模型开发中最耗算力的阶段。
Mixture of Training（MoT）想换一种组织方式：把模型沿深度切成几段，分别训练，再重新拼成完整模型。论文在一个 13 亿参数模型上证明，这种拆装至少没有立即失败。但它尚未证明实际训练更快、更便宜。以下结果全部来自论文作者报告的单次主要实验，目前没有外部复现。
先拆开，但不能各练各的
Transformer 可以想成一条多工位生产线：每一层接过上一层加工出的内部表示，再继续处理。问题在于，如果直接把生产线切开，让各段独自练习，它们很可能形成不同的“接口习惯”。前一段交出的东西，后一段未必看得懂。
MoT 的关键不是切块本身，而是给每个块安排同一套固定支架。作者先把目标模型的连续层分成若干块，再准备一个预训练过的 aligner——可以理解为负责统一接口的样板模型。训练某一块时，只有这块的参数会更新；其余位置由 aligner 的对应层填上，而且保持冻结。所谓冻结，就是训练时不改这些参数，只让它们提供稳定的上下文。
这样，每个目标块虽然独立训练，不与其他目标块交换梯度，却一直在同一种输入、输出环境里工作。训练完成后，研究者丢掉支架，把各块按原顺序拼回完整模型。还可以追加一小段端到端适配——让组装后的全部层共同训练，类似零件分头制造后的整机联调。
这个设计分三步：准备 aligner 并划分层块；并行训练各个带支架的层块；重新组装，并选择是否进行短程适配。刚拼好、尚未适配的版本被称为“冷组装模型”。它的表现最能检验这些独立训练的块是否真的兼容。
拼起来，确实还能工作
作者在英文 C4 数据集上测试了一个 12 层、13 亿参数的 Gemma-style 模型。作为对照，传统的整体式模型训练了 12.8 万步，处理 336 亿个 token——token 是模型处理文字时使用的基本单位——最终困惑度为 15.0。困惑度衡量模型预测下一个 token 的不确定程度，在相同评测中通常越低越好。
主要 MoT 设置把目标模型分成两个各 6 层的块，并使用一个 4 层 aligner。两个块各自训练 5 万步后直接组装，困惑度为 19.3。加入 1.5 万步端到端适配后，困惑度降到 15.9，接近整体训练的 15.0。这说明组装后的不匹配并非完全不可修复，短程联调能补回大部分差距。
论文还设计了一套“质量持平”日程：各层块训练 7.5 万步，组装后再适配 3 万步，报告的困惑度同样为 15.0。不过，“同样”只指这一次实验中显示的数值相同。论文没有给出误差范围，也没有对主要结果做多次重复，因此不能据此断言两种方法严格等价。
更重要的是，这个持平结果用了更多数据曝光：MoT 共处理 471 亿个 token，对照组是 336 亿。换句话说，它不是用更少训练材料换来同等质量，而是把更多 token 分配到了可以并行执行的子任务中。
支架不是装饰
消融实验——刻意拿掉某个设计，观察结果如何变化——说明 aligner 很关键。在两个分块、使用不同数据批次的设置中，有 aligner 时，冷组装困惑度是 19.3；没有 aligner 时升到 50.4。若使用相同数据批次，没有 aligner 的结果也只有 38.9，而有 aligner 是 20.3。
这与“接口不匹配”的解释一致：各块独立训练后，内部表示可能无法顺畅交接；固定支架让它们始终面对共同的表示环境。不过，作者也明确说，这只是行为层面的证据，并没有直接测量层块边界处究竟发生了什么。
拆得更细也有代价。把两块增加到四块后，在使用 aligner 和不同批次的冷组装实验中，计算量从 128.2 EFLOPs 降到 80.4 EFLOPs，困惑度却从 19.3变差到 24.8。EFLOPs 是衡量训练计算量的单位。更多切分带来更多并行空间，也增加了需要协调的接口。
真正值得看的是算力组织方式
MoT 的吸引力不只在总计算量，而在“关键路径”变短。关键路径指必须依次完成、决定最早完工时间的那串任务。整体预训练要让所有层同步前进；MoT 的层块任务则可以同时运行。论文估算，在 aligner 已经准备好、并且额外硬件足以并行运行两个任务时，质量持平日程的理想化层等价关键路径约为整体训练的 。
但这不是实测的 1.7 倍加速。估算没有计入 aligner 的准备时间，也忽略了通信、数据加载、硬件利用率和具体实现差异。它表达的是：如果愿意投入更多并行硬件，任务依赖链可能缩短，而不是同样数量的机器一定更快。
算力账也有同样的条件。质量持平版本本身使用 255.3 EFLOPs；若把准备 aligner 的 29.7 EFLOPs全部算在这一次训练上，总量是 285.0 EFLOPs，高于整体基线的 268.4 EFLOPs。只有同一个、形状兼容的 aligner 被多个独立训练任务反复使用，准备成本被摊薄后，论文所说的有效计算优势才可能出现。
因此，MoT眼下更像一种训练组织实验：把一次紧耦合的大任务改造成可分别安排、重启和比较的小任务。如果这些小任务今后能够可靠复用，训练集群就不必只围绕一场完整长跑来组织。论文作者也把它定位为研究框架，而不是整体式预训练的通用替代品。
局限与未知
- 实验只覆盖 C4 上一个 12 层、13 亿参数的 Gemma-style 模型。结果不能直接外推到更大模型、其他数据集或真实的大规模分布式环境。
- 论文主要报告困惑度，没有评估推理、事实性、校准或稳健性，也缺少与 MoT 完全匹配计算量、token 数和关键路径预算的整体式对照。
- 关键路径只是理想化估算，主要结果也缺少重复实验。MoT 是否真能降低现实中的时间、成本和故障损失，仍需系统测量与独立复现。