训练模型像做一项长期工程:如果只拿到最终成品,就很难从中途接手,比较不同方案。Ling 3.0 这次开放了 Tiny 与 Flash 的六个基础检查点——也就是训练途中保存的参数快照,覆盖预训练完成、中期训练完成和 WSM 合并后三个阶段。它们都没有经过后训练,尚未被调成会听指令的聊天助手,主要面向想继续训练模型的研究者。
这批“中途存档”的价值,在于给实验留下选择。研究者可以从较早阶段继续喂入行业、语言或新时期数据,也能比较不同训练策略。WSM 是加权合并多个检查点的方法,用它替代学习率衰减,并可离线尝试不同衰减方案。发布者还强调,Tiny 与 Flash 共用一套训练方案,因此可先在较小的 Tiny 上验证想法,再尝试扩展到 Flash。
换句话说,这次开放的重点不是再提供两个可直接聊天的成品,而是把训练过程拆开交出来。六个检查点分别支持持续预训练、微调和其他研究;材料未披露各阶段之间的具体效果差异。