训练大模型像安排一笔装修预算：钱有限，究竟该扩大“房子”、多买“材料”，还是升级“工具”？过去的扩展律——用经验公式预测模型规模、数据量和算力如何影响误差——很少把数值位宽细算进去。这篇论文补上了这一项，希望团队在昂贵的正式训练前，就能估算不同精度组合的代价与收益。
作者的关键发现是，低精度带来的损失不一定能靠更大模型或更多数据完全补回。量化——用更少的二进制位保存数字——还会留下持续的优化误差。对一个含 4.3 亿非嵌入参数、训练 128 亿 token 的 Qwen3 模型，单独把反向传播降至 NVFP4，验证损失增加 0.32%—0.72%；单独降低前向传播精度，增幅更高，为 0.94%—1.22%。据此，作者分别建模前向与反向量化的长期影响，并扩展到逐层混合精度。作者称，新扩展律在 Qwen3 和已发表的 Llama 风格实验上预测留出损失更准确；它还给出一个值得注意的判断：算力预算越高，最优训练方案反而会采用更高精度。