训练大模型像反复修改一份超长账本：数字记得越粗，越省空间、算得越快，但细小改动也更容易被抹掉。ALTO尝试用MXFP4——每个数约用4位表示、同一小块共享缩放尺度——训练GPT-OSS-20B。它是一款200亿参数的MoE模型，会像分诊台一样，只为每个输入启用少数“专家”。这值得关注，因为极低精度计算不再只用于模型训练完成后的推理。
难点是，训练中的误差会逐步累积。论文重点处理“权重振荡”：高精度权重明明只移动了一点，量化后的数值却可能在两个刻度间来回跳。作者在随机Hadamard变换、随机舍入等方法上加入简化的去振荡机制。按其C4验证结果，训练16,128步后，MXFP4方案的验证损失为3.3350，距常用16位格式BF16的3.3283仅差0.007；达到MLPerf目标损失3.34时，相对BF16多需的训练步数也从20%降至5%。不过实验使用AMD MI300X上的模拟MXFP4内核，尚未优化实际耗时，因此目前证明的是精度差距可以缩小，而非真实训练已经更快。