想先用便宜的小模型试方向，再决定是否花钱训练大模型，就像先做一份小样再开工厂。问题是，小样很挑制作条件：这篇复盘指出，小模型对超参数——学习率、批量大小等训练前设定——格外敏感，稍没调好，观察到的趋势就可能是错的。
作者发现，缩放定律——用经验曲线描述模型、数据和算力如何影响性能——在低至 400 万参数的模型上仍可出现；这类模型可在单张 GPU 上一小时内训完。但要找到真正的趋势，可能得搜索数百组配置，远超常见的小网格调参。相比参数如何计数、学习率是否衰减，充分调参更影响最终结论。原因在于，小模型的好配置藏在更狭窄的范围里；模型变大后，对配置反而没那么敏感。
所以答案不是“小模型没用”，而是不能把几次低成本实验轻率外推。作者用这套方法从小规模实验中复现了一个大规模结论：模型越大，Transformer 的 pre-normalization（先做归一化再进入计算模块）越占优。不过论文也承认，精确预测大模型损失时，小误差会不断累积；小实验更适合判断方向，尚不是可靠的数值预言机。