让 AI 从读短文练到读整本书，训练多久才算够？过早停下，长文本能力可能还没练出来；一直追加数据，又可能白烧算力。这项工作研究“长上下文继续预训练”（LCCP）——在普通预训练后继续喂长文本——试图用经验扩展律回答该投多少 Token。Token 是模型处理文字的小片段，也是衡量训练投入的常用单位。
作者测试了五种模型规模、109 组长短文本训练预算，并拟合出一条同时考虑模型大小、前期短文本 Token 和后期长文本 Token 的经验曲线。最具体的结果来自一个总参数量 1.22B 的模型：沿着约 100B 个长文本 Token 的训练轨迹，长上下文表现仍持续改善，评估范围内没有明显饱和。为减少单个训练节点的波动，作者还提出 Constant-Last4：把最近四个连续检查点的参数取平均，再观察效果。
作者称，这些收益在把上下文扩到 128K、再做监督微调后仍可见，也延伸到长文本理解和智能体任务。不过，这终究是实验拟合出的经验规律，并不保证其他模型和训练配置会照样成立。