Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.117 — 2026-10-29
PAPER H 15 约 1 分钟

合成改写也有自己的扩展定律

研究把“多少原文、多少 AI 改写、多少算力”变成可预测的配比问题。

给 AI 备教材,不只是资料越多越好:你还可以请另一个模型把原文重写得更清楚,但“改写多少”本身也要花算力。Roberts 等人研究的,正是这笔预算该怎么分。所谓合成改写,是让模型换一种风格或结构复述现有文本;所谓扩展定律,则像一把预算规划尺,用经验公式估计投入更多模型、数据与算力后,误差会怎样变化。

作者把模型大小、训练文本量、改写文本占比、原始数据被重复学习的轮次,以及生成改写文本的算力,一并纳入预测。最值得注意的结果是:最佳改写比例并非固定值,而会随总算力增加,并因数学、代码、问答和普通网页文本而异。按作者报告,在原始数据有限的实验中,加入改写文本的模型在最高 3B 参数范围内,始终胜过只用自然文本的最佳训练结果;另一组实验里,目标模型还在 16 类网页来源中的 10 类上超过改写它的模型,训练算力约为后者的十分之一。这说明,合成文本不只是“数据不够时凑数”,而可能成为需要单独规划的规模化资源;不过这些结论来自论文实验,摘要中部分关键比例与误差数字未完整披露。


供稿材料 SOURCES — 1

← 返回 2026-10-29 · 学术板块