训练小语言模型,通常先要准备海量文字,像给孩子备一整座分级读物书库。NanoStories换了一条反常识路线:不请更大的模型逐篇写作,而是按预设的角色、地点、情节和句式规则自动拼装。项目称,它在约十分钟内生成了五千万篇小故事,数据规模约为TinyStories的二十五倍。TinyStories是一条用简短儿童故事研究小模型能否学会连贯表达和基础推理的路线。
公开样例里,Finn、Mia等角色会在池塘、果园或老门边遇到小麻烦,再通过勇气或分享解决问题。这种规则生成速度快,也方便控制故事结构,为低成本扩充训练语料提供了新选择。不过,规模不是训练数据的全部:规则会限制表达多样性,而现有材料也未披露这些故事实际训练小模型后的效果。