拿到一个开源模型,往往像拿到成品菜:可以品尝,却很难知道原料怎么选、火候怎么调,失败过几次。Marin想补上这本“后厨日志”。它既是研究计划,也是软件平台和社区,把数据筛选、Tokenization(把文本切成模型可处理的数字单元)、预训练、后训练和评测串成一条开放流水线,并记录实验与决策,连失败尝试也保留。
最具体的例子是 Delphi。它用较小模型的训练结果预测更大模型的表现,并公开了每次运行的检查点、可确定性重现训练数据配比的流程、训练配方代码,以及可直接绘图的实验数据。换句话说,同行拿到的不只是最终模型,还能沿着记录检查它为何这样设计、结果怎样产生。Marin当前还在从头预训练并后训练一个混合专家模型——让不同“专家”子网络分工处理输入——目标规模为超过5000亿总参数、约5×10²⁴次模型浮点运算。项目材料尚未披露这一在研模型的最终效果。