你可以把这次实验想成一间临时拼起来的远程厨房:14台分散在四个国家的Mac负责不断试菜,把结果传上网;另一大洲的一台NVIDIA B200再根据反馈修改配方。它没有证明Mac能包办强化学习训练,却展示了一种更现实的分工:把大量生成任务交给消费级设备,把集中的参数更新留给数据中心GPU。
这项工作来自Pluralis Research开发者在Reddit发布的项目介绍。代码已开放,但目前只有这一项独立信源,发帖人也披露自己供职于开发方。下文配置、结果和数字均来自该帖,尚未得到独立验证。
14台Mac做了什么?
这里进行的是RL后训练——模型完成预训练后,再用奖励信号调整行为。训练时,模型先针对任务生成大量完整的行动或回答轨迹,这一步叫rollout;系统随后根据结果计算奖励,并通过梯度更新改变模型参数。
这次运行中,14台消费级Mac生成了全部rollout。每台机器使用MLX进行int8推理,也就是用8位整数表示权重,以较低成本运行模型。真正的梯度更新则由另一大洲的一台NVIDIA B200完成,计算精度为bf16。换句话说,这不是“14台Mac完成全流程训练”,而是Mac负责采样,B200负责学习。
所有节点只通过Cloudflare R2和普通家庭互联网同步,没有数据中心内部的高速互联。这属于异构分布式训练:不同型号、不同地点的设备各做一段工作。它能利用闲置机器,也会带来网速、掉线和版本不同步等麻烦。
难点不是生成,而是对齐
Mac生成rollout时,B200上的训练可能已经更新了几轮权重。Mac使用的还是较旧、经过int8量化的版本,而且两端运行在不同的软件和计算内核上。于是,同一个token——模型处理文本时的基本单位——在两端可能得到不同概率。这种偏差过大,训练数据就会失真。
项目用两道机制控制差距。PULSE不传完整checkpoint——保存某一时刻全部模型参数的快照——而只传int8权重的变化量。开发者称,相邻版本约有0.5%的int8数值发生变化,因此一次典型传输约82 MB,而不是9 GB。
另一道机制是DPPO-style probability gate。它会比较rollout模型与训练器给出的概率,并过滤偏移过大的token。该帖称,这部分约占0.3%。这两个数字描述的是本次运行中的典型情况,不能视为方案固定不变的性能。
为什么比一次跑分更值得看?
项目在PaperSearchQA完整验证集上测试Stoa。开发者报告称,cover pass@1从29%升至63%,search rate从22%升至84%。后一个指标说明模型更频繁地发起搜索,但不能单独证明答案更正确,也不能直接外推为通用能力提升。原帖没有给出对照设置、随机种子、误差区间、验证集规模或训练成本。
更重要的信号来自系统分工。发帖人称,在agentic RL——让模型执行多步任务的强化学习——中,rollout约占80%的计算量。但原帖没有说明这一比例对应的模型、任务与统计口径。即便如此,把采样端从同一数据中心拆出去,仍然提出了一个有价值的工程问题:昂贵集群是否必须承担训练流水线里的每一段工作?
Pluralis还称,其Agora项目曾通过开放互联网,在数百张消费级GPU上以流水线并行方式完成Pluralis-8B预训练。不过,这项历史陈述也来自同一机构,不能构成独立佐证。
局限与未知
- Stoa目前要求模型能够装入单台Mac,训练器也仅限一个集群,离任意规模的分布式训练还有距离。
- “首个全部rollout集群由消费级Mac通过开放互联网运行的RL后训练实验”带有“据开发者所知”的限定,缺少系统性先例检索。
- 项目方关于全球闲置消费级算力的宏观判断没有给出数据或计算方法。现阶段更稳妥的结论是:这次实验验证了一种跨地域、低带宽的采样编排方式,而不是证明消费级设备已经能够取代训练集群。