多数语言模型像打字一样逐词续写;Clover换了一种思路:先放下一块被遮住的文本,再反复修订,并行填入模型最有把握的位置。它属于扩散语言模型——从扰乱或遮蔽的文本出发,经过多轮“去噪”还原答案,是主流自回归生成之外的一条路线。
Clover采用MoE(混合专家)架构:模型共有350亿参数,但每次只调用部分“专家”,每个词约激活30亿参数。它支持最长128K上下文,并已提供Transformers、vLLM和SGLang等试用入口。DiffuSpace自称,该预览版发布时在其博客所列基准中达到开源扩散语言模型领先水平;不过当前材料没有给出具体分数与对照设置,因此更值得关注的,是它为这条替代生成路线增加了一个可直接测试的样本。