像把一家所有厨师都要参与每道菜的厨房，改成按订单只叫几位专长合适的厨师：这项个人实验尝试把现有稠密模型直接改造成混合专家模型（Mixture-of-Experts，MoE），不从零预训练。MoE 会把部分网络拆成多个“专家”，再为每个 token（模型处理文字的基本单位）挑少数专家运行，目标是少算一些，同时尽量保留原模型学到的知识。
作者用一张 8GB RTX 4060 改造了 Qwen2.5-0.5B 和 SmolLM2-360M。两者都设有 32 个专家，每次选择 8 个，另加一个共享专家；难以转换的层则保留原来的稠密结构。最值得注意的是取舍：Qwen 版本每个 token 的 MLP——Transformer 中承担非线性特征变换、占据较多计算的前馈网络——计算量约为原版的 40%，但五项任务的平均归一化准确率从 0.467 降至 0.408；SmolLM2 版本用约 44% 的 MLP 计算，平均成绩从 0.514 降至 0.417。这说明低成本“改装”确实能减少计算，却还没有做到近乎无损。以上均为作者在 Reddit 公布的自测结果，材料未提供独立复现。