大模型装不进轻薄本内存,也不一定只能换机器。开发者 Inside-Pen-8395 在24GB M5 MacBook Air上运行量化后的 Qwen3.8-Flash-Next:MoE(混合专家)模型共有24,576个专家槽位,每次只调用一部分;其中6,800个常用槽位占约8.8GB内存,其余权重需要时才从SSD读取。在其三类测试中,平均解码速度从原版 Splash 1.4.0 的28.8词元/秒升至48.8词元/秒。
关键改动有两步。缓存感知路由保留模型最优先选择的4个专家,再让后续选择偏向已在内存中的专家,据作者自述可把SSD读取量减半,但会轻微改变输出。另一项“内存优先重叠”则让GPU先处理已驻留的专家,同时读取缺失权重;固定测试中11次输出逐词元一致。实际代理任务平均约45词元/秒。结果来自作者单机测试;代码能力对比也只各跑一次,原版答对17/20题、修改版16/20题,尚不足以判断质量差异。