一台用了约13年的旧服务器，没有GPU，也能在本地跑260亿参数的AI模型。Ryan Findley称，他用两颗2013年的Xeon E5-2690 v2运行Google开放权重模型Gemma 4 26B，实测生成速度约为每秒5.2个Token，接近阅读速度；整台机器成本不到300美元。开放权重意味着模型参数可以下载，不必依赖Google云端。
关键不只是“旧电脑硬跑大模型”。这款Gemma 4采用MoE——把模型分成多个“专家”，每次只调用一部分——并使用Q8_0量化，以精度更低、更省空间的数字保存权重。原有推理代码依赖这颗老CPU不支持的AVX2和FMA3指令，作者借助Claude改写关键路径，让程序退回到更早的AVX1指令运行。按作者披露，补丁当时仍在等待维护者审核；速度与模型效果也未见独立核查。但它具体展示了量化、MoE和软件适配如何把本地AI推理的硬件门槛压到十多年前的设备上。