Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.086 — 2026-09-28
PAPER 约 1 分钟

iPhone用闪存装下MoE专家

把闲置专家留在闪存,实测缓存策略如何决定大模型能否在 iPhone 上跑

手机运行大模型,像在小书桌上查一整套工具书:桌面放不下,就把暂时不用的书留在书架,需要时再取。Routide 把这套办法用于 MoE(专家混合模型)——模型虽每次只调用少数“专家”模块,却仍要存下全部参数。它让 iPhone 从闪存按需换入专家,并用有限内存缓存常用部分。

最值得注意的是,成败不只取决于内存大小。作者回放五组各生成 128 个 token(模型处理文本的基本单位)的记录:512 MiB 缓存配 LRU(优先淘汰最久未用项)时,按需请求的命中率为 0%;同样容量改用带固定种子的随机淘汰,升至 18.80%;LRU 只增加到 576 MiB,命中率又升至 38.58%。这说明看似突然出现的“容量门槛”,其实是容量、淘汰策略与工作负载共同造成的,并非手机运行该模型的通用最低内存线。结果来自少量固定工作负载;论文给出的是可复现的可行性画像,而非速度、质量或普适部署结论。


供稿材料 SOURCES — 1

← 返回 2026-09-28 · 学术板块