Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.104 — 2026-10-16
NEWS 约 1 分钟

35B多模态模型塞进3GB手机内存

MiniCPM-V 4.7真机演示:约350亿参数模型以约3GB内存在手机运行

IMAGE — r/LocalLLaMA 日榜

让手机直接看懂路牌、文档和相机画面,不必把每张图片传到云端,这是端侧多模态模型最直观的吸引力。多模态模型,就是能一起处理文字和图片的 AI。问题在于,模型越大,手机的内存、功耗和散热压力越高。据 Reddit 用户 Equivalent-Grass-527 转述的 OpenBMB 演示,MiniCPM-V 4.7 已能以约 3GB 内存在手机本地运行,并处理读标识、理解复杂文档和视觉推理等任务。

它标为 35B-A3B:总计约 350 亿参数,但处理每个 token——模型生成文字时的基本单位——只激活约 30 亿参数。这类 MoE(混合专家)模型像一支大型顾问团,每次只请少数专家出场。LES(Lookahead Expert Scheduling)还会预测下一层可能用到哪些专家,提前加载,并让计算与其余权重搬运同时进行;预测只负责调度,不改变模型最终选择。相比本刊 10 月 12 日报道的 llama.cpp 提前适配,这次进展已从“框架支持”走到真机演示。不过现有材料来自演示帖,未披露速度、功耗、机型及测试条件,约 3GB 的表现仍待更完整数据验证。


供稿材料 SOURCES — 1

← 返回 2026-10-16 · 开源板块