手机标着很高的 AI 算力，不代表大模型就一定跑得快、省电。像做题一样，模型先要一次读完问题，再逐字写答案。研究团队跨越五种推理框架和 CPU、GPU、NPU 三类硬件，测量了 400 多种配置，追查时间和电量究竟耗在哪一层。
最反直觉的发现是“阶段分工”：预填充——模型集中读取整段输入——计算量大而规整，NPU 吞吐量可超过每秒 1400 个 token（可理解为文字片段）；到逐个生成 token 的解码阶段，任务变得零碎且输入长度不断变化，偏爱固定形状、大批量工作的 NPU 反而落后，CPU 通常最快，可达每秒 70 个 token。
瓶颈也不只在模型计算。作者发现，NPU 工作时，负责轮询和同步的 CPU 最多可占整机能耗的 30%。他们估算，协调 CPU 频率、NPU 休眠和轮询参数，最多可降低 54.8% 的 NPU 后端能耗。结论很直接：端侧推理——让模型直接在手机上运行——不能只看标称算力或单个算子速度，还要看框架如何分工、数据如何流动，以及软硬件如何调度。