让 AI 连续思考很久，就像边写边把每张草稿都摊在桌上：内容越长，桌面越不够用。这里的“草稿”叫 KV Cache——模型保存此前 Token 计算结果的缓存。EdgeRock-4B 想解决的，正是长推理中缓存不断吞噬显存、挤压并发的问题。
它没有保留全部历史，而是把记忆分成三份：循环状态概括大意，局部窗口保存最近 1024 个 Token，再用 Rock Memory Anchors（记忆岩锚）从较早内容中筛选 1024 条关键记录。每积累 256 条候选，系统便重新评分、只留更重要的信息。这样，注意力缓存固定在 72 MiB；从 4K 到 256K 上下文，容量不再增长。
据量子位报道，团队测试称，在单张 80GB Hopper GPU、32K 输入和 32K 输出条件下，EdgeRock-4B 可承载 512 路并发，输出吞吐为 12124 tokens/s，是源模型 Qwen3.5-4B 的 6.42 倍；256K 上下文下，KV Cache 减少 99.1%。这些结果来自团队实验，独立实测成色仍待观察。