让 AI Agent 连续工作很久,就像让人一边办事,一边把全部聊天记录摊在桌上:历史越长,桌面越挤。常见的 KV Cache——模型保存已读内容中间计算结果的“草稿纸”——也会随上下文增长,占用更多显存。MEMT-1.0想换一种办法:不再把过往记录不断追加进提示词,而是在多轮任务中把程序性经验写入模型的参数或内部状态。
据介绍,该架构用 Gated DeltaNet-2 在每轮对话内逐 Token 更新记忆,再通过 Mixture-of-Storage——让系统在多种内部存储单元间分配信息——扩充容量。最值得注意的是,发帖者称,在历史长度达到 12.8 万 Token 时,MEMT-1.0-Nano 相比完整上下文 KV Cache,端到端推理快约 1.86 倍,持久存储占用缩小 66 倍。
这条路线的意义,在于尝试把“保存全部原始记录”改成“提炼后记住”。但压缩也带来新问题:信息能否准确写入、更新和取回。现有材料未披露具体评测设置,上述效果也仅为发帖者转述,尚不足以判断它能否普遍替代 KV Cache。