和一个 AI 聊得久了,它常要靠重新翻聊天记录,才能想起前面说过什么。MemT-1.0 想换一种办法:不再把旧信息存进外部数据库、临时搜索后塞回提示词,而是让基础模型——能适配多种任务的底层大模型——在计算过程中直接维护长期记忆。这让记忆从“外挂档案柜”变成模型自身的一项能力,也是它获得 145 票关注的原因。
最值得注意的是它的写入方式。MemT-1.0 在每轮交互中逐词更新内部记忆,并用门控机制——一组可学习的“阀门”——决定哪些内容该写入、擦除或遗忘;论文还加入 Mixture-of-Storage,以多个存储通道扩展容量。模型不必在回答时重新访问完整历史,而且在固定配置下,持续保存的记忆状态不会随着交互不断膨胀。
团队用 340 亿 token 训练了 Nano 和 Flash 两个版本。作者称,它们在 11 项记忆基准上平均超过参数式记忆基线,并能与检索增强方法竞争,同时大体保留通用能力。不过,论文摘要没有给出这些平均提升的具体幅度;这仍是一次把“会记事”做进模型底层的早期尝试,而非已经解决长期记忆问题。