Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.113 — 2026-10-25
PAPER 约 7 分钟

智能体记忆,可能是一笔负资产

预先整理的记忆可能既贵又丢信息;小型实验显示,强模型搜索原始记录更划算。

智能体记忆,可能是一笔负资产

你让 AI 助手记住几个月的聊天。它可以提前把旧对话压成几百条“重要事实”,也可以保留全部记录,等你提问时再搜索。前一种像秘书预先整理摘要,省事,但秘书若删错一句,后来换再聪明的人也找不回来。后一种像保存完整档案,需要时再翻。

2026 年 10 月 21 日,Zedong Peng 提交论文《MemoryTax: The Bitter Lesson of Agent Memory》,正面比较了这两条路线。作者想问:当模型已经善于使用搜索工具,专门设计一套记忆系统,究竟是在帮忙,还是在提前制造信息损失?答案颇尖锐,但证据规模很小:以下数字均来自这篇论文自身,尚无独立研究交叉验证。

两种“记住”,其实是两种取舍

智能体记忆系统会在问题出现前筛选历史。Mem0 把对话提炼成事实,Zep 则整理成带时间关系的图。之后每个问题只读取少量相关记忆。这样可以减少送给模型的文字,却必须提前猜测什么将来有用。

另一条路线不急着整理。系统保留原始历史,等问题出现后,再由智能体用工具搜索。论文测试的 Pi、Codex 和 Claude Code 都属于这一类:对话被保存为一个 JSON 文件——一种结构化文本文件——智能体自行决定读哪些部分。

作者还设置了两个参照。full context 是把完整历史一次交给模型;BM25 是经典关键词检索,会按词语匹配程度和稀有程度给记录排序。换句话说,实验比较的是:全文通读、传统检索、预制记忆,以及智能体现场查档。

测试取自 LoCoMo。它是一套超长期对话记忆基准,用问题检查系统能否找回跨多轮的信息,并理解时间、因果和人物关系。论文只使用其中一段对话:19 次会话、419 个 turn(一次对话发言),共回答 152 道题。四种记忆方法和三种编码智能体,分别搭配 GPT-4o-mini、GPT-6 Luna 与 Claude Opus 5.5,总计运行 21 个实验单元。

弱模型受益,强模型却未必需要

使用 GPT-4o-mini 时,Mem0 的准确率为 78%,高于 full context 和 BM25 的 74%。这说明预先提炼记忆确实可能帮助能力较弱的模型。不过优势只有 4 个百分点,代价并不低:Mem0 构建记忆就花了 0.56 美元,已经超过 full context 完成整轮 152 题的 0.43 美元。

模型变强后,结果改变。搭配 GPT-6 Luna 时,full context 得到 92%,Mem0 为 80%;搭配 Claude Opus 5.5 时,两者同为 95%。论文据此把记忆称为弱模型的“昂贵补丁”。这个说法带有明显观点性,但实验确实揭示了一项容易忽略的成本:记忆不是免费的数据库,它首先要调用模型,把原始记录加工一遍。

作者估算,在三种模型下,Mem0 分别要等到同一份历史被问过 372、545 和 596 道题,前期构建成本才可能由后续较便宜的问答摊平。本次测试只有 152 题。记忆是否划算,因此不只取决于准确率,也取决于一份历史以后会被反复查询多少次。

被删掉的信息,换强模型也救不回

论文更有分量的观察,是“写入上限”。Mem0 和 Zep 都先由一个模型整理记录。作者随后交换读取模型,让强模型读取弱模型建立的记忆。

结果是,强读者只能更好地理解现存材料,不能恢复写入时已经遗漏的内容。以 Zep 为例:读取 GPT-4o-mini 建立的图时,三种模型的得分分别只有 43%、43% 和 45%;读取 Claude Opus 5.5 建立的图时,则为 66%、71% 和 87%。Mem0 的差距较小,但方向相同:弱模型写出的记忆,换成更强读者后仍明显落后于强模型写出的版本。

这正是预制记忆的根本风险。问题尚未出现,系统就必须决定什么值得留下。原始历史搜索虽然可能多花一些查找步骤,却把决定推迟到知道问题以后。

99% 很亮眼,也最需要拆开看

论文中表现最好的组合是 Pi 搭配 Claude Opus 5.5:准确率 99%,整轮成本 6.95 美元。相同模型使用 full context 得到 95%,成本为 17.84 美元。Pi 每题约读取 1 万个输入 token——token 是模型处理文字时使用的基本单位——其中约 7900 个来自缓存;full context 每题约读取 2.89 万个。

不过,这不是一次完全公平的胜利。原始数据里有些发言附带照片说明,智能体拿到了这些说明,记忆方法和 full context 却只有文字。152 道题中,64 道的证据位于带照片的发言。Pi 比 full context 多答对的七题里,有六题受益于这种输入差异。

排除照片证据后只剩 88 题:Pi 得到 100%,full context、Mem0、Codex 和 Claude Code 都是 99%,实际只差一道题。因此,实验较有把握支持的是:在这组条件下,Pi 可以用不到一半的成本接近或达到全文读取的水平;它不能证明“搜索一定比通读更准确”。

Pi 唯一被判错的一题,作者认为是标准答案写错了:对话中分享相关画作的人物与答案键不一致。full context、Codex 和 Claude Code 也指出了同一问题。不过,这仍是论文作者自己的判断,需要人工复核,不能直接把 99% 改写成普遍意义上的满分。

为什么值得关注

这项研究把讨论从“记忆能存多少”转向了“是否应该提前加工”。专用记忆的价值并未被否定:历史超出上下文容量,或同一档案要接受大量重复查询时,压缩和预处理仍可能划算。但如果原始记录放得下,模型也会使用搜索工具,那么预先提炼可能同时带来三项成本:先付一笔构建费用、继承写入模型的遗漏,再把未来问题限制在一份早已定稿的摘要里。

所以,下一步未必只是设计更复杂的记忆。另一种方向是保留原始记录,为智能体提供更好的精确搜索、语义搜索和向量搜索工具,让它在知道问题后再决定读什么。

局限与未知

  • 实验只测了 LoCoMo 的一段对话,每个实验单元仅运行一次,没有重复实验、方差或显著性检验。几道题的差距可能无法复现,结论不宜推广为智能体记忆的一般规律。
  • 全部历史都能放进各模型的上下文窗口,因此 full context 始终可用;面对真正放不下的记录,结果可能不同。Mem0 和 Zep 也只测试了默认设置。
  • 评分由 GPT-4o-mini 按较宽松规则完成,智能体与其他方法获得的照片说明并不一致。成本采用模型标价并受缓存方式影响;GPT-6 Luna、Claude Opus 5.5 等名称和可用性也只有论文单方陈述,未获厂商独立确认。

供稿材料 SOURCES — 1
01
MemoryTax: The Bitter Lesson of Agent Memory arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-10-25 · 学术板块