让 AI 连续处理很久的任务，就像让人只靠会议纪要接着干活：大方向还在，但早先一个不起眼的细节，可能恰好决定下一步。长程 Agent 也有这个问题。它一次能读取的 token 数量有限，旧记录常被压成文本摘要；摘要越短，遗漏关键信息的风险越高。
REMORY 的做法，是在摘要后追加一小段“残差记忆”。它不是人能直接阅读的文字，而是一组由神经网络生成的连续向量，也叫 soft memory token。训练时，记忆网络同时参考完整历史和摘要，学习补上摘要与原始记录之间的差额，让一个参数不再更新的 LLM，尽量复现读取完整历史时的后续输出。换句话说，摘要负责讲清主线，残差记忆负责保存难以写进摘要、却可能稍后有用的部分。
作者称，在 SummHay 测试中，REMORY 只使用完整输入位置的 5.2%，综合得分便接近完整上下文；来源归因更好，信息覆盖率几乎不变。在长程 Agent 测试中，Qwen3.8-27B 和 GLM-5.3-Flash 也获得一致提升，并减少了重复工具输出和工具错误。代价是这部分记忆难以由人直接检查或编辑；上述效果目前均来自作者报告。