让 AI 读几百万词元的材料，就像让人翻完一屋子档案再回答问题：若从头到尾边读边改摘要，后面的杂讯可能挤掉开头的关键线索。PI-Mem 想解决的正是这种“越读越忘”。词元（token）是模型切分文字后的基本单位，可能是字、词的一部分或标点；360 万 token 代表极大的输入规模，并不等于同样数量的汉字。
它先把长文分块并行阅读，再共同更新一份紧凑记忆。每轮中，各块都参考同一份现有记忆，只挑出新增或互补的证据，随后合并；下一轮再据此回看各块，像多人分头查档案后开几轮汇总会。模型还通过强化学习——用结果奖励来调整行为——学习减少无用轮次，并在证据足够时提前停止。
作者在 HotpotQA 多步问答测试中，把上下文扩展到 360 万 token。使用 Qwen3.5-35B-A3B 和 Qwen2.5-7B 时，PI-Mem 相比顺序更新记忆的 MemAgent，得分分别提高 6.25 和 7.81 个百分点，推理速度分别达到 6.1 倍和 2.1 倍。值得追踪的是它对早期证据遗忘和串行等待的同时处理，而不只是“360 万”这个窗口数字；这些效果目前仍是论文作者自述。