AI 聊得越久,背上的行李就越多:旧指令、历史对话和检索材料不断塞进提示词,哪怕上下文窗口——模型一次能处理的文本容量——足够长,也要付出更多计算、等待时间和费用。Emmimal P Alexander 在 Towards Data Science 撰文提出,问题有时不是模型“忘得太快”,而是它记住了太多重复或低价值内容,甚至可能拖累回答质量。
他的做法是在模型调用前加一层确定性的提示词裁剪:按明确规则删除、压缩或替换低价值上下文,而非简单砍掉最早的对话。关键是保住依赖关系。例如,后面的结论若建立在前面某项定义、约束或工具结果上,裁剪时就要把依据一起留下;否则文字看似连贯,意思已经悬空。
这值得生产系统留意,因为它把“该让模型记住多少”从无限堆积,变成成本、延迟和信息保真之间可设计的权衡。不过现有供稿只有文章摘要,未披露具体规则、基准数字和生产测试设置;减少 token、改善质量等效果目前只能视为作者自述。