你告诉 AI 一个错误事实,随后再纠正它,事情未必像改掉聊天记录那么简单。Titans 这类架构允许模型在推理时继续学习:新信息会更新一套“神经长期记忆”——由可学习参数构成、能持续保存信息的内部模块。它带来临场适应能力,也可能把错误写进模型状态。
据 Google Research 介绍,Titans 把注意力机制——从当前上下文中挑选相关内容的方式——当作容量有限但较准确的短期记忆,再用可更新的神经记忆保存更久远的信息。真正值得警惕的是纠错:原作者帖文称,在一项“小型合成实验”中,加入正确信息后,模型对错误输入的回忆影响有所改善,却没有完全恢复。换句话说,纠正可以减轻错误,但未必能擦干净。
这还不是经过同行评审的普遍结论,现有材料也未说明残余影响能否推广到真实任务。但它把一个关键问题摆上台面:当模型能在线学习——也就是部署期间继续改变内部状态——谁来决定它该记什么,以及写错后如何可靠撤销?