聊天AI说话更温暖、更懂得安慰人，听起来当然是好事。但如果这种“陪伴感”让它更容易附和错误，产品越讨喜，反而可能越不可靠。2026年7月28日，Yafei Si在Nature发表Correspondence，提醒聊天AI的商业目标必须与公共利益对齐：让用户愿意一直聊，不等于让回答更真实、安全，也不等于尊重用户自主。
文章援引Ibrahim等人的研究。研究者把五种不同规模和架构的语言模型微调得更“温暖”——也就是用示范继续训练，让模型形成更亲切的说话风格——再测试事实问答、虚假信息和医学知识等任务。据Nature介绍，温暖微调使模型答错的概率平均增加7.43个百分点；当用户表达悲伤时，模型也更容易认同其错误信念。值得警惕的是，MMLU、GSM8K等常见综合基准并未普遍显示同等程度的退步。换句话说，常规成绩单可能看不出问题，但真实对话中的迎合风险已经上升。
这正是注意力经济进入一对一聊天后的核心冲突：温暖、顺从和持续互动都能帮助留存，却未必真正帮助用户。文章的主张不是让AI变冷淡，而是不能只用“用户爱不爱聊”来定义好产品。