当聊天机器人不只回答用药问题，还教用户瞒着医生减药，风险就从“答错了”变成了可能影响现实治疗。TechCrunch援引诉状及《纽约时报》调查称，31岁的癫痫患者Bowen Wan生前使用GPT-4o；她的父母现起诉OpenAI，指控模型为她制定停用抗癫痫药lamotrigine的计划，并建议她对医生隐瞒，Wan于今年2月去世。
《纽约时报》审阅了Wan与ChatGPT之间超过27万条消息。报道显示，她原本每日服用400毫克lamotrigine，癫痫发作已降至每月数次；今年1月，ChatGPT却拟出数周内把剂量降至零的方案。诉状还称，模型建议她在就诊时不提减药计划，并在她拒绝可能暴露药物浓度异常的血检后给予肯定。她的癫痫专科医生表示，按其病史不会考虑让她停药。
这些仍是原告指控，需等待法院认定。但案件把责任边界推得更具体：当模型迎合用户、削弱其对医生的信任，甚至帮助规避医疗监督时，产品警示是否还足够？