你让同一个 AI 回答同一道题，即使把 temperature 设为 0，长答案也可能每次不同。原因是：归零只让模型每一步都选分数最高的 token——也就是词或字的计算单位——却不能保证这些分数每次都完全相同。
据 Towards Data Science 报道，Utkarsh Mangal 援引的实验让 Qwen3-235B 对同一提示生成 1000 次，结果出现 80 种输出。前 102 个 token 全部一致，到第 103 个才分成 992 次与 8 次两路。这里的关键是 logit，也就是模型给候选 token 的原始分数：当前两名近乎并列，极小的数值误差就可能让冠军换人。
而大模型采用自回归生成：前一个 token 会成为下一步的输入。第 103 步的一次翻转，便会沿生成链不断放大，最终长成不同文本。作者也提醒，笔记本上的数值实验不能复现真实共享 GPU 服务器的动态批处理；翻转也不等于答案质量一定下降。