Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.120 — 2026-11-01
NEWS 约 1 分钟

“模型总选7”没那么简单

大模型偏爱数字 7,不只是梯度下降:数据偏好与生成设置共同推高了它。

让大模型从 1 到 10 随便挑一个数,它常选 7。流行解释把原因归到“梯度下降”——模型反复调整参数、降低训练误差的方法。但据 Towards Data Science 文章分析,这只说了模型怎样学习,没解释它学到了什么,更没解释生成答案时发生了什么。

文章把机制拆成三步:人类文本本就更常把 7 当作“随机数字”;预训练再通过交叉熵训练,把这种不均匀偏好学成概率分布;后训练与解码则可能继续放大差距。temperature(生成时调节概率差距的旋钮)尤其直观:在文中的示例里,首选答案原占 30%,temperature 调到 0.5 后升至约 58%。

这篇文章更有价值的地方,是示范如何检验一个听起来合理的机制解释:别停在算法名称上,要逐段追问偏好从哪里来,又在哪一步被放大。


供稿材料 SOURCES — 1
01
Pick a Number Between 1 and 10 Towards Data Science · NEWS
原文 ↗

← 返回 2026-11-01 · 数据板块