给汽车装上变速箱,不等于它已经调校好。Ornith-1.5-35B-A3B 的 MTP(Multi-Token Prediction,多词元预测)本应一次提出多个后续候选,再由主模型核验,从而争取更快生成;但一名社区检查者发现,这套负责提出候选的“预测头”可能只是装进了检查点,却没有真正训练。
据 Max-_-Power 在 Hugging Face 讨论区的检查,检查点中 mtp.* 的多类参数都呈现整齐的高斯分布,标准差恰为 0.0200,与配置里的初始化范围 0.02 一致;归一化层权重也约为 0.02,而其预期值应接近 1。随机初始化只是训练前给参数填入起始值,若之后没有学到东西,预测头通常无法提出有用候选。
这能直接解释为何启用 MTP 后仍然很慢,也意味着目前不宜据此判断 Ornith 的加速潜力或推理引擎表现。不过,这仍是社区基于远程参数探测提出的疑点;现有材料没有提供官方确认或修复后的速度测试。