Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.051 — 2026-08-24
NEWS 约 1 分钟

一颗注意力头决定弃后妙手

关掉128颗注意力头中的一颗,棋类模型便不再偏好经典弃后妙手,显示能力可能集中在极少数组件中。

IMAGE — r/MachineLearning 日榜

一位棋手突然看不见原本会走的妙招,原因可能只是大脑里一小块“线路”被暂时关掉。棋类模型也出现了类似现象:据 chessformer_lens 项目演示,在拥有 128 颗注意力头的 Maia-3 23m 模型中,关闭其中一颗头后,模型对 Paul Morphy“歌剧院对局”里著名弃后着法的偏好便消失了。

注意力头是 Transformer 内部并行工作的微小组件,用来判断棋盘上哪些位置彼此相关。研究者采用“消融实验”——暂时关闭一个组件,再观察能力如何变化——因此这不只是看相关性,而是一次直接的因果干预。它直观地提示:某项看似完整的战术能力,可能高度依赖模型内部很少的一部分计算。

这也是“机制可解释性”想做的事:把模型内部运算拆成可理解的部件。开源工具 chessformer_lens 提供注意力可视化和逐头消融等功能,其首个 PyPI 版本于 2026 年 7 月发布。不过项目说明称工具仍处早期阶段,演示样本很小;关掉一颗头影响这一局,并不能证明所有弃后能力都集中在那里,更系统的战术分析仍待后续论文。


供稿材料 SOURCES — 1

← 返回 2026-08-24 · 科技板块