假设你刚接触一种棋。别人只告诉你哪些动作允许、什么时候算赢，却不教开局套路，也不解释什么局面占优。你只能不断和自己下棋，从输赢里慢慢摸索。
Athénan 做的正是这件事。它面向完全信息双人游戏——双方轮流行动，棋盘状态完全可见，没有隐藏牌或随机事件——尝试仅靠自我对弈和强化学习，学出判断局面与选择动作的能力。强化学习指的是：程序反复尝试，再根据对局反馈调整策略，不需要老师逐步给出标准答案。
这里需要先收紧标题里的“不懂规则”。论文所说的 “without knowledge”，指不使用针对具体游戏的专家知识，并不等于系统连合法动作、终局判定和游戏环境都不知道。更准确地说，它是在知道如何进行一盘游戏的前提下，不预装“应该怎样下”的经验。
难点不是落子，而是看懂局面
传统博弈程序常把搜索和人工经验结合起来。程序展开一棵搜索树——把当前走法、对手回应和后续变化排成不断分叉的路线——再用人工设计的评估函数判断中间局面。问题在于，每换一种游戏，开发者往往又要重新定义什么叫“好局面”。论文将目标放在自动学习这个判断标准上。
所谓状态价值函数，就是给当前局面打一个分，表示最终获胜的希望。它让程序不必把每条路线都推演到终局，也能比较眼前的几个选择。训练时，程序用尚不成熟的价值函数搜索和下棋，再把搜索得到的信息反过来教给价值函数。
作者首先扩展了 tree learning，也就是“树学习”。普通做法可能只学习一盘棋真正经过的那些局面；树学习还利用程序为选择动作而搜索过的中间节点。像是做选择题时，不只记录最后选了什么，也保留比较各选项时写下的推理。
论文的版本会在每盘结束后统一学习，并去掉搜索树中尚未继续展开的非终局叶节点。作者认为，这既能利用决策过程中产生的信息，也能减少训练数据和过度学习。论文把这套方法推广到了没有专家知识、使用非线性评估函数的场景；“没有信息损失”则是作者自己的强表述，材料没有提供独立验证。
搜索也要为学习服务
Athénan 的另一条主线，是改造 minimax。Minimax 是经典的对抗搜索方法：程序假设双方都会选择对自己最有利的动作，于是一方尽量把分数推高，另一方尽量把它压低。
论文提出 Descent，一种修改后的无界深度 best-first minimax。固定深度搜索会预先规定“往后看几步”；无界深度搜索不把深度写死，而是把算力集中到当前看来最值得追踪的路线。Descent 进一步把较好的动作序列延伸到终局，目的不只是当场选出一步棋，还要为后续学习生成更有用的数据。
作者还提出几项配套调整。其一，用 reinforcement heuristic——强化启发式反馈——替代只有胜负的经典收益。传统反馈到终局才给出赢为 $+1$、输为 $-1$；论文讨论了速胜、缓败、得分、机动性或棋子存在等反馈方式。其二，completion 技术会记录某些局面是否已经被搜索证明为胜、负或和，避免把已知结论继续当作模糊估计。其三，论文设计了新的动作选择分布，用来平衡“选择当前最优动作”和“尝试不熟悉动作”。
这些技术最终被组合成 Athénan。它不是单独换一个神经网络，而是同时调整训练数据、搜索过程、终局反馈和探索方式。
它证明了什么？
作者将 Athénan 与 ExIt 比较。ExIt 同样是不依赖专家知识、通过自我对弈训练的强化学习算法，但以 Monte Carlo Tree Search（MCTS，蒙特卡洛树搜索）为基础。MCTS 不平均检查所有路线，而是把更多计算投入看起来有希望的分支。论文报告称，Athénan 的表现优于 ExIt，多项新技术也能提升程序的对弈水平。
论文还把 Athénan 用于 Hex、Othello、Arimaa，以及单人游戏 Morpion Solitaire。Hex 要求玩家在六边形棋盘上连接己方对应的两条边。作者声称，仅靠无专家知识的自我对弈训练，Athénan 在 Hex 11×11 和 13×13 上超过了 Mohex 3HNN；摘要也声称其程序在数种游戏中达到或超过当时的专用程序水平。
这项工作的意义不只在于多赢几盘棋。它重新检验了一个基础问题：近年博弈程序的进步，究竟必须依赖 MCTS，还是强化学习也能把 minimax 这条老路线推到更高水平？Athénan 给出的案例表明，搜索算法、训练目标和数据利用方式可以共同决定学习效果。减少对人工经验的依赖，也意味着同一套思路更有机会迁移到不同决策任务。
局限与未知
- 所有效果论断均来自作者论文。材料没有提供第三方复现、完整对局记录或独立基准评测，不能把“超过”写成已经确认的全面领先。
- 摘要没有披露相关强结论对应的胜率、对局数量、统计显著性、算力成本和公平评测条件，因而无法判断优势有多大、训练代价多高。
- 论文于 2020 年 8 月 3 日首次提交，v5 于 2025 年 5 月 7 日修订。供稿页面是 arXiv 摘要，不能据此断言论文已由 JMLR 正式发表。