如果考试满 60 分才能入选,59 分和 60 分的人本应很相近。可一旦有人把部分 59 分改成 60 分,门槛两边就不再可比。麻烦在于,更隐蔽的调整未必会造成醒目的“人数断崖”:总量看着正常,异常可能藏在分数如何分布,以及究竟是哪一侧出了问题。
Roy Cerqueti 与 Marco Ventura 的新论文把本福特定律(Benford's Law)引入这个场景,试图为离散分数提供一种更细的断点诊断。这里的离散分数,是只能取有限数值的变量,例如整数考试分。论文目前来自同一项 arXiv 工作,尚无外部交叉印证;它提出的是操纵预警工具,而不是发现异常后便可直接判定有人改数。
先看门槛为什么可信
回归不连续设计(Regression Discontinuity Design, RDD)常用门槛制造近似实验:比较断点两侧非常接近的人,估计某项待遇的因果效果。决定待遇的分数叫运行变量,门槛叫断点。这个办法成立的关键,是参与者不能精确控制自己落在哪一侧。
经典的 McCrary 密度检验会检查运行变量的密度在断点处是否突然跳变。对连续变量,这个思路很自然;对整数分数等离散变量,“连续”本身却很难成立。已有离散版本可以数断点上下各有多少观察值,但作者指出,只看数量可能漏掉一种情形:两侧总数相近,内部的分布形状却不同。
本福特定律在这里不查首位数
本福特定律最常见的说法是:许多自然生成、跨越多个数量级的数据里,首位数字并非平均出现,小数字更常见。它常被用于寻找异常数字,但并非所有数据都适用,短样本、受限范围或人工生成的数据尤其可能偏离。
这篇论文没有要求考试分数的首位数字服从本福特定律。它借用的是本福特概率分布,把断点两侧各自切成若干概率份额不等的区间。可以把它想成两把刻度相同的折尺:分别从门槛向左、向右展开,再看达到同一组概率份额时,两侧刻度落在哪里。
作者先迭代收窄观察窗口,也就是 bandwidth——只纳入断点附近多大范围的数据。窗口太宽,远处差异会混进来;太窄,又可能没有足够观察值。论文用 MAD(Mean Absolute Deviation,平均绝对偏差)衡量经验分布与本福特概率份额之间的距离,据此选择窗口。作者因此称它减少了研究者预先选择多项参数的空间。不过,这不等于完全没有设定:流程仍有迭代规则,并使用了改编自 Nigrini(2012)的 MAD 阈值。
两种比较,回答不同问题
选好窗口后,论文安排了两个互补检验。
第一种固定概率份额,比较断点两侧相应的阈值位置。若分布对称,从断点向两边覆盖相同概率质量,走出的距离应当接近。论文把距离差转换成概率,再用 MAD 判断偏离程度。说白了,它问的是:“装下同样多的人,两边要走多远?”
第二种反过来:固定与断点等距的位置,比较两边实际装下多少人。它分别计算左侧和右侧的 MAD。因此,即使总体结果没有明显异常,也可能看到只有一侧偏离。若政策奖励跨过门槛的人,这种方向信息尤其重要:异常出现在有激励挤入的一侧,与出现在没有这种激励的一侧,解释不能相同。
这正是论文相对 McCrary 型检验强调的新视角。后者通常给出断点处是否存在整体密度跳变的判断;新框架则把分布拆成方向性分量,追问偏离来自左边、右边,还是两边。
模拟显示了“总体正常、局部异常”
作者从完全对称的标准正态分布出发,再人为移动用于选择窗口的断点,造出一个左右长度不同的观察区间。这个设计并不模拟真实改分,而是隔离检验能否识别方向性不对称。
按论文报告,一侧指标在 98.2% 的重复中识别为对称;另一侧指标在相应情形下有 95.3% 识别为不对称。采用另一套随样本量调整的临界值时,两侧分别有 96.5% 不拒绝本福特一致性、92.3% 拒绝一致性。相比之下,作者在经调整的区间内运行 McCrary 型检验,仍未拒绝整体对称。
这些数字支持“能补充方向信息”,却不能证明新方法普遍优于 McCrary。两者检验的对象和窗口设置不同,论文也明确说直接比较并不容易。
两个案例更像预警演示
论文还分析了两个曾用于 RDD 研究的数据集。一个涉及土耳其地方选举中伊斯兰政党的胜选差距,另一个涉及哥伦比亚助学项目使用的 SISBEN 家庭财富指数。原研究的 McCrary 检验均支持断点附近连续,但变量分布本身存在不对称。
在第一个案例中,论文得到的右侧 MAD 高于左侧,指向更强的右侧不对称;在第二个案例中,符合资格者位于断点左侧,结果则显示左侧不对称更强。它们说明这套框架可以标出异常方向,但材料没有提供可用于估计误报率或检验功效的统一基准,也不能据此确认两个案例存在人为操纵。
为什么值得关注
RDD 的可信度常压在一道门槛上。只问门槛两边“人数是否突然跳变”,可能把内部结构不同的两堆数据看成一样。新方法把问题拆成两个更具体的检查:相同人数是否占据相似范围,以及相同范围是否容纳相似人数。对考试、评级、资格审核等离散分数场景,这种分解能给研究者多一张排查清单。
更合适的定位,是把它放在 McCrary 型检验旁边。一个看整体断点,一个拆看两侧来源。若两者结论不同,差异本身就是值得追查的信号。
局限与未知
- 密度或概率失衡不等于人为操纵。离散化、取整、分数堆积、制度规则和数据生成过程都可能制造不对称,最终判断仍需结合具体激励与制度背景。
- MAD 会随样本量变化。作者承认,通用且容易解释的接受、拒绝阈值仍待建立;ECP(等效污染比例)等替代指标也缺少成熟临界值。
- 现有证据不足以宣称性能优势。论文没有给出可普遍外推的功效、误报率或与 McCrary 检验的量化胜负,所谓“更强保护价值”目前仍是作者基于模拟和两个应用案例作出的评价。