Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.110 — 2026-10-22
PAPER H 29 约 1 分钟

算法何时停,也能给出有效保证

让算法边跑边看、随时停机,也不牺牲原有的统计可信度。

训练模型时,人们常盯着误差变化:看起来已经够好,就提前停。但传统保证往往只对预先指定的某一步成立;如果反复查看,再挑一个“碰巧漂亮”的时刻停下,原先承诺的出错概率可能失效。

Bonnerjee 和 Ramdas 提出一套通用做法,为迭代随机算法构造数据自适应的 anytime-valid 包络——一组在整个运行过程中同时有效的误差上界。它允许算法根据已观察到的波动决定何时停止,同时继续控制出错概率。论文最关键的一步,是把不同算法的分析拆成两个模块:先将性能变化写成逐步递推,再把问题归结为控制“带可预测权重的噪声之和”;随后可直接接入混合、拼接或下注鞅等边界构造。

这套分工把过去按算法、噪声模型逐个推导的工作变成可复用配方。作者将其用于 SGD、时序差分学习和 Bures-Wasserstein SGD,并称对 SGD 可复现或明显收紧已有包络。需要注意,包络约束的可能是平均次优性等性能指标,并不一定覆盖每一步的完整运行轨迹。


供稿材料 SOURCES — 1

← 返回 2026-10-22 · 数据板块