假设你每天要预测明日销量。只报“100 件”不够,库存真正关心的是:大概会落在 80 至 125 件,还是 20 至 200 件?前者更方便决策,但如果市场突然转向,原来的范围很快就会失准。
这正是数据流里的难题:新数据持续到来,规律也会变化。每次拿全部历史数据从头计算,代价越来越高;只调整预测区间,又可能是在替一个已经过时的模型收拾残局。
10 月 20 日发布的 arXiv 预印本《Practical Advantages of Online Conformal Prediction for Data Streams》比较了四种序贯共形回归方法和一个加权 full conformal 基准。作者 Stéphane Chrétien、Maryam Hoseini-Behbahani 与 Guillaume Metzler 关注三个生产问题:区间能覆盖多少真实结果、区间有多宽,以及每来一条数据要花多少计算资源。全文结论均来自这篇尚未显示经过同行评审的论文。
区间不是越宽越好
共形预测(conformal prediction)是一套给预测结果加上“不确定范围”的办法。它先观察模型在校准数据上错了多少,再用这些误差确定新区间的宽度。在数据可交换——简单说,样本次序不会改变其联合规律——等条件下,full conformal prediction 能给出有限样本的边际覆盖保证。
但这种经典保证不能直接搬到非平稳数据流。所谓非平稳,就是今天的数据规律可能不同于昨天。full conformal 还很贵:面对新的输入和候选答案,它需要在加入候选值后重新评分或拟合模型。
论文因此把问题拆成两个旋钮。第一个是基础回归模型,也就是负责给出中心预测的部分;第二个是 conformal threshold,即根据历史误差决定区间向两侧扩多远的阈值。很多在线方法主要拧第二个旋钮。作者想验证的是:数据漂移时,是否必须连第一个也一起调整。
关键不是只追着误差跑
四种在线方法形成了一组清楚的对照。
CP+LS 使用普通最小二乘模型,并让全部历史残差拥有相同权重。nexCP+LS 仍使用这个静态模型,但计算阈值时降低旧残差的权重。这里的遗忘因子,就是让旧数据逐渐淡出,以便系统更快响应新环境。
nexCP+WLS 再往前一步:它不仅让阈值遗忘,也用带遗忘因子的递归最小二乘更新模型。QT+WLS 同样更新模型,但不保存和重排不断增长的残差列表,而是用在线梯度方法追踪一个分位数阈值。可以把它理解成每看到一次区间命中或落空,就把边界轻轻推一步。
标题里的“不必反复重训”因此要加一个限定:这些方法不是让预测模型永远不更新,而是不必每次拿全部历史数据从头重算。模型和阈值仍在持续在线更新。
漂移发生时,更新模型更重要
论文设置了一个独立同分布(IID,即数据规律稳定)的对照、两个合成漂移场景,以及 ELEC2、Energy、Bike、PRSA 四个真实数据流。
在稳定的 IID 场景里,各种在线方法差别很小:覆盖率为 0.894 至 0.897,平均区间宽度为 3.27 至 3.31;full CP 基准为 0.912 和 3.41。至少在这组实验中,引入遗忘没有表现出明显代价。
到了突变场景,静态模型的问题就暴露出来。CP+LS 的覆盖率降至 0.844,区间宽度却达到 6.26。nexCP+LS 把覆盖率拉到 0.891,但区间进一步扩到 7.13。只更新阈值,相当于让区间不断变宽,以补偿中心预测已经落后的问题。
同时更新模型和阈值的 nexCP+WLS 得到 0.903 的覆盖率和 4.20 的宽度,接近 full CP 基准的 0.911 和 4.15。渐进漂移下也相似:nexCP+WLS 为 0.898 和 3.36,基准为 0.912 和 3.45。作者据此把主要差异归结为基础模型是否会遗忘旧规律,而不只是阈值采用哪种算法。
真实数据没有给出漂移发生的确切机制,但部分结果延续了这个趋势。在 ELEC2 上,nexCP+WLS 的覆盖率和宽度为 0.893、0.509,基准为 0.897、0.521;在 PRSA 上,两者分别为 0.900、148.2 和 0.915、148.1。论文将这种接近描述为实际表现上的匹配,而不是漂移环境中的严格覆盖保证。
省下的是随历史增长的账本
QT+WLS 的吸引力主要来自资源开销。它每次只维护一个阈值,并递归更新模型,因此每个观测的时间和内存复杂度都是 ,且不随数据流长度增长。这里的 是特征维度,也就是线性模型的系数数量。这个结论只适用于 QT+WLS,不能泛化到全部在线方法。
论文报告的平均单步运行时间中,QT+WLS 在各数据集约为 0.008 至 0.012;full CP 为 4.71 至 148.67。nexCP+WLS 约为 0.032 至 0.088。作者称后者以低三个数量级的计算成本,在各数据流上达到接近基准的覆盖率与宽度。
这对生产监控很有意义。系统不再需要保留并反复处理无限增长的完整历史,单步预算更容易控制。不过,低成本方法并非免费午餐。
局限与未知
- QT+WLS 遇到突然变化时反应较慢。突变实验中其覆盖率为 0.876,比 full CP 基准低约 3.5 个百分点;Bike 上只有不到 600 个在线步骤,它的覆盖率为 0.773,而基准也仅为 0.867。
- 这些是经验覆盖结果,不是对非平稳环境的严格有限样本保证。经典 full conformal 保证依赖可交换性,数据漂移并不直接满足这一条件。
- 论文只研究线性回归式预测器与七个数据流,且目前是 arXiv v1。它说明了“同时更新模型和阈值”在这些实验中的优势,还不足以证明该结论能普遍覆盖其他模型和生产环境。