Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.004 — 2026-07-08
PAPER H 25 约 1 分钟

重尾数据也要稳健训练生成模型

用“排队名次”代替真假博弈,让生成模型更稳地学习重尾数据

少数极端值常把训练带偏,但在金融损失或网络流量里,它们未必是脏数据,而可能正是最值得保留的部分。José Manuel de Frutos 等人提出 Pareto-ISL,帮助隐式生成模型——只会直接造样本、不必写出概率公式的模型——同时学到常见情况和罕见极端事件。

它的关键像是反复“排队”:把一个真实数据点放进一批生成样本中,看它排第几。如果生成分布与真实分布一致,这些名次应大致均匀。模型据此计算不变统计损失(ISL),无需像 GAN 那样让生成器与判别器持续对抗。面对重尾分布——极端大值出现得格外频繁的分布——作者还把常用的高斯随机输入换成广义 Pareto 随机输入,让模型更容易触及分布远端。

作者证明,该损失在连续分布上构成有效的分布差异度量,并且几乎处处可微,可用于梯度训练;其自述实验显示,Pareto-ISL 对尾部的还原优于高斯输入的 ISL 和所比较的对抗方案。


供稿材料 SOURCES — 1

← 返回 2026-07-08 · 学术板块