模型考试拿了高分，不一定真会做题，也可能只是偷看了座位号。Himanshu Sharma 在 5 个自行生成的客户流失数据集里埋下四类陷阱：地区代码、有信息量的缺失值、文本日期，以及暗藏结果的 ID。交叉验证——把同一批数据轮流拆成训练和验证部分——若每一轮都保留这些暗线，就可能反复确认一个错误答案。
据 Towards Data Science 报道，朴素流水线配合逻辑回归时，5 折交叉验证的平均 ROC AUC 达到 0.979；这个指标越接近 1，通常代表排序能力越强。但模型到了模拟“新客户”的独立保留集，AUC 只剩 0.564，接近随机水平。仅删除 ID 后，两边就变成 0.640 和 0.632：分数没那么漂亮，反而更接近真实表现。
这项演示提醒我们，交叉验证只能检验切分方式允许它看到的问题。作者的审计函数在 5 个合成数据集上找齐了预设陷阱，但它也在同一种生成机制上开发和测试，真实数据中的误报率仍未评估。