一个人每天产生几十段手环或手机记录，几千个“时间窗口”可能仍只来自几十个人。若把同一个人的窗口随机分进训练集和测试集，模型可能只是在认人；这些相关记录也不能算成几千个独立样本。换句话说，纵向机器学习首先要按参与者切分验证，而不是按窗口切。
但这篇论文提醒，按人切还不够。研究者往往会比较多种预处理、模型和切分方案，再报告最好的一套。作者让参与者的标签随机重排，并从头重跑整个分析流程，包括调参和候选模型选择，以检验结果是否可能由这套挑选过程制造。模拟中，真实没有效果时，按窗口推断仍有 70%—80% 的重复实验误报；即使改用参与者层面的 bootstrap——反复抽取参与者来估计不确定性——误报率仍为 10%—17%。完整重跑流程的置换检验则在 20 至 80 人的队列中落在 2.5%—10%。
最值得记住的规则很窄：凡是会读取标签的步骤，都要放进置换检验里重新执行。重复记录增加了数据量，却没有凭空增加独立的人。