你用旧手机的数据训练了一个定位模型，测试时也把同一批记录随机分成两份。成绩很好。可真正上线后，用户换了新手机，操作的人变了，数据还是三年后采的，模型还能不能用？随机切分回答不了这个问题，因为训练集和测试集可能只是同一段经历的近邻。
Mittweida University of Applied Sciences 的 Benny Platte 等人提出了一套面向传感器 AI 的评测协议。它把模型评测当成一次正式测量：先说明测的是什么、在什么条件下测，再给出结果的不确定性。论文以地下矿井里的手机地磁定位为案例，但它真正关心的是一个更普遍的问题：设备、人员和采集时期同时变化时，怎样避免被漂亮的平均分骗过。
需要先说明，本文依据的是一篇 arXiv 预印本。实验数字和效果均为作者自报，尚无独立复现或第三方验证。
随机切分为什么让人过度安心
这项定位任务不依赖 GPS 或无线电设施。手机的磁力计记录矿井中不同位置的地磁特征，LSTM——一种擅长处理连续序列的神经网络——再根据一段读数判断用户位于哪个巷道区段，以及行进方向。
问题出在常见的测试方法上。连续传感器数据通常会被切成许多互相重叠的窗口。如果逐条随机分配训练数据和测试数据，相邻窗口可能分别落入两边。论文给出的一个运行点中，窗口之间重叠了 99.86%。这就像把一句话稍微错开几个字复制一遍，一份放进题库，一份拿来考试。模型得到的高分，很难代表它面对新环境的能力。
研究者比较了 112 组超参数配置。所谓超参数，就是训练前设定的窗口长度、网络宽度、学习率等选项。随机切分下，宏平均精确率的中位数为 0.992；整组留出设备后降至 0.797；继续面对被留出的人员时，又降至 0.532。宏平均精确率会让每个位置类别拥有同等权重，避免常见位置凭借样本多而主导总成绩。
更麻烦的是，随机切分不只高估成绩，也不太会挑模型。论文报告，在排除一个接近失效的对照表示后，随机切分的模型排名与跨设备、跨人员排名之间几乎没有关联。换句话说，在熟悉数据上夺冠的方案，到了真正的变化面前未必仍然领先。
把上线后的变化一层层加回来
这套协议采用组外留出评测：不随机抽走几条记录，而是把某台设备、某位受试者或某个采集时期整组留到测试阶段。四个累积阶段从随机切分开始，随后考察设备变化、人员变化，最后考察时间变化；后一阶段会叠加此前的变化。
随机切分在这里没有消失，但被降级为“声明过的上限”。它只能说明模型在与训练条件高度相似的数据上最多能做到什么，不能直接支持上线决定。跨设备阶段回答手机换代后是否还能工作；跨人员阶段再加入从未参与训练的人；跨时间阶段则冻结模型，用多年后采集的数据重新测试。
研究在两座真实地下矿井中实施了这套方案，并在第二座矿井复现了训练阶段。两地共涉及 7003 次训练运行。历史矿井中的最佳宏平均精确率从随机切分的 0.9974，降至跨设备的 0.9544和跨人员的 0.6942。另一座铀矿则从 0.9993降至 0.8258和 0.6111。数字没有告诉我们所有传感器模型都会按相同比例退化，却清楚展示了评测条件如何改变结论。
论文还发现，给模型加入手机姿态信息——横滚、俯仰和偏航——在随机切分中有帮助，在设备或人员变化后却经常有害。不同输入表示在随机测试中的排名，也不能预测它们在分布漂移下的排名。分布漂移指训练与部署的数据来自不同设备、人员或时期，导致输入乃至输入与标签的关系发生变化。这里的教训很直接：模型可能学会了实验条件中的便利线索，而不是能跨环境保留的规律。
平均分会藏住哪种失败
同一配置重复训练，也不会每次得到完全相同的模型。抽样和随机初始化等因素都会让结果波动。论文因此不把一次成绩或平均值当成可靠性的全部，而是观察重复训练形成的成绩分布。
部署决策看的是第 5 百分位，也就是大约只有 5% 结果比它更低的位置。它回答的不是“平均而言有多好”，而是“训练运气较差时，可能差到哪里”。协议再把这个低分位数与相应类别数量下的随机机会水平比较。跨时间阶段还要求 OOPS 指标的第 95 百分位低于上限。OOPS 是“当前范围之外预测率”：模型把结果指向训练时存在、但这次部署现场已经不存在的位置类别的比例。只看仍可达类别上的成绩，会把这种悄无声息的误导藏起来。
这个设计的重要性体现在一个双峰配置上。双峰意味着重复训练结果聚成一高一低两团，而不是围绕一个中心轻微摆动。按论文报告，它能明显通过基于均值的测试，但第 5 百分位却比随机机会水平低一个数量级以上。平均分把一批成功和一批失败揉成了一个看似体面的数字；对一次训练后就要投入使用的模型，这种平均值并不能替那次具体结果兜底。
三年后，模型到底还剩多少能力
历史矿井在首次训练数据采集 34 个月后进行了重测。模型没有更新。测试使用训练时期尚未上市的 iPhone 16 Pro，测量员也没有进入原训练集，因此时间、设备和人员变化被叠加到一起。
这次只有原来 95 个类别中的 42 个仍可到达。实体标记已经移除，研究者依据规划资料和机器、路口、狭窄处等结构重建位置；部分旧位置原本靠步数确定，无法精确复原。这也是论文同时报告邻近位置容错指标和 OOPS 的原因：相邻区段的混淆，可能来自标注边界移动，并不全是地磁特征真的失效。
据作者报告，在 299 次重复训练中，面向当前仍存在类别计算的精确率，其第 5 百分位为 0.39，是相应随机机会水平的 16.5 倍。不过，42 个可达位置类别的组成变化会让该指标波动约正负 0.08；论文称，这一影响是重复训练离散程度的数倍。也就是说，模型本身的训练随机性固然重要，部署现场到底保留哪些类别，影响可能更大。
为什么值得关注
这套方法最有价值的地方，不是再发明一个更高的分数，而是重新规定什么证据才足以支持上线。设备、人员和时间不是测试中的杂音，而是生产环境的一部分。评测若不主动把它们留出来，就无法知道模型究竟跨过了哪种变化。
它也给持续监控提供了更清楚的语言：随机切分成绩是上限；组外留出成绩对应具体变化轴；重复训练的低分位数描述坏运气；OOPS 揭示模型是否把用户送往现场已经不存在的类别。这样一来，“模型退化了”可以继续拆成设备差异、人员差异、时间变化、类别消失或标注边界含混，而不只剩一个下降后的总分。
局限与未知
- 这是作者团队在两座矿井和一类手机地磁定位任务上的预印本结果。协议能否同样适用于其他传感器、场景和风险阈值，仍需外部验证。
- 跨时间测试同时改变了时期、设备和人员，无法把三者的影响完全分开。论文还指出，重测设备的传感器特性可能参与了退化。
- 训练日志缺少优化器、输入归一化方式和随机种子，无法逐位复现单次运行；部分历史评测文件还曾对指标施加无说明的常数缩放。作者称已还原数值，并用混淆矩阵等记录核对，但这仍说明可问责评测首先依赖完整、可信的实验记录。