数据湖里的实体键也会漂移

同一台设备，今天叫“Station-01”，明天可能因大小写、前缀或格式变化换了写法。人能看出它们大概是同一个对象，系统却可能认成两个。记录一旦进入数据湖——集中保存 API、日志和传感器数据的地方——错误就会沿着表连接和指标计算一路扩散。

Rahul Saha 以 openSenseMap 为例，讨论高频流式 API 数据入湖的第一步：规范化。openSenseMap 是一个主要用于德国气候研究的公民科学 IoT 网络。这里的规范化，是先把设备 ID 等实体键统一成固定表示，例如处理大小写、空白和编码，同时保留原始值与转换规则，方便追溯和修正。文章把真实公共 API 当作试验场，因为它会暴露干净样例数据里看不到的边角问题。

这篇文章是四篇系列的开篇；后续才会讨论匹配算法、动态轮询、噪声过滤及 Apache Iceberg 管道。现有供稿未披露具体漂移案例、规则实现或量化效果，因此目前最值得记住的是工程顺序：先稳定“它是谁”，再谈连接、分析和指标。