搭数据平台像装修一间长期使用的厨房:储物、操作台和水电既要各司其职,也得顺畅衔接。Data Engineering Weekly 第 287 期提供了一份入口地图,主推其数据平台基础电子书,讨论可组合架构——把存储、计算等环节拆成可替换组件——以及如何用数据质量检查提前拦错、用数据可观测性持续发现延迟、缺失和异常。
本期还串起几种正在成形的工程选择:据周报转述,OpenAI 的 Habitat 从 Python 客户端库发展为集中式分布式服务,管理超过 500 PB 数据、每秒处理 7000 万次请求;Pinterest 在扩展可管理数百亿条 embedding(把文字、图片等转成可计算向量)的检索平台;BlaBlaCar 重建了更模块化、文档更明确的数据仓库;Thumbtack 则复用 Postgres 和既有管线搭建向量平台。另有两场关于语义治理与 Kafka 多租户流处理的秋季演讲预告。它不是一个核心事件的深挖,但适合快速观察:AI 时代的数据工程,重点正从“接入模型”转向把底层数据管稳。上述规模与成效均来自周报及其转述,摘要未提供独立验证。