数据工程的难处,常常不是没有工具,而是工具、案例和经验散落各处,很难判断什么值得跟进。《Data Engineering Weekly》第 292 期把这些线索集中到一处,像一张本周行业地图:既衔接从零搭建数据平台,也收录 AI 训练数据加载、实时仪表盘和可观测性等新实践。
本期较具体的一条来自 Datalogy 开源的 Zephon。它借用了数据库里“虚拟视图与物化视图”的取舍:不再为每次训练数据调整都预先生成一整份新副本,而是在需要时按确定规则在线处理,再从标准 lakehouse 格式中直接流式读取训练批次。说白了,它想减少反复复制语料带来的存储和计算成本,同时保留实验复现能力。
周报还收录 Netflix 用知识图谱串联指标、部署、告警和事故讨论,以及 LinkedIn 将 shuffle——分布式计算中重新分发中间数据的过程——移到独立服务的案例;后者自述将 Spark 总运行时间缩短 14%、shuffle 成本降低 90%。这些内容适合作为继续阅读的入口,摘要本身未提供完整测试条件,效果数字仍需结合原文判断。