同一批数据换套处理方式,云账单真能少三成吗?一位数据工程师在 Reddit 分享了自己的对比:有人声称,AWS Glue 6 配合 Iceberg v3,并采用 Merge-on-Read,可让更新和删除作业的成本降低约 30%。Glue 是运行数据清洗任务的托管服务;Iceberg 则像一套数据表的“文件目录”,负责记录文件、分区和版本。
这位作者用约 1100 万行、13 列的数据,比较了不同 Glue 与 Iceberg 版本组合,也测试了两种更新方式。Copy-on-Write 会直接重写受影响的文件;Merge-on-Read 先把变更另存起来,减少当下写入,但把合并工作留给查询或后续整理。结果是,其多数测试的成本和性能差异只有约 5%—10%,没有复现 30%。
这条经验最值得看的,不是哪个数字“正确”,而是账该怎么算:更新触及多少文件、查询是否频繁,以及后续整理成本是否计入,都会改变结果。帖子未披露完整基准设置,30% 的出处也不明确,因此目前更适合作为测试提醒,而非 Glue 6 的普遍省钱结论。