一家公司的订单数据,要先从业务系统里捕捉变化,再实时转送、处理,最后稳妥地存进分析用的大表。10 月,这条链路上的几类基础设施恰好集中更新。rmoff 在月度汇总中列出 DuckDB 2.0、Kafka 4.4、Iceberg 1.12 和 Flink CDC 3.7,像是数据工程工具箱的一次集体换挡。
它们分工不同:Kafka 持续接收和转发订单、点击等事件;Iceberg 管理数据湖里的大型表格及其版本;CDC(Change Data Capture)负责捕捉数据库的新增、修改和删除,Flink CDC 再把这些变化送入实时管线。DuckDB 2.0 则已在本刊 10 月 23 日详解,本期更值得注意的是它与另外三项更新同时出现。原帖还提到 Flink SQL 去重、Kafka Streams 文章重刊等流处理内容,但未披露各版本的具体改动与性能数据,因此这更像一张十月动向地图,而非版本优劣评测。