把一家连锁餐厅的订单分散记在多本账上,营业分析时就得重新汇总。TouchBistro 面对的是类似问题:业务数据分布在多个 PostgreSQL 分片——也就是为分摊压力而拆开的数据库实例——但分析团队需要把它们持续送进集中的 Amazon Redshift 数据仓库。
团队采用 CDC(Change Data Capture,变更数据捕获),只追踪新增、修改和删除的记录,不反复搬运整张表。Debezium 从 PostgreSQL 的事务日志捕获变化,再经 Kafka——传递和保存连续事件流的平台——送入后续流程,并由 Airflow 编排入仓任务。项目负责人称,这套生产管道每天处理数百万条记录;其价值不只在吞吐量,也在于补上了 Debezium 面对分片数据库、最终落入 Redshift 时较少见的真实工程案例。供稿未披露延迟、成本、故障恢复方式及不同方案的具体比较,因此暂时无法判断它是否适合其他规模和架构。