月末关账像核对一摞散落在不同抽屉里的账本:即使每次计算不慢,反复找数据、对口径也会拖很久。Obie Insurance原有的数据逻辑分散在四个代码仓库,调度方式各不相同,数据管道每天只运行一次。随着业务扩展,这套创业早期搭起的系统逐渐成了月结的瓶颈。
据dbt博客转述Obie数据团队的分享,他们没有继续修补旧系统,而是把数据加工逻辑合并进一个dbt项目,并用Apache Iceberg重建Lakehouse(兼顾数据湖的灵活存储与数据仓库的可靠查询)。其中关键一招是dbt State——记录项目版本间的变化,只重建改动及受影响的部分,避免整套流程反复重跑。团队称,模型复用节省了约40%的成本,生产构建成功率达到99%;收入运营团队的月结则从超过25小时缩短到约2小时。这些效果数字均来自团队自述,材料未披露月结各环节分别节省了多少时间。