Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.116 — 2026-10-28
NEWS 约 1 分钟

月结25小时,湖仓重建后只要2小时

Obie重建湖仓并用dbt State减少重复计算,月结由超25小时缩至约2小时。

IMAGE — dbt Blog

月末关账像核对一摞散落在不同抽屉里的账本:即使每次计算不慢,反复找数据、对口径也会拖很久。Obie Insurance原有的数据逻辑分散在四个代码仓库,调度方式各不相同,数据管道每天只运行一次。随着业务扩展,这套创业早期搭起的系统逐渐成了月结的瓶颈。

据dbt博客转述Obie数据团队的分享,他们没有继续修补旧系统,而是把数据加工逻辑合并进一个dbt项目,并用Apache Iceberg重建Lakehouse(兼顾数据湖的灵活存储与数据仓库的可靠查询)。其中关键一招是dbt State——记录项目版本间的变化,只重建改动及受影响的部分,避免整套流程反复重跑。团队称,模型复用节省了约40%的成本,生产构建成功率达到99%;收入运营团队的月结则从超过25小时缩短到约2小时。这些效果数字均来自团队自述,材料未披露月结各环节分别节省了多少时间。


供稿材料 SOURCES — 1

← 返回 2026-10-28 · 数据板块