像搬一整仓库的货,最让人崩溃的不是慢,而是快搬完时出错,只能从头再来。7 月 13 日,一名 Reddit 用户称,自己要在 RAM(运行时临时存放数据的内存)和算力受限的条件下处理、迁移数百万行数据,涉及数据关联、筛选和窗口计算。每次 DAG——按依赖关系安排任务的工作流——失败,都意味着漫长的反馈周期重新开始。
据 Reddit 讨论,较受支持的建议是先拿一小部分数据反复测试,确认结果正确后再扩大规模。其他回复还建议排查系统限制、及时释放内存、尽量流式处理,并把数据分批写入暂存表。更稳妥的管线还应预先考虑检查点——保存进度以便断点续跑——以及幂等性,即任务重复执行也不会重复写入或累计。帖子没有披露具体编排器、数据库和报错,因此这里更值得记住的不是某个修复技巧,而是:失败恢复本身就该成为管线设计的一部分。