一场训练可能连续跑几周，还要调动数百块 GPU。它像一队绑在一起前进的人：只要一块 GPU、一个高速网卡或一段连接服务器的网络互连出故障，所有参与者都可能停下。规模越大，这类局部故障越难避免；若每次都靠工程师排查并重跑，时间和算力都会被浪费。
Netflix Technology Blog 介绍了一套面向大型训练与推理任务的可靠性方案：在任务开始前和运行期间检测异常硬件，自动修复或隔离坏机器，并让长任务在损失一台机器后仍能继续。故障隔离，就是把问题节点从可调度资源池摘掉，避免它反复拖垮后续任务。这项工作的意义不在于保证硬件永不出错，而是让平台把故障当作日常情况处理。文章称该方案运行在 Netflix 的 Kubernetes 原生计算平台上；现有材料未披露检测准确率、恢复耗时或额外算力开销。