机器学习任务坏掉，往往不像改错一行代码那么简单：训练可能突然耗尽内存，也可能因为某台机器变慢，让整个任务一直卡着。BrokenML把这类现场故障做成可复现的考题，测试Agent不仅能否提出补丁，还能否真正修好运行环境。
基准覆盖两类工作负载：一类是在双节点Slurm集群上运行的PyTorch分布式训练——也就是让多台机器协同训练；另一类是在Docker Compose中运行的llama.cpp服务。故障包括不同节点的数据形状不匹配、通信挂起、内存不足、模型检查点损坏、调度异常、服务吞吐低和训练损失悄悄跑偏。独立验证器会在全新集群中重跑方案，避免只凭“补丁看起来合理”判分。
九个模型分别拿到三档权限：只看配置和代码、再加实时只读日志，或直接获得集群root权限。作者观察到，开放与闭源模型的主要差距，反而集中在权限最低的一档：谁能仅凭配置和代码定位问题。这个设计让评测追问一个更现实的问题——Agent的能力究竟来自推理，还是来自更大的系统权限。结果仍需谨慎看待：实验只用了CPU与Gloo通信，每个模型在每道题上也只运行了一次。