Amazon SageMaker HyperPod 引入工作负载恢复与扩展基础设施检查功能

公司动态 AWS 机器学习 原文语言:英文

即使每个节点看起来都健康,大型训练任务也可能会失败。

全文

在 Amazon SageMaker HyperPod 上引入工作负载恢复和扩展的基础设施检查

大型训练作业即使在每个节点看起来健康时也可能失败。带有细微故障的 GPU 可以通过其压力测试,却仍返回错误的数值。当作业因 NCCL 超时而卡住时,它仍占用 GPU,且 Slurm 仍显示其为运行状态。如果某节点上的设备插件崩溃,作业会以从未提及插件的错误失败。团队通常只有在损失发散或作业失败后才发现这些问题,此时计算资源已被消耗。这些失败都会降低 goodput,即集群时间中用于有效训练的比例。今天,我们在 Amazon SageMaker HyperPod 上推出工作负载恢复和基础设施检查,能够更早捕获这些失败,提高训练工作负载的 goodput。

SageMaker HyperPod 已经能够处理报告硬件故障的节点。健康监控代理(HMA)会监视每个节点的 GPU 错误,深度健康检查在节点供应期间测试节点,自动节点恢复会重启或更换故障硬件。这些功能一次只检查单个节点的硬件,无法判断 GPU 是否正确训练、作业是否仍在进展,或作业依赖的 Kubernetes 组件是否正常工作。

在本文中,我们将逐一介绍这三项新能力,它们能够捕获这些失败。对于每项功能,我们会展示如何设置以及在发现问题时的报告方式:

MultiNodeTrainingValidation 是针对由 Amazon Elastic Kubernetes Service(Amazon EKS)编排的 HyperPod 集群的新深度健康检查。当 HyperPod 供应实例,或您按需运行检查时,它会在该实例上以及同类型的其他实例之间训练一个小模型。如果损失出现 NaN 或无穷大,或训练未在规定时间内完成,则实例检查失败。

HyperPod Kubernetes 资源监控代理监视 EKS 集群的 Kubernetes 层,检测诸如设备插件崩溃循环、缺失 DaemonSet、以及被污点标记的节点等问题。当作业失败时,它会将涉及的 pod 和节点作为 Kubernetes 事件以及 Amazon CloudWatch 日志报告。

挂起作业检测能够发现已停止进展的 Slurm 作业。每个节点上的代理监视作业的输出和 GPU 活动,或您定义的日志模式。它会向 CloudWatch 写入事件,并可取消作业,使 Slurm 将其重新排队。

仅节点健康不足以解决问题的原因

现有的 HyperPod 弹性功能一次只检查单个节点。健康监控代理(HMA)监视每个节点的 GPU 错误,如 Xid 和 NVLink 故障、弹性网络适配器(EFA)错误以及内核错误。InstanceStress 深度健康检查运行 DCGM 4 级诊断,测试每个实例的 GPU、GPU 内存、NVLink 和 EFA 设备。InstanceConnectivity 检查在 GPU 实例之间运行 NCCL 测试,或在 AWS Trainium 上运行 NCCOM 测试。总体而言,这些检查确认每个节点的硬件工作正常,但它们无法显示 GPU 是否正确计算、作业是否仍在进展,或集群的 Kubernetes 组件是否健康。以下三类失败会逃过这些检查:

数值故障——GPU 可以通过所有硬件测试,却仍计算出错误结果。最初的迹象通常是在生产运行中出现 NaN 或无穷大的损失。Meta 将其在 54 天 Llama 3 405B 预训练运行中的 419 次意外中断的 6 次归因于静默数据损坏(《Llama 3 模型群》)。

挂起作业——NCCL 超时、数据管道停滞或死锁可能导致作业停止但不结束。作业仍占用其 GPU 和显存,Slurm 会一直报告其为运行状态,直到有人检查损失曲线或日志。

集群级别故障——某些故障发生在 Kubernetes 层,而非节点硬件。设备插件崩溃循环、必需的 DaemonSet 在新节点上未启动,或不同节点上的 rank 在 NCCL 集体操作中步调不一致。HMA 只检查单个节点,因此看不到这些问题。当作业失败时,错误信息往往未指明是哪个 pod 或节点导致的。

解决方案概览

每个功能涵盖了训练运行中的不同时间点。MultiNodeTrainingValidation 在配置实例时或按需运行,以确认其 GPU 能够正常训练。僵尸任务检测(Hung job detection)与每个 Slurm 任务并行运行,用于捕获停止进展的任务。HyperPod Kubernetes 资源监控代理(HyperPod Kubernetes Resource Monitoring Agent)持续监控集群,并在任务失败时报告所涉及的 Pod 和节点。下表总结了这三个功能。

功能 捕获的内容 运行时间 适用平台

MultiNodeTrainingValidation 深度健康检查 通过硬件检查的 GPU 上出现的 NaN 或无限损失(loss),或未能在规定时间内完成的训练 在创建或更新实例时,或按需运行 支持 EFA 的 NVIDIA GPU 实例上的 EKS 集群

HyperPod Kubernetes Resource Monitoring Agent 节点状态变化、Pod 和 DaemonSet 失败,以及包含相关 Pod 和节点的失败训练任务。针对选择加入的任务的 NCCL 通信状态 持续运行 EKS 集群

Hung job detection 停止进展但未退出的任务 在每个任务运行期间运行 Slurm 集群

Hung job detection 是针对 Slurm 集群的新功能。在 EKS集群上,HyperPod 已经可以检测通过 HyperPod 训练运算符运行的僵尸任务,并且 Ray Train 任务默认具备僵尸任务检测功能。我们在僵尸任务检测部分对这两种选项进行了说明。

每个功能都针对不同来源的有效吞吐量(goodput)损失。调度有效吞吐量是指作业所需的所有资源均可用的时间占比。运行时有效吞吐量是指作业在此期间取得进展的时间占比。程序有效吞吐量是指作业获得的硬件峰值性能占比。下表展示了每个功能的效果。

功能 调度有效吞吐量 运行时有效吞吐量 程序有效吞吐量

MultiNodeTrainingValidation 未通过训练测试的实例会被打上标签,并在启用自动节点恢复功能的情况下被替换,从而避免作业在产生无效输出的硬件上启动 减少因故障 GPU 导致的 NaN 或无限损失而丢失的生产运行 标记训练未能在时间限制内完成的实例

HyperPod Kubernetes Resource Monitoring Agent 报告丢失 GPU 或 EFA 设备的节点、丢失的设备插件以及污点(taints),以便您更快地恢复容量 指出失败任务背后的 Pod 和节点,以便您更快地找到原因并重新启动 无直接影响

Hung job detection 无直接影响 在几分钟(而不是几小时)内标记出僵尸任务,并可将其取消以便 Slurm 重新排队 无直接影响

考虑一个在 32 个 ml.p5.48xlarge 实例(256 个 NVIDIA H100 GPU)上运行的预训练任务。如果任务在凌晨 1:00 挂起,且直到上午 9:00 才被任何人发现,它就会浪费 256 个实例小时或 2,048 个 GPU 小时。按照美国东部(弗吉尼亚北部)地区 SageMaker HyperPod 按需价格约每实例小时 66 美元计算,此次挂起成本约为 16,900 美元。通过 15 分钟的僵尸任务检测规则,HyperPod 会取消停滞的任务,Slurm 会将其重新排队。挂起成本约为 530 美元,从而节省了约 16,400 美元。

通过 MultiNodeTrainingValidation 深度健康检查验证训练正确性

MultiNodeTrainingValidation 深度健康检查会训练一个固定的、已知正常的负载,首先在每个实例上进行,然后在实例之间进行。它能够捕获那些通过了 InstanceStress(实例压力)和 InstanceConnectivity(实例连接)测试,但在共同训练时却产生 NaN 或无限损失的 GPU。如果某个实例失败,HyperPod 会将其标记为失败,并在开启自动节点恢复功能的情况下重新启动或替换它。当该检查在配置期间运行时,这一过程会在您的作业使用该实例之前发生。

工作原理

MultiNodeTrainingValidation 在深度健康检查运行中添加了两项测试:

Tiny Megatron 测试:在每个实例的所有 GPU 上运行一个简短的 Megatron-LM 训练。

Megatron 测试:在同类型的实例之间运行相同的负载,通过 EFA 进行通信。

如果训练损失变为 NaN 或无限,或者训练未能在时间限制内完成,则任一测试都会使实例失败。由于负载是固定的,因此失败指向的是硬件,而不是模型或代码的更改。

下表展示了它与其他深度健康检查的配合方式。

检查 运行内容 捕获内容

InstanceStress GPU 和 NVLink 数量、DCGM 4 级诊断以及 EFA 延迟和带宽测试(Trainium 上的 Neuron 测试) 缺失、故障或不稳定的硬件

InstanceConnectivity NCCL 测试跨 GPU 实例(NCCOM 在 Trainium 上) 实例之间的通信缓慢或中断

MultiNodeTrainingValidation 在每个实例上运行 Tiny Megatron 测试,在实例之间运行 Megatron 测试 GPU 能运行但训练不正确:出现 NaN 或无限 loss,或训练未在规定时间内完成

先决条件

您需要以下内容:

一个由 Amazon EKS 编排的 Amazon SageMaker HyperPod 集群。

一个支持 EFA 的 NVIDIA GPU 实例类型的实例组,例如 ml.p5.48xlarge。Megatron 测试在相同类型的实例之间运行。

为实例组启用 MultiNodeTrainingValidation

HyperPod 在创建或更新实例时会执行深度健康检查。要包含 MultiNodeTrainingValidation,请在传递给 create‑cluster 或 update‑cluster 的实例组配置的 OnStartDeepHealthChecks 中添加它。我们打开了全部三项检查:

{ "InstanceGroupName": "", "InstanceType": "ml.p5.48xlarge", "InstanceCount": 2, "LifeCycleConfig": { "SourceS3Uri": "s3:///", "OnCreate": "on_create.sh" }, "ExecutionRole": "arn:aws:iam:::role/", "OnStartDeepHealthChecks": [ "InstanceStress", "InstanceConnectivity", "MultiNodeTrainingValidation" ] }

要确认设置,请运行以下命令:

aws sagemaker describe-cluster \ --cluster-name <cluster-name> \ --query "InstanceGroups[?InstanceGroupName=='<group-name>'].OnStartDeepHealthChecks"

输出列出了这三项检查:

[ [ "InstanceStress", "InstanceConnectivity", "MultiNodeTrainingValidation" ] ]

按需运行 MultiNodeTrainingValidation

您也可以检查已经在集群中的实例,例如在长时间的预训练运行之前。使用 StartClusterHealthCheck API:

aws sagemaker start-cluster-health-check \ --cluster-name <cluster-name> \ --deep-health-check-configurations \ '[{"InstanceGroupName": "<group-name>", "DeepHealthChecks": ["MultiNodeTrainingValidation"]}]'

若要检查特定实例而不是整个组,请在配置中添加 "InstanceIds": [...]。

检查结果

HyperPod 会将每个测试的单行日志写入您集群的 CloudWatch 日志组 /aws/sagemaker/Clusters/<cluster-name>/ 下的 DeepHealthCheckResults/ 日志流。以下是我们在两台 ml.p5.48xlarge 实例上运行时的日志流。TINY_MEGATRON 和 MEGATRON 是两个 MultiNodeTrainingValidation 测试:

2026-11-11T10:58:33Z 深度健康检查配置验证通过 2026-11-11T11:01:41Z 2/2 节点通过 HARDWARE_CHECK 测试。实例 ID: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002] 2026-11-11T12:16:07Z 2/2 节点通过 DCGM 测试。实例 ID: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002] 2026-11-11T12:17:14Z 2/2 节点通过 EFA 测试。实例 ID: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002] 2026-11-11T12:21:16Z 2/2 节点通过 TINY_MEGATRON 测试。实例 ID: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002] 2026-11-11T12:22:25Z 0 节点在批大小 2 时 NCCL 测试失败。实例 ID: [] 2026-11-11T12:22:29Z 2/2 节点通过 NCCL 测试。实例 ID: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002] 2026-11-11T12:26:31Z 0 节点在批大小 2 时 MEGATRON 测试失败。实例 ID: [] 2026-11-11T12:26:31Z 2/2 节点通过 MEGATRON 测试。实例 ID: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]

运行结束后,每个实例会将结果作为节点标签保存:

kubectl get nodes \ -l sagemaker.amazonaws.com/instance-group-name=<group-name> \ -L sagemaker.amazonaws.com/deep-health-check-status NAME STATUS ROLES AGE VERSION DEEP-HEALTH-CHECK-STATUS hyperpod-i-0a1b2c3d4e5f60001 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed hyperpod-i-0a1b2c3d4e5f60002 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed

有关训练细节,请在实例上读取 /var/log/aws/clusters/sagemaker-deep-health-check.log,例如通过 AWS Systems Manager 会话。在运行 rank 0 的实例上,日志以 Megatron 测试的摘要结束:

收敛测试通过 完成 300 次训练迭代,耗时 161.5 秒 训练前向步数: 300 评估前向步数: 20 总前向步数: 320 最终训练 loss: 3.6213 初始训练 loss: 11.5671 Loss 减少量: 7.9458 每秒训练迭代数: 1.86

另一实例的日志为每次迭代记录一行,包含 loss 和 NaN 迭代计数:

iteration 300/ 300 | consumed samples: 9600 | elapsed time per iteration (ms): 509.5 | learning rate: 1.000E-04 | global batch size: 32 | lm loss: 3.397480E+00 | loss scale: 1.0 | grad norm: 1.386 | number of skipped iterations: 0 | number of nan iterations: 0 |

在我们的运行中,损失从 11.57 降至 3.62,历时 300 次迭代,期间没有出现 NaN 或跳过的迭代,每次迭代约 507 毫秒,使用 16 块 H100 GPU。

MultiNodeTrainingValidation 耗时多久

在我们的双节点集群上,完整的深度健康检查在实例完成生命周期脚本后耗时 1 小时 28 分钟。DCGM 4 级诊断占用了大部分时间。两个 MultiNodeTrainingValidation 测试额外增加约 8 分钟。实例在检查完成之前无法接受工作负载,因此在添加容量时请预留这段额外时间。

测试 检查 时间 自上一次结果以来

HARDWARE_CHECK InstanceStress 3 分钟

DCGM(level 4) InstanceStress 74 分钟

EFA InstanceStress 1 分钟

TINY_MEGATRON MultiNodeTrainingValidation 4 分钟

NCCL InstanceConnectivity 1 分钟

MEGATRON(2 实例) MultiNodeTrainingValidation 4 分钟

请记住,MultiNodeTrainingValidation 使用固定的参考工作负载测试硬件。通过表示实例能够正确训练该工作负载,但并不保证您的作业能够收敛。我们建议在新容量、替换实例以及长时间预训练之前运行此测试。

使用 HyperPod Kubernetes 资源监控代理捕获集群级别故障

HMA 监控每个节点的硬件,但许多导致训练作业停止的故障发生在 Kubernetes 中。设备插件可能会出现 crash-loop,直到其节点停止向调度器提供 GPU,或者污点会驱逐作业的 pod。作业错误很少指明涉及的 pod 或节点,工程师只能通过 kubectl 输出、每个 rank 的日志和时间戳拼凑出发生了什么。

HyperPod Kubernetes 资源监控代理从集群中的一个位置监视这些资源。出现故障时,它会告诉您哪些变化以及受影响的节点、pod 和作业。它通过 Kubernetes 事件和结构化的 CloudWatch 日志进行报告。代理仅负责报告,不会重启节点或重新启动作业,因为原因可能出在工作负载本身。HMA 和 HyperPod 节点恢复仍然处理硬件故障,HyperPod 训练运营商仍然处理作业重启。

代理的工作原理

该代理以单个 pod 的形式在每个集群的 aws-hyperpod 命名空间中运行,优先使用 CPU 节点,因此不占用 GPU 资源。它监视以下内容:

节点:代理报告以下变化:

状态变化,例如 NotReady 或内存、磁盘、PID 压力。

可分配的 GPU 或 EFA 设备数量减少。

丢失 NVIDIA 能力标签。

添加、修改或移除污点。

缺少 HyperPod 标签。

关键基础设施 pod:kube-system、aws-hyperpod 和 kubeflow 中的 DaemonSet pod,以及训练运营商的控制器。代理报告 crash-loop、重启、容器错误以及保持未就绪状态的 pod。

DaemonSet:缺失或没有可用 pod 的必需 DaemonSet、卡住的 rollout,以及运行在不再允许其存在的节点上的 pod。

训练作业:HyperPodPyTorchJob、Kubeflow PyTorchJob(v1)和 Kubeflow TrainJob(v2)。作业失败时,代理记录作业的 pod 和节点的失败原因。

NCCL 通信:对于选择加入的作业,读取 NCCL 内置的可靠性、可用性和可维护性(RAS)子系统,报告作业的 NCCL 通信器状态。

代理在两个地方报告发现的情况:

受影响的节点、pod、DaemonSet 或作业的 Kubernetes 事件。Warning 事件标记问题,Normal 事件标记恢复。您可以使用 kubectl get events 和 kubectl describe 查看。

集群的 CloudWatch 日志组中的结构化 JSON 日志,在 Kubernetes 事件过期后仍保留历史记录。

以下表格列出了您最可能看到的事件。

事件原因 触发条件

TrainingJobFailed HyperPodPyTorchJob 或 Kubeflow 作业失败。消息包含来自作业运营商的失败原因。

CriticalPodCrashLoop、CriticalPodRestarted 设备插件、HMA 或其他关键 pod 出现 crash-loop 或重启。

NecessaryDaemonSetMissing 您声明为必需的 DaemonSet 缺失或没有可用 pod。

NodeResourceDegraded 节点的可分配 GPU 或 EFA 设备下降或消失。

NodeConditionDegraded 节点变为 NotReady 或报告内存、磁盘、PID 压力。

NodeTaintAdded、NoExecuteTaintApplied 节点被添加污点。对于 NoExecute 污点,日志列出可能被驱逐的 pod 和作业。

DaemonSetMisscheduled DaemonSet pod 正在运行在不再允许它们存在的节点上。

NodeRecovered, PodRecovered, DaemonSetRecovered:先前报告的问题已解决。

有关事件的完整列表,请参阅文档。

先决条件

您需要满足以下条件:

一个由 Amazon EKS 编排的 SageMaker HyperPod 集群。

对于现有集群,需要具有集群的 kubectl 和 Helm 访问权限,以及来自 sagemaker-hyperpod-cli 仓库的 HyperPod Helm chart。

训练容器中需要安装 NCCL 2.24 或更高版本(如果您想监控 NCCL 通信)。

安装并验证代理

如果您的集群已在使用 HyperPod Helm chart,请先应用代理的自定义资源定义(CRD),因为 Helm 在升级期间不会安装 CRD。然后开启代理并升级发布版本:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git cd sagemaker-hyperpod-cli/helm_chart helm dependencies update HyperPodHelmChart kubectl apply \ -f HyperPodHelmChart/charts/hyperpod-kubernetes-resource-monitor/crds/ helm upgrade dependencies HyperPodHelmChart \ --namespace kube-system \ --reset-then-reuse-values \ --set hyperpod-kubernetes-resource-monitor.enabled=true \ --set hyperpod-kubernetes-resource-monitor.region=

此次升级还将 chart 中的其他 HyperPod 组件(例如 HMA 和设备插件)移动到 chart 的当前版本。若要首先查看将发生哪些更改,请使用 --dry-run=server 运行相同的命令。

检查代理是否正在运行以及其健康报告是否存在:

kubectl get deployment \ -n aws-hyperpod \ hyperpod-kubernetes-resource-monitoring-agent kubectl get hyperpodkrmaconfigs default -o yaml

健康报告列出了代理跟踪的 HyperPod 组件(例如 HMA)及其状态上次更改的时间:

status: components: - name: DaemonSet/aws-hyperpod/health-monitoring-agent since: "2026-11-10T16:47:57Z" status: Healthy instances: [] lastReportTime: "2026-11-10T17:19:36Z"

默认情况下,HMA 是唯一的必需 DaemonSet。如果您的集群使用了来自 HyperPod Helm chart 的设备插件,请将其添加,以便代理报告缺失的插件。同时添加运行训练作业的命名空间,以便它能够将 Pod 故障与其作业关联起来。每个列表都会替换其默认值,因此请保留默认条目。将以下内容保存为 krma-values.yaml:

hyperpod-kubernetes-resource-monitor: monitoring: monitoredNamespaces: - aws-hyperpod - kube-system - default - kubeflow - ml-team-a necessaryDaemonsets: - name: health-monitoring-agent namespace: aws-hyperpod - name: dependencies-nvidia-device-plugin namespace: kube-system - name: dependencies-aws-efa-k8s-device-plugin namespace: kube-system

然后应用它:

helm upgrade dependencies HyperPodHelmChart \ --namespace kube-system \ --reset-then-reuse-values \ -f krma-values.yaml

查看代理报告的内容

为了解 HyperPod Kubernetes 资源监控代理如何处理基础设施故障,我们在 aws-hyperpod 中部署了一个小型 DaemonSet,将其固定到一个节点上,并使其在启动几秒钟后退出。它的行为类似于发生崩溃循环(crash-looping)的设备插件,但不会触及真实的插件。几秒钟内,代理就在 Pod 和 DaemonSet 上引发了事件:

kubectl get events -A \ --field-selector source=hyperpod-kubernetes-resource-monitoring-agent NAMESPACE TYPE REASON OBJECT MESSAGE aws-hyperpod Warning CriticalPodRestarted pod/demo-plugin-4wsqw Critical infrastructure pod container crash restarted (count: 2) aws-hyperpod Warning CriticalPodCrashLoop pod/demo-plugin-4wsqw Critical infrastructure pod container crash in CrashLoopBackOff aws-hyperpod Warning DaemonSetMisscheduled daemonset/demo-plugin DaemonSet has 1 misscheduled pods

接下来,我们运行了一个双节点的 HyperPodPyTorchJob,并使其中一个 rank 在训练期间退出。代理在该作业上引发了 TrainingJobFailed 事件:

NAMESPACE TYPE REASON OBJECT MESSAGE ml-team-a Warning TrainingJobFailed hyperpodpytorchjob/llama-pretrain Training job HyperPod PyTorchJob failed: Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb: A training worker process has crashed: Local Rank 0 exited ...

它还将故障以及涉及的 Pod 和节点写入了 CloudWatch,因此您无需从作业的 Pod 列表中查找它们:

{"level":"warn","msg":"=== Job Failure Detected ===","component":"HyperpodPyTorchJob", "job":"llama-pretrain","namespace":"ml-team-a","type":"HyperPod PyTorchJob", "reason":"Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb: A training worker process has crashed ..."} {"level":"warn","msg":"Affected Pods","component":"HyperpodPyTorchJob", "pods":["llama-pretrain-pod-7dc7c-nh5gb","llama-pretrain-pod-7dc7c-f9dmg"]} {"level":"warn","msg":"Affected Nodes","component":"HyperpodPyTorchJob", "nodes":["hyperpod-i-0a1b2c3d4e5f60001","hyperpod-i-0a1b2c3d4e5f60002"]}

代理程序将这些日志写入集群日志组 /aws/sagemaker/Clusters// 中,日志流名称为 SageMakerClusterMonitoringAgent//。当它移动到另一个节点时会启动一个新的日志流,因此请按日志流前缀进行过滤。有关示例查询,请参阅文档。

监控作业的 NCCL 通信

NCCL 2.24 及更高版本包含可靠性、可用性和可维护性 (RAS) 子系统,这是每个 NCCL 进程中的一个小型监听器,用于报告作业通信器的状态。对于选择加入的作业,代理程序每 30 秒从每个 Pod 读取一次该报告。

默认情况下,NCCL 将 RAS 监听器绑定到 Pod 内部的 localhost,代理程序无法访问它。要让作业选择加入,您需要将监听器绑定到 Pod IP。这使得端口 28028 在 Pod 网络上可访问,NVIDIA 的文档指出这具有安全隐患。在开启之前,请应用 Kubernetes NetworkPolicy,仅允许来自代理程序 Pod 的 TCP 端口 28028 流量,同时仍允许作业自己的 Pod 之间的流量。代理程序的文档包含一个示例策略。然后在训练容器中设置 NCCL_RAS_ADDR:

apiVersion: sagemaker.amazonaws.com/v1 kind: HyperPodPyTorchJob ... containers: - name: pytorch env: - name: POD_IP valueFrom: fieldRef: {fieldPath: status.podIP} - name: NCCL_RAS_ADDR # 仅在 NetworkPolicy 到位后设置 value: "$(POD_IP):28028"

要确认该设置,请通过 NCCL_DEBUG=INFO 和 NCCL_DEBUG_SUBSYS=INIT,RAS 启用 NCCL 调试日志记录。然后,每个 Rank 会记录 RAS 监听的地址:

[default3]:llama-pretrain-workers-6c7f5bb445-gxnsf:129:203 [3] NCCL INFO RAS client listening socket at 10.0.1.11<28028>

如果地址是 ::1 或 127.0.0.1,则说明未设置 NCCL_RAS_ADDR,并且代理程序无法访问监听器。

对于每个被监控的作业,代理程序将每个 Pod 的结果组合成一个作业级别的状态。当每个 Pod 都返回有效报告时,作业为健康状态;仅部分 Pod 返回时为降级状态;无 Pod 返回时为不健康状态。不健康通常意味着训练进程已停止。

代理程序在每个轮询周期后记录摘要。在运行两个 ml.p5.48xlarge 实例的测试中,每个周期都报告两个训练 Pod 均处于健康状态,间隔 30 秒:

{"level":"info","timestamp":"2026-11-12T07:14:27.163Z","msg":"NCCL RAS monitoring cycle completed","component":"nccl-ras-informer-llama-pretrain","duration":4.00535305,"total_endpoints":2,"healthy":2,"failed":0,"overall_status":"healthy"}

代理程序还将每个 RAS 报告写入 CloudWatch,以便您在作业仍在运行时发现通信器问题。在我们的测试中,我们让双节点作业的一个 Rank 停止调用 all_reduce。下一个轮询周期的报告显示通信器步调不一致,并指出了落后的 Rank、GPU、进程和节点:

Group Comms Nodes Ranks Ranks Ranks Status Errors # in group per comm per node per comm in group 0 1 2 1 2 2 RUNNING MISMATCH #0-0 (2958ae23ccc57a88) MISMATCH Communicator ranks have different AllReduce operation counts Rank 0 has launched up to operation 3078 -- GPU 0 managed by process 473 on node 10.0.1.11 Rank 1 has launched up to operation 3077 -- GPU 0 managed by process 474 on node 10.0.2.22

Rank 1 比 Rank 0 落后一个操作,因此从节点 10.0.2.22 上的 Rank 1 的 GPU 开始排查。

检测并恢复 HyperPod Slurm 集群上挂起的作业

训练作业可能会在不退出的情况下挂起。NCCL 超时、停滞的数据管道或死锁可能会让作业一直占用其 GPU,而 Slurm 仍然显示它正在运行。这种情况会一直持续下去,直到有人发现损失或日志停止变化。运行 Slurm 的团队通常会构建自己的看门狗脚本和警报来捕获这些作业,然后需要对其进行维护。

今天,我们为 SageMaker HyperPod Slurm 集群推出了卡死任务检测功能。它能够发现此类任务,向 CloudWatch 写入事件,并可以取消卡死的任务,以便 Slurm 将其重新放回队列中。您可以通过一个指向小型规则文件的环境变量为每个任务开启该功能。它不需要对您的训练脚本或容器进行任何修改,并且适用于 PyTorch、TensorFlow、JAX 以及自定义脚本。

卡死任务检测的工作原理

卡死任务检测作为代理(agent)运行在每个节点上,默认处于关闭状态。该代理仅监控将 HYPERPOD_HANG_RULES 环境变量设置为规则文件路径的任务。规则文件决定了代理如何检测卡死:

默认检测会监控任务的标准输出和 GPU 活动。当输出在较长时间内停止,而 GPU 处于闲置状态但仍占用内存时,它就会判定为卡死。这就是集合点卡死(rendezvous hang)的表现,即一个节点失败而其他节点在屏障(barrier)处等待。无论 GPU 在做什么,如果输出停止的时间更长,它也会判定为卡死。在我们的测试中,第一种情况在任务最后一次输出 15 分钟后触发。

自定义规则会监控您的日志中您选择的正则表达式。进度规则在诸如训练步数消息之类的行未能在超时时间内出现时判定为卡死。错误规则在出现诸如 NCCL 错误之类的行时立即判定为卡死。自定义规则会替换该任务的默认检测。

默认检测 自定义规则

通过 {“enabled”: true} 开启 一个或多个启用的 log_pattern 规则

当输出停止且 GPU 闲置但占用内存时判定卡死,或者输出停止更长时间 进度模式未在超时时间内出现,或者错误模式出现

会漏掉 保持 GPU 忙碌但没有进展的任务,例如陷入死循环的任务 您的模式未描述的卡死。如果模式持续匹配,即使 GPU 闲置也不会判定为卡死

当代理判定任务卡死时,它会向 CloudWatch 写入一个 HANG_DETECTED 事件。如果规则文件将操作设置为取消(cancel),代理还会取消该任务并由 Slurm 重新排队。若使用默认操作通知(notify),代理会写入事件但保持任务继续运行。

卡死任务检测独立于自动恢复(auto-resume),后者用于重启在硬件故障后退出的任务。自动恢复处理崩溃的任务,而卡死任务检测处理持续运行但没有进展的任务。

在由 Amazon EKS 编排的 HyperPod 集群上,HyperPod 已经在两种情况下检测卡死任务。HyperPod 训练操作器会根据任务规范中的规则检查每个 HyperPodPyTorchJob 的日志,并在任务卡死时重启任务。相同的规则还可以重启吞吐量下降或损失(loss)飙升的任务。您不需要为此使用 Ray。对于 Ray Train 任务,HyperPod 的 Ray 卡死任务检测默认会监控每个工作节点,无需对代码进行任何更改。

前提条件

您需要满足以下条件:

一个由 Slurm 编排的 SageMaker HyperPod cluster集群。

在 2026 年 11 月 10 日或之后发布的 HyperPod Slurm AMI,其中包含卡死任务检测功能。在该日期或之后创建的集群已经具备此功能。要在不更新的情况下检查现有集群,请在集群节点上运行 srun --help。如果输出列出了 --no-hang-detection,则该集群支持卡死任务检测。如果没有,请先更新集群软件。更新会替换每个实例的根卷,因此请在更新前备份存储在那里的任何内容。

一个规则文件,任务中的每个计算节点都可以在相同的路径读取该文件。代理会从每个节点上的该路径读取文件。诸如 Amazon FSx for Lustre 或 Amazon Elastic File System (Amazon EFS) 等共享存储是一个直接的选择。要将规则文件保存在 Amazon Simple Storage Service (Amazon S3) 中,请将它们复制到每个节点的相同路径,例如在您的生命周期脚本中。如果您计划使用诸如 /opt/slurm 之类的目录,请先确认它在节点之间是共享的,而不是每个节点本地独有的。

开启卡死任务检测

在共享存储上创建一个规则文件。最简的有效文件即可开启默认检测:

echo '{"enabled": true}' > /fsx/my-project/rules.json chmod 600 /fsx/my-project/rules.json

代理使用作业指向的任何规则文件,并且不检查其所有者。任何能够编辑该文件或在其目录中替换它的人,都可以更改使用该文件的每个作业的检测行为,包括让代理取消这些作业。示例中的chmod 600将个人规则文件保持为仅所有者可见。对于团队共享的文件,使用chmod 644,使团队可以读取,而只有维护者可以编辑。两种情况下,都应将父目录的写权限仅限所有者,以防止他人替换文件。

然后在提交作业时指向规则文件:

#!/bin/bash #SBATCH --job-name=llama-pretrain #SBATCH --nodes=4 #SBATCH --export=ALL,HYPERPOD_HANG_RULES=/fsx/my-project/rules.json srun python train.py

要为多个作业使用同一个规则文件,也可以在 shell 配置文件或站点范围的配置脚本中设置 HYPERPOD_HANG_RULES。

当受监控的作业启动时,其输出的前几行会显示代理已注册该作业:

[Auto Resume] Info: [hang_detection] Exported stdout path for job 1: /fsx/my-project/llama-pretrain-1.out [Auto Resume] Info: [hang_detection] Registered job step: job=1 step=0 node=ip-10-1-40-47

这些行在规则文件无效时也会出现,因此请在 CloudWatch 中检查 CONFIG_ERROR 事件,如下一节所述。

添加自定义规则以跟踪训练进度

默认检测无法捕捉 GPU 持续忙碌但没有进展的作业,因此我们建议至少使用一条监控训练步骤或 epoch 的规则。以下规则文件会在 45 分钟内没有 epoch 完成,或一出现 NCCL 错误时取消作业:

{ "enabled": true, "rules": [ { "name": "epoch_progress", "type": "log_pattern", "enabled": true, "log_pattern": "Epoch \\d+/\\d+ complete", "start_timeout_minutes": 30, "timeout_minutes": 45, "stop_pattern": "Training complete" }, { "name": "nccl_error", "type": "log_pattern", "enabled": true, "log_pattern": "NCCL error", "fault_on_match": true } ], "action_policy": { "action": "cancel" } }

字段说明如下:

将每条规则的 enabled 设置为 true。规则默认是关闭的。

start_timeout_minutes 表示作业在首次出现模式之前可以运行的时间。请将其设置为比作业加载模型、编译和恢复检查点所需的时间更长。

timeout_minutes 表示在首次出现模式后,模式可以持续缺失的时间。请将其设置为比正常的最长间隔(包括检查点保存和评估)更长。

stop_pattern 在匹配时关闭规则,以免在训练结束后仍被标记。

fault_on_match 将匹配标记为错误模式。一次匹配即表示作业挂起。

默认情况下,代理读取作业的 Slurm 输出文件。若要监控其他文件,请设置 monitoring.log_file。为减少误报,可在规则上设置 metric_evaluation_data_points,使连续多次 10 秒检查失败后才判定为挂起。规则文件最多可包含 20 条规则,且大小不超过 1 MB。

在调试超时和模式时,先使用 "action": "notify",确认事件对应真实挂起后再切换为 cancel。

在 CloudWatch 中查看挂起作业检测事件

HyperPod 将控制节点的检测事件写入集群的 CloudWatch 日志组 /aws/sagemaker/Clusters//,流名为 SageMakerHangJobDetectionEvents//。每个作业的事件都会写入该流,无论作业运行在哪个节点。要查找特定作业的事件,可按作业 ID 过滤:

aws logs filter-log-events \ --log-group-name /aws/sagemaker/Clusters// \ --log-stream-name-prefix SageMakerHangJobDetectionEvents/ \ --filter-pattern '{ $.job_id = "12345" }'

我们在一个包含两台 ml.p5.48xlarge 实例的 HyperPod Slurm 集群上测试了每种检测方法。第一个测试作业分配了 GPU 内存后停止输出。默认检测在其最后一次输出后 15 分钟标记为挂起:

{ "time": "2026-11-12T16:49:36.39710952Z", "level": "INFO", "msg": "HANG_DETECTED", "event_type": "HANG_DETECTED", "job_id": "1", "step_id": "0", "node": "ip-10-1-40-47", "evidence": "stdout stale for 15 min and GPU idle with memory allocated", "layer": "signal_evaluator", "detected_at": "2026-11-12T16:49:36.378940227Z", "job_action": "notify", "config_source": "per_job_env_var" }

layer 字段显示了触发的方法:signal_evaluator 用于默认检测,或 pattern_evaluator 用于自定义规则。在第二个测试中,一个带有 2 分钟超时的进度规则在作业最后一步后 2 分钟触发。在第三个测试中,一个错误规则在大约作业打印出 NCCL 错误行后一秒钟触发。由于该规则文件使用了 cancel,代理还写入了一个 HANG_ACTION_TAKEN 事件以及 Slurm 采取的操作(我们省略了 time、level 和 msg 字段):

{"event_type":"HANG_DETECTED","job_id":"3","step_id":"0","node":"ip-10-1-40-47","evidence":"rule \"nccl_error\": fault pattern matched immediately","layer":"pattern_evaluator","detected_at":"2026-11-12T16:34:41.870908329Z","job_action":"cancel","config_source":"per_job_env_var"} {"event_type":"HANG_ACTION_TAKEN","job_id":"3","action":"requeue","node":"ip-10-1-40-47","instance_id":"i-0a1b2c3d4e5f60001"}

Slurm 将作业放回队列中,重新排队的运行在大约 2.5 分钟后开始。sacct 显示了两次运行:

$ sacct --duplicates -X -j 3 --format=JobID,State,Restarts,Start,End JobID State Restarts Start End ----------- --------- ------- ------------------- ------------------- 3 REQUEUED 0 2026-11-12T16:34:25 2026-11-12T16:34:41 3 COMPLETED 1 2026-11-12T16:37:10 2026-11-12T16:37:26

Slurm 重新排队作业的次数最高可达集群的 MaxBatchRequeue 限制,在我们集群上该限制为 5。使用 #SBATCH --no-requeue 提交的作业报告的是 "action": "cancel" 并且保持取消状态。对于 notify,则没有 HANG_ACTION_TAKEN 事件。代理在 HANG_DETECTED 之后会跟随一条记录,说明已发送挂起通知,未采取自动操作。

如果规则文件缺失或无效,代理将不会监控该作业,而是写入一个 CONFIG_ERROR 事件。以下是针对具有 JSON 语法错误的规则文件的事件:

{"event_type":"CONFIG_ERROR","job_id":"5","node":"ip-10-1-40-47","config_path":"/fsx/my-project/rules.json","error":"config file found but failed to load: load failed: invalid JSON in config file /fsx/my-project/rules.json: unexpected end of JSON input","message":"Hang detection rules file is invalid and will not be applied. Please fix the rules file and resubmit your job."}

作业在没有监控的情况下运行至完成,sbatch、squeue 或作业输出中均无任何内容显示。在将规则文件用于生产作业之前,请使用简短的作业测试新的规则文件并检查此事件。

使用 notify 时,作业将持续运行,直到有人对该事件采取操作。若要获取警报,请为 HANG_ACTION_TAKEN 事件创建一个 CloudWatch 指标筛选器,以及一个向 Amazon Simple Notification Service (Amazon SNS) 主题发送通知的警报:

aws logs put-metric-filter \ --log-group-name /aws/sagemaker/Clusters// \ --filter-name hung-jobs \ --filter-pattern '{ $.event_type = "HANG_DETECTED" }' \ --metric-transformations \ metricName=HungJobsDetected,metricNamespace=HyperPod/HungJobs,metricValue=1

关闭挂起作业检测

要关闭原本会继承 HYPERPOD_HANG_RULES 的作业的检测,请在 srun 中添加 --no-hang-detection,或者在 sbatch 中添加以涵盖作业中的每个步骤。要关闭使用规则文件的每个作业的检测,请在文件中设置 "enabled": false。正在运行的作业保持其当前设置,更改适用于您之后提交的作业。

srun --no-hang-detection python train.py

结论

节点健康对于可靠的分布式训练至关重要,但它并不能提供工作负载健康的完整图景。MultiNodeTrainingValidation 可以检测通过硬件诊断但产生无效训练结果的实例。HyperPod Kubernetes 资源监控代理将 Kubernetes 基础设施故障与所涉及的作业、Pod 和节点连接起来。挂起作业检测可识别在停止推进后依然保持活跃的 Slurm 作业,并能自动将其返回队列。

这些功能共同帮助您更早地检测故障、缩短调查时间,并通过减少浪费在无法取得有效进展的工作负载上的 GPU 时间来提高有效吞吐量 (goodput)。在添加或重新验证容量时请使用 MultiNodeTrainingValidation,在支持的 Amazon EKS 集群上持续运行 HyperPod Kubernetes 资源监控代理,并在切换到自动取消之前以 notify 模式开始挂起作业检测。若要开始使用,请参阅适用于 Amazon EKS 的 SageMaker HyperPod 弹性文档以及适用于 Slurm 的挂起作业检测文档。要了解更多信息,请访问 Amazon SageMaker HyperPod 产品页面。

正文为 AI 译文。

参考来源

← 返回每日AI报告