AWS 机器学习 ↗ · 2026-11-20 00:41 · UTC+8
Amazon SageMaker HyperPod 推出增强型基础设施可观测性
公司动态 AWS 机器学习 原文语言:英文
AWS 为 SageMaker HyperPod 增加了可观测性功能,可自动检测 GPU、内存、温度等异常并提供诊断摘要,支持 CloudWatch 与 Prometheus 两种指标存储,帮助用户快速定位分布式训练中的故障,降低 GPU 空闲成本。
全文
介绍 Amazon SageMaker HyperPod 中增强的基础设施可观测性
大规模模型训练是您可以在 GPU 上运行的最昂贵的工作负载之一,而单个不健康的加速器就可能使整个分布式作业停滞。当训练吞吐量下降时,困难的部分很少是注意到出了问题,而是弄清楚为什么以及在哪里出问题。团队通常需要花费数小时或数天时间筛选日志和彼此割裂的仪表板,以确定性能下降是由于 GPU 被节流、网络链路饱和,还是主机上的数据管道停滞。
今天,我们宣布在 Amazon SageMaker HyperPod 中推出增强的可观测性,这是一项帮助您更快诊断 GPU 训练问题的新功能。它将诊断和分析能力整合在一起,适用于在 Amazon Elastic Kubernetes Service (Amazon EKS) 和 Slurm 编排器上运行的训练工作负载:
诊断摘要使用 Amazon CloudWatch 的 DetectGroupOutliers API,根据利用率、内存、温度、功耗和 SM 时钟来比较训练作业中的每个 GPU,并标记偏离同组的 GPU。静态诊断规则会呈现常见的故障模式,例如 GPU 硬件故障(XID 错误、ECC 内存错误)、EFA 吞吐量下降、热节流和过热,以便您在影响训练之前发现性能下降。
为什么需要它
分布式训练成本高昂,微小的低效会累积成大量浪费的 GPU 小时。直到现在,要获得 HyperPod 基础设施的可见性意味着将单独的工具拼接在一起,即便如此,指标也只能告诉您性能已经下降,却无法告诉您原因。
增强的可观测性弥补了三个差距。无论是通过 XID 错误、ECC 内存故障还是热节流,它都能在数百或数千个 GPU 中隔离出单个故障加速器,让您把时间花在修复上,而不是搜索上。
这些能力共同减少了故障排除时间,并帮助您保持昂贵加速器的忙碌状态。
工作原理
每项能力针对分布式训练作业的不同层。
默认指标和高级指标
增强的可观测性在两个层级上收集遥测数据:
默认指标(自动启用)涵盖集群健康状况、CPU/磁盘/操作系统级使用情况、GPU 利用率和温度,以及每个作业的资源利用率。这些指标每 30 秒收集一次,并发送到您选择的指标存储,CPU 开销约为 1–2%,内存为 250–300 MB。
高级指标(选择性启用)提供更深入的可见性:
完整节点导出器套件:全面的主机级指标。
所有 NVIDIA GPU DCGM 和 AWS Neuron 指标:详细的加速器遥测数据,包括时钟速度、功耗、PCIe 活动和错误指示器。
Elastic Fabric Adapter (EFA) 指标:网络接口吞吐量、丢包、重传和错误。
高级指标是可选的,因为它们会增加发送到指标存储的遥测数据量,这会产生成本影响。在小型集群上运行小型作业的大多数客户可能不需要它们,但对于在大型集群上长时间运行的训练作业来说,它们是必不可少的,因为模式会随着时间的推移而显现。
指标存储
您可以在两种指标存储之间进行选择:
Amazon CloudWatch(新的默认选项)通过 CloudWatch SageMaker Insights 提供原生监控,因此您无需离开 AWS 管理控制台即可可视化指标。
Amazon Managed Service for Prometheus 适用于将 Prometheus 和 Grafana 作为可观测性标准的团队。
此前,仅支持 Prometheus。CloudWatch 现在是默认选项,与 Amazon Managed Service Prometheus 相比提供更低的价格,并与 SageMaker 控制台更紧密地集成。
诊断摘要
诊断摘要使用两种互补的方法来呈现 HyperPod 集群中的问题。
GPU 异常检测使用 CloudWatch 的 DetectGroupOutliers API,在训练作业内根据利用率、内存使用情况、温度、功耗和 SM 时钟频率比较 GPU。当某个 GPU 明显偏离同组时,它会在诊断摘要中显示为异常卡片。这适用于 EKS 和 Slurm 作业。
静态诊断规则评估已知的故障模式,并按类型组织检测到的问题:
硬件:GPU ECC 内存错误、XID 故障、加速器故障。
网络:EFA 吞吐量下降、丢包、重传。
节流:由于热量、主板或可靠性限制导致的 GPU 时钟节流。
过热:GPU 温度超过配置的限制。
每个检测到的问题都会标识受影响的任务、集群、节点、加速器和秩。
如何开始
增强的可观测性作为 EKS 编排集群的附加组件和 Slurm 编排集群的扩展提供,这意味着您可以通过 AWS Identity and Access Management (IAM) 控制谁可以安装或更改它。
步骤 1:创建 SageMaker HyperPod 集群
如果您已有集群,可以直接使用。要创建新的 SageMaker HyperPod 集群,可以按照步骤大纲进行。总体步骤如下:
在 Amazon SageMaker AI 控制台中,在导航窗格中选择 HyperPod 集群。
选择创建 HyperPod 集群,然后选择由 Amazon EKS 编排或由 Slurm 编排。
在设置选项中,选择自定义设置。
在名称中,输入一个名称。
在实例恢复中,选择自动。
选择提交。
以下截图显示了创建 HyperPod 集群页面。
图 1:使用自定义设置在 Amazon EKS 上创建 HyperPod 集群
步骤 2:配置 HyperPod 可观测性
在自定义设置工作流中,展开 HyperPod 可观测性部分:
启用 HyperPod 可观测性默认处于选中状态。仅在不需要可观测性时才取消选中。
可观测性指标显示默认指标(集群健康、CPU/磁盘/操作系统、GPU 利用率/温度、每个任务的资源)以及可选的高级指标。
根据需要选择高级指标:完整节点导出器套件、所有 NVIDIA GPU DCGM/Neuron 指标和 EFA 指标。
启用日志记录以为容器和 Pod 日志创建 CloudWatch 日志组。
在指标存储中,选择 Amazon CloudWatch(默认)或 Amazon Managed Service for Prometheus。
在 Grafana 工作区中,选择创建新工作区、使用现有工作区或选择无。
配置 IAM 角色,或让控制台自动创建它们。
下图显示了自定义设置路径中 HyperPod 可观测性的配置选项:
图 2:HyperPod 可观测性部分,显示默认指标和高级指标、指标存储(CloudWatch 或 Prometheus)以及 Grafana 工作区
注意:在快速设置中,HyperPod 可观测性默认启用,无法取消选中。自定义设置让您可以控制要启用哪些指标类别和高级指标。
步骤 3:使用 CLI 安装可观测性附加组件(替代方案,EKS)
您可以从 AWS Management Console 或通过 API 安装 HyperPod 可观测性附加组件(EKS)或扩展(Slurm)。或者,您可以使用 AWS Command Line Interface (AWS CLI) 安装该附加组件。
以下命令用于创建附加组件、启用基本指标类别,并保持选择加入的分析功能处于关闭状态:
aws eks create-addon \ --cluster-name \ --addon-name amazon-sagemaker-hyperpod-observability \ --region \ --configuration-values '{ "metricsDestination": "cloudwatch", "metricsProvider": { "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30} }, "profilesProvider": { "hostProfiling": {"enabled": false} } }'
验证附加组件处于 ACTIVE 状态:
aws eks describe-addon \ --cluster-name \ --addon-name amazon-sagemaker-hyperpod-observability \ --region \ --query 'addon.status'
下图显示了集群的附加组件选项卡上的可观测性附加组件。
图 3:集群附加组件选项卡上的可观测性附加组件,处于活动状态并向 Amazon CloudWatch 发送指标
步骤 4:启用指标(EKS)
您可以随时启用或禁用任何指标类别或分析功能。对于 EKS 集群,使用 AWS Command Line Interface (AWS CLI) 更新附加组件配置。以下命令用于开启高级网络(EFA)指标:
aws eks update-addon \ --cluster-name \ --addon-name amazon-sagemaker-hyperpod-observability \ --region \ --configuration-values '{ "metricsDestination": "cloudwatch", "metricsProvider": { "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}, "networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30} } }'
在控制台中,选择操作,然后在附加组件卡片上选择编辑以进行相同的更改。下图显示了操作按钮。
图 4:使用操作 → 编辑来启用或禁用指标类别和分析功能
Slurm 集群:安装或编辑可观测性扩展
在 Slurm 编排的集群上,HyperPod 可观测性是一个集群扩展。从集群详情页面,打开“扩展”选项卡。如果已安装该扩展,请选择“操作”,然后选择“编辑”。下图显示了 Slurm 集群的“扩展”选项卡上的可观测性扩展。
图 5:Slurm 集群“扩展”选项卡上的可观测性扩展,包含“操作”→“编辑”
编辑页面为每个指标类别设置采集级别。
图 6:编辑 Slurm 集群上的可观测性:指标类别、主机性能分析和指标存储
若要改用 AWS CLI 安装扩展:
aws sagemaker create-cluster-extension \ --cluster-arn \ --extension-name sagemaker-observability \ --region \ --configuration-values '{ "metricsProvider": { "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "nodeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30}, "acceleratedComputeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30}, "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30} }, "profilesProvider": {"hostProfiling": {"enabled": false}} }'
若要开启 EFA 指标,请更新扩展:
aws sagemaker update-cluster-extension \ --cluster-arn \ --extension-arn \ --region \ --configuration-values '{ "metricsProvider": { "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30}, "acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30}, "networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}, "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30} } }'
使用 aws sagemaker describe-cluster-extension --cluster-arn --extension-arn 检查状态。
步骤 5:确认指标正在传输
集群准备就绪后,导航至集群的详情页面。新的“可观测性”选项卡显示包含以下内容的概览:
节点:总节点数(例如 128)。
加速器:总 GPU/加速器数(例如 1024)。
作业:活动和最近的训练作业数。
平均 GPU 利用率:整个集群的平均值(例如 87.3%)。
平均 vCPU 利用率:整个集群的平均值(例如 76.8%)。
平均内存利用率:整个集群的平均值(例如 83.5%)。
下图显示了“集群可观测性”选项卡,其中包含概览指标、活动和最近的训练作业以及活动问题:
图 7:新的“可观测性”选项卡 — 集群概览、活动训练作业以及检测到的问题
CloudWatch 仪表板
在“可观测性”选项卡中,选择“打开仪表板”以导航至 CloudWatch SageMaker Insights 体验。该仪表板提供多个视图:
诊断摘要
“诊断摘要”显示在您的 HyperPod 集群中检测到的事件。精确定位根本原因,无论是硬件故障、网络问题、限流还是过热。
选择任意事件卡片以查看更多详细信息。每张卡片都会指明受影响的作业、集群、加速器和级别。
以下截图显示了“诊断摘要”选项卡:
图 8:诊断摘要,其中每个事件卡片均标明了作业、集群、加速器和问题类型,并附有跨层解释
下图显示了事件详情:
图 9:事件详情,显示受影响的作业、集群、实例和加速器,以及与集群平均值对比的证据图表
“硬件”选项卡
“硬件”选项卡从设备层面展示您的加速器集群。集群拓扑图显示了每个设备的状态(活动、闲置和不健康)。设备表列出了加速器类型、所属团队、利用率、温度、EFA 使用情况、状态以及在每个设备上运行的工作负载。您可以按状态、加速器或团队进行搜索和筛选,以快速找到不健康的设备。
以下截图显示了“硬件”选项卡:
图 10:“硬件”选项卡,显示集群拓扑以及每个设备的加速器、团队、利用率、温度、EFA、状态和工作负载
“工作负载”选项卡
“工作负载”选项卡列出了活动和最近的训练作业及其类型(例如分布式训练、微调或强化学习)、状态和持续时间。它还显示每个作业的资源使用情况:EFA、GPU 和 CPU 利用率以及内存。该选项卡会标记网络使用异常的作业。
以下截图显示了“工作负载”选项卡:
图 11:“工作负载”选项卡,显示训练作业及其每个作业的 EFA、GPU、CPU 和内存使用情况
您可以选择一个作业以查看更多详细信息。以下屏幕截图显示了作业详细信息视图:
图 12:显示加速器指标的作业详细信息
“网络”选项卡
“网络”选项卡汇总了用于分布式工作负载的节点间通信网络的运行状况。概览指标包括机群平均 EFA 利用率、降级节点数和重传数。按实例类型进行的细分显示了每个实例类型的健康节点和降级节点的份额。
以下屏幕截图显示了“网络”选项卡:
图 13:显示网络结构概览和按实例类型划分的 EFA 健康状况的“网络”选项卡
Amazon Managed Grafana 仪表板
在集群的“可观测性”选项卡或“加载项”页面中,选择“在 Grafana 中打开仪表板”以访问预构建的 Amazon Managed Grafana 仪表板。这些仪表板为您提供对 HyperPod 集群的全栈可见性,并跨集群、节点、GPU、网络和作业维度可视化来自 CloudWatch 或 Prometheus 的遥测数据。
注意:如果是首次使用 Grafana,您必须首先配置 AWS IAM Identity Center 并添加 Grafana 用户。当您选择 Grafana 指标存储选项时,集群创建过程中会提供文档链接。
以下屏幕截图显示了预构建的 Grafana 仪表板:
图 14:显示每个节点和 GPU 的 GPU 性能指标的预构建 Grafana 仪表板
现已推出
Amazon SageMaker HyperPod 中的增强型可观测性现已在所有提供 SageMaker HyperPod 的 AWS 区域推出。
了解详情:
有关定价信息和支持的集群实例类型列表,请参阅 Amazon SageMaker HyperPod。
请查阅《开发者指南》。
访问 AWS 管理控制台,开始使用增强型可观测性加载项进行训练。
正文为 AI 译文。