AWS 机器学习 ↗ · 2026-11-20 00:13 · UTC+8
在Amazon EKS上使用NVIDIA Run:ai GPU分片
媒体报道 AWS 机器学习 原文语言:英文
本文演示了如何在Amazon EKS上通过NVIDIA Run:ai的GPU Fractioning Operator实现GPU内存共享,使用单个A10G GPU在两个Pod间分配8 GiB内存合约并验证6 GiB分配。
全文
在 Amazon EKS 上使用 NVIDIA Run:ai GPU 划分(GPU Fractioning)
GPU 共享并不是什么新鲜事:多实例 GPU(MIG)、时间分片(time-slicing)和多进程服务(MPS)满足了不同的隔离和利用率需求。NVIDIA Run:ai GPU 划分建立在 MPS 之上,并结合了 Kubernetes 集成调度、每个 Pod 的内存契约、强制执行以及指标监控。
NVIDIA Run:ai 是用于 Kubernetes 的 AI 工作负载编排软件。其 GPU 划分运算符(GPU Fractioning Operator)可以帮助多个团队在 Amazon Elastic Kubernetes Service(Amazon EKS)上共享一到两个 GPU。即使 GPU 内存仍然可用,笔记本(Notebooks)、模型评估和小型推理服务也常常会让团队陷入等待。在此演练的基准测试中,NVIDIA 设备插件将单个 GPU 公开为一个 nvidia.com/gpu 资源,且禁用了 GPU 共享。两个各自请求 nvidia.com/gpu: 1 的 Pod 无法在该节点上并发运行,即使它们组合后的 GPU 内存需求符合条件。
NVIDIA Run:ai GPU 划分将 Kubernetes 调度集成、强制的 GPU 内存限制以及每个 Pod 的指标引入了基于软件的共享中。该方法适用于满足 GPU 划分运算符硬件和软件要求的 NVIDIA GPU,包括不支持 MIG 的 GPU。我们使用一个配备 NVIDIA A10G Tensor Core GPU 的 Amazon Elastic Compute Cloud(Amazon EC2)g5.xlarge 实例作为验证示例。其他配置需要进行兼容性检查和验证。
NVIDIA 于 2026 年 10 月 13 日宣布开源 NVIDIA Run:ai。本示例使用了其四个模块化组件中的两个:KAI Scheduler 和 GPU Fractioning Operator。KAI Resource Management 和 Workload Map 涉及组织治理和额外的工作负载类型,超出了本演练的范围。
在这篇博文中,我们展示了如何在 Amazon EKS 上构建自定义 Amazon Linux 2023(AL2023)镜像并配置 GPU 内存共享。在经验证的 G5/A10G 示例中,您将建立一个完整 GPU 基准,为每个 Pod 提供 8 GiB 的内存契约,并验证 6 GiB 的分配。然后,您将检查每个 Pod 的指标,测试对 9 GiB 分配的拒绝情况,并清理临时环境。
选择 GPU 共享方法
MIG 在受支持的 GPU 上提供硬件分区。设备插件时间分片在没有副本内存或故障隔离的情况下共享 GPU。MPS 允许并发的 CUDA 进程。故障包含取决于配置。NVIDIA Run:ai GPU 划分增加了强制的每个容器内存限制,并支持时间分片(默认)或 sm-sharing 计算模式。NVIDIA 记录了其默认模式的独立工作负载错误域以及 sm-sharing 的共享错误域。这些并非安全保证。本演练测试的是内存限制,而不是故障包含或计算性能。内存限制并不预留成比例的计算能力。
Amazon EKS 记录了几种 GPU 选项:MIG、使用 NVIDIA 设备插件的时间分片,以及使用 NVIDIA DRA 驱动程序和 Karpenter 的时间分片。有关在其中进行选择的指导,请参阅 Amazon EKS 最佳实践指南中的 GPU 共享指导。当您需要在不支持 MIG 的 GPU 上强制执行每个 Pod 的 GPU 内存限制,并且能够运行固定大小的 GPU 节点组时,请选择 GPU 划分。
动态资源分配(DRA)提供了用于请求和分配设备的 Kubernetes API。GPU 共享和隔离取决于设备驱动程序的实现和启用的功能。KAI Scheduler 和 GPU Operator 支持 DRA。本演练使用的是 NvFractions 注解,而不是 DRA。
GPU 划分可以帮助具有空闲周期的交互式笔记本、短期评估作业、GPU 兼容性测试和小型推理服务。根据测得的峰值使用量加上开销来选择每个 GPU 内存请求,然后测试并发负载下的延迟。所展示的密度提升并未确立吞吐量的增加或普遍的成本降低。
方案概述
以下图表展示了美国东部(俄亥俄)区域(us-east-2)中经过验证的单 GPU 环境。您可以使用 AWS 命令行界面(AWS CLI)、eksctl、Helm 和 Packer 来构建和运行它。Amazon EKS 控制平面在 AWS 托管的 Amazon Virtual Private Cloud(Amazon VPC,独立于客户 VPC)中运行 Kubernetes 1.36 版本。它连接到客户 VPC 私有子网中的 EC2 工作节点。
一个 m7i.large 系统节点托管着运算符控制器和 KAI Scheduler。KAI Scheduler 将两个 Pod 放置在一个带有污点的 g5.xlarge 上,该实例包含一个拥有 23,028 MiB GPU 内存的 A10G。
每个 Pod 有 8 GiB GPU 内存限制,并分配 6 GiB GPU 内存。GPU 工作节点使用自定义 AL2023,搭配 NVIDIA R615 驱动分支、NVIDIA Container Toolkit 和 containerd。它运行带有节点资源接口(NRI)集成和 MPS 共享的 fractiond。metricsd 守护进程导出每个 Pod 的 GPU 内存指标。
图 1:在 Amazon EKS 上的单个 A10G 上验证的两个 GPU 内存合约示例
实现步骤演示
演示使用 AWS Samples 仓库。确认前置条件和已验证的组件版本,然后完成步骤 1 至 10。
前置条件
使用具有 Amazon EKS、AWS CloudFormation、Amazon VPC、Amazon EC2、Amazon Elastic Block Store(Amazon EBS)、AWS Identity and Access Management(IAM)以及 AWS Systems Manager(用于 Amazon Machine Image(AMI)发现)权限的 AWS 账户。确认 g5.xlarge(系统节点)和临时 m5.xlarge 镜像构建器的配额和容量。安装 AWS CLI v2、eksctl、kubectl、Helm、Packer、Git、jq 和 curl。
使用您常用的 AWS 凭证提供者:命名配置文件、AWS IAM Identity Center、被假设的角色或访问密钥环境变量。优先使用临时凭证。使用临时访问密钥时需要 AWS_SESSION_TOKEN。示例使用 us-east-2。其他区域必须支持所选的 Amazon EKS 版本和实例类型。
在选择其他 GPU 之前,请检查 NVIDIA GPU Operator 硬件列表、所选驱动的硬件支持以及 GPU Fractioning Operator 的前置条件。仅硬件支持并不等同于分片兼容性。本演示仅验证 G5/A10G 配置。AMI 构建目标为 x86_64。检查 CUDA 兼容性和内存余量:两个 8 GiB 合约需要为两个合约及运行时开销预留空间。较小的设备需要较小的合约并相应调整探针。
本演示会创建计费资源,包括 Amazon EKS 控制平面、NAT 网关、实例、卷和 AMI 快照。请使用一次性环境,并在验证完成后进行清理。
使用已验证的 AL2023 堆栈
在验证时,EKS 优化的 AL2023 NVIDIA 镜像提供了 R580 和 R595 驱动分支。GPU Fractioning Operator v0.1.7 需要 R615 或更高版本。R615 为短期版本,并非 GPU Operator 的默认驱动。本示例构建了带有 AMI 所有者驱动和工具包的自定义标准 Amazon EKS 1.36 AL2023 镜像。它不使用在其他操作系统上由 Operator 管理的驱动容器。表格记录的是实验室验证结果,而非供应商支持认证。
组件 已验证版本
Amazon EKS 1.36
GPU NVIDIA A10G,23,028 MiB
NVIDIA 驱动 / Container Toolkit 615.71.10 / 1.20.1-1
containerd 2.3.5 带 NRI
GPU Operator / device plugin 26.7.1 / 0.20.1
KAI Scheduler / Fractioning Operator 0.18.5 / 0.1.7
我们于 2026 年 10 月 22 日使用 NVIDIA 驱动 615.71.10 验证了本演示。2026 年 11 月 18 日,在更新 GPU 节点污点后,我们重复了除步骤 3 镜像构建之外的所有步骤,使用相同驱动的镜像。结果一致。表格列出了测试的组件版本,而非永久支持矩阵。更改任何组件前,请重新检查 Amazon EKS AMI 文档和 NVIDIA 前置条件。
步骤 1:克隆并配置
克隆仓库,然后从提供的示例创建本地配置文件并限制其权限:
git clone https://github.com/aws-samples/sample-code-for-gpu-fractioning-on-eks.git cd sample-code-for-gpu-fractioning-on-eks cp walkthrough.env.example walkthrough.env chmod 600 walkthrough.env
克隆完成后,使用 walkthrough.env 进行配置,使用 run.sh 进行每个阶段的操作。生成的文件和 kubeconfig 保存在被忽略的 .state 目录中。GPU_INSTANCE_TYPE 用于选择实例类型。仅更改该项并不能确保兼容性。
walkthrough.env 中的默认值和可选身份验证设置
AWS_REGION=us-east-2 CLUSTER_NAME=runai-fractioning-blog EKS_VERSION=1.36 GPU_INSTANCE_TYPE=g5.xlarge NVIDIA_DRIVER_VERSION=615.71.10 # 选择配置文件或访问密钥变量,二者不要同时使用。# AWS_PROFILE=my-profile # AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY_ID # AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY # AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN
切勿提交凭证。该本地配置文件已被 Git 忽略。确认活动身份后再进行资源创建:
./run.sh check
单独运行各个阶段以检查结果,或者使用 ./run.sh walkthrough 运行内存限制测试。清理始终是一个单独的操作。
步骤 2:创建临时集群
运行以下命令以创建临时的 Amazon EKS 集群及其系统节点:
./run.sh create-cluster
该命令会配置一个运行 Kubernetes 1.36 版本的 Amazon EKS 集群、一个带有单个 NAT 网关的专用 VPC、OpenID Connect (OIDC) 集成以及一个私有的 m7i.large 托管节点。
config/eksctl-cluster.yaml.tpl 中的选定字段
iam: withOIDC: true vpc: nat: gateway: Single managedNodeGroups: - name: system-ondemand instanceType: m7i.large desiredCapacity: 1 privateNetworking: true
步骤 3:构建自定义的 AL2023 镜像
运行以下命令以使用 R615 驱动分支构建自定义的 AL2023 镜像:
./run.sh build-ami
该脚本会发现一个公共构建器子网以及在 AL2023 上适用于 Kubernetes 1.36 的推荐标准 Amazon EKS AMI。Packer 会安装 R615 驱动分支和工具包的当前补丁版本,配置 NVIDIA 运行时,检查软件包状态,并创建一个加密镜像。区域特定的 AMI ID 会存储在 .state/ami-id 中。
NVIDIA_DRIVER_VERSION 选择 R615 分支。它不是精确的补丁固定版本。工作流会记录发现的驱动版本以及 AMI ID,并在 AMI 和节点组标签中使用该版本。请读取 .state/installed-driver-version 以了解您的构建中观察到的版本。对于生产环境,请在您自己的构建中固定确切的软件包和基础镜像,并验证受支持的驱动分支升级。
您只需要执行此步骤,是因为经过验证时,EKS 优化的 AL2023 NVIDIA AMI 尚未包含 R615 驱动分支。一旦其为您的 GPU 选择的驱动程序和其余的主机先决条件满足 GPU Fractioning Operator 的要求,请优先使用 EKS 优化的 NVIDIA AMI。请在 GitHub 上的 Amazon EKS AMI 发布说明中检查驱动程序版本。示例脚本目前需要 R615 驱动程序和镜像构建中的元数据,因此使用默认 AMI 也需要修改脚本。
ami/eks-al2023-r615.pkr.hcl 中的相关 Packer 设置
source "amazon-ebs" "eks_al2023_r615" { source_ami = var.source_ami_id region = var.aws_region encrypt_boot = true metadata_options { http_tokens = "required" } }
SOURCE_AMI_ID 和 PACKER_SUBNET_ID 是用于经批准的基础镜像或构建器子网的可选覆盖项。当操作系统或 GPU 栈更改时,请重新构建并测试镜像。
步骤 4:添加 GPU 工作节点
运行以下命令以添加使用自定义镜像的 GPU 托管节点组:
./run.sh add-gpu-node
默认情况下,托管节点组使用自定义镜像,并保持为一个经过验证的 GPU 工作节点(按需实例 g5.xlarge)。GPU 污点会排除常规工作负载。该脚本会禁用 eksctl 的 NVIDIA 设备插件安装,因为 GPU Operator 会管理该组件。
config/eksctl-gpu-nodegroup.yaml.tpl 中的选定字段
managedNodeGroups: - name: gpu-g5-r615-ondemand instanceType: g5.xlarge ami: amiFamily: AmazonLinux2023 desiredCapacity: 1 minSize: 1 maxSize: 1 privateNetworking: true taints: - key: nvidia.com/gpu effect: NoSchedule
步骤 5:安装 GPU Operator 并检查主机
运行以下命令以安装 GPU Operator 并检查 GPU 工作节点的主机配置:
./run.sh install-gpu-operator
GPU Operator 26.7.1 提供设备插件和 Kubernetes 集成。其配置保留了镜像自带的驱动程序和工具包:
driver: enabled: false toolkit: enabled: false
同一命令会在 GPU 工作节点上运行一个临时的特权检查 Pod,打印主机配置,然后删除该 Pod。经过验证的节点会报告:
观察到的主机配置
GPU: NVIDIA A10G, 23028 MiB Driver: 615.71.10 NVIDIA Container Toolkit: 1.20.1-1 containerd: 2.3.5 cgroup filesystem: cgroup2fs NRI socket paths: /var/run/nri/nri.sock /run/nri/nri.sock
在这个 AL2023 节点上,/var/run 是指向 /run 的符号链接。这两个路径指向同一个套接字。请将特权检查限制在临时环境中,并确认 Pod 已被删除。
步骤 6:建立完整 GPU 基准测试
运行以下命令,在安装分区功能之前测试完整 GPU 调度:
./run.sh baseline
每个基准 Pod 都对 nvidia.com/gpu 的请求和限制均为 1。测试假设有一个可用的物理 GPU 且禁用了共享:一个 Pod 运行,另一个保持 Pending(挂起)状态。这展示了在安装分片功能之前的整卡调度约束。在多 GPU 节点上,请调整此基准并验证两个分片工作负载是否使用了相同的 GPU。
测得的基准结果
NAME READY STATUS NODE whole-gpu-a 1/1 Running whole-gpu-b 0/1 Pending
脚本会检查此状态并删除两个基准 Pod。
步骤 7:安装 KAI 调度器和 GPU 分片操作器
运行以下命令来安装包含 GPU 分片操作器的 KAI 调度器:
./run.sh install-kai
锁定的 KAI Scheduler 0.18.5 Helm Chart 包含了 GPU Fractioning Operator 0.1.7。这些参数值启用了 NvFractions 和按 Pod 的指标,同时保留了 GPU 栈版本检查。可选的 nvidia.com/container..gpu-compute.mode 注解用于选择计算模式。这些工作负载保持默认值不变。
helm/kai-values.yaml 中的相关字段
global: gpuSharingMode: NvFractions nvFractions: set: true gpu-fractioning: metricsAgent: enabled: true skipGpuStackVersionChecks: false
在验证中,FractiondReady、MpsdReady 和 Ready 均为 True。DriverUpgradeInProgress 为 False,原因为 NoDriverUpgrade,这与 AMI 保留驱动所有权保持一致。
步骤 8:运行正向共享测试
运行以下命令以部署两个带有 8 GiB GPU 内存契约的 Pod:
./run.sh share
每个 Pod 都将内存请求和限制为 8 GiB 并选择 kai-scheduler。两者均未请求完整的 nvidia.com/gpu 资源。仓库应用了这些调度字段并运行分配 6 GiB 的 CUDA 探测程序:
kubernetes/fraction-8gi-pods.yaml 中的核心字段
metadata: annotations: nvidia.com/container.gpu-workload.gpu-memory.request: 8Gi nvidia.com/container.gpu-workload.gpu-memory.limit: 8Gi spec: schedulerName: kai-scheduler runtimeClassName: nvidia
测得的正向结果
NAME READY STATUS NODE fraction-8gi-a 1/1 Running fraction-8gi-b 1/1 Running
脚本会验证匹配的节点名称和 GPU UUID。在验证中,两个 Pod 均显示 8,192 MiB 并报告 allocation_succeeded_mib=6144。这些检查确立了它们被放置在同一个物理gpu上、受限的设备视图,以及在每个契约内的成功分配。
每个 Pod 测得的分配输出
NVIDIA_GPU_MEMORY_LIMIT=8192 requested_allocation_mib=6144 allocation_succeeded_mib=6144
在两个 Pod 保持活动状态时观察内存
./run.sh metrics
gpu_fractioning_gpu_memory_used_bytes 指标按 Pod 和 GPU UUID 归属内存。每个 Pod 观测到的 6,394 MiB(约 6.24 GiB)超出了探测程序 6,144 MiB 分配 250 MiB。指标可能包含 CUDA 上下文和运行时开销。本实验不测量该明细。在监控共享设备时,请将工作负载标识与请求、限制和使用值一起保留。
测得的每个 Pod 的指标序列
gpu_fractioning_gpu_memory_used_bytes{ gpu_uuid="", namespace="runai-fractioning-test", pod="fraction-8gi-a"} 6.704594944e+09 gpu_fractioning_gpu_memory_used_bytes{ gpu_uuid="", namespace="runai-fractioning-test", pod="fraction-8gi-b"} 6.704594944e+09
步骤 9:验证超出限制时的拒绝机制
运行以下命令来测试超过 8 GiB 契约的分配:
./run.sh limit
此命令删除了正向测试 Pod,并创建了一个具有 8 GiB 契约但尝试分配 9 GiB 的 Pod。探测程序报告:
测得的超限结果
NVIDIA_GPU_MEMORY_LIMIT=8192 requested_allocation_mib=9216 allocation_failed=out of memory
测得的反向测试 Pod 状态
NAME READY STATUS NODE fraction-8gi-over-limit 0/1 Completed
在此,cudaMalloc 返回内存不足 (out-of-memory) 错误,探测程序在以代码 0 退出之前处理了该错误。预期状态是 Completed,而不是 OOMKilled。这展示了分配拒绝,而不是容器终止或通用的故障隔离。
步骤 10:清理
在删除集群之前捕获 VPC ID。随后的独立检查将使用默认的集群名称和区域。如果更改了它们,请替换为您配置的值。
捕获 VPC ID
VPC_ID=$(aws eks describe-cluster \ --name runai-fractioning-blog --region us-east-2 \ --query cluster.resourcesVpcConfig.vpcId --output text)
删除临时环境
./run.sh cleanup
标准清理会删除测试命名空间、Helm 发布和一次性集群,同时保留自定义 AMI 及其 Amazon EBS 快照。
验证资源删除
aws eks describe-cluster \ --name runai-fractioning-blog --region us-east-2 aws cloudformation describe-stacks \ --stack-name eksctl-runai-fractioning-blog-cluster \ --region us-east-2 aws ec2 describe-vpcs --vpc-ids "$VPC_ID" --region us-east-2
期望对已删除的资源返回明确的 resource-not-found 响应。身份验证或权限错误并不表示已删除。还需检查剩余的节点组和带有集群标签的实例。如果清理失败,检查 CloudFormation 事件并在重试前解决所有所有者依赖。缺少 Amazon EKS 端点并不证明其 VPC 已不存在。
仅在不再需要自定义 AMI 及其 Amazon EBS 快照时才使用 ./run.sh cleanup-all。如果镜像删除被拒绝,请确认 AMI ID 和示例所有权标签。不要绕过此安全措施。
生产环境注意事项
将其视为行为验证。使用受信任的工作负载并应用最小特权 IAM、命名空间控制、已批准的镜像以及对分配请求的准入规则。当需要更强隔离时,请在受支持的硬件上选择完整 GPU 或 MIG。
固定的分配守护进程使用特权容器、主机 PID 访问以及 NRI/MPS 主机挂载。将其部署和配置限制在受信任的管理员手中。
为 CUDA 上下文、缓存、批处理和运行时开销预留余量。测量并发负载下的延迟和吞吐量。监控分配失败、MPS 健康状态、NRI 连接以及 GPU 错误。将基础 AMI、驱动、工具包、设备插件、运营商、调度器和工作负载镜像固定为一次测试组合。重新构建镜像并在发布前测试回滚。
本演练需要预置的 GPU 容量。它不配置也不验证 GPU 分配感知的自动伸缩。分配的 Pods 选择 kai-scheduler,不请求 nvidia.com/gpu 资源,并使用针对固定单节点节点组的 nodeSelector。Karpenter 对二级调度器的支持是一个未决的功能请求(GitHub issue #742)。自定义镜像无法在 Amazon EKS Auto Mode 管理的节点上运行,因为 Auto Mode 会选择并管理其 AMI。集群可以混合 Auto Mode 管理的节点和托管节点组,但我们未在此类集群中验证本演练。
使用 Karpenter 的团队可以在 EC2NodeClass 中通过 ID 引用相同的自定义 AMI。自动伸缩限制仍然适用。我们未验证此路径。
KAI Scheduler 是第二调度器。它负责为选择它的 Pods 进行排队和放置。如果您已经使用 Kueue,请在采用 KAI Scheduler 前决定哪个组件负责 GPU 工作负载的排队。
我们建议在 GPU 节点上运行 Amazon EKS 节点监控代理。在 2026 年 11 月 18 日的回归测试中,代理在带有 MPS 共享的自定义 R615 镜像上运行,并在共享和限制测试期间报告 GPU 状态健康。该运行未测试故障检测。由于 GPU Operator 已运行 Data Center GPU Manager(DCGM)主机引擎,请将代理配置为使用该主机引擎而不是其自带的引擎。
结论
在本文中,我们展示了如何使用自定义 AL2023 镜像在 Amazon EKS 上配置 GPU 内存分配,示例使用 G5/A10G 进行验证。该方法在检查前提条件并验证所选配置后,可扩展到兼容的 NVIDIA GPU。您已经建立了完整 GPU 基线,在同一 GPU 上运行了两个受限工作负载,检查了每个 Pod 的内存使用情况,并验证了超过限制的分配被拒绝。分配可以在工作负载内存适配时提升现有容量的利用率。生产采用还需要隔离控制和性能测试。
要重复实验,请克隆 AWS Samples 仓库并将您的结果与其验证证据进行比较。在将示例适配到您的工作负载之前,先查阅 GPU 分配运营商文档和 Amazon EKS 加速 AMI 指南。
本文内容和观点仅代表第三方作者,AWS 对本文内容或准确性不承担任何责任。
正文为 AI 译文。