Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters

公司动态 AWS 机器学习 原文语言:英文

亚马逊推出了 SageMaker HyperPod 全局推理网关(Global Inference Gateway),旨在跨区域和集群统一管理推理终端。该服务可自动将请求路由至具备空闲 GPU 的集群并实现故障自动转移,从而优化资源利用并简化网络架构。

全文

推出 Amazon SageMaker HyperPod 全球推理网关:跨区域和集群的单一端点

在流量高峰期间,请求可能会在已饱和的 HyperPod 集群的队列中等待,而另一个集群(有时位于另一个 AWS 区域)的 GPU 则处于空闲状态。您已经为这些容量付费,但请求无法到达它们。

在《推出 Amazon SageMaker HyperPod 推理网关》中,我们展示了推理网关如何为每个 Amazon SageMaker HyperPod 集群提供单一的、GPU 感知的端点。它读取实时信号,如键值(KV)缓存利用率和队列深度,以将每个请求放置在最合适的 pod 上。这解决了单个集群内部的路由问题,但未解决跨集群的路由。

今天,SageMaker HyperPod 引入了全球推理网关。它是一个 SageMaker 管理的网关,可在您注册的每个集群之间进行路由,无论是在同一区域还是跨区域。网关选择集群并通过 AWS 骨干网络传输请求,具备自动故障转移,并通过 AWS Signature Version 4(SigV4)和 AWS 身份与访问管理(IAM)进行身份验证。在每个集群内部,推理网关继续选择 pod,保持不变。全球推理网关是我们在第 1 部分描述的架构的第二层。

挑战:跨集群和跨区域的容量分布

模型越来越大,提供它们的 GPU 容量也更难获取。为了获得足够的容量,您需要将其分布在更多的集群和更多的区域。

假设一个团队在两个区域的五个 HyperPod 集群上提供四个模型。没有推理网关时,客户端需要跟踪 20 个端点:每个模型每个集群一个。推理网关将其减少到五个,每个集群一个。但每个客户端仍需自行选择集群。

这种选择会产生以下成本:

负载不均。高峰期间,请求在一个区域排队,而另一个区域的 GPU 处于空闲状态。

手动故障转移。当集群出现故障时,工程师需要更改配置以将流量转移出去。

自定义网络设施。跨区域分配流量意味着自行构建和维护负载均衡器、DNS 和跨区域网络。

团队需要一个端点,将每个请求发送到最合适的集群,并在集群故障时自行切换流量。

关键优势

全球推理网关帮助您更充分利用已有的 GPU 容量,降低运营成本。

让空闲 GPU 工作起来。在高峰期间,请求会溢出到同一区域或其他区域中有可用容量的集群,而不是在已饱和的集群中排队。

自动故障转移。当集群出现故障时,网关会将其流量转移到次佳集群。客户端无需做任何更改。

统一端点。客户端只调用一个 SageMaker 管理的端点,而无需跟踪每个集群或每个模型的端点。

省去自定义网络。您无需构建或维护负载均衡器、DNS 或跨区域网络。

默认保持私有。每个请求都使用 SigV4 和 IAM 进行身份验证,并仅通过 AWS PrivateLink 到达您的集群。

客户反馈

“在 Bagelcode,我们在 AWS 上运行自己的 LLM 推理服务,帮助公司内部的团队(包括我们的游戏团队)使用 AI 改善工作方式。在我们的 beta 测试中,Amazon SageMaker HyperPod 的全球推理网关通过单一端点在两个 AWS 区域之间路由请求,并在一个集群无法提供模型服务时继续提供服务。这让我们的小型平台团队实现了跨区域故障转移,而无需构建或维护自己的路由层。”

— Park Jinhyung,Bagelcode AI 平台副总裁

工作原理

设置网关需要做两项决定:哪些集群开放路由,以及将哪些集群归入同一个网关。

发布集群。每个集群执行一次。您在该集群现有的 InferenceGatewayConfig 中打开 spec.globalRouting 区块。HyperPod 推理控制器随后从您的账户私有发布该集群。

创建网关。每个网关执行一次。您调用 CreateGlobalInferenceGateway 并指定要跨越路由的集群,SageMaker 将返回一个端点。

只有在发布集群后,集群才可访问。发布集群时,控制器会在集群的推理网关前创建一个网络负载均衡器,在其上发布一个虚拟私有云(VPC)端点服务,并将监听器的证书上传到您的 TLS 存储桶。这些资源位于您的账户中。如果在发布之前就在网关中列出集群,调用会失败,并返回提示您需要修复的内容的消息。

请求的流向

图 1 显示了每个请求的路径:(1)您的客户端使用 SigV4 对请求进行签名并发送到网关的区域端点。(2)网关对调用者进行身份验证并挑选最佳集群。(3)AWS PrivateLink 将请求传递到该集群,无论是在同一区域还是跨区域,(4)集群的推理网关将请求路由到模型 pod,就像现在一样。

图 1:全局推理网关在一个区域端点接收每个请求,并通过 AWS PrivateLink 将其转发到最佳的 HyperPod 集群,在该集群中,推理网关将请求路由到模型 pod。每个集群会将其负载发布回网关。

AWS 负责的部分

您决定要发布哪些集群、哪些集群放在同一个网关后面以及如何加权路由。其余部分由 AWS 负责:

路由舰队。SageMaker 供应并运营负责终止 TLS、验证调用者、为集群打分并转发每个请求的舰队。

私有连接。SageMaker 为每个集群创建一个私有端点,并在 AWS 主干网中在区域内或跨区域传输流量。

证书与验证。使用您创建的执行角色,服务读取每个集群的 VPC 端点服务名称、证书和区域,这样您就不必手动复制它们。服务在路由流量前会检查这些信息。

健康检查与故障转移。网关对每个集群进行健康检查,并在集群出现故障时自动将流量切换走。详情请参阅“运营网关”章节。

身份验证与速率限制。网关检查 SigV4 签名、IAM 权限和速率限制,并在任何集群看到请求之前拒绝不合格的请求。

在每个集群上,服务托管的指标发布器使用其自己的 IAM 角色将集群的负载发送到网关。

网关如何挑选集群

对于每个请求,网关会对每个健康的集群进行四个信号的打分,并将请求发送给得分最高的集群。每个集群的指标发布器提供负载信号。

您可以通过路由权重控制每个信号的计分比例。每个权重的取值范围为 0.0 到 1.0,权重为 0 时表示关闭该信号。如果您设置权重,需要同时设置全部四个,并且它们的总和必须为 1.0。如果省略,则使用下表中的默认值。

权重 计分项 默认值

KVHeadroom 集群可用的 KV 缓存和 GPU 内存 0.20

QueueDepth 集群的排队深度(积压程度) 0.25

RegionProximity 集群与网关所在区域的距离 0.40

ErrorRate 集群最近的错误请求率 0.15

默认设置倾向于选择靠近网关所在区域的集群,同时仍会将流量引向有可用容量的集群,远离出现错误的集群。如果您的工作负载对弹性要求高于距离,可提升 ErrorRate 权重并降低 RegionProximity 权重。例如,下面的路由块将最近的错误权重设为 0.7:

{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}

您在 CreateGlobalInferenceGateway 的 Routing 参数中传入这些权重,之后也可以通过 UpdateGlobalInferenceGateway 进行修改。

选择您的起点

您的迁移路径取决于当前的部署情况。如果您仅使用单个集群,请继续使用该集群的推理网关端点。当您添加第二个集群时,再切换到全局推理网关。

起点 您的操作 结果

推理网关在每个集群上运行,例如在 us-east-1 和 us-west-2 的五个集群上部署四个模型 更新插件,发布每个集群,并创建网关 每个集群都有一个端点。迁移客户端期间,各集群端点保持服务。

HyperPod 推理插件运行且推理网关已关闭 通过一次插件更新和每个集群的一个 InferenceGatewayConfig 打开推理网关,为每个模型添加调度器,然后按照第一行的步骤操作 每个模型的端点合并为一个

在两个区域拥有GPU容量,但尚未设置HyperPod Inference:在每个区域创建一个带有HyperPod Inference加载项的HyperPod集群,部署您的模型,开启Inference Gateway,然后参照第一行。从第一天起就拥有一个端点,其流量路由可以微调,并且在某个区域出现问题时仍能继续服务

入门

要设置GlobalInferenceGateway,您需要准备每个集群、创建一个执行角色,并调用CreateGlobalInferenceGateway。然后,您将使用SigV4签名的、兼容OpenAI的请求发送到网关端点。有关包含IAM角色和策略的分步说明,请参阅AWS文档。

安全和访问

对网关的每个请求都使用SigV4签名并通过IAM进行授权。调用者需要具有调用网关的权限,且流式传输有其自己的操作:

{ "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Action": [ "sagemaker:InvokeGlobalInferenceGateway", "sagemaker:InvokeGlobalInferenceGatewayWithResponseStream" ], "Resource": "arn:aws:sagemaker:::global-inference-gateway/" }] }

将此策略附加到发送请求的每个IAM身份。若要允许账户中的所有网关,请将资源设置为 global-inference-gateway/*。

执行角色遵循最小权限原则。它只能描述您列出的集群,只能访问其Amazon Elastic Kubernetes Service (Amazon EKS) API,并且只能读取TLS存储桶的gig/前缀下、被标记为由HyperPod Inference创建的路由证书。

身份令牌。如果您的集群检查JSON Web令牌 (JWTs),请通过 --customer-identity-token(X-Amzn-SageMaker-Customer-Identity-Token 请求头)传递令牌,且不要带有 Bearer 前缀。令牌在SigV4签名内部传输,因此未签名的令牌将被403拒绝,重复的令牌将被400拒绝。请在运行模型的所有集群上开启JWT检查,或者全部关闭,以免请求在一个集群上成功而在另一个集群上失败。

如图1所示,请求仅通过AWS PrivateLink到达您的集群。网关不会记录或存储提示词或补全内容。

操作网关

以下是配置网关的步骤。

添加集群

准备新集群并在其上创建执行角色的EKS访问条目,如文档所述。同时将新集群添加到执行角色权限策略的Resource列表中。然后,在网关所在的区域调用AddInferenceGateway,即使新集群位于另一个区域也是如此:

aws sagemaker add-inference-gateway \ --identifier \ --region \ --cluster-arn arn:aws:sagemaker:::cluster/ \ --name \ --namespace inference-gateway

网关会验证集群,并在其健康检查通过后开始将流量路由到该集群。端点、其他集群和客户端不会受到影响。

分离集群

在网关所在的区域调用RemoveInferenceGateway:

aws sagemaker remove-inference-gateway \ --identifier \ --region \ --cluster-arn arn:aws:sagemaker:::cluster/ \ --name \ --namespace inference-gateway

网关停止向该集群发送新请求,允许正在处理的请求完成,并删除私有端点。网关始终保留至少一个集群。要完全撤出该集群,请在其InferenceGatewayConfig中设置 globalRouting.enabled: false 并重新应用。

删除网关

调用DeleteGlobalInferenceGateway:

aws sagemaker delete-global-inference-gateway \ --identifier --region

网关端点停止服务,每个集群的端点继续服务。删除网关后,通过 globalRouting.enabled: false 撤出每个集群,然后删除执行角色以及您为全局路由添加的IAM权限。

下表总结了常见事件和更改如何影响流量。

事件 发生的情况 您需要做什么

网关创建失败 网关进入FAILED状态,FailureReason指示失败的原因,例如证书名称不匹配 修复原因。要查看每个集群的状态,请调用ListInferenceGateways。

集群故障 流量转移到次优集群,集群恢复后将逐渐回归。除了已开始流式传输的请求外,失败的请求将在另一个集群上重试一次。如果没有健康的集群剩余,网关将返回503。无需操作。客户端无需做任何更改。

更改路由权重 新请求使用新的权重,正在处理的请求在旧权重下完成。无需重新预配。调用UpdateGlobalInferenceGateway

添加集群:一旦集群健康状况良好,路由就会开始。其他均无变化。请参阅“添加集群”。

分离集群:新请求停止,进行中的请求完成。请参阅“分离集群”。

删除网关:网关端点停止提供服务,而每个集群的端点继续提供服务。请参阅“删除网关”。

如需任何故障排查帮助,请参阅故障排查指南。

最佳实践与注意事项

在发布之前规划好您的组。决定哪些集群位于每个网关后面,并且在所有应共享模型流量的集群上使用相同的 modelName。如果您希望峰值流量在各个区域之间溢出,请为两个区域中的集群留出余量。

仅发布您添加到网关的集群。未加入任何网关的已发布集群不会接收流量,但其网络负载均衡器仍会运行并产生费用。

覆盖每个模型。InferenceGatewayConfig 中的每个调度程序都将模型名称映射到为其提供服务的 Pod。未包含在任何调度程序中的模型无法通过网关访问,对其发出的请求将返回 404 错误。

保持您的加载项配置完整。使用 --resolve-conflicts OVERWRITE 时,不完整的配置可能会重置您的负载均衡器或 TLS 设置。每次都从当前配置开始。

在每个 kubectl 命令上传递 --context。您需要在多个集群间工作,因此请确保每个命令都在您指定的集群上运行。

在需要时将工作负载保持在一个区域中。创建一个仅包含该区域中集群的网关。

结论

在这篇文章中,我们介绍了 Amazon SageMaker HyperPod 全局推理网关:这是一个跨您的 HyperPod 集群(可跨一个或多个区域)的 SageMaker 托管端点。网关会根据 KV 缓存余量、队列深度、区域邻近度和错误率来选择集群,并在无需客户端做任何更改的情况下将流量从故障集群转移走。

全局推理网关现已在 13 个 AWS 区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、南美洲(圣保罗)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(斯德哥尔摩)、亚太地区(东京)、亚太地区(孟买)、亚太地区(新加坡)和亚太地区(悉尼)。

要开始使用,请参阅 AWS 文档。

正文为 AI 译文。

参考来源

← 返回每日AI报告