AWS 机器学习 ↗ · 2026-11-20 02:20 · UTC+8
在 Amazon SageMaker AI 中通过跨区域推理路由保持推理运行
媒体报道 AWS 机器学习 原文语言:英文
Amazon SageMaker AI 推出跨区域推理路由功能,使用推理路由器在多个 AWS 区域和账户间自动转移请求,以应对单一区域 GPU 容量不足的情况。该资源无需修改现有端点配置,能够实时显示路由决策并在本地区域健康时优先使用。
全文
通过跨区域推理路由在 Amazon SageMaker AI 中保持推理运行,以应对区域容量不足的情况
在多个 AWS 区域提供模型是一种成熟的高可用推理模式:当某个区域的 GPU 容量不足时,请求会转移到其他区域。该模式描述简单,但实现困难。直到现在,如果您在 Amazon SageMaker AI 托管端点上提供模型,跨区域路由仍需自行构建。
今天,我们在 Amazon SageMaker AI 中推出跨区域推理路由。它使用一种新资源——推理路由器,为您的应用提供跨一个或多个 AWS 区域和 AWS 账户的端点和推理组件的统一调用路径。您注册提供模型的目标位置,应用调用路由器而不是特定端点。路由器在本地区域内保持请求,当前目标健康时;当本地区域不可用时,将新请求转移到其他已注册目标,并在恢复后逐步返回流量。
在本文中,我们将解释跨区域推理路由如何决定每个请求的运行位置,演示一个包含两个区域的模型示例,并介绍监控、限制以及费用情况。有关跨账户部署并为多个模型提供服务的案例,请参阅《Salesforce 如何通过跨区域推理路由在 Amazon SageMaker AI 中实现全球规模模型服务》。
当某个区域的容量不足时
SageMaker AI 端点位于单个 AWS 区域和单个账户。当自动伸缩无法添加端点所需类型的实例时,请求会被限流并超时,即使同一模型在其他区域有空闲容量。要使用该容量,您的应用必须检测到受限的端点并切换区域,判断哪些错误可以安全重试而不会导致模型重复运行,在恢复后将流量切回而不产生抖动,并管理对其他账户端点的访问。这段代码位于每个请求的关键路径上,每个跨区域提供模型的团队都维护自己的实现。
跨区域推理路由的工作原理
跨区域推理路由基于以下核心概念:
您决定模型可能运行的位置——对每个模型,您选择路由器可能使用的端点和推理组件。
SageMaker AI 决定哪个目标为每个请求提供服务——路由器优先使用本地区域的目标,仅在本地目标无法可靠提供服务时才将新请求转移到其他目标。
您的端点保持不变——您像往常一样部署端点,使用相同的模型、配置、实例池和自动伸缩。直接的 InvokeEndpoint 调用仍然有效,路由器会像 InvokeEndpoint 一样传递 InferenceId 和 CustomAttributes。
您可以看到每一次决策——每个实时响应都会告知您请求由哪个目标提供以及原因。
以下术语用于描述各个组成部分:
推理路由器——您账户中位于某一区域的 SageMaker AI 资源,供应用调用。
路由目标——路由器上对单个逻辑模型的命名,例如 fraud-model。一个路由器可以拥有多个路由目标,每个目标独立进行故障转移。
目标——在路由目标下注册的实时端点、推理组件或异步端点,使用其完整的 Amazon 资源名称(ARN)标识,ARN 中包含目标的区域和账户信息。路由目标可以持有实时目标(可跨区域和账户混合端点与推理组件),也可以仅持有异步端点。
本地区域目标——路由器所在区域的目标,在健康时被优先使用。
路由原因——随每个实时响应返回的值,说明请求被路由到何处以及原因。
您创建路由器的区域即为其本地区域。若希望优先使用其他区域,请在该区域创建路由器。路由器本身不创建容量,不会伸缩您的端点、部署模型或复制模型工件和容器镜像。每个目标必须已经在其所在区域运行。
图 1:每个请求都会被路由到健康的目标,路由器优先选择本地区域的目标
路由决策的制定方式
该路由器仅考虑注册在路由目标上且其有权调用的目标。在这些目标中,它优先选择其所在区域(Region)内的目标;当有多个本地目标健康时,它会在这些目标之间均匀分摊请求。只有在本地目标无法可靠提供服务时,请求才会离开该区域。为了检测这一点,SageMaker AI 会根据每个目标的近期请求(在其自身所在的区域内进行衡量)为其计算健康得分。服务器错误(5xx)、限流和超时会降低得分。来自 SageMaker AI 平台的错误(例如健康检查失败)对得分的降低幅度最大。由请求本身引起的错误(如输入无效)不会降低得分,因为相同的请求在任何区域都会失败。模型延迟不是输入因素,因此能够持续返回成功响应的端点会保留其流量。诸如实例启动失败或端点运行的实例数少于其自动扩缩目标等信号会使路由器反应更快,但这仅在目标开始出现请求失败之后才会发生。
路由器会评估每个目标的健康状况,并将其作为以下三种状态之一发布到 Amazon CloudWatch。健康的目标会正常提供服务。过载的目标仍会提供服务,路由器会将其一部分流量转移走。降级的目标正在失效或无法提供服务,因此路由器会将其大部分流量转移走,并保留一小部分流量用于检测恢复情况。
图 2:每个目标的健康状态如何改变路由器发送给它的流量
SageMaker AI 会管理故障转移阈值和时间,因此您无需调整任何阈值。如果远程目标的健康信息过时,路由器会将流量保留在本地区域,因此监控中断绝不会独自导致流量转移。
流量何时转移以及何时恢复
请求失败得越多,转移的流量就越多,因此目标不一定首先完全失效。在持续出现错误的大约一分钟内,流量开始转移流量;对于流量很少的目标,所需时间可能会更长。离开本地区域的流量会根据健康状况的比例分配给健康的远程目标。您无法设置权重或回退顺序。恢复后,流量会在几分钟内恢复,其恢复速度比离开时慢。正在处理的请求不会被中断。
当目标在未运行模型的情况下对实时请求返回失败时,路由器会在不同的目标上重试该请求一次。这涵盖了例如限流、503 错误、未就绪的模型、跨区域流量上限的拒绝或目标拒绝访问等情况。路由器绝不会重试超时、500 错误或模型错误。
对于异步请求,路由器会依次尝试每个符合条件的目标一次(优先选择本地目标),直到某个目标接受该请求。
图 3:路由器仅在模型未运行且在另一个目标上重试一次实时请求
图 4 显示了在我们使用测试模型进行的其中一项测试中,请求是在哪里得到服务的。
图 4:当本地端点过载、另一个账户中的目标失去和重新获得访问权限以及本地端点恢复时,请求得到服务的地点
您可以路由的内容
以下使用案例展示了在 Amazon SageMaker AI 中使用跨区域推理路由的常见方法。
在一个区域的 GPU 容量短缺时继续提供服务。当您的 G 系列实例类型在流量高峰期间在美国东部(俄亥俄州)出现短缺并且请求开始被限流时,路由器会将新请求转移到美国西部(俄勒冈州)的相同模型,自动扩缩会在那里吸收溢出的流量,并在美国东部(俄亥俄州)恢复后逐渐将流量移回。
跨由不同 AWS 账户拥有的端点进行路由。当一个中央平台账户拥有路由器而其他账户拥有端点时,每个端点所有者会授予对一个命名路由器的访问权限,并且请求只能通过该路由器到达这些端点。我们将在本列表之后介绍此设置。
通过一个路由器服务多个模型。创建一个路由器,每个模型对应一个路由目标,每个路由目标列出该模型的各个目标,并在每个请求上传递路由目标名称。每个模型的故障转移都是独立的。
将路由器置于您自己的网关之后。如果您运营 API 或模型网关,您可以将其 SageMaker AI 集成指向该路由器,以便 SageMaker AI 负责为 SageMaker 托管的模型选择区域,而您的网关则决定何时使用其他提供商。例如,请参见 Salesforce 的博客文章。
路由异步请求。异步端点(在路由器的账户中或在其他账户中)可以作为目标。您的应用程序使用路由目标名称和 Amazon Simple Storage Service (Amazon S3) 输入位置调用 InvokeInferenceRouterAsync,并像使用 InvokeEndpointAsync 一样,返回 InferenceId 以及输出和失败位置。
保护接收端点免受其他区域溢出流量的影响。在实时端点上,您可以设置可选的跨区域流量上限,以便来自其他区域的请求只能使用其部分容量。您的端点的本地调用者保留其余部分。我们将在本节后面介绍详细信息。
当目标属于与路由器不同的账户时,两个账户都必须允许每个请求。在端点侧,所有者附加基于资源的策略,允许路由器账户调用端点,并且 sagemaker:SourceInferenceRouterArn 条件键将该访问权限限制为一个指定的路由器。以下策略仅允许账户 444455556666 中的 my-router 调用端点。其第二条语句没有路由器条件,允许路由器账户读取端点的状态。如果没有该语句,目标将其状态显示为未知。
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AllowOneRouter", "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::444455556666:root"}, "Action": ["sagemaker:InvokeEndpoint", "sagemaker:InvokeEndpointAsync"], "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint", "Condition": {"ArnEquals": { "sagemaker:SourceInferenceRouterArn": "arn:aws:sagemaker:us-east-2:444455556666:inference-router/my-router"}} }, { "Sid": "AllowStatusVisibility", "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::444455556666:root"}, "Action": "sagemaker:DescribeEndpoint", "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint" } ] }
在路由器账户中,调用者需要在路由器上具有 sagemaker:InvokeInferenceRouter(或 sagemaker:InvokeInferenceRouterAsync),并在每个目标上具有 sagemaker:InvokeEndpoint(或 sagemaker:InvokeEndpointAsync),因为路由器代表调用者调用每个目标。路由器绝不会授予调用者访问他们无法直接调用的端点的权限。为了让 DescribeInferenceRouter 报告每个端点的状态,调用者还需要在端点上具有 sagemaker:DescribeEndpoint,并在推理组件上具有 sagemaker:DescribeInferenceComponent。其他账户中的应用程序通过假定路由器账户中的角色来调用路由器。有关演练,请参阅 Amazon SageMaker AI 中 Salesforce 如何通过跨区域推理路由推进全球规模模型服务以及跨账户目标的《用户指南》。
图 5:端点所有者保留的控制项:允许一个命名路由器的端点策略,以及可选的跨区域流量上限
使用跨区域流量上限保护接收端点
当路由器将请求从容量短缺的区域转移开时,这些请求会落到已经为其自身区域的调用者服务的端点上。默认情况下,接收端点接受任何数量的跨区域流量,因此激增的溢出流量可能会将其推入限流状态。借助跨区域流量上限,端点所有者可以决定其他区域可以使用端点的多少容量。
您可以在 CreateEndpointConfig 中使用 CrossRegionTrafficConfig 设置上限,该配置需要两个必填值。MaxInvocationsPerSecondPerInstance 是一个实例每秒可以接受的调用次数,您可以通过对模型、实例类型和典型有效负载进行负载测试来对其进行测量。MaxCrossRegionPercentPerEndpoint 是其他区域可以使用的该容量的份额。SageMaker AI 将单实例速率乘以运行中的实例数并应用百分比,因此上限会随自动缩放而调整。例如,如果每个实例每秒 50 次调用、20% 的上限且有 4 个运行中的实例,则端点最多接受来自其他区域的每秒 40 个请求。当自动缩放添加 2 个实例时,上限上升到每秒 60 个请求。
sm = boto3.client("sagemaker", region_name="us-west-2") sm.create_endpoint_config( EndpointConfigName="my-model-config-us-west-2", ProductionVariants=[...], # 您的现有变体,保持不变 CrossRegionTrafficConfig={ "MaxInvocationsPerSecondPerInstance": 50, "MaxCrossRegionPercentPerEndpoint": 20, }, )
只有来自其他区域的请求才会计入上限。来自端点自身所在区域的请求(包括直接的 InvokeEndpoint 调用以及来自同一区域中路由器的调用)绝不会被其进行限流。当跨区域请求超过上限时,端点会在模型运行之前拒绝多余的请求,并且路由器会在不同的目标上重试每个请求一次。如果没有其他目标能够接收该请求,您的应用程序将收到限流错误。
该上限适用于实时端点,端点上的所有推理组件共享该上限。对于托管推理组件的端点,请使用其常规的推理组件和有效负载组合对一个实例进行负载测试,以测量 MaxInvocationsPerSecondPerInstance,并在该组合或有效负载发生更改时再次运行测试。如果省略 CrossRegionTrafficConfig,端点将接受任意数量的跨区域流量。
开始使用:在一个账户中的两个区域部署一个模型
在此示例中,我们在同一个账户的美国东部(俄亥俄州)和美国西部(俄勒冈州)将 Qwen3-4B 与 vLLM 容器作为推理组件进行部署。由于推理路由器不支持响应流式传输,因此应用程序发送非流式传输请求,并且每个请求必须在大约一分钟内完成,这与 InvokeEndpoint 的限制相同。然后,我们在美国东部(俄亥俄州)创建一个路由器,其中包含一个列出这两者的路由目标:
sm = boto3.client("sagemaker", region_name="us-east-2") rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-east-2") sm.create_inference_router( InferenceRouterName="my-router", RoutingTargets=[{ "Name": "my-model", "Destinations": [ {"ResourceArn": "arn:aws:sagemaker:us-east-2:111122223333:inference-component/ic-us-east-2"}, {"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-component/ic-us-west-2"}, ], }], )
运行 DescribeInferenceRouter,并在发送流量之前确认每个目标的 RoutingStatus 为 Routable。
应用程序使用路由目标名称以及原本发送给 InvokeEndpoint 的相同有效负载来调用路由器,并从响应中读取服务目标和路由原因:
resp = rt.invoke_inference_router( InferenceRouterName="my-router", RoutingTargetName="my-model", ContentType="application/json", Body=json.dumps({"messages": [{"role": "user", "content": "Who are you?"}]}), ) print("Served by:", resp["InvokedRoutedResourceArn"]) print("Reason: ", resp["RoutingReason"])
我们观察到的情况
DescribeInferenceRouter 中的步骤 RoutingStatus(us-east-2 / us-west-2) 由谁提供服务 路由原因
两个推理组件都在运行 Routable / Routable us-east-2 local-preferred
us-east-2 推理组件被移除 Unroutable / Routable us-west-2 only-healthy
us-east-2 推理组件已恢复 Routable / Routable us-west-2 only-healthy
流量回到 us-east-2 Routable / Routable us-east-2 local-preferred
流量在其推理组件运行期间一直保留在美国东部(俄亥俄州),在我们将其移除时转移到了美国西部(俄勒冈州且应用程序无需更改),并在我们将其恢复后又返回。
此示例的完整笔记本可在 GitHub 上获取。
提示:将实例池与跨区域推理路由结合使用。通过具备容量感知能力的实例池,SageMaker AI 能够在创建时以及在扩展期间使用同一区域中的另一种实例类型。当整个本地端点无法提供服务时,路由器会将新请求移动到另一个区域。有关详细信息,请参阅容量感知推理:SageMaker AI 端点的自动实例回退。
查看每个请求的去向
推理路由器为您提供关于路由的两种视图:每个实时响应上的记录以及 CloudWatch 中的指标。
每个请求的路由记录
每个实时响应都在 InvokedRoutedResourceArn 中包含提供请求服务的目标的 ARN,并在 RoutingReason 中包含路由原因。路由原因属于以下各项之一:
local-preferred – 由路由器区域中健康的的目标提供服务。
capacity-available – 由具有可用容量的目标提供服务。
failover – 转移离开无法可靠提供服务的目标。
only-healthy – 由健康的唯一符合条件的目标提供服务。
我们建议将这两个值与应用程序自身的请求日志记录在一起。
异步响应不包含服务目标。CloudWatch 中的路由器指标显示了异步请求的放置位置。
CloudWatch 中的路由器指标
路由器在其自己的账户和区域中将 OpenTelemetry 指标发布到 CloudWatch,并带有路由器、路由目标和目的地的标签:
aws.sagemaker.inference_router.invocations – 每个目的地的请求数,失败时带有 error.type 标签(invocation_4xx、invocation_5xx 或 invocation_model_error)。
aws.sagemaker.inference_router.destination.duration – 在目的地花费的时间,包括您的模型。
aws.sagemaker.inference_router.overhead.duration – Router 自身的工作加上往返其他区域的网络时间。
aws.sagemaker.inference_router.destination.status – 每个目的地处于健康、过载或降级状态。
对不健康的目的地以及所有错误类型的错误率设置警报。请参阅使用 Amazon CloudWatch 和 AWS CloudTrail 监控推理路由器。
图 6:在图 4 所示的测试期间,来自路由器 CloudWatch invocations 指标的每个目的地请求数
每个目的地端点在其自己的账户和区域中继续发布现有的 SageMaker AI 指标。若要在一处查看它们,请使用 CloudWatch 跨账户可观测性以及跨账户跨区域控制面板。
AWS CloudTrail 将路由器的 API 调用(创建、更新、删除、描述和列出)记录为管理事件,并将路由器调用记录为数据事件。您可以像对其他 SageMaker AI 数据事件一样,在您的追踪中启用数据事件。
规划您的部署
在使用推理路由器进行设计时,请记住以下几点:
将路由器放在大部分流量发源的区域。路由器总是优先选择其自身区域内的目的地。
为每个区域规划其自身的流量以及您希望它吸收的溢出流量。默认情况下,接收端点接受任意数量的跨区域流量,因此请配置具有足够余量的自动扩展,以应对您预期的溢出。为了保护端点的本地调用方,请设置跨区域流量上限,如使用跨区域流量上限保护接收端点中所述。如果每个远程目的地都达到了其上限,则超出组合上限的请求将返回节流错误。
保留一个低成本的备用区域。您可以在另一个区域中注册一个推理组件并保持较低的成本,但要为其如何获取容量做好计划。副本数为零的远程推理组件在故障转移期间只会收到一小部分流量,并且这些请求会失败,直到它拥有副本。至少保留一个运行中的副本,或者在副本上配置自动扩展,并确认它在您依赖备用区域之前进行扩展。
为入口点的弹性做好规划。路由器是区域性的,因此如果其区域受损,对其的调用将会失败。在两个区域中创建路由器,并在客户端进行切换。
仅注册可能处理您数据的目的地。请求可以在路由器的区域中处理,也可以在您已注册目的地的任何区域中处理。对于必须留在某个地理位置的数据,请使用单独的路由器,例如一个用于美国数据,另一个用于欧盟数据。您有责任配置您的路由器以符合您的数据驻留和合规性义务。
保持适度的自身重试。节流错误意味着每个目的地都很忙,服务不可用错误意味着没有目的地能够接受该请求。在大约一分钟后出现的服务不可用错误意味着请求超时,模型可能已经运行,因此请勿自动重试。
从路由器中移除已删除的目的地。流量已经避开了已删除的端点,但路由器绝不会自行移除目的地。
私有调用路由器。虚拟私有云 (VPC) 中的应用程序可以通过接口 VPC 端点 (AWS PrivateLink) 调用路由器,该端点支持 IPv4(不支持 IPv6/双栈)。
还要注意以下限制:
不支持响应流式传输。
目的地在大约一分钟内未响应的实时请求将以服务不可用错误失败。
每个路由器最多可容纳 20 个路由目标,每个路由目标最多可容纳 10 个目的地,实时有效负载最大可达 6 MB。有关默认配额(例如每个账户的路由器数和请求速率)以及如何请求增加配额,请参阅 Amazon SageMaker AI 文档中的服务配额。
结论
Amazon SageMaker AI 中的跨区域推理路由为您的应用程序提供了一条统一的调用路径,贯穿您已在多个 AWS 区域和 AWS 账户中运行的端点与推理组件。该路由器优先使用自身所在的区域,当某个目标无法可靠地提供服务时会转移新请求,在恢复后会逐步恢复流量,并向您展示每个请求的运行位置及原因。您的端点、模型、容器和自动缩放策略保持不变。
从今天开始,跨区域推理路由在大多数商业 AWS 区域(me-south-1 和 me-central-1 除外)正式可用,支持实时和异步推理。
Amazon SageMaker AI 中的跨区域推理 routing 不收取额外费用。您只需按照标准的 SageMaker AI 定价支付处理请求的 SageMaker AI 端点和推理组件费用,无论请求是直接到达还是通过推理 router 到达。推理 router 会将指标发布到 router 账户中的 Amazon CloudWatch,您需要按照标准的 CloudWatch 费率支付这些指标以及您在其上运行的任何查询的费用。有关详细信息,请参阅 Amazon SageMaker AI 定价。
要开始使用,请参阅有关跨区域推理路由的 Amazon SageMaker AI 文档,并探索 GitHub 上的示例笔记本。
正文为 AI 译文。