AWS 机器学习 ↗ · 2026-11-19 04:13 · UTC+8
Salesforce 如 何 在 Amazon SageMaker AI 中 通 过 跨 区 域 推 理 路 由 推 进 全 球 规 模 的 模 型 服 务
媒体报道 AWS 机器学习 原文语言:英文
感 谢 Salesforce 的 AI/ML 高 级 总 监 Amit Gupta 和 软 件 工 程 PMTS Mark Wang 的 支 持 … …
全文
Salesforce 如何利用 Amazon SageMaker AI 中的跨区域推理路由推进全球规模的模型服务
感谢 Salesforce 的 AI/ML 高级总监 Amit Gupta 和软件工程 PMTS Mark Wang 对 SageMaker AI 跨区域推理路由的愿景与合作所做出的贡献。
Salesforce 的 Agentforce Foundation 团队在全球 30 多个区域为 Salesforce 的各项产品(包括 Agentforce 和 Salesforce Trust Layer)提供各种模型的服务,涵盖自研模型和开源模型。在每个区域单独托管模型会分割容量,使流量峰值更难应对,从而将容量短缺转化为可用性问题。
本文介绍了 Salesforce 如何在 SageMaker AI 中设置跨区域推理路由,以及它如何让团队在安全地保持数据驻留承诺的同时增加容量。文章还介绍了 Salesforce 如何查看每个请求的处理位置及原因。跨区域推理路由为跨多个区域和账户的 SageMaker AI 端点提供了一个统一的调用路径,并将每个请求发送到能够为其服务的端点。这些端点是 Salesforce 自己已经部署的端点。文章首先介绍了 Salesforce 面临的容量问题,然后解释了路由器的工作原理以及 Salesforce 如何将其集成到内部网关中,接着通过一个示例设置进行说明,最后描述了团队观察到的结果。
为什么提供这些模型的服务会使容量成为可靠性问题
Salesforce 的 Agentforce Foundation 团队跨全球 30 多个区域和数百个 AWS 账户,从客户发出请求的区域为客户提供服务,他们根据每个客户的流量来调配容量。每个客户都有自己的流量高峰期,而这些高峰期经常重叠。为重叠的高峰期进行调配虽然是安全的做法,但成本太高。客户还会临时增加新的业务单位,因此他们必须迅速扩充集群。逐个区域快速增加容量会导致 Salesforce 出现容量碎片化:一些区域有空闲实例,而另一些区域则耗尽了资源。
在 SageMaker AI 引入跨区域推理路由之前,Salesforce 使用其内部网关将本地端点无法处理的流量发送到其他区域。该团队构建并运营了这条路径,并得到了基本健康检查、重试和区域切换逻辑的支持。这种方法存在两个漏洞。首先,网关没有来自本地或远程端点的容量信号,因此它无法判断何时转移流量,也无法知道目标是否有空间。其次,跨区域流量必须通过 NAT 网关和互联网网关离开虚拟私有云 (VPC),并在公共 AWS 网络上传输。在设计评审中,团队还提出了级联故障的风险:在事件发生期间转移流量可能会使下一个区域过载,因此 Salesforce 需要对跨区域流量进行上限控制。
在每个应用程序中单独构建此逻辑无法在 Salesforce 中进行规模化扩展。团队需要一个托管的、具备容量感知能力的路由路径。
推理 router 的功能
推理 router 是您账户中的一个区域性 SageMaker AI 资源。您的应用程序调用 router 而不是端点,并传递路由目标名称以及您今天发送给 InvokeEndpoint 的相同请求正文和内容类型。路由目标是您为一个逻辑模型(例如毒性分类器)选择的名称,它通过其完整的 Amazon 资源名称 (ARN) 列出了可为该模型服务的端点和推理组件。每个模型对应的 router 包含一个路由目标,某个模型端点的问题不会转移其他模型的流量。路由目标可以混合使用单模型端点和推理组件。
由于每个目的地都由其 ARN 命名,因此它可以位于另一个区域或另一个 AWS 账户中。拥有端点的账户通过基于资源的端点策略授予访问权限,该策略允许一个命名的 router 调用它,这就是 Salesforce 运行它的方式。
路由器更倾向于使用其所在的区域,并且虽然本地区域的目标能够成功服务,请求仍会停留在那里。路由器根据最近请求的结果来判断每个目标的健康状况。平台故障、模型容器返回的5xx错误、限流以及超时都会降低目标的健康分数。随着这些问题持续出现,路由器会在大约一分钟内开始将越来越多的新请求转移到健康的目标上。对于流量很少的目标,这一过程可能需要几分钟。扩容进度和实例启动失败等信号会影响路由器在出现错误后响应的速度,但它们本身并不会直接转移流量。恢复后,流量会在数分钟内逐步返回,恢复速度比离开时更慢,因此不会出现来回摆动的情况。当目标在未运行模型的情况下失败请求,例如因限流而失败时,路由器会在另一个目标上重试该请求一次。
客户端错误(如无效输入)不会导致流量转移,因为它们在任何区域都会以相同方式失败。模型延迟也不会导致流量转移,因为响应慢通常是由于提示词或输出较长,而本身并不意味着端点不健康。路由器也不负责部署模型、复制制品或添加实例。它使用您已部署的容量,每个端点的自动伸缩会随着流量增长而添加实例。
Salesforce 如何将路由器集成到其内部网关中
在 Salesforce 的内部网关中,路由器调用正好位于原本直接 InvokeEndpoint 调用的位置:在每个请求的出站路径中,数据驻留检查之后、响应处理之前。该检查是网关保留的唯一路由决策。带有驻留要求标签的请求被固定到其所在区域的路由目标,该目标唯一的目的地是本地区域的端点,因此永远不会跨边界故障转移。其他所有请求都以相同的请求体、内容类型和接受类型发送给路由器,正如网关已经发送的那样。容量感知、健康评估和故障转移现在位于路由层,而不是 Salesforce 的代码中。
图 1:Salesforce 跨区域推理路由的端到端架构。在每个区域,内部网关通过 VPC 端点(AWS PrivateLink)发送客户端请求。带有数据驻留标志的请求直接发送到本地区域的 Endpoint A,永不离开其所在区域。所有其他请求则发送到本地区域的推理路由器,路由器默认将流量发送到本地区域的 Endpoint A,并在本地区域端点出现容量受限迹象时故障转移到其他区域的 Endpoint A。
Salesforce 将每个响应中的两个路由字段视为一等遥测数据。网关在与现有请求 ID 和跟踪 ID 同一结构化行中记录 InvokedRoutedResourceArn 和 RoutingReason,并将它们作为应用性能监控(APM)标签发布。由于 ARN 包含区域和账户信息,单行日志即可显示请求是本地运行还是跨区域,以及原因:本地首选、故障转移、容量可用或仅健康。团队在调查流量变化时,将这些字段与路由器的 Amazon CloudWatch 指标关联。
网关的超时时间考虑了跨区域往返延迟,因此故障转移的请求有足够时间在远程区域完成。由于路由器已经在另一个目标上重试一次,网关本身不再额外重试,从而避免在事件期间请求次数成倍增长。
示例设置
以下演练展示了 Salesforce 测试的配置,使用示例 ID 和名称。Salesforce 首先在美国西部(俄勒冈)区域(us-west-2)创建了一个路由器,并配置本地区域目标,确认请求被路由到该目标。随后团队在美国东部(俄亥俄)区域(us-east-2)注册了一个由不同账户拥有的端点,移除本地区域目标,并确认请求能够跨账户和区域边界到达远程端点。在示例中,路由器账户为 111122223333,拥有 us-east-2 端点的账户为 444455556666。
在目标端点上授权路由器
在拥有 us-east-2 端点的账户中,所有者附加了一个基于资源的策略,允许路由器账户调用该端点,并设置了将访问权限限制为指定路由器的条件。该路由器目前可以尚不存在,因此您可以使用计划创建的路由器的 ARN。
{ "Version": "2012-10-17", "Statement": [{ "Sid": "AllowInferenceRouter", "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::111122223333:root"}, "Action": "sagemaker:InvokeEndpoint", "Resource": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2", "Condition": {"ArnEquals": {"sagemaker:SourceInferenceRouterArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-router/example-agent-router"}} }] }
# 在账户 444455556666 中、端点所在的区域运行 aws sagemaker put-endpoint-policy \ --endpoint-name example-toxicity-use2 \ --resource-policy file://policy.json \ --region us-east-2
sagemaker:SourceInferenceRouterArn 条件意味着路由器账户只能通过该路由器访问端点。端点所有者可以随时使用 delete-endpoint-policy 撤销访问权限。
创建路由器
在路由器账户中,在 us-west-2 中创建一个路由器,其中包含一个列出两个目标 ARN 的路由目标。
import boto3
ir = boto3.client("sagemaker", region_name="us-west-2")
response = ir.create_inference_router( InferenceRouterName="example-agent-router", RoutingTargets=[ { "Name": "toxicity-detection", "Destinations": [ {"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/example-toxicity-usw2"}, {"ResourceArn": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2"}, ], } ], )
print(response["InferenceRouterArn"])
每个附加模型都会成为 RoutingTargets 中的另一个条目。
确认每个目标都是可路由的
在发送流量之前,调用 DescribeInferenceRouter 并检查每个目标的 RoutingStatus。Routable(可路由)意味着 SageMaker AI 可以读取目标且该目标可以提供流量。Unroutable(不可路由)意味着目标已被读取但目前无法提供服务,例如因为端点不在 InService 状态。Unknown(未知)意味着 SageMaker AI 无法使用您的凭据读取目标,例如因为您缺少 sagemaker:DescribeEndpoint(或针对推理组件的 sagemaker:DescribeInferenceComponent),或者对于其他账户中的目标,是因为其端点策略未授予 Describe 权限。
desc = ir.describe_inference_router(InferenceRouterName="example-agent-router") for target in desc["RoutingTargets"]: for dest in target["Destinations"]: print(target["Name"], dest["ResourceArn"], dest["RoutingStatus"])
调用路由器而不是端点
调用代码中的改动很小。请求正文、内容类型和接收类型保持不变。客户端和操作会发生变化,端点名称将被替换为路由器名称和路由目标名称。
import json import boto3
payload = json.dumps({"inputs": "Example input"})
# 之前:直接调用单个端点 smr = boto3.client("sagemaker-runtime", region_name="us-west-2") resp = smr.invoke_endpoint( EndpointName="example-toxicity-usw2", ContentType="application/json", Body=payload, )
# 之后:调用路由器 rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-west-2") resp = rt.invoke_inference_router( InferenceRouterName="example-agent-router", RoutingTargetName="toxicity-detection", ContentType="application/json", Body=payload, )
print("Served by:", resp["InvokedRoutedResourceArn"]) print("Reason: ", resp["RoutingReason"]) print("Output: ", resp["Body"].read().decode())
InferenceId 和 CustomAttributes 会像使用 InvokeEndpoint 一样传递给目标,因此诸如追踪 ID 之类的标识符会随请求一起传输。像 TargetVariant 和 InferenceComponentName 这样的成员不会被使用,因为它们已被路由目标取代。
查看请求的去向
大多数评估路由层的团队首先会问的是,如何了解它的工作情况。推理路由器会在每个响应中以及通过 Amazon CloudWatch 提供答案。每个响应都在 InvokedRoutedResourceArn 和 RoutingReason 字段以及对应的 X-Amzn-SageMaker-Invoked-Routed-Resource-Arn 和 X-Amzn-SageMaker-Invoked-Routing-Reason 标头中携带了提供服务的目的地 ARN 和路由原因。由于 ARN 包含区域和账户,因此将这两个值与您自己的请求日志一起记录,可以让您获得每笔请求的记录,从而了解每次调用是在本地运行还是跨了边界。
路由原因包含四种值之一。local-preferred 意味着由路由器所在区域中健康的候选目的地提供了服务。failover 意味着路由器所在区域中存在目的地,但其运行不够稳定可靠,因此路由器将请求发送到了其他地方。capacity-available 意味着路由器所在区域中没有任何目的地能够处理该请求,因此它被发送到了其他区域中的多个健康目的地之一。only-healthy 意味着它由唯一符合条件的健康目的地提供服务。
总体而言,路由器会在其自己的账户和区域中将 OpenTelemetry 指标发布到 CloudWatch,每个指标都带有路由器名称和目的地 ARN,因此可以从一个地方全面了解跨区域的情况。aws.sagemaker.inference_router.invocations 用于统计每个目的地的请求数,其 error.type 属性将失败细分为 invocation_4xx、invocation_5xx(包括超时)以及模型返回的错误 invocation_model_error。
aws.sagemaker.inference_router.destination.duration 用于衡量每个目的地花费的时间,aws.sagemaker.inference_router.overhead.duration 用于衡量路由器增加的时间(包括往返远程区域的网络时间)。aws.sagemaker.inference_router.destination.status 将每个目的地的健康状态报告为 healthy(健康)、overloaded(过载)或 degraded(性能下降)。您可以在 CloudWatch Query Studio 中使用 PromQL 查询这些指标,并且可以将它们与每个端点现有的 SageMaker AI 指标一起放在跨账户、跨区域的仪表板上。
图 2:AWS 使用测试模型进行故障转移测试期间的 CloudWatch 仪表板。随着本地目的地性能下降,每个目的地的请求从本地 us-east-2 端点转移到 us-west-2 中的端点,并在恢复后逐渐返回
跨账户和跨区域测试故障转移
Salesforce 在两种配置中对路由器进行了测试。首先是 us-west-2 中的同区域路由,其中内部网关调用本地推理路由器,路由器将请求发送到本地端点 A。其次是跨账户、跨区域路由,其中 us-west-2 中的路由器还列出了一个由独立基础设施账户拥有的 us-east-2 端点。在发送流量之前,团队调用了 DescribeInferenceRouter,并确认路由目标列出了两个目的地,且两者的 RoutingStatus 都报告为 Routable。随后,发送到路由器的请求由本地端点提供服务,路由原因为 local-preferred。设置几乎不费力气:端点所有者为路由器的账户添加了端点策略,并且在网关的出站路径中,路由器调用替换了直接的 InvokeEndpoint 调用,并使用了相同的请求正文、内容类型和接受类型。
为了测试故障转移,团队用流量淹没 us-west-2 中的本地端点直至其饱和,同时另一个独立的探测程序不断调用路由器,并记录每个请求由何处提供服务以及耗时多久。在约五分钟的饱和状态下,p50 的探测延迟从 0.2 秒上升到 45 到 58 秒,且流量一直保留在 us-west-2 中。这是预期的行为,因为仅凭延迟不会转移流量。当请求开始超过模型容器的 60 秒处理程序超时并返回错误时,路由器开始转移流量。在大约出现第一个错误的两分钟后,首批请求到达 us-east-2,并在又一分钟内,约 78% 的探测流量由 us-east-2 提供服务。其余 20% 到 25% 的流量保留在本地,以便路由器能够检测到恢复。
一旦流量转移,p50 延迟恢复到 0.2 秒,跨区域路径在 p50 下增加了不到 100 毫秒。当地端点恢复后,流量在约 10 分钟内逐渐返回到 us-west-2,探测在故障转移或故障恢复期间未记录到错误。每个响应中的 InvokedRoutedResourceArn 和 RoutingReason 字段,以及路由器在 CloudWatch 中的每个目标调用指标,展示了整个过程,无需额外的监控。
图 3:Salesforce 故障转移测试期间各区域探测请求的占比(UTC)。在本地区点饱和时流量保持在 us-west-2,随后请求开始返回错误时转移到 us-east-2(峰值约 78%),恢复后约 10 分钟内逐渐返回到 us-west-2。
路由器让 Salesforce 替换团队自行构建和运行的运营逻辑:内部网关中的健康检查、重试和区域切换逻辑。容量信号和故障转移现在位于路由层,而不是每个应用中。
在更广泛采用之前,Salesforce 计划重复故障转移测试,使本地区点在更长时间内保持饱和,精确测量跨区域延迟(毫秒级),评估跨区域上限下的级联区域行为,并在更多区域推出路由器。
“借助 Amazon SageMaker AI 的新跨区域推理路由,我们可以安全地增加容量并保持数据驻留承诺。必须留在某个区域的工作负载会留在该区域,只有符合条件的流量才能从其他区域提供服务。单一托管调用与我们现有的故障转移逻辑并行工作,因此我们无需重新架构应用或更改负载。SageMaker AI 负责路由、健康检测和回退,客户数据始终保持在 Salesforce 的信任边界内。我们决定哪些区域符合条件,并通过我们拥有的端点策略控制访问。由于推理路由与 Amazon CloudWatch 和 AWS CloudTrail 配合使用,我们还能获得完整的可观测性、成本跟踪和治理架构。”
— Richard Chang,软件工程架构师,Salesforce
最佳实践与注意事项
在您注册的每个区域保持相同的模型、容器镜像和制品,因为路由器不会复制它们,运行不同模型版本的目标会对相同请求返回不同答案。
为每个目标区域的自身流量加上您预期发送的溢出流量进行容量规划。路由器不会创建容量,如果所有符合条件的目标都忙碌,您的应用将收到目标自身的错误。像现在一样在每个目标上配置自动伸缩,预留足够的余量,使接收端点在收到来自其他区域的流量时能够按照自身策略进行扩容。
客户可以在接收端点的配置(CrossRegionTrafficConfig)中设置上限,以每实例请求速率和远程流量可使用的端点容量最大份额来限定。本地流量永不计入上限。当远程流量达到上限时,端点停止接受来自其他区域的额外请求,路由器将这些请求发送到其他目标,从而本地调用者保留其容量。该上限适用于实时端点。
结论
Salesforce 在全球 30 多个区域为公司各产品提供多种模型,之前在每个区域单独托管导致容量不足时出现可用性问题。使用推理路由后,Salesforce 将已在不同区域运行的端点注册到同一个调用中,使本地区点无法服务的流量能够转到其他地方的容量而不是失败。必须留在某个区域的请求会留在该区域,端点所有者通过他们控制的策略授权跨账户访问,每个响应都显示请求运行的位置和原因。SageMaker AI 负责路由、健康评估以及恢复后的流量逐步返回,而不是每个调用应用自行构建这些逻辑。这使 Salesforce 能在保证数据驻留承诺的同时安全地增加容量。
自2026年11月18日起,Amazon SageMaker AI 中的跨区域推理路由功能在所有支持实时端点的商业区域正式可用。要开始使用,请参阅《Amazon SageMaker AI 开发者指南》中的推理路由器文档以及 CreateInferenceRouter API 参考。
正文为 AI 译文。