AWS 机器学习 ↗ · 2026-11-20 08:34 · UTC+8
Amazon SageMaker 推出 2026 年推理功能更新(第二部分)
公司动态 AWS 机器学习 原文语言:英文
AWS 在 2026 年继续扩展 SageMaker 推理服务,新增跨区域路由、支持 LoRA 适配器以及在 AI Studio、Python SDK 中提供推理推荐功能,帮助团队在保持成本平衡的同时实现 500 毫秒的首 token 延迟目标。新功能还包括基于 SLA 的并发搜索和多模型部署组件,以简化大模型的生产化。
全文
Amazon SageMaker 推理:2026 年发布回顾,第二部分
一旦模型投入生产,关注点就会改变。团队想知道在真实流量下模型应该运行在哪种配置上,如何在已经付费的 GPU 上容纳更多模型,下一代模型太大无法放在单台机器上时该怎么办,为什么请求在一个地区等待而另一个地区的 GPU 却闲置,以及为什么在没有任何改动的情况下延迟会上升。本文将按团队通常遇到的顺序逐一解答这些问题。
对于 HyperPod 推理,它列出了额外的路由策略、更广泛的模型服务框架支持以及扩展的多地区网络。Inference Gateway 提供路由功能,托管的 NVIDIA Dynamo 是一种新的服务框架。对于托管端点,路线图指向与 AWS AI 生态系统其余部分的更深度集成。推理推荐现在可以通过 Amazon SageMaker AI Studio、SageMaker Python SDK 以及工程师已经使用的编码代理运行,端点还可以跨地区和跨账户路由请求。
为了让每个章节具体可感,我们将跟随一个假想团队的整个博客过程。春季时,他们在单个 SageMaker AI 端点上使用 70B 参数模型推出了客户支持助手,使用了第一部分的发布内容。到秋季,他们需要支持更多产品线,采用更大的推理模型,在第二个地区为客户提供服务,并保持 GPU 成本不变。
发布概览
图 1:本文的五个阶段及每个阶段的发布内容
从任意工作地点选择合适的配置
团队在四月的基准测试中选定了首个配置。此后,他们为每条产品线添加了四个 LoRA(低秩适配)适配器,产品团队设定了峰值负载下 500 毫秒的首 token 时间(TTFT)目标。四月的配置从未针对这些变化进行过测试。负责重新运行分析的工程师在笔记本和编码代理中工作,且很少使用控制台。
推理推荐于四月作为 API 推出。此后四次更新使其在团队工作场所的更多位置可用,并能回答两个更难的问题:端点可以容纳多少适配器,以及在未达成延迟目标前它能承受多少并发。新的代理技能将相同的专业知识引入编码代理。
SageMaker AI Studio 中的推理推荐(2026 年 7 月)
博客:在 Amazon SageMaker AI 中推出生成式 AI 推理推荐的 UI
四月的发布通过 API 自动化实例、容器和优化选择。推理推荐现在也可以在 SageMaker AI Studio 中以引导式、低代码工作流使用。在 Studio 中,选择 Jobs,然后选择 Inference optimization。选择用例配置文件(Interact、Generate、Summarize 或 Custom),选择优化目标(最小化延迟、最大化吞吐量或最小化成本),并从 SageMaker JumpStart、Amazon S3、模型注册表或已有的 SageMaker 模型中选择模型。
SageMaker AI 使用 NVIDIA AIPerf 在真实 GPU 基础设施上对候选配置进行基准测试,并应用匹配目标的技术,例如针对吞吐量的投机解码或针对延迟的内核调优。您可以按 TTFT、token 间延迟、吞吐量和成本对排名结果进行比较,然后在 Studio 中将选定的配置部署到实时端点。
SageMaker Python SDK v3 中的推理推荐(2026 年 8 月)
博客:Amazon SageMaker Python SDK 的 LLM 优化集成
以前,基准测试和推荐需要 SageMaker AI Studio 或直接调用 Boto3。现在它们已成为 SageMaker Python SDK v3(3.17.0 及以上版本)的一部分,使用与训练和部署相同的接口,使工作流能够嵌入笔记本、CI 管道和 MLOps 流程。您可以针对实时端点的实际工作负载进行基准测试,生成针对延迟、吞吐量或成本目标的排名推荐,并在一次调用中将排名最高的配置部署到实时端点。
SDK 还支持更长的工作流。您可以并行运行推荐作业以比较 LMI、vLLM 等服务框架,并且可以从已完成的作业恢复,以便在不同的笔记本或管道阶段进行部署,而无需重新运行基准测试。
LoRA 适配器在推理推荐中的支持(2026 年 9 月)
开发者指南:获取带 LoRA 适配器的模型推荐
许多团队使用 LoRA 适配器来为同一基础模型提供多种用例的专用化。每个保存在 GPU 内存中的适配器都会减少端点能够同时处理的请求数量,最佳平衡取决于实例类型、适配器数量以及流量特征。
推理推荐现在接受适配器的模型包 Amazon 资源名称(ARN),适用于 SageMaker 微调生成的适配器,或接受 S3 URI,适用于来自外部流水线(如 Hugging Face PEFT)的适配器。SageMaker AI 在真实 GPU 基础设施上对适配器数量和并发度的组合进行基准测试,并返回针对您的工作负载的排序结果。输出为每个适配器列出两种格式。推荐的部署使用 SageMaker 推理组件,为基础模型部署一个组件,为每个适配器部署一个组件,这样您可以在不影响基础模型或其他适配器的情况下添加、更新或移除适配器。
基于 SLA 的并发搜索(2026 年 9 月)
博客:使用 Amazon SageMaker AI 的并发扫描对生成式 AI 端点进行合适规模化
对端点进行合适规模化意味着找到它在不违反延迟或错误目标的情况下能够维持的最高并发度。此前,这需要手动选择并发水平、运行扫描、将结果与服务水平协议(SLA)对比,并在模型或实例更改时使用更窄的范围重复此过程。
推理推荐现在包括直接找到该边界的搜索。将 `search_recipe` 设置为 `max-concurrency-under-sla` 并提供任意组合的最大 TTFT、每个输出标记的最大时间、端到端最大延迟以及最大错误率的目标。基准引擎(AIPerf)从宽范围开始,根据探测通过或失败的情况收窄范围,并在比线性扫描更少的迭代次数内收敛。结果报告最大的通过并发度(feasible_max),如果没有任何级别合格,则报告最小的失败并发度(infeasible_min)。
该搜索使用与并发扫描相同的 CreateAIWorkloadConfig 和 CreateAIBenchmarkJob API。可选参数(concurrency_min、concurrency_max、search_max_iterations 和 search_initial_points)用于限制成本并加速收敛。
针对生成式 AI 推理的代理技能(2026 年 10 月)
博客:新代理技能:Amazon SageMaker 为您的编码代理优化的生成式 AI 推理
工程师越来越多地让他们的编码代理询问应使用哪个实例和容器。没有可靠的知识和真实基准,代理只能猜测,错误的实例选择会在后期表现为未达成的延迟目标或浪费的开支。
aws-ai-ml 技能通过 AWS 代理工具包提供,赋予 Kiro 等编码代理内置的 SageMaker AI 推理专长。工程师用自然语言描述需求,代理即可执行以下操作:
找到合适的实例。为 Amazon S3、SageMaker JumpStart 或 Hugging Face Hub 中的模型提供按吞吐量、延迟和 TTFT 排序的部署选项。
对实时端点进行基准测试。提供覆盖吞吐量、P50 与 P99 延迟、标记间延迟以及支持并发度的真实负载报告。
比较运行结果。显示每项指标的百分比变化,帮助判断配置更改是否有效。
答案基于测量的性能,并以 SageMaker Python SDK v3 代码形式返回,工程师可在自己的凭证下审查并运行。设置约需 10 分钟。该技能兼容任何支持模型上下文协议(MCP)的代理,并可在 SageMaker AI Studio JupyterLab 空间中使用。
对于支持团队来说,一个包含全部四个适配器的推荐作业,随后针对 500 毫秒 TTFT 目标的并发搜索,取代了他们在四月进行的手动扫描。拥有该作业的工程师可以从笔记本启动作业,或让编码代理执行。
在每个 GPU 上容纳更多模型
支持助理并非单独运行。一个嵌入模型、一个重排序模型和一个用于实时路由工单的小分类器共存于同一账户,每个模型只占用 GPU 的一小部分。在标准端点上,每个模型副本仍然占用整个加速器,导致团队在 GPU 内存未被充分利用的情况下耗尽了放置槽位。
SageMaker AI 控制台中的推理组件(2026 年 10 月)
使用推理组件,您可以在一个端点上托管多个模型,并对每个模型单独进行规模和大小调整。此前,它们只能通过 SDK 和 AWS 命令行界面(AWS CLI)使用。每一次创建、调整大小和扩展策略都必须编写脚本,且无法统一查看每个模型的使用情况。
在 SageMaker AI 控制台中,您现在可以创建、查看、更新和删除推理组件:
创建和编辑。使用推理组件创建端点,随后可以添加或删除组件,并更改每个组件的加速器、CPU、内存和副本数量。
为每个模型扩展。为每个组件设置自动扩展策略,甚至可以缩减至零副本,使空闲模型不再占用加速器。
监控。在同一页面上查看警报和每个组件的指标。
控制台调用的与 SDK 和 CLI 相同的 SageMaker AI API,因此团队可以先在控制台上操作,随后实现自动化,或以可视化方式管理脚本化的组件。
使用 NVIDIA 多实例 GPU(MIG)进行 GPU 分区(2026 年 10 月)
博客:SageMaker 推理现已支持多实例 GPU,以最大化模型端点的 GPU 利用率
GPU 分区使用 NVIDIA 多实例 GPU(MIG)技术,将一块物理 GPU 划分为多达七个分区,具体取决于加速器。每个分区拥有专用的 GPU 计算和内存,并实现完整的硬件隔离。您在为推理组件创建端点时定义分区布局,并为每个组件选择分区类型。应用程序仍通过推理组件名称调用模型,客户端代码无需更改。
MIG 在分区之间隔离 GPU 计算和内存。同一实例上的模型仍共享主机 CPU、主机内存、网络、存储和端点路由。您仍按完整实例小时计费,节省来自于在每个实例上放置更多模型,而非降低每小时费用。
图 2:三个小模型分别运行在三块 GPU 上,与同样模型在单块 GPU 的分区中运行的对比
对于支持团队而言,嵌入模型、重排序模型和分类器现在在单个端点的同一块 GPU 的不同分区中运行,团队可以在控制台上管理所有组件,包括助手及其适配器。
服务大于单实例的模型
该团队的下一个模型是一个推理模型,其权重本身就超过任何单实例的 GPU 内存。他们还注意到,长且检索密集的提示会导致端点上其他用户的 token 生成变慢。针对如此规模的模型,他们将工作负载迁移至 HyperPod 推理,以获得专用集群和原生 Kubernetes 控制。支持助手仍保留在托管端点上。
在 HyperPod 推理上托管 NVIDIA Dynamo(2026 年 11 月)
博客:在 Amazon SageMaker HyperPod 推理上托管 NVIDIA Dynamo
第 1 部分介绍了 HyperPod 上大模型的两个构建块:Inference Operator v3.2 中的分离预填充和解码,以及作为托管分层 KV 缓存的一部分的 KV 感知路由。本次发布新增多节点服务并改变了堆栈的运营方。NVIDIA Dynamo 是一个开源推理框架,提供多节点分片服务、分离预填充和解码以及 KV 感知路由。团队此前已经可以在自己的 Kubernetes 集群上运行 Dynamo,但必须自行构建和运营所有配套工作:将副本的所有节点放在一起,配置 Elastic Fabric Adapter(EFA)网络以便预填充能够以硬件速度将 KV 缓存交给解码,维护服务镜像,以及在节点故障导致多节点副本宕机时进行恢复。
通过本次发布,Dynamo 作为托管服务引擎运行在 HyperPod 上。Dynamo 决定服务策略:模型如何分片、预填充和解码如何拆分、每个请求分配到何处。HyperPod 提供这些决策所依赖的资源:
容量和网络。GPU 容量和 EFA 网络,自动配置并自动连线。
节点恢复。节点健康监控与替换,节点故障时自动重新调度多节点工作者。
端点运维。自动扩缩容、端点注册、TLS 与可观测性。
一次性安装和升级路径。Inference Operator 插件会一次性安装 Dynamo、服务镜像以及 Grove 和 KAI 调度器,并统一升级。
Dynamo 为 HyperPod 带来的能力包括:
多节点(分片)服务。模型的一个副本跨多个节点,因此可以服务无法放入单个实例的模型。
分离的预填充和解码。提示处理和标记生成在不同的 GPU 池上运行,每个池使用适合其工作负载的实例类型,因此长提示不再拖慢其他用户的响应。
KV 感知路由。每个请求都会发送到已经持有其 KV 缓存的工作节点,从而降低首次响应时间(TTFT)。
有三种启动方式。使用自托管 Kubernetes 运行 Dynamo 的团队可以基本保持原有的 DynamoGraphDeployment(DGD)清单不变。已经在 HyperPod Inference 上的团队可以更新插件并在现有的 InferenceEndpointConfig 中添加一个简短的 dynamoSpec 块,HyperPod 会将其转换为 DGD,同时现有端点继续服务。对两者都不熟悉的团队可以在控制台创建一个启用了插件和 Dynamo 的集群。无论哪种情况,客户端都调用标准的兼容 OpenAI 的端点,客户端代码无需更改。
托管版 Dynamo 支持 vLLM、SGLang 和 TensorRT-LLM,并在 Amazon SageMaker HyperPod 可用的地区提供服务。
图 3:在 HyperPod 推理上托管的 NVIDIA Dynamo
对于支持团队来说,推理模型作为一个跨多个节点的分片副本运行,拥有独立的预填充和解码池。当节点故障时,HyperPod 会替换该节点并重新调度副本,无需向值班工程师发送页面通知。
将每个请求发送到能够处理它的 GPU
支持助理现在为北美和欧洲的客户提供服务,因此团队在两个地区运行端点和 HyperPod 集群。在美国早晨高峰期间,请求在美国地区排队,而团队已支付的 GPU 在欧洲则闲置。一些欧洲流量也必须留在欧洲。
路由决定团队拥有的容量是否用于有价值的工作。它在四个层面进行,下面的发布分别覆盖每个层面:在端点内部由哪个实例处理请求、在 HyperPod 集群内部由哪个 pod 处理、在整个集群 fleet 中由哪个集群处理,以及在不同地区和账户之间由哪个区域端点处理。
图 4:跨地区以及在每个端点或集群内部的路由,适用于两种部署路径
端点的 KV 缓存感知路由(2026 年 11 月)
博客:Amazon SageMaker AI 实时端点现已支持 KV 缓存感知路由
具有长提示或多轮对话的应用会在请求之间重复大量前缀。模型服务器可以复用匹配的 KV 缓存,但前提是后续请求必须到达持有该缓存的实例。前缀感知路由(在第 1 部分介绍)对每个提示的开头进行指纹识别,并将匹配的提示发送到同一实例。由于它基于请求历史,其对每个实例缓存的视图会随着模型服务器添加和驱逐条目而变得不够准确。
KV 缓存感知路由使用模型容器报告的缓存状态。容器将缓存创建和驱逐事件发布到中央缓存索引,SageMaker AI 将每个请求路由到持有最长匹配缓存前缀的合格实例。这提升了长上下文提示、多轮对话以及共享动态提示前缀的工作负载的缓存复用率。
它适用于单模型端点以及使用推理组件(包括 LoRA 适配器)的端点。支持 InvokeEndpoint、InvokeEndpointWithResponseStream,以及兼容 OpenAI 的 Completion 和 Chat Completion 请求负载 API。可在端点配置中启用。首个版本要求使用经过 AWS 验证的模型容器,该容器实现 cache-event、分词、指标以及兼容 OpenAI 的接口。您可以在详细的推理可观测性中跟踪 KV 缓存命中率。
选择使用哪种。前缀感知路由适用于任何容器,无需更改容器。KV 缓存感知路由需要经过验证的容器并跟踪实际缓存,在前缀多变或缓存快速淘汰时效果最佳。
HyperPod 推理网关(2026 年 9 月)
博客:推出 Amazon SageMaker HyperPod 推理网关
在 HyperPod 集群中,容量和需求很少能匹配。一个 pod 可能正处于长上下文请求的中途,KV 缓存几乎已满,而下一个 pod 则空闲,或已经持有下一个请求所需的提示前缀或 LoRA 适配器。如果看不到 GPU 状态,新请求会在忙碌的 pod 后排队,团队会添加 GPU 来保护延迟,而不是使用已有的 GPU。每个模型还有各自的端点,导致客户端必须为每个模型跟踪一个端点。
Inference Gateway 是一个感知 GPU 的路由器,随 HyperPod Inference Operator 插件一起安装,为每个集群提供一个兼容 OpenAI 的统一端点,覆盖所有模型。对于每个请求,它读取每个模型 pod 的实时信号并挑选最佳 pod,您可以根据工作负载调节权重:
KV 缓存利用率。避免使用缓存几乎已满的 pod。
队列深度和运行中的请求。避免有积压的 pod,并平衡活跃工作负载。
前缀缓存命中率。倾向于可能已持有提示前缀的 pod。
LoRA 适配器驻留。倾向于已经持有请求适配器的 pod,以避免交换延迟。
与轮询路由相比,它在混合 GPU 代际下将 P99 TTFT 降低了最高 97%,在突发流量下降低了最高 98%。该功能在 SageMaker HyperPod 可用的所有地区均可使用。
跨区域推理路由(Cross-Region Inference Routing)在 Amazon SageMaker AI 中
博客:通过 Amazon SageMaker AI 的跨区域推理路由,在区域容量短缺时保持推理运行
在托管端点上,同样的思路体现在跨区域推理路由(Cross-Region Inference Routing)上,这是一种受管路由,可将实时和异步请求发送到团队已部署的区域端点,无论是在同一账户还是不同账户中。您将提供相同模型的端点归入同一个路由目标,应用程序调用该目标而不是具体的区域端点。路由器不增加容量、不复制模型,也不部署端点,现有的调用路径保持不变。
该路由器取代了团队今天自行构建的故障转移逻辑:
单一路径调用。SageMaker 首先尝试本地区端点,若本地区端点无法服务请求,则将流量转移到另一个已注册的端点。
单一路由策略。该策略将端点指标与服务端容量信号相结合,包括客户自行无法观察到的容量不足错误。
私有连接。跨区域流量通过 AWS PrivateLink 运行,采用受管的跨账户授权模型,因此路由到其他地区或账户无需互联网或 NAT 网关。
溢出和驻留防护。端点所有者可以限制回退端点接受的跨区域流量量,应用程序可以限制哪些地区可以为请求提供服务。
图 5:跨区域推理路由器请求流程
保持端点在上线后仍然调优
迁移两个月后,团队为支持助手添加了检索功能,平均提示长度大约翻倍。TTFT 现在比上线时更高,但没有出现故障,所有警报仍为绿色。当团队找到更好的配置时,需要在难以获取的大型 GPU 实例上进行部署。
持续性能监控(2026 年 11 月)
博客:Amazon SageMaker AI 现在可检测延迟漂移、空闲 GPU 和推理端点的未完成优化
Amazon SageMaker AI 现在持续监控您的生成式 AI 推理端点,并在可能提升性能或降低成本时提醒您。监控默认对 SageMaker AI 推理端点开启,无需任何设置,您也可以为端点选择退出。SageMaker AI 仅关注运营信号:延迟、GPU 利用率以及端点的服务配置。它不会读取您的请求或响应。当发现满足置信阈值时,通知会出现在 AWS 管理控制台,并通过电子邮件发送给使用笔记本和 CLI 的团队。推荐操作会在 SageMaker AI Studio 中打开 SageMaker AI 代理体验,已预填发现信息,分析、对比和部署变更都在一次对话中完成。除非您手动应用,否则不会进行部署,且您随时可以关闭监控。
发现类型有三种:
流量变化后的延迟漂移。当添加检索导致提示变长时,TTFT 上升。该发现量化了每周的回归,并建议针对近期流量重新运行推理推荐,以找到能够将 TTFT 降回的配置。
自部署以来存在的配置差距。该端点从未针对其工作负载进行良好调优,发现指出了可以弥补差距的变更。
空闲 GPU 容量。当容量连续数周未被使用时,发现标记出可以适当缩减端点规模并降低成本的机会。
就地滚动模型更新(2026 年 11 月)
标准滚动更新一次替换一个批次的端点,每个批次在新配置的实例上运行。在大型 GPU 集群上,这意味着每一步都需要寻找新容量,且当下一批实例不可用时,更新可能在中途失败。每个已发布的实例在再次使用前还必须完成清理,这会减慢 rollout 速度。
SageMaker AI 现在就地更新模型。它在开始时预配一小批额外实例,将流量切换到该批次,然后更新释放出的实例,重复使用它们将变更滚动到整个集群。更新仍分阶段进行,但只需一次新容量。对于 20 台实例、批次大小为 2 的集群,更新只获取 2 台新实例,而不是 20 台。客户无需做任何更改。正如第 1 部分的容器缓存一样,改进会自动应用于滚动模型更新。
图 6:滚动更新在每一步都获取新实例。就地滚动更新在开始时获取一批实例,其余集群实例重复使用。
对于支持团队而言,Drift Watch 发现量化了 TTFT 回归,并针对近期流量开启新的推荐作业。他们使用一批额外实例来推出更新的模型,而不是为集群中的每个实例寻找新的 GPU 容量。
摘要:第 13 次发布,续自第 1 部分
编号继续第 1 部分的 13 次发布。
14. SageMaker AI Studio 中的推理推荐(2026 年 7 月)。提供引导式、低代码工作流,用于排名、基准配置,并可直接从 Studio 部署。
15. SageMaker Python SDK v3 中的推理推荐(2026 年 8 月)。在笔记本或流水线中进行基准、推荐和部署,支持并行和可恢复作业。
16. 推理推荐中的 LoRA 适配器支持(2026 年 9 月)。对适配器数量进行并发基准测试,并将适配器作为推理组件部署。
17. 基于 SLA 的并发搜索(2026 年 9 月)。寻找满足 TTFT、延迟和错误率目标的最高并发度。
18. 优化生成式 AI 推理的代理技能(2026 年 10 月)。实例选择、基准测试以及从兼容 MCP 的编码代理进行运行比较。
19. SageMaker AI 控制台中的推理组件(2026 年 10 月)。在多模型端点上创建、扩展和监控每个模型,无需脚本。
20. 使用 NVIDIA MIG 的 GPU 分区(2026 年 10 月)。每个 GPU 最多可划分为七个隔离分区,按推理组件分配。
21. HyperPod 推理上的托管 NVIDIA Dynamo(2026 年 11 月)。多节点和解耦服务,HyperPod 在底层运行平台。
22. KV‑cache 感知路由(2026 年 11 月)。根据容器的缓存事件,将每个请求路由到持有最长缓存前缀的实例。
23. HyperPod 的推理网关(2026 年 9 月)。每个集群一个端点,具备 GPU 感知路由,P99 TTFT 比轮询降低最高 97%。
24. 跨区域推理路由器。通过 PrivateLink 在区域间及跨账户端点之间路由,具备溢出和居住地防护措施。
25. 持续性能监控。检测延迟漂移、配置差距和空闲容量,并在 SageMaker AI Studio 中提供引导式修复。
26. 就地滚动模型更新(2026 年 11 月)。在开始时使用一批额外实例推出模型更新,然后在整个集群中重复使用现有实例。
到年底,支持团队从一个基础模型服务四条产品线,在共享 GPU 上运行小模型,服务单个实例无法容纳的推理模型,并在两个区域之间进行流量路由并控制居住地。为此他们无需自行构建基准测试工具、故障转移逻辑或漂移监控。
第1部分指出,AI 推理的优势来自于高效的推理栈。这13个发布将该论点应用于发布后的数月。AWS 基于经验的加速计划可以帮助您的团队通过基准测试工作负载并根据您的 SLA 和成本目标配置推理栈来投入使用。
接下来是什么
在托管端点上,我们计划在2027年初扩展原位滚动更新,采用先缩容的更新方式,这将消除模型更新期间对额外实例的需求。
本文中每项功能的文档和入门指南均位于《Amazon SageMaker AI 开发者指南》。请从与您当前问题相匹配的章节开始。如果您的流量自部署后发生变化,请重新运行推理建议。如果放置槽位不足,请将小模型迁移到分区 GPU 上。如果请求在您拥有的空闲容量时排队,请为您的集群和端点注册跨区域路由。
参考文献
Amazon SageMaker 推理:2026 年迄今发布回顾
新代理技能:为您的编码代理优化的 Amazon SageMaker 生成式 AI 推理
推出 Amazon SageMaker HyperPod 推理网关
新功能:SageMaker AI 的 GPU 分区
正文为 AI 译文。