AWS 机器学习 ↗ · 2026-11-20 05:28 · UTC+8
Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints
公司动态 AWS 机器学习 原文语言:英文
Amazon SageMaker AI 推出了全新的生成式 AI 优化推理推荐功能,可自动监控推理端点的延迟漂移、闲置 GPU 以及未使用的优化。该功能通过默认开启且免配置的监控,在发现性能瓶颈时向 AWS Health 发送通知,并在 SageMaker Studio 中提供一站式基准测试与决策体验。
全文
Amazon SageMaker AI 现在能够检测推理端点的延迟漂移、空闲 GPU 和未实现的优化
每个推理端点在投入生产的当天都会经过良好调优。团队会选择适合模型及其流量的实例类型、服务配置和扩展设置。端点运行顺畅后,他们理所当然地转向下一个优先事项。然而,工作负载很少保持不变。流量模式会演变,提示词会变长,像 vLLM 这样的服务引擎会发布新版本,SageMaker 推理会推出新优化技术,新的微调检查点会改变模型所需的资源。随着时间推移,原本调优良好的端点会悄然漂移。延迟和首次 token 的响应时间会逐步上升。原本从未完全理想的配置会错失可用的性能提升。为从未出现的需求而预配的 GPU 会在一周又一周地闲置。由于没有出现故障,也没有警报响起,这种漂移往往不被注意,直到用户感受到或账单反映出来。
Amazon SageMaker AI 现在会监控您的生成式 AI 推理端点,并在使用 Amazon SageMaker Studio 中的生成式 AI 优化推理建议功能(具备 Agentic 体验)时告知您哪些更改可以提升性能或降低成本。对于使用 vLLM 服务容器和 GPU 实例的 SageMaker AI 推理端点,监控默认开启,无需任何设置,您也可以选择将端点排除在外。SageMaker AI 仅关注运营信号:延迟、GPU 利用率以及端点的服务配置。它不会读取您的请求或响应。基于这些信号,系统会呈现三类发现:
延迟漂移:每周中位数(p50)端到端延迟或首次 token 响应时间的上升。
未使用的容量:您支付的 GPU 大部分时间处于空闲状态。
配置缺口:服务容器缺少更新的性能改进或安全补丁,或缺少模型支持但端点未使用的优化,例如推测解码或 GPU 核心调优。
SageMaker AI 通过 AWS Health 发送发现通知,每个端点仅发送一次,涵盖该端点的所有发现。当通知到达时,您可以在同一位置进行操作。它会在 Amazon SageMaker Studio 中打开 SageMaker AI 的 Agentic 体验,并自动填入端点及其最近的流量信息。随后,您可以运行推理建议,对当前配置与备选方案进行基准测试,并在响应时间、吞吐量和每百万 token 成本上进行并排比较。这将把判断转化为有数据支撑的决策。基准测试在独立计算资源上运行,除非您选择应用结果,否则端点本身不会发生任何变化。
在本文中,我们将展示 SageMaker AI 如何监控您的端点以及如何读取通过 AWS Health 发送的通知。随后,我们将演示如何从通知进入 SageMaker Studio 完成基准决策。我们会通过三个示例场景,说明如何安全地应用或忽略推荐,并解释如何将端点从监控中排除。
解决方案概览
SageMaker AI 推理建议遵循四步循环:观察、通知、推荐和决定。每一步都设计为让您保持控制,且您的生产端点不会在未明确操作的情况下被更改。
观察 – 对符合条件的端点,延迟和容量使用的监控默认开启。它不会读取您的请求或响应,也不会产生额外的 GPU 成本。
通知 – 当出现值得采取行动的情况时,您会在 AWS Health(以及电子邮件)中收到一条简明的通知,说明观察到的内容、其重要性以及推荐的后续步骤。
推荐(选择加入) – 通过一次点击打开 SageMaker Studio 中的 SageMaker AI Agentic 体验,系统会预填端点及其观察到的流量,您可以在独立计算资源上对备选方案进行基准测试。
决定 – 并排比较响应时间、吞吐量和成本。除非您应用结果,否则生产环境不会被更改。
该功能会产生几种类型的发现。下表概述了每种发现的触发条件以及在您选择进行基准测试时会测试的内容。
发现 项目 触发条件 基准测试内容
延迟漂移 响应时间相对于端点的周趋势出现变化 张量并行设置以及替代实例类型或规格的测试
未充分利用的 GPU:GPU 利用率在观察窗口内远低于容量。更便宜的实例类型和更小的规格在观察到的峰值流量时使用
未启用推测解码:模型和容器支持它,但默认关闭(基于配置)。当前配置与启用推测解码的配置对比
服务容器:端点的服务容器具有更新的版本,包含性能改进和关键及高危漏洞(CVE)的安全补丁。当前与已更新容器对比
未调优的 GPU 内核:内核配置未针对模型和硬件进行调优。默认与已调优内核对比
先决条件
监控本身无需设置,默认开启。当您选择通过运行基准测试并可选地应用更改来处理发现时,需要满足以下先决条件:
访问 AWS Health 和 AWS 用户通知控制台。
拥有 SageMaker Studio 域以及运行推理推荐作业和更新端点的 AWS 身份与访问管理(IAM)权限。
拥有足够的服务配额以运行您想测试的基准实例。
费用说明:监控不产生 GPU 成本。基准测试使用标准 SageMaker AI 计费,或您已有的机器学习(ML)预留实例。
了解发现通知
您将在 AWS Health 控制台和电子邮件中收到通知,每条通知结构相同,便于快速浏览:
端点:该发现适用的端点。
我们注意到的内容:观察结果,直接陈述,并明确标注为估计值。
重要原因:对延迟、容量或成本的影响。
推荐操作:在 SageMaker Studio 的代理体验中单击一次即可进行调查。
通知报告观察结果并标注估计值。目前尚未运行任何基准测试。示例通知如下:
主题:[可能需要操作] SageMaker AI 推理改进已应用于您的端点
SageMaker AI 默认跟踪推理端点的延迟和容量使用情况,并发现其中一个端点有改进。它不会读取您的请求或响应。
我们注意到的内容:过去一周,该端点的首个 token 时间相比前一周有所增加。
推荐操作:打开 SageMaker Studio 在独立计算资源上基准测试替代方案。您的生产端点不会被更改。
频率:每个端点仅收到一次涵盖所有适用发现的通知。您一次最多只能收到每个端点的一条通知,SageMaker AI 限制账户一次可接收的通知数量。通知基于 AWS 区域,因此您只能在登录该端点所在的区域时看到其发现。
操作流程:从通知到决策
在本节中,我们回顾几种端点优化场景,这些场景会触发发现报告。
场景 1:捕捉周环比延迟回退
一个团队在单个 SageMaker AI 端点上运行聊天助手。他们添加检索功能以提升答案质量,导致每个请求携带大量检索上下文,提示词变得更长。没有出现故障,也没有触发任何警报,但响应变慢了。
SageMaker AI 将该端点的中位数(p50)首 token 时间和中位数端到端延迟与前一周进行比较。当任一指标在一周内显著上升时,即标记为变化。由于比较基于端点自身历史,团队无需预先设定阈值。
通知:AWS Health 报告首 token 时间相较前一周增加。
Studio 会话:一次选择打开代理体验,预填端点及其观察到的流量。
基准测试:会话在独立计算资源上测试张量并行设置及其他实例类型或规格。
决策:团队比较延迟、吞吐量和成本,然后将最佳配置应用到一个变体。
下图显示了一个关于延迟漂移发现的 AWS Health 事件截图。消息报告中位数首 token 时间周环比上升约 200 ms,推荐操作面板链接至 SageMaker AI 以运行推理推荐。
图 1:延迟漂移发现的 AWS Health 事件,附带运行 SageMaker AI 推理推荐的链接
场景 2:开启您的流量可受益的优化
平台团队在 SageMaker AI 端点上托管了内部代码补全模型。他们使用默认的服务设置进行部署,从未重新检查过这些设置。模型和服务容器支持投机解码,这是一种加速响应的技术,但该功能未被启用。SageMaker AI 将此标记为一个机会。是否有帮助取决于端点的流量,例如并发请求数量以及提示和响应的长度。通知建议运行推理推荐,该推荐会基于端点最近的流量对投机解码进行基准测试,并显示是否值得开启。
通知:AWS Health 报告称一种旨在加快响应速度的技术已被支持但未启用。
Studio 会话:代理体验在加载端点配置后打开。
基准测试:会话将当前配置与启用投机解码的配置进行比较。结果在高峰期与非高峰期可能不同。
决策:如果在关键流量下收益仍然成立,团队就会应用它。否则,他们保持当前配置。
以下截图显示了一个关于投机解码发现的 AWS Health 事件。消息报告模型和服务容器支持投机解码,但端点未使用它。推荐操作面板链接到 SageMaker AI,以运行推理推荐。
图 2:关于投机解码发现的 AWS Health 事件,附带在 SageMaker AI 中运行推理推荐的链接
通知解释说投机解码可以加快响应,并且基准测试会在端点最近的流量上比较开启和关闭投机解码时的响应时间。
场景 3:对未充分利用的 GPU 进行合理规模化
一个摘要端点为一次发布而配置了规模,但实际观众只有计划的很小一部分,因此其 GPU 在一周内大部分时间处于空闲状态。此场景同样展示了正确的决定可能是保持不变。
通知:AWS Health 报告端点为大部分未使用的 GPU 容量付费。
Studio 会话:代理体验在加载端点及其观察到的峰值流量后打开。
基准测试:会话在观察到的峰值流量下测试更便宜的实例类型和更小的规格。
决策:团队权衡每月节省与计划增长所需的余量,可能决定保持当前规格。
以下截图显示了一个关于未使用容量的 AWS Health 事件。消息报告在大多数时间里,即使是端点最繁忙的 GPU 也只使用了 12% 以下的容量。推荐操作面板链接到 SageMaker AI,以运行推理推荐。
图 3:关于未使用容量的 AWS Health 事件,附带在 SageMaker AI 中运行推理推荐的链接
您可以如上图所示,从推荐操作中选择“在 SageMaker AI 中打开”,以应用或忽略推荐。接下来我们将在下一节中演示整个过程。
应用或忽略推荐
在整个过程中您始终掌控全局,且不会自动部署任何内容。当您从通知的推荐操作中选择“在 SageMaker AI 中打开”时,Amazon SageMaker Studio 会打开一个 JupyterLab 空间并显示将在代理聊天中运行的提示。以下截图展示了针对端点上延迟漂移发现的提示,该端点还运行了旧版 vLLM 服务容器:

当您选择运行时,代理体验会在 SageMaker Studio 的 JupyterLab 空间的聊天面板中打开。它用通俗的语言概述发现,重述您的请求,并在采取任何操作前征求您的确认。以下截图显示了代理对发现的总结并询问是否继续:

确认后,代理会生成一个笔记本,用于为该端点创建推理推荐作业。该笔记本使用 SageMaker Python SDK,获取端点的模型和其指标中的流量概况,并用 AWS Health 事件标记作业,以便您能够将结果追溯到该发现。每一步都是单独的笔记本单元,您可以在运行前审查或编辑。
以下截图显示了记录作业详情并在三种候选实例类型上启动推荐作业的笔记本单元。

当作业完成后,您可以将当前配置与响应时间、吞吐量和成本方面的备选方案进行比较。准备好对基准结果采取行动时,我们建议使用安全的发布模式:
在应用提议的更改之前进行审查,包括配置差异以及基准的延迟、吞吐量和成本。
先对一个生产变体进行应用,并保留当前配置以便回滚。
保留或忽略发现是正常结果。通知会保留在您的 AWS Health 事件历史中。
管理监控和通知
您可以管理监控以及通知方式:
在 AWS 用户通知控制台中管理您接收通知的方式。
可选地,安排定期推荐,例如每月一次。
收集内容与不收集内容:监控在端点级别读取聚合的延迟和容量遥测。它不会读取您的请求或响应内容,也不产生 GPU 成本。
退出监控:如果您不希望 SageMaker AI 监控某个端点,请在模型容器上设置 OPT_OUT_TRACKING 环境变量,值自行决定。您可以在调用 CreateModel 时的 Environment 映射中设置此变量,无论是在 PrimaryContainer 还是模型中的其他容器上。
如果端点上的容器携带此变量,SageMaker AI 将不收集该端点的任何监控遥测,包括引擎指标、GPU 指标和启动配置细节。因此,它不会为该端点发送任何通知。
清理
为避免持续费用,请清理您在本指南中创建的资源:
删除您为演练创建的任何测试端点或资源。
如适用,删除 Amazon Simple Storage Service(Amazon S3)中的基准工件。
恢复您所做的任何测试配置更改。
结论
有了 SageMaker AI 推理推荐自动监控您的端点,优化从一次性快照转变为持续信号。
您的端点会持续告知您何时出现漂移、何时缺少改进,或何时为闲置容量付费。单次选择即可带您进入基准的并行决策,由您自行控制。
欲了解更多入门信息,请访问 Amazon SageMaker AI 并查阅 Amazon SageMaker AI 文档。
正文为 AI 译文。