AWS 机器学习 ↗ · 2026-11-20 02:48 · UTC+8
借助埃森哲的分阶段方法在 Amazon Bedrock 上优化 AI 成本
媒体报道 AWS 机器学习 原文语言:英文
AWS 与埃森哲分享在 Amazon Bedrock 上优化 AI 支出的方法:先用成本分配标签和“每笔业务交易成本”(CpBT)框架完成归因,再按三个阶段应用六个杠杆,包括提示缓存(缓存输入最高降 90%)、批处理推理(约低 50%)与智能提示路由(最高降 30%)等。埃森哲在电信、保险、矿业等四个客户项目中测得 token 支出下降约 40–85%。
全文
使用埃森哲的分阶段方法优化 Amazon Bedrock 上的 AI 经济效益
随着企业在 Amazon Bedrock 上扩展 AI,即使每 token 价格下降,token 支出往往也会增长。如果没有设置成本分配标签,您的云发票会将 AI 支出显示为单个行项目,而不是按团队、工作负载、代理或模型显示。更便宜的 token 扩大了采用率,而代理工作负载成倍地增加了调用次数。随着成功的 AI 用例规模扩大,消费量的增长速度可能会超过单价下降的速度。经济学问题在于,所产生的商业价值的增长速度是否快于产生它所需的智能成本。Linux Foundation 推出了 Tokenomics Foundation 以制定 AI 成本经济学开放标准,这表明管理 AI 的经济学现在已成为一个行业学科。
在这篇文章中,您将了解用于优化 token 支出的六个杠杆、埃森哲如何在生产环境中应用它们,以及如何使用 Amazon Bedrock 应用它们。
埃森哲在电信、保险、采矿和一个大型企业部署等四个客户项目中应用了这些杠杆。正如本文所述,这些杠杆在 Amazon Bedrock 上原生可用。在衡量了节省额的地方,token 支出下降了约 40% 到 85%。结果特定于每个客户的工作负载,并且可能有所不同。为了保护客户机密,埃森哲未透露客户名称。
归因优先:在业务层面衡量成本
在优化任何东西之前,您需要了解消费发生在何处、谁拥有它以及它产生了什么商业价值。团队、工作负载和代理级别的成本分配标签是将消费与负责任的所有者联系起来、并最终与业务成果联系起来的前提条件。您可以通过 Amazon Bedrock 应用程序推理配置文件应用它们,每个应用程序或工作负载一个配置文件,并按团队、成本中心和环境进行标记。在 AWS 账单和成本管理控制台中将它们激活为成本分配标签后,您可以使用这些标签来追踪哪些团队、应用程序和代理在推动支出。它们还可以衡量您引入的每个更改的影响。
三个 AWS 服务提供了底层遥感勘测。通过 AWS 数据导出的 AWS 成本和使用情况报告 (CUR 2.0) 处理财务归因,在激活成本分配标签后,按工作负载和团队细分计费的推理成本。Amazon CloudWatch 捕获诸如调用次数和延迟等运营信号。Amazon Bedrock 模型调用日志记录记录请求级别的详细信息,包括所使用的模型以及每次调用的输入和输出 token 计数。
仅靠遥感勘测是不够的。工程师可以在仪表板上读取每次调用的成本,但产品负责人和项目负责人需要以业务术语表示的指标。埃森哲的每业务交易成本 (CpBT) 框架弥补了这一差距。CpBT 将促成一个成功业务输出的所有模型调用、重试、工具调用和代理交接聚合到一个完全加载的成本数字中。它表面化了产生结果的真实成本,包括原始 token 定价所隐藏的失败尝试。根据每个工作流交付的商业价值进行追踪,CpBT 将反映扩展成功的不断增长的账单与反映浪费的账单区分开来。
六个优化杠杆
这六个杠杆的目标不是不惜一切代价将 token 降至最低。而是使用适量的智能级别,以适当的成本、质量和风险交付每个业务成果。这些杠杆根据更改的复杂性及其所需的投资分为三个阶段。AWS 和埃森哲建议按顺序完成这些阶段,您可以将每个阶段独立应用于对其影响最大的工作负载。
第一阶段:仅配置,无基础设施更改
通过 Amazon Bedrock 提示词缓存,模型可以重用在请求之间重复的提示词部分,例如系统指令、工具定义和参考文档,因此您无需再次支付全价来处理相同的内容。Amazon Bedrock 存储先前计算的提示词前缀的键值状态,旨在跳过对后续请求的重新计算。这旨在为受支持的模型将缓存的输入 token 成本降低高达 90%(请参阅 Amazon Bedrock 提示词缓存)。
Amazon Bedrock 批处理推理以异步方式成组处理非紧急工作负载,特定模型的费用比按需定价低 50%(参见 Amazon Bedrock 定价)。您将推理请求作为批处理作业提交,处理完成后,结果将写入 Amazon Simple Storage Service (Amazon S3)。批处理推理适用于不需要立即响应的夜间报告、文档处理管道和评估运行。
这两个手段都为现有设置增加了配置。提示词缓存需要在提示词中设置缓存检查点标记,而批处理推理则需要将符合条件的请求作为批处理作业提交,而不是调用按需 API。将缓存应用于交互式按需流量,将批处理推理应用于异步工作。两者都不需要新的基础设施或架构更改。
阶段 2:架构更改
Amazon Bedrock 智能提示词路由将请求引导至同一系列中的不同模型,使每个任务与业务价值、复杂性和风险所需的智能水平相匹配,而不是默认将每个请求发送功能最强大的模型。智能提示词路由可以在不降低准确性的情况下将成本降低高达 30%(参见 Amazon Bedrock 智能提示词路由)。请查看 Amazon Bedrock 定价了解任何路由费用。在以下合作项目中,埃森哲的模型分层和分诊路由应用了相同的路由手段。
检索增强生成 (RAG) 优化调整了 RAG 过程中的检索步骤,从而减少到达模型的、不必要的上下文 Token。诸如分层块划分、基于元数据的过滤和重排等技术,将检索到的上下文缩小到最相关的块,因此您主要为改善答案的内容付费。
埃森哲的两个互补模式与这些 AWS 原生手段协同工作。上下文范围限制了每个代理接收的数据为其工作流步骤相关的文档片段,而不是在每次交接时传递完整的案例上下文。上下文压缩在文档到达模型之前对其进行摘要或过滤。两者都减少了输入 Token 的数量,尤其是在多代理链中。
阶段 3:基础设施和训练投资
语义缓存存储响应并在新请求与已回答的请求在语义上相似(即使措辞不同)时予以复用。这避免了冗余的模型调用,并降低了成本和延迟。在 AWS 上,您可以在模型前使用诸如 Amazon ElastiCache 的向量存储来实现这一点。在针对 63,796 个真实聊天机器人查询进行的 AWS 基准测试中,0.90 的相似度阈值产生了 74.5% 的缓存命中率、92.3% 的准确率和 72.5% 的成本节省(参见 ElastiCache 语义缓存基准测试)。在应用路由和语义缓存时,请在每个路由上保持 Amazon Bedrock Guardrails 处于开启状态,并设置语义缓存过期时间,以便用户不会收到过时的答案。
模型蒸馏将知识从大型教师模型转移到更小、更快的学生模型。对于 RAG 等用例,Amazon Bedrock 中的蒸馏模型速度最高可提升 500%,成本最高可降低 75%,且准确率损失小于 2%。蒸馏最适合交易量足以证明训练投资合理性的稳定、高容量工作负载。
生产环境中:四个客户合作项目
埃森哲在四个客户合作项目中应用了这些手段。每个合作项目都针对不同的成本模式。其中两个项目中,埃森哲同时应用了多项更改,因此这些结果反映的是综合效果,而不是某单一手段的效果。
第一个合作项目是一个大型企业部署,其中每个请求都发送至前沿模型,没有使用缓存、模型分层或批处理。埃森哲同时应用了三项更改:进行模型分层以使每个任务与能够很好处理它的最小模型相匹配,针对重复上下文采用提示词缓存,以及针对夜间和非紧急作业采用批处理。它们共同将每月的 Token 成本降低了 85%,并且没有按单项更改拆分节省的金额。大约 15% 的任务仍然需要顶级模型来进行困难的开放式推理,其余的任务则在更轻量的模型上运行。您的比例将取决于您的工作负载构成。
第二个项目是一家电信运营商,其年 Token 支出为 1200 万美元。这些支出大部分来自于代理无限制地分发请求,且无论复杂度如何,每个请求都会发送给前沿模型。埃森哲综合应用了分流路由、语义缓存和上下文压缩。输入 Token 下降了 70%,年 Token 支出从 1200 万美元降至 380 万美元,降幅达 68%。埃森哲根据该运营商变更前的性能基准验证了输出质量。
第三和第四个项目各自应用了一个缓存层。一家保险公司采用了模型层前缀缓存,在多次调用中重复使用提示词的静态部分。一家采矿运营商采用了应用层语义缓存,在重复查询到达模型之前返回存储的响应。在这两个项目中,Token 支出总共下降了约 40%,且无需进行模型路由更改或训练投资。
结果
由于每个客户的起点不同,成效从约 40% 到约 85% 不等。大型企业部署在没有任何优化措施的情况下开始,达到了 85% 的降幅。电信运营商在 1200 万美元的年 Token 支出上实现了 68% 的降幅,而保险公司和采矿运营商通过各自使用一个缓存手段,均实现了约 40% 的综合降幅。结果因每个客户的工作负载而异。
这些节省并不是最终目标。它们创造了扩展 AI 工作负载的能力,以便重新投资于更高价值的用例,并提高每一美元 AI 消费所带来的回报。其中两个项目同时应用了多项更改。当你一次应用一种手段时,你可以将每个结果归因于特定的更改。AWS 和埃森哲建议在你的工作负载中遵循以下顺序:将消耗与所有者和结果联系起来,一次应用一种手段,衡量成本、质量和业务价值,并在有效方法的基础上不断构建。
生产治理:四大运营原则
在生产中优化 AI 经济效益需要一个涵盖成本、质量、风险和业务价值的持续治理周期,而不是一次性的技术变更。在应用任何手段之前,请建立成本和质量的定量基准,以便对照已知的起点来衡量每次变更的影响。在验证输出质量时,请使用从实际生产流量中提取的保留评估集,而不是合成基准。每个工作负载一次只应用一种手段,以便你可以将结果归因于特定的更改,并在质量低于可接受阈值时干净利落地回滚。如果您在金融服务、保险或医疗保健等受监管行业运营,请将质量测试结果和回滚程序记录为标准变更管理记录的一部分。
无论您使用哪种手段或处于哪个排序阶段,这四个原则都适用。Amazon Bedrock AgentCore 是一个环境,您可以在其中使用任何框架或模型大规模构建、连接和优化代理。它包含 AgentCore Evaluations,这是 Amazon Bedrock AgentCore 的一项功能,可在您推进到更高级的手段时提供批量评估,以支持您的质量验证周期。
入门指南
您可以从三个步骤开始。首先,通过在团队和工作负载级别应用成本分配标签来开启 Amazon Bedrock 的成本归因,以便从第一天起就可以追踪您的支出。其次,在 AWS Billing and Cost Management 控制台中激活这些标签。然后,使用 CUR 2.0 和模型调用日志记录来识别高消耗的工作负载,并根据支出、业务价值、质量要求、风险、体量和优化潜力评估每一个工作负载。第三,将 Amazon Bedrock 提示词缓存应用于该工作负载的交互式流量,将 Amazon Bedrock 批量推理应用于其异步作业作为纯配置更改,并在进入阶段 2 的架构更改之前衡量结果。
AWS Well-Architected Agentic AI Lens 包含模型调用和 Token 成本优化 (AGENTCOST02),这是代理工作负载成本优化支柱中的一个重点领域。该重点领域提供了一个结构化框架,您可以使用该框架在整个组织中大规模应用这些手段。
正文为 AI 译文。