AWS 机器学习 ↗ · 2026-11-19 05:48 · UTC+8
Airbnb 如何使用单任务成本在 Amazon Bedrock 上运行编码代理
媒体报道 AWS 机器学习 原文语言:英文
Amazon Bedrock 通过公共 API 提供对来自多家提供商的基础模型的访问,并由 AWS 管理……
全文
Airbnb 如何使用每任务成本在 Amazon Bedrock 上运行编码代理
Amazon Bedrock 通过统一的 API 提供来自多个供应商的基础模型访问,AWS 管理模型基础设施。它与 AWS 访问控制和监控集成,并在 AWS 内部处理提示、代码和模型响应。
随着编码代理进入生产,模型和使用的变化可能影响延迟、容量和成本。Amazon CloudWatch 中的 Amazon Bedrock 运行时指标帮助团队调查延迟增加、限流以及令牌消耗的变化。评估(evals)通过在固定的代表性任务集上评估代理工作质量,补充这些运营指标。
在本文中,我们展示了 Airbnb 如何评估编码代理的模型并监控它们在 Amazon Bedrock 上的使用。我们解释了每任务成本如何指导模型选择,以及生产数据如何帮助我们在使用变化时重新审视这些选择。我们还描述了用于调查延迟、限流和支出的运行时信号。
在 Airbnb,成千上万的工程师和与工程相关的人员每周使用 AirChat——我们内部的编码代理运行工具。代理通过我们的 大语言模型(LLM)网关发送模型请求,该网关运行在 Amazon Bedrock 上。Bedrock 在 AWS 内部处理 Airbnb 的代码、提示和模型响应。大约五周内推出了八个新模型。到十月中旬,工程师通过编码代理发送的请求中约有三分之二使用了这些新模型。
每次发布都可能同时改变输出令牌、成本、延迟和容量,而随发布一起发布的基准图表并未展示模型如何处理我们工程师的工作。因此我们并行运行两个系统。在 rollout 之前,我们在自己的任务上运行 eval,以衡量每个模型的得分和每任务成本。每任务成本是代理完成一个任务所使用的所有令牌的标价成本。
rollout 之后,可观测性向我们展示了生产环境中发生了哪些变化。当生产使用情况与 eval 结果不匹配时,我们会找出原因。
解决方案概览
您可以通过 CloudWatch 中 AWS/Bedrock 命名空间的少数信号诊断大多数生产问题:
延迟:InvocationLatency、TimeToFirstToken、OutputTokenCount,以及您自行推导的每秒输出令牌数(OTPS)。
限流:InvocationThrottles,加上每个请求为您的配额保留的令牌,这些令牌需要您自行发布。Bedrock 还会发布 EstimatedTPMQuotaUsage,衡量您在所有推理 API(Converse、InvokeModel、ConverseStream 和 InvokeModelWithResponseStream)中的估计每分钟令牌(TPM)配额消耗,包括缓存写入令牌和输出消耗乘数。您可以使用此指标在达到配额限制之前设置主动警报,跟踪各模型的配额消耗,并在使用被速率限制前请求进一步的配额提升。
成本:InputTokenCount(未缓存输入)、CacheReadInputTokenCount、CacheWriteInputTokenCount 和 OutputTokenCount,每项都有各自的计价。缓存读取的费用低于未缓存输入,缓存写入的费用则取决于模型。较低的缓存命中率会增加每请求成本。
在这些指标之上,我们加入了每任务成本。我们的 eval 会为每个模型和我们允许的每种推理力度测量得分和每任务成本。推理力度是一个设置,控制模型在响应前进行推理的程度。我们使用这些结果来选择每个默认值,即除非工程师另选,否则我们的编码工具使用的模型和力度,以及每个力度上限,即我们对模型允许的最高推理力度。
架构
工程师在他们的 AirDev 工作空间上运行 AirChat,这些工作空间是云端的个人开发机器。他们也可以将任务交给 AirChat Remote,后者在独立的云工作空间中运行云代理,而工程师则去做其他事情。这两条路径都通过我们的 LLM 网关进入 Amazon Bedrock。
图 1 展示了 AirChat 和 AirChat Remote 如何通过我们的网关访问 Amazon Bedrock。它还展示了 eval 和生产监控如何指导模型默认值和力度上限的设定。
图 1:编码代理和云代理通过我们的 LLM 网关调用 Amazon Bedrock。我们的使用记录和 CloudWatch 指标显示真实使用情况,我们使用 eval 结果来设定默认值和力度上限。
网关会记录每个请求的模型、客户端、团队和用户。我们仅在汇总层面使用这些记录,用于成本和容量规划。CloudWatch 提供令牌计数、延迟、错误和限流信息。我们将这些生产信号与我们的评估分数和每任务成本进行比较,以决定何时需要更改默认值或努力上限。
先决条件
在 AWS 端,您需要:
访问您计划运行和评估的 Amazon Bedrock 中的模型。有关各 AWS 区域模型可用性的详细信息,请参阅《Amazon Bedrock 用户指南》中的“按模型的区域可用性”。
通过 ConverseStream 或 InvokeModelWithResponseStream 进行流式调用。Bedrock 仅对流式 API 发布 TimeToFirstToken。
模型调用日志记录,在您调用的每个 AWS 区域均需开启。默认情况下是关闭的。日志可以保存完整的提示和响应以及调用者的身份信息,因此请限制谁可以读取它们并设置保留期限。
为您的调用者标记 IAM 角色,并激活成本分配标签。请在开始收集之前激活它们,因为激活不会回填之前的成本。
您还需要自行准备三件事:
一组来自您自身工程工作的任务。为每个任务提供起始代码库状态、工程师会编写的提示以及您信任的评分器。评分器是对代理工作进行打分的程序或模型。我们从真实的代码更改、对这些更改的审查评论以及原始工单未明确说明的决策中构建任务。第 2 步展示了一个示例。
在 Bedrock 前设置一个网关或代理,记录模型、客户端、团队、用户以及每个请求的令牌计数。
一张包含您运行的每个模型的公开列表价格的表格,并为每条记录标注日期,以便您能够在相同基础上为评估令牌和生产令牌定价。
在发布之前,定义代理可以访问的内容以及哪些操作需要人工审查。将在隔离的工作空间中运行代码,并在合并前测试生成的更改。Amazon Bedrock Guardrails 可帮助过滤提示和响应中的有害内容及敏感信息。对于基于提供的参考材料的响应,情境基础检查可以标记不支持的主张。请在您自己的任务上测试这些控制措施,并将它们的延迟和成本计入您的测量中。
操作指南
首先测量完整任务的成本。然后使用这些结果选择模型默认值、检查生产行为、管理容量并归因支出。
步骤 1:完成一个任务的成本是多少?
一个编码代理需要多次请求才能完成一个任务,并且在每次请求中模型都会重新读取迄今为止的上下文。因此我们对整个任务进行定价。
Bedrock 为每个请求报告四种令牌:未缓存的输入、缓存读取、缓存写入和输出。在评估运行中,我们对每个请求的这四种令牌全部计价,并将任务中的所有请求相加。本文中的每项成本均使用该运行日期的公开列表价格。我们在每个模型、推理努力和代理客户端的分数旁记录平均成本,平均值包括低分尝试。
推理努力会同时影响分数和成本。在我们测试的一个模型上,从低努力到高努力的转变使分数提升了 0.8 分,任务成本提升了 2.5 倍。我们使用这些结果设定努力上限,由网关强制执行。
步骤 2:评估新模型的速度有多快?
在新模型发布的下午,我们的一个代理发起了评估活动,使用新模型运行我们所有的任务套件。套件是一组固定类型任务的集合,我们共有七个。代理在多个套件和若干云工作空间中分配数百个任务,每当评分器对结果进行评分时,结果就会出现。首批结果在数小时内到达。到次日早晨,所有套件均已得到分数和每任务成本,我们拥有了整个组织部署决策所需的信息。
这种速度取决于已经编写好的任务。每个任务都是一个文件夹,包含一次运行所需的全部内容。以下是我们机器学习工作中的一个精简任务示例:
honest-holdout-bakeoff/ instruction.md 代理被告知的任务.toml 时间限制、CPU 和内存环境/ Dockerfile 用于沙箱测试/test.sh 运行评分器并写入奖励 tests/grader.py 检查解决方案/ 必须通过评分器的参考解答 instruction.md(摘录):我们有两个候选模型用于预测任务,需要知道哪个应该上线。... 然后回答我们实际上必须决定的问题:是否有任一候选模型值得在已投产系统上进行部署?
评分器会在每次运行时从冻结数据重新计算正确答案,只有当所有检查都通过时,代理才会获得 1 分奖励。为了在每个努力程度上测试一个模型,将每个努力程度列为作业配置中的独立代理:
job_name: model-a-effort-sweep n_attempts: 1 # 每个任务在每个努力程度下尝试一次 datasets: - path: tasks/ml # 每个任务自带评分器 agents: - name: model-a-low model_name: vendor/model-a kwargs: {reasoning_effort: low} - name: model-a-medium model_name: vendor/model-a kwargs: {reasoning_effort: medium} - name: model-a-high model_name: vendor/model-a kwargs: {reasoning_effort: high}
两个示例都使用 Harbor 的格式,Harbor 是一个用于在沙箱中运行代理评估的开源框架。如果你刚开始,这是一种选择。
运行评估可以进行优化。编写评分标准——评分器遵循的评分指南——是最困难的部分。我们的长任务会跨多个回合进行,模拟评审者在回合之间进行反馈。模型评分器会在八个加权维度上为每次运行打分。每个维度的得分范围为 0 到 3。
交付正确性 25 判断 10 验证质量 15 证据与报告 10 自主性 15 可读性 10 设计与工作负载匹配 10 运营纪律 5 上限:如果评审者必须反复拯救代理(自主性为 0 或 0.5),总分上限为 100 分中的 25 分。
由于此类上限的存在,需要拯救的代理仅凭打磨无法获得高分。
步骤 3:部署后你需要关注什么?
当延迟上升时,在提交支持工单前先观察三个信号:TimeToFirstToken(生成开始前的等待时间)、OutputTokenCount(响应长度)以及 OTPS(生成速度)。Bedrock 没有原生的 OTPS 指标。你需要按照《Amazon Bedrock 用户指南》中的度量数学自行推算:
OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000
在我们会话的示例中,延迟上升了 40%,而 TimeToFirstToken 和 OTPS 保持不变。有人修改了系统提示词,使答案更为详尽,导致每次请求的输出令牌数增加了 50%。模型的生成速度保持不变,只是写了更长的响应。将提示词更改和模型升级视为一次部署,并在仪表盘上标记它们。
我们每周将 CloudWatch 运行时指标与网关中每个模型的使用记录并列。为了进行成本和容量规划,我们还会查看整体使用情况:每请求成本以及每周每位用户的平均请求次数。新模型可能会同时影响这两个指标。每次部署后,我们会将实际数据与评估中预期的每任务成本进行比较。
步骤 4:评估结果良好,生产环境表现如何?
一个模型,我们称之为模型 A,在评估中表现良好。在我们的编码任务上,它的得分比之前的最佳模型高出三分以上。每任务成本大致相同,且评分器对所有模型使用相同。我们将其上线,努力程度上限设为 high,并建议用户在大多数工作中使用 low 或 medium。
上线几周后,我们按标价计算模型 A 的生产使用成本,并进行汇总。每位用户的平均每周支出在模型 A 上是之前模型的数倍。每次模型 A 请求的成本约为之前的三倍,而模型 A 的平均用户请求次数也约为之前的三倍。
输出令牌仅占请求成本的十分之一。大部分成本来自缓存上下文,模型在每次请求时都会重新读取。模型 A 能够长时间独立工作,因此用户开始与其进行长时间、自主的会话。
评估是在特定任务上测量模型表现。生产环境则衡量人们如何选择使用它。
随后,出现了一个新模型,在相同任务和评分器下得分高于模型 A,且每任务成本仅为其约六分之一。我们通过配置更改将模型 A 的用户迁移到该新模型。
我们随后检查了同一用户组——模型 A 的重度用户——的整体变化。在他们使用更新模型的第一完整周中,该组向其主模型发送的请求数量大致相同,但该模型的支出降至约七分之一。
步骤 5:为何会被限流,以及流量接下来会去向何处
在 bedrock-runtime 端点上,Bedrock 在请求到达时检查您的每分钟令牌配额,在模型写入任何内容之前。它会预留您的未缓存输入令牌和缓存写入,以及 max_tokens(请求允许的最大输出)。模型生成时会调整该预留,并在请求结束时返回未使用的部分。缓存读取不计入配额,因此请求在配额上可能很便宜,但在账单上却很昂贵。输出令牌的消耗速率在大多数模型上为 1:1,而在某些当前模型上则是其数倍,因此请检查您模型的速率。
一个已计费令牌的仪表板可以在请求被限流时显示余量。在我们会话的示例中,配额为每分钟 100 万令牌,流量为每分钟 300 个请求。仪表板显示约 30% 的配额。应用 5:1 的输出令牌消耗速率后,已完成的请求消耗约 77%。
Admission 使用不同的计算方式。每个请求最初预留 600 个未缓存输入令牌,加上 max_tokens 为 4,096,总计 4,696 个令牌。响应约为第 99 百分位的 800 个令牌。
将 max_tokens 降至 1,024 将初始预留降至 1,624 个令牌,约小 65%。该限制仍高于第 99 百分位。对于未改变的输入和输出,最终配额消耗保持不变。较小的预留为接收请求留下更多余量。监控 stopReason 以捕获被截断的响应。使用退避和抖动,并限制重试次数。
需求也可能超出您在任何单一模型上的余量。您需要在需要之前了解工作可以流向何处,而我们的评估可以回答这个问题。答案可能是来自另一个模型系列的模型。对于我们使用的每个主要模型,我们至少保留一个在评估中表现相当的等效模型,以便进行负载均衡。如果没有这些评估,决定工作流向将是猜测。
如果某模型的余量仍然紧张,我们可以通过更改配置中的默认值来重新平衡。首先确认等效模型有足够容量承载额外负载,并且您的配额覆盖它。还要保持足够的流量以维持您的访问权限:在模型进入其 Legacy 阶段后,现有客户在 15 天不活跃后可能失去访问权限。Legacy 模型会一直运行到寿命终止,之后 Bedrock 会将其从所有区域移除,请求将失败,且 Bedrock 不会自动转移您的流量。当 LegacyModelInvocations 超过零时请设置警报。
步骤 6:谁的支出?
Bedrock 运行时指标按 ModelId 维度划分,因此您可以看到是哪种模型提供了请求,但看不到是哪支团队发起的。Bedrock 同时发布带有和不带 ModelId 维度的指标,且在 Bedrock 解析模型前失败的请求仅出现在不带该维度的系列中,因此按 ModelId 过滤会低估错误数。Bedrock 提供三种归属支出的方式:
哪个团队或用户?Bedrock 在每个请求上记录调用者的 IAM 身份。为您的角色打标签,或传递会话标签,即可在 AWS Cost Explorer 和 AWS 成本与使用报告(CUR 2.0)中按标签查看成本。
哪个应用?应用推理配置是模型特定的,因此为每个应用和模型创建一个带标签的配置文件,并调用相应配置文件的 ARN。
哪个功能或提示?在 Converse 的 requestMetadata 中传递键值对。Bedrock 将它们写入模型调用日志,但不计入账单。要为其定价,可将日志中的令牌计数乘以公布的费率。无论是经典 CUR 还是 CUR 2.0 都不携带每个请求的 ID,因此需通过比较模型、使用类型和时间段的总计来对账。
在网关后面时,Bedrock 看到的是网关的角色,因此让网关为每个用户假设一个带有其自身 RoleSessionName 或会话标签的角色。为会话缓存这些凭证,因为在每个请求上假设角色可能会超出 AWS 安全令牌服务(STS)的速率配额。当归属中断时请求仍会成功,因此在 Bedrock 未能交付调用日志时设置警报。
我们的使用记录使我们能够按模型、客户端、团队和用户归类使用情况,这些数据仅用于成本和容量规划的聚合统计。我们从相同的四个Token计数中计算每个任务的成本,以便在评估和生产之间比较Token组合与成本。
结果
我们可以在一夜之间从模型发布过渡到部署决策。在一次推出之后,用户在模型A上的平均每周花费是之前模型的数倍。我们将重度用户迁移到了更新的模型上。在他们的第一个完整周中,该群体在其主要模型上的花费降至大约七分之一,而请求数量大致相同。对于我们使用的每个主流模型,我们的评估都能识别出一个我们可以重新平衡过去的同类模型。
清理
测试结束后,停止你启动的评估作业和代理进程。如果你仅为本演练启用了模型调用日志记录,请在每个区域使用 DeleteModelInvocationLoggingConfiguration 将其禁用。
在调用者不再使用后,使用 DeleteInferenceProfile 删除你创建的应用程序推理配置文件。移除仅为本演练创建的 IAM 角色、策略和资源标签。停用仅用于这些测试的成本分配标签。删除不再需要的测试 CloudWatch 日志组和 S3 日志对象。
结论
每次发布模型时,我们会进行四项检查:
发布日:在你的各项任务上以各种工作量运行新模型,并同时记录得分和每个任务的成本。
推出前:根据这些数字选择默认值并设定工作量上限。阻止任何成本更高、得分却低于较低工作量的操作。
最初几周:将每次请求的成本和每个用户的平均请求数与评估中的每个任务成本进行比较,两者的定价均基于相同的四个Token计数。
在需要之前:了解来自任何模型系列的哪些模型在你的评估中得分相同,并在重新平衡之前检查其容量和你的配额。
我们选择 Amazon Bedrock 是为了通过一个 API 访问多个模型系列。它允许我们在 AWS 管理模型基础设施的同时,使用现有的 AWS 访问控制和日志记录。我们使用评估来为工作选择模型,并使用可观测性来了解这些选择何时需要重新审视。
要深入了解,请参阅 Amazon Bedrock 用户指南中的以下页面:
在 CloudWatch 中监控运行时指标
使用每秒输出 Token 数诊断延迟
Token 是如何计算的
提示词缓存
跟踪使用情况和成本
使用日志监控模型调用
模型生命周期
正文为 AI 译文。