AWS 机器学习 ↗ · 2026-11-21 08:14 · UTC+8
使用分布式 KV 缓存代理技能降低自托管 LLM 成本和延迟
媒体报道 AWS 机器学习 原文语言:英文
AWS 推出分布式 KV 缓存技能,可将自托管大语言模型的推理成本降低最高 40%,首 token 响应时间缩短最多 80%。该技能通过 Amazon ElastiCache 与 GPU 集群共享 KV 状态,支持 Kiro、Claude Code、OpenAI Codex 等编码代理,并提供自动评估、部署和故障排查流程。
全文
使用分布式 KV 缓存代理技能降低自托管大模型(LLM)的成本与延迟
客户越来越多地在 GPU 上自托管大模型(LLM),以掌控成本、准确率和延迟。然而,自托管通常意味着要为冗余的 GPU 工作付费,因为每个服务器上小型、孤立的缓存无法容纳或共享 AI 代理与聊天应用重复发送的不断增长的上下文。设想一个法律 AI 助手,它可以在每次对话中累积数十万个 token 的案件历史。当律师在午休后返回某个会话串时,大模型的响应可能需要几分钟。接手该请求的 GPU 服务器在其内存中没有任何历史记录,因此,在写下一个字之前,该 GPU 会重新计算所有这些 token 的键值(KV)注意状态(这一步骤称为预填充,即 prefill)。相同的模式也会拖慢恢复的编程代理、代理式 AI 助手以及文档问答助手。利用 Amazon ElastiCache 的分布式 KV caching 可以将自托管大模型推理成本降低多达 40%,并将首字延迟(TTFT)降低多达 80%。分布式 KV caching 在 GPU 集群旁扩展了共享层,以此补充 GPU 本地缓存,从而使任何服务器都能够跨会话、路由切换和服务器故障在几天内重复使用 KV 状态。“Announcing distributed KV caching for self-hosted LLMs with Amazon ElastiCache”一文深入探讨了技术细节与性能基准。
本文详细介绍了 AWS 代理工具包(Agent Toolkit)中的分布式 KV 缓存技能。通过此技能,您只需通过几个提示词(prompt),即可在编程代理内部评估并设置分布式 KV 缓存。该技能可指导代理检查您的工作负载是否受益于分布式 KV 缓存、为测试或生产工作负载设置缓存集群,以及排查您的 LLM 推理缓存故障。该技能适用于 Kiro、Claude Code、OpenAI Codex 以及其他支持代理技能(Agent Skills)的编程代理。我们将通过四个对话演示该技能的工作原理:诊断首字缓慢、评估缓存大小与定价、进行设置以及修复传输失败。
为什么需要用于 KV 缓存的技能以及它能做什么?
您的工作负载所获得的收益取决于所使用的 LLM 模型、用户流量模式和提示词路由选择等特征,且这些收益可能难以准确估算。我们开发了 KVTrace 工具,可在您部署任何基础设施之前,根据您自己的模型和流量,免费获得对工作负载收益的接近估计。该技能简化了评估和设置过程,并在更改任何内容之前指导您的 coding 代理遵循以下最佳实践:
在花费任何资金前进行契合度检查。代理通过只读的 describe-instances 调用读取您的 GPU 集群,并计算弹性 Fabric 适配器(EFA)接口的数量。它只询问其无法看到的信息:引擎、模型、张量并行(TP)规模、KV 数据类型、服务器价格以及提示词重复的频率。当发现某些配置不匹配时,它会停止并进行解释。
来自您工作负载的数据。对于较短的提示词,加载 KV 状态所花费的时间可能比重新计算还要长。当超过某个提示词长度(即转换点)时,读取操作更具优势。该转换点以及提示词重复的频率决定了缓存是否物有所值。代理通过 KVTrace 根据您自身的流量估算节省费用,且不收取额外费用,如果省下的费用无法涵盖缓存成本,代理则会停止操作。每个数字都标明了其来源。
使用您现有的技术栈管理各个推理服务器之间的配置。代理将 LMCache 连接器添加到您现有的 vLLM 或 SGLang 引擎中,包括在 llm-d 和 Ray Serve 等服务框架下运行的 vLLM 工作节点。它保留了您的路由和引擎设置,并将推理集群中的服务器设置为统一的 KV ID 机制(哈希和种子)以及显式的 KV 数据类型。匹配的设置可避免键不匹配的情况,即每个服务器写入其他服务器找不到的 KV 状态。
实施最佳实践。在处理生产流量之前,代理会清空本地层,并检查两次加载缓存的运行是否给出相同的输出,因为布局不匹配可能会产生健康的命中计数器但却给出错误答案。该技能会引导代理针对高影响力操作(如创建、更改或删除资源)寻求明确的批准。
前提条件
从估算收益到完成设置,这些流程需要满足以下条件:
支持代理技能(Agent Skills)的编程代理,例如 Kiro 或 Claude Code。
支持 EFA RDMA 写入的 GPU 实例,例如 p5。
LMCache 0.5.8rc1 或更高版本以及 vLLM 0.11.1 或更高版本(SGLang 0.5.13 或更高版本)。
ElastiCache for Valkey 9.1 或更高版本,使用 cache.i8ge.48xlarge 节点(如果要设置缓存)。
流程 1:分布式 KV 缓存能帮忙吗?
我们给代理的提示是:“我的 vLLM 集群在 p5 实例上为法律助理提供 64K 令牌上下文。返回对话的第一令牌需要 13 秒,因为 GPU 每回合都会重新计算完整的对话历史。该如何解决?”
代理将请求匹配到技能,并在 Kiro 中在加载之前请求批准。答案指出延迟是由冷预填导致的,并且答案中有三点对实际部署很重要。首先,它检查无需新基础设施的修复方案。如果你关闭了前缀缓存,重新打开可以加快连续回合的速度。如果 GPU 前缀缓存命中率已经在 90% 以上且会话亲和性良好,你可能不需要共享 KV 缓存。其次,它识别出法律 AI 助手的特定约束。共享 KV 缓存可能让一个租户通过响应时间判断另一个租户是否发送了相同的文本。必须保持隔离的情况需要使用独立缓存,共享缓存的租户则在 KV 哈希中加入自己的 ID。第三,它不猜测大小,而是询问模型和 TP 大小、KV 数据类型、副本数量和路由方式,以及用户在回合之间的等待时间。
图 1:法律助理的诊断和建议架构
流程 2:估算节省
为了估算节省,我们给代理提供了一个示例集群:8 台 p5 实例为多轮检索增强生成(RAG)助理提供 64,000 令牌的提示。代理查询了 GPU 和缓存节点的价格,并根据基准测试得出预填速率和 KV 大小。最终,代理建议使用两台 cache.i8ge.48xlarge 节点进行分布式 KV 缓存。下图展示了代理的摘要以及它使用的输入。
图 2:代理的摘要和输入。它在 AWS 价格表中查找了两者的价格,并解释了如何得出重新计算的数值
我们没有提供缓存命中率,即缓存能够服务的重新计算令牌的比例。因此,代理给出多种情景并建议运行 KVTrace 来确定缓存命中率。KVTrace 记录来自 vLLM 或 SGLang 的 KV 缓存事件,然后离线在每个候选容量的共享 KV 缓存上回放。记录器永不写入令牌 ID 或提示文本。追踪只保存块哈希和令牌计数。块哈希来源于令牌内容,因此当提示包含敏感信息时请使用 --anonymize-key-file 参数。该技能在每台 GPU 服务器上记录代表性时间窗口的数据,例如完整的工作日。代理还指出,释放的 GPU 时间只有在你减少服务器数量或在相同服务器上承载更多流量时才会转化为美元收益。
图 3:来自合成演示流量的 KVTrace 报告顶部。它推荐在达到节省上限 90% 的最小容量。
流程 3:设置分布式 KV 缓存
我们向代理提示:“从零开始为 LLM 推理设置共享 L2 KV 缓存。”在创建任何资源之前,代理会请求你确认在可用区中设置建议的缓存节点数量及其估算价格。确认后,它会创建带有 EFA 权限的安全组,并创建使用自定义参数组(包含缓存驱逐策略)的 Valkey 9.1 集群。LMCache 拥有自己的缓存用户,密码存放在 AWS Secrets Manager 中。代理准备 GPU 服务器并在每台 GPU 服务器上启动一个 LMCache 实例。随后它使用小测试对象检查集群,并确认重复提示能够通过远程直接内存访问(RDMA)从缓存加载 KV 状态。在 GPU 集群上,技能会将实际测得的 L2 共享率与 KVTrace 预测进行对比。完整的所有命令请参见 Amazon ElastiCache 文档中的《分布式 KV 缓存入门》。
流程 4:故障排除
提示:“我的 LMCache 服务器已连接到 ElastiCache 集群,BLOB.RDMA_HELLO 成功,但实际数据传输失败。INFO largeobj 显示 rdma_write_errors 正在上升。问题出在哪里?”
根据技能的故障排除指南,代理根据症状模式推断可能的原因是安全组阻止了成员之间的 EFA 流量。它提供了检查并修复该规则的命令。
图 4:智能体解释症状,然后发出命令来检查并修复安全组
开始使用
您可以从 Agent Toolkit for AWS 获取分布式 KV 缓存技能或 AWS MCP Server。然后描述您的问题,或让您的 AI 智能体降低 GPU 集群的成本和延迟以开始使用。要了解有关将 ElastiCache 用于分布式 KV 缓存以及性能基准测试的更多信息,请参阅 AWS 博客。您可以在 Amazon ElastiCache 文档中查看 AWS 命令行界面 (AWS CLI) 的入门指南,并在 GitHub 仓库中了解有关 KVTrace 的更多信息。
正文为 AI 译文。