How the BMW Group governs hundreds of agents across thousands of developers

媒体报道 AWS 机器学习 原文语言:英文

宝马集团的研发团队拥有超过12,500名开发者和大约5亿行车辆软件代码,正在大规模构建和管理数百个AI代理。文章详细介绍了他们如何通过框架无关的治理架构、分级信任机制以及持续的CI/CD流水线监控来确保安全与效率。

全文

BMW集团如何治理数百个代理,覆盖数千名开发者

当数百个代理服务于数千名开发者时,企业治理不能事后考虑。

在BMW集团的研发部门,超过12,500名开发者在大约5亿行车辆软件代码上工作。这些软件由BMW Connected Vehicle后端增强,这是一个基于云的系统,包含1300多个微服务,为现场的2400万辆车辆提供数字服务。在受监管的行业中,软件质量、稳定性和治理合规的标准异常严格。

虽然研究、框架和指南现在已经能够帮助构建代理,但在高效、可扩展的方式下实现和运营高质量代理仍是一个重大挑战。

在大型组织中扩展代理式AI不能靠孤立的团队实现。这需要集体努力、本地驱动的实验以及跨企业的积极知识共享。这产生了一个根本的治理二元性:开发团队需要快速创新的自由,而企业必须强制执行安全、安保、可组合性和成本效益的标准。缺乏这种平衡,组织将面临AI孤岛碎片化和昂贵的重复工作风险。考虑到BMW集团全球数百个团队在构建代理,这一挑战尤为真实。

在本文中,我们详细阐述了支持BMW研发团队在规模上构建、治理和运营代理的实践和模式,同时不牺牲速度、质量或合规性。

解决方案

我们的前提很简单:从一开始就构建能够协作的代理。这需要一种架构,使多样性可组合、可治理且可自动化,而无需单一框架或工具链。

该架构的核心是代理外壳,一个围绕大型语言模型(LLM)的运行时层。它提供执行循环、工具调度、内存管理和可观察性钩子,以实现自主运行。

正如AWS Well-Architected Framework标准化了云基础设施设计,代理系统也需要等效的模式、可重用的蓝图,从一开始就编码治理、可组合性和运营最佳实践。

我们围绕五个相互关联的实践组织我们的解决方案,这些实践来源于自2023年以来在企业规模构建和运营代理系统的实践经验。每个实践都以基础设施即代码(IaC)的形式编码,使采纳可重复、可审计,并在团队之间强制执行,而不阻碍DevOps速度。

主动治理,而非事后治理

治理必须从一开始就具备结构性,并在整个生命周期中保持。我们主张有效的代理治理具备三大属性:

框架无关且外部化:治理规则如身份验证、授权、速率限制和内容过滤在集成层强制执行。这包括模型上下文协议(MCP)网关、中央代理注册表和编排边界,而不是在各个代理代码库内部实现。这意味着治理能够在框架迁移、模型更换和团队重组时仍然有效。

领域敏感且分级:并非每个代理行为的风险相同:起草文档、更新客户记录和生产数据库写入需要截然不同的监督水平。我们通过每步的自主级别实现分级信任:

级别0(人工在环):每个操作都需要明确的人类批准。这是新代理和高风险操作的起点。

级别1(人工在循环):代理自主执行,但将决策呈现给异步的人类审查。适用于具有明确输入、输出和回滚选项的中等风险任务。

级别2(在护栏内自主):代理在严格定义的政策边界内独立运行,采用确定性方式而非提示指令强制执行(见下文)。适用于低风险、已验证的操作。

为每一步分配信任级别,而不是为每个代理分配。单个工作流可以包含所有三级的步骤,团队可以保守起步,并随着信任度的提升逐步增加自主性,这基于可衡量的评估数据,而非假设。

确定性强制执行:治理作为确定性代码在代理的推理循环之外运行。实际上,这主要发生在 CI/CD 流水线中。权限检查、代码即策略规则和合规性验证在每次部署之前进行拦截,在代理进入生产环境之前。由于这些检查与代理分离运行,代理及其提示都无法覆盖它们。出口控制(收件人白名单、出站机密扫描)有助于防止持有机密数据的代理通过本来合法的调用泄露信息。

持续进行仪器化、验证和评估

在代理系统中的可观测性超越了传统的应用监控。真正的问题不再是服务是否返回了 HTTP 200 状态,而是代理是否产生了忠实、符合政策的输出,以及如何通过可观测的执行轨迹来证明这一点。要回答这个问题,需要一个覆盖常见查询和边缘案例的真实数据集。该数据集从第一天起就用于评估,因此质量是相对于具有代表性且适当治理的评估数据集来衡量的,而不是合成提示。

此基础设施无法后期补装,必须作为初始设计的一部分。持续集成和持续交付(CI/CD)流水线强制执行这一点,因此缺乏仪器化的代理在评估运行之前就会因验证失败而被拦截。

我们建议在三个维度上进行仪器化:

意图追踪:捕获每次执行的可观测代理轨迹(推理步骤、工具调用和上下文检索)。OpenTelemetry span 创建从用户请求到最终输出的可查询血缘。

将验证和评估作为 CI:对代理的任何更改(提示编辑、工具添加、模型切换)都会触发流水线。验证首先运行自动回归测试,覆盖代理组件及其交互。由于大多数测试组件是确定性的,这些测试快速且完全可自动化。评估随后运行,将非确定性输出与真实数据集对比,并依据质量阈值进行拦截。此顺序是有意为之:验证充当门槛,只有通过构建的评估才会执行。

模型分层与路由遥测:当代理在模型之间路由时,捕获路由决策及其理由,而不仅是结果。层级分配依据每个任务类型的评估结果,差劲的结果会反馈为新的评估案例。

从聚焦开始,为组合而设计

对于分布式云系统,业界通过采用微服务或服务网格等架构模式解决了端到端工作流的复杂性。代理系统的演进需要遵循类似的轨迹,从单体的通用代理转向多个协作的专用代理。

团队应在考虑代理功能之前先定义问题。在编写任何编排逻辑之前,他们应产出五个具体的工件:

明确的范围定义:代理应该做什么、不应该做什么。

交互模型:用户和其他代理将如何调用它。

明确的工具定义:每个工具及其参数的精确定义。

真实数据集:上述评估参考,在任何实现开始之前就建立。

评估标准:衡量代理的质量阈值和基准。

这种纪律防止了我们观察到的最常见的失败模式:承担过多职责的代理会导致提示膨胀,降低准确性并增加延迟。

一旦单个代理的范围明确,它必须被设计为可组合的构件。因此,我们定义了三层组合层级:

MCP 工具是原子集成契约。每个工具封装单一能力(例如 API 调用或数据库查询),不编码工作流假设。这是稳定、可复用的层。

技能是 MCP 工具的捆绑、领域特定组合。例如,代码审查技能可能会串联静态分析工具、风格检查工具和基于 LLM 的推理步骤。技能编码领域逻辑,但在工作流之间保持可移植性。

流是技能的端到端编排,代表完整的业务流程(例如整个 PR 审查流水线或需求到部署的循环)。

CI/CD 管道会对每个层级进行独立验证。组件测试涵盖工具和技能,交互测试则涵盖它们组合而成的流程。

这些层级通过开放标准进行连接:用于工具集成的 MCP 和 Agent Skills、用于智能体间通信的协议,以及用于跨所有交互实现可观测性的 OpenTelemetry。

图 1 展示了这三个层级是如何层层构建的,从底部的单个 MCP 工具到顶部的完整流程。

图 1:构建可组合智能体的三层系统

在学习中不断专业化

在生产环境中,当真实世界的实际使用情况与设计时的预期产生偏差时,即使是范围明确的智能体也可能会崩溃:查询模式发生变化、工具选择逻辑遇到困难,并且性能出现无法预测的降级。

正确的应对方法是将复杂的智能体分解为多个专用的智能体,每个智能体都具有更清晰的指令、更简单的工具集以及更专注的推理。这样带来的好处是切实的:

独立演进:更新需求工程智能体不需要触及编码智能体。

独立扩展:当范围和接口定义明确时,可以独立扩展各个智能体,而无需重新部署或调整整个系统的规模。

最小化影响范围:单个智能体的故障或幻觉不会在整个工作流中级联。

节约成本:范围狭窄的智能体通常可以在较小的模型上运行,从而降低推理和托管成本。

复杂度可以沿两个维度进行降维:

在智能体内部:将能力分解为技能,因为工具和少样本示例(few-shot examples)在每次调用时都会消耗上下文,同时会降低准确性并增加成本。通过经验确定粒度:合并智能体很少选择的技能,并拆分根据输入产生不同行为的技能。

在智能体之间:通过 A2A 协议将智能体领域之外的工作委托给专门的同级智能体,而不是扩展当前的智能体。智能体应该在能力上增长,而不是在上下文中膨胀。

至关重要的是,由于每个专用智能体只能访问其角色所需的数据和工具,因此这种架构有助于从设计上强制执行最低权限原则,这是受监管行业的一项合规要求。

然而,要实现这些好处,需要智能体能够互相发现并实现互操作。为了防止出现 AI 孤岛,我们维护了一个智能体、工具和技能的集中式注册表。该注册表可充当:

发现机制:根据构建期间存储的元数据对可用的智能体、工具和技能进行编目。

治理检查点:确认资产类型已获准在生产环境中使用并维护审计跟踪。

安全检查点:在批准之前应用自动化安全检查,例如提示词注入和类似问题。

去重保障:识别其他团队已维护的同等能力,以避免重复工作。此检查在注册时自动运行,并在批准前标记重复项。

通过代码化实现规模化

从管理单个智能体向治理智能体集群的转变,要求将智能体架构进行代码化。使用诸如 Terraform 或 AWS CloudFormation 等基础设施即代码框架,团队能够以适用于任何生产系统的严谨性来配置和管理智能体基础设施:

细粒度的最低权限角色:按智能体或工具进行范围限定。

CI/CD 管道:跨账户和区域实现一致、经过验证的部署,并在测试失败或指标恶化时自动停止部署。

策略即代码:扫描已部署的智能体以确保其符合组织标准的规则(例如 AWS Config、Open Policy Agent)。

这三者都作为管道关卡强制执行,在注册前进行验证,而不是事后审计。

该采用模型刻意采用了自下而上结合集中管理的方式。各个团队构建技能和 MCP 工具来解决他们眼前的问题。所有团队都可以通过注册表共享其资产来做出贡献。一个核心团队将自动治理检查构建为 CI 管道的一部分,以维持标准。为了支持开发团队并推动左移,核心团队还提供了作为治理即代码模块的构建块。

这种平衡既避免了中心化强制制定的架构,又避免了不受管理的盲目试验。因此,当出现新的运维关注点时,团队可以扩展现有模式,而不必重新设计其架构。

在整个智能体生命周期中落实最佳实践

架构模式和治理标准只有嵌入到团队用于在运行前及运行时构建和运维智能体的工作流中时,才真正有效。

部署前

治理在编写第一行编排逻辑之前就已经开始。团队会获得从注册表中提取的参考架构模式和示例。这些经过预先验证的蓝图涵盖了常见的智能体配置、工具集成模式和组合结构,在加速开发的同时固化了经过验证的默认设置。在任何内容进入生产环境之前,标准化的 CI/CD 控件都会强制执行这些实践。图 2 显示了参考流水线的四个阶段,它们从左到右依次运行。

图 2:四阶段智能体部署流水线的参考模式。

图 2 中的第一阶段运行快速、确定性的检查:供应链安全(仅限批准的注册表)、组件和交互测试、评估库引用以及可观测性埋点。

第二阶段并行运行安全和治理检查。静态分析扫描代码以查找问题,安全测试则在隔离的暂存环境中探测智能体。流水线还会验证出口控制和最小权限。另外两项检查确认智能体声明的自主级别与其实际权限相匹配,并且其配置通过了代码即策略(policy-as-code)规则。治理 agent 通过对照既定标准检查智能体并标记需要人工审查的发现,从而加速审计,例如:

范围蔓延:超出最初定义的用途或权限运行。

提示词膨胀:指令中存在不必要的复杂性。

工具滥用:调用超出其预定用例的工具。

性能下降:准确率、延迟或成本效益下降。

图 3:治理 agent 工作流示例

此评估会浮现出团队可以立即应用的具体、可行的措施,而不是抽象的建议。图 3 显示了用于智能体成熟度评估的治理 agent 仪表板。治理 agent 提供证据和可操作的建议,而负有责任的人员则拥有治理决策权。建议在应用前需要人工确认,从而维持“双人原则”以确保问责制。检查结果会更新注册表中智能体的治理状态,同时完整的详细信息会单独记录在中央知识库中,以便审计和追溯。

第三阶段将智能体评估为运行中的系统:基准真相评估门槛(根据设计时建立的基准对输出进行评分)以及智能体性能(延迟、Token 消耗)。图 4 详细说明了各项指标、评分标准以及它们之间的关系。

图 4:评估指标概述

第四阶段在注册智能体及其子智能体、工具和技能之前检查是否存在重复。下表显示了注册表中每个智能体存储的元数据字段。

智能体元数据

核心数据:

唯一标识符

名称

描述

版本

业务负责人

IT 负责人

能力:名称、描述

功能列表:名称、描述、方向:提供/使用

状态:计划 / 活动中 / 已弃用

规范、智能体卡片或文档的链接

托管模式:本地部署、云端、云区域

服务等级协议数据:

目标可用性(百分比)

目标 P95 响应时间(毫秒)

支持时间 / 运维支持模型

数据治理标志:

信息分类级别

处理个人数据标志

数据保留期/策略

记录请求和响应有效负载标志

PII 数据已脱敏标志

需要人在回路标志(高影响/不可逆操作必需)

表 1:注册表中存储的智能体元数据示例

如果任何步骤失败或指标恶化,部署将停止并提供用于根本原因分析的日志。如果所有检查都通过,智能体将被打包并作为容器化工作负载进行部署,从而产生一致且可复现的部署。这可以防止不受管理的智能体进入生产环境,自动化合规性检查,并保持注册表的准确性。

运行时

在运行时,可观测性必须捕捉两种漂移。数据漂移表现为新的或变化的用户查询模式,或上游 API 的变更。模型漂移表现为错误率上升或工具选择准确率下降。当客户标记响应时,也会触发调查。漂移、分布转移、评估分数下降或直接客户标记的警报会促使分阶段响应。这些事件被记录并转发给人工审查。此外,团队可以持续运行治理代理,以标记漂移和运营问题,让负责团队进行调查。

Summary

在大规模构建和运行代理是一门工程学科,而不是实验性活动。

有效的治理必须从一开始就具备结构性、外部化、领域敏感性,并且能够确定性地强制执行。我们引入了三层组合层次结构(MCP 工具、技能和流程)作为可重用、可组合和可互操作代理的架构基础,将其分解为专门的代理以控制复杂性和范围。我们展示了在每次 CI/CD 运行中进行验证和评估,使质量保证成为日常开发的一部分,以及将代理基础设施定义为代码如何让团队将相同的治理规则应用于整个代理 fleet。最后,我们在代理生命周期中将这些模式运营化,从预验证的参考架构和结构化流水线到持续评估已部署代理的运行时治理代理。

我们的经验表明,这些实践在多个方面带来了收益。可重用的模板和共享基础设施降低了开发成本。得益于标准化的交互模型和自动化部署,团队也能更快将代理推向生产。质量也得到提升,因为流水线在生命周期的每个阶段都强制执行经过验证的模式。

规模化代理治理是全行业的迫切需求。向 AI 和生成式 AI 支持的工作流自动化的转变已经在重塑工程组织的运作方式。赢家将是那些超越实验,建立大规模治理自主代理网络学科的组织。拥有这些实践,BMW 工程师可以专注于解决重要问题:打造终极驾驶机器。

要将这些理念应用到您自己的代理,请从 AWS Well-Architected Framework 开始。本篇文章将其用作可重用代理蓝图的模型。要了解 BMW 如何在其 AWS 环境中对治理进行编码,请阅读《BMW 集团如何使用自动化在 AWS 上实现端到端合规性》。

展望与下一步

本文描述的模式和实践是基础,而非终点。我们正在多个方面积极扩展它们:

改进架构指导:发布关于架构权衡、组合模式以及构建代理团队的反模式的最佳实践指南。

扩展基础设施即代码模板:提供可用的 IaC 模块形式的代理蓝图,默认内置安全和治理标准。

深化治理合规性测试:在 CI/CD 中添加验证治理合规性的测试用例。

自动化标准执行:在部署前和运行时阶段扩展自动检查和托管的合规扫描规则。

扩展代理 FinOps:治理模型和工具调用的合理规模化。

代理用户指导:将描述的模式集成到 Archimedes,BMW 的架构指导代理中,以提供上下文化的架构建议。

致谢

作者感谢(按字母顺序)Alexander Stark、Alexander Zimmer、Dr. Céline Laurent‑Winter、Dominik Segl、Florian Seidel、Hugo Lerias、Dr. Lars Lewerenz、Mark Neumann、Ralf Bottesch、Ramona Weber、Satish Vasireddy、Samuel Voss、Xagarey‑Louis Meyer。

正文为 AI 译文。

参考来源

← 返回每日AI报告