在 Amazon SageMaker HyperPod Slurm 中推出可观测性和用户管理的托管集群扩展

公司动态 AWS 机器学习 原文语言:英文

AWS 为 SageMaker HyperPod Slurm 集群新增托管扩展,提供可观测性和用户管理功能,支持通过 API 或控制台声明、验证、部署和更新软件包。扩展在所有节点上保持一致,并在控制台展示状态和健康信息,帮助避免脚本漂移。

全文

在 Amazon SageMaker HyperPod Slurm 中推出用于可观测性和用户管理的托管集群扩展

保持用于基础模型开发的共享 Slurm 集群同步,需要将多个分别维护的配置项与节点上实际运行的内容保持一致。集群的形态分布在多个配置文件中,软件在自定义脚本中,网络拓扑在随节点变化而必须编辑的文件中,用户则在管理员必须维护并重新执行的名册中。随着时间推移,这些部分会与实际运行状态产生偏差,而没有任何机制提醒你何时出现了偏差。

我们认为集群配置应当像管理其他 AWS 基础设施一样进行管理。你通过 API 或控制台声明所需内容,AWS 在应用之前进行验证,集群持续保持在该状态,并且你可以查看其是否正常工作。2026 年,Amazon SageMaker HyperPod 将这种方法引入 Slurm 集群,实现了 API 驱动的 Slurm 配置、基于 AMI 的配置、持续供应、自动拓扑管理以及深度健康检查。今天,我们推出了集群扩展,将相同的方法应用于运行节点上的软件和设置,提供托管的可观测性和用户管理扩展。然而,在整个过程中,你仍然可以完全访问集群中的每个节点,包括控制节点。你可以 SSH 登录,直接配置节点,并运行自己的生命周期脚本。API 减少了你的维护工作,直接访问提供了更多控制权,你可以自行平衡二者。

在本文中,我们将回顾 2026 年推出的功能,并解释为何运行节点上的软件需要不同的机制。随后,我们将展示集群扩展的工作方式,包括通过 API 和控制台的操作,并跟随一个平台团队在使用这些扩展的集群上度过一个季度的过程。

Slurm 集群操作的声明式基础

我们可以将 Slurm 集群的配置划分为六层。其中五层描述集群本身:其定义、节点设置、容量、网络拓扑和硬件健康。第六层涉及运行在节点上的软件,我们将在下一节讨论。下图展示了这六层。

2026 年初,我们将声明式管理引入了前五层。通过 API 驱动的 Slurm 配置,管理员在 CreateCluster 和 UpdateCluster 请求中定义节点角色、分区以及 Amazon FSx for Lustre 和 Amazon FSx for OpenZFS 挂载,并连接外部计费数据库。HyperPod 在保留其他控制节点 Slurm 自定义设置的同时更新分区设置。基于 AMI 的配置用预装 Slurm、Docker、Enroot、Pyxis 和用户主目录的镜像取代常规的设置脚本。自定义 AMI 或 OnInitComplete 脚本处理组织特定的软件。持续供应会在后台重试容量请求;基于 AMI 的配置与其配合使用,最小容量要求让团队指定 MinInstanceCount,集群操作会跟踪扩容请求。

自动拓扑管理在节点扩容或更换时维护网络布局。在 Slurm 25.11 或更高版本中,分区级拓扑支持每个分区的树形或块状拓扑。对于硬件健康,按需深度健康检查会对 GPU 进行压力测试并检测 NVIDIA 集体通信库(NCCL)连通性,而在持续供应期间的深度健康检查则在节点供应时运行。正在检查的节点会保持在 Slurm 维护保留中,直至检查完成,从而避免作业调度到这些节点上。

引入集群扩展

前面描述的五层是 HyperPod 在供应节点时可以一次性派生或应用的配置。第六层,即运行在节点上的软件,则表现不同,因为它在集群生命周期内会持续变化。随着研究人员的加入和离开,团队可能需要一周的更深入 GPU 指标,或有导出器发布修复。对于这一层,生命周期脚本一直是主要机制,但当软件频繁变更时,它们存在缺点。脚本仅在节点供应时运行,因此每次更改都需要编辑脚本并替换节点或在整个集群上重新运行。错误只有在脚本在节点上执行时才会显现,且没有任何报告已安装内容的机制,导致节点随时间漂移。

我们希望在一个地方声明软件,在提交时进行检查,在各节点之间保持一致,并在事后可见。2026年11月,我们推出了集群扩展(cluster extensions),这是由AWS管理的软件包,您可以通过API或Amazon SageMaker AI控制台进行安装、配置、更新和删除,首批推出的软件扩展率先涵盖了可观测性和包含目录集成在内的用户管理。与脚本相比,扩展具有以下优势:

前端验证:HyperPod会在您通过API或控制台提交扩展设置时,根据其架构(schema)进行检查,因此拼写错误的设置在到达任何节点之前就会被拒绝。

每个节点均保持一致:HyperPod将扩展应用于每个节点,包括通过纵向扩展或替换添加的节点,并在集群扩展和自愈的过程中保持节点的一致性。

通过API或控制台进行更改:您可以通过API调用或从SageMaker AI控制台更改设置或升级版本,而无需编辑脚本和替换节点。这两种途径都使用经过验证的相同配置,并且本文展示了控制台截图以及API示例。

可见性:每个扩展都会报告其状态以及每个节点的健康状况。

当HyperPod提供托管软件功能时,请使用集群扩展。对于可用扩展未涵盖的组织特定软件或初始化,请使用自定义AMI和生命周期脚本。目前HyperPod支持两个集群托管扩展:

可观测性扩展(sagemaker-observability)收集节点、GPU、Elastic Fabric Adapter (EFA)、Slurm作业和Slurm集群指标,并将它们发送到Amazon CloudWatch或Amazon Managed Service for Prometheus。

用户管理扩展(sagemaker-user-management)在每个节点上创建具有相同ID的用户和组,控制谁可以在每个节点类型上使用SSH和sudo,并在Slurm记账中注册用户。它还可以将集群连接到Active Directory,例如用于Microsoft Active Directory的AWS Directory Service。

以下图表展示了扩展如何到达您的节点。

图 2:HyperPod可以安装、编辑或删除扩展。HyperPod记录期望的配置,节点代理在每个节点上应用扩展包(包括新节点和替换节点),健康探测器则将状态和健康问题反馈回来

使用集群扩展

您可以从SageMaker AI控制台或通过API使用集群扩展。在控制台上,集群详情页面上的“扩展”(Extensions)选项卡列出了每个扩展的状态、版本和ARN,您可以在此处安装新扩展。每个扩展都添加了自身的控件,例如用于可观测性的指标存储和“在Grafana中打开仪表板”按钮,以及用于用户管理的用户和组数量以及“管理用户”按钮。您还可以通过来自AWS CLI或SDK的API管理每个扩展,以便编写安装脚本、将设置保存在版本控制中、在多个集群之间重复设置,或者从您自己的工具中检查状态和健康状况。下表列出了六个集群扩展API,从安装扩展到列出您可以升级到的版本,以及扩展的控制台视图。

图 3:左侧是六个集群扩展API及其各自的功能。右侧是用于添加和删除扩展的控制台视图

以下图表展示了调用其中一个API后会发生什么。

图 4:您通过API声明扩展的版本和设置。HyperPod会对其进行验证和记录,将其应用到每个节点的对应角色,并报告状态和健康状况

当您创建或更新扩展时,HyperPod会在API调用期间根据版本的架构验证您的设置,因此拼写错误的设置会被立即拒绝。然后,它将版本和设置记录为期望状态并对其进行应用,每个节点仅安装其角色所需的内容,例如仅在GPU节点上安装GPU导出器。新节点和替换节点在启动几分钟后就会获得相同的状态,并且每个节点都会报告扩展是否已应用以及它是否健康。

更新只会发送您想要更改的设置,而 HyperPod 会将它们合并到存储的设置中。仅在某个节点上出现的问题(例如已被其他程序占用的端口或用户 ID)会显示在 DescribeClusterExtension 的 Health 字段中,并按原因分组,包含代码、消息以及受影响节点的数量。HyperPod 会自行重试内部故障,对于其他任何问题,您只需修复原因并在不作更改的情况下调用 UpdateClusterExtension 即可重试受影响的节点。

在推出更改时,扩展的状态为 Creating 或 Updating;当每个节点都运行请求的版本和设置且没有报告问题时,状态为 Active;当某些节点失败或报告问题时,状态为 Degraded。每个扩展都有自己的 ARN,因此平台团队可以拥有 sagemaker-user-management,而监控团队可以拥有 sagemaker-observability。每个健康问题都会指明组件、描述对集群的影响、给出下一步操作并统计受影响的节点数量,这样您就无需登录每个节点就能知道该查看哪里,如下图所示。

图 5:扩展的状态,以及未运行的节点导出的健康问题示例

何时使用集群扩展以及何时使用生命周期脚本

决定时的一个好方法是问:谁拥有该软件,以及它的更改频率如何。集群上的某些软件是您的组织所特有的,例如安全代理、许可证服务器以及数据管线期望的存储布局。生命周期脚本和自定义 AMI 是合适的工具,因为只有您的团队才知道它需要什么。其余的是几乎每个集群都需要软件,例如 GPU 和作业指标以及具有一致 ID 和访问规则的用户账号。该软件必须在每个节点上匹配且不断变化,因此集群扩展更合适,因为您只需声明一次,HyperPod 就会对其进行验证,并且每个扩展都会报告它是否健康。

这两种方法可以共存,但每个组件应该只有一个所有者。不要通过生命周期脚本和扩展同时管理同一个导出器、用户或服务,因为相互冲突的配置可能会导致安装或运行时冲突。集群 extensions 适用于每个生命周期配置选项。

如果您已经通过脚本运行这些功能,则可以一次将一项功能迁移到扩展,迁移期间脚本和扩展可以并行运行。对于每项功能,迁移分为四个步骤:

调用 UpdateClusterSoftware 将集群迁移到 2026 年 11 月或更高版本的 HyperPod AMI。

在生命周期脚本中关闭该功能并将其上传到您的 S3 存储桶,以便新节点跳过它。

在计划的维护窗口期间,停止并删除每个节点上通过脚本安装的代理。这是唯一需要手动进行的全集群范围步骤。

调用 CreateClusterExtension 在干净的集群上安装扩展。

如果有任何残留,安装会指出冲突,例如已被占用的端口,DescribeClusterExtension 会在 Health 下显示它。对于用户管理,您保留相同的用户名和用户 ID。下图展示了四个步骤。

图 6:将现有集群从生命周期脚本迁移到扩展,一次迁移一项功能

开始使用集群扩展所需的内容

您需要一个运行 2026 年 11 月 2 日或更高版本的 HyperPod AMI 且启用了持续预置功能的 HyperPod Slurm 集群。扩展在每个节点上以 root 身份运行软件,因此请将 CreateClusterExtension、UpdateClusterExtension 和 DeleteClusterExtension 视为管理员权限。我们建议不要将它们授予集群的执行角色,因为任何可以登录到节点的 usuário 都可以使用其凭证。该角色确实需要访问扩展使用的目标,这意味着用于可观测性的 Amazon CloudWatch 或 aps:RemoteWrite,以及用于用户管理读取的 Active Directory 密钥的 secretsmanager:GetSecretValue。如果这些密钥使用客户管理的 AWS Key Management Service (AWS KMS) 密钥进行加密,该角色还需要该密钥上的 kms:Decrypt。用户管理还需要一个共享文件系统(例如用于主目录的 Amazon FSx for Lustre)。

有关步骤、IAM 策略和配置参考,请参阅《Amazon SageMaker AI 开发人员指南》中的“用于 Amazon SageMaker HyperPod Slurm 集群的集群扩展”。

平台团队使用集群扩展管理共享 Slurm 集群的历程

为了解集群扩展在实际中的应用方式,我们来看一个平台团队,他们为几个研究小组管理一个共享的 Slurm 集群。该团队需要可审查的集群定义、GPU 和作业指标、企业目录访问权限、用于合作实验室的本地账户,以及对可观测性和用户管理的独立所有权。以下示例展示了该团队如何配置这些功能,以及如何响应常规更改和故障。

通过单一定义创建集群

管理员在单个 CreateCluster 请求中声明整个集群,包括节点角色、分区、FSx 挂载、最小容量、深度健康检查以及外部记账数据库。有关完整的示例请求,请参阅使用 AWS CLI 入门 SageMaker HyperPod。

该请求没有生命周期配置、拓扑文件或 Slurm 配置文件。每个 SlurmConfig 为其实例组分配一个角色,GPU 组加入 train 分区。基于 AMI 的配置负责设置节点,安全团队的合规代理已包含在自定义 AMI 中。GPU 组请求 8 个节点并要求至少 6 个,因此只要有 6 个节点就绪,作业即可开始运行,而 HyperPod 则会配置其余节点并在每个 GPU 节点到达时对其进行健康检查。HyperPod 会自行选择 P5 节点的树状拓扑,记账信息则写入团队拥有的 Amazon Relational Database Service (Amazon RDS) 数据库。管理员仍然可以通过 SSH 登录到控制节点,以直接检查或调优 Slurm。

安装可观测性

领导层需要 GPU 和作业指标,因此管理员安装了可观测性扩展。在 SageMaker AI 控制台的集群“Extensions”(扩展)选项卡上,管理员选择可观测性扩展,挑选指标类别及其级别和收集间隔,并选择两个指标存储之一:Amazon CloudWatch 或 Amazon Managed Service for Prometheus。以下屏幕截图显示了选中一个存储后的安装表单。另一个选项可在同一字段中选择。

图 7:从控制台安装可观测性扩展,支持可配置的指标级别和指标存储选择

通过 API 进行相同的安装只需一次 create-cluster-extension 调用。以下示例使用 Amazon CloudWatch 作为指标存储。若要将指标发送到 Amazon Managed Service for Prometheus,您可以在同一配置中设置 Prometheus 目标。

管理员通过一次 create-cluster-extension 调用安装扩展:

aws sagemaker create-cluster-extension \ --cluster-arn arn:aws:sagemaker:us-west-2:{{111122223333}}:cluster/{{abcd1234efgh}} \ --extension-name sagemaker-observability \ --configuration-values file://observability-config.json

该调用会返回扩展的 ARN,管理员将在后续调用中使用它:

{ "ExtensionArn": "arn:aws:sagemaker:us-west-2:111122223333:extension/sagemaker-abcd1234efgh/sagemaker-observability/0a1b2c3d4e5f" }

无论以何种方式安装,每个节点都只运行与其角色相关的组件,例如 GPU 节点上的 DCGM 和 EFA 导出器,以及控制器上的 Slurm 集群指标。架构错误会在推出前被拒绝,而特定于节点的冲突则会显示在扩展健康状态中。

安装完成后,扩展将连同其版本、状态和 ARN 一起显示在集群的“Extensions”(扩展)选项卡上。屏幕截图显示了一个已安装可观测性和用户管理扩展且两者均处于 Active 状态的集群的选项卡。

图 8:已安装可观测性和用户管理扩展的集群的“Extensions”选项卡

无论您选择哪个指标存储,都可以在安装中添加一个 Amazon Managed Grafana 工作区,这样团队就不必从头开始构建仪表板。登录 Grafana 后,他们会发现两个预先创建的仪表板:Clusters 和 Jobs,如下面的屏幕截图所示。

图 9:随 Amazon Managed Grafana 中的可观测性扩展一起提供的 Clusters 和 Jobs 仪表板

集群(Clusters)仪表板为您提供 HyperPod Slurm 集群的单一视图,该视图基于扩展收集并发送至您所选指标存储的指标构建。顶部汇总了集群的健康状况:实例数量与健康状态、GPU 及 GPU 内存总量、vCPU、内存以及 Amazon FSx for Lustre 容量。它还显示了 Slurm 本身的状态,包括节点状态(空闲、已分配、混合、宕机和正在排空)、作业队列、失败或被抢占的作业以及调度程序活动。由此,您可以按集群、节点或 GPU 进行过滤,以深入查看 EFA 网络、GPU 性能与错误以及主机级别的 CPU、内存、磁盘和网络指标,如以下屏幕截图所示。这使您无需离开仪表板,即可从“我的集群是否健康?”排查到问题的根本原因。

图 10:集群仪表板,从集群范围的健康状况和 Slurm 状态一直到每个节点的 GPU、EFA 和主机指标

作业(Jobs)仪表板将视角从集群级健康状况缩小到单个 Slurm 作业。它利用来自任一指标存储中 Slurm 作业导出的指标,将每个作业的资源使用情况与作业本身关联起来。您可以按集群、作业 ID、作业名称、分区、用户或账号进行过滤,并查看每个作业的 CPU、内存、GPU 利用率、GPU 内存和磁盘 I/O,以及加速器和 NCCL 指标。正如以下屏幕截图所示,这使得发现分布式训练中的 GPU 利用率不足、卡住的作业或通信瓶颈变得更加容易。

图 11:作业仪表板,显示单个 Slurm 作业的资源使用情况

启用更深入的 GPU 和 NCCL 指标

随后,一个正在调优多节点训练的研究团队要求获得更多细节,因此管理员仅发送了需要更改的设置:

aws sagemaker update-cluster-extension \ --cluster-arn {{cluster-arn}} \ --extension-arn {{observability-extension-arn}} \ --configuration-values '{"metricsProvider":{"acceleratedComputeMetrics":{"level":"ADVANCED"},"ncclMetrics":{"level":"ENABLED"}}}'

HyperPod 将这些设置合并到存储的配置中,并将其应用到每个节点,仅重启设置发生更改的组件。调查结束后,将这两项设置都设为 null 可将其恢复为默认值,在此过程中既不会替换节点,也不会重新运行脚本。

修复指标传输问题

一天早晨,该扩展显示为“降级”(Degraded)。一个新的实例组带有一个缺少 aps:RemoteWrite 的执行角色,describe-cluster-extension 显示了其影响:

{ "NodeSummary": { "TotalCount": 19, "ActiveCount": 11 }, "Health": { "Issues": [ { "Code": "ExtensionUnhealthy", "Message": "otel-exporter-health: no successful exports in 5m6s", "NodeCount": 8 } ] } }

一旦管理员添加了该权限,节点就会报告健康,并且扩展恢复为“活动”(Active)状态,无需重新安装任何内容。

授予人员访问权限

用户管理扩展用于管理每个节点上的 Linux 用户和组,以及哪些人可以登录并在每种节点类型上使用 sudo。您只需声明应该存在哪些用户以及他们可以做什么,HyperPod 就会将其应用到每个节点,包括随后添加或替换的节点,因此无需连接到节点或运行脚本来添加或删除用户。用户可以来自您在配置中列出的本地账户、通过 LDAPS 的 Active Directory,或者两者的组合;并且每个组都指定了其成员可以通过 SSH 登录以及获得无密码 sudo 权限的节点类型(控制器、登录或计算节点)。

对于平台团队来说,安全部门要求使用企业身份,并将 sudo 权限保留给管理员,而目录中没有的一个合作伙伴实验室则需要拥有自己的账户。管理员在一个配置中声明了这两个来源,并附带了组规则,规定了每个组可以登录和使用 sudo 的节点类型:

{ "sharedFilesystemMount": "/fsx", "userSources": { "localUsers": { "groups": [ { "name": "cluster-admins", "gid": 3002, "ssh": [ { "nodeTypes": ["controller", "login", "compute"] } ], "sudo": [ { "nodeTypes": ["controller", "login", "compute"] } ] }, { "name": "partner-lab", "gid": 3101, "ssh": [ { "nodeTypes": ["login", "compute"] } ] } ], "users": [ { "username": "admin-1", "uid": 2001, "groups": ["cluster-admins"] }, { "username": "partner-1", "uid": 2101, "groups": ["partner-lab"] } ] }, "ldap": { "ldapUri": ["ldaps://{{ad.example.com}}"], "ldapSearchBase": "{{dc=example,dc=com}}", "ldapDefaultBindDn": "{{CN=ReadOnly,OU=Users,DC=example,DC=com}}", "ldapDefaultAuthtokSecretArn": "arn:aws:secretsmanager:us-west-2:{{111122223333}}:secret:{{ad-readonly-AbCdEf}}", "ldapTlsCacertSecretArn": "arn:aws:secretsmanager:us-west-2:{{111122223333}}:secret:{{ldaps-ca-GhIjKl}}", "domain": "{{example.com}}", "useFullyQualifiedNames": "ENABLED", "ldapGroups": [ { "name": "{{ClusterAdmin@example.com}}", "ssh": [ { "nodeTypes": ["controller", "login", "compute"] } ], "sudo": [ { "nodeTypes": ["controller", "login", "compute"] } ] }, { "name": "{{ml-researchers@example.com}}", "ssh": [ { "nodeTypes": ["login", "compute"] } ] } ] } } }

访问权限是明确的,因此在安装扩展后,只有授予 SSH 访问权限的群组以及默认的 ubuntu 用户可以登录。目录用户在 Active Directory 中保留其身份和群组成员身份,而合作伙伴实验室的用户则获得相同的 ID、主目录以及默认的 Slurm root 账户。

可以通过控制台管理相同的配置。在用户管理扩展上选择“管理用户”(Manage users)会打开群组的“用户”(Users)选项卡,管理员可以在其中添加、编辑和删除群组及用户,并设置每个群组可以登录和使用 sudo 的节点类型,如以下截图所示。

图 12:在控制台上管理用户管理扩展的群组和用户

升级扩展以获取新功能而无需 AMI 更新

当 AWS 发布扩展的新版本时,管理员可以列出可安装的版本并进行就地升级,而无需 AMI 更新:

aws sagemaker list-cluster-extension-versions \ --extension-name sagemaker-observability aws sagemaker update-cluster-extension \ --cluster-arn {{cluster-arn}} \ --extension-arn {{observability-extension-arn}} \ --extension-version {{new-version}}

HyperPod 会对照新版本的架构检查存储的设置,如果它们对该版本无效,则会拒绝请求且不作任何更改。否则,新版本将部署到每个节点,随后加入的节点也会获得该版本。升级只能向前进行,因此管理员需要选择一个维护窗口。随后,可以通过类似于先前的更新操作来启用版本附带的任何新设置或功能。

扩展群组并替换故障节点

在季度末运行之前,管理员在 GPU 群组上启动按需深度健康检查,然后使用 batch-add-cluster-nodes 添加节点。该请求在 HyperPod 接受后立即返回,因此管理员可以将其作为群组操作进行跟踪:

aws sagemaker list-cluster-operations \ --cluster-name shared-gpu-cluster \ --status InProgress

随着容量的到位,每个节点都会进行健康检查、加入 Slurm、在拓扑中占据其位置,并获得与所有其他节点相同版本和设置的两个扩展。如果在运行期间 GPU 发生故障,则会配置替换节点并以相同方式获取扩展。

审查访问权限

在季度末,安全部门会询问谁拥有控制器上的 sudo 权限,管理员可以直接通过 API 回答,而无需登录节点:

aws sagemaker describe-cluster-extension \ --cluster-arn {{cluster-arn}} \ --extension-arn {{user-management-extension-arn}} \ --query ExtensionDetails.ConfigurationValues --output text | jq '[.userSources.localUsers.groups[]?, .userSources.ldap.ldapGroups[]?] | map(select(any(.sudo[]?; .nodeTypes | index("controller")))) | map(.name)'

答案是 cluster-admins 和 ClusterAdmin@example.com,目录组的成员身份在目录中进行审计。由于每个扩展都有自己的 ARN,平台团队的角色只能更新 sagemaker-user-management,监控团队的角色只能更新 sagemaker-observability,而安全团队对两者都拥有只读访问权限。这些权限都不属于集群的执行角色。当扩展处于 Active 状态时,ActiveCount 等于 TotalCount,且 Health 为空,则每个节点都在运行该确切配置。

可用性与定价

集群扩展(包括可观测性和用户管理扩展)自 2026 年 11 月起已在支持 Amazon SageMaker HyperPod 的所有区域推出,本文中的其他改进则于 2026 年早些时候宣布,各则公告中列出了其适用的区域。集群扩展不收取额外费用。您只需为配合其使用的 AWS 资源付费,例如 Amazon CloudWatch、Amazon Managed Service for Prometheus 和 AWS Secrets Manager。

图 13:自 2026 年 11 月起推出的两个扩展

结论

当集群的更多部分能够被声明、验证、收敛和观测时,集群就更容易运行。今年的改进将这些特性带入了 HyperPod Slurm 集群的定义、节点设置、容量、网络拓扑和硬件运行状况中;而自 2026 年 11 月起推出的集群扩展,则将其带入了节点上的软件(即变化最频繁的层)中。生命周期脚本和自定义 AMI 专注于组织特定的内容,而控制节点则依然归您所有。

要创建本文中所述的集群,请参阅使用 AWS CLI 开始使用 SageMaker HyperPod。要开始使用集群扩展,请参阅《Amazon SageMaker AI 开发者指南》中的“集群扩展”。请在评论区或通过您的 AWS 账户团队分享您的反馈。

致谢

该功能凝聚了多个团队的贡献。参与开发的部分人员包括 Hengyu Lou、Aman Pratap Singh、Karthick Ravi、Shubh Nisar、Nitish Sai Kommasai、Uday Singamala、Min Badar、Devanshi Desai、Yahya Hassan、Connie Chen、Kashish Tayal、Oleg Talalov、Takuma Yoshitami、Kiran Penta、Dhawal Parkar、Pradeep Cruz。

正文为 AI 译文。

参考来源

← 返回每日AI报告