PolyAI Dialog-RSN-1 已上线 Amazon SageMaker JumpStart

公司动态 AWS 机器学习 原文语言:英文

PolyAI 的实时对话推理模型 Dialog‑RSN‑1 今日在 AWS Marketplace 与 SageMaker JumpStart 上线,支持一键部署到用户自有 VPC。模型直接处理通话音频,使用 OpenAI Realtime 协议,当前仅支持英文,连接最长 30 分钟。用户可通过 SageMaker 控制台或 Python SDK 快速创建实时推理端点,所有数据留在其 AWS…

全文

PolyAI Dialog-RSN-1 现已登陆 Amazon SageMaker JumpStart

Dialog-RSN-1 是一款专为实时复杂对话而构建的推理模型,现已在 AWS Marketplace 和 Amazon SageMaker JumpStart 上线。它为前沿对话提供动力:代理能够聆听实时通话、进行推理并实时采取行动。

作为 AWS 客户,您可以通过 AWS Marketplace 订阅 Dialog-RSN-1,并将其作为 SageMaker 端点部署在您自己的 AWS 环境中。您还可以按照“使用 Amazon SageMaker JumpStart 部署和评估模型”中的步骤直接从 Amazon SageMaker Studio 进行部署。这意味着,这款旨在处理客户对话的模型可以像其他带有 AWS Marketplace 订阅的 Amazon SageMaker 模型一样进行部署。

在 AWS 中部署 Dialog-RSN-1

Dialog-RSN-1 是首款通过 AWS Marketplace 提供的 PolyAI 模型。它在您自己的 AWS 环境中运行,所依托的 AWS 云与支撑 PolyAI 计算、模型训练及服务的云环境相同。

只需单次运行,Dialog-RSN-1 即可直接感知来电者的音频、推理其需求并实时响应。在 SageMaker 上,它会像您在那里运行的其他模型一样作为端点部署。它可以从您自己的架构中访问,通过您的 AWS 账户计费,并由您现有的虚拟私有云 (VPC)、AWS 身份和访问管理 (IAM) 角色以及监控提供保障。

您保留了对编排、电话集成和业务逻辑的所有权。Dialog-RSN-1 帮您省去了最难自主构建的部分:理解实时通话并实时响应。该端点使用 OpenAI Realtime 协议,因此现有的 Realtime 客户端只需更改其基础 URL 即可通过 PolyAI 的网桥进行连接。输入的音频为 16 位单声道 PCM(采样率为 16 或 24 kHz,需先转码 G.711 或 Opus)。连接时长可达 30 分钟,该模型目前仅支持英文。

要开始使用,请在 AWS Marketplace 上找到 Dialog-RSN-1,然后将其直接部署到您自己账户中的 Amazon SageMaker 端点。或者您也可以直接从 Amazon SageMaker JumpStart 进行部署。

随着 Dialog-RSN-1 现已接入 SageMaker JumpStart,部署 Dialog-RSN-1 只需单击一下即可完成。在 Amazon SageMaker AI 控制台中,打开 Model Hub,从 JumpStart 目录中选择 Dialog-RSN-1,然后选择“部署”。随后,SageMaker JumpStart 会在已为您调优的服务堆栈上启动实时推理端点。无需处理容器,无需猜测实例类型,也无需进行手动基准测试。对于自动化工作流,只需使用几行 SageMaker Python SDK 代码即可运行相同的单击部署。

Dialog-RSN-1 端点完全在您自己的 AWS 账户中运行。它部署在您的 VPC 中,通过您的 IAM 角色进行访问,并使用您用于所有其他工作负载的相同 Amazon CloudWatch 日志和指标进行监控。由于推理发生在您的账户内部,来电者的音频和转录文本将保留在您控制的边界之内。对于处理实时客户对话的模型,这有助于支持您的数据驻留和可审计性要求。

专为速度与准确性而构建

为实时通话构建的模型可能会迫使您在速度和理解力之间做出选择。追求速度的模型可能会错过含义,而追求推理的模型则可能导致来电者需要等待。Dialog-RSN-1 避免了这种权衡。

通过 PolyAI,您可以构建能够像人类客服一样聆听和处理通话的对话代理。这些代理能够捕捉犹豫,在挫败感升级之前察觉它,并知道何时开口说话。

实时客户对话正是 PolyAI 的 Dialog-RSN-1 的专长,它目前已在生产环境中处理实时通话。由于该模型直接对来电者的音频进行推理,因此它能捕捉到语调、犹豫和时机(纯转录文本会丢失的信号),并自行决定做出响应的最佳时机。

能够像人类一样聆听通话的模型

Dialog-RSN-1 是一款专注于实时对话的模型。没有单独的语音转文本步骤,也没有关于何时开口说话的独立推理模型,因此不会产生多次交接。

在实践中,这意味着来电者可以更快地获得响应:

即使呼叫量激增,插话 (Barge-in) 功能依然有效,而不会为了保护性能而被关闭。

响应保持同步,因此模型在推导说话内容时不会落后于对话。

转录是直接从音频本身生成的,因为 Dialog-RSN-1 正在读取实际音频,而不是别人的最佳猜测。

Dialog-RSN-1 在 Amazon SageMaker JumpStart 上

Amazon SageMaker JumpStart 是 Amazon SageMaker AI 内的机器学习中心,旨在缩短选择模型到在生产环境中运行的距离。对于 Dialog-RSN-1,这意味着实时对话的前沿只需几次点击即可实现。您可以在同一平台上发现它、在自己的数据上验证它,并将其部署到安全端点。以下是您可以获得的内容。

图 1:SageMaker JumpStart 中的 Dialog-RSN-1 模型卡

使用 SageMaker Python SDK 的代码路径在我们的 GitHub 仓库中有说明:在 Amazon SageMaker AI 上部署 PolyAI Dialog-RSN-1。

在承诺之前进行发现和评估

Dialog-RSN-1 出现在 SageMaker JumpStart 目录中,提供概览和示例笔记本,您的团队可以在不花费基础设施费用的情况下了解模型。要在自己的通话上尝试模型,部署端点并运行 PolyAI 的示例笔记本,该笔记本会流式传输录制的来电音频并打印模型的轮次决策、回复和转录。

一键部署并针对工作负载进行优化

在同一模型卡上选择 Deploy,Amazon SageMaker JumpStart 将使用预配置的服务堆栈启动实时推理端点。无需手动选择容器或猜测实例类型。真正的便利在于命名的优化配置文件:您无需手动调优基础设施,只需选择匹配您运行 Dialog-RSN-1 方式的目标。Latency optimized(低延迟)最小化交互式实时通话的首个 Token 时间。Throughput optimized(高吞吐)最大化每秒 token 数以应对高通话量。Cost optimized(低成本)最小化每次请求的基础设施成本。Balanced(均衡)在通用场景下提供折中。

由于 Dialog-RSN-1 设计为实时响应,您可以使用低延迟优化配置文件将这种响应性直接带到自己的端点。在部署之前,SageMaker JumpStart 会展示关键性能指标:P50 延迟、首个 Token 时间和吞吐量。这让您能够根据流量为 ml.* 实例选择合适规格,而无需手动基准测试大量组合。您可以在控制台完成整个流程,或通过 SageMaker Python SDK 脚本化,以将部署集成到持续集成和持续交付(CI/CD)中。

图 2:SageMaker JumpStart 中 Dialog-RSN-1 的部署工作流

图 3:在 SageMaker JumpStart 中为 Dialog-RSN-1 选择优化配置文件

在您的账户中部署,受您的控制治理

端点运行在您自己的账户边界内:在您的 VPC 中,使用您的 IAM 角色,并配合您已有的 CloudWatch 日志和指标。对于处理实时客户对话的模型,这意味着通话音频和转录保留在您可控的环境中,从而简化数据驻留和审计。

结果是一个前沿语音模型,部署方式与机器学习团队已有的其他工作负载相同,使用相同的中心、相同的发现与评估工具以及相同的安全姿态。难点在于 Dialog-RSN-1 处理的对话本身,而不是其背后的基础设施。

欲了解我们前沿对话模型背后的架构细节以及基准评估结果,请阅读我们的 Dialog-RSN-1 发布文章。

立即在 AWS Marketplace 上使用 Dialog-RSN-1,或直接从 Amazon SageMaker JumpStart 部署。同时探索 SageMaker JumpStart 预训练模型。

正文为 AI 译文。

参考来源

← 返回每日AI报告