AWS 机器学习 ↗ · 2026-11-19 02:58 · UTC+8
Stretto 如何使用 Amazon Nova 2 Sonic 构建 AI 语音代理
媒体报道 AWS 机器学习 原文语言:英文
这篇文章由 Stretto 的 Danya Gordin 和 CI&T 的 Marcelo Wzorek 共同撰写。
全文
Stretto 如何使用 Amazon Nova 2 Sonic 构建 AI 语音代理
这篇文章由 Stretto 的 Danya Gordin 和 CI&T 的 Marcelo Wzorek 共同撰写。
在 Stretto 构建 AI 语音代理之前,在其 Bankruptcy.com 网站上考虑申请破产的消费者需要填写一个包含几个字段的网络表单:债务金额、律师代理状态以及联系信息。这些由表单生成的潜在客户线索利润微薄。
网络表单线索与完全符合条件的线索之间存在显著差距。破产律师更看重包含详细财务数据的线索:债务、资产、车辆、房地产、就业历史和先前的申请记录。网络表单本可以扩展以收集这些详细信息,但表单越长,中途放弃的访客就越多。电话访谈可以自然地引出这些信息,因为人们更愿意在对话中分享敏感的财务细节,但配备和培训人工接单团队来进行这些访谈的成本过高。
Stretto 看到一个机遇:用一个通过电话进行接单访谈的 AI 语音代理取代网络表单。该代理将以对话方式引导来电者完成整个破产调查问卷,并实时提取结构化数据。然后,它会根据律师定义的规则对线索进行分类,以支持律师决策。
面临的挑战是找到一种语音 AI 解决方案,能够以自然的方式处理敏感的财务对话,具备低延迟、干净的中断处理能力以及情感意识,同时其单位经济效益要具备可行性。
在这篇文章中,我们将详细介绍 Stretto 如何与 AWS 生成式 AI 创新中心(AWS Generative AI Innovation Center)以及 AWS 合作伙伴 CI&T 合作,构建由 Amazon Nova 2 Sonic(Amazon Bedrock 中的语音到语音模型)驱动的 AI 语音代理 Tara。Tara 负责进行多阶段的破产接单访谈,并根据律师定义的规则对线索进行分类。我们还将介绍架构、从验证到生产部署的分阶段构建过程,以及团队如何针对敏感对话测试语音质量。
解决方案概述
Tara 是一个通过电话进行破产接单访谈的 AI 语音代理。当来电者拨打 Bankruptcy.com 的号码时,Tara 会接听电话、做自我介绍,并引导来电者进行结构化对话。她在收集个人信息、财务细节、资产清单和就业历史的同时,会根据来电者的情绪状态调整自己的语调。在通话结束时,Stretto 的系统会应用律师定义的规则,将潜在客户线索分类为符合条件、不符合条件或需要更多信息,以便律师审查。
该解决方案构建在 Amazon Nova 2 Sonic 之上,这是一个通过 Amazon Bedrock 提供的语音到语音基础模型(FM)。它直接在一个模型中原生处理语音输入并生成语音输出,而不是将语音转文本、语言模型和文本转语音组件串联起来。这种架构旨在减少延迟并产生听起来更自然的对话,这对于破产接单电话的敏感性质至关重要。基于 Amazon Bedrock 构建,使团队能够通过一个托管服务获得 Amazon Nova 2 Sonic 和 Anthropic 的 Claude,且无需运行任何模型基础设施。它还为处理敏感财务数据的负载带来了 AWS 安全和治理控制。对这两个模型的访问由 AWS Identity and Access Management (IAM) 进行管理。通往 Amazon Bedrock 的流量通过虚拟私有云 (VPC) 端点 (AWS PrivateLink) 停留在 AWS 网络上。Amazon Bedrock 不使用提示词或模型输出来训练模型(有关详细信息,请参阅 Amazon Bedrock 中的数据保护)。由于模型与语音网桥、数据库以及 Amazon CloudWatch 监控运行在同一个 AWS 环境中,团队可以使用同一套工具来保护和运营整个解决方案。Amazon Nova 2 Sonic 和 Amazon Bedrock 并非在所有 AWS 区域都可用。有关当前的区域可用性,请参阅 Amazon Bedrock 支持的区域。
团队选择 Amazon Nova 2 Sonic 而不是之前的语音解决方案,主要出于以下三个原因:
成本:根据 2026 年 4 月 us-east-1 的 Amazon Bedrock 按需定价,Stretto 报告称,与之前的解决方案相比,每分钟语音成本降低了 95%。
延迟:在 Stretto 的测试中,先前的解决方案首个音频响应延迟(time-to-first-audio latency)超过 500 毫秒,导致了尴尬的停顿。Amazon Nova 2 Sonic 旨在实现低延迟,以支持自然的对话流程。
打断处理:处于压力之下的来电者需要插话、自我纠正并提出澄清问题。先前的解决方案对插话(barge-in)的处理较差,经常破坏对话流程。Amazon Nova 2 Sonic 旨在处理打断而不中断会话。
下图展示了端到端架构。
图 1:Tara 架构,展示了从电话通信到数据持久化的端到端呼叫流程
来电者通过 Twilio 联系 Tara,Twilio 会打开一条通往 AWS 的 WebSocket 连接。流量经由 AWS WAF 和应用型负载均衡器(Application Load Balancer),到达运行在 AWS Fargate 上的 Amazon 弹性容器服务(Amazon ECS)上的语音网桥,该网桥通过 Amazon Nova 2 Sonic(通过 Amazon Bedrock 访问)流式传输音频。通话结束后,带有死信队列(dead-letter queue)的 Amazon 简单队列服务(Amazon SQS)将转录文本交由异步处理器处理。处理器使用 Amazon Bedrock 上的 Anthropic Claude 3 Haiku 来提取结构化字段,这些字段持久化存储在 Amazon Aurora Serverless v2 中。符合条件的潜在客户将按管辖区路由给律师。配套服务包括 NAT 网关、VPC 终端节点(AWS PrivateLink)、Amazon 弹性容器注册表(Amazon ECR)、AWS Secrets Manager 以及 Amazon CloudWatch。
Stretto 使用 Twilio 进行电话通信,因为 Tara 的接待流程是完全自动化的,没有人工客服接听电话,而且 Stretto 希望直接集成 Amazon Nova 2 Sonic,同时保留其现有的 AWS 后端。Twilio Media Streams 通过 WebSocket 传输来电者的原始音频,这是语音网桥所需的输入,并且 CI&T 已经将其与 Amazon Nova 2 Sonic 进行了集成。对于在人工客服之间路由呼叫的联络中心工作负载,Amazon Connect 也支持 Amazon Nova 2 Sonic。
该架构使用以下 AWS 服务:
Amazon Nova 2 Sonic(通过 Amazon Bedrock):驱动 Tara 语音对话的语音到语音基础模型。它在单次传递中同时处理语音识别和响应生成,支持在访谈过程中进行工具调用以收集结构化数据。
运行在 AWS Fargate 上的 Amazon 弹性容器服务(Amazon ECS):一个无服务器计算引擎,运行连接电话层与 Amazon Nova 2 Sonic 的语音网桥容器。语音网桥任务跨三个可用区持续运行,以实现高可用性。
Amazon Aurora Serverless v2:部署在多可用区(Multi-AZ)配置中的兼容 PostgreSQL 的无服务器关系型数据库。存储来电者档案、接待响应、资格审查结果和会话元数据。Aurora 的无服务器自动扩展与可变的呼叫量模式相匹配。
Amazon Bedrock(Anthropic 的 Claude 3 Haiku):负责从对话转录中提取结构化数据。在 Amazon Nova 2 Sonic 生成转录后,Claude 3 Haiku 将类型化字段(姓名、金额、地址、车辆详情)提取到关系模式中。
带有死信队列的 Amazon 简单队列服务(Amazon SQS):管理呼叫后事件的异步 Webhook 处理,保留失败的消息以便重试。
AWS WAF、VPC 终端节点和应用型负载均衡器:安全和网络层,有助于保护 API 终端节点、跨可用区路由流量,并提供通往 AWS 服务的私有连接。
构建和验证语音代理
团队采取了分阶段的方法:首先验证语音质量,构建生产集成,然后在证明系统对真实来电者有效后,再扩大问卷范围。
验证敏感对话的语音质量
破产对话具有很强的感彩。来电者通常压力重重、犹豫不决或感到尴尬。语音代理需要听起来富有同理心且自然,而不是像机器人或纯粹的交易。在编写任何集成代码之前,团队花了一个专职周的时间,针对几种来电者场景测试了 Amazon Nova 2 Sonic 的语音质量。
验证内容包括:
不同来电者情绪状态(平静、压力、犹豫、沮丧)下的语音质量。
首个音频响应延迟基准测试,与先前解决方案超过 500 毫秒的基线进行对比。
插话和打断处理:来电者能否在句子中间插话而不破坏对话?
情感语气调整:当来电者听起来情绪沮丧时,智能体会调整其语速和语气吗?
这一验证步骤生成了一份对比报告,记录了 Amazon Nova 2 Sonic 在各个维度上与先前解决方案的性能表现。该报告成为了决定是否推进集成的可行性评估关卡。
部署到生产环境并接入真实来电者
在验证了语音质量后,团队在三周内构建了端到端集成。呼叫流程如下:
来电者拨打 Bankruptcy.com 的号码。Twilio 的电话通信层接收来电,并向运行在 AWS Fargate 的 Amazon ECS 上的语音网桥打开一个 WebSocket 连接。
语音网桥在来电者与 Amazon Nova 2 Sonic 之间双向传输音频。Tara 进行自我介绍,征得同意,并开始接待访谈。
通话结束后,完整的转录文本会被输入到由 Amazon Bedrock 上的 Anthropic Claude 3 Haiku 驱动的提取管道中。该管道从对话中提取字段,并将其存储在 Amazon Aurora 中。
由律师设计的完整接待访谈可能长达 15-20 分钟,这超过了单个 Amazon Nova 2 Sonic 流式传输会话的最大持续时间(有关当前数值,请参阅“语音到语音入门”)。团队将该会话持续时间视为设计参数,并实现了会话延续模式,这种方法能够在会话边界之间传递对话上下文。语音网桥会跟踪与 Amazon Nova 2 Sonic 的每个双向流开启了多长时间。在达到限制之前,它会使用相同的系统提示词和工具配置打开一个新流,并将目前的对话作为文本历史发送。当 Tara 完成当前的回答时,网桥会将来电者的音频切换到新流并关闭旧流,从而为来电者无缝继续对话。
最初的部署涵盖了现有的 13 个字段的接待表单,收集网页表单捕获的相同数据点,但通过自然对话完成。这为团队在扩大范围之前提供了一个用于衡量的生产基准。
扩大接待和潜在客户甄别范围
随着生产试点运行,团队在四周内将问卷扩展到由律师设计的完整接待访谈。这大幅扩展了范围:
超过 18 个包含条件分支的接待类别,其中 Tara 提出的问题取决于来电者先前的回答。
复杂的关系数据:车辆(年份、品牌、型号、融资状态、每辆车的月供)、房地产、个人债务明细、多个就业和收入来源以及先前的破产申请。
基于规则的潜在客户分类:Stretto 将律师定义的规则应用于每个潜在客户,并由律师做出最终决定。由于语音代理收集的信息比静态网页表单更丰富、更具条件性,因此它为 Stretto 应用这些规则并准确甄别潜在客户提供了更大的灵活性。
潜在客户路由:合格的潜在客户会被路由给破产从业人员,而不符合甄别标准的来电者会被引导至其他资源。
Amazon Aurora 架构扩展为支持一对多关系的完整关系数据模型。单个来电者记录可能包含四辆车、两处房产以及数十项个人债务明细。
衡量结果与优化
最后阶段专注于收集生产数据,并根据真实的来电者行为调整系统。团队跟踪了关键绩效指标,包括呼叫量、平均持续时间、接待完成率、档案完整性、转化率和流失点。
生产数据中的见解推动了几项优化:重新安排提问顺序以减少早期流失,调整条件分支以便在对话早期收集高价值字段,以及根据律师的反馈修改甄别阈值。下表展示了两项关键生产指标。
平均通话时长(已完成通话)~8 min
数据提取准确率 ~96%
质量和合规性测试
部署处理敏感财务数据的语音代理需要的不仅仅是功能测试。AWS 生成式 AI 创新中心 (GenAIIC) 咨询团队指导开发了一个涵盖四个类别的综合测试框架:
快乐路径测试:与配合的来电者一起完成贯穿整个问卷的端到端接听访谈。这些通话确认了18个以上的类别能够收集准确的结构化数据,并且资格认定规则能够产生正确的结果。
对抗性测试:来电者提供相互矛盾的信息、在对话中途更改答案、拒绝回答某些问题,或试图操纵资格认定结果。智能体需要处理这种歧义并保持对话的连贯性。
合规性测试:同意收集、披露传达和数据处理工作流程。团队验证了该智能体能够准确传达披露信息并在继续之前收集同意,因为破产接待涉及敏感的财务信息。
强行打断场景测试:来电者在对话的各个阶段进行打断,包括在披露期间、问题进行到一半时以及智能体回答期间。Tara应该能够在不丢失上下文或不要求来电者重复信息的情况下恢复对话。
生产环境中的负责任AI控制
团队将负责任AI视为一项生产控制,而不仅仅是一个测试环节。Amazon Nova 2 Sonic包含内置的安全保护措施,这些措施在Amazon Nova 2 Sonic的AWS AI服务卡中有详细说明。除此之外,该解决方案还将重大决策排除在模型之外:线索分类在通话结束后根据律师明确定义的规则运行,并由律师做出最终决定。同意和披露在接待开始前即已传达并记录,对抗性测试套件则用于检查操纵对话的尝试是否会改变线索结果。除了模型推理之外,该解决方案还使用Amazon Bedrock双向流式API来实现实时音频,利用工具调用在访谈期间捕获结构化数据,并通过VPC终端节点实现与Amazon Bedrock的私有连接。
GenAIIC咨询团队还就针对语音应用的最佳提示词工程实践提供了指导,包括跨会话延续边界管理对话状态的技术,以及构建在漫长访谈中保持一致智能体个性的系统提示词的技术。
结果
在投入生产大约三个月后,Stretto报告了以下结果:
每个线索的价值:拥有完整接待数据的完全合格线索对破产律师来说,比仅捕获几个基本字段的网络表单线索更有价值。
线索转化:Stretto的早期生产结果显示,转化率比网络表单相对提高了20%,甚至在未将该解决方案广泛推广到其他地区之前就已经如此。
数据质量和通话时长:Stretto报告称,在其测试中,Tara提取结构化字段的准确率约为96%,完成的通话平均时长约为8分钟。
语音解决方案成本:Stretto报告称,与之前的解决方案相比,每分钟语音成本降低了95%。
“我非常感谢AWS GenAI Innovation Center团队。他们的专业知识帮助我们的语音智能体Tara得以诞生,推动我们的线索转化率提高了20%。”
— Danya Gordin,Stretto首席AI架构师
“作为AWS生成式AI合作伙伴创新联盟的合作伙伴之一,我们可以确认GenAIIC计划是一个真正的催化剂,它将客户和合作伙伴聚集在一起,以解决实际问题并带来业务影响。对于Stretto而言,这意味着在几周内将语音智能体投入生产,并转型破产接待流程”
— Marcelo Wzorek,CI&T执行经理
结论
Stretto从网络表单线索到AI辅助接待访谈的历程,展示了当语音AI达到敏感用例的质量标准时所带来的无限可能。通过将Amazon Nova 2 Sonic的语音到语音功能与AWS上设计良好的架构相结合,团队构建了一个语音智能体,它既自然得足以应对讨论个人财务困境的来电者,又极具成本效益,能够在规模化应用中带来显著的节省。
分阶段的方法——首先验证语音质量,将最小化的接待部署到生产环境,然后根据现实世界的数据扩大范围——降低了每一步的风险。团队建立在经过验证的假设之上,而不是预测。
如果您正在探索适合自己用例的AI语音智能体,这里有一些入门资源可供参考:
了解Amazon Nova 2 Sonic以及语音到语音功能。
开始使用 Amazon Bedrock 以访问包括 Amazon Nova 2 Sonic 在内的基础模型。
探索 AWS Fargate 以获得用于容器的无服务器计算。
了解 AWS 生成式 AI 创新中心,获取关于您的生成式 AI 计划的咨询支持。
如果您正在权衡将语音 AI 用于敏感且高价值的接入流程,您的 AWS 客户团队和 AWS 生成式 AI 创新中心可以协助您进行范围界定和构建。
正文为 AI 译文。