Amazon Polly 推出了声音克隆功能:为您的品牌打造独特声音

公司动态 AWS 机器学习 原文语言:英文

Amazon Polly 推出了声音克隆功能,目前作为门控版本公开发布。用户只需提供几分钟经过授权的说话者录音,Amazon Polly 就能利用其生成式引擎在几分钟内构建出自然且准确的克隆声音。该功能首发支持英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语七种语言。

全文

Amazon Polly推出语音克隆:为您的品牌打造独特声音

Amazon Polly的语音克隆现已作为受限发布正式提供。只需向Amazon Polly提供几分钟的已同意进行语音克隆的说话者音频录音,Amazon Polly即可为您构建该说话者的克隆语音。克隆语音运行在Amazon Polly生成引擎上,具备与其他生成语音相同的自然度和准确性。Amazon Polly语音克隆支持七种语言:英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。每个克隆语音只能说其录制时使用的语言。克隆语音会自动加密并受访问控制:只有您可以访问自己的克隆语音。

Amazon Polly语音克隆在所有支持Amazon Polly生成引擎的AWS区域均可使用,包括AWS GovCloud(美国)区域。部分Amazon Polly客户已获得访问权限。其他客户可联系其AWS客户经理或申请访问权限。

通过此新功能,您可以将克隆生命周期集成到AWS应用中。为Amazon Polly客户构建克隆语音免费,克隆语音的使用按使用量计费,详情请参阅Amazon Polly定价页面。

亲自聆听

播放:前几秒是真实的说话者录音,随后克隆语音接管,朗读他们从未录制过的内容。

从录音到TTS语音。只需几分钟的我们科学负责人Trevor的原始音频,即可生成相应的生成语音。

录音:“Hello, I’m Trevor, from Science.” 克隆语音:“That first sentence was my real voice. This is my cloned voice, created from a few minutes of my recordings. It can read any text you give it.”

支持七种语言。聆听作者之一Jonas用德语录音以及他的克隆语音:

录音:“Hallo, ich bin Jonas. Das ist meine echte Stimme.”(嗨,我是Jonas。这是我的真实声音。) 克隆语音:“Und das ist meine geklonte Stimme! Gleiche Stimme, neue Worte: Diesen Satz habe ich geschrieben, aber nie aufgenommen.”(这就是我的克隆语音!相同的声音,新词句:这句话是我写的,但从未录过。)

可用于各种应用场景。这里是Trevor在一个他从未担任过的角色:游戏中的非玩家角色。

“谁在我的桥上?哦,又是你。和上次一样:回答我的谜语,否则把三明治交出来。”

通过语音克隆扩展您的语音库。聆听AWS首席布道师Jeff Barr的音频示例:先是实录,然后是他的克隆语音。

录音:“Hi, I’m Jeff, and this is how I really sound.” 克隆语音:“And this is how my cloned voice sounds, reading a sentence I never recorded.”

Hannah:先是实录,然后是她在客服热线上的克隆语音。

录音:“Hello, I’m Hannah. This is my real voice.” 克隆语音:“Thanks for calling AnyCompany. Your order 4471 9902 ships today and should arrive on Thursday between 9 AM and 1 PM. Your confirmation code is K-7-Q-2-X-9.”

Joely:先是实录,然后是她的克隆语音进行课程讲解。

录音:“Hi, I’m Joely, and this is how I really sound.” 克隆语音:“In this module, we’ll look at how a neural network learns. First, it makes a guess. Then it measures how far off that guess was, and adjusts, a little at a time.”

您可以构建的内容

跨渠道的一致品牌声音

建立一个可识别的声音,并在交互式语音响应(IVR)系统、级联语音代理、移动应用、店内公告、广告和联网设备中使用。无需依赖通用的库存声音或每次脚本更改时重新录音,您可以按需生成符合品牌的音频,在每个渠道保持一致的音色。

联络中心

在自助服务流程中提供独特的品牌声音,并在优惠和政策变更时更新提示,无需新的录音会话。您可以从源文本创建提示,进行上线前测试,并在问候、路由和通知等体验中使用相同的声音。

大规模媒体与内容

创作者、出版商和工作室可以使用多种自定义声音制作有声书、课程、播客、游戏角色和视频,以提升聆听体验,并快速生成后续章节或更新。

使用一致角色进行本地化

在内容库中保持可识别的语音身份,使叙述在不同标题和更新之间保持连贯。每个克隆语音仅使用其录制时的语言。对于多语言体验,请为每种受支持语言创建并审核已批准的语音。

可访问性和个性化

提供自然、类似人声的语音用于阅读体验、辅助工具和个性化交互。每次创建语音时,您都需确认获得说话者的同意。

语音克隆工作原理

通过语音克隆,您可以使用单个说话者的录音构建自定义 Amazon Polly 语音,然后通过 Amazon Polly 生成引擎使用该语音合成语音。语音经历四个步骤,从录制说话者到使用完成的语音:

图 1:语音克隆生命周期,从录制说话者到使用完成的语音

克隆语音经过四个步骤:

录制。您录制一位说话者(参见以下录制技巧)。您可以在 CreateVoice 请求中直接发送录音,或在控制台上传。也可以将录音存储在您希望语音所在的 AWS 区域的 Amazon Simple Storage Service(Amazon S3)存储桶中,并让 Amazon Polly 指向这些文件。

创建。您使用 1-10 条录音、其语言以及 TermsAccepted=True(即您确认已获得说话者同意)调用 CreateVoice。Amazon Polly 会立即返回语音 ID(vc-…),并在后台构建语音。

等待。创建是异步的,通常需要 5-10 分钟。在此期间,Amazon Polly 还会检查文本转语音(TTS)语音的说话者相似度质量。您需要调用 GetVoice,直至状态从 pending 变为 active 或 failed。

使用。您将语音 ID 传递给 SynthesizeSpeech 以获取实时音频,或传递给 StartSpeechSynthesisTask 以生成写入 S3 的长音频,并将 Engine="generative",这与调用 Amazon Polly 其他生成式语音的方式相同。当您不再需要该语音时,调用 DeleteVoice。

同意与控制

克隆语音是基于单个人的录音制作的。您需确认已获得说话者对所有录音的同意,并且您可以控制谁可以使用该语音以及何时删除。

您需为每个创建的语音确认同意。无论是在控制台创建语音,还是在 API 中使用 TermsAccepted=True,您都确认已获得创建和使用克隆语音所需的全部权利和同意。您对语音克隆的使用受 AWS 服务条款、生物特征通知与同意条款、AWS 负责任 AI 政策以及 AWS 可接受使用政策的约束。

生成的语音带有水印。Amazon Polly 会在使用克隆语音生成的文本转语音音频中添加水印。

仅您的账户可以使用。克隆语音的作用域限定在创建它的 AWS 账户内,您可通过 AWS 身份与访问管理(IAM)控制访问。您可以使用自己的 AWS 密钥管理服务(AWS KMS)密钥对语音进行加密并添加标签。

您决定何时删除。语音激活后或创建失败后,您可以通过一次 DeleteVoice 调用或在控制台上删除该语音。

Amazon Polly 在语音创建完成后不保留您的语音录音副本,也不使用这些录音来训练 Amazon Polly 模型。它仅保留合成语音所需的语音数据,并对其进行加密存储。您可以使用自己的 AWS KMS 密钥进行加密,DeleteVoice 会立即删除这些数据。

我们建议您:

保留每位说话者同意的记录。

如果说话者撤回同意,请删除该语音。

在适当情况下告知听众他们正在听合成语音。

仅向需要的人员和系统授予语音权限。

有关预期用途和限制的详细信息,请参阅 Amazon Polly AI 服务卡和 AWS 负责任 AI 使用指南。

录音最佳实践

克隆语音会学习录音中的所有内容,包括您不希望它学习的部分:笔记本风扇声、房间回声、会议应用的噪声过滤器。

录制两到十分钟的自然语音,分成每段最长约一分钟的片段。每个语音最多可提交 10 条录音,总时长最多 15 分钟。质量比时长更重要:更多的音频可能并不会改变语音的音色。

一个说话者,一间安静的房间,与麦克风保持相同的距离。使用 USB 麦克风,或可以使用手机录制 WAV 的应用程序。从一开始就录制单声道 WAV、16 位、24 kHz,这样后期就无需转换。Amazon Polly 接受其他音频格式,但我们推荐使用 WAV。有关支持的格式和限制,请参阅 Amazon Polly 开发者指南。

避免使用会议应用程序和浏览器录音机。它们的声学回声消除和噪声抑制功能会改变声音,克隆的声音也会学习到这些变化。

以你希望声音呈现的风格录制每一次试录。克隆的声音会从录音中获取其风格,且无法将多种风格混合,因此欢快、悲伤和愤怒的试录无法组合成具备这三种风格的声音。

请使用声音应该说出的语言进行录音。语音克隆已在美式英语、德语、美式西班牙语、法语、意大利语、巴西葡萄牙语和印地语录音上进行了测试。这些语言的其他口音(例如英式英语或加拿大法语)的录音也可以使用,但测试较少,因此请使用你自己的内容来检查声音效果。

开始使用

在控制台上:为你的账户启用语音克隆后(参见可用性),展开左侧面板并选择语音克隆(Voice cloning),上传最多 10 个录音或从 Amazon S3 中选择它们,确认条款,然后选择创建(Create)。每次上传最大可达 5 MB。声音准备就绪后,在其详细信息页面上进行试用。

在代码中,你需要:

最新版本的 boto3 (pip install --upgrade boto3)。

用于 polly:CreateVoice、polly:GetVoice、polly:DescribeVoices、polly:SynthesizeSpeech 和 polly:DeleteVoice 的 IAM 权限。对于长音频,还需要输出存储桶上的 polly:StartSpeechSynthesisTask、polly:GetSpeechSynthesisTask 和 s3:PutObject。

对于以下 Amazon S3 示例:将你的录音保存在创建声音所在区域的存储桶中,并为调用 CreateVoice 的 IAM 角色或用户授予 s3:GetObject 权限。

import time import boto3 # Use the Region of your S3 recordings. polly = boto3.client("polly", region_name="us-east-1") # 1. Create a voice from recordings of a speaker who has given consent. # Use 1-10 clean WAV takes of up to a minute each. takes = [ "s3://amzn-s3-demo-bucket/brand-voice/take-1.wav", "s3://amzn-s3-demo-bucket/brand-voice/take-2.wav", "s3://amzn-s3-demo-bucket/brand-voice/take-3.wav", ] voice = polly.create_voice( Name="MyBrandVoice", # letters, digits, - and _, up to 64 characters LanguageCode="en-US", # the language spoken in the recordings TermsAccepted=True, # you confirm the speaker's consent and the terms of use VoiceCreationData={ "Recordings": [{"Format": "wav", "Data": {"S3Url": url}} for url in takes], }, Tags={"consent-record": "speaker-0042"}, # optional: the ID of your own consent record, e.g. a signed release # Optional: encrypt the voice with your own KMS key (symmetric, same Region). # Callers who create or use the voice need kms:DescribeKey, # kms:GenerateDataKey and kms:Decrypt on the key. # CustomerManagedEncryption={ # "KmsKeyArn": "arn:aws:kms:us-east-1:111122223333:key/EXAMPLE" # }, )["Voice"] voice_id = voice["Id"] # for example "vc-0123456789" # 2. Check the status every 30 seconds until the voice is active or failed # (usually a few minutes). Stop with an error after 20 minutes. deadline = time.monotonic() + 20 * 60 while voice["Status"] not in ("active", "failed"): if time.monotonic() > deadline: raise TimeoutError(f"{voice_id} is still {voice['Status']}") time.sleep(30) voice = polly.get_voice(VoiceId=voice_id)["Voice"] if voice["Status"] == "failed": # Check the recordings, delete this voice and create a new one. raise RuntimeError(f"{voice_id}: {voice.get('StatusReason', 'creation failed')}") # 3. Synthesize speech with your new voice. speech = polly.synthesize_speech( VoiceId=voice_id, Engine="generative", LanguageCode="en-US", OutputFormat="mp3", Text="Hello! This is my very own Amazon Polly voice.", ) with open("my-voice.mp3", "wb") as f: f.write(speech["AudioStream"].read()) # When you no longer need the voice: # polly.delete_voice(VoiceId=voice_id)

如果 Python 报告 Polly 对象没有属性 create_voice,请升级 boto3。

对于有声书章节或课程模块等长文本,请使用将音频写入 S3 的异步合成任务:

from pathlib import Path task = polly.start_speech_synthesis_task( VoiceId=voice_id, Engine="generative", LanguageCode="en-US", OutputFormat="mp3", OutputS3BucketName="amzn-s3-demo-bucket", OutputS3KeyPrefix="narration/chapter-01", Text=Path("chapter-01.txt").read_text(encoding="utf-8"), # SnsTopicArn="arn:aws:sns:us-east-1:111122223333:polly-tasks", # notify instead of polling )["SynthesisTask"] print(task["TaskId"], task["OutputUri"]) # poll get_speech_synthesis_task until "completed" or "failed"

要了解使用 Amazon Polly 构建的更多端到端语音 AI 应用(包括语音克隆功能),例如级联语音代理和实时语音翻译器,请访问 Amazon Polly GitHub 仓库。

生产注意事项

提前创建语音

创建语音需要几分钟时间,因此应将其视为一个预配步骤,而不是用户请求的一部分。一个小型工作流(例如 AWS Step Functions 或作业队列)可以调用 CreateVoice,每 30 秒检查一次 GetVoice,直到语音变为可用状态,然后将语音 ID 存储到您的配置中。CreateVoice 和 DeleteVoice 共享每秒 1 个请求的限制,因此请将批量创建和删除操作排队执行。

建立清单

DescribeVoices 会将您的克隆语音与 Amazon Polly 内置的语音一起列出。克隆语音的 Origin 设置为 customer。请为每个语音存储语音 ID、Region、语言、同意书引用和所有者,并为每个语音指定唯一的 Name。如果 CreateVoice 调用超时或返回服务器错误,该语音可能已经存在,而 SDK 的自动重试可能会创建第二个语音。在重试之前,请先在 DescribeVoices 中检查该名称。

规划错误处理

当您超过 CreateVoice 与 DeleteVoice 共享的每秒 1 个请求的限制时,CreateVoice 会返回 ThrottlingException;当账户在该 Region 中已达到克隆语音配额时,会返回 ServiceQuotaExceededException。对仍在创建中的语音执行合成或删除操作会返回 ConflictException。如果语音使用您自己的 KMS 密钥,则无法访问该密钥的调用方会收到访问被拒绝的错误。当创建失败时,StatusReason 仅给出一般性消息,因此请根据前面的录音最佳实践检查录音,然后删除失败的语音并创建新语音。

将权限限定到语音

克隆语音是 IAM 资源,因此您可以授予处理流量的角色使用所选语音进行合成的权限。如果语音使用您自己的 KMS 密钥,该角色还需要访问该密钥。将 polly:CreateVoice 和 polly:DeleteVoice 保留给单独的预配角色。以下是服务角色的示例策略:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "polly:SynthesizeSpeech", "Resource": "arn:aws:polly:us-east-1:111122223333:voice/vc-0123456789" } ] }

使用标签,您可以通过 aws:ResourceTag 条件为整组语音一次性编写同一条规则。同时也检查您现有的策略:允许对所有资源 ("Resource": "*") 执行 polly:SynthesizeSpeech 的语句也涵盖账户中的每个克隆语音。

规划配额和 Region

每个账户在每个 Region 的初始配额为 10 个克隆语音。如需申请增加配额,请联系您的账户团队或 AWS Support。语音仅存在于您创建它的账户和 Region 中。若要在其他 Region 或账户中使用,请使用相同的录音在该 Region 中重新创建语音,并确保说话人的同意涵盖每个副本。

使用真实脚本进行测试

在语音上线之前,请收听它朗读您自己的内容:产品名称、数字、地址以及最长的句子。同一文本在不同请求之间可能会略有差异。对于固定提示(例如电话线路问候语),请生成一次音频,由说话人和您的品牌团队批准,然后提供存储的文件。如果某个名称或术语发音有误,请在文本中以不同方式拼写,或使用语音合成标记语言 (SSML) 标签。音素标签适用于英语、法语、意大利语、德语和西班牙语的克隆语音。请参阅支持的 SSML 标签。

需要了解的事项

可用性:访问权限按每个 AWS 账户启用。如果在 Amazon Polly 控制台中看到“声音克隆”(展开左侧面板,查看是否列出了“声音克隆”),则说明您的账户已启用此功能。如果没有,您可以联系您的 AWS 账户团队或申请访问权限以请求开通。支持的 AWS 区域与生成式引擎相同:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(东京)、加拿大(中部)以及 AWS GovCloud(美国西部)。克隆的声音驻留在您创建它的 AWS 区域中。

语言:英语、德语、西班牙语、法语、意大利语、葡萄牙语和印地语。经过测试的录音区域设置:美式英语 (en-US)、德语 (de-DE)、美式西班牙语 (es-US)、法语 (fr-FR)、意大利语 (it-IT)、巴西葡萄牙语 (pt-BR) 和印地语 (hi-IN)。这些语言的其他口音也能使用,但测试较少。每个声音都说其录制时的语言。

录音:每种声音 1-10 段录音,总时长最多 15 分钟。推荐使用 WAV 格式:单声道、16 位、采样率为 24 kHz 或 44.1/48 kHz。Amazon Polly 也接受其他音频格式。控制台上传限制为每个文件 5 MB。对于较大的文件,请使用 Amazon S3。

数据处理:Amazon Polly 在声音创建完成后会删除其录音副本,并且不会使用这些录音来训练 Amazon Polly 模型。它仅保留合成所需的语音数据,该数据经过加密存储(您可以使用自己的 AWS KMS 密钥),直到您调用 DeleteVoice 为止。

创建时间:构建 TTS 声音通常需要 5-10 分钟,采用异步方式。

合成延迟:与 Amazon Polly 中的生成式声音相同。

配额:初始时每个 AWS 区域每个账户可创建 10 个克隆声音。如需申请增加配额,请联系 AWS Support。CreateVoice 和 DeleteVoice 共享每秒 1 个请求的限制。

合成:克隆声音遵循 Amazon Polly 关于生成式声音的配额,包括每个请求和每个合成任务的文本限制。请参阅 Amazon Polly 配额。

定价:创建克隆声音是免费的。Amazon Polly 按照按需付费的方式对克隆声音的使用收费。请参阅 Amazon Polly 定价。

API:使用 CreateVoice、GetVoice、DeleteVoice 和 DescribeVoices 来管理声音。使用引擎参数 Engine="generative" 的 SynthesizeSpeech 和 StartSpeechSynthesisTask 来使用声音。请参阅 Amazon Polly API 参考。

结论

Amazon Polly 中的声音克隆功能让您的应用程序拥有人们能够识别的声音:只需在说话者同意的情况下录制一次,即可通过 Amazon Polly API 随时使用。要在控制台上开始使用,请确保您的账户已启用声音克隆功能,准备好录音和所需的同意书,打开 Amazon Polly 控制台,并创建您的第一个克隆声音。如果您是新客户并希望启用声音克隆,请联系您的 AWS 账户团队或申请访问权限以获取权限。

有关开发人员指南,请参考 Amazon Polly 文档。有关定价,请参阅 Amazon Polly 定价页面。有关您可以使用 Amazon Polly 构建的其他语音 AI 用例(包括声音克隆),请查看 GitHub 仓库。

我们迫不及待地想听到您的成果。

感谢 Trevor Wood、Jonas Rohnke、Suyin Wang、Hannah Barrett、Nikie Xiong、Jeff Barr 和 Joely Huang 借给我们他们的声音。

正文为 AI 译文。

参考来源

← 返回每日AI报告