亚马逊发布 Amazon Textract Insights:面向文档的可验证生成式 AI

公司动态 AWS 机器学习 原文语言:英文

亚马逊宣布正式推出 Amazon Textract Insights,这是一项全新的生成式 AI 文档处理功能。用户可以通过自然语言描述所需字段,并对包含多份混合文档的文件包进行自动拆分、结构化数据提取,每个提取出的数值均带有置信度分数和页面级依据。

全文

宣布推出 Amazon Textract Insights:用于文档的可验证生成式 AI

金融服务、保险、医疗保健和公共部门的组织都依赖于文档处理。他们将扫描的文件和纸质表格转化为系统可以操作的结构化数据。随着生成式 AI 的成熟,这些组织所需要的已不仅仅是准确的文本提取。他们希望用自己的语言描述所需的信息,并从复杂的文档中获得可靠、可审计的答案。

今天,我们宣布 Amazon Textract Insights 正式可用,这是 Amazon Textract 的一项新生成式 AI 功能,可通过 Amazon Textract 内置的新 API 使用。借助 Amazon Textract Insights,您可以用自然语言描述所需的字段,并提交文档或混合的多文档数据包。您将收到结构化结果,其中每个值都带有置信度分数和页面级溯源,且无需进行模型训练。

从混合数据包中提取数据的挑战

许多高价值的文档工作负载涉及多样化的混合数据包,而不是整洁、单一用途的文件。例如,抵押贷款文件通常以单次扫描的形式到达,其中包含 W-2 表格、工资单、银行对账单和一页手写笔记。每个文件都有自己的布局,且没有固定的顺序。理赔文件和入职材料看起来也非常相似:打印的表格、密集的表格、扫描的收据以及交织在一个文件中的自由文本信件。

团队通常采取两种方法之一,每种方法都有其权衡之处。第一种是自定义管道,它结合了光学字符识别、文档拆分、分类、基础模型提示和审核步骤。团队必须集成、扩展和运营所有这些内容。第二种是默认使用的通用大语言模型。它返回流畅的答案,但无法可靠地引用源页面或提供置信度分数。如果没有可追溯的来源和校准的分数,很难知道哪些值应该自动接受,哪些需要审核。这种不确定性往往限制了团队的自动化程度。

Amazon Textract Insights 专为可靠的文档处理而构建,将整个工作流程整合到 Amazon Textract 上的单个异步请求中。您的团队无需组装和运营自定义管道,而是通过一个托管 API 直接获取所需的数据。

Amazon Textract Insights 的工作原理

借助 Amazon Textract Insights,您可以在蓝图中定义要提取的内容。蓝图是一个 JSON Schema,其中每个字段都包含对要查找内容的自然语言描述。每个字段还有一个推理类型,用于确定该值是从页面逐字读取还是从文档内容中推断出来的。您可以从针对常见文档类型(例如 W-2 表格、1040 表格、1098 表格、护照或出生证明)的 AWS 公共蓝图开始。您还可以为特定于您的业务的文档创作自己的蓝图。

对于混合数据包,您可以将预期每种文档类型的蓝图添加到同一个项目中。然后,您从自己的 Amazon Simple Storage Service (Amazon S3) 存储桶提交一个最多 3,000 页的单个文件,并启用拆分功能。Amazon Textract Insights 将数据包拆分为逻辑子文档,将每个子文档与适合它的蓝图进行匹配,提取请求的字段,并为每个值返回置信度分数和溯源。

例如,假设您收到一份作为单个 26 页 PDF 的抵押贷款申请,其中包含 W-2 表格、工资单、银行对账单以及信贷员的手写笔记。您使用 AWS 公共的 W-2 表格、工资单和银行对账单蓝图创建一个 Amazon Textract Insights 项目,为信贷员笔记添加自定义蓝图,并启用拆分功能。然后,您通过单个 StartDocumentInsights 调用从 Amazon S3 存储桶提交文件。Amazon Textract Insights 将文件拆分为各个文档,将每个文档与其蓝图匹配,并将结果写入您的 S3 存储桶。每个值都包含置信度分数以及提取该值的页面和边界框。

用于可审计自动化的置信度和溯源

Amazon Textract Insights 返回两种类型的字段:第一种是从页面直接读取的显式字段;第二种是从文档内容中派生的推断字段。这两者返回时都带有置信度分数以及标识提取该值的页面和坐标的溯源。

由于每个值都可以追溯到其源头,因此审核员或审计人员可以根据原始文档核对任何结果。您可以将自动化扩展到以前需要人工审核的文档,同时在需要人工判断的环节保留人工参与。

“我们评估了 Amazon Textract Insights,并对它的潜力感到兴奋。我们的医疗账单和表格来自各种不同的渠道,通常具有不同的布局和格式。因此,为一个渠道开发的提取规则并不总能有效地应用到另一个渠道。

借助 Amazon Textract Insights,我们可以用通俗的语言描述所需的字段,该服务便会识别并提取相应的数据。每个提取出的值都会带有置信度分数,这让我们的团队能够将审核精力集中在服务置信度较低的字段上。我们也很高兴能探索文档拆分功能,这有助于自动将多文档文件拆分为单独的文档,并进一步简化我们的文档处理工作流。”

——Vijay Agrawal,Symbeo(CorVel 旗下公司)信息系统副总裁

建立在 Amazon Textract 引擎之上

我们更新了 Amazon Textract 的读取引擎 Amazon Textract Core,提高了准确性,增强了对密集表格和手写字的处理能力,并将 DetectDocumentText 和 AnalyzeDocument API 的语言支持扩展到了 40 种。Amazon Textract 客户今天无需进行任何更改即可享受所有这些优势。您的 Amazon Textract API 保持不变。

Amazon Textract Core 现已在另外两个 AWS 区域(亚太地区(东京)和欧洲(苏黎世))正式推出,使支持区域内处理的 AWS 区域总数达到 18 个。Amazon Textract Insights 尚不支持这些 AWS 区域。

安全与数据处理

项目和蓝图

Amazon Textract Insights 使用 AWS 拥有的密钥对静态的项目和蓝图进行加密。若要使用您自己的 AWS Key Management Service (AWS KMS) 客户托管密钥,请在调用 CreateProject 或 CreateBlueprint 时在 EncryptionConfiguration 中对其进行指定。

见解分析任务

Amazon Textract Insights 从您的 StartDocumentInsights 请求中指定的 Amazon S3 存储桶读取文档,并将结果写入其中。中间任务数据使用 AWS 拥有的密钥进行静态加密。如果您在请求的 EncryptionConfiguration 中指定了客户托管密钥,Amazon Textract Insights 将使用它来加密任务的中间数据。所有中间数据都是暂时的,并会在任务完成时删除。当任务完成时,您输出存储桶的默认加密将应用于写入存储桶的结果。项目的密钥不适用于其任务。

如果您禁用密钥或取消 Amazon Textract 对其的访问权限,Amazon Textract Insights 将无法再使用该密钥加密的数据。

跨区域推理

Amazon Textract Insights 会自动在您的地理区域内选择最佳 AWS 区域来处理您的推理请求。这可以最大限度地提高可用的计算资源和模型可用性,并旨在提供一致的客户体验。所有数据在传输过程中都会通过 Amazon 的安全网络进行加密。Amazon Textract Insights 会将您的推理 requests 安全地路由到请求发源地理区域内的可用计算资源。例如,发源于美国的推理请求将在美国境内处理。Amazon Textract Core API 保持不变,并将继续在您调用的 AWS 区域中处理请求。有关目标 AWS 区域的列表,请参阅 Amazon Textract 文档指南。

入门指南

Amazon Textract Insights 入门只需四个步骤。

定义您的需求:从 AWS 公共蓝图开始,或者用自然语言描述您自己的字段。

创建一个项目:将您的蓝图添加其中。

提交您的文档:只需一个 API 调用,即可从您的 Amazon S3 存储桶中发送单个文档或混合数据包。

审核结果:接受符合您置信度阈值的值,并将其余部分路由进行人工审核。在您自己的文档的代表性样本上调整您的阈值。

Amazon Textract Insights 支持 PDF、PNG、JPEG 和 TIFF 输入,并可处理英文、法文、德文、意大利文、葡萄牙文和西班牙文的文档。计费方式为按页计费,而非按令牌计费,且没有最低承诺。有关 Amazon Textract 的当前费率,请参阅 Amazon Textract 定价页面。

Conclusion

智能文档处理长期以来必须在自动化程度和审计结果的质量之间做出取舍。Amazon Textract Insights 缩小了这一权衡,使您的团队能够基于证据而非猜测决定自动化的范围。了解更多关于开始使用 Amazon Textract Insights 的信息。

访问 Amazon Textract 产品页面。

遵循 Amazon Textract 开发者指南编写蓝图,或使用 AWS 蓝图开始。

在 re:Invent 注册参加 Accelerate 智能文档处理与 Amazon Textract 会议。

正文为 AI 译文。

参考来源

← 返回每日AI报告