Exa 在 AWS AI 芯片上将嵌入吞吐量提升 50% 以索引数十亿文档

媒体报道 AWS 机器学习 原文语言:英文

在 Exa,我们通过聚合和提供全网知识来构建真正的网络索引之一。

全文

Exa 将嵌入吞吐量提升 50%,以在 AWS AI 芯片上索引数十亿文档

在 Exa,我们正在通过聚合和提供来自整个网络以及私有和合成来源的知识,构建为数不多的真正网络索引之一。我们针对语义搜索对索引进行优化,使代理和人类能够基于真实、高质量的数据进行检索。我们使用多塔语义机器学习(ML)模型将网页数据和查询数据嵌入到同一向量空间,这样用户既可以使用自然语言表达复杂查询,也可以使用传统关键词搜索。其核心技术是一款内部向量数据库。它必须尽可能多地摄取高质量网页数据并对所有数据进行嵌入。嵌入的单位经济性因此是我们所有工作的基础。在数十亿甚至上百亿文档的规模下,寻找每美元性能最佳的硬件并不是一个调优细节。任何每文档成本的改进都会叠加成显著的收益。

本文详细说明了我们如何在 AWS Neuron 硬件(AWS Inferentia2 和 AWS Trainium2)上为更便宜、更灵活的推理工作负载优化嵌入基础设施,以及代理式开发工作流如何推动了此优化。

推理在异步流水线中运行,但必须具备高容量和高速,以快速提供最新数据并缩短发现到服务的时间。

图 1:Exa 堆栈的简化视图

每个我们评为足够高质量的结构化网页文档都必须在提供之前进行嵌入。该图展示了原始网页数据如何从爬虫进入解析、审核和过滤的异步流水线,然后进行嵌入,最终结果从向量数据库中提供。

大规模嵌入文档

我们对 Neuron 硬件系列的使用始于一次回填。迁移到更优的文档模型意味着需要重新嵌入已有语料库。我们挑选了 300 亿高优先级文档进行重新嵌入。此类迁移会暂时使嵌入负载翻倍,这正好是重新评估硬件选择的最佳时机。

图 2:回填导致的推理负载翻倍

前图展示了两个并行流水线共享爬取和解析阶段,一个使用实时模型将文档嵌入到实时索引,另一个使用新模型对优先文档重新嵌入到新索引,这导致负载翻倍。此负载翻倍显然促使我们重新考虑硬件和优化方案。

优化历程

AWS Inferentia2 的数据指的是最小实例类型 Inferentia2 xlarge(inf2.xlarge)的性能,该实例配备一块芯片和两个 NeuronCore。我们的工作负载运行在单个 NeuronCore 上,因此我们在更大的实例上部署 Kubernetes pod,以充分利用所有核心,实现嵌入集群的容器一致性。同样的流程在 Trainium2 NeuronCore 上运行,并通过数据并行方式同样扩展。我们最初的 Inferentia2 实现是一个直接的数据并行、FP16 表示的模型。从该基线出发,我们不断推动吞吐量(文档/秒)提升,使用 Neuron SDK 并得到 AWS Trainium 团队的支持。下图展示了每个里程碑的吞吐提升。

图 3:各优化里程碑的吞吐提升

从最初的朴素编译开始,一系列渐进式优化最终实现约 1.5 倍的吞吐提升。首个优化是权重布局优化,通过使权重布局与更大模型的调度和布局对齐,消除不必要的转置。我们还启用了 autocast,让编译器在保持动态范围的前提下降低矩阵乘法的精度。降精度输出在与参考模型的余弦相似度上达到 0.999 的正确性门限(见 Agentic 方法论),因此精度影响在可接受范围内。

NKI 内核

Neuron Kernel Interface(NKI)库为常见模型层和操作提供了优化内核。这些预构建内核在常用特性上立即带来收益,我们利用它们快速消除最直接的低效来源。一个即插即用的注意力内核为我们带来了下一波性能提升。

内存布局优化:融合的 SwiGLU MLP 内核

下一个瓶颈是内存溢出。Neuron Explorer 的分析结果持续显示,高带宽内存(HBM)存在大量的溢出和重新加载,这导致 Tensor Engine 在整个前向传递过程中无法被充分利用。我们使用一个简易的 MLP 内核作为踏板来分析预构建实现的缺陷,并编写了一个自定义的权重固定融合 SwiGLU MLP 内核,从而消除了 HBM 停顿。

我们使用较高级别的 NKI 语言来处理布局操作、循环和内存操作,仅在特定张量操作时才降级到底层 NKI ISA。将内核的大部分代码保留在较高级别的语言中,可以使工程师更容易理解并更轻松地进行调试。

FLOPS 减少

此时我们遇到了瓶颈。当另一个片上核心空闲时,测得的每个加速器的吞吐量显著高于两个核心同时运行时的吞吐量。这一差距意味着我们理论上的数据并行吞吐量应该远高于我们实现的总体性能,这指向了核心之间的资源争用。

通过性能分析和实验,表明我们的工作负载尚未使 Tensor Engine 饱和。剩下的性能空间需要通过精简计算来获取。最明确的途径是通过消除浪费来减少产生结果所需的总体 FLOPS。我们围绕模型中的确切形状重写了注意力内核,以减少在填充(padding)上消耗的 FLOPS。这正是内核定制真正发挥作用的地方。通用内核旨在处理任何形状,因此它们无法利用特定架构中的特定形状。通过根据模型头架构的真实形状量身定制实现,我们从注意力机制中榨取了更多的性能。我们还将注意力操作折叠到单个矩阵乘法(matmuls)中,而通用内核则使用了多个指令步骤。这减少了计算相同值所需的内循环操作,从而减少了 HBM 往返次数并带来了最终的显著加速。

总体而言,与我们的初始基准相比,最终版本在每 100 万个嵌入文档的性能和成本方面提升了 47%。

智能体方法

智能体在一个简单的三部分测试框架中开发了所有这些优化,该框架使它们能够验证正确性、测量性能并分析工作负载以找到下一个优化方向。利用 ML ops 工作流平台 Flyte,每个智能体运行自己的工作流。该工作流编译一个 NEFF Neuron 可执行文件,并针对基准数据集检查前向传递,其余弦相似度必须达到与规范模型相差 0.999 的标准。然后,它会对一次前向传递进行性能分析,并在真实硬件上运行 30 分钟的饱和度基准测试。

该测试框架支持不同成本的智能体。轻量级模型处理诸如网格搜索编译器参数之类的繁琐工作,正确性检查可防止漂移。推理智能体测试复杂的假设并寻找瓶颈,而最强的代码生成器则编写自定义内核来解决这些问题。将每个智能体与其任务相匹配可以控制成本,而验证则可以防止能力强的智能体出现偏差。由于许多智能体不了解最新的功能和语法,neuron 智能体开发技能也起到了帮助作用。

灵活计算的好处

到目前为止,我们已针对美国西部(俄勒冈)区域(us-west-2)优化了 Inferentia2,但在一个区域中调优一个硬件系列存在硬性限制。竞价实例(Spot)和按需实例的可用性因区域而异,拥有众多消费者的组织往往在内部形成竞争。锁定在一个区域或实例类型中几乎必然会导致计算资源短缺,并可能导致服务质量下降。

Exa 通过一个 Kubernetes 控制平面跨多个区域调度计算。我们的调度器比较了不同实例类型的性价比,将 Pod 打包到最便宜的节点上,并随着嵌入需求的转变进行重新调度。我们优化的每一种硬件类型都使我们更接近全局最优。这就是为什么我们在 Inferentia2 上的工作可以直接延续到 Trainium2。切换硬件配置可以让我们释放其他团队需要的节点,或者吸收他们未使用的预留计算资源。对于长期运行的模型,跨硬件优化会带来巨大的回报。

结论

在 Exa 运行的规模下,从灵活的硬件池中榨取最大的性价比才是关键所在。将 Neuron 硬件加入该池并使用 NKI 对其进行优化,已被证明是长期节省成本的主要来源。

正文为 AI 译文。

参考来源

← 返回每日AI报告