推出 Amazon SageMaker JumpStart 模型排行榜

公司动态 AWS 机器学习 原文语言:英文

Amazon SageMaker JumpStart 为您提供数百个可快速部署的开源权重基础模型。

全文

介绍 Amazon SageMaker JumpStart 模型排行榜

Amazon SageMaker JumpStart 为您提供数百个可快速部署的开源权重基础模型。这个选择很强大,但也带来了一个真实的问题:应该从哪个模型开始?比较模型通常意味着一次阅读一张模型卡,并寻找不同来源在不同条件下发布的基准分数。然后您仍然必须猜测每个模型在您的使用场景中的表现以及成本。

今天我们推出了 Amazon SageMaker JumpStart 模型排行榜,这是一种在 Amazon SageMaker Studio 中直接并排比较 JumpStart 模型在质量、速度和成本方面的新方式。在本文中,我们解释排行榜显示的内容,用通俗语言定义关键术语,并演示如何从候选列表走向部署模型的过程。

什么是 JumpStart 模型排行榜?

排行榜是 SageMaker Studio 中 JumpStart 基础模型页面的新视图,位于“类别”和“全部模型”视图旁边。它使用您已经熟悉的相同搜索栏和过滤器,并在大型语言模型(LLM)排行榜上打开。您无需先回答设置问题即可立即看到排名。对于每个模型,它显示两类信息:

在三个公开基准(BIG‑Bench Hard、GPQA Diamond 和 MMLU‑Pro)上的质量分数,这些基准由 AWS 自行运行,使用相同的评估设置对每个模型进行评估,以便数字具有可比性。

AWS 通过向每个 JumpStart 部署配置的端点发送标准化测试工作负载来测量的性能和成本指标,这样您就可以看到模型响应的速度以及运行成本。

由于这两类数字来源相同且使用相同的方法,您可以进行等价比较,而无需将来自不同网站的数据拼凑在一起。首次发布时,排行榜涵盖了 70 多个模型,提供商包括 Meta、Google、Qwen、IBM 和 Arcee,后续会陆续添加更多模型。

下图显示了 SageMaker Studio 中的排行榜,包含每个模型的基准分数、性能指标和估算成本。

图 1:SageMaker Studio 中的排行榜概览

关键概念

本节定义排行榜使用的术语:质量基准、用例画像和优化目标(它们决定性能数字),以及性能指标本身。

质量基准

基准是一种标准化测试:一组固定的问题并附有已知答案。让每个模型通过相同的测试后,您可以获得可比较的分数。首次发布时,排行榜报告了三个针对 LLM 的推理基准:

基准 说明(通俗易懂)

BIG‑Bench Hard (BBH) 一组需要多步推理的挑战性任务,例如逻辑推理、对象跟踪和多步算术。

GPQA Diamond 研究生水平的科学问题,这类问题通过网络搜索难以得到答案,是深度推理的良好信号。

MMLU‑Pro 在众多学科(如科学、法律、工程)上的广泛知识和推理,使用更难的多项选择题。

三者分数越高越好。排行榜分别显示每个基准的分数,而不是将它们合并为一个数字。这保持了结果的透明性:您可以根据应用需求权衡不同基准,并将每个分数与公开的基准定义进行对照。

用例画像和优化目标

速度和成本取决于您的工作负载以及模型的部署方式。排行榜上方的两个菜单控制您看到的性能和成本数字:

用例画像:从“为您的用例查看基准”菜单中选择最接近您工作负载的画像。默认是 Max Context。画像仅更改性能和成本指标,质量基准分数在所有画像中保持一致。

优化目标:对于每个画像,模型可以有多种部署配置,排行榜一次显示一种配置的指标。使用“优化为”菜单选择具体配置,默认是 Balanced。

每个优化目标对应不同的配置:

优化目标 配置显示

Balanced 具有最低估算每 token 成本的配置。由于每 token 成本受实例价格和吞吐量共同影响,此配置在每小时费用与实例生成 token 的速度之间取得平衡。

成本优化 具有最低每小时实例价格的配置。与其他目标相比,延迟可能会更高,吞吐量可能会更低。

延迟优化 具有最短首字生成时间的配置。

吞吐量优化 具有最高吞吐量的配置。这些配置可以使用投机解码。

性能指标

指标 说明

首字生成时间 (TTFT) 用户等待模型开始响应的时间。越低越好,这对聊天场景最重要。

单请求吞吐量 (tokens/s) 模型每秒生成的 token 数量。越高越好,这对批处理和高吞吐量工作负载很重要。

实例成本 ($/hr) 根据指定的实例类型估算的每小时成本。

关于成本的说明:估算成本仅反映 SageMaker 实例成本,基于配置默认实例类型的按需每小时费率。它不包含数据传输、存储、推理组件成本,或预留实例 (Reserved Instances) 或 AWS Savings Plans 等折扣。您的实际账单会有所不同。请使用 AWS 价格计算器进行账单估算。

我们如何进行基准测试

已发布的基准测试分数通常来自使用不同提示词、设置和硬件的不同团队,这使得它们很难进行比较。我们采取了不同的方法:

每个模型采用相同的方法。AWS 在排行榜上的所有模型中,使用相同的评估套件和设置运行每个基准测试。

在 SageMaker 上测量。性能和成本来自向使用每个 JumpStart 部署配置部署的端点发送标准化的测试工作负载,这些配置与您可以启动的配置完全相同。

有关完整详细信息(包括提示词、生成设置以及如何测量配置),请参阅 JumpStart 排行榜方法。

操作演练:查找模型

以下步骤展示了如何从浏览模型过渡到部署模型。您需要访问 SageMaker Studio 并拥有部署 JumpStart 模型的权限。

步骤 1:打开排行榜

在 SageMaker Studio 中,打开“模型”(Models) 页面,然后选择“排行榜”(Leaderboard) 视图。排行榜保留了与其他视图相同的搜索栏和筛选器,并且它拥有自己的 URL。您可以将它加入书签或与您的团队共享直接链接。

以下截图显示了已选择“排行榜”视图的“模型”页面。

图 2:已选择“排行榜”视图的 JumpStart 基础模型页面

步骤 2:使用筛选器缩小列表范围

使用您在 JumpStart 其他地方已经使用的相同搜索和筛选器,仅保留符合您要求的模型。常见的筛选器包括许可证、提供商以及输入和输出模态。在查看分数之前,请先从硬性要求(例如允许商业用途的许可证)开始。

以下截图显示了按输入模态、输出模态和许可证进行筛选的排行榜。

图 3:应用了筛选器的排行榜

步骤 3:选择用例配置文件和优化目标

在排行榜上方,从“为您的用例查看基准测试”(View benchmarks for your use case) 菜单中选择最接近您工作负载的配置文件(默认值:最大上下文)。然后从“优化目标”(Optimized for) 菜单中选择一个目标(默认值:平衡)。对于客户与之交互的聊天机器人,“延迟优化”是一个合理的起点。对于夜间文档处理,“吞吐量优化”或“成本优化”可能更合适。性能和成本列会更新,而质量分数保持不变。

以下截图显示了排行榜上方的“为您的用例查看基准测试”和“优化目标”菜单。

图 4:“为您的用例查看基准测试”菜单

图 5:“优化目标”菜单

步骤 4:阅读热力图并自定义列

每一列都有一个蓝色的热力图,因此表现最好的模型一眼便知:蓝色越深,该列的结果越强。对任何基准测试列进行排序,以按您最关心的指标对模型进行排名。使用列设置(齿轮图标)隐藏您不需要的指标,并向右滚动以查看更多信息。滚动时,模型名称列保持冻结状态,边缘的渐变效果表示还有更多可用列。

以下截图显示了热力图和列设置菜单。

图 6:热力图和列设置

步骤 5:部署或自定义模型

选择一个模型即可将其打开。在此页面中,您可以选择部署模型,或者对于支持无服务器自定义的模型进行自定义。如果您选择部署,请选择您在排行榜上进行比较时使用的相同用例和优化目标。每个指标均适用于其测量时的配置,不同的配置可能会改变质量、延迟、吞吐量和成本。

以下屏幕截图显示了带有“部署”和“自定义”选项的模型页面。

图 7:带有“部署”和“自定义”选项的模型页面

示例:为聊天助手挑选模型

假设您正在构建一个内部服务台助手。员工会提出问题,并期望得到快速、准确且遵循特定响应格式的答案。您需要一个具有商业许可的模型,并希望保持成本可预测。

在按许可证筛选并选择了偏向延迟优化的类聊天用例配置文件后,您的候选名单可能如下所示:

Model BBH MMLU-Pro TTFT (s) Throughput (tokens/s) Instance cost ($/hr)

Model A (large) 95.9 87.2 2.33 37 $37.66

Model B (medium) 94.2 84.9 0.98 44 $5.75

Model C (small) 77.4 66.1 0.27 61 $2.61

从表格中可以看出,Model A 的知识得分最高,但成本也最高,首次响应速度也最慢。Model B 的得分与之相差无几,能够应对多步推理,并且在更小、更便宜的实例上运行。对于服务台而言,推理问题并快速响应比最后的几个通用知识点更重要,因此 Model B 是更好的起点。更大的模型并不总是更好的选择,排行榜使这种权衡在几秒钟内即可见。

在此之后,您可以部署 Model B,使用服务台的真实问题对其进行测试,并记住 Model C 作为在质量保持不变时的低成本选项。

提示与注意事项

使用排行榜来建立候选名单,而不是做出最终决定。基准测试衡量的是通用能力。在投入生产之前,务必在您自己的数据和提示词上评估前两到三个模型。

先筛选,后排序。许可证以及输入或输出模态等要求决定了模型的取舍。分数只能帮助您对剩下的模型进行排序。

在同一个基准测试中比较模型。每个基准测试都有其自己的难度,因此在一个基准测试中的得分不能与另一个基准测试中的得分直接进行比较。

考虑模型类型。推理模型和非推理模型的评估采用不同的生成参数,推理模型的 GPQA Diamond 得分是经过 10 次运行取平均值得到的。两种类型之间的比较是近似的。

检查部署配置。每个指标均适用于其测量时的配置。请在您计划部署的配置上比较模型.

将接近的分数视为平局。微小的差异可能在正常的运行变化范围内,并不意味着某个模型明显更好。寻找明显的差距。

覆盖范围正在扩大。并非所有 JumpStart 模型都已有基准测试分数,且发布时的基准测试侧重于 LLM。没有分数的模型并非弱模型,它只是尚未进行基准测试。

下一步

我们将继续扩展排行榜。我们正在探索的领域包括:

私有中心支持,以便使用精选的 JumpStart 私有中心的组织能够为其批准的模型查看排行榜。

更多超越 LLM 文本生成的任务排行榜,例如目标检测、文本嵌入和图像理解。

随着更多模型加入 JumpStart,将引入更多模型和基准测试。

结论

SageMaker JumpStart 模型排行榜将质量、速度和成本汇聚于一处,并在 SageMaker 上进行了一致的测量。您无需比较来自不同来源的数字,而是可以筛选出符合您要求的模型,在您计划运行的配置上进行比较,并通过几次点击即可完成部署。

要开始使用,请在 SageMaker Studio 中打开“模型”页面并选择“排行榜”视图。要了解更多信息,请参阅以下资源:

JumpStart 排行榜方法论。

Amazon SageMaker JumpStart。

SageMaker JumpStart 文档。

SageMaker JumpStart 基于用例的部署。

使用 SageMaker 无服务器自定义功能自定义模型。

打开排行榜,为您的工作负载选出两到三个候选模型,并在选择用于生产之前部署它们以使用您自己的提示词进行测试。

正文为 AI 译文。

参考来源

← 返回每日AI报告