AWS 机器学习 ↗ · 2026-11-18 02:06 · UTC+8
使用 Amazon SageMaker JumpStart 上的 OpenTSLM 对时间序列数据进行推理
独立观察 AWS 机器学习 原文语言:英文
在各行业,决策始于了解变化及其原因。工业组织收集能够为其运营决策提供信息的数据。
全文
人工智能
在 Amazon SageMaker JumpStart 上使用 OpenTSLM 对时间序列数据进行推理
在各个行业中,决策始于理解什么在发生变化以及原因何在。工业企业收集的数据为其各项运营决策提供信息。这些数据有助于防止生产停工、诊断车辆故障、解释数据中心性能下降的原因,以及随着供需变化调整定价。然而,解读这些数据仍然需要专业人员的时间,并且收集更多数据并不意味着团队能够据此采取行动。像 Claude 或 ChatGPT 这样通用的语言模型可以帮助分析数据。然而,将数百个运营指标的悠久历史记录作为文本或图像进行处理会消耗大量的 Token,从而增加成本。
为了帮助企业利用这些数据采取行动,Aionic Labs 正在开发时间基础模型,其中包括 OpenTSLM,这是一个开源的时间序列语言模型(TSLM)系列。这些模型能够将运营测量数据(从设备传感器数据到供需情况)与维护记录、市场新闻和工程师的观察结果等上下文结合起来进行解释。通过这种方式,TSLM 可以帮助系统识别近期测量数据中出现的新问题。随后,专家可以提出后续问题,以了解变化的原因并评估如何应对。TimeNet 作为时间序列数据的共享数据基础设施,提供了一种统一的格式和 API 来查找、构建和加载用于训练和评估这些模型的数据集。它们共同帮助企业了解系统如何变化,并在问题带来高昂成本之前采取行动。
OpenTSLM 现已在 Amazon SageMaker JumpStart 中推出,您可以在自己的 AWS 环境中部署该模型。本文探讨了 Nexthink 和 Aionic Labs 如何将这一功能引入主动式 IT 协助中,然后展示了如何部署 OpenTSLM 并使用 TimeNet 将其适配到您自己的数据中。
图 1. 时间序列语言模型将数值测量结果与文本上下文及问题相结合。潜在应用涵盖物理和数字系统,并针对每项任务进行适配和评估。
客户案例:Nexthink 的主动式 IT 支持
Nexthink 和 Aionic Labs 正在打造一个数字工作场所,让员工在提出请求之前就能获得帮助。其核心是 Spark,这是 Nexthink 的个人 IT 智能体,借助时间序列语言模型得到了增强,能够将设备遥测数据和上下文与员工遇到的问题连接起来。Spark 将这种理解转化为行动:它检查可能的问题,指导员工进行适当的修复,并跟进结果。主动式协助成为了保持工作顺利进行的一部分。
该工作流将近期的设备时间序列(例如 CPU 活动、内存使用情况、可用磁盘空间、应用程序稳定性和连接性)与带时间戳的事件以及设备和软件上下文相结合。TSLM 接收数值测量结果以及这些文本上下文,并解释信号在观察窗口内是如何变化的。
TSLM 为 Spark 提供三个输出:
状态摘要:解释可能的问题和支持信号模式,将设备行为与员工体验联系起来。
推荐操作:指定用于确认问题的检查项以及供 Spark 向员工提供的实际操作。
预期结果:描述预期的改进以及 Spark 检查结果的方式。
设备遥测数据和上下文支持调查一系列问题,包括高 CPU 或内存负载下的性能缓慢、应用程序频繁卡死或崩溃以及文件同步失败。资源使用情况、应用程序事件、存储测量和连接活动提供了不同的证据。结合设备配置和软件版本,它们为 TSLM 解释员工体验和指导 Spark 的下一步检查提供了更广泛的基础。
在图2所示的磁盘空间不足的说明性示例中,TSLMs将不断减少的可用空间、上升的磁盘队列以及更频繁的应用程序无响应与可能的员工症状(如电脑运行缓慢或难以保存文件)联系起来。Spark会检查剩余多少空间,以及是否可以通过IT部门批准的清理操作来删除临时文件。如果检查确认适合进行清理,Spark会向员工展示其建议删除的内容并请求确认。在员工确认后,Spark执行清理,检查当前可用的空间,并询问问题是否得到改善。如果问题仍然存在,Spark会主动将调查结果转交给IT支持部门。
TSLMs能够理解系统是如何变化的,并帮助人们根据这种理解采取行动。对于Spark而言,这意味着识别新出现的IT问题并引导员工走向解决方案。同样的方法也将时间序列智能引入了制造、能源和互联产品中,将测量数据和上下文转化为解释与智能决策。
图2. Nexthink公司针对磁盘空间不足的说明性主动支持工作流。OpenTSLM从设备历史记录和上下文中生成状态摘要、推荐操作和预期结果。Spark检查设备,在获得员工确认后运行IT部门批准的清理操作,并对结果进行跟进。
解决方案概述
图3中的架构为时间序列应用程序提供了一种可复用的部署模式。SageMaker JumpStart提供了模型发现和部署路径。
SageMaker JumpStart是一个机器学习(ML)模型中心,可加速您的ML旅程。借助SageMaker JumpStart,您可以评估、比较和部署预训练的基础模型(FMs),包括新推出的OpenTSLM模型。作为AWS AI产品组合的一部分,SageMaker JumpStart提供了可定制的ML解决方案,您可以将它们部署到AWS基础设施内的Amazon SageMaker AI推理端点上。它与Amazon Bedrock形成了互补,后者提供无服务器API基础模型推理,以及定制、知识库、智能体和护栏等功能。
SageMaker AI和SageMaker JumpStart的关键技术优势包括:
预构建推理容器 – 带有GPU加速的AWS深度学习容器(AWS Deep Learning Containers),让您无需构建自己的镜像即可提供模型服务。
自动扩展端点 – 托管基础设施根据请求量和延迟要求自动扩展计算资源。
推理 API – 具有标准化API调用、SDK和AWS身份与访问管理(IAM)集成的SageMaker实时推理端点。
集成监控 – 与Amazon CloudWatch集成,提供用于吞吐量、延迟和资源利用率的内置指标。
企业级安全性 – 具有IAM访问控制和网络隔离选项的Amazon虚拟私有云(VPC)部署。
SageMaker JumpStart中的模型是OpenTSLM-Flamingo。它将Gemma 3 4B语言模型与时间序列编码器以及交叉注意力层相结合,使语言模型能够关注编码后的时间序列。该模型总共有52.4亿个参数,以bfloat16存储,因此其权重占用约10.5 GB的GPU内存。
应用程序准备好数值时间序列和文本上下文,调用SageMaker端点,并接收模型的响应。应用程序可以将该响应呈现给专家,或者将其作为输入传递给另一个工作流。
这种分离使应用程序能够控制观察窗口、选择相关信号,并在使用响应之前对其进行验证。它还使模型具备独立的可适配性:在应用程序切换到新检查点之前,可以针对典型案例对其进行评估。
此外,我们展示了一个教程,该教程使用通过TimeNet加载的ARFBench数据对来自Hugging Face的预训练OpenTSLM检查点进行微调。该Notebook提交了一个SageMaker训练作业,通过TimeNet加载ARFBench并微调模型。Amazon Simple Storage Service(Amazon S3)负责存储生成的模型构件,随后将其部署到单独的SageMaker实时推理端点进行评估。
图3. 一种可复用的架构,用于通过SageMaker JumpStart部署OpenTSLM,并从结合了时间序列数据与文本上下文的应用程序中进行调用。
前提条件
有关部署演练,请使用具备 Amazon SageMaker AI 域和 SageMaker AI 执行角色的 AWS 账户。该角色必须能够在受支持的区域中创建 SageMaker 模型和端点,例如具有 AmazonSageMakerFullAccess 托管策略的角色。单用户快速设置会同时创建这两者。该托管策略授予了广泛的权限以供开始使用。对于生产环境,请使用仅授予所需权限的策略,如 Amazon SageMaker AI 基于身份的策略示例中所述。OpenTSLM 运行在配备至少 24 GB 内存并支持 bfloat16 的单个 GPU 上,我们建议配置 32 GB 的主机内存。默认实例类型为 ml.g6.2xlarge(一个配备 24 GB 内存的 NVIDIA L4 GPU、32 GB 主机内存)。在 SageMaker JumpStart 中,OpenTSLM 还支持 ml.g6.4xlarge、ml.g6.8xlarge、ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge、ml.g6e.xlarge 和 ml.g6e.2xlarge。在 Service Quotas 控制台中,检查您关于“ml.g6.2xlarge for endpoint usage”或所选实例类型的配额。您需要至少为 1 的配额。如果配额较低,请申请提高。有关模型访问要求,请参阅 OpenTSLM JumpStart 模型卡。
对于微调,请使用 Amazon SageMaker Studio 中的 JupyterLab 或配置了 AWS 凭证的本地 Jupyter 环境来运行配套的笔记本(Notebook),该笔记本会提交训练作业。该笔记本使用 SageMaker 默认的 S3 桶和一个执行角色。微调运行在 ml.g7e.2xlarge 上,因此请同时检查您关于“ml.g7e.2xlarge for training job usage”的配额。训练运行在作业的托管 GPU 实例上。笔记本本身不需要 GPU。在需要时,获取对所选 Hugging Face 检查点的访问权限。
使用 SageMaker JumpStart 部署 OpenTSLM
要在 SageMaker Studio 中部署 OpenTSLM,请完成以下步骤:
在 SageMaker Studio 中,在导航窗格中选择 Models,然后选择 JumpStart models。
搜索“OpenTSLM”并选择 OpenTSLM-Flamingo Gemma 3 4B。模型页面显示了模型 ID、许可证以及请求和响应格式。
图 4:SageMaker JumpStart 中的 OpenTSLM-Flamingo Gemma 3 4B 模型页面
选择 Deploy。
在“Deploy model to endpoint”表单中,查看“License agreement”下的 Gemma 使用条款,并勾选复选框以接受最终用户许可协议 (EULA)。保留默认实例类型 ml.g6.2xlarge,或选择另一个受支持的实例类型。然后选择 Deploy。
图 5:带有默认 ml.g6.2xlarge 实例类型和实时推理的“Deploy model to endpoint”表单
等待端点状态变为 InService。在我们的测试中,这大约需要 6 分钟。记下以 jumpstart-dft- 开头的端点名称。您需要它来发送请求和进行清理。
图 6:SageMaker Studio 中状态为 InService 的已部署 OpenTSLM 端点
您还可以通过带有 SageMaker Python SDK v3 的 Python 来创建部署。以下示例使用 ModelBuilder。该模型是受控访问的:设置 accept_eula=True 即表示接受其许可证(Gemma 使用条款)。在部署之前请仔细阅读这些条款。SDK 在构建模型时会打印指向这些条款的链接。
from sagemaker.core.helper.session_helper import get_execution_role from sagemaker.core.jumpstart.configs import JumpStartConfig from sagemaker.serve.model_builder import ModelBuilder from sagemaker.train.configs import Compute MODEL_ID = "pytorch-reasoning-opentslm-flamingo-gemma3-4b" INSTANCE_TYPE = "ml.g6.2xlarge" # 1 x NVIDIA L4 (24 GB); ml.g5.2xlarge and ml.g6e.2xlarge also work ROLE_ARN = get_execution_role() # in SageMaker Studio; elsewhere, set your execution role ARN builder = ModelBuilder.from_jumpstart_config( jumpstart_config=JumpStartConfig(model_id=MODEL_ID, accept_eula=True), compute=Compute(instance_type=INSTANCE_TYPE), role_arn=ROLE_ARN, ) builder.build(model_name="opentslm-blog-demo") endpoint = builder.deploy(endpoint_name="opentslm-blog-demo")
提出关于时间序列的问题
该端点接受包含一个或多个实例的 JSON 请求。每个实例包含一个问题、一个或多个数值序列以及可选的上下文行。每个系列都有其值、名称以及对信号的简短描述(例如其单位和采样间隔)。一个系列最多可以包含 32,768 个值。端点将每个系列的均值缩放为 0,标准差缩放为 1,并将原始均值和标准差作为文本传递给模型,因此模型可以同时接收信号的形状和规模。对于缺失值,请使用 None。模型会对其进行掩码处理。
使用 SageMaker Runtime InvokeEndpoint API 发送请求。设置 ENDPOINT_NAME 以匹配您的部署。调用身份需要 sagemaker:InvokeEndpoint 权限。以下合成的 CPU 示例展示了一个请求。
import json import boto3 ENDPOINT_NAME = "opentslm-blog-demo" runtime = boto3.client("sagemaker-runtime") # 一小时的 CPU 利用率,每分钟一个采样,带有一个五分钟的峰值。 cpu = [21, 20, 22, 19, 21, 20, 23, 21, 20, 19, 22, 21, 20, 21, 19, 22, 20, 21, 23, 20, 21, 19, 20, 22, 21, 20, 19, 21, 78, 85, 82, 80, 79, 22, 20, 21, 19, 20, 22, 21, 20, 21, 23, 19, 20, 21, 22, 20, 19, 21, 20, 22, 21, 20, 19, 21, 22, 20, 21, 20] request = { "instances": [{ "question": "Summarize the pattern and suggest what to check.", "series": [{ "values": cpu, # 缺失值请使用 None "name": "CPU utilization (%)", "text": "CPU utilization (%), 1 sample/minute:", }], "context": ["The series covers 10:00 to 10:59 on a web server."], # 可选 }], "parameters": {"max_new_tokens": 128}, } response = runtime.invoke_endpoint( EndpointName=ENDPOINT_NAME, ContentType="application/json", Body=json.dumps(request), ) print(json.loads(response["Body"].read())["generated_text"][0])
一个请求最多可以包含四个实例,每个实例包含 1 到 32 个序列,响应中的 generated_text 会为每个实例包含一个答案。max_new_tokens 接受 1 到 512 之间的值。该模型使用贪婪解码(greedy decoding),因此相同的请求通常会返回相同的答案。实时调用必须在 60 秒内完成,且请求体大小最高可达 6 MB。在 ml.g6.2xlarge 上,模型每秒大约生成 20 个 token。端点会按顺序处理请求中的实例,因此响应时间会随着实例数量和答案长度的增加而增长:512 个 token 的答案大约需要 30 秒。为了保持在 60 秒以内,仅当答案较短(例如 max_new_tokens 为 128)时,才在单个请求中发送多个实例。6 MB 的限制也约束了一个请求可以承载的序列数据量。对于长时间运行的请求,您可以使用异步推理。
您可以使用 AWS 命令行界面 (AWS CLI) 发送相同的请求。将请求另存为 JSON(例如使用 json.dump(request, open("request.json", "w"))),然后运行:
aws sagemaker-runtime invoke-endpoint \ --endpoint-name opentslm-blog-demo \ --content-type application/json \ --body fileb://request.json \ response.json cat response.json
选择能够保留相关事件的输入窗口
OpenTSLM-Flamingo 在语言模型使用之前,将编码的时间序列压缩为固定大小的一组表示形式。这限制了传递给语言模型的表示形式,但这并没有让整个系统拥有无限的内存,也不能保证简短的事件在极长的录音中仍然易于识别。
长上下文研究使这种区别变得具体。TS-Haystack 评估了不同长度录音中的事件检索,发现随着历史记录的增长,评估的 TSLM 变体通常会失去准确性,在定位事件开始和结束时间时尤其明显。这些结果促使我们在应用程序使用的窗口和问题上测试所选的检查点(checkpoint)。
选择一个包含事件以及足够的周围上下文以便对其进行解释的窗口。对于长录音,请比较重叠的窗口。为简短事件保留采样分辨率,并在时间上对齐相关的通道。在文本上下文中包含单位、采样间隔和观测周期。验证预期长度下的正常和异常示例。端点接受的有效负载大小和模型的有用分析窗口是两个独立的限制。
使用 SageMaker 在 ARFBench 上微调 OpenTSLM
遵循随附的微调 Notebook 获取完整示例,从使用 TimeNet 准备 ARFBench 数据,到启动 SageMaker 训练作业以及部署调整后的模型。
您什么时候应该进行微调?
首先在应用程序的代表性示例上测试预训练的 OpenTSLM 模型,并评估它回答您问题的效果。
当预训练模型的答案正确且其解释与信号相符时,请使用该模型。
当缺少重要信息(例如测量单位、采样率、系统上下文或相关时间窗口)时,请改进输入。
当模型即使在提供充分上下文的情况下,仍然持续遗漏特定于您领域的模式或难以胜任您的任务时,应对其进行微调。使用具有代表性的信号以及经过审阅的答案。
TimeNet 提供了一种一致的方法来加载用于训练和评估的数据。微调后,在未用于训练的示例上将经过调整的模型与原始模型进行比较。
使用 TimeNet 准备微调数据
ARFBench 是一个关于 Datadog 软件事故遥测异常的选择题公共基准。我们使用 ARFBench 是因为它的选择题答案可以自动评分,这使得微调的效果可以被衡量。相同的工作流适用于具有开放式答案的任务,例如 Nexthink 示例中的摘要和推荐操作。TimeNet 将 ARFBench 作为版本化数据集提供:每个问题都与其答案选项、正确答案以及指标信号一起存储。训练任务通过 TimeNet 加载 ARFBench,并通过 Hugging Face 加载模型检查点。
提交 SageMaker 训练作业并部署微调后的模型
SageMaker 训练作业在 GPU 实例上运行 OpenTSLM 训练脚本。该作业微调时间序列编码器、感知重采样器(perceiver resampler)、交叉注意力层以及语言模型的词元嵌入,并保持 Gemma 3 语言模型的其余部分处于冻结状态。该作业将微调后的模型以 Hugging Face 模型仓库的布局保存到 Amazon S3 中,并将训练前后的测试准确率写入 metrics.json 文件。如果您的 SageMaker Studio 域具有默认的 MLflow App,该作业还会将训练损失、验证损失以及测试准确率记录到其中,以便您可以在 MLflow UI 中对比多次运行。在我们于单个 ml.g7e.2xlarge 实例上进行的运行中,对 135 个保留的 ARFBench 问题的准确率从 5.0% 提升到了 45.9%。这远高于 ARFBench 论文中随机选择在完整基准上达到的 24.5%。微调前,模型将大部分答案留空。微调后,它用给定的选项之一回答了每个问题。ARFBench 在此处作为一个示例应用:它展示了如何使用公共数据集将模型适配到新任务和答案格式。该结果并非与其他模型的比较,也不是官方的 ARFBench 排行榜结果。
配套笔记本中的以下摘录使用 ModelTrainer 启动了训练作业。scripts/train.py 加载 ARFBench,评估并微调模型,然后将其保存到 FINETUNED_PREFIX。
trainer = ModelTrainer( training_image=TRAINING_IMAGE, # the SageMaker PyTorch 2.9 training image source_code=SourceCode( source_dir="scripts", entry_script="train.py", requirements="requirements.txt" ), compute=Compute(instance_type="ml.g7e.2xlarge", volume_size_in_gb=100), stopping_condition=StoppingCondition(max_runtime_in_seconds=24 * 60 * 60), hyperparameters={"base-model": BASE_MODEL, "output": FINETUNED_PREFIX, "epochs": 3}, role=ROLE_ARN, ) trainer.train()
要部署微调后的模型,请在 ml.g6.2xlarge 或 JumpStart 模型支持的其他实例类型上创建一个新的实时端点,使用与 JumpStart 模型相同的容器镜像和环境变量,以及配套笔记本提供的推理脚本。将其模型数据指向微调后模型文件的 S3 位置。请求格式保持不变,因此您可以向其发送上一节中的请求。配套笔记本中包含相关代码。
将工作流适配到您的领域
通过将信号窗口与相关问题和经过审阅的答案进行配对,可以将相同的工作流适配到其他时间序列任务。潜在的示例包括结合维护上下文来解释设备行为、结合运行条件解释能耗模式,以及描述可穿戴设备测量活动。数据、监督和评估应反映该领域以及应用程序旨在支持的决策。
在准备过程中保持测量的时间和含义,并以反映部署的方式分离训练和评估数据。对于预测任务,输入中只能包含预测时可获得的信息。领域专家应评估答案是否基于信号并对预期工作流有用。对于自由文本答案,可将其与经过审查的参考答案进行比较,例如通过专家评分或 LLM‑as‑a‑judge,让语言模型根据评分标准对每个答案打分。
清理
已部署的端点会持续产生费用,直到将其删除。完成后,请删除端点、端点配置以及模型。如果是从 SageMaker Studio 部署的,请运行以下命令,而不是在端点页面选择 Delete(那只会删除端点本身)。这些命令会根据端点名称查找配置和模型名称,并删除这三者。将 ENDPOINT_NAME 设置为你的端点名称,例如在 Studio 部署时默认以 jumpstart-dft- 开头的名称:
ENDPOINT_NAME=opentslm-blog-demo CONFIG_NAME=$(aws sagemaker describe-endpoint --endpoint-name \"$ENDPOINT_NAME\" \\ --query EndpointConfigName --output text) MODEL_NAME=$(aws sagemaker describe-endpoint-config --endpoint-config-name \"$CONFIG_NAME\" \\ --query 'ProductionVariants[0].ModelName' --output text) aws sagemaker delete-endpoint --endpoint-name \"$ENDPOINT_NAME\" aws sagemaker delete-endpoint-config --endpoint-config-name \"$CONFIG_NAME\" aws sagemaker delete-model --model-name \"$MODEL_NAME\"
使用微调后端点的名称重复这些命令。停止笔记本应用,并删除你不打算保留的教程专用 S3 数据和制品。训练作业在完成后会停止。
结论
时间序列语言模型将数值测量与人们用于决策的问题、上下文和专业知识相连接。无论是制造、能源、可穿戴设备还是数字基础设施,它们为人和应用提供了一种统一的方式来解释系统的变化。更广阔的机会在于将运营历史与语言相结合,使过去的观察在当前决策中更有价值。
OpenTSLM 现已在 Amazon SageMaker JumpStart 中提供,你可以通过 SageMaker Studio 或 SageMaker SDK 将其部署到自己 AWS 环境中的实时推理端点。TimeNet 和 SageMaker 训练作业提供了一条将模型适配到你所在领域的信号和问题的路径。
要开始使用,请探索 Amazon SageMaker JumpStart,遵循 AWS Samples 仓库中的示例,并查阅 OpenTSLM 仓库和 TimeNet 文档。先从公开的 ARFBench 示例入手,在代表性案例上进行评估,然后将你所在领域的信号、问题和专业知识引入其中。
正文为 AI 译文。