在 SageMaker AI 无服务器模型定制上进行全参数微调 (FFT)

媒体报道 AWS 机器学习 原文语言:英文

微调是在公司自有数据上继续训练预训练大语言模型 (LLM) 的过程。

全文

Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization

微调是指在公司自有数据上继续训练预训练的大语言模型(LLM),使其适应特定领域、任务或风格,而不是仅依赖通用知识。对企业而言,这带来双重价值。微调模型在特定领域工作上能够显著提升准确率,同时降低成本:一个更小的专用模型可以在任务上匹配或超越前沿模型,而每个 token 的推理费用仅为其一小部分。这些节省在数百万请求中会累积。因而,微调已成为企业在降低成本的同时从 LLM 中获取更大价值的关键流程。

参数高效微调(PEFT)方法如低秩适配(LoRA)已成为对 LLM 进行下游任务微调的实用方案,通过仅更新少量 LLM 参数来降低 GPU 容量需求。LoRA 旨在在效率与表达能力之间取得平衡,然而,权重更新的低秩特性本质上限制了 LoRA 微调模型的表示能力,可能会在复杂任务上牺牲性能。这一权衡削弱了 LoRA 捕获多样任务所需复杂模式的能力。为了解决这些挑战,Full Fine-Tuning(FFT)同时更新模型参数,克服低秩限制,使 LLM 能够充分吸收复杂的领域特定知识。

Amazon SageMaker AI Serverless Model Customization 现已支持 Full Fine-Tuning(FFT),让您在无需管理基础设施的情况下实现更高的模型质量。无需 GPU 供应、集群搭建或分布式训练配置。在本文中,我们将探讨 FFT 在关键基准测试中何时以及为何始终优于 LoRA,分析解释质量差距的模型权重矩阵谱特性,提供基于 SageMaker AI Serverless Model Customization 的受控实验支持的实用超参数调优指南,并展示如何在 SageMaker AI 上快速上手 FFT。

Full Fine-Tuning:为何重要

模型定制类型如 LoRA 通过冻结预训练模型的权重并在模型层中注入一对小的替代矩阵(称为低秩矩阵)来减少可训练参数。这在简单适配时效果良好,但低秩结构本质上限制了微调模型的表示能力。随着任务变得更复杂且数据集规模超过数万条样本,LoRA 会出现准确率平台期,即提升秩(从而增加可训练参数)也无法弥合与标准微调之间的准确率差距。该平台期表明性能差距并非仅仅因为参数更少,而是源于秩缺陷本身。低秩更新无法捕获深度任务适配所需的全部权重变化复杂性。

然而,对于存在大规模高质量数据集的复杂任务和领域,完整秩微调通过同步更新模型参数表现出色。FFT 以统一方式修改模型的权重矩阵,利用模型权重矩阵的全部表示容量,而不是将更新限制在小子空间,并且不会引入低秩方法特有的突发局部失真。其结果是模型收敛更强,层间激活对齐更好,模型能够忠实捕获目标任务分布以及预训练知识的丰富性。FFT 的质量优势随数据集规模增长而扩大:在 100K+ 训练样本时,FFT 在代码生成任务的 LLM-as-Judge 语义正确率上达到了 90.0%,如下图所示。

图 1:随着训练数据规模扩大至 100K+ 示例,LLM-as-Judge 语义正确率按训练方法划分的对比

此外,下图的雷达图提供了整体视图:基线模型(内层多边形)在所有轴上的得分始终偏低。LoRA(中层多边形)表现出强劲且均衡的提升。FFT(外层多边形)在每个维度上均进一步提升,尤其在 BLEU 和 ROUGE-2 分数上领先显著。该多维质量领先表明这并非特定指标的偶然现象,而是全秩优化的根本优势。

图 2:基线模型、LoRA 与 FFT 在质量维度上的雷达图比较

我们得出这些结果的详细过程、用于模型定制的代码数据集以及实验过程将在接下来的部分中详细解释。

实验与基准测试结果

在这篇博文中,我们在 Amazon SageMaker AI Studio 提供的 Qwen3-4B 基础模型上使用了监督微调(SFT)技术,并使用 SageMaker AI 无服务器模型定制(Serverless Model Customization)在 LoRA 和 FFT 训练方法下执行了所有微调实验。在每个实验中,两种方法都接收相同的提示词、目标和评估代码。

数据集:代码生成 110K 指令对

在所有实验中,我们在 Magicoder-Evol-Instruct-110K 数据集上对 Qwen3-4B 基础模型进行了微调。该数据集是一个精心策划的包含 110,000 个代码指令-响应对的语料库,涵盖算法设计、调试、数据结构和系统编程。我们对数据集进行了 90/5/5 的拆分:99,000 条记录用于训练,5,500 条记录用于验证(以监控定制任务期间的收敛情况和训练损失),另外 5,500 条作为保留的测试集,用于对最终模型进行无偏评估,这些已在 SageMaker AI 数据集资产中注册,如下图所示。

图 3:在 SageMaker AI 数据集资产中注册的 110K 指令对数据集

无服务器模型定制任务

本文中的所有模型定制实验均在 Amazon SageMaker AI 无服务器模型定制上执行。SageMaker AI 上的无服务器模型定制使数据科学家和机器学习(ML)工程师能够专注于模型微调,而无需管理基础设施或 GPU 容量规划。您只需指定基础模型、数据集和超参数,该服务就会以无服务器的方式自动处理计算资源分配和检查点管理。以下代码片段展示了使用 SageMaker Python SDK 在无服务器模型定制上启动全量微调(FFT)任务的其中一个实验。

from sagemaker.train.sft_trainer import SFTTrainer from sagemaker.train.common import TrainingType trainer = SFTTrainer( model=base_model_id, training_type=TrainingType.FULL, model_package_group=model_package_group_name, training_dataset=training_dataset, validation_dataset=val_dataset, s3_output_path=output_path, sagemaker_session=sess, role=role, ) # 根据需要配置超参数 trainer.hyperparameters.learning_rate = 2e-5 trainer.hyperparameters.global_batch_size = 8 trainer.hyperparameters.max_epochs = 2 trainer.hyperparameters.lr_warmup_steps_ratio = 0.1 trainer.train(wait=False)

该代码会触发一个无服务器模型定制任务(如下方屏幕截图所示),任务中会跟踪训练性能指标,并在链接的 MLflow 应用程序中进行查看。

图 4:在 MLflow 中跟踪训练指标的无服务器模型定制任务

从全量微调切换到 LoRA 只需要进行一项更改:将 TrainingType.FULL 设置为 TrainingType.LORA。其余代码保持不变:

trainer = SFTTrainer( model=base_model_id, training_type=TrainingType.LORA, # ← 仅此更改 model_package_group=model_package_group_name, training_dataset=training_dataset, validation_dataset=val_dataset, ... )

模型评估与基准测试

我们在 SageMaker AI 无服务器模型定制内置的三种不同评估方法中测试了生成的定制模型:LLM-as-Judge、PRIMECODE 和 MMLU,如下图所示。每种方法都针对模型质量的不同维度:语义正确性、代码生成保真度和通用知识保留。它们共同提供了模型定制质量的全面概览。

图 5:SageMaker AI 无服务器模型定制中的三种内置评估方法

LLM-as-Judge 指标使用前沿模型(在本文中为 Amazon Nova Pro)作为自动化评估器,阅读模型生成的代码以及原始提示词,并判断解决方案在逻辑上是否正确。在无服务器模型定制中,您可以同时评估定制模型和基础模型,如下图所示。

图 6:比较定制模型和基础模型的 LLM-as-Judge 评估

PRIMECODE 是一种自定义评分器评估,它使用确定性的文本相似度指标来衡量模型生成的代码与参考解决方案的匹配程度:BLEU(n 元语法精确度)、ROUGE-1/2/L(面向召回率的重叠度)以及 F1(精确度与召回率的平衡)。这些指标完全可复现,使其成为受控消融研究的理想选择。我们将 PRIMECODE 用作表层代码质量的主要指标,因为它量化了模型学习训练数据中存在的编码模式、格式约定和实现风格的程度。高 BLEU 分数意味着模型生成的代码在结构上看起来与专家编写的解决方案相似,如下面的结果所示。

图 7:定制模型的 PRIMECODE 文本相似度分数

MMLU(大规模多任务语言理解)是一个内置基准测试,用于在抽象代数、解剖学到营养学和哲学等 57 个学术科目中测试模型。它用于衡量模型在领域特定微调后是否保留了广泛的通用知识,如下图所示。我们将 MMLU 用作遗忘检测的安全护栏。对代码进行微调可能会覆盖存储在模型权重中的通用知识。通过跟踪微调前后的 MMLU 准确率,我们可以精确量化模型为了提升代码生成能力而牺牲了多少通用知识,以及我们的超参数选择是加速还是缓解了这种权衡。

图 8:微调前后的 MMLU 准确率

大规模快速实验

SageMaker AI Serverless Model Customization 的简便设置和使用使我们能够在无需重新预置基础设施的情况下进行快速实验。我们更改了 LoRA 和 FFT 之间的训练类型,扫描了超参数,并在多个基础模型进行了测试。在很短的时间窗口内,我们在多个受支持的基础模型(Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26B)上运行了数十个模型定制实验,系统地对学习率、批次大小、预热比(warmup ratio)、轮数(epoch count)和数据集规模进行了消融。从作业提交到评估结果,每个实验都在数小时内完成,生成的微调模型会自动作为版本化的 Model Package 注册到 SageMaker Model Registry 中,随时可供审查或部署。

超参数选项

SageMaker AI Serverless Model Customization 支持许多超参数。在本节中,我们根据在上述代码生成任务中运行的一系列超参数配置实验,解释了几个重要的超参数。虽然有效值会因任务而异,但在这些实验中观察到的模式为配置 FFT 模型定制作业提供了有用的起点。有关在启动 FFT 模型定制作业之前可以配置的超参数的更多信息,请参阅超参数文档页面。

1. learning_rate

在完全微调(full fine-tuning)中,学习率控制着每个权重更新的激进程度。与仅更改小型适配器矩阵的 LoRA 不同,过高的 FFT 学习率会永久覆盖预训练知识。在我们的实验中,以下的 LR × 数据集规模风险图表明,在大数据集(超过 10 万)上使用 2e-5 的 LR 是安全区域。

图 9:完全微调的学习率和数据集规模风险图

2. max_epochs

FFT 中的轮数(Epoch)本质上是一个关于遗忘的问题,而不是一个损失曲线(loss-curve)的问题。训练损失会持续下降,并且由于与训练数据共享分布,保留的验证集看起来也很健康,但未训练的所有内容的各项能力却在悄悄退化。LLM-as-Judge 正确率在 3 个 epoch 时上升到 90.0%,而超过 3 个 epoch 则会使我们实验的每个变体性能下降。

3. global_batch_size

批次大小决定了有多少样本参与每个梯度步长。在固定的学习率下,较小的批次会产生更多带有噪声的更新,其行为很像更高的学习率,从而增加了遗忘风险。较大的批次可以减少噪声,但也会减少优化步数,从而可能导致欠拟合。

图 10:全局批次大小对模型质量的影响

灾难性遗忘风险

FFT 会修改模型中的每个参数,包括在预训练期间获取的通用知识的编码参数。当微调过于激进地将这些参数推向狭窄领域时,模型可能会“忘记”其更广泛的能力,这种现象称为灾难性遗忘。我们使用 MMLU 系统性地测试了这一点,衡量在所有微调配置下的通用知识保持情况。基线配置为 warmup=5%,batch size=8,学习率 LR=2e-5,能够最佳地保留通用知识(MMLU),如下图所示。

图 11:不同超参数配置下的 MMLU 通用知识保持情况

因此,需要注意的是 FFT 并非在所有情况下都优于 LoRA,其效果对超参数选择极为敏感。例如,在我们的实验中,FFT 和 LoRA 在 MATH 精确匹配上都表现不如基线模型,凸显了在特定领域微调时保持推理能力的挑战。FFT 中较大的学习率(LR ≥ 5e-5)尤其具有破坏性,使得 MATH 分数骤降至 2–3%,MMLU 准确率降至 3.6%,明显是灾难性遗忘的证据。此外,LoRA 在 LLM-as-Judge 指标上略胜 FFT(81.5% 对比 79.5%),表明参数高效方法在主观质量评估上仍有优势。这些发现强化了在 FFT 与 LoRA 之间的选择应基于细致的实验、数据集特性以及对权衡的清晰理解。

结论

使用 Amazon SageMaker AI Serverless Model Customization 进行全微调(Full Fine-Tuning),当任务复杂度和数据规模要求时,模型能够充分吸收领域特定知识。如果您的使用场景需要深度适配,例如专门的推理、代码生成或领域特定语言理解,并且拥有足够高质量的训练数据,FFT 将提供显著更强的效果。

您可以通过 SageMaker AI Serverless Model Customization 的无服务器训练、内置评估,且无需进行基础设施或计算容量规划,快速开始 FFT,从而专注于数据和超参数的选择。您可以使用 SageMaker Python SDK 编程式地配置并启动训练和评估作业。您可以查阅文档,了解在 Serverless Model Customization 上支持全微调的基础模型列表。

正文为 AI 译文。

参考来源

← 返回每日AI报告