Hugging Face ↗ · 2026-11-19 02:53 · UTC+8
为什么你的微调任务比 FLOPs 计算的耗时更长
媒体报道 Hugging Face 原文语言:英文
Hugging Face 上 Dharma-AI 的一篇博客文章
全文
预测共享 GPU 集群上的端到端微调时间,基于 272 次生产运行。
这是我们即将发表的论文《预测生成式语言模型的端到端微调时间》(Predicting End-to-End Fine-Tuning Time for Generative Language Models)的预览。完整版本即将登陆 arXiv。
在当今的 AI 领域,GPU 是最昂贵且最稀缺的资源之一。任何运营共享集群的人每天都必须决定哪些任务分配到哪些 GPUs 以及以什么顺序执行。该计划的好坏取决于对每个任务将耗时多久的估计。当任务提前数小时完成时,GPU 会一直闲置,直到调度下一个任务。当任务延误数小时时,排在其后面的所有任务都会推迟,实验被迫等待,交付日期也会延后。
更好的持续时间估计使这成为一种规划,而不是猜测:运行什么、何时运行以及使用多少 GPU,同时减少中间的闲置容量。然而,大多数团队使用的估计是粗略的 FLOP 计算。它说需要九 hours,而任务直到第二天下午才完成。
我们想知道这种数学计算到底偏差多远,以及我们是否能在任务调度之前做得更好。因此,我们从 NVIDIA H200 GPU 的生产池中选取了 272 个真实的监督微调(SFT)任务(总计约 7,382 个 GPU 小时),并将解析估计与学习预测器进行了比较。
简而言之:常规基于 FLOP 的估计几乎无法解释我们所观察到的现象(R² = 0.31,MAE 12.41 h)。而在 5 折交叉验证中,一个仅查看调度前可用信息的 CatBoost 回归器达到了 R² = 0.98,平均绝对误差为 1.71 h,中位误差为 0.51 h。这种差距源于闭式估计无法做到的两件事。回归器可以看到更多特定于训练的信号,例如评估节奏、检查点策略、每个 GPU 的负载和微调机制,并且它能从过去的运行中学习它们之间的非线性相互作用。
每个人都在使用的估计仅仅是计算
对于一个稠密的 Transformer 来说,训练成本大约为 6·P·D 次浮点运算,其中 P 是参数数量,D 是训练词元(token)的数量。将其除以你的 GPUs 的交付能力,你就会得到一个训练循环时间:
T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU)
这里 N_GPU 是 GPU 的数量,FLOPS_peak 是单个 GPU 根据其规格说明书计算出的峰值吞吐量,而 MFU(模型 FLOPs 利用率)则是训练实际达到的峰值分数。由于内存流量、通信和内核效率低下,真实任务绝不会在峰值下运行,因此 MFU 通常在 30% 到 60% 之间,并且给定任务的正确值无法提前得知。
这是对优化循环的很好描述。然而,一个任务不仅仅是它的循环。在第一步之前,有环境设置、模型下载和加载以及词元化。在训练期间,有定期评估和检查点上传。最后,最终模型进入对象存储。在多租户集群上,所有这些都会与其它任务争夺网络和存储 I/O。
这些开销取决于配置,并且它们不会随着工作负载或 GPU 数量整齐地扩展。具有相同标称计算量的两个任务可能会相差数小时完成。
为了保持公平的比较,我们测试的 FLOP 基准既计算了预定的评估词元,也计算了训练词元,并且我们在很宽的范围内对 MFU 进行了扫描。
我们构建的内容
我们将端到端持续时间视为一个监督回归问题。给定从任务配置和模型元数据构建的特征向量,预测任务获得 GPU 到其完成之间的墙钟时间。排队时间不包括在内。
两项设计选择塑造了这项工作:
一切都在调度前已知。每个输入都来自提交的配置:超参数、数据集大小、模型标识符、GPU 分配。没有运行时日志,没有部分进度。这正是使预测可用于调度的原因。
暴露开销的特征。在原始配置之上,我们推导出了诸如 num_eval_data(跨所有评估周期处理的样本)、num_saves 和 num_params_saved(检查点 I/O)以及每个 GPU 的词元数量等量。将 MFU 固定为 0.45 的 FLOP 估计本身作为另一个特征(baseline_time)输入,因此模型从纯计算数字开始并学习修正。
我们比较了线性回归、Ridge、XGBoost 和 CatBoost。特征选择结合了相关性过滤、互信息和置换重要性,覆盖 18 组候选特征集,随后进行网格搜索,以 MAE 为准则。最终的 CatBoost 模型使用了 24 个特征。
数据
来自企业生产环境运营日志的 272 次 SFT 运行,涵盖多个模型系列,规模最高达 150 亿参数,既有 LoRA 也有完整微调,并且包含了广泛的数据集规模和超参数组合。
共享基础设施。作业在 1、2 或 4 块 GPU 上运行,GPU 来自 8 到 32 块 H200 的池子,跨 1 到 4 台节点,同时还有其他训练和推理工作负载。测得的时间包括真实的资源争用。
持续时间从 1.6 小时到 172.4 小时不等,平均为 23.43 小时,中位数为 15.29 小时。
技术栈:Hugging Face Transformers 和 Unsloth。我们将技术栈建模为一个分类特征,并且不对两者之间的固定加速做任何假设。
272 次运行的端到端时长分布。平均 23.43 小时,中位数 15.29 小时。
结果
所有数字均来自分层 5 折交叉验证。前四行是分析性的,不涉及模型拟合。
模型 R² RMSE(h) MAE(h)
FLOP 基准(MFU 30%) 0.31 20.45 12.41
FLOP 基准(MFU 45%) 0.18 22.38 13.01
FLOP 基准(MFU 60%) 0.01 24.56 14.62
Calculon -0.51 30.40 20.36
线性回归 0.69 ± 0.14 13.52 ± 4.23 7.52 ± 0.49
Ridge 0.73 ± 0.09 12.72 ± 3.70 7.23 ± 0.68
XGBoost 0.97 ± 0.01 4.18 ± 1.17 1.95 ± 0.32
CatBoost 0.98 ± 0.01 3.52 ± 0.78 1.71 ± 0.33
有几件事值得注意。
没有单一的 MFU 值能够固定 FLOP 基准。我们将 MFU 从 0.25 扫描到 0.65。最佳设置为 30%,但仍使平均误差超过 12 小时,而这些作业的平均时长为 23 小时。
更详细的分析模型仍未弥合差距。作为第二基准,我们采用了 Calculon(Isaev 等,SC '23),这是一种基于先前工作用于 LLM 训练的分析性能模型。它构建了显式的层图,并考虑了计算、内存流量和设备间通信。我们扩展了公开实现,以覆盖 LoRA、分组查询注意力、融合注意力、bfloat16 和 SwiGLU。其估计仍仅对应观测到的实际时间的中位数约 11%。这并不否定 Calculon 作为步骤级工具的价值——它正是为此设计的。它显示了生产作业中有多少时间发生在优化步骤之外。
线性模型有帮助,但随后停滞。Ridge 将 MAE 降至 7.23 小时。配置与时长之间的关系并未被纯线性模型很好捕获。
梯度提升承担了主要工作。CatBoost 和 XGBoost 在所有指标上均在一个标准差范围内。我们继续使用 CatBoost,因为它在整体上拥有最低的平均误差。
预测器依赖的因素
CatBoost 的特征重要性集中在少数特征上。模型和工作负载变量如预期出现,但评估和检查点变量同样重要。num_eval_data(作业生命周期内评估时处理的样本总数)排名第一,其次是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 紧随其后。SHAP 值呈现相同的趋势:高评估量始终推动预测时间上升,而可训练参数数量的影响是非线性的,仅在最大模型时才显著。
CatBoost 模型在各折叠中的平均特征重要性(PredictionValuesChange)。
特征重要性并非因果声明。但该模式与作业实际耗时的情况相吻合。评估频率、评估集规模以及持久化检查点的数量都会影响实际的墙钟时间,此外还有模型和数据集规模。这些都是人们在编写训练配置时常凭经验做出的选择。
阅读图表时需注意一点:更大的 GPU 分配对预测时间有正向贡献。在我们的数据中,更大的分配通常伴随更大的作业,因此 num_gpus 在一定程度上充当了作业规模的代理变量。这并不意味着增加 GPU 会让作业变慢。
错误有多大,错误出现在何处
查看全部 272 条折叠外预测,绝对误差的中位数为 0.51 小时。80% 的预测误差在 2.20 小时以内,90% 在 4.31 小时以内。按作业时长划分如下:
作业时长(h) 运行次数 中位绝对误差(h) P90(h)
1.56 到 5 60 0.30 1.55
5 到 10 63 0.18 1.27
10 到 30 69 0.73 4.17
30 到 60 67 1.06 5.50
60 to 175 13 5.19 18.51
在长达 60 小时的时间范围内,中位数误差保持在大约一小时或更短。模型的难点在于长尾部分,由于 60 小时以上的运行次数仅有 13 次,我们认为这是一个数据局限性。
折外绝对误差与实际持续时间的对比,按持续时间范围着色。误差在长达 60 小时以内保持较低水平,并在稀疏的长尾中扩大。
更多的数据应该仍然会有所帮助。在一个固定的 20% 保留集上,当训练分区从 85% 增加到 100% 时,MAE 从 1.63 小时下降到 1.50 小时,且没有明显的平台期。
它擅长做什么
在实践中,预测器在作业开始前为调度程序提供一个可据以进行规划的持续时间:哪些作业应一起运行、GPU 何时会释放,以及运行是否能在截止时间前完成。
局限性
仅限 SFT。我们没有包含其他训练和对齐策略,例如 RLHF、DPO 或 RLVR。
单一 GPU 类型。每次运行都使用 H200。拟合出的模型是针对该基础设施进行校准的,在没有重新训练的情况下,不应期望在数值上迁移到其他 GPU 代次。用于混合资源池的预测器还需包含硬件描述符,例如计算吞吐量、内存容量与带宽以及互连拓扑。
极少数超长运行。误差在 60 小时以上会扩大。
可以迁移的是方法:感知开销的特征、感知多重共线性的选择以及比较协议。完整论文将完整报告特征公式、选择程序、搜索空间和最终超参数,以便可以在任何具有类似结构的执行日志数据集上重建该流水线。
我们列表上的下一个目标:硬件特定描述符以及在其他 GPU 类型上的验证、针对观测数据较少的配置的迁移学习、其他训练目标,以及关于长运行的更多数据。
下一步计划
完整论文即将登陆 arXiv。请在 Hugging Face 上关注 Dharma-AI 组织以在论文发布时收到通知,并在下方的评论区留下你的问题。我们很想听听你们是如何估算自己集群上的作业持续时间的。
延伸阅读
GPU 管理:为什么空闲的 GPU 就是停飞的新型飞机
同一集群,利用率提升 33 个百分点:改变的是顺序
如何通过专门化 SLM 的词汇表在实际应用中将推理成本降低 77%
专门化胜过规模:大多数 AI 采购决策忽视的战略变量
为什么专门化是不可避免的
更新的模型,相同的优势
超越聊天机器人的直接偏好优化
文本退化:大多数基准测试未追踪的生产故障模式
Dharma-AI 研发 · 我们让 AI 成为你的模型
正文为 AI 译文。