Hugging Face ↗ · 2026-11-18 08:00 · UTC+8
180B 参数、32GB 内存:用 Transformers 将 MoE 推理推向极限
媒体报道 Hugging Face 原文语言:英文
我们致力于通过开源和开放科学推动人工智能的发展并使其普及。
全文
从 SSD 直接流式传输 MoE 专家可在 token 生成时接近 Strata 的性能,仅差 6%。
我一直在尝试减少对在线模型的依赖,在本地运行更大的模型。家里我有一台配备两块 RTX 4090 的 PC(我们称之为 Orthrus——希腊神话中的双头猎犬),工作时我使用一台配有 32 GB 统一内存的 MacBook M5。
Orthrus 运行 Windows 11,因为我的孩子们经常玩游戏。我曾经双启动 Ubuntu,但他们的游戏占用了两 TB 硬盘的大部分空间。
我也是 RMD(rooms moving development)的忠实粉丝:在厨房喝咖啡一小时,办公室坐桌前两小时,然后在沙发上。固定的桌面塔式电脑不适合我。
我的第一个实验是在 Orthrus 上使用 llama.app 运行 Qwen 3.8 27B,并通过 pi 从笔记本电脑调用。该模型负责编码任务,在线模型如 Opus 负责编排,第二块 RTX 运行 FIM 模型为 Neovim 提供自动补全。
当我在社交网络上谈论此事时,收到了强烈反馈:使用 Strata 搭配 Qwen3.8-Flash-Next。
Strata 是什么?
Strata 是一种针对 MoE 模型(如 Qwen)的推理引擎。只有热专家保留在显存中,其余则放入 RAM,甚至磁盘。专家占 MoE 模型权重的 90% 以上,因此像这样 180 B 的模型可以在显存更小的 GPU 上运行。就像我的 RTX 4090!
它也能在笔记本电脑上运行,我偶然看到这篇博客正好实现了:在 32 GB Mac M4 上运行 Qwen3.8-Flash-Next,速度比 llama.cpp 更快,达到 13.5 tok/s。
这对我使用编码代理来说太慢了,但仍是一个有趣的探索点。一整类 MoE 模型无法装入 MacBook 的统一内存,却可以以相当的速度运行。
其他引擎是如何卸载的?
在决定使用 Strata 之前,我查看了 llama.cpp、vLLM 和 Transformers 在 MoE 模型不适配时的处理方式。三个关键问题:专家存放在哪里,专家的矩阵乘法在哪里运行,以及每个 token 时会移动什么?
llama.cpp 使用 mmap 映射 GGUF 文件,并可以将专家保留在 CPU 上(--cpu-moe、--n-cpu-moe N、-ot "exps=CPU" 或 --fit 自动选择)。这些专家也在 CPU 上计算,因此只有激活值会跨 PCIe 传输,权重永不跨越。当专家能装入 RAM 时表现很好;但若装不下,页面缓存会抖动。最近加入的 GPU 专家缓存(--moe-cache-mib)会导致图碎片化(每个 token 的 2 次拆分变成 50 次),即使全部适配也会损失约 10%。
vLLM 的 --cpu-offload-gb N 将 N GB 权重放入固定内存(pinned RAM),内核直接通过 PCIe 读取。对于 MoE 层,这仅是路由到的专家,但没有缓存:每个 token 热专家都会再次跨 PCIe,且没有磁盘层级。默认情况下,卸载的权重包括密集层,每个 token 都会读取;使用 --cpu-offload-params experts 可仅卸载专家。这适合 vLLM 的大批量推理,因为几乎会触及每个专家,而单用户单 GPU 时效果不佳。
Transformers 通过 Accelerate(device_map="auto", offload_folder)逐模块卸载:在前向传播前钩子将权重复制到 GPU。对于 MoE,这个模块是整层的专家库,所以每个 token 都会复制每个卸载层的所有专家,只使用其中的 8‑10 个。没有缓存,也没有路由概念。在 Mac 上,CPU 与 GPU 共享同一内存,"offload to CPU" 并不会释放任何空间。
我在一块 A10G(24 GB)上使用 Qwen3.6-35B-A3B 进行全部测试,配备充足的 RAM,Harry Mellor 重新运行了 vLLM 并使用了更好的参数:
Engine Decode (tok/s)
Strata, Q8_0 82 - 88
llama.cpp, Q8_0, --fit on 63 - 64
llama.cpp, BF16, --fit on 35 - 36
vLLM, FP8, --cpu-offload-gb 16 --cpu-offload-params experts 20.1
vLLM, FP8, same flags, --enforce-eager 14.7
vLLM, FP8, --cpu-offload-gb 16 9.7
vLLM, BF16, --cpu-offload-gb 50 --cpu-offload-params experts 7.3
vLLM, BF16, --cpu-offload-gb 50 3.3
Transformers + Accelerate 0.16
仅卸载专家即可使 vLLM 的速度翻倍,FP8 进一步提升(每个专家的字节数减半,更多模型驻留在 GPU 上)。vLLM 的另一种卸载后端在预先复制层组时速度低于 1 tok/s。
如果专家能装入 RAM,llama.cpp 难以被超越;若装不下,就必须仅流式传输路由器挑选的部分,通过受限缓存,速度快到让 SSD 成为瓶颈而非 Python,理想情况下还能复用模型的高速专家内核。这正是 32 GB Mac 上的 Qwen3.8-Flash-Next,而 Transformers 开箱即用无法实现。
让 Qwen3.8-Flash-Next 在我的 32 GB Mac 上配合 Transformers 正常工作
在我的笔记本电脑上,Strata 的运行速度已经太慢了,而 Transformers 短期内也无法超越它。不过,Accelerate 的方案还遥遥无期,因此我决定尝试直接在 Transformers 中修复卸载(offloading)功能,以笔记本电脑上的大模型为目标,尽管我知道它对我的工作方式来说可能依然太慢。
所有的代码都是用 AI 构建的:Transformers 的 PR、特定模型的包以及 Metal kernels。我的工作是选择尝试的方向、阅读性能分析报告,并决定保留哪些内容。所有内容都放在一个 Space 中:tarekziade/moe-expert-streaming。
从小规模开始
我从 OLMoE-1B-7B 开始,它能够放入内存,因此我可以将每个 token 与原生 Transformers 进行对比。
第一个版本:专家参数存放在磁盘上,设备上有一个 LRU 缓存,并用 Python 循环每次运行一个专家。当所有专家都已缓存时,速度为 10.1 tok/s。原生版本约为 32 tok/s。I/O 没问题,但我的循环不行:原生版本使用的是 grouped_mm,它可以在一个 kernel 中运行一层的所有专家。
解决方案以及本项目核心想法,是将缓存转换为槽位池(slot pool):一个由所有层共享的预分配设备张量,外加一张从专家 ID 到槽位的每层映射表。将路由器的专家 ID 重新映射到槽位后,该内存池看起来就像一个常规的专家库,因此 grouped_mm 可以直接在其上运行。无需自定义专家矩阵乘法。这使得速度达到了 34.6 tok/s,而原生版本为 38.1 tok/s。
experts_offload
随后,我在 huggingface/transformers#50717 中将独立加载器变成了 from_pretrained 的一个选项。要进行尝试,请从该 PR 安装 Transformers:
pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"
接着,从 OLMoE 转向真正的目标模型 Qwen3.8-Flash-Next:
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming") model = AutoModelForCausalLM.from_pretrained( f"{path}/dense", dtype=torch.bfloat16, device_map={"": "mps", "experts.*": "disk"}, quantization_config=MetalConfig(bits=8), experts_offload={ "cache_bytes": 12 << 30, "quantized_experts": f"{path}/experts-q3", }, )
该仓库保存了项目转换脚本的输出:稠密权重、量化为 3 位的专家参数以及 n-gram 表。
映射到“disk”的专家会通过流式传输路径,而不是 Accelerate 的卸载机制:加载器会跳过它们的张量,并且 MoE 层会切换到支持卸载的实现。未命中的专家由 8 个 I/O 线程读取,每个专家进行一次连续读取。接下来两层的路由器会提前在当前的隐藏状态上运行,以猜测需要预取哪些专家。专家可以在离线状态下进行量化,从而减小读取体积。它适用于采用标准专家布局的 MoE 模型。
该 API 目前仍在与 Transformers 维护者进行讨论。device_map 的形式正是由此产生的,而量化专家未来可能会通过 #50245 的每层量化方案来实现,而不是使用它们自己的选项。
在 32 GB 的 Mac 上运行 121 GB 的专家参数
Qwen3.8-Flash-Next 拥有 48 层,每层 512 个专家(激活 10 个),FP8 格式下大小为 121 GB。仅靠流式传输是不够的:还有一个 51 GB 的 n-gram 嵌入表需要它自己的磁盘路径。因此:
专家量化为 3 位:磁盘上占用 49 GB,设备上缓存 12 GiB
稠密层使用 8 位(约 5.4 GB,相比 BF16 困惑度增加 +0.2%)
n-gram 表保留在磁盘上,按需读取行数据
转换大约需要 5 个小时。加载后,它占用约 18 GiB,一个 6K 的提示词峰值会达到 25.4 GiB。这差不多是极限了:我必须关闭浏览器,否则 macOS 就会开始使用交换空间(swap)。
特定模型的代码片段(n-gram 表、Metal kernels)存放在 PR 之上的一个小型包 moe-expert-streaming 中。第一个版本的运行速度约为 10 tok/s。
然后我在同一台 M5 上安装了 Strata,并使用相同的提示词:
Transformers Strata 差距
Decode, 200 tokens 10.0 tok/s 14.8 1.5x
Prefill, 4K prompt 68 tok/s 220 3.2x
Decode after a 6K document 7.3 tok/s 13.7 1.9x
Strata 0.1.60 使用了 IQ3_XXS 专家。两者的运行均使用贪婪搜索(greedy),关闭了思考(thinking)、MTP 和投机解码草稿(speculative drafts),并采用了 1024 token 的预填充块。完整的设置和原始结果位于 Space 的详情页上。
我还尝试了 vllm-metal——即通过 MLX 在 Apple GPU 上运行的 vLLM,它最近获得了专家卸载功能。它通过一个有界缓存从 MLX 检查点流式传输路由专家,类似于本项目。但它无法在 32 GB 内存上运行 Qwen3.8-Flash-Next,原因正是上面提到的 n-gram 问题:只有专家被流式传输,而 n-gram 表留在了内存中。在 Hub 上的 MLX 检查点中,这部分就占了 32 GB,这还不算大约 5 GB 的稠密层以及任何专家缓存。
缩小差距
大部分时间并没有花在专家上。以下是帮助我的方法:
提前提交 GPU 工作。PyTorch 在 MPS 上会将小内核保留到下一个同步,所以 GPU 在 Python 工作时处于空闲状态。每个块后强制提交可提升约 10%。这实际上应该在 PyTorch 中修复。
在 macOS 上对没有快速路径的部分使用 Metal 内核:Gated DeltaNet 和超连接。
Strata 自己的权重。我切换到 Strata 的 GGUF 权重,将每个 token 的密集权重流量从 5.4 GB 降至 3.9 GB,单个专家大小从 2.15 MB 降至 1.75 MB,并为每种专家大小提供单独的缓存池。
Prefill 时,我们使用更大的块将速度从 68 提升到约 228 token/s,并在计算当前层时读取下一层的专家。
长文档:仅对索引器选中的块进行注意力计算,且 KV 缓存就地增长,而不是在每个 token 时复制。
未命中:Strata 不会隐藏它们,而是像我一样等待,且没有缓存策略能显著超越 LRU。帮助效果来自于每层只读取一个猜测的专家,而 SSD 否则会空闲。
下面是一层 MoE 对单个 token 的运行示例:
这些是对同一台 M5、相同提示进行这些优化后的最终结果:
Transformers 与 Strata 差距
解码,200 token 13.9 token/s 14.8 1.06x
Prefill,4K 提示 228 token/s 220 1.0x
在 6K 文档后解码 12.4 token/s 13.7 1.1x
在短解码上大约落后 Strata 6%,预填充略快,全部通过 Transformers 实现。
剩下的大部分是主机往返,大约每 token 10 ms。同步后唤醒仅占约 1 ms。其余时间是 GPU 在 Python 排队下一层时空转。Strata 会提前排队整个 token 的工作,GPU 在每层等待主机读取专家时通过 Metal 共享事件阻塞。PyTorch 并未公开此功能。我尝试用一个在 CPU 写入标志后自旋的内核来模拟,但 GPU 从一秒到永远都看不到写入。真正的解决方案是为 PyTorch 的 MPS 流添加原生操作,但有挂起风险,所以我没有实现。
结论
它的运行速度约为 14 token/s,接近 Strata,但对我使用的编码代理仍然太慢。Orthrus 仍在承担真正的工作。
Transformers 并未击败 Strata,关闭最后约 6% 的差距需要更深层的堆栈改动,首先是对每层同步的控制,而 PyTorch 今日并未提供。值得注意的是它是如何逼近的:仅流式传输路由的专家、一个有界缓存以及按原样运行的 grouped_mm,以及少量针对性的 Metal 内核。项目中没有 C++ 扩展:只有 Python、在运行时通过 torch.mps.compile_shader 编译的 Metal 内核,以及从 Hub 预构建的内核。为本实验编写的所有 Metal 内核现已发布在 Hub,项目会从那里加载。
击败 Strata 从来不是唯一目标。构建此项目是从系统角度学习 MoE 和 LLM 工作原理的绝佳方式:路由的稀疏程度、专家缓存能带来多少收益、每个 token 的内存带宽去向,以及主机和 GPU 互相等待的时间。Transformers 让这些细节可以逐模块轻松探索。
通用的专家流实现位于 huggingface/transformers#50717,基准测试在 Space 中。欢迎对方法和 API 提出反馈。
感谢 Pedro、Lysandre 和 Arthur 的出色反馈,感谢 Harry 帮助测试 vLLM。
最后,感谢 Niko Veit 的 Strata。Strata 为消费级硬件上的专家流设定了可能性的标杆,正是这些数字的追赶推动了本工作的进展。
正文为 AI 译文。