Hugging Face ↗ · 2026-11-18 08:00 · UTC+8
Rumble-2-Flash:一款支持 40 多种语言的开源 0.5B 语音模型
模型更新 Hugging Face 原文语言:英文
我们致力于通过开源和开放科学推动人工智能发展并使其普及。
全文
今天我们在 Apache 2.0 许可证下开源 Rumble-2-Flash。这是一个拥有 0.5B 参数的语音识别模型,支持 40 多种语言,性能可与体积大 3-60 倍的模型相媲美。
随处可运行:在 🤗 Transformers 和 vLLM 中原生支持,无需自定义代码
40 多种语言:自动语言检测
输出控制:数字可显示为数字或文字,填充词,逐字重复,强制语言
极致快速:一小时音频约半秒即可完成,完整批次下吞吐率超过 7,000 RTFx
在真实电话通话中表现稳健:在 302 小时呼叫中心基准测试中,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)持平
快速入门
使用 🤗 Transformers 进行转录
uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM model_id = "Reson8/Rumble-2-Flash" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto") inputs = processor.apply_transcription_request( audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3", language="English", # omit to detect automatically ).to(model.device, dtype=model.dtype) output = model.generate(**inputs, max_new_tokens=512) generated = output[:, inputs["input_ids"].shape[-1]:] print(processor.decode(generated, return_format="transcription_only")[0]) # return_format="parsed" if detecting language
audio 参数可接受本地路径、URL、NumPy 数组或这些的列表。
构建方式
Rumble-2-Flash 使用 Qwen3-ASR 架构实现零日支持。如果你的技术栈运行 Transformers 或 vLLM,即可运行 Rumble-2-Flash,无需分叉运行时或 trust_remote_code。
为了找出模型在精度下降前能压缩到多小,我们对更大的生产模型 Rumble-2 进行 on‑policy 蒸馏。学生模型不使用教师提供的转录文本,而是自行转录音频,教师对每个生成的 token 进行评分:在每个位置给出下一个 token 的概率,学生学习匹配该概率。由于学生从自己的输出中学习,它会在每个错误的 token 上得到纠正,而不是对整段音频只给出一个分数。
On‑policy 蒸馏通常要求教师和学生使用相同的分词器,但我们的情况并非如此:选择 Qwen3‑ASR 意味着必须采用其词表。GOLD 消除了这一限制。它会合并两个分词器分割方式不同的 token,使两模型在相同文本上进行比较。两个词表都有的 token 直接比较,其余的则比较其排序后的概率。
使用 GOLD 的 on‑policy 蒸馏
结果
尺寸对应的精度
在 Open ASR Leaderboard 多语言赛道上,Rumble-2-Flash 在中文、德文、法文、意大利文、西班牙文、葡萄牙文、印地语、荷兰文和英文等语言上平均错误率为 6.96%。这优于参数量大 15 倍的 Meta omniASR‑LLM 7B,并领先于 Whisper large‑v3。在英文赛道上平均 WER 为 6.6%。
同等尺寸下的最佳得分
速度
Rumble-2-Flash 同样快速。其吞吐量取决于批次的填充程度:在 HF Open ASR Leaderboard 的大规模数据集上,批次保持满载时可达超过 7,000 RTFx,即一小时音频约半秒完成。
真实电话通话
干净音频容易处理。电话通话往往被压缩且噪声较大,且说话者口音差异显著。在 AppTek 的呼叫中心基准(302 小时热线通话,包含 14 种英语口音,使用 AppTek 自有脚本评分)中,Rumble-2-Flash 达到 7.86% WER, 与 NVIDIA Nemotron 3.5 Transcribe(30B)的 7.78% 持平。该成绩远超同系列的 Qwen3‑ASR 0.6B(8.7%),并接近 Qwen3‑ASR 1.7B(7.4%),后者是唯一在比较中表现更好的模型。
真实电话通话,14 种英语口音
尝试一下
模型权重已上传至 Hub,地址为 Reson8/Rumble-2-Flash。也可通过我们的 API 使用。
我们非常好奇你会用它构建什么。请在 Discussions 标签页分享你的作品、喜好以及对下个版本的期待。
正文为 AI 译文。