循环语言模型中的后期进入策略

媒体报道 Hugging Face Papers 原文语言:中文

循环语言模型通过每Token迭代共享层栈来以紧凑的参数规模加深推理。本文研究了“后期进入”策略,即新Token跳过初始通过、直接进入深层上下文缓存的最后K次通过,并配合轻量微调解决隐藏状态范数不匹配问题。实验表明,该方法在Ouro-2.6B和Huginn-3.5B模型上实现了显著的解码加速和性能提升。

全文

循环语言模型通过在每个 token 上迭代共享层栈 T 次,在紧凑的参数规模下深化了推理能力,将循环深度直接转化为串行解码延迟。传统的提前退出解码在未完成缓存的情况下在初始传递后停止,将过去 token 缓存的键值状态截断到浅层。我们研究了相反的策略——延迟进入,即新 token 跳过初始传递,直接进入深层上下文缓存最后的 K < T 次传递。一旦轻量级微调解决了进入边界处的隐藏状态范数不匹配问题,深层缓存的上下文就可以替代跳过的 token 局部传递,从而使延迟进入在各个模型家族和传递预算下都优于匹配的提前退出。为了将这种不对称性转化为实际运行时间的加速,而无需停顿来构建深层缓存,候选块仅通过关键路径上的最后 K 次传递进行验证,而先前提交的 token 则在零额外串行调用的情况下,与后续步骤一起完成从 1 到 T 的传递。在现有的输出 GEMM 中投射这些完成的 T 次传递的唤醒状态(唤醒验证,由 [0, inf] 中的 logit 边界容差 tau 控制)将贪婪精确的 T 次传递解码(tau = 0,在 bf16 约简阶数内匹配 K = T 块解码)、边界门控验证(tau > 0)以及无回滚的有损延迟进入(tau = inf)统一在一个静态 CUDA 图中。在 Ouro-2.6B(T = 4)上,K = 2 唤醒在 tau = 0 时达到了 5.2 倍的贪婪精确加速(在 GSM8K 上比 K = 4 块解码快 26%),在 tau = inf 时达到了 6.8 倍(在相同速度下比训练好的提前退出高 16.9 个百分点)。在 Huginn-3.5B 上跨 T(取值于 {8, 16, 32, 64})缩放测试时循环,使 K = T/4 的回滚次数随深度减少了 21.5 倍,将贪婪精确(tau = 0)加速比推高至 6.1 倍(T = 32)和 8.4 倍(T = 64,比 K = 64 块快 153%),并将 tau = inf 的加速比推高至 10.6 至 12.5 倍。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 2 添加到收藏

正文为 AI 译文。

参考来源

← 返回每日AI报告