A CPU Inside an LLM: Zero-Gradient Compilation of Exact Circuits into Pretrained Weights

媒体报道 Hugging Face Papers 原文语言:中文

研究人员推出了闭合形式的零梯度电路移植基元,可在无需训练样本和运行时钩子的前提下,将确定性计算直接编译到预训练语言模型权重中。在6位数算术测试中,IBM Granite 4.2 3B和Alibaba Qwen 3.5 4B分别达到了99.17%和100.00%的ALU前缀准确率。

全文

预训练语言模型(LM)在没有梯度微调或外部工具解释器的情况下,处理精确的多位数算术时仍然不可靠。我们引入了封闭形式、零梯度的电路嫁接原语,利用零训练样本和零运行时钩子,将确定性计算直接编译到预训练语言模型的权重中,同时限制每层归一化漂移并保持自然语言(NL)能力。我们的结构结合了三种解析机制:(1)针对无偏置 SwiGLU/GeGLU 层的双层 Mellin-GLU 求积,将未知的逐 Token RMSNorm 缩放转化为沿对数间隔门控网格(>250倍动态范围)的平移,并带有 IEEE 754 误差界限;(2)通过带符号的切比雪夫不定-RoPE 自宿主注意力机制和无记忆的 SiLU 反对称 GatedDeltaNet 偏移实现跨 Token 尺度抵消;以及(3)轴对齐宽度扩展(从 d 到 d+K)配合 d/(d+K) 范数补偿、Base-1000 规范 BPE 发射,以及差分(+254,-256)绑定反嵌入。一个自动化的 5 阶段编译器合成了常数 TC^0 深度的 4-8 位带符号 {+,-,times} 电路,以及 3 字面量布尔(100%,N=1{,}728;外加 42 层 Gemma 4 E4B 审计)和 5 位多数表决/奇偶校验(100%)电路。在 6 位算术(N=1{,}200,BF16)上,IBM Granite 4.2 3B(107万-133万活动非零元素,le 0.036%)和 Alibaba Qwen 3.5 4B(225万-239万非零元素,le 0.057%)达到了 99.17% 和 100.00% 的 ALU 前缀准确率(结合 FP32 辅助模块时为 100%)以及 98%-100% 的句中恢复率,性能优于 12.8K 样本的 LoRA(42.2% / 61.7%,0% 内联续写)。一个因式分解的块稀疏辅助模块将 A100 内存维持在 7.89 / 10.65 GiB(在 INT8/INT4 + FP32 辅助模块下为 4.60 / 8.14 GiB),同时通过了全部 14/14 个预注册的 >2K-token Tango 划分(N=4{,}392;0/11,134 OOD 触发)。

查看 arXiv 页面 查看 PDF 添加到收藏

正文为 AI 译文。

参考来源

← 返回每日AI报告