Hugging Face Papers ↗ · 2026-11-17
Chorus: 具有层级自适应的共享 N-gram 嵌入
媒体报道 Hugging Face Papers 原文语言:中文
Chorus 在所有层之间共享一组 n-gram 嵌入表,允许每个层利用其隐藏状态对嵌入进行投影和重新缩放。这种方法在大幅减小嵌入表体积并降低优化器内存消耗的同时,实现了更好的模型质量。
全文
Chorus shares one set of n-gram embedding tables across all layers, letting each layer project and rescale the embedding using its hidden state, achieving better quality with much smaller tables and lower optimizer memory.
正文以来源语言显示。