Chorus: 具有层级自适应的共享 N-gram 嵌入

媒体报道 Hugging Face Papers 原文语言:中文

Chorus 在所有层之间共享一组 n-gram 嵌入表,允许每个层利用其隐藏状态对嵌入进行投影和重新缩放。这种方法在大幅减小嵌入表体积并降低优化器内存消耗的同时,实现了更好的模型质量。

全文

Chorus shares one set of n-gram embedding tables across all layers, letting each layer project and rescale the embedding using its hidden state, achieving better quality with much smaller tables and lower optimizer memory.

正文以来源语言显示。

参考来源

← 返回每日AI报告