FOAM 优化器试图以 AdamW 级效率保留 SOAP 优势

研究论文 Hugging Face Papers 原文语言:中文

论文提出 FOAM,一种轻量 SOAP 变体,试图以接近 AdamW 的效率保留二阶优化器的收敛优势。它只做输入侧预条件并去掉输出侧 Kronecker 因子,减少优化器状态内存和一次特征分解;结果来自作者报告。

原文摘录

论文提出 FOAM,一种轻量 SOAP 变体,试图以接近 AdamW 的效率保留二阶优化器的收敛优势。它只做输入侧预条件并去掉输出侧 Kronecker 因子,减少优化器状态内存和一次特征分解;结果来自作者报告。

以下是来源提供的简短摘录,完整内容请查看原文。

参考来源

← 返回每日简报