Hugging Face Papers ↗ · 2026-11-12
FOAM 优化器试图以 AdamW 级效率保留 SOAP 优势
Research Hugging Face Papers Source language: Chinese
论文提出 FOAM,一种轻量 SOAP 变体,试图以接近 AdamW 的效率保留二阶优化器的收敛优势。它只做输入侧预条件并去掉输出侧 Kronecker 因子,减少优化器状态内存和一次特征分解;结果来自作者报告。
Excerpt
论文提出 FOAM,一种轻量 SOAP 变体,试图以接近 AdamW 的效率保留二阶优化器的收敛优势。它只做输入侧预条件并去掉输出侧 Kronecker 因子,减少优化器状态内存和一次特征分解;结果来自作者报告。
Short excerpt from the source — open the original for the full text.