FOAM 优化器试图以 AdamW 级效率保留 SOAP 优势

Research Hugging Face Papers Source language: Chinese

论文提出 FOAM,一种轻量 SOAP 变体,试图以接近 AdamW 的效率保留二阶优化器的收敛优势。它只做输入侧预条件并去掉输出侧 Kronecker 因子,减少优化器状态内存和一次特征分解;结果来自作者报告。

Excerpt

论文提出 FOAM,一种轻量 SOAP 变体,试图以接近 AdamW 的效率保留二阶优化器的收敛优势。它只做输入侧预条件并去掉输出侧 Kronecker 因子,减少优化器状态内存和一次特征分解;结果来自作者报告。

Short excerpt from the source — open the original for the full text.

Sources

← Back to the daily brief