muon 优化器

月之暗面开源高效优化器muon，同等预算下性能翻倍！ 月之暗面与DeepSeek再度“撞车”，这次是开源优化器Muon的较量。Muon优化器在计算效率上比AdamW提升了2倍，并已用于训练3B/16B参数的MoE模型Moonlight，刷新了当前的帕累托最优。 Muon的改进关键在于： 添加权重衰减…