5 月 30 日，华为推出了全新的 AI 模型——盘古 Ultra MoE，该模型的参数量达到了 7180 亿。作为一款接近万亿参数的 MoE ( Mixture of Experts ) 模型，它在整个训练过程中完全基于华为的昇腾 AI 平台完成，标志着华为在超大规模模型训练方面取得了重要进展。
盘古 Ultra MoE 的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-Scaled Sandwich-Norm ( DSSN ) 稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及范数波动问题。通过在每个子层输出之后添加额外的层归一化，并配合深度缩放的初始化方式，DSSN 架构保障了模型训练的长期稳定性。另外，TinyInit 小初始化方法采用了标准差为 ( 2/ ( d · L ) ) 的初始化策略，从而进一步提升了模型训练的效果。
在训练方法层面，华为团队首次公开了在昇腾 CloudMatrix 384 超节点上实现了大稀疏比 MoE 强化学习 ( RL ) 后训练框架的核心技术。这项技术的突破，让 RL 后训练进入了超节点集群的新纪元，为强化学习在超大规模模型中的实际应用铺平了道路。
基于 5 月初公布的预训练系统加速技术，华为团队仅用不到一个月的时间就完成了新一轮的技术迭代与优化。此次升级涵盖了多个方面：针对昇腾硬件的自适应流水掩盖策略，进一步调整算子执行顺序，减少 Host-Bound，提高 EP 通信掩盖效率；自主研发的自适应管理内存优化策略；数据重新排列以实现 DP 间 Attention 的负载均衡；以及针对昇腾平台的算子优化。这些改进措施的应用，使得万卡集群的预训练 MFU ( 混合精度计算利用率 ) 从 30% 显著提高到了 41%。
以上就是华为推出准万亿参数盘古 Ultra MoE 模型 全流程在昇腾 AI 平台训练的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/85690.html
微信扫一扫 
支付宝扫一扫 
