摩尔线程开源 Megatron-MUSA-Titan 训练基础设施

摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，基于其全功能 GPU，面向万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景，为开发者提供面向 MUSA 平台的训练适配与系统优化能力。 该项目支持 blockwise FP8 训练，将摩尔线程全功能 GPU 的低精度计算能力引入训练流程；还可结合 DeepEP 与 ACE 异步通信引擎，加速 MoE 中的 Token 分发与结果合并，并实现专家并行与计算的通算重叠。摩尔线程称这些设计可提升大规模训练的计算效率与端到端训练效率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。