搜索
摩尔线程开源 Megatron-MUSA-Titan 聚焦万卡级集群万亿参数 MoE 训练
5 小时前
摩尔线程近日宣布开源其大模型训练基础设施项目——Megatron-MUSA-Titan。该项目依托摩尔线程的全功能GPU，专注于满足万卡级集群下万亿参数MoE模型的训练需求，覆盖预训练和强化学习两大核心场景。它为开发者提供了针对MUSA平台的训练适配和系统优化能力，已在摩尔线程的万卡级集群中持续应用，并经过长时间训练验证，实现了高模型算力利用率和长稳训练。此外，该项目还支持与slime、miles等强化学习框架的协同工作，结合Megatron训练和SGLang样本生成，构建了从万亿参数MoE预训练到强化学习的完整训练基础。在技术特性上，Megatron-MUSA-Titan支持blockwise FP8训练，有效利用了摩尔线程全功能GPU的低精度计算能力，提高了大规模训练的计算效率。同时，通过结合DeepEP与ACE异步通信引擎，加速了MoE模型中的Token分发和结果合并过程，实现了专家并行与计算的通算重叠，进一步提升了端到端的训练效率。
