搜索
SC26 顶会论文：八卦炉 2—— 让万卡集群学会临场应变
3 小时前
清华大学翟季冬教授团队与相关单位共同研发的大模型训练系统八卦炉2，其相关论文已被SC26录用。该系统针对MoE大模型训练中偶发token集中涌向少数专家导致的显存尖峰问题，以及由此引发的任务OOM崩溃和传统静态显存配置难以兼顾运行效率与稳定性的难题，提出了灵活激活显存供给机制。在MoE门控计算完成后、专家计算开始前的关键窗口，系统通过可扩展成本模型估算不同显存策略的收益与开销，以算子级粒度动态选择保存、重计算或卸载的适配方案。此外，系统还通过动态规划调度将额外操作融入流水线硬件空泡，确保整体决策开销极低。经万卡级国产加速卡集群实测，八卦炉2在128至12288卡规模、188B至1.04万亿参数的训练场景下，平均吞吐较基线提升1.14倍，12288卡下总吞吐达2.012 EFLOPS，平均MFU达32.9%。相关核心代码已开源。
