搜索
DeepSeek悄悄更新：Mega MoE、FP4 Indexer来了
3 小时前
DeepSeek在沉寂一段时间后有了新动作，其更新了DeepGEMM代码库，推出了新项目Mega MoE。该项目由DeepSeek基础设施团队贡献，通过将原本分散的MoE计算流程整合到一个mega-kernel中，实现了数据通信与计算的并行，从而提高了GPU利用率。这一改进在多卡、大规模MoE场景下效果尤为显著。此外，DeepSeek还在探索组合精度、开发FP4的indexer等技术，以进一步提升MoE效率。目前，Mega MoE仍在开发中，性能数据有待后续公布。此次更新是DeepSeek在基础设施层的一次重构尝试，旨在推动MoE向大规模、高效率运行的方向发展。Mega MoE可能是这一进程的第一步，也可能暗示DeepSeek正在使用英伟达最新的顶级B系列训练卡。
