搜索
小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP
19 小时前
7月20日消息，小红书发文宣布与北大合作提出UltraEP，首次将基于精确路由信息的实时负载均衡技术引入生产系统。该技术通过在每个microbatch和每一层动态复制热点专家，使真实训练推理性能逼近理想水平。据介绍，UltraEP平均性能达理想值的94.3%，较业界SOTA框架提升1.49倍，已应用于大规模预训练实际生产。
