搜索
DeepSeek 开源进度 4/5：DualPipe、EPLB 优化并行策略
2025-02-27
DeepSeek开源项目周进度已更新至4/5，此次开源重点在于优化并行策略，具体涉及DualPipe双向管道并行算法与EPLB专家并行负载平衡器。DualPipe实现了计算与通信阶段的完全重叠，有效减少了流水线中的气泡现象。而EPLB则专注于V3/R1架构中的专家并行负载平衡，通过冗余专家策略和启发式方法，智能地将复制的专家分配到GPU上，确保负载均衡。此外，项目还分享了V3/R1架构中计算与通信重叠的分析数据，旨在帮助社区更深入地理解通信-计算重叠策略及其底层实现细节。
