DeepSeek 开源周第 4 天：DualPipe、EPLB 优化并行策略
2月27日，DeepSeek 在其“开源周”进度中发布了优化并行策略的项目。此次更新包括：
DualPipe：一种双向管道并行算法，用于 V3/R1 训练中的计算-通信重叠，能实现计算和通信阶段的完全重叠，并减少流水线气泡。EPLB：专家并行负载均衡器，确保在使用专家并行时，不同 GPU 负载平衡，优化专家分配并减少数据流量。
计算-通信重叠分析：分享 V3/R1 中的训练和推理数据，帮助社区理解计算-通信重叠策略。
这些开源项目有助于进一步提升 DeepSeek 的计算效率和资源利用率。
Telegram 评论区
146 条回复，可以前往 Telegram 继续讨论。