×
加载中...
DeepSeek开源第四弹:DualPipe、EPLB优化并行策略
鞭牛士 2025-02-27 10:28

鞭牛士 2月27日消息,DeepSeek公布开源周第四天的开源项目——优化并行策略。


具体包括:DualPipe - 一种用于V3/R1训练中计算-通信重叠的双向流水线并行算法;EPLB - V3/R1的专家并行负载均衡器;分析V3/R1中的计算通信重叠。


65ba2c80ly1hyyxsmgkgej20sm17wtoy.jpg


此前,DeepSeek表示将于本周陆续开源5个代码库。


2月24日,DeepSeek正式启动“开源周”,首个开源的代码库为Flash MLA;2月25日,DeepSeek开源了用于MoE模型训练和推理的EP通信库DeepEP;2月26日,DeepSeek开源了支持密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算的FP8通用矩阵乘法库DeepGEMM。

扫码下载app 最新资讯实时掌握