DeepSeek开源周收官:第一弹:FlashMLA强势登场,这是专为英伟达Ho

文李价值 2025-02-28 11:19:24

DeepSeek开源周收官:

第一弹:FlashMLA强势登场,这是专为英伟达Hopper GPU打造MLA解码内核。直接突破H800计算上限。🌹

第二弹:开源DeepEP通信库,支持FP8专为Hopper GPU设计,低延迟超高速训练推理。🌹

第三弹:发布DeepGEMM,一个支持密集和MoE GEMM的FP8 GEMM库,为V3/R1训练和推理提供动力。一个通用矩阵乘法库,仅300行代码,是V3/R1训练推理关键秘籍。🌹

第四弹:全面公开优化并行策略,DualPipe、EPLB、以及计算与通信重叠机制的优化并行策略,让大模型训练更快,成本更低,还能保持顶尖性能。🌹

第五弹:开源了 3FS(Fire-Flyer File System)的系统。这是一种并行文件系统,它利用现代固态硬盘(SSD)和远程直接内存访问(RDMA)网络的全部带宽,能够加速和推动 DeepSeek 平台上所有数据访问操作。🌹

0 阅读:9

猜你喜欢

文李价值

文李价值

感谢大家的关注