【[197星]MagiAttention：为超长文本和异构数据训练提供线性可扩展的分布式注意力机制。亮点：1. 支持多种注意力掩码类型，灵活性极高；2. 在Hopper GPU上性能与Flash-Attention 3相当；3. 实现零冗余通信，大幅提升分布式训练效率】
'A Distributed Attention Towards Linear Scalability for Ultra-Long Context, Heterogeneous Data Training'
GitHub: github.com/SandAI-org/MagiAttention
分布式注意力 超长文本训练 异构数据 AI创造营
