从零开始用自定义 Triton 内核编写 FlashAttention-2
本文只实现了前向传播。扩展到完整的训练级 FlashAttention(反向传播、dropout、各种 mask 变体)留待后续工作。
分析解决【No module named ‘triton‘】的问题
A matching Triton is not available, some optimizations will not be enabled ???
本文只实现了前向传播。扩展到完整的训练级 FlashAttention(反向传播、dropout、各种 mask 变体)留待后续工作。
A matching Triton is not available, some optimizations will not be enabled ???