手写 Triton Softmax Kernel:程序实例、块大小、mask 与指针算术
以官方 Triton 教程为基础,深入代码背后的原理并配上手绘图解。如果你觉得 GPU 编程教程总是太晦涩,这篇文章正好可以用来入门。
从零开始用自定义 Triton 内核编写 FlashAttention-2
本文只实现了前向传播。扩展到完整的训练级 FlashAttention(反向传播、dropout、各种 mask 变体)留待后续工作。
分析解决【No module named ‘triton‘】的问题
A matching Triton is not available, some optimizations will not be enabled ???