大模型中常用的注意力机制GQA详解以及Pytorch代码实现
分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。
BurstAttention:可对非常长的序列进行高效的分布式注意力计算
而最新的研究BurstAttention可以将2者结合，作为RingAttention和FlashAttention之间的桥梁。
LLM 加速技巧：Muti Query Attention
MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。
注意力机制（一）：注意力提示、注意力汇聚、Nadaraya-Watson 核回归
目录注意力机制（Attention Mechanism）是一种人工智能技术，它可以让神经网络在处理序列数据时，专注于关键信息的部分，同时忽略不重要的部分。在自然语言处理、计算机视觉、语音识别等领域，注意力机制已经得到了广泛的应用。注意力机制的主要思想是，在对序列数据进行处理时，通过给不同位置的输入信
FlashAttention算法详解
这篇文章的目的是详细的解释Flash Attention,它无需任何近似即可加速注意力计算并减少内存占用
GCNet: Global Context Network（ICCV 2019）原理与代码解析
本文通过观察发现non-local block针对每个query position计算的attention map最终结果是独立于查询位置的，那么就没有必要针对每个查询位置计算了，因此提出计算一个通用的attention map并应用于输入feature map上的所有位置，大大减少了计算量的同时又
注意力机制中的掩码详解
本文将详细介绍掩码的原理和机制。
图解transformer中的自注意力机制
本文将将介绍注意力的概念从何而来，它是如何工作的以及它的简单的实现。
[ 注意力机制 ] 经典网络模型1——SENet 详解与复现
[ 注意力机制 ] 经典网络模型1——SENet 详解与复现1、Squeeze-and-Excitation Networks2、Squeeze-and-Excitation block3、SENet 详解4、SENet 复现Squeeze-and-Excitation Networks简称 SEN
论文推荐：ACMix整合self-Attention和Convolution (ACMix)的优点的混合模型
混合模型ACmix将自注意与卷积的整合，同时具有自注意和卷积的优点。这是清华大学、华为和北京人工智能研究院共同发布在2022年CVPR中的论文
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现1、Convolutional Block Attention Module2、CBAM 详解Channel Attention ModuleSpatial Attention Module3、CBAM 复现简称 ``CBAM``，2018年
视觉 注意力机制——通道注意力、空间注意力、自注意力
本文介绍注意力机制的概念和基本原理，并站在计算机视觉CV角度，进一步介绍通道注意力、空间注意力、混合注意力、自注意力等。
[ 注意力机制 ] 经典网络模型3——ECANet 详解与复现
[ 注意力机制 ] 经典网络模型3——ECANet 详解与复现1、Efficient Channel Attention Module2、ECANet 详解3、ECANet 复现简称 ``ECA``，2020年 提出的一种 ``高效通道注意力(ECA)模块`` ；该模块只涉及少数几个 参数，但具有明
视觉 注意力机制——通道注意力、空间注意力、自注意力
本文介绍注意力机制的概念和基本原理，并站在计算机视觉CV角度，进一步介绍通道注意力、空间注意力、混合注意力、自注意力等。
[ 注意力机制 ] 经典网络模型1——SENet 详解与复现
[ 注意力机制 ] 经典网络模型1——SENet 详解与复现1、Squeeze-and-Excitation Networks2、Squeeze-and-Excitation block3、SENet 详解4、SENet 复现Squeeze-and-Excitation Networks简称 SEN
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现1、Convolutional Block Attention Module2、CBAM 详解Channel Attention ModuleSpatial Attention Module3、CBAM 复现简称 ``CBAM``，2018年
[ 注意力机制 ] 经典网络模型3——ECANet 详解与复现
[ 注意力机制 ] 经典网络模型3——ECANet 详解与复现1、Efficient Channel Attention Module2、ECANet 详解3、ECANet 复现简称 ``ECA``，2020年 提出的一种 ``高效通道注意力(ECA)模块`` ；该模块只涉及少数几个 参数，但具有明
自注意力中的不同的掩码介绍以及他们是如何工作的?
注意力掩码本质上是一种阻止模型看我们不想让它看的信息的方法。这不是一种非常复杂的方法，但是它却非常有效。我希望这篇文章能让你更好地理解掩码在自注意力中的作用
卷积自编码器中注意机制和使用线性模型进行超参数分析
本文通过一个简单的代码实例介绍了卷积的注意力机制和何如使用线性模型进行超参数的分析
