Transformer中的Q/K/V理解

输入句子序列：我爱吃酸菜鱼

上图为输入矩阵，每个token的维度为768维，则矩阵维度为Lx768。

第一步：通过乘以线性变化矩阵（维度为768x768），得到矩阵Q，K，V（维度为Lx768）：

上图为线性变换后得到的矩阵Q，K，V，维度为Lx768，和输入矩阵相比维度未发生变化。

为什么叫
自注意力网络：

因为可以看到
Q/K/V都是通过同一句话的输入算出来的。

第二步：将矩阵Q与相乘：

*向量点积可以表征向量间的相似程度或关联程度

首先用Q的第一行，即“我”字的768特征和K中“我”字的768维特征点乘求和，得到输出（0，0）位置的数值，这个数值就代表了“我想吃酸菜鱼”中“我”字对“我”字的注意力权重，然后显而易见输出的第一行就是“我”字对“我想吃酸菜鱼”里面每个字的注意力权重。整个结果自然就是“我想吃酸菜鱼”里面每个字对其它字（包括自己）的注意力权重（就是一个数值）~以此得到注意力权重矩阵（LxL）。

第三步：对注意力权重矩阵进行处理，除以，并通过softmax函数转化：

这个dim就是768，至于为什么要除以这个数值？主要是为了缩小点积范围，确保softmax梯度稳定性。然后就是为什么要softmax，一种解释是为了保证注意力权重的非负性，同时增加非线性。

第四步：注意力权重矩阵与矩阵V相乘：

首先是“我”这个字对“我想吃酸菜鱼”这句话里面每个字的注意力权重，和V中“我想吃酸菜鱼”里面每个字的第一维特征进行相乘再求和，这个过程其实就相当于用每个字的权重对每个字的特征进行加权求和，然后再用“我”这个字对“我想吃酸菜鱼”这句话里面每个字的注意力权重和V中“我想吃酸菜鱼”里面每个字的第二维特征进行相乘再求和，依次类推最终也就得到了Lx768维的结果矩阵，和输入保持一致

K和V中，如果同时替换任意两个字的位置，对最终的结果是不会有影响的。也就是说注意力机制是没有位置信息的，不像CNN/RNN/LSTM。这也是为什么要引入position embedding的原因。

可以将V看作一个token序列，序列中的每个token在一开始都是互相独立的，信息量有限。而想要让每个token包含更多的信息，一个办法就是让每个token去融合该序列中其他token的信息。融合方式中，最差的方法是取平均(mean pool)，会有大量实际不相关的信息被融入; 更好的方式是按照该token和其他token的相关度加权求和。

那么问题来了，怎么看V中每一个token和其他token的相关度，并将相关度量化成权重数值(用于最终的加权求和)？

这个时候，Q和K来了，Q是询问的token(对应到V中的某个token)，K是被询问的token序列，Q问K，你的哪个token跟我最像？Q挨个问一遍K中的token，每个token和Q比较后（点积）得到一个和Q的相似程度，组成一个相似度序列。

相似度序列归一化后变成一个和为1序列，可以看成是一个权重。

参考：https://www.zhihu.com/people/zui-tian-20-46/answers

参考：https://www.zhihu.com/question/298810062/answer/1829118404