30_Swin-Transformer网络结构详解

1.1 简介

Swin Transformer 是一种用于计算机视觉任务的新型深度学习架构，由微软亚洲研究院于2021年提出。它结合了Transformer模型在序列数据处理上的强大能力与卷积神经网络（CNN）在图像识别中的高效局部特征提取优势，特别适用于图像分类、目标检测、语义分割等任务。Swin Transformer的主要创新点在于其“Shifted Window”机制，这一机制使得模型既能保持Transformer的全局注意力特性，又能有效利用图像数据的空间局部性，从而在性能和计算效率上取得了平衡。下面是Swin Transformer的几个核心特点和组成部分的详细介绍：

1. 分层Transformer结构

分层设计：与ViT（Vision Transformer）直接将整个图像分割为固定大小的patch不同，Swin Transformer采用了类似于CNN的分层设计。它首先将图像分割成小块（称为“patches”），然后通过多层逐步减小这些块的大小和增加通道数，形成了层次化的特征表示。这种设计有助于捕捉不同尺度的特征。

2. Shifted Windows机制

窗口划分：Swin Transformer的核心创新在于引入了“窗口”概念，即在每个阶段，模型只在局部窗口内计算自注意力，这大大减少了计算复杂度，使其在图像数据上变得可行。
位移窗口：在连续的Transformer层中，窗口会按照一定的模式（例如，上下左右平移一定步长）进行移动或“shift”，这样可以确保信息在不同窗口间流动，实现跨窗口的交互，同时保持计算效率。这一机制既保留了局部特征的有效提取，又引入了一定程度的全局上下文信息。

3. 轻量级自注意力计算

无重叠窗口内的自注意力：仅在窗口内部计算自注意力，避免了全局自注意力带来的高昂计算成本。
线性计算复杂度：由于窗口内的自注意力计算是独立的，Swin Transformer的自注意力计算复杂度与窗口大小相关，而非与图像尺寸相关，这使得模型在处理高分辨率图像时更加高效。

4. 连续的下采样策略

与传统CNN中的池化操作类似，Swin Transformer通过在某些层级减少窗口的数量（即窗口合并）来实现空间下采样，进一步提高模型的感受野，同时保持了窗口内的局部注意力机制。

5. 性能与应用

广泛适用性：Swin Transformer因其高效的结构设计，在多个视觉任务上展现出优越的性能，包括图像分类、目标检测、实例分割和语义分割等。
可训练性和可扩展性：该模型易于训练且具有良好的可扩展性，能够通过增加层数或调整窗口大小等手段进一步提升性能。

总结

Swin Transformer的成功在于它创造性地融合了Transformer架构与图像处理中的局部性原理，通过Shifted Windows机制实现了高效而强大的视觉特征表示能力。这种设计不仅在理论上具有创新意义，也在实际应用中展示了强大的竞争力，成为当前视觉变换器研究的一个重要里程碑。

下图中可以看到，Swin Transformer的模型效果非常好。

1.2 网络整体框架

和VIT做一个对比，我们可以发现，（1）Swin Transformer的下采样的倍率是不一样的，所以能构建出不同层次的特征图，而VIT全都是16倍下采样。（2）Swin Transformer将特征图用窗口的形式分割开了，窗口与窗口之间是没有重叠的。在VIT当中，特征图是一个整体并没有分割。

window与window之间不进行信息的传递。这样做的好处在于能够减少运算量，尤其是浅层网络。

网络的整体架构如下：

先来说一下图（a）中的patch partition是什么东西，看图中的上半部分。

对于输入的图像，patch partition会使用一个4x4大小的窗口对图像进行分割。分割之后，按照channel方向进行展平（沿深度方向进行拼接），因为每个图像都是三通道的，这里一个通道有16个，那么三通道就是48个。所以经过patch partition，原来图像的高宽缩减为原来的四分之一，通道数变为48。接下来通过linear embedding层来对输入特征矩阵的channel进行一个调整，调整之后通道数变为C，这个C具体为多少需要针对Swin transformer的不同版本（T\S\B\L）采用不同值。然后linear embedding后跟着一个layer norm层归一化。

patch partition和linear embedding都是通过卷积层实现的。

接着看图（a），在stage1还要堆叠swin transformer block 2次。注意一下，在不同stage中block的堆叠次数都是偶数次，原因是因为图b,这俩block我们都是成对去使用的。和VIT不同的是，这里的block将多头注意力机制替换成了W-msa和sw-msa。

1.3 Patch Merging

这是对于stage2\3\4，在block前都会进行一个patch emerging。它的作用就是下采样。

假设我们输入的特征矩阵的高和宽都是4x4的，以单通道为例，我们以2x2大小作为一个窗口，在这窗口中有四个像素，然后我们将每个窗口位置中相同的像素取出来，然后得到四个特征矩阵，按照channel进行concat，层归一化，再通过一个全连接层进行线性映射。

经过Patch Merging，高宽缩减为原来的一半，通道数变为原来的二倍。

1.4 W-MSA（windows-multi head self attention）

对于普通的MSA，我们会对每一个像素pixel去求它的QKV，然后对于每一个像素所求的Q和K进行匹配然后进行一系列操作。也就是说对于每一个pixel会对特征矩阵当中所有的像素进行一个沟通。

对于W-MSA，我们会对特征图分成一个个的window，然后对每个window内部进行MSA。这么做的目的就是为了减少计算量。缺点是窗口之间无法进行信息交互，也就导致感受野变小，无法看到全局的视野。

MSA和W-MSA模块计算量

这俩公式是怎么来的：https://blog.csdn.net/qq_37541097/article/details/121119988

（对于矩阵相乘，假设有矩阵A（形状axb）和B（bxc），他俩进行矩阵相乘，FLOPS应该为：axbxc。）

1.5 SW-MSA(shifted windows-multi head self attention)

对于SW-MSA是怎么划分窗口的，其实是将原来WMSA划分窗口的那个东西向右又向下移动了两个像素（或者说patch）。

这样划分之后，我们那第一行第二个窗口举例，在对划分后的窗口进行MSA计算的话就会融合上一层第一行那两个窗口的信息。其他窗口同理。

一开始WMSA划分窗口是这样的：

然后向右再向下移动两个像素：

这样划分来的就是SWMSA的窗口了。

现在有一个问题，原来是四个window,现在变成9个window了，如果我们要实现并行计算的话，除了中间那个，其他八个大小都是小于 4x4的，那么就要进行填充到 4x4大小，那么这相当于9个windows计算量，那么这样做我们的计算量又增加了。

作者为了解决这个问题提出了一个解决方法，见图右下角以及后面的图片。

通过SWMSA已经划分为9个window了，接下来我们将左上角的window标记为区域A，然后1，2标记为C，3和6标记为B。

接下来我们将A和C移动到下面来：

接下来我们再将A和B移动到右边去：

然后我们重新划分window，接下来我们把4不变，3和5合并，7和1合并，0268合并，这样我们对这合并后的四个window分别进行一个MSA，那么它的计算量和WMSA其实是一样的。

那么这又会引入一个新的问题。比如，对于5和3，它本来是两个分开的区域并不连续，我们强行把它俩划在一个windows里面去了，如果我们对它进行一个MSA计算的话，其实是有问题的。

那么，我们就希望在这个window内，单独计算5和3的MSA。

具体怎么做呢？论文中给出了方法：加上MSAK MSA，就是加上一个蒙版。

举一个例子，还是刚刚的5和3，我们有16个patch，计算5和3的MSA是分开计算的。根据之前讲的MSA计算公式，我们对0这个像素先算，算出来q0矩阵，然后与其他像素进行匹配（点乘计算相似度），得到α0，0到α0，15。但是我们又不希望引入区域3的信息，作者将区域三的α的值全部减去100，然后进行softmax的时候就会非常小趋近于0，也就是说，对于像素0，它与区域三内的像素的相似度全是0。

通过这个方法我们就将区域5和区域3的像素分开了。计算量和WMSA是一样的，只不过多了一个mask中的减法操作。