本文总结了将Mamba应用至遥感领域的相关论文(14篇),涉及到的论文见文末链接,具体如下:
文章目录
1. 遥感图像处理
- 论文题目:Pan-Mamba: Effective pan-sharpening with State Space Model
- 论文链接:https://arxiv.org/pdf/2402.12192
【主要内容】:将mamba应用到Pan-sharpening中提出Pan-Mamba,提出了两个核心模块:
- Channel Swapping Mamba Block:通过部分全色和多光谱通道的交换启动轻量级的跨模态交互
- Cross modality Mamba Block:通过利用固有的跨模态关系增强信息表示能力
- 论文题目:HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising
- 论文链接:https://arxiv.org/pdf/2404.09697
【主要内容】:将Mamba应用到高光谱成像(HSI)去噪中提出了HSIDMamba(HSDM),主要模块如上图所示:模块关系如下:
Spectral Attention ⊆ Bidirectional State Space Module ⊆ Hyper Continuous Scan Block
- Spectral Attention:见图中©,由平均池化、二维卷积等组成的注意力模块
- Bidirectional State Space Module:见图中(b),由DWConv 和 SS2D等模块组成
- Hyper Continuous Scan Block:将上面两个模块结合残差连接和transformer结构组成。
2. 多/高光谱图像分类
- 论文题目:RSMamba: Remote Sensing Image Classification with State Space Model
- 论文链接:https://arxiv.org/pdf/2403.19654
【主要内容】:将Mamba直接应用到遥感图像分类任务上,由于Mamba模型处理1D数据,而遥感图像往往至少2D,因此提出了一种动态多路径激活机制(Multi-Path SSM Encoder)来增强 Mamba 对非因果数据的建模能力。
- Multi-Path SSM Encoder:总体上来看先用卷积提取遥感图像特征,flatten后加入position encoding。(有点类似于vit中的patch embedding
- 论文题目:SpectralMamba: Efficient Mamba for Hyperspectral Image Classification
- 论文链接:https://arxiv.org/pdf/2404.08489
【主要内容】:将Mamba应用至高光谱图像分类中提出SpectralMamba。包括三个核心模块:
- Piece-wise Sequential Scanning(PSS):沿光谱维度的分段顺序扫描(与空间维度相区分)
- Gated Spatial-Spectral Merging(GSSM):用门控机制,把空间维度和光谱维度特征融合
- Efficient Selective State Space Modeling:状态空间模型
根据Fig3具体流程如下:
- 先把高光谱影像分块,得到patch wise input后通过卷积、残差连接等模块把空间维度的特征融合(图像分类,消除空间维度)
- 经过PSS模块丰富通道信息,进而通过GSSM模块和S6模块融合特征
- 最终通过一个MLP进行图像分类
- 论文题目:Spectral-Spatial Mamba for Hyperspectral Image Classification
- 论文链接:https://arxiv.org/pdf/2404.18401
【主要内容】:用于高光谱图像(HSI)分类,提出SS-Mamba(两个S分别表示Spectral和Spatial)。根据上图结构可知主要流程如下:
- (1)把输入影像在Spectral和Spatial两个维度上分块,同时加上position encoding(类似于VIT中对图像进行patch embedding,针对的维度不同)
- (2)将上述特征分别通过两个Mamba Block,利用Addition、Copy、Activation以及Linear Layer等操作进行特征融合。
- (3)求平均后接一个Linear Classifier(例如MLP)
其中关键在于(1)分块和(2)特征融合
- 论文题目:S2Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification
- 论文链接:https://arxiv.org/pdf/2404.18213
【主要内容】:用于高光谱图像(HSI)分类,提出SS-Mamba。由图中Main Framework可知,主要有三个模块:
- PCS(Patch Cross Scanning Mechanism):通道扫描、生成patch embedding,得到空间维度特征
- BSS(Bi-directional Spectral Scanning Mechanism):生成路径,匹配光谱,得到光谱维度特征
- SMG(Spatial-spectral Mixture Gate):利用门控机制融合两种特征
3. 变化检测/语义分割
- 论文题目:ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model
- 论文链接:https://arxiv.org/pdf/2404.03425
【主要内容】:将Mamba用于遥感图像变化检测,提出ChangeMamba,为三个变化检测任务提供了丰富的编码器和解码器。模型架构图有点类似于Swin Transformer的4个Stage,充分贯彻多尺度特征融合,工作量饱满,建议阅读原文。
- 论文题目:RSCaMa: Remote Sensing Image Change Captioning with State Space Model
- 论文链接:https://arxiv.org/pdf/2404.18895
【主要内容】:将Mamba用于遥感图像变化检测,提出RSCaMa。模型通过多个CaMa层实现了高效的联合空间-时间建模,其中CaMa层中包含SD-SSM和TT-SSM。利用Mamba状态空间模型的全局感知场和线性复杂度对空间、时间特征交叉建模
- SD-SSM:Spatial Difference-aware:空间维度上建模
- TT-SSM:Temporal-Traversing:时间维度上建模
- 论文题目:Samba: Semantic Segmentation of Remotely Sensed Images with State Space Model
- 论文链接:https://arxiv.org/pdf/2404.01705
【主要内容】:将Mamba应用至高分辨率遥感图像分割领域,提出Samba。由图可知主要创新在于Samba Block
- Samba Block:由一个MLP和一个Mamba Block,并各自采用残差连接组成。
- Mamba Block:由SSM和Conv、Linear等模块组成。
- 论文题目:RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation
- 论文链接:https://arxiv.org/pdf/2404.02457
【主要内容】:将Mamba用于遥感图像变化检测,提出RS3Mamba。由图可知模型采用一个Main Encoder和一个Auxiliary Encoder,Decoder采用UNetformer中的解码器。主要创新点在于Auxiliary Encoder中的VSS block和Main Encoder中的CCM
- VSS block:常规的Linear、LayerNorm以及SS2D(2D-selective-scan)
- CCM:用Window-based attention提取全局注意力特征,用卷积提取局部注意力特征,然后将两者融合。
- 论文题目:RS-Mamba for Large Remote Sensing Image Dense Prediction
- 论文链接:https://arxiv.org/pdf/2404.02668
【主要内容】:将Mamba应用至遥感图像分割和变化检测中,提出RSM-SS和RSM-CD。由图可知主要为包含OSSM的OSS Block
- OSSM:将图像分块后按照8个方向排序,分别送入SSM Block提取特征然后融合
- OSS Block:OSSM 联合 DW卷积、Linear等模块一起组成OSS Block
4. 遥感图像融合/超分辨率
- 论文题目:FusionMamba: Efficient Image Fusion with State Space Model
- 论文链接:https://arxiv.org/pdf/2404.07932
【主要内容】:将Mamba应用于遥感图像融合中,提出U形结构的 spatial U-Net 和 spectral U-Net。由图可知,其中主要用到的模块是Mamba Block和FusionMamba Block
- Mamba Block:并联多个SSM处理特征,同样经过一个残差连接融合特征
- FusionMamba Block:两个并行的多FSSM处理特征,其中FSSM是将SSM扩展适应双输入。
- 论文题目:A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion
- 论文链接:https://arxiv.org/pdf/2404.09293
【主要内容】:为图像融合任务定制和改进了视觉Mamba网络。由图可知主要是LEVM模块(Local-Enhanced vision Mamba),具体如下
- a):用local window将影像分块,每一个块内采用VMamba模块,同时块间共享信息
- b):常规SS2D、Linear、FFN等模块组成VMamba
- c):将window内的局部信息和window间融合的全局信息串联+残差连接,构成LEVM block
- d):将低、高分辨率影像分别通过多个LEVM Layer处理,结构类似于Unet
- 论文题目:Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution
- 论文链接:https://arxiv.org/pdf/2405.04964
【主要内容】:将Mamba应用至遥感图像(RSI)超分辨率(SR)中提出FMSR(频率辅助Mamba框架)。主要提出FMB模块,其中包含VSSM、HGM、FSM三个重要部分
- VSSM:Vision State Space Module,基于SSM搭建的视觉SSM模块
- HGM:Hybrid Gate Module,基于Attention,Linear,Conv等搭建的门控模块
- FSM:Frequency Selection Module,基于2D快速傅里叶变换搭建的模块
近期将Mamba应用至遥感领域中的工作很多,做一点小结:
- 遥感图像离不开多尺度,高光谱离不开通道维度上的特征处理
- 把二维图像以某种形式转为一维序列让SSM来处理,很多工作都在扫描方式上进行了改进
- 感觉Swin Transformer的窗口思路和Unet的结构在搭模型的时候要使用
- 变化检测更多是2个时相,如果是多个时相的变化检测会不会可以更好的变换序列特征
论文pdf链接:https://pan.baidu.com/s/1rFn6pxTC5srOzmpeznyDag
提取码:o6aw
版权归原作者 GISer阿兴 所有, 如有侵权,请联系我们删除。