0


语义分割学习篇

part1 什么是语义分割?

语义分割使图像分类任务的一种,实际上是对图片中每个像素进行分类,将相同类别的像素聚在一起从而呈现出分割的效果。

主要应用于无人驾驶(以像素粒度感知周围环境)与医疗影像领域(以像素粒度定位病灶区域)

当物体存在遮挡时,语义分割会将整体分割,而实例分割则会对相互遮挡的物体进行区分。全景分割一般应用在无人驾驶的图像分割中。


part2 语义分割思路方法

早期思路:基于先验,按照颜色进行分割(先验知识不完全准确)

现在思路:基于卷积神经网络

滑动窗口:用不同尺寸大小的滑动窗口在图像上滑动,以某像素为中心的窗口区域看作一张图片,输入卷积神经网络,每一次滑动进行一次分类 (效率太低)

改进方法:与之前一样的卷积,但是直接将整张图片进行卷积,再通过滑动窗输入网络进行分类

新的问题:进行分类的最后一层全连接层,要求有固定的输入大小。

之前是先分割原图,卷积得到尺寸相同的小图像特征图,再输入全连接层得到类别。

现在是先将原图输入卷积层得到特征图,直接输入全连接层得到全图上的类别。而不同的原图对应的卷积后的特征图尺寸是不同的。

*** 解决办法:全连接层的卷积化***

举个例子:卷积后的特征图为2561414,分类任务有3个类别,全连接层即有3个神经元,每个神经元对特征图256个通道,1414大小都有固定的权重。那么就可以把全连接层中的每个神经元看作做一个卷积核(图片第二行这里特征图大小与卷积核大小是一致的,最后113表示这张图在三个类别中的概率)。所以对更大的尺寸不一的原图,输入全连接层就相当于对特征图做了三层卷积。得到FF3,就是FF个位置上的类别,再通过滑动窗分割出FF个位置的类别*

全连接层具体内容参考这篇博主讲的很好:http://t.csdn.cn/V2hMX

这就是下面说的全卷积网络的两大改进之一


part3 经典语义分割模型

(1)全卷积网络(Fully Convolution Network 2015)

改进一:全连接层卷积化

将分类网络转化为语义分割网络,同时兼容任意大小的输入

** 改进二:预测图的上采样**

保证输出预测图大小与原图大小一致

① 双线性插值(无可学习参数,word里面的放大缩小)

② 转置卷积 (有可学习的参数)

双线性插值的卷积核是定义好的,而转置卷积的卷积核是可学习的

全卷积网络的过程:

  • 下采样进行图像分类,再升采样得到与原图大小一致的预测图,与实际的分割图进行逐像素的交叉熵损失函数求损失并求和,作为语义分割的损失,进行反向传播迭代优化网络的可学习参数,如卷积核权重,转置卷积权重,使得损失函数最小化*

新的问题:卷积神经网络逐层下采样使得特征图越来越小,使得分割图越来越小。分割精度越来越低,丢失空间信息。(高层特征经过多次采样,细节丢失严重)

解决思路:结合低层次与高层次特征图(低层次的细节与高层次的语义信息)

低层与高层结合经典的网络是UNet

** (2)上下文信息与PSPNet(2016)**

上下文往往可以帮我们做出更准群的判断,比如床上的枕头,在床上放置能够判断出是枕头。而滑动窗口丢失了上下文信息

存在问题:需要有足够大的感受野帮助我们获取上下文信息,但传统分类网络其感受野受到主干网络的结构限制

解决思路:增加感受野更大的网络分支,将上下文信息导入局部的预测中。

** (3)DeepLab**

①空洞卷积解决下采样问题

由于下采样会丢失空间信息,希望能够保留特征图的长宽 → 减少下采样的次数 → 于是去掉卷积层和池化层中步长大于1的层 → 于是特征图就会变大,但是为了保证卷积核在原图中的感受野相同 → 于是要增加对应的卷积核,维持相同的感受野 → 增加了大量参数

空洞卷积: 在不增加参数的情况下增大感受野

下采样加标准卷积等价于空洞卷积

只有原图1/4是因为进行了下采样,调整膨胀倍率即可调整感受野大小

** ②条件随机场 Conditional Random Filed ,CRF**

条件随机场是对原始网络的结果进行后处理,得到更加精细化的结果

** ③空间金字塔池化 Atrous Spatial Pyramid Pooling ,ASPP**

PSPNet中使用不同尺度的池化获取不同尺度上的上下文信息

DeepLab v2&v3 使用不同尺度的空洞卷积达到类似的效果

更大的膨胀率的空洞卷积,对应更大的感受野,也就能获取更多的上下文信息

DeepLab v3+

模型方法总结部分:


**part4 语义分割模型评估 **





本文转载自: https://blog.csdn.net/weixin_49644231/article/details/128984099
版权归原作者 harry trolor 所有, 如有侵权,请联系我们删除。

“语义分割学习篇”的评论:

还没有评论