睿智的目标检测57——Tensorflow2 搭建YoloV5目标检测平台
学习前言
这个很久都没有学，最终还是决定看看，复现的是YoloV5的第5版，V5有好多版本在，作者也一直在更新，我选了这个时间的倒数第二个版本。
源码下载
https://github.com/bubbliiiing/yolov5-tf2
喜欢的可以点个star噢。
YoloV5改进的部分（不完全）
1、主干部分：使用了Focus网络结构，具体操作是在一张图片中每隔一个像素拿到一个值，这个时候获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍。该结构在YoloV5第5版之前有所应用，最新版本中未使用。
2、数据增强：Mosaic数据增强、Mosaic利用了四张图片进行拼接实现数据中增强，根据论文所说其拥有一个巨大的优点是丰富检测物体的背景！且在BN计算的时候一下子会计算四张图片的数据！
3、多正样本匹配：在之前的Yolo系列里面，在训练时每一个真实框对应一个正样本，即在训练时，每一个真实框仅由一个先验框负责预测。YoloV5中为了加快模型的训练效率，增加了正样本的数量，在训练时，每一个真实框可以由多个先验框负责预测。
以上并非全部的改进部分，还存在一些其它的改进，这里只列出来了一些我比较感兴趣，而且非常有效的改进。
YoloV5实现思路
一、整体结构解析
在学习YoloV5之前，我们需要对YoloV5所作的工作有一定的了解，这有助于我们后面去了解网络的细节。
和之前版本的Yolo类似，整个YoloV5可以依然可以分为三个部分，分别是Backbone，FPN以及Yolo Head。
Backbone可以被称作YoloV5的主干特征提取网络，根据它的结构以及之前Yolo主干的叫法，我一般叫它CSPDarknet，输入的图片首先会在CSPDarknet里面进行特征提取，提取到的特征可以被称作特征层，是输入图片的特征集合。在主干部分，我们获取了三个特征层进行下一步网络的构建，这三个特征层我称它为有效特征层。
FPN可以被称作YoloV5的加强特征提取网络，在主干部分获得的三个有效特征层会在这一部分进行特征融合，特征融合的目的是结合不同尺度的特征信息。在FPN部分，已经获得的有效特征层被用于继续提取特征。在YoloV5里依然使用到了Panet的结构，我们不仅会对特征进行上采样实现特征融合，还会对特征再次进行下采样实现特征融合。
Yolo Head是YoloV5的分类器与回归器，通过CSPDarknet和FPN，我们已经可以获得三个加强过的有效特征层。每一个特征层都有宽、高和通道数，此时我们可以将特征图看作一个又一个特征点的集合，每一个特征点都有通道数个特征。Yolo Head实际上所做的工作就是对特征点进行判断，判断特征点是否有物体与其对应。与以前版本的Yolo一样，YoloV5所用的解耦头是一起的，也就是分类和回归在一个1X1卷积里实现。
因此，整个YoloV5网络所作的工作就是 特征提取-特征加强-预测特征点对应的物体情况。
二、网络结构解析
1、主干网络Backbone介绍
YoloV5所使用的主干特征提取网络为CSPDarknet，它具有五个重要特点：
1、使用了残差网络Residual，CSPDarknet中的残差卷积可以分为两个部分，主干部分是一次1X1的卷积和一次3X3的卷积；残差边部分不做任何处理，直接将主干的输入与输出结合。整个YoloV5的主干部分都由残差卷积构成：
defBottleneck(x, out_channels, shortcut=True, name =""):y = compose(DarknetConv2D_BN_SiLU(out_channels,(1,1), name = name +'.cv1'),DarknetConv2D_BN_SiLU(out_channels,(3,3), name = name +'.cv2'))(x)if shortcut:y = Add()([x, y])return y
残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
2、使用CSPnet网络结构，CSPnet结构并不算复杂，就是将原来的残差块的堆叠进行了一个拆分，拆成左右两部分：主干部分继续进行原来的残差块的堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后。因此可以认为CSP中存在一个大的残差边。
defC3(x, num_filters, num_blocks, shortcut=True, expansion=0.5, name=""):hidden_channels =int(num_filters * expansion)# hidden channels#----------------------------------------------------------------## 主干部分会对num_blocks进行循环，循环内部是残差结构。#----------------------------------------------------------------#x_1 = DarknetConv2D_BN_SiLU(hidden_channels,(1,1), name = name +'.cv1')(x)#--------------------------------------------------------------------## 然后建立一个大的残差边shortconv、这个大残差边绕过了很多的残差结构#--------------------------------------------------------------------#x_2 = DarknetConv2D_BN_SiLU(hidden_channels,(1,1), name = name +'.cv2')(x)for i inrange(num_blocks):x_1 = Bottleneck(x_1, hidden_channels, shortcut=shortcut, name = name +'.m.'+str(i))#----------------------------------------------------------------## 将大残差边再堆叠回来#----------------------------------------------------------------#route = Concatenate()([x_1, x_2])#----------------------------------------------------------------## 最后对通道数进行整合#----------------------------------------------------------------#return DarknetConv2D_BN_SiLU(num_filters,(1,1), name = name +'.cv3')(route)
3、使用了Focus网络结构，这个网络结构是在YoloV5里面使用到比较有趣的网络结构，具体操作是在一张图片中每隔一个像素拿到一个值，这个时候获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍。拼接起来的特征层相对于原先的三通道变成了十二个通道，下图很好的展示了Focus结构，一看就能明白。
classFocus(Layer):def__init__(self):super(Focus, self).__init__()defcompute_output_shape(self, input_shape):return(input_shape[0], input_shape[1]//2if input_shape[1]!=Noneelse input_shape[1], input_shape[2]//2if input_shape[2]!=Noneelse input_shape[2], input_shape[3]*4)defcall(self, x):return tf.concat([x[...,::2,::2,:],x[...,1::2,::2,:],x[...,::2,1::2,:],x[...,1::2,1::2,:]],axis=-1)
4、使用了SiLU激活函数，SiLU是Sigmoid和ReLU的改进版。SiLU具备无上界有下界、平滑、非单调的特性。SiLU在深层模型上的效果优于 ReLU。可以看做是平滑的ReLU激活函数。
f(x)=x⋅sigmoid(x)f(x) = x · \text{sigmoid}(x)f(x)=x⋅sigmoid(x)
classSiLU(Layer):def__init__(self,**kwargs):super(SiLU, self).__init__(**kwargs)self.supports_masking =Truedefcall(self, inputs):return inputs * K.sigmoid(inputs)defget_config(self):config =super(SiLU, self).get_config()return configdefcompute_output_shape(self, input_shape):return input_shape
5、使用了SPP结构，通过不同池化核大小的最大池化进行特征提取，提高网络的感受野。在YoloV4中，SPP是用在FPN里面的，在YoloV5中，SPP模块被用在了主干特征提取网络中。
defSPPBottleneck(x, out_channels, name =""):#---------------------------------------------------## 使用了SPP结构，即不同尺度的最大池化后堆叠。#---------------------------------------------------#x = DarknetConv2D_BN_SiLU(out_channels //2,(1,1), name = name +'.cv1')(x)maxpool1 = MaxPooling2D(pool_size=(5,5), strides=(1,1), padding='same')(x)maxpool2 = MaxPooling2D(pool_size=(9,9), strides=(1,1), padding='same')(x)maxpool3 = MaxPooling2D(pool_size=(13,13), strides=(1,1), padding='same')(x)x = Concatenate()([x, maxpool1, maxpool2, maxpool3])x = DarknetConv2D_BN_SiLU(out_channels,(1,1), name = name +'.cv2')(x)return x
整个主干实现代码为：
from functools import wrapsimport tensorflow as tffrom tensorflow.keras import backend as Kfrom tensorflow.keras.initializers import RandomNormalfrom tensorflow.keras.layers import(Add, BatchNormalization, Concatenate,Conv2D, Layer, MaxPooling2D,ZeroPadding2D)from tensorflow.keras.regularizers import l2from utils.utils import composeclassSiLU(Layer):def__init__(self,**kwargs):super(SiLU, self).__init__(**kwargs)self.supports_masking =Truedefcall(self, inputs):return inputs * K.sigmoid(inputs)defget_config(self):config =super(SiLU, self).get_config()return configdefcompute_output_shape(self, input_shape):return input_shapeclassFocus(Layer):def__init__(self):super(Focus, self).__init__()defcompute_output_shape(self, input_shape):return(input_shape[0], input_shape[1]//2if input_shape[1]!=Noneelse input_shape[1], input_shape[2]//2if input_shape[2]!=Noneelse input_shape[2], input_shape[3]*4)defcall(self, x):return tf.concat([x[...,::2,::2,:],x[...,1::2,::2,:],x[...,::2,1::2,:],x[...,1::2,1::2,:]],axis=-1)#------------------------------------------------------## 单次卷积DarknetConv2D# 如果步长为2则自己设定padding方式。#------------------------------------------------------#@wraps(Conv2D)defDarknetConv2D(*args,**kwargs):darknet_conv_kwargs ={'kernel_initializer': RandomNormal(stddev=0.02),'kernel_regularizer': l2(kwargs.get('weight_decay',5e-4))}darknet_conv_kwargs['padding']='valid'if kwargs.get('strides')==(2,2)else'same'try:del kwargs['weight_decay']except:passdarknet_conv_kwargs.update(kwargs)return Conv2D(*args,**darknet_conv_kwargs)#---------------------------------------------------## 卷积块 -> 卷积 + 标准化 + 激活函数# DarknetConv2D + BatchNormalization + SiLU#---------------------------------------------------#defDarknetConv2D_BN_SiLU(*args,**kwargs):no_bias_kwargs ={'use_bias':False}no_bias_kwargs.update(kwargs)if"name"in kwargs.keys():no_bias_kwargs['name']= kwargs['name']+'.conv'return compose(DarknetConv2D(*args,**no_bias_kwargs),BatchNormalization(momentum =0.97, epsilon =0.001, name = kwargs['name']+'.bn'),SiLU())defBottleneck(x, out_channels, shortcut=True, weight_decay=5e-4, name =""):y = compose(DarknetConv2D_BN_SiLU(out_channels,(1,1), weight_decay=weight_decay, name = name +'.cv1'),DarknetConv2D_BN_SiLU(out_channels,(3,3), weight_decay=weight_decay, name = name +'.cv2'))(x)if shortcut:y = Add()([x, y])return ydefC3(x, num_filters, num_blocks, shortcut=True, expansion=0.5, weight_decay=5e-4, name=""):hidden_channels =int(num_filters * expansion)#----------------------------------------------------------------## 主干部分会对num_blocks进行循环，循环内部是残差结构。#----------------------------------------------------------------#x_1 = DarknetConv2D_BN_SiLU(hidden_channels,(1,1), weight_decay=weight_decay, name = name +'.cv1')(x)#--------------------------------------------------------------------## 然后建立一个大的残差边shortconv、这个大残差边绕过了很多的残差结构#--------------------------------------------------------------------#x_2 = DarknetConv2D_BN_SiLU(hidden_channels,(1,1), weight_decay=weight_decay, name = name +'.cv2')(x)for i inrange(num_blocks):x_1 = Bottleneck(x_1, hidden_channels, shortcut=shortcut, weight_decay=weight_decay, name = name +'.m.'+str(i))#----------------------------------------------------------------## 将大残差边再堆叠回来#----------------------------------------------------------------#route = Concatenate()([x_1, x_2])#----------------------------------------------------------------## 最后对通道数进行整合#----------------------------------------------------------------#return DarknetConv2D_BN_SiLU(num_filters,(1,1), weight_decay=weight_decay, name = name +'.cv3')(route)defSPPBottleneck(x, out_channels, weight_decay=5e-4, name =""):#---------------------------------------------------## 使用了SPP结构，即不同尺度的最大池化后堆叠。#---------------------------------------------------#x = DarknetConv2D_BN_SiLU(out_channels //2,(1,1), weight_decay=weight_decay, name = name +'.cv1')(x)maxpool1 = MaxPooling2D(pool_size=(5,5), strides=(1,1), padding='same')(x)maxpool2 = MaxPooling2D(pool_size=(9,9), strides=(1,1), padding='same')(x)maxpool3 = MaxPooling2D(pool_size=(13,13), strides=(1,1), padding='same')(x)x = Concatenate()([x, maxpool1, maxpool2, maxpool3])x = DarknetConv2D_BN_SiLU(out_channels,(1,1), weight_decay=weight_decay, name = name +'.cv2')(x)return xdefresblock_body(x, num_filters, num_blocks, expansion=0.5, shortcut=True, last=False, weight_decay=5e-4, name =""):#----------------------------------------------------------------## 利用ZeroPadding2D和一个步长为2x2的卷积块进行高和宽的压缩#----------------------------------------------------------------## 320, 320, 64 => 160, 160, 128x = ZeroPadding2D(((1,0),(1,0)))(x)x = DarknetConv2D_BN_SiLU(num_filters,(3,3), strides =(2,2), weight_decay=weight_decay, name = name +'.0')(x)if last:x = SPPBottleneck(x, num_filters, weight_decay=weight_decay, name = name +'.1')return C3(x, num_filters, num_blocks, shortcut=shortcut, expansion=expansion, weight_decay=weight_decay, name = name +'.1'ifnot last else name +'.2')#---------------------------------------------------## CSPdarknet的主体部分# 输入为一张640x640x3的图片# 输出为三个有效特征层#---------------------------------------------------#defdarknet_body(x, base_channels, base_depth, weight_decay=5e-4):# 640, 640, 3 => 320, 320, 12x = Focus()(x)# 320, 320, 12 => 320, 320, 64x = DarknetConv2D_BN_SiLU(base_channels,(3,3), weight_decay=weight_decay, name ='backbone.stem.conv')(x)# 320, 320, 64 => 160, 160, 128x = resblock_body(x, base_channels *2, base_depth, weight_decay=weight_decay, name ='backbone.dark2')# 160, 160, 128 => 80, 80, 256x = resblock_body(x, base_channels *4, base_depth *3, weight_decay=weight_decay, name ='backbone.dark3')feat1 = x# 80, 80, 256 => 40, 40, 512x = resblock_body(x, base_channels *8, base_depth *3, weight_decay=weight_decay, name ='backbone.dark4')feat2 = x# 40, 40, 512 => 20, 20, 1024x = resblock_body(x, base_channels *16, base_depth, shortcut=False, last=True, weight_decay=weight_decay, name ='backbone.dark5')feat3 = xreturn feat1,feat2,feat3
2、构建FPN特征金字塔进行加强特征提取
在特征利用部分，YoloV5提取多特征层进行目标检测，一共提取三个特征层。
三个特征层位于主干部分CSPdarknet的不同位置，分别位于中间层，中下层，底层，当输入为(640,640,3)的时候，三个特征层的shape分别为feat1=(80,80,256)、feat2=(40,40,512)、feat3=(20,20,1024)。
在获得三个有效特征层后，我们利用这三个有效特征层进行FPN层的构建，构建方式为：
- feat3=(20,20,1024)的特征层进行1次1X1卷积调整通道后获得P5，P5进行上采样UmSampling2d后与feat2=(40,40,512)特征层进行结合，然后使用CSPLayer进行特征提取获得P5_upsample，此时获得的特征层为(40,40,512)。
- P5_upsample=(40,40,512)的特征层进行1次1X1卷积调整通道后获得P4，P4进行上采样UmSampling2d后与feat1=(80,80,256)特征层进行结合，然后使用CSPLayer进行特征提取P3_out，此时获得的特征层为(80,80,256)。
- P3_out=(80,80,256)的特征层进行一次3x3卷积进行下采样，下采样后与P4堆叠，然后使用CSPLayer进行特征提取P4_out，此时获得的特征层为(40,40,512)。
- P4_out=(40,40,512)的特征层进行一次3x3卷积进行下采样，下采样后与P5堆叠，然后使用CSPLayer进行特征提取P5_out，此时获得的特征层为(20,20,1024)。
特征金字塔可以将不同shape的特征层进行特征融合，有利于提取出更好的特征。
from tensorflow.keras.layers import(Concatenate, Input, Lambda, UpSampling2D,ZeroPadding2D)from tensorflow.keras.models import Modelfrom nets.CSPdarknet import(C3, DarknetConv2D, DarknetConv2D_BN_SiLU,darknet_body)from nets.yolo_training import yolo_loss#---------------------------------------------------## Panet网络的构建，并且获得预测结果#---------------------------------------------------#defyolo_body(input_shape, anchors_mask, num_classes, phi, weight_decay=5e-4):depth_dict ={'s':0.33,'m':0.67,'l':1.00,'x':1.33,}width_dict ={'s':0.50,'m':0.75,'l':1.00,'x':1.25,}dep_mul, wid_mul = depth_dict[phi], width_dict[phi]base_channels =int(wid_mul *64)# 64base_depth =max(round(dep_mul *3),1)# 3inputs = Input(input_shape)#---------------------------------------------------# # 生成主干模型，获得三个有效特征层，他们的shape分别是：# 80, 80, 256# 40, 40, 512# 20, 20, 1024#---------------------------------------------------#feat1, feat2, feat3 = darknet_body(inputs, base_channels, base_depth, weight_decay)P5 = DarknetConv2D_BN_SiLU(int(base_channels *8),(1,1), weight_decay=weight_decay, name ='conv_for_feat3')(feat3)P5_upsample = UpSampling2D()(P5)P5_upsample = Concatenate(axis =-1)([P5_upsample, feat2])P5_upsample = C3(P5_upsample,int(base_channels *8), base_depth, shortcut =False, weight_decay=weight_decay, name ='conv3_for_upsample1')P4 = DarknetConv2D_BN_SiLU(int(base_channels *4),(1,1), weight_decay=weight_decay, name ='conv_for_feat2')(P5_upsample)P4_upsample = UpSampling2D()(P4)P4_upsample = Concatenate(axis =-1)([P4_upsample, feat1])P3_out = C3(P4_upsample,int(base_channels *4), base_depth, shortcut =False, weight_decay=weight_decay, name ='conv3_for_upsample2')P3_downsample = ZeroPadding2D(((1,0),(1,0)))(P3_out)P3_downsample = DarknetConv2D_BN_SiLU(int(base_channels *4),(3,3), strides =(2,2), weight_decay=weight_decay, name ='down_sample1')(P3_downsample)P3_downsample = Concatenate(axis =-1)([P3_downsample, P4])P4_out = C3(P3_downsample,int(base_channels *8), base_depth, shortcut =False, weight_decay=weight_decay, name ='conv3_for_downsample1')P4_downsample = ZeroPadding2D(((1,0),(1,0)))(P4_out)P4_downsample = DarknetConv2D_BN_SiLU(int(base_channels *8),(3,3), strides =(2,2), weight_decay=weight_decay, name ='down_sample2')(P4_downsample)P4_downsample = Concatenate(axis =-1)([P4_downsample, P5])P5_out = C3(P4_downsample,int(base_channels *16), base_depth, shortcut =False, weight_decay=weight_decay, name ='conv3_for_downsample2')
3、利用Yolo Head获得预测结果
利用FPN特征金字塔，我们可以获得三个加强特征，这三个加强特征的shape分别为(20,20,1024)、(40,40,512)、(80,80,256)，然后我们利用这三个shape的特征层传入Yolo Head获得预测结果。
对于每一个特征层，我们可以获得利用一个卷积调整通道数，最终的通道数和需要区分的种类个数相关，在YoloV5里，每一个特征层上每一个特征点存在3个先验框。
如果使用的是voc训练集，类则为20种，最后的维度应该为75 = 3x25，三个特征层的shape为(20,20,75)，(40,40,75)，(80,80,75)。
最后的75可以拆分成3个25，对应3个先验框的25个参数，25可以拆分成4+1+20。
前4个参数用于判断每一个特征点的回归参数，回归参数调整后可以获得预测框；
第5个参数用于判断每一个特征点是否包含物体；
最后20个参数用于判断每一个特征点所包含的物体种类。
如果使用的是coco训练集，类则为80种，最后的维度应该为255 = 3x85，三个特征层的shape为(13,13,255)，(26,26,255)，(52,52,255)
最后的255可以拆分成3个85，对应3个先验框的85个参数，85可以拆分成4+1+80。
前4个参数用于判断每一个特征点的回归参数，回归参数调整后可以获得预测框；
第5个参数用于判断每一个特征点是否包含物体；
最后80个参数用于判断每一个特征点所包含的物体种类。
实现代码如下：
out2 = DarknetConv2D(len(anchors_mask[2])*(5+ num_classes),(1,1), strides =(1,1), name ='yolo_head_P3')(P3_out)out1 = DarknetConv2D(len(anchors_mask[1])*(5+ num_classes),(1,1), strides =(1,1), name ='yolo_head_P4')(P4_out)out0 = DarknetConv2D(len(anchors_mask[0])*(5+ num_classes),(1,1), strides =(1,1), name ='yolo_head_P5')(P5_out)return Model(inputs,[out0, out1, out2])
三、预测结果的解码
1、获得预测框与得分
由第二步我们可以获得三个特征层的预测结果，shape分别为(N,20,20,255)，(N,40,40,255)，(N,80,80,255)的数据。
但是这个预测结果并不对应着最终的预测框在图片上的位置，还需要解码才可以完成。在YoloV5里，每一个特征层上每一个特征点存在3个先验框。
每个特征层最后的255可以拆分成3个85，对应3个先验框的85个参数，我们先将其reshape一下，其结果为(N,20,20,3,85)，(N,40.40,3,85)，(N,80,80,3,85)。
其中的85可以拆分成4+1+80。
前4个参数用于判断每一个特征点的回归参数，回归参数调整后可以获得预测框；
第5个参数用于判断每一个特征点是否包含物体；
最后80个参数用于判断每一个特征点所包含的物体种类。
以(N,20,20,3,85)这个特征层为例，该特征层相当于将图像划分成20x20个特征点，如果某个特征点落在物体的对应框内，就用于预测该物体。
如图所示，蓝色的点为20x20的特征点，此时我们对左图黑色点的三个先验框进行解码操作演示：
1、进行中心预测点的计算，利用Regression预测结果前两个序号的内容对特征点的三个先验框中心坐标进行偏移，偏移后是右图红色的三个点；
2、进行预测框宽高的计算，利用Regression预测结果后两个序号的内容求指数后获得预测框的宽高；
3、此时获得的预测框就可以绘制在图片上了。
除去这样的解码操作，还有非极大抑制的操作需要进行，防止同一种类的框的堆积。
#---------------------------------------------------## 将预测值的每个特征层调成真实值#---------------------------------------------------#defget_anchors_and_decode(feats, anchors, num_classes, input_shape, calc_loss=False):num_anchors =len(anchors)#------------------------------------------## grid_shape指的是特征层的高和宽#------------------------------------------#grid_shape = K.shape(feats)[1:3]#--------------------------------------------------------------------## 获得各个特征点的坐标信息。生成的shape为(20, 20, num_anchors, 2)#--------------------------------------------------------------------#grid_x = K.tile(K.reshape(K.arange(0, stop=grid_shape[1]),[1,-1,1,1]),[grid_shape[0],1, num_anchors,1])grid_y = K.tile(K.reshape(K.arange(0, stop=grid_shape[0]),[-1,1,1,1]),[1, grid_shape[1], num_anchors,1])grid = K.cast(K.concatenate([grid_x, grid_y]), K.dtype(feats))#---------------------------------------------------------------## 将先验框进行拓展，生成的shape为(20, 20, num_anchors, 2)#---------------------------------------------------------------#anchors_tensor = K.reshape(K.constant(anchors),[1,1, num_anchors,2])anchors_tensor = K.tile(anchors_tensor,[grid_shape[0], grid_shape[1],1,1])#---------------------------------------------------## 将预测结果调整成(batch_size,13,13,3,85)# 85可拆分成4 + 1 + 80# 4代表的是中心宽高的调整参数# 1代表的是框的置信度# 80代表的是种类的置信度#---------------------------------------------------#feats = K.reshape(feats,[-1, grid_shape[0], grid_shape[1], num_anchors, num_classes +5])#------------------------------------------## 对先验框进行解码，并进行归一化#------------------------------------------#box_xy =(K.sigmoid(feats[...,:2])*2-0.5+ grid)/ K.cast(grid_shape[::-1], K.dtype(feats))box_wh =(K.sigmoid(feats[...,2:4])*2)**2* anchors_tensor / K.cast(input_shape[::-1], K.dtype(feats))#------------------------------------------## 获得预测框的置信度#------------------------------------------#box_confidence = K.sigmoid(feats[...,4:5])box_class_probs = K.sigmoid(feats[...,5:])#---------------------------------------------------------------------## 在计算loss的时候返回grid, feats, box_xy, box_wh# 在预测的时候返回box_xy, box_wh, box_confidence, box_class_probs#---------------------------------------------------------------------#if calc_loss ==True:return grid, feats, box_xy, box_whreturn box_xy, box_wh, box_confidence, box_class_probs
2、得分筛选与非极大抑制
得到最终的预测结果后还要进行得分排序与非极大抑制筛选。
得分筛选就是筛选出得分满足confidence置信度的预测框。
非极大抑制就是筛选出一定区域内属于同一种类得分最大的框。
得分筛选与非极大抑制的过程可以概括如下：
1、找出该图片中得分大于门限函数的框。在进行重合框筛选前就进行得分的筛选可以大幅度减少框的数量。
2、对种类进行循环，非极大抑制的作用是筛选出一定区域内属于同一种类得分最大的框，对种类进行循环可以帮助我们对每一个类分别进行非极大抑制。
3、根据得分对该种类进行从大到小排序。
4、每次取出得分最大的框，计算其与其它所有预测框的重合程度，重合程度过大的则剔除。
得分筛选与非极大抑制后的结果就可以用于绘制预测框了。
下图是经过非极大抑制的。
下图是未经过非极大抑制的。
实现代码为：
box_scores = box_confidence * box_class_probs#-----------------------------------------------------------## 判断得分是否大于score_threshold#-----------------------------------------------------------#mask = box_scores >= confidencemax_boxes_tensor = K.constant(max_boxes, dtype='int32')boxes_out =[]scores_out =[]classes_out =[]for c inrange(num_classes):#-----------------------------------------------------------## 取出所有box_scores >= score_threshold的框，和成绩#-----------------------------------------------------------#class_boxes = tf.boolean_mask(boxes, mask[:, c])class_box_scores = tf.boolean_mask(box_scores[:, c], mask[:, c])#-----------------------------------------------------------## 非极大抑制# 保留一定区域内得分最大的框#-----------------------------------------------------------#nms_index = tf.image.non_max_suppression(class_boxes, class_box_scores, max_boxes_tensor, iou_threshold=nms_iou)#-----------------------------------------------------------## 获取非极大抑制后的结果# 下列三个分别是：框的位置，得分与种类#-----------------------------------------------------------#class_boxes = K.gather(class_boxes, nms_index)class_box_scores = K.gather(class_box_scores, nms_index)classes = K.ones_like(class_box_scores,'int32')* cboxes_out.append(class_boxes)scores_out.append(class_box_scores)classes_out.append(classes)boxes_out = K.concatenate(boxes_out, axis=0)scores_out = K.concatenate(scores_out, axis=0)classes_out = K.concatenate(classes_out, axis=0)
四、训练部分
1、计算loss所需内容
计算loss实际上是网络的预测结果和网络的真实结果的对比。
和网络的预测结果一样，网络的损失也由三个部分组成，分别是Reg部分、Obj部分、Cls部分。Reg部分是特征点的回归参数判断、Obj部分是特征点是否包含物体判断、Cls部分是特征点包含的物体的种类。
2、正样本的匹配过程
在YoloV5中，训练时正样本的匹配过程可以分为两部分。
a、匹配先验框。
b、匹配特征点。
所谓正样本匹配，就是寻找哪些先验框被认为有对应的真实框，并且负责这个真实框的预测。
a、匹配先验框
在YoloV5网络中，一共设计了9个不同大小的先验框。每个输出的特征层对应3个先验框。
对于任何一个真实框gt，YoloV5不再使用iou进行正样本的匹配，而是直接采用高宽比进行匹配，即使用真实框和9个不同大小的先验框计算宽高比。
如果真实框与某个先验框的宽高比例大于设定阈值，则说明该真实框和该先验框匹配度不够，将该先验框认为是负样本。
比如此时有一个真实框，它的宽高为[200, 200]，是一个正方形。YoloV5默认设置的9个先验框为[10,13], [16,30], [33,23], [30,61], [62,45], [59,119], [116,90], [156,198], [373,326]。设定阈值门限为4。
此时我们需要计算该真实框和9个先验框的宽高比例。比较宽高时存在两个情况，一个是真实框的宽高比先验框大，一个是先验框的宽高比真实框大。因此我们需要同时计算：真实框的宽高/先验框的宽高；先验框的宽高/真实框的宽高。然后在这其中选取最大值。
下个列表就是比较结果，这是一个shape为[9, 4]的矩阵，9代表9个先验框，4代表真实框的宽高/先验框的宽高；先验框的宽高/真实框的宽高。
[[20.15.384615380.050.065][12.56.666666670.080.15][6.060606068.695652170.1650.115][6.666666673.278688520.150.305][3.225806454.444444440.310.225][3.389830511.680672270.2950.595][1.724137932.222222220.580.45][1.282051281.010101010.780.99][0.536193030.613496931.8651.63]]
然后对每个先验框的比较结果取最大值。获得下述矩阵：
[20.12.58.695652176.666666674.444444443.389830512.222222221.282051281.865]
之后我们判断，哪些先验框的比较结果的值小于门限。可以知道[59,119], [116,90], [156,198], [373,326]四个先验框均满足需求。
[116,90], [156,198], [373,326]属于20,20的特征层。
[59,119]属于40,40的特征层。
此时我们已经可以判断哪些大小的先验框可用于该真实框的预测。
b、匹配特征点
在过去的Yolo系列中，每个真实框由其中心点所在的网格内的左上角特征点来负责预测。
对于被选中的特征层，首先计算真实框落在哪个网格内，此时该网格左上角特征点便是一个负责预测的特征点。
同时利用四舍五入规则，找出最近的两个网格，将这三个网格都认为是负责预测该真实框的。
红色点表示该真实框的中心，除了当前所处的网格外，其2个最近的邻域网格也被选中。从这里就可以发现预测框的XY轴偏移部分的取值范围不再是0-1，而是0.5-1.5。
找到对应特征点后，对应特征点在a中被选中的先验框负责该真实框的预测。
3、计算Loss
由第一部分可知，YoloV5的损失由三个部分组成：
1、Reg部分，由第2部分可知道每个真实框对应的先验框，获取到每个框对应的先验框后，取出该先验框对应的预测框，利用真实框和预测框计算CIOU损失，作为Reg部分的Loss组成。
2、Obj部分，由第2部分可知道每个真实框对应的先验框，所有真实框对应的先验框都是正样本，剩余的先验框均为负样本，根据正负样本和特征点的是否包含物体的预测结果计算交叉熵损失，作为Obj部分的Loss组成。
3、Cls部分，由第三部分可知道每个真实框对应的先验框，获取到每个框对应的先验框后，取出该先验框的种类预测结果，根据真实框的种类和先验框的种类预测结果计算交叉熵损失，作为Cls部分的Loss组成。
#---------------------------------------------------## loss值计算#---------------------------------------------------#defyolo_loss(args, input_shape, anchors, anchors_mask, num_classes, balance =[0.4,1.0,4], label_smoothing =0.1, box_ratio =5, obj_ratio =1, cls_ratio =0.5):num_layers =len(anchors_mask)#---------------------------------------------------------------------------------------------------## 将预测结果和实际ground truth分开，args是[*model_body.output, *y_true]# y_true是一个列表，包含三个特征层，shape分别为:# (m,20,20,3,85)# (m,40,40,3,85)# (m,80,80,3,85)# yolo_outputs是一个列表，包含三个特征层，shape分别为:# (m,20,20,3,85)# (m,40,40,3,85)# (m,80,80,3,85)#---------------------------------------------------------------------------------------------------#y_true = args[num_layers:]yolo_outputs = args[:num_layers]#-----------------------------------------------------------## 得到input_shpae为416,416 #-----------------------------------------------------------#input_shape = K.cast(input_shape, K.dtype(y_true[0]))#-----------------------------------------------------------## 取出每一张图片# m的值就是batch_size#-----------------------------------------------------------#m = K.shape(yolo_outputs[0])[0]loss =0num_pos =0#---------------------------------------------------------------------------------------------------## y_true是一个列表，包含三个特征层，shape分别为(m,20,20,3,85),(m,40,40,3,85),(m,80,80,3,85)。# yolo_outputs是一个列表，包含三个特征层，shape分别为(m,20,20,3,85),(m,40,40,3,85),(m,80,80,3,85)。#---------------------------------------------------------------------------------------------------#for l inrange(num_layers):#-----------------------------------------------------------## 以第一个特征层(m,20,20,3,85)为例子# 取出该特征层中存在目标的点的位置。(m,20,20,3,1)#-----------------------------------------------------------#object_mask = y_true[l][...,4:5]#-----------------------------------------------------------## 取出其对应的种类(m,20,20,3,80)#-----------------------------------------------------------#true_class_probs = y_true[l][...,5:]if label_smoothing:true_class_probs = _smooth_labels(true_class_probs, label_smoothing)#-----------------------------------------------------------## 将yolo_outputs的特征层输出进行处理、获得四个返回值# 其中：# grid (20,20,1,2) 网格坐标# raw_pred (m,20,20,3,85) 尚未处理的预测结果# pred_xy (m,20,20,3,2) 解码后的中心坐标# pred_wh (m,20,20,3,2) 解码后的宽高坐标#-----------------------------------------------------------#grid, raw_pred, pred_xy, pred_wh = get_anchors_and_decode(yolo_outputs[l],anchors[anchors_mask[l]], num_classes, input_shape, calc_loss=True)#-----------------------------------------------------------## pred_box是解码后的预测的box的位置# (m,20,20,3,4)#-----------------------------------------------------------#pred_box = K.concatenate([pred_xy, pred_wh])#-----------------------------------------------------------## 真实框越大，比重越小，小框的比重更大。#-----------------------------------------------------------#box_loss_scale =2- y_true[l][...,2:3]*y_true[l][...,3:4]#-----------------------------------------------------------## 计算Ciou loss#-----------------------------------------------------------#raw_true_box = y_true[l][...,0:4]ciou = box_ciou(pred_box, raw_true_box)ciou_loss = object_mask * box_loss_scale *(1- ciou)#------------------------------------------------------------------------------## 如果该位置本来有框，那么计算1与置信度的交叉熵# 如果该位置本来没有框，那么计算0与置信度的交叉熵# 在这其中会忽略一部分样本，这些被忽略的样本满足条件best_iou<ignore_thresh# 该操作的目的是：# 忽略预测结果与真实框非常对应特征点，因为这些框已经比较准了# 不适合当作负样本，所以忽略掉。#------------------------------------------------------------------------------#confidence_loss = object_mask * K.binary_crossentropy(tf.maximum(ciou, tf.zeros_like(ciou)), raw_pred[...,4:5], from_logits=True)+ \(1- object_mask)* K.binary_crossentropy(object_mask, raw_pred[...,4:5], from_logits=True)class_loss = object_mask * K.binary_crossentropy(true_class_probs, raw_pred[...,5:], from_logits=True)location_loss = K.sum(ciou_loss)* box_ratioconfidence_loss = K.sum(confidence_loss)* balance[l]* obj_ratioclass_loss = K.sum(class_loss)* cls_ratio#-----------------------------------------------------------## 计算正样本数量#-----------------------------------------------------------#num_pos += tf.maximum(K.sum(K.cast(object_mask, tf.float32)),1)loss += location_loss + confidence_loss + class_loss# if print_loss:# loss = tf.Print(loss, [loss, location_loss, confidence_loss, class_loss], message='loss: ')loss = loss / num_posreturn loss
训练自己的YoloV5模型
首先前往Github下载对应的仓库，下载完后利用解压软件解压，之后用编程软件打开文件夹。
注意打开的根目录必须正确，否则相对目录不正确的情况下，代码将无法运行。
一定要注意打开后的根目录是文件存放的目录。
一、数据集的准备
本文使用VOC格式进行训练，训练前需要自己制作好数据集，如果没有自己的数据集，可以通过Github连接下载VOC12+07的数据集尝试下。
训练前将标签文件放在VOCdevkit文件夹下的VOC2007文件夹下的Annotation中。
训练前将图片文件放在VOCdevkit文件夹下的VOC2007文件夹下的JPEGImages中。
此时数据集的摆放已经结束。
二、数据集的处理
在完成数据集的摆放之后，我们需要对数据集进行下一步的处理，目的是获得训练用的2007_train.txt以及2007_val.txt，需要用到根目录下的voc_annotation.py。
voc_annotation.py里面有一些参数需要设置。
分别是annotation_mode、classes_path、trainval_percent、train_percent、VOCdevkit_path，第一次训练可以仅修改classes_path
'''annotation_mode用于指定该文件运行时计算的内容annotation_mode为0代表整个标签处理过程，包括获得VOCdevkit/VOC2007/ImageSets里面的txt以及训练用的2007_train.txt、2007_val.txtannotation_mode为1代表获得VOCdevkit/VOC2007/ImageSets里面的txtannotation_mode为2代表获得训练用的2007_train.txt、2007_val.txt'''annotation_mode =0'''必须要修改，用于生成2007_train.txt、2007_val.txt的目标信息与训练和预测所用的classes_path一致即可如果生成的2007_train.txt里面没有目标信息那么就是因为classes没有设定正确仅在annotation_mode为0和2的时候有效'''classes_path ='model_data/voc_classes.txt''''trainval_percent用于指定(训练集+验证集)与测试集的比例，默认情况下 (训练集+验证集):测试集 = 9:1train_percent用于指定(训练集+验证集)中训练集与验证集的比例，默认情况下 训练集:验证集 = 9:1仅在annotation_mode为0和1的时候有效'''trainval_percent =0.9train_percent =0.9'''指向VOC数据集所在的文件夹默认指向根目录下的VOC数据集'''VOCdevkit_path ='VOCdevkit'
classes_path用于指向检测类别所对应的txt，以voc数据集为例，我们用的txt为：
训练自己的数据集时，可以自己建立一个cls_classes.txt，里面写自己所需要区分的类别。
三、开始网络训练
通过voc_annotation.py我们已经生成了2007_train.txt以及2007_val.txt，此时我们可以开始训练了。
训练的参数较多，大家可以在下载库后仔细看注释，其中最重要的部分依然是train.py里的classes_path。
classes_path用于指向检测类别所对应的txt，这个txt和voc_annotation.py里面的txt一样！训练自己的数据集必须要修改！
修改完classes_path后就可以运行train.py开始训练了，在训练多个epoch后，权值会生成在logs文件夹中。
其它参数的作用如下：
#----------------------------------------------------## 是否使用eager模式训练#----------------------------------------------------#eager =False#---------------------------------------------------------------------## classes_path 指向model_data下的txt，与自己训练的数据集相关 # 训练前一定要修改classes_path，使其对应自己的数据集#---------------------------------------------------------------------#classes_path ='model_data/voc_classes.txt'#---------------------------------------------------------------------## anchors_path 代表先验框对应的txt文件，一般不修改。# anchors_mask 用于帮助代码找到对应的先验框，一般不修改。#---------------------------------------------------------------------#anchors_path ='model_data/yolo_anchors.txt'anchors_mask =[[6,7,8],[3,4,5],[0,1,2]]#----------------------------------------------------------------------------------------------------------------------------## 权值文件的下载请看README，可以通过网盘下载。模型的 预训练权重 对不同数据集是通用的，因为特征是通用的。# 模型的 预训练权重 比较重要的部分是 主干特征提取网络的权值部分，用于进行特征提取。# 预训练权重对于99%的情况都必须要用，不用的话主干部分的权值太过随机，特征提取效果不明显，网络训练的结果也不会好## 如果训练过程中存在中断训练的操作，可以将model_path设置成logs文件夹下的权值文件，将已经训练了一部分的权值再次载入。# 同时修改下方的 冻结阶段 或者 解冻阶段 的参数，来保证模型epoch的连续性。# # 当model_path = ''的时候不加载整个模型的权值。## 此处使用的是整个模型的权重，因此是在train.py进行加载的。# 如果想要让模型从0开始训练，则设置model_path = ''，下面的Freeze_Train = Fasle，此时从0开始训练，且没有冻结主干的过程。# # 一般来讲，网络从0开始的训练效果会很差，因为权值太过随机，特征提取效果不明显，因此非常、非常、非常不建议大家从0开始训练！# 从0开始训练有两个方案：# 1、得益于Mosaic数据增强方法强大的数据增强能力，将UnFreeze_Epoch设置的较大（300及以上）、batch较大（16及以上）、数据较多（万以上）的情况下，# 可以设置mosaic=True，直接随机初始化参数开始训练，但得到的效果仍然不如有预训练的情况。（像COCO这样的大数据集可以这样做）# 2、了解imagenet数据集，首先训练分类模型，获得网络的主干部分权值，分类模型的 主干部分 和该模型通用，基于此进行训练。#----------------------------------------------------------------------------------------------------------------------------#model_path ='model_data/yolov5_s.h5'#------------------------------------------------------## input_shape 输入的shape大小，一定要是32的倍数#------------------------------------------------------#input_shape =[640,640]#------------------------------------------------------## phi 所使用的YoloV5的版本。s、m、l、x#------------------------------------------------------#phi ='s'#------------------------------------------------------------------## mosaic 马赛克数据增强# 参考YoloX，由于Mosaic生成的训练图片，# 远远脱离自然图片的真实分布。# 本代码会在训练结束前的N个epoch自动关掉Mosaic# 100个世代会关闭30个世代（比例可在dataloader.py调整）# label_smoothing 标签平滑。一般0.01以下。如0.01、0.005#------------------------------------------------------------------#mosaic =Truelabel_smoothing =0#----------------------------------------------------------------------------------------------------------------------------## 训练分为两个阶段，分别是冻结阶段和解冻阶段。设置冻结阶段是为了满足机器性能不足的同学的训练需求。# 冻结训练需要的显存较小，显卡非常差的情况下，可设置Freeze_Epoch等于UnFreeze_Epoch，Freeze_Train = True，此时仅仅进行冻结训练。# # 在此提供若干参数设置建议，各位训练者根据自己的需求进行灵活调整：# （一）从整个模型的预训练权重开始训练： # Adam：# Init_Epoch = 0，Freeze_Epoch = 50，UnFreeze_Epoch = 100，Freeze_Train = True，optimizer_type = 'adam'，Init_lr = 1e-3，weight_decay = 0。（冻结）# Init_Epoch = 0，UnFreeze_Epoch = 100，Freeze_Train = False，optimizer_type = 'adam'，Init_lr = 1e-3，weight_decay = 0。（不冻结）# SGD：# Init_Epoch = 0，Freeze_Epoch = 50，UnFreeze_Epoch = 100，Freeze_Train = True，optimizer_type = 'sgd'，Init_lr = 1e-2，weight_decay = 5e-4。（冻结）# Init_Epoch = 0，UnFreeze_Epoch = 100，Freeze_Train = False，optimizer_type = 'sgd'，Init_lr = 1e-2，weight_decay = 5e-4。（不冻结）# 其中：UnFreeze_Epoch可以在100-300之间调整。# （二）从0开始训练：# Init_Epoch = 0，UnFreeze_Epoch >= 300，Unfreeze_batch_size >= 16，Freeze_Train = False（不冻结训练）# 其中：UnFreeze_Epoch尽量不小于300。optimizer_type = 'sgd'，Init_lr = 1e-2，mosaic = True。# （三）batch_size的设置：# 在显卡能够接受的范围内，以大为好。显存不足与数据集大小无关，提示显存不足（OOM或者CUDA out of memory）请调小batch_size。# 受到BatchNorm层影响，batch_size最小为2，不能为1。# 正常情况下Freeze_batch_size建议为Unfreeze_batch_size的1-2倍。不建议设置的差距过大，因为关系到学习率的自动调整。#----------------------------------------------------------------------------------------------------------------------------##------------------------------------------------------------------## 冻结阶段训练参数# 此时模型的主干被冻结了，特征提取网络不发生改变# 占用的显存较小，仅对网络进行微调# Init_Epoch 模型当前开始的训练世代，其值可以大于Freeze_Epoch，如设置：# Init_Epoch = 60、Freeze_Epoch = 50、UnFreeze_Epoch = 100# 会跳过冻结阶段，直接从60代开始，并调整对应的学习率。# （断点续练时使用）# Freeze_Epoch 模型冻结训练的Freeze_Epoch# (当Freeze_Train=False时失效)# Freeze_batch_size 模型冻结训练的batch_size# (当Freeze_Train=False时失效)#------------------------------------------------------------------#Init_Epoch =0Freeze_Epoch =50Freeze_batch_size =16#------------------------------------------------------------------## 解冻阶段训练参数# 此时模型的主干不被冻结了，特征提取网络会发生改变# 占用的显存较大，网络所有的参数都会发生改变# UnFreeze_Epoch 模型总共训练的epoch# Unfreeze_batch_size 模型在解冻后的batch_size#------------------------------------------------------------------#UnFreeze_Epoch =100Unfreeze_batch_size =8#------------------------------------------------------------------## Freeze_Train 是否进行冻结训练# 默认先冻结主干训练后解冻训练。#------------------------------------------------------------------#Freeze_Train =True#------------------------------------------------------------------## 其它训练参数：学习率、优化器、学习率下降有关#------------------------------------------------------------------##------------------------------------------------------------------## Init_lr 模型的最大学习率# 当使用Adam优化器时建议设置 Init_lr=1e-3# 当使用SGD优化器时建议设置 Init_lr=1e-2# Min_lr 模型的最小学习率，默认为最大学习率的0.01#------------------------------------------------------------------#Init_lr =1e-2Min_lr = Init_lr *0.01#------------------------------------------------------------------## optimizer_type 使用到的优化器种类，可选的有adam、sgd# 当使用Adam优化器时建议设置 Init_lr=1e-3# 当使用SGD优化器时建议设置 Init_lr=1e-2# momentum 优化器内部使用到的momentum参数# weight_decay 权值衰减，可防止过拟合# adam会导致weight_decay错误，使用adam时建议设置为0。#------------------------------------------------------------------#optimizer_type ="sgd"momentum =0.937weight_decay =5e-4#------------------------------------------------------------------## lr_decay_type 使用到的学习率下降方式，可选的有'step'、'cos'#------------------------------------------------------------------#lr_decay_type ='cos'#------------------------------------------------------------------## save_period 多少个epoch保存一次权值，默认每个世代都保存#------------------------------------------------------------------#save_period =1#------------------------------------------------------------------## save_dir 权值与日志文件保存的文件夹#------------------------------------------------------------------#save_dir ='logs'#------------------------------------------------------------------## num_workers 用于设置是否使用多线程读取数据，1代表关闭多线程# 开启后会加快数据读取速度，但是会占用更多内存# keras里开启多线程有些时候速度反而慢了许多# 在IO为瓶颈的时候再开启多线程，即GPU运算速度远大于读取图片的速度。#------------------------------------------------------------------#num_workers =1#------------------------------------------------------## train_annotation_path 训练图片路径和标签# val_annotation_path 验证图片路径和标签#------------------------------------------------------#train_annotation_path ='2007_train.txt'val_annotation_path ='2007_val.txt'
四、训练结果预测
训练结果预测需要用到两个文件，分别是yolo.py和predict.py。
我们首先需要去yolo.py里面修改model_path以及classes_path，这两个参数必须要修改。
model_path指向训练好的权值文件，在logs文件夹里。
classes_path指向检测类别所对应的txt。
完成修改后就可以运行predict.py进行检测了。运行后输入图片路径即可检测。
本文转载自: https://blog.csdn.net/weixin_44791964/article/details/124061333
版权归原作者 Bubbliiiing 所有， 如有侵权，请联系我们删除。
版权归原作者 Bubbliiiing 所有， 如有侵权，请联系我们删除。