1 前言

今天学长向大家介绍一个机器视觉的毕设项目，深度学习安全帽佩戴检测系统

项目运行效果：

毕业设计 深度学习安全帽佩戴检测系统

项目获取：

https://gitee.com/sinonfin/algorithm-sharing

1 课题背景

建筑工人头部伤害是造成建筑伤亡事故的重要原因。佩戴安全帽是防止建筑工人发生脑部外伤事故的有效措施,而在实际工作中工人未佩戴安全帽的不安全行为时有发生。因此,对施工现场建筑工人佩戴安全帽自动实时检测进行探究,将为深入认知和主动预防安全事故提供新的视角。然而,传统的施工现场具有安全管理水平低下、管理范围小、主要依靠安全管理人员的主观监测并且时效性差、不能全程监控等一系列问题。
本项目基于yolov5实现了安全帽和危险区域检测。

2 效果演示

3 Yolov5框架

我们选择当下YOLO最新的卷积神经网络YOLOv5来进行火焰识别检测。6月9日，Ultralytics公司开源了YOLOv5，离上一次YOLOv4发布不到50天。而且这一次的YOLOv5是完全基于PyTorch实现的！在我们还对YOLOv4的各种高端操作、丰富的实验对比惊叹不已时，YOLOv5又带来了更强实时目标检测技术。按照官方给出的数目，现版本的YOLOv5每个图像的推理时间最快0.007秒，即每秒140帧（FPS），但YOLOv5的权重文件大小只有YOLOv4的1/9。

目标检测架构分为两种，一种是two-stage，一种是one-stage，区别就在于 two-stage 有region proposal过程，类似于一种海选过程,网络会根据候选区域生成位置和类别，而one-stage直接从图片生成位置和类别。今天提到的 YOLO就是一种 one-stage方法。YOLO是You Only Look Once的缩写,意思是神经网络只需要看一次图片，就能输出结果。YOLO 一共发布了五个版本，其中 YOLOv1 奠定了整个系列的基础，后面的系列就是在第一版基础上的改进，为的是提升性能。

YOLOv5有4个版本性能如图所示：

网络架构图

YOLOv5是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。主要的改进思路如下所示：

输入端

在模型训练阶段，提出了一些改进思路，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

Mosaic数据增强：Mosaic数据增强的作者也是来自YOLOv5团队的成员，通过随机缩放、随机裁剪、随机排布的方式进行拼接，对小目标的检测效果很不错

基准网络

融合其它检测算法中的一些新思路，主要包括：Focus结构与CSP结构；

Neck网络

在目标检测领域，为了更好的提取融合特征，通常在Backbone和输出层，会插入一些层，这个部分称为Neck。Yolov5中添加了FPN+PAN结构，相当于目标检测网络的颈部，也是非常关键的。

FPN+PAN的结构

这样结合操作，FPN层自顶向下传达强语义特征（High-Level特征），而特征金字塔则自底向上传达强定位特征（Low-Level特征)，两两联手，从不同的主干层对不同的检测层进行特征聚合。

FPN+PAN借鉴的是18年CVPR的PANet，当时主要应用于图像分割领域，但Alexey将其拆分应用到Yolov4中，进一步提高特征提取的能力。

Head输出层

输出层的锚框机制与YOLOv4相同，主要改进的是训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_nms。

对于Head部分，可以看到三个紫色箭头处的特征图是40×40、20×20、10×10。以及最后Prediction中用于预测的3个特征图：

①==>40×40×255

②==>20×20×255

③==>10×10×255

• 相关代码classDetect(nn.Module): stride =None# strides computed during build onnx_dynamic =False# ONNX export parameterdef__init__(self, nc=80, anchors=(), ch=(), inplace=True):# detection layersuper().__init__() self.nc = nc # number of classes self.no = nc +5# number of outputs per anchor self.nl =len(anchors)# number of detection layers self.na =len(anchors[0])//2# number of anchors self.grid =[torch.zeros(1)]* self.nl # init grid self.anchor_grid =[torch.zeros(1)]* self.nl # init anchor grid self.register_buffer('anchors', torch.tensor(anchors).float().view(self.nl,-1,2))# shape(nl,na,2) self.m = nn.ModuleList(nn.Conv2d(x, self.no * self.na,1)for x in ch)# output conv self.inplace = inplace # use in-place ops (e.g. slice assignment)defforward(self, x): z =[]# inference outputfor i inrange(self.nl): x[i]= self.m[i](x[i])# conv bs, _, ny, nx = x[i].shape # x(bs,255,20,20) to x(bs,3,20,20,85) x[i]= x[i].view(bs, self.na, self.no, ny, nx).permute(0,1,3,4,2).contiguous()ifnot self.training:# inferenceif self.onnx_dynamic or self.grid[i].shape[2:4]!= x[i].shape[2:4]: self.grid[i], self.anchor_grid[i]= self._make_grid(nx, ny, i) y = x[i].sigmoid()if self.inplace: y[...,0:2]=(y[...,0:2]*2-0.5+ self.grid[i])* self.stride[i]# xy y[...,2:4]=(y[...,2:4]*2)**2* self.anchor_grid[i]# whelse:# for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953 xy =(y[...,0:2]*2-0.5+ self.grid[i])* self.stride[i]# xy wh =(y[...,2:4]*2)**2* self.anchor_grid[i]# wh y = torch.cat((xy, wh, y[...,4:]),-1) z.append(y.view(bs,-1, self.no))return x if self.training else(torch.cat(z,1), x)def_make_grid(self, nx=20, ny=20, i=0): d = self.anchors[i].device if check_version(torch.__version__,'1.10.0'):# torch>=1.10.0 meshgrid workaround for torch>=0.7 compatibility yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)], indexing='ij')else: yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)]) grid = torch.stack((xv, yv),2).expand((1, self.na, ny, nx,2)).float() anchor_grid =(self.anchors[i].clone()* self.stride[i]) \ .view((1, self.na,1,1,2)).expand((1, self.na, ny, nx,2)).float()return grid, anchor_grid

4 数据处理和训练

4.1 安全帽检测

这里只是判断 【人没有带安全帽】、【人有带安全帽】、【人体】 3个类别 ，基于 data/coco128.yaml 文件，创建自己的数据集配置文件 custom_data.yaml。
创建自己的数据集配置文件

# 训练集和验证集的 labels 和 image 文件的位置
train:./score/images/train
val:./score/images/val

# number of classes
nc:3# class names
names:['person','head','helmet']

创建每个图片对应的标签文件
使用 data/gen_data/gen_head_helmet.py 来将 VOC 的数据集转换成 YOLOv5 训练需要用到的格式。
使用标注工具类似于 Labelbox 、CVAT 、精灵标注助手 标注之后，需要生成每个图片对应的 .txt 文件，其规范如下：

• 每一行都是一个目标
• 类别序号是零索引开始的（从0开始）
• 每一行的坐标 class x_center y_center width height 格式
• 框坐标必须采用归一化的 xywh格式（从0到1）。如果您的框以像素为单位，则将x_center和width除以图像宽度，将y_center和height除以图像高度。

代码如下：

import numpy as np
defconvert(size, box):"""
    将标注的 xml 文件生成的【左上角x,左上角y,右下角x，右下角y】标注转换为yolov5训练的坐标
    :param size: 图片的尺寸： [w,h]
    :param box: anchor box 的坐标 [左上角x,左上角y,右下角x,右下角y,]
    :return: 转换后的 [x,y,w,h]
    """

    x1 =int(box[0])
    y1 =int(box[1])
    x2 =int(box[2])
    y2 =int(box[3])

    dw = np.float32(1./int(size[0]))
    dh = np.float32(1./int(size[1]))

    w = x2 - x1
    h = y2 - y1
    x = x1 +(w /2)
    y = y1 +(h /2)

    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return[x, y, w, h]

生成的 .txt 例子：

10.18300000869203360.13963964302092790.134000006364658470.1591591630131006210.52400002488866450.291291298344731330.08000000379979610.1681681722402572610.60600002878345550.295795802958309650.084000003989785910.177177181467413910.67600003210827710.253753759898245330.100000004749745130.2132132183760404600.393000018666498360.25525526143610480.178000008454546330.282282289117574700.72000003419816490.55705707054585220.252000011969357730.429429439827799800.77200003666803240.25675676297396420.15200000721961260.23123123683035374

选择模型
在文件夹 ./models 下选择一个你需要的模型然后复制一份出来，将文件开头的 nc = 修改为数据集的分类数，下面是借鉴 ./models/yolov5s.yaml来修改的

# parameters
nc:3# number of classes     <============ 修改这里为数据集的分类数
depth_multiple:0.33# model depth multiple
width_multiple:0.50# layer channel multiple# anchors
anchors:-[10,13,16,30,33,23]# P3/8-[30,61,62,45,59,119]# P4/16-[116,90,156,198,373,326]# P5/32# YOLOv5 backbone
backbone:# [from, number, module, args][[-1,1, Focus,[64,3]],# 0-P1/2[-1,1, Conv,[128,3,2]],# 1-P2/4[-1,3, BottleneckCSP,[128]],[-1,1, Conv,[256,3,2]],# 3-P3/8[-1,9, BottleneckCSP,[256]],[-1,1, Conv,[512,3,2]],# 5-P4/16[-1,9, BottleneckCSP,[512]],[-1,1, Conv,[1024,3,2]],# 7-P5/32[-1,1, SPP,[1024,[5,9,13]]],[-1,3, BottleneckCSP,[1024,False]],# 9]# YOLOv5 head
head:[[-1,1, Conv,[512,1,1]],[-1,1, nn.Upsample,[None,2,'nearest']],[[-1,6],1, Concat,[1]],# cat backbone P4[-1,3, BottleneckCSP,[512,False]],# 13[-1,1, Conv,[256,1,1]],[-1,1, nn.Upsample,[None,2,'nearest']],[[-1,4],1, Concat,[1]],# cat backbone P3[-1,3, BottleneckCSP,[256,False]],# 17[-1,1, Conv,[256,3,2]],[[-1,14],1, Concat,[1]],# cat head P4[-1,3, BottleneckCSP,[512,False]],# 20[-1,1, Conv,[512,3,2]],[[-1,10],1, Concat,[1]],# cat head P5[-1,3, BottleneckCSP,[1024,False]],# 23[[17,20,23],1, Detect,[nc, anchors]],# Detect(P3, P4, P5)]

开始训练
这里选择了 yolov5s 模型进行训练，权重也是基于 yolov5s.pt 来训练

python train.py --img 640 \
                --batch 16--epochs 10--data ./data/custom_data.yaml \
                --cfg ./models/custom_yolov5.yaml --weights ./weights/yolov5s.pt

项目运行效果：

毕业设计 深度学习安全帽佩戴检测系统

项目获取：

https://gitee.com/sinonfin/algorithm-sharing