基于Perclos＆改进YOLOv7的疲劳驾驶DMS检测系统（源码＆教程）

1.研究背景

疲劳驾驶成为了导致交通事故发生的重要因素之一,并呈现出逐年递增的趋势,若能设计出一种在驾驶员发生疲劳时,就能检测出驾驶员处于疲劳状态对其进行警告,这样就可以较好地降低交通事故的发生的概率.论文介绍了一种检测驾驶员在驾驶过程中是否为疲劳驾驶的方法,基于PERCLOS对驾驶员进行疲劳检测.首先对设备采集的人脸图像进行肤色分割,根据程序中设定的肤色阈值,确定图像中属于肤色的区域,对得到的肤色区域进行眼睛追踪,人脸特征部位进行积分投影操作,获取眼睛区域,捕捉眼睛的实时状态,并对眼睛的面积进行计算,最后根据疲劳值来判定疲劳状态.根据实验证明,该方法满足车载、实时、非接触的基本要求,并能准确地做出对驾驶员驾驶过程中是否出现疲劳的判定.

2.图片演示

3.视频演示

基于Perclos＆改进YOLOv7的疲劳驾驶DMS检测系统（哈欠＆喝水＆抽烟＆打电话检测）_哔哩哔哩_bilibili

4.算法流程图

5.PERCLOS测试原理

参考该博客提出的方案，PERCLOS（Percentage of Eyelid Closure Overthe Pupil Over Time）的含义是指在单位时间内眼睛闭合状态下所占用的时间百分比［4］

结合图 1 可以较为容易地理解其测量原理。根据下面的计算公式，通过测量 t1t4 的值来计算
PERCLOS的值。

其中 f 为计算后求得的 PERCLOS 值，t1t4 代表的[图片上传中…(image.png-f4d849-1669187187473-0)]
含义如测量原理图所示，表示时间区间内眼睛开闭程度。在具体实验中 PERCLOS 有三种度量标准，即为 P70、P80、EM，分别代表眼睛在不同闭合程度下所占用的时间百分比。其中 P80 指的是在测试过程中，检测对象的眼睛闭合面积超过80%所占用的时间百分比。大量研究表明，在三种度量标准中对疲劳驾驶的检测准确率最高的是P80［5］标准。因此本文采用此标准进行疲劳判定，计算公式如下：

用此方法追踪眼睛状态时，由摄像头对驾驶员的头部区域进行捕获，对采集过程中可能出现的过暗图像加上光照补偿，采取YCbCr对肤色进行分割来确定人脸区域，对眼部轮廓进行提取，运用图像处理来判断眼睛的开闭状态。定义检测过程中人物眼睛睁开程度只要满足大于20%这个条件，就记为睁开状态，反之为闭合。

6.人脸眼睛、嘴巴开闭状态、喝水抽烟打电话检测

YOLOv7

YOLOv7是YOLO系列中最先进的新型目标检测器。根据论文所述，它是迄今为止最快、最准确的实时目标检测器，最好的模型获得了56.8%的平均精度(AP)，这是所有已知目标检测器中最高的，各种模型的速度范围在 5~160 FPS。

本文主要介绍简化的YOLOv7论文解读和推理测试以及YOLOv7与 YOLO系列的其他目标检测器的比较。

YOLOv7通过将性能提升一个档次建立了重要的基准。从YOLOv4开始在极短的时间内，我们看到YOLO家族的新成员接踵而至。每个版本都引入了一些新的东西来提高性能。早些时候，我们已经详细讨论了以前的 YOLO 版本。
不同的应用需要不同的模型。虽然有些人需要高度准确的模型，但有些人优先考虑速度。执行模型缩放以适应这些要求并使其适合各种计算设备。
在缩放模型大小时，会考虑以下参数：
1.分辨率（输入图像的大小）
2.宽度（通道数）
3.深度（网络层数）
4.阶段（特征金字塔的数量）
NAS（Network Architecture Search）是一种常用的模型缩放方法。研究人员使用它来迭代参数以找到最佳比例因子。但是，像 NAS 这样的方法会进行参数特定的缩放。在这种情况下，比例因子是独立的。

YOLOv7论文的作者表明，它可以通过复合模型缩放方法进一步优化。在这里，对于基于连接的模型，宽度和深度是连贯地缩放的。

算法改进

YOLOv7 改进特征融合网络BiFPN结构 ，参考EfficientDet中提出的加权的双向特征金字塔网络，它允许简单和快速的多尺度特征融合。为了追求更高效的多尺度融合方式。以往的特征融合是平等地对待不同尺度特征，CVPR 2017的FPN指出了不同层之间特征融合的重要性，并且以一种比较简单，Heuristic的方法把底层的特征乘两倍和浅层相加来融合。之后人们也试了各种别的融合方法，比如PANet先从底向上连，再自顶向下连回去（上图b）；NAS-FPN 采用神经架构搜索来搜索更好的跨尺度特征网络拓扑，但是在搜索过程中需要花费数千个GPU小时，并且发现的网络不规则，难以解释或修改，如上图 ( c )所示。总之上述都是一些人工各种连接的设计，包含Conv，Sum，Concatenate，Resize，Skip Connection等候选操作。很明显使用哪些操作、操作之间的顺序是可以用NAS搜的。

代码实现

class Concat(nn.Module):
    # Concatenate a list of tensors along dimension
    def __init__(self, c1, c2):
        super(Concat, self).__init__()
        # self.relu = nn.ReLU()
        self.w1 = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True)
        self.w2 = nn.Parameter(torch.ones(3, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
        self.conv = nn.Conv2d(c1, c2, kernel_size=1, stride=1, padding=0)
        self.swish = MemoryEfficientSwish()

    def forward(self, x):
        outs = self._forward(x)
        return outs

    def _forward(self, x): # intermediate result
        if len(x) == 2:
            # w = self.relu(self.w1)
            w = self.w1
            weight = w / (torch.sum(w, dim=0) + self.epsilon)
            x = self.conv(self.swish(weight[0] * x[0] + weight[1] * x[1]))
        elif len(x) == 3: # final result
            # w = self.relu(self.w2)
            w = self.w2
            weight = w / (torch.sum(w, dim=0) + self.epsilon)
            x = self.conv(self.swish(weight[0] * x[0] + weight[1] * x[1] + weight[2] * x[2]))

7.系统整合

下图完整源码＆环境部署视频教程＆数据集＆自定义UI界面

参考博客《基于Perclos＆改进YOLOv7的疲劳驾驶DMS检测系统（源码＆教程）》

8.参考文献

[1]荔小虎,唐晶磊.基于肤色匹配和积分投影结合的人眼定位方法研究[J].自动化应用.2018,(12).DOI:10.3969/j.issn.1674-778X.2018.12.026.

[2]杨恒,张再军,杨东,等.融合YCbCr肤色模型与区域标记的人脸检测算法研究[J].软件导刊.2016,(2).DOI:10.11907/rjdk.161028.

[3]牛清宁,周志强,金立生,等.基于眼动特征的疲劳驾驶检测方法[J].哈尔滨工程大学学报.2015,(3).DOI:10.3969/j.issn.1006-7043.201311044.

[4]何光辉,张太平.局部匹配的人脸识别方法[J].重庆大学学报：自然科学版.2012,(12).

[5]杨超,李博文.基于积分投影的眼睛定位系统设计[J].软件导刊.2011,(9).

[6]于兴玲,王民,张立材.基于PERCLOS的驾驶员眼睛状态检测方法[J].微计算机信息.2007,(14).DOI:10.3969/j.issn.1008-0570.2007.14.103.

[7]李杰,郝晓莉.一种基于椭圆肤色模型的人脸检测方法[J].计算机测量与控制.2006,(2).DOI:10.3969/j.issn.1671-4598.2006.02.012.

[8]李志春,何仁,林谋有,等.驾驶员疲劳检测技术的研究现状及发展趋势[J].农机化研究.2006,(5).DOI:10.3969/j.issn.1003-188X.2006.05.068.

[9]冯建强,刘文波,于盛林.基于灰度积分投影的人眼定位[J].计算机仿真.2005,(4).DOI:10.3969/j.issn.1006-9348.2005.04.021.

[10]王文成,常发亮.一种基于区域投影的人眼精确定位方法[J].光电子·激光.2011,(4).