>>>深度学习Tricks，第一时间送达<<<
PP-LCNet——轻量级且超强悍的CPU级骨干网络！！
（一）前沿介绍
论文题目：PP-LCNet: A Lightweight CPU Convolutional Neural Network
🐱🏍先看一下小海带将YOLOv5与PP-LCNet结合后的实验训练情况：还不错吧！
🚀 发现问题：随着模型特征提取能力的增加以及模型参数和FLOPs数量的增加，在基于移动设备的ARM架构的基础上或基于CPU设备的架构上实现快速推理速度变得困难。在这种情况下，已经提出了许多优秀的移动网络，但由于MKLDNN的限制，这些网络的速度在启用了MKLDNN的IntelCPU上并不理想。
💡 解决方法：针对此问题，作者提出了一个基于MKLDNN加速策略的轻量级CPU网络，命名为PP-LCNet，它提高了轻量级模型在多任务上的性能。论文还列出了可以在延迟几乎不变的情况下提高网络准确性的技术。通过这些改进，PP-LCNet在相同的分类推理时间下，它优于最先进的模型，准确率可以大大超过以前的网络结构。并且对于计算机视觉的下游任务，也表现非常出色，比如物体检测、语义分割等等。
PP-LCNet 在同样精度的情况下，速度远超当前所有的骨架网络！它应用在比如目标检测、语义分割等任务算法上，也可以使原本的网络有大幅度的性能提升。由下图可看出，PP-LCNet 不仅精度提升相当明显，而且比MobileNetV3快几乎3倍！！
PP-LCNet的主要贡献有以下4点：
1.更好的激活函数。
由ReLU换成了H-Swish，性能有了很大的提升，而推理时间几乎没有变化。
2.合适的位置添加SE模块
实验发现当SE模块放到最后的时候比较好，因此将SE模块放在网络最后部分，在SE层中使用的激活函数为relu和h-sigmoid。
3.更大的卷积核
作者实验发现发现在模型的最后将3x3卷积核换成5x5的效果比较好。
4.GAP后更高维度的1x1卷积层
GAP后面的维度很小，直接在他后面添加分类层会损失很多特征信息，为了增强模型的鲁棒性，在最终的GAP层之后附加了一个1280维大小的1 × 1 conv(相当于FC层)，在几乎不增加推理时间的情况下存储更多的模型。
1.PP-LCNet主要模块
2.相关实验结果
（二）YOLOv5/YOLOv7改进之结合PP-LCNet
改进方法和其他模块一样，分三步走：
1.配置common.py文件
class SELayer(nn.Module):
def __init__(self, inp, oup, reduction=4):
super(SELayer, self).__init__()
self.avg_pool = nn.AdaptiveAvgPool2d(1)
self.fc = nn.Sequential(
nn.Conv2d(oup, _make_divisible(inp // reduction), 1, 1, 0,),
nn.ReLU(),
nn.Conv2d(_make_divisible(inp // reduction), oup, 1, 1, 0),
HardSigmoid()
)
def forward(self, x):
b, c, _, _ = x.size()
y = self.avg_pool(x)
y = self.fc(y).view(b, c, 1, 1)
return x * y
class DepSepConv(nn.Module):
def __init__(self, inp, oup, kernel_size, stride, use_se):
super(DepSepConv, self).__init__()
assert stride in [1, 2]
padding = (kernel_size - 1) // 2
if use_se:
self.conv = nn.Sequential(
# dw
nn.Conv2d(inp, inp, kernel_size, stride, padding, groups=inp, bias=False),
nn.BatchNorm2d(inp),
HardSwish(),
# SE
SELayer(inp, inp),
# pw-linear
nn.Conv2d(inp, oup, 1, 1, 0, bias=False),
nn.BatchNorm2d(oup),
HardSwish(),
)
else:
self.conv = nn.Sequential(
# dw
nn.Conv2d(inp, inp, kernel_size, stride, padding, groups=inp, bias=False),
nn.BatchNorm2d(inp),
HardSwish(),
# pw-linear
nn.Conv2d(inp, oup, 1, 1, 0, bias=False),
nn.BatchNorm2d(oup),
HardSwish()
)
def forward(self, x):
return self.conv(x)
2.配置yolo.py文件
加入DepthSepConv模块。
3.配置yolov5/yolov7_PP-LC**.yaml文件**
具体配置和之前一样。
🚀🏆🍀【算法创新&算法训练&论文投稿】相关链接👇👇👇
✨【YOLO创新算法尝新系列】✨
🏂 美团出品 | YOLOv6 v3.0 is Coming（超越YOLOv7、v8）
🏂 官方正品 | Ultralytics YOLOv8算法来啦（尖端SOTA模型）
🏂 改进YOLOv5/YOLOv7——魔改YOLOv5/YOLOv7提升检测精度（涨点必备）
————————————🌴【重磅干货来袭】🎄————————————
🚀一、主干网络改进（持续更新中）🎄🎈
1.目标检测算法——YOLOv5/YOLOv7改进之结合ConvNeXt结构（纯卷积|超越Swin）
2.目标检测算法——YOLOv5/YOLOv7改进之结合MobileOne结构（高性能骨干|仅需1ms）
3.目标检测算法——YOLOv5/YOLOv7改进之结合Swin Transformer V2（涨点神器）
4.目标检测算法——YOLOv5/YOLOv7改进结合BotNet（Transformer）
5.目标检测算法——YOLOv5/YOLOv7改进之GSConv+Slim Neck（优化成本）
6.目标检测算法——YOLOv5/YOLOv7改进结合新神经网络算子Involution（CVPR 2021）
7.目标检测算法——YOLOv7改进|增加小目标检测层
8.目标检测算法——YOLOv5改进|增加小目标检测层
🌴 持续更新中……
🚀二、轻量化网络（持续更新中）🎄🎈
1.目标检测算法——YOLOv5/YOLOv7改进之结合RepVGG（速度飙升）
2.目标检测算法——YOLOv5/YOLOv7改进之结合PP-LCNet（轻量级CPU网络）
3.目标检测算法——YOLOv5/YOLOv7改进之结合轻量化网络MobileNetV3（降参提速）
4.目标检测算法——YOLOv5/YOLOv7改进|结合轻量型网络ShuffleNetV2
5.目标检测算法——YOLOv5/YOLOv7改进结合轻量型Ghost模块
🌴 持续更新中……
🚀三、注意力机制（持续更新中）🎄🎈
1.目标检测算法——YOLOv5改进之结合CBAM注意力机制
2.目标检测算法——YOLOv7改进之结合CBAM注意力机制
3.目标检测算法——YOLOv5/YOLOv7之结合CA注意力机制
4.目标检测算法——YOLOv5/YOLOv7改进之结合ECA注意力机制
5.目标检测算法——YOLOv5/YOLOv7改进之结合NAMAttention（提升涨点）
6.目标检测算法——YOLOv5/YOLOv7改进之结合GAMAttention
7.目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）
8.目标检测算法——YOLOv5/YOLOv7改进之结合Criss-Cross Attention
9.目标检测算法——YOLOv5/YOLOv7改进之结合SOCA（单幅图像超分辨率）
🌴 持续更新中……
🚀四、检测头部改进（持续更新中）🎄🎈
1.魔改YOLOv5/v7高阶版（魔法搭配+创新组合）——改进之结合解耦头Decoupled_Detect
2.目标检测算法——YOLOv5/YOLOv7改进结合涨点Trick之ASFF（自适应空间特征融合）
🌴 持续更新中……
🚀五、空间金字塔池化（持续更新中）🎄🎈
1.目标检测算法——YOLOv5/YOLOv7改进之结合ASPP（空洞空间卷积池化金字塔）
2.目标检测算法——YOLOv5/YOLOv7改进之结合特征提取网络RFBNet（涨点明显）
🌴 持续更新中……
🚀六、损失函数及NMS改进（持续更新中）🎄🎈
1.目标检测算法——YOLOv5/YOLOv7改进|将IOU Loss替换为EIOU Loss
2.目标检测算法——助力涨点 | YOLOv5改进结合Alpha-IoU
3.目标检测算法——YOLOv5/YOLOv7改进之结合SIoU
4.目标检测算法——YOLOv5将NMS替换为DIoU-NMS
🌴 持续更新中……
🚀七、其他创新改进项目（持续更新中）🎄🎈
1.手把手教你搭建属于自己的PyQt5-YOLOv5目标检测平台（保姆级教程）
2.YOLO算法改进之结合GradCAM可视化热力图（附详细教程）
3.目标检测算法——YOLOv5/YOLOv7改进之结合SPD-Conv（低分辨率图像和小目标涨点明显）
4.目标检测算法——YOLOv5/YOLOv7改进之更换FReLU激活函数
5.目标检测算法——YOLOv5/YOLOv7改进之结合BiFPN
🌴 持续更新中……
🚀八、算法训练相关项目（持续更新中）🎄🎈
1.目标检测算法——YOLOv7训练自己的数据集（保姆级教程）
2.人工智能前沿——玩转OpenAI语音机器人ChatGPT（中文版）
3.深度学习之语义分割算法（入门学习）
4.知识经验分享——YOLOv5-6.0训练出错及解决方法（RuntimeError）
5.目标检测算法——将xml格式转换为YOLOv5格式txt
6.目标检测算法——YOLOv5/YOLOv7如何改变bbox检测框的粗细大小
7.人工智能前沿——6款AI绘画生成工具
8.YOLOv5结合人体姿态估计
9.超越YOLOv5，0.7M超轻量，又好又快（PP-YOLOE&PP-PicoDet）
10.目标检测算法——收藏|小目标检测的定义（一）
11.目标检测算法——收藏|小目标检测难点分析（二）
12.目标检测算法——收藏|小目标检测解决方案（三）
🌴 持续更新中……
🚀九、数据资源相关项目（持续更新中）🎄🎈
1.目标检测算法——小目标检测相关数据集（附下载链接）
2.目标检测算法——3D公共数据集汇总（附下载链接）
3.目标检测算法——3D公共数据集汇总 2（附下载链接）
4.目标检测算法——行人检测&人群计数数据集汇总(附下载链接)
5.目标检测算法——遥感影像数据集资源汇总（附下载链接）
6.目标检测算法——自动驾驶开源数据集汇总（附下载链接）
7.目标检测算法——自动驾驶开源数据集汇总 2（附下载链接）
8.目标检测算法——图像分类开源数据集汇总（附下载链接）
9.目标检测算法——医学图像开源数据集汇总（附下载链接）
10.目标检测算法——工业缺陷数据集汇总1（附下载链接）
11.目标检测算法——工业缺陷数据集汇总2（附下载链接）
12.目标检测算法——垃圾分类数据集汇总（附下载链接）
13.目标检测算法——人脸识别数据集汇总（附下载链接）
14.目标检测算法——安全帽识别数据集（附下载链接）
15.目标检测算法——人体姿态估计数据集汇总（附下载链接）
16.目标检测算法——人体姿态估计数据集汇总 2（附下载链接）
17.目标检测算法——车辆牌照识别数据集汇总（附下载链接）
18.目标检测算法——车辆牌照识别数据集汇总 2（附下载链接）
19.收藏 | 机器学习公共数据集集锦（附下载链接）
20.目标检测算法——图像分割数据集汇总（附下载链接）
21.目标检测算法——图像分割数据集汇总 2（附下载链接）
22.收藏 | 自然语言处理（NLP）数据集汇总（附下载链接）
23.自然语言处理（NLP）数据集汇总 2（附下载链接）
24.自然语言处理（NLP）数据集汇总 3（附下载链接）
25.自然语言处理（NLP）数据集汇总 4（附下载链接）
🌴 持续更新中……
🚀十、论文投稿相关项目（持续更新中）🎄🎈
1.论文投稿指南——收藏|SCI论文投稿注意事项（提高命中率）
2.论文投稿指南——收藏|SCI论文怎么投？（Accepted）
3.论文投稿指南——收藏|SCI写作投稿发表全流程
4.论文投稿指南——收藏|如何选择SCI期刊（含选刊必备神器）
5.论文投稿指南——SCI选刊
6.论文投稿指南——SCI投稿各阶段邮件模板
7.人工智能前沿——深度学习热门领域（确定选题及研究方向）
8.人工智能前沿——2022年最流行的十大AI技术
9.人工智能前沿——未来AI技术的五大应用领域
10.人工智能前沿——无人自动驾驶技术
11.人工智能前沿——AI技术在医疗领域的应用
12.人工智能前沿——随需应变的未来大脑
13.目标检测算法——深度学习知识简要普及
14.目标检测算法——10种深度学习框架介绍
15.目标检测算法——为什么我选择PyTorch？
16.知识经验分享——超全激活函数解析（数学原理+优缺点）
17.知识经验分享——卷积神经网络（CNN）
18.海带软件分享——Office 2021全家桶安装教程（附报错解决方法）
19.海带软件分享——日常办公学习软件分享（收藏）
20.论文投稿指南——计算机视觉 (Computer Vision) 顶会归纳
21.论文投稿指南——中文核心期刊
22.论文投稿指南——计算机领域核心期刊
23.论文投稿指南——中文核心期刊推荐（计算机技术）
24.论文投稿指南——中文核心期刊推荐（计算机技术2）
25.论文投稿指南——中文核心期刊推荐（计算机技术3）
26.论文投稿指南——中文核心期刊推荐（电子、通信技术）
27.论文投稿指南——中文核心期刊推荐（电子、通信技术2）
28.论文投稿指南——中文核心期刊推荐（电子、通信技术3）
29.论文投稿指南——中文核心期刊推荐（机械、仪表工业）
30.论文投稿指南——中文核心期刊推荐（机械、仪表工业2）
31.论文投稿指南——中文核心期刊推荐（机械、仪表工业3）
32.论文投稿指南——中国（中文EI）期刊推荐（第1期）
33.论文投稿指南——中国（中文EI）期刊推荐（第2期）
34.论文投稿指南——中国（中文EI）期刊推荐（第3期）
35.论文投稿指南——中国（中文EI）期刊推荐（第4期）
36.论文投稿指南——中国（中文EI）期刊推荐（第5期）
37.论文投稿指南——中国（中文EI）期刊推荐（第6期）
38.论文投稿指南——中国（中文EI）期刊推荐（第7期）
39.论文投稿指南——中国（中文EI）期刊推荐（第8期）
40.【1】SCI易中期刊推荐——计算机方向（中科院3区）
41.【2】SCI易中期刊推荐——遥感图像领域（中科院2区）
42.【3】SCI易中期刊推荐——人工智能领域（中科院1区）
43.【4】SCI易中期刊推荐——神经科学研究（中科院4区）
44.【5】SCI易中期刊推荐——计算机科学（中科院2区）
45.【6】SCI易中期刊推荐——人工智能&神经科学&机器人学（中科院3区）
46.【7】SCI易中期刊推荐——计算机 | 人工智能（中科院4区）
47.【8】SCI易中期刊推荐——图像处理领域（中科院4区）
48.【9】SCI易中期刊推荐——工程技术-计算机：软件工程（中科院4区）
49.【10】SCI易中期刊推荐——工程技术-计算机：人工智能（中科院2区）
50.【11】SCI易中期刊推荐——计算机方向（中科院4区）
51.【12】SCI易中期刊推荐——计算机信息系统（中科院4区）
🌴 持续更新中……
关于YOLO算法改进及论文投稿可关注并留言博主的CSDN/QQ
>>>一起交流！互相学习！共同进步！<<<
本文转载自: https://blog.csdn.net/m0_53578855/article/details/128065998
版权归原作者 加勒比海带66 所有， 如有侵权，请联系我们删除。
版权归原作者 加勒比海带66 所有， 如有侵权，请联系我们删除。