【专利】一种光伏产品缺陷检测AI深度学习算法

申请号CN202410053849.9公开号（公开）CN118037635A申请日2024.01.12申请人（公开）超音速人工智能科技股份有限公司发明人（公开）张俊峰(总); 叶长春(总); 廖绍伟

摘要

本发明公开一种光伏产品缺陷检测AI深度学习算法，涉及AI算法领域。该光伏产品缺陷检测AI深度学习算法，采用深度卷积神经网络作为预训练模型，使用特征金字塔网络结构FPN对预训练模型得到的不同尺度的特征图进行融合，采用区域提议网络RPN在特征图上生成候选框，该光伏产品缺陷检测AI深度学习算法通过使用预训练模型提取图像特征，使用FPN融合多尺度特征，使用RPN提取候选框，使用ROIAlign抽取局部特征，使用分类、回归、FCN进行缺陷分类、位置回归以及掩膜信息提取，对缺陷的分类以及输出缺陷效果的准确性好，对缺陷的定位精度高，对缺陷的描述准确且全面，从而提高了在光伏产品加工中，对产品的缺陷检测效果。

技术背景

硅光伏电池的质量直接影响到整个光伏系统的效率，在硅光伏电池的工业生产制造和光伏电池或组件的使用过程，缺陷和损坏是不可避免的，因此需要使用检测设备来对产品进行缺陷检测。
随着计算机AI发展，目前的无接触式光伏产品缺陷检测装置均使用学习算法，利用建立模型和训练模型的方式来进行产品图片的处理，输出产品的缺陷，形成检测，传统的算法对缺陷的分类以及输出缺陷效果的准确性不够好，对缺陷的定位精度不够高，因此对缺陷的描述不够准确和全面，从而降低了在光伏产品加工过程中对产品的缺陷检测效果，针对现有技术的不足，本发明提供了一种光伏产品缺陷检测AI深度学习算法，以解决上述问题。

我的理解

第一步：采用深度卷积神经网络作为预训练模型，对输入的光伏产品图像进行特征提取，获取图像的高层语义信息，得到不同尺度的特征图；首先选择适用于光伏产品缺陷检测任务的预训练模型，如ResNet、VGG等，然后，将预训练模型导入到算法中，并将待检测的光伏产品缺陷图像输入到模型中，通过前向传播，可以得到模型的中间层输出，即特征图。这些特征图包含了图像的高级语义特征。
通过使用预训练模型提取图像特征，可以避免从零开始训练模型的复杂过程，同时还可以利用预训练模型在大规模数据集上学习到的丰富特征，提高光伏产品缺陷检测的准确性和效率。
第二步：使用特征金字塔网络结构FPN对预训练模型得到的不同尺度的特征图进行融合，增强模型对不同尺寸产品缺陷的检测能力；利用特征金字塔网络融合来自不同尺度的特征图，同时利用低层特征图的空间信息和高层特征图的语义信息，将这些特征图进行融合，融合后的特征图具有更好的语义信息和空间分辨率，有助于更准确地检测光伏产品缺陷。
更进一步的，在步骤S3中，使用区域生成网络来提取候选框，RPN网络得到所有anchors的分类、回归信息，RPN基于特征图，通过滑动窗口的方式在不同位置生成候选框，并计算每个候选框的得分，得分高的候选框被认为是可能包含缺陷的区域。
第三步：采用区域提议网络RPN在特征图上生成候选框，这些候选框涵盖了存在缺陷的区域和信息，以实现后续产品的缺陷快速检测；
第四步：使用ROIAlign技术从候选框中抽取出局部特征，以供后续的分类和回归任务使用；使用ROIAlign操作来抽取候选框内的局部特征，根据RPN网络输出的分类、回归信息，经过NMS得到最终的ROIs，ROIAlign通过双线性插值的方式，将候选框内的像素映射到固定大小的特征图上，并进行采样，得到固定长度的特征向量，这些特征向量包含了候选框内的局部特征信息。
第五步：利用全卷积网络FCN对局部特征进行分类，并同时进行回归操作以精确定位缺陷的位置；对筛选出来的ROIs进行分类、回归、mask分割操作，使用分类器对候选框进行缺陷分类，分类器将局部特征作为输入，输出每个候选框属于不同缺陷类别的概率，分类器可以是传统的机器学习方法，如支持向量机SVM，分类器也可以是深度学习方法，如卷积神经网络CNN；
步骤S6：除了分类和位置回归外，还利用FCN从局部特征中提取掩膜信息，以得到缺陷的精确形状和大小。
在图像处理中，卷积神经网络CNN提取的特征比之前的手工特征效果更好，这是由于CNN特殊的组织结构来决定的，卷积层和池化层的共同作用使得CNN能提取出图像中较好的特征。卷积神经网络的网络模型多种多样，但一个卷积神经网络模型一般由若干个卷积层、池化层和全连接层组成。卷积层的作用是提取图像的特征；池化层的作用是对特征进行抽样，可以使用较少训练参数，同时还可以减轻网络模型的过拟合程度。卷积层和池化层一般交替出现在网络中，称一个卷积层加一个池化层为一个特征提取过程，但是并不是每个卷积层后都会跟池化层，大部分网络只有三层池化层。网络的最后一般为1～2层全连接层，全连接层负责把提取的特征图连接起来，最后通过分类器得到最终的分类结果。
特别公开的，在所述步骤S6中，通过位置回归，根据分类结果和候选框的位置信息，对缺陷的位置进行进一步的调整和修正，以提高缺陷的定位精度，同时，根据FCN得到的掩膜信息，可以进一步提取缺陷的形状和轮廓等信息，以便更全面地描述缺陷。
FCN指的是全卷积网络，是深度学习中用于图像处理任务的一种重要架构，相比于传统的卷积神经网络CNN，FCN不仅能够识别图像中的对象，还能在像素级别对图像进行预测，如图像分割、图像生成等。

扩展阅读

视频课程

先学简单的课程，请移步CSDN学院，听白银讲师（也就是鄙人）的讲解。
https://edu.csdn.net/course/detail/38771

如何你想快速形成战斗了，为老板分忧，请学习C#入职培训、C++入职培训等课程
https://edu.csdn.net/lecturer/6176

相关推荐

我想对大家说的话《喜缺全书算法册》以原理、正确性证明、总结为主。按类别查阅鄙人的算法文章，请点击《算法与数据汇总》。有效学习：明确的目标 及时的反馈 拉伸区（难度合适） 专注闻缺陷则喜(喜缺)是一个美好的愿望，早发现问题，早修改问题，给老板节约钱。子墨子言之：事无终始，无务多业。也就是我们常说的专业的人做专业的事。如果程序是一条龙，那算法就是他的是睛

测试环境

操作系统：win7 开发环境： VS2019 C++17
或者 操作系统：win10 开发环境： VS2022 C++17
如无特殊说明，本算法用**C++**实现。