CN115239734A - 模型训练方法、装置、存储介质、设备及计算机程序产品 - Google Patents

Abstract

本申请的实施例公开了一种模型训练方法、装置、存储介质、设备及计算机程序产品，涉及人工智能技术领域，包括：获取目标产品的实际图像和标准图像并分别灰度化处理，以获取对应的第一灰度图像和第二灰度图像；将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；以目标图像为训练数据集，训练获得缺陷检测模型。本申请通过对图像分别灰度化后进行相减运算，突出细小缺陷，重构三通道图像用于训练模型，使其既能够学习到实际图像当中的缺陷信息，又能学习到标准图像的设计信息，并提升模型对于未知缺陷的检出能力，进而提升模型的缺陷检测效果。

Description

模型训练方法、装置、存储介质、设备及计算机程序产品

技术领域

本申请涉及人工智能技术领域，具体涉及一种模型训练方法、装置、存储介质、设备及计算机程序产品。

背景技术

工业质检是保证产品质量的重要环节，目前常用方法为拍照机结合人工视检，人工视检存在极大的不足，故而通常会引进深度学习的方法来辅助缺陷的检测，但由于面板设计存在的多样性，在使用深度学习网络构建模型时，会存在着对于部分缺陷情况检测效果不佳的问题。

发明内容

本申请的主要目的在于提供一种模型训练方法、装置、存储介质、设备及计算机程序产品，旨在解决现有技术中检测缺陷用的模型检测效果不佳的问题。

为实现上述目的，本申请的实施例采用的技术方案如下：

第一方面，本申请实施例提供一种模型训练方法，包括以下步骤：

获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域；

将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像；

将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；

将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；

以目标图像为训练数据集，训练获得缺陷检测模型。

通过对获取到的实际图像与标准图像分别进行灰度化处理，并将灰度化后的图像进行相减运算，在灰度差值图像上以标准图像为基础更为突出实际图像上的缺陷信息，并将第一灰度图像、第二灰度图像以及灰度差值图像依次进行堆叠，重新构造出具有三通道的目标图像，以该目标图像作为训练数据集训练模型，使得模型既能够学习到实际图像当中的缺陷信息，又能够学习标准图像的设计信息，并突出对细小缺陷的检出能力，避免了漏检情况产生，并提升模型对于未知缺陷的检出能力，使模型对缺陷检测的效果得到提升。

在第一方面的一种可能实现方式中，将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像之前，模型训练方法还包括：

将第一灰度图像进行裁剪，并获得第一目标灰度图像；

在第二灰度图像上提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像；

将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像，包括：

将第一目标灰度图像与第二目标灰度图像进行相减运算，以获得灰度差值图像。

为了避免实际图像与标准图像存在过多的位置偏差，将实际图像的灰度图像进行裁剪，也即将第一灰度图像的尺寸减小，以确保标准图像的尺寸大于第一灰度图像的尺寸，标准图像是能够对实际图像完成全覆盖的，降低位置偏差发生的可能。由于实际图像与标准图像是对应产品的相同区域，并且在后续的重构图像过程中也需要保持图像的一致性，因此需要获得与第一目标灰度图像对应的第二灰度图像，在第一目标灰度图像的尺寸缩减的情况下，已经避免了位置偏差的可能，因此可以在尺寸更大的第二灰度图像准确提取出与第一目标灰度图像对应区域的图像

在第一方面的一种可能实现方式中，将第一灰度图像进行裁剪，并获得第一目标灰度图像，包括：

将第一灰度图像进行基于像素的裁剪，并获得第一目标灰度图像。

由于图像的构成要素就是像素，图像处理的最小单元也是像素，因此在本实施例中进行基于像素的裁剪，以像素单元来进行裁剪，能够最大程度保留实际图像的尺寸以及图像上的缺陷信息。

在第一方面的一种可能实现方式中，将第一灰度图像进行基于像素的裁剪，并获得第一目标灰度图像，包括：

将第一灰度图像的四边均裁剪相同像素的宽度，并获得第一目标灰度图像。

将图像进行裁剪时，可以采用不同的像素宽度进行裁剪，但为了保证处理的一致性，并且由于裁剪操作可以通过图像处理的软件直接操作，避免多次修改参数，本实施例采用相同像素尺寸的裁剪，以相同像素宽度对图像四边进行裁剪，由于一个像素尺寸对应的尺寸非常小，裁剪若干个像素宽度是不会影响图像的整体的形状。并且四边同时进行裁剪，相当于对实际图像进行了整体减小，避免了实际图像的边界会与标准图像的边界重合，实际图像完全位于标准图像的范围以内，并且没有边界的重合，能有利于第一灰度图像的提取。

在第一方面的一种可能实现方式中，在第二灰度图像上提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像，包括：

在第二灰度图像上采用模板匹配方法提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像。

模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题，模板就是一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。本实施例中可直接采用OpenCV提供的模板匹配方法，快速准确提取第二灰度图像上与第一目标灰度图像对应区域的图像。

在第一方面的一种可能实现方式中，在第二灰度图像上采用模板匹配方法提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像，包括：

在第一灰度图像上绘制定位区域，并获得定位区域的顶点坐标；

在第二灰度图像上绘制查找区域，并获得查找区域的顶点坐标；

在查找区域上以定位区域为目标区域进行搜索，并获得第二目标灰度图像。

由于图像是二维图像，因此基于图像可以的长宽方向可以建立坐标系，以坐标为匹配查找的根据，可以快速准确地进行匹配查找。在第一灰度图像上绘制定位区域，也即一个矩形框，矩形框只要获得其顶点左边，就能够准确获得其大小以及在图像上所在的位置。在第二灰度图像上绘制查找区域，由于是在整张图像上进行查找，此处的查找区域就是第二灰度图像的边界所包含的区域，查找区域的顶点坐标确定了，即将查找区域的范围以坐标形式表示。

在第一方面的一种可能实现方式中，将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像，包括：

分别获得第一灰度图像与第二灰度图像对应像素点的像素值，并进行相减运算；

以运算结果的绝对值作为灰度差值图像对应点的像素值，并获得灰度差值图像。

以图像的基本构成单元作为相减运算的基础，能够更准确获得差值图像，由于第一灰度图像、第二灰度图像以及相减运算获得的灰度差值图像都是基于产品的同一个位置区域，因此图像上的像素点必定是各自对应的，将第一灰度图像与第二灰度图像对应的一个像素点的像素值作差，以其差值的绝对值作为灰度差值图像对应位置的像素点的像素值，重复上述步骤，获得所有像素点后即获得了灰度差值图像，并且灰度差值图像与进行相减运算的图像能够保持一致性。

在第一方面的一种可能实现方式中，将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，模型训练方法还包括：

对目标图像进行标注，并获得标注目标图像；

以目标图像为训练数据集，训练获得缺陷检测模型，包括：

以标注目标图像为训练数据集，训练获得缺陷检测模型。

由于获得的目标图像只是突出显示了缺陷信息的图像，而为了训练时模型更快、更有目标性地学习到这些缺陷信息，对目标图像进行标注，以更快提取缺陷信息，使模型的训练更快、更准确；标注的方式可以是着色、轮廓提取等，能将缺陷区域着重显示出，并有利于机器识别的方式即可。

在第一方面的一种可能实现方式中，将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，模型训练方法还包括：

对目标图像进行图像增强，并获得增强目标图像；

以目标图像为训练数据集，训练获得缺陷检测模型，包括：

以增强目标图像为训练数据集，训练获得缺陷检测模型。

图像增强指增强图像中的有用信息，可以是一个失真的过程，其目的是要改善图像的视觉效果，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足分析的需要，使得模型训练的质量提升，进而提升模型检测的效果。

在第一方面的一种可能实现方式中，将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，模型训练方法还包括：

对目标图像进行清洗，并获得清洗目标图像；

以目标图像为训练数据集，训练获得缺陷检测模型，包括：

以清洗目标图像为训练数据集，训练获得缺陷检测模型。

对图像进行清洗指对图像数据进行清洗，确认图像中是否存在重复、是否存在缺失、图像是否具有完整性、图像中是否存在异常值等，当发现目标图像中存在如上的问题时，进行针对性的处理即为对图像进行清洗，能够避免对训练数据带来的干扰，即便这些干扰不会影响模型成功构建，但是在参与检测时，这些干扰就会使得模型的检测能力降低或者检测受到干扰。对其进行清洗之后这些干扰因素出现的概率大大降低，能够提升模型检测的效果。

第二方面，本申请实施例提供一种模型训练装置，包括：

获得模块，获得模块用于获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域；

灰度模块，灰度模块用于将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像；

差值模块，差值模块用于将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；

堆叠模块，堆叠模块用于将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；

训练模块，训练模块用于以目标图像为训练数据集，训练获得缺陷检测模型。

第三方面，本申请实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的模型训练方法。

第四方面，本申请实施例提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的模型训练方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如上述第一方面中任一项提供的模型训练方法。

与现有技术相比，本申请的有益效果是：

本申请实施例提出的一种模型训练方法、装置、存储介质、设备及计算机程序产品，该方法通过获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域；将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像；将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；以目标图像为训练数据集，训练获得缺陷检测模型。本申请的方法首先通过获得对应目标产品相同区域的实际图像以及标准图像，并分别进行灰度化处理，使其成为一个像素中只有一种颜色分量的单通道图像，避免了色彩对于缺陷提取的干扰，而后将实际图像与标准图像的灰度图进行相减运算，由于标准图像与实际图像对应目标产品的相同区域，标准图像是拍摄无缺陷产品获得的图像，在运算获得的灰度差值图像上，能够更为突出一些视觉上不易发现的细小缺陷，并在无缺陷的标准图像的对比下，还能提升模型对于未知缺陷的检出能力，最后再根据获得的第一灰度图像、第二灰度图像以及灰度差值图像依次进行堆叠，重新构造出具有三通道的目标图像，以该图像作为训练模型的基础，训练出的模型既能够学习到实际图像当中的缺陷信息，又能够学习标准图像的设计信息，并突出对细小缺陷的检出能力，避免了漏检、无法检测的情况产生，提升了模型对缺陷检测的效果。

附图说明

图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；

图2为本申请实施例提供的模型训练方法的流程示意图；

图3为本申请实施例提供的模型训练装置的模块示意图；

图4为本申请实施例提供的模型训练方法中第一灰度图像的示意图；

图5为本申请实施例提供的模型训练方法中第二灰度图像的示意图；

图6为本申请实施例提供的模型训练方法中灰度差值图像的示意图；

图7为本申请实施例提供的模型训练方法中对图像进行堆叠的示意图；

图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：提出一种模型训练方法、装置、存储介质、设备及计算机程序产品，包括获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域；将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像；将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；以目标图像为训练数据集，训练获得缺陷检测模型。

制造业是大国经济的基石，对推动经济增长至关重要，提升质量控制技术，完善质量管理机制，夯实质量发展基础，优化质量发展环境，努力实现制造业质量大幅提升是发展的必然方向。工业质检是保证产品质量的重要环节，目前常用方法为拍照机结合人工视检，主要流程是先通过图像采集设备对产线生产的板材进行扫描拍照；再通过质检工人目检方式，对采集的图片进行筛选，选出其中存在缺陷会影响使用的板材图片，通过机器对这些图片对应的板材进行重工、修补、报废等操作；但人工视检存在极大的不足，故而通常会引进深度学习的方法来辅助缺陷的检测，但由于面板设计存在的多样性，在使用深度学习网络构建模型时，会存在着对于部分情况检测效果不佳的问题。

为此，本申请提供一种解决方案，通过获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域；将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像；将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；以目标图像为训练数据集，训练获得缺陷检测模型。能够使模型学习到实际图像当中的缺陷信息，又能够学习标准图像的设计信息，并突出对细小缺陷的检出能力，避免了漏检、无法检测的情况产生，提升了模型对缺陷检测的效果。

参照附图1，附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（Central Processing Unit，CPU），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可能是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本申请中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的模型训练装置，并执行本申请实施例提供的模型训练方法。

参照附图2，基于前述实施例的硬件设备，本申请的实施例提供一种模型训练方法，包括以下步骤：

S10：获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域。

在具体实施过程中，目标产品指待检测的产品，实际图像为通过图像采集设备拍摄待检测的产品获得的图像，标准图像为工业质检设备使用的学习图像，该学习图像是质检设备拍摄无缺陷产品获得的图像。因此，目标产品可以是一切具有标准的无缺陷图像的产品，只要能够提供实际图像以及与之对应的无缺陷图像，就能够适用本申请的方法，具有良好的扩展性，本申请实施例中以印制电路板做说明。

S20：将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像。

在具体实施过程中，为方便图像的处理，便于后续对细小缺陷的突显并重构训练数据集，将图像均处理为单通道图像，也即将图像灰度化，在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255。本实施例中，对实际图像与标准图像灰度化处理后，分别获得对应的灰度图像，即为第一灰度图像与第二灰度图像，如附图4所示为目标产品的实际图像对应的第一灰度图像，附图5为标准图像对应的第二灰度图像。针对于印制电路板图像的拍摄获取，通常采用AVI或AOI设备，也即自动视觉检测设备与自动光学检测设备，但需要注意的是，AVI设备采集的图像可以直接输出为灰度图像，本实施例中的灰度化处理主要针对如AOI设备等无法直接输出灰度图像的采集设备。

S30：将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像。

在具体实施过程中，图像之间的相减运算是指在两幅图像之间对应像素做减法运算，可以获得两幅图像的差异信息，由于其中一个图像为标准图像转换而来，因此在相减运算之后一些细小缺陷也能够被突出显示出来，如附图6所示，相减运算之后，对应位置的像素之间会有差值，根据该差值确定新的像素值，进而可以构建出像素位置对应的灰度差值图像。

S40：将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像。

在具体实施过程中，将单通道图像也即灰度图像处理完毕之后，需要将图像进行重构以还原为可以作为训练用的图像数据，将实际图像的灰度图像、标准图像的灰度图像以及二者进行相减运算后获得的灰度差值图像进行堆叠，也即将单通道图像进行堆叠重构，获得多通道的图像，本实施例中按照如附图7所示的第一灰度图像、第二灰度图像以及灰度差值图像的顺序堆叠，构造出新的三通道的目标图像，使得实际图像上的细小缺陷得以在重构的图像上突出显示。

S50：以目标图像为训练数据集，训练获得缺陷检测模型。

在具体实施过程中，将构造的新图像作为训练数据集，配合现有的网络如深度学习网络训练获得缺陷检测模型，使模型学习到了标准图像的布局，并可以结合标准图像学习到实际图像中的缺陷信息，尤其是针对于肉眼难以辨认的细小缺陷，可减少模型的漏检，提升检测效果。

本实施例中，通过对获取到的实际图像与标准图像分别进行灰度化处理，并将灰度化后的图像进行相减运算，在灰度差值图像上以标准图像为基础更为突出实际图像上的缺陷信息，并将第一灰度图像、第二灰度图像以及灰度差值图像依次进行堆叠，重新构造出具有三通道的目标图像，以该目标图像作为训练数据集训练模型，使得模型既能够学习到实际图像当中的缺陷信息，又能够学习标准图像的设计信息，并突出对细小缺陷的检出能力，避免了漏检情况产生，并提升模型对于未知缺陷的检出能力，使模型对缺陷检测的效果得到提升。

在一种实施例中，将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像之前，模型训练方法还包括：

将第一灰度图像进行裁剪，并获得第一目标灰度图像；

在具体实施过程中，为了避免实际图像与标准图像存在过多的位置偏差，将实际图像的灰度图像进行裁剪，也即将第一灰度图像的尺寸减小，以确保标准图像的尺寸大于第一灰度图像的尺寸，标准图像是能够对实际图像完成全覆盖的，降低位置偏差发生的可能，并获得裁剪后的图像为第一目标灰度图像。

在第二灰度图像上提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像；

在具体实施过程中，由于实际图像与标准图像是对应产品的相同区域，并且在后续的重构图像过程中也需要保持图像的一致性，因此需要获得与第一目标灰度图像对应的第二灰度图像，在第一目标灰度图像的尺寸缩减的情况下，已经避免了位置偏差的可能，因此可以在尺寸更大的第二灰度图像准确提取出与第一目标灰度图像对应区域的图像，即为第二目标灰度图像。

在第一灰度图像与第二灰度图像做了上述处理后，将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像，包括：

将第一目标灰度图像与第二目标灰度图像进行相减运算，以获得灰度差值图像。

在一种实施例中，将第一灰度图像进行裁剪，并获得第一目标灰度图像，包括：

将第一灰度图像进行基于像素的裁剪，并获得第一目标灰度图像。

在具体实施过程中，提供一种对第一灰度图像进行裁剪的方式，由于图像的构成要素就是像素，图像处理的最小单元也是像素，因此在本实施例中进行基于像素的裁剪，以像素单元来进行裁剪，能够最大程度保留实际图像的尺寸以及图像上的缺陷信息。具体的：

将第一灰度图像进行基于像素的裁剪，并获得第一目标灰度图像，包括：

将第一灰度图像的四边均裁剪相同像素的宽度，并获得第一目标灰度图像。

在具体实施过程中，将图像进行裁剪时，可以采用不同的像素宽度进行裁剪，但为了保证处理的一致性，并且由于裁剪操作可以通过图像处理的软件直接操作，避免多次修改参数，本实施例采用相同像素尺寸的裁剪，以相同像素宽度对图像四边进行裁剪，由于一个像素尺寸对应的尺寸非常小，裁剪若干个像素宽度是不会影响图像的整体的形状。并且四边同时进行裁剪，相当于对实际图像进行了整体减小，避免了实际图像的边界会与标准图像的边界重合，实际图像完全位于标准图像的范围以内，并且没有边界的重合，能有利于第一灰度图像的提取。

在一种实施例中，在第二灰度图像上提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像，包括：

在第二灰度图像上采用模板匹配方法提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像。

在具体实施过程中，提供一种裁剪后提取第二目标灰度图像的实施方式，模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题，模板就是一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。本实施例中可直接采用OpenCV提供的模板匹配方法，快速准确提取第二灰度图像上与第一目标灰度图像对应区域的图像，也即第二目标灰度图像。

在一种实施例中，在第二灰度图像上采用模板匹配方法提取与第一目标灰度图像对应区域的图像，并获得第二目标灰度图像，包括：

在第一灰度图像上绘制定位区域，并获得定位区域的顶点坐标；

在第二灰度图像上绘制查找区域，并获得查找区域的顶点坐标；

在查找区域上以定位区域为目标区域进行搜索，并获得第二目标灰度图像。

在具体实施过程中，提供一种主动绘制定位区域进行匹配的方式，由于图像是二维图像，因此基于图像可以的长宽方向可以建立坐标系，以坐标为匹配查找的根据，可以快速准确地进行匹配查找。在第一灰度图像上绘制定位区域，也即一个矩形框，矩形框只要获得其顶点左边，就能够准确获得其大小以及在图像上所在的位置。在第二灰度图像上绘制查找区域，由于是在整张图像上进行查找，此处的查找区域就是第二灰度图像的边界所包含的区域，查找区域的顶点坐标确定了，即将查找区域的范围以坐标形式表示。由此可以在查找区域上以定位区域为目标区域进行搜索，搜索的方式可以是以确定搜索坐标的形式进行，即根据图像的尺寸信息确定搜索坐标，虽然实际图像相对于标准图像的尺寸差异并不大，搜索的偏移会较小，但是对于搜索精度的提升是必然的。

搜索坐标是指在目标图像上进行搜索的距离大小，如起始定位区域的顶点坐标为左上（Row1, Column1）、右下（Row2, Column2），目标图像的尺寸为（width，heght），则可以定位搜索坐标为左上（Row1-10，0）、右下（Row2+10，width），即在目标图像中进行横向全图搜索和纵向偏移10像素搜索，能够大幅度缩短搜索时间，同时避免其他区域的误识别。

在一种实施例中，将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像，包括：

分别获得第一灰度图像与第二灰度图像对应像素点的像素值，并进行相减运算；

以运算结果的绝对值作为灰度差值图像对应点的像素值，并获得灰度差值图像。

在具体实施过程中，提供一种图像进行相减运算的实施方式，以图像的基本构成单元作为相减运算的基础，能够更准确获得差值图像，由于第一灰度图像、第二灰度图像以及相减运算获得的灰度差值图像都是基于产品的同一个位置区域，因此图像上的像素点必定是各自对应的，将第一灰度图像与第二灰度图像对应的一个像素点的像素值作差，以其差值的绝对值作为灰度差值图像对应位置的像素点的像素值，重复上述步骤，获得所有像素点后即获得了灰度差值图像，并且灰度差值图像与进行相减运算的图像能够保持一致性。

在一种实施例中，将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，模型训练方法还包括：

对目标图像进行标注，并获得标注目标图像。

在具体实施过程中，由于获得的目标图像只是突出显示了缺陷信息的图像，而为了训练时模型更快、更有目标性地学习到这些缺陷信息，对目标图像进行标注，以更快提取缺陷信息，使模型的训练更快、更准确；标注的方式可以是着色、轮廓提取等，能将缺陷区域着重显示出，并有利于机器识别的方式即可。

基于本实施例进行的标注处理，以目标图像为训练数据集，训练获得缺陷检测模型，包括：

以标注目标图像为训练数据集，训练获得缺陷检测模型。

在一种实施例中，将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，模型训练方法还包括：

对目标图像进行图像增强，并获得增强目标图像。

在具体实施过程中，图像增强指增强图像中的有用信息，可以是一个失真的过程，其目的是要改善图像的视觉效果，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足分析的需要，使得模型训练的质量提升，进而提升模型检测的效果。

基于本实施例进行的增强处理，以目标图像为训练数据集，训练获得缺陷检测模型，包括：

以增强目标图像为训练数据集，训练获得缺陷检测模型。

在一种实施例中，将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，模型训练方法还包括：

对目标图像进行清洗，并获得清洗目标图像。

在具体实施过程中，对图像进行清洗指对图像数据进行清洗，确认图像中是否存在重复、是否存在缺失、图像是否具有完整性、图像中是否存在异常值等，当发现目标图像中存在如上的问题时，进行针对性的处理即为对图像进行清洗，能够避免对训练数据带来的干扰，即便这些干扰不会影响模型成功构建，但是在参与检测时，这些干扰就会使得模型的检测能力降低或者检测受到干扰。对其进行清洗之后这些干扰因素出现的概率大大降低，能够提升模型检测的效果。

基于本实施例进行的清洗处理，以目标图像为训练数据集，训练获得缺陷检测模型，包括：

以清洗目标图像为训练数据集，训练获得缺陷检测模型。

参照附图3，基于与前述实施例中同样的发明构思，本申请实施例还提供一种模型训练装置，该装置包括：

获得模块，获得模块用于获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域；

灰度模块，灰度模块用于将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像；

差值模块，差值模块用于将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；

堆叠模块，堆叠模块用于将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；

训练模块，训练模块用于以目标图像为训练数据集，训练获得缺陷检测模型。

本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述模型训练方法的实施方式，这里不再赘述。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本申请实施例提供的模型训练方法。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如本申请实施例提供的模型训练方法。

此外，基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如本申请实施例提供的模型训练方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

综上，本申请提供的一种模型训练方法、装置、存储介质、设备及计算机程序产品，通过获取目标产品的实际图像和标准图像；其中，标准图像与实际图像对应目标产品的相同区域；将实际图像和标准图像灰度化处理，以获取实际图像对应的第一灰度图像和标准图像对应的第二灰度图像；将第一灰度图像与第二灰度图像进行相减运算，以获得灰度差值图像；将第一灰度图像、第二灰度图像以及灰度差值图像进行堆叠，以获得具有三通道的目标图像；以目标图像为训练数据集，训练获得缺陷检测模型。在便于处理的单通道灰度化图像上，以标准图像为基础进行图像相减运算来突出细小缺陷信息，并重构得到三通道图像作为训练数据，以此训练的模型既能够学习到实际图像当中的缺陷信息，又能够学习标准图像的设计信息，还能提升模型对于未知缺陷的检出能力，提升了模型对缺陷检测的效果。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种模型训练方法，其特征在于，包括以下步骤：

获取目标产品的实际图像和标准图像；其中，所述标准图像与所述实际图像对应所述目标产品的相同区域；

将所述实际图像和所述标准图像灰度化处理，以获取所述实际图像对应的第一灰度图像和所述标准图像对应的第二灰度图像；

将所述第一灰度图像与所述第二灰度图像进行相减运算，以获得灰度差值图像；

将所述第一灰度图像、所述第二灰度图像以及所述灰度差值图像进行堆叠，以获得具有三通道的目标图像；

以所述目标图像为训练数据集，训练获得缺陷检测模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述将所述第一灰度图像与所述第二灰度图像进行相减运算，以获得灰度差值图像之前，所述模型训练方法还包括：

将所述第一灰度图像进行裁剪，并获得第一目标灰度图像；

在所述第二灰度图像上提取与所述第一目标灰度图像对应区域的图像，并获得第二目标灰度图像；

所述将所述第一灰度图像与所述第二灰度图像进行相减运算，以获得灰度差值图像，包括：

将所述第一目标灰度图像与所述第二目标灰度图像进行相减运算，以获得灰度差值图像。

3.根据权利要求2所述的模型训练方法，其特征在于，所述将所述第一灰度图像进行裁剪，并获得第一目标灰度图像，包括：

将所述第一灰度图像进行基于像素的裁剪，并获得第一目标灰度图像。

4.根据权利要求3所述的模型训练方法，其特征在于，所述将所述第一灰度图像进行基于像素的裁剪，并获得第一目标灰度图像，包括：

将所述第一灰度图像的四边均裁剪相同像素的宽度，并获得所述第一目标灰度图像。

5.根据权利要求2所述的模型训练方法，其特征在于，所述在所述第二灰度图像上提取与所述第一目标灰度图像对应区域的图像，并获得第二目标灰度图像，包括：

在所述第二灰度图像上采用模板匹配方法提取与所述第一目标灰度图像对应区域的图像，并获得第二目标灰度图像。

6.根据权利要求5所述的模型训练方法，其特征在于，所述在所述第二灰度图像上采用模板匹配方法提取与所述第一目标灰度图像对应区域的图像，并获得第二目标灰度图像，包括：

在所述第一灰度图像上绘制定位区域，并获得所述定位区域的顶点坐标；

在所述第二灰度图像上绘制查找区域，并获得所述查找区域的顶点坐标；

在所述查找区域上以所述定位区域为目标区域进行搜索，并获得所述第二目标灰度图像。

7.根据权利要求1所述的模型训练方法，其特征在于，所述将所述第一灰度图像与所述第二灰度图像进行相减运算，以获得灰度差值图像，包括：

分别获得所述第一灰度图像与所述第二灰度图像对应像素点的像素值，并进行相减运算；

以运算结果的绝对值作为所述灰度差值图像对应点的像素值，并获得所述灰度差值图像。

8.根据权利要求1所述的模型训练方法，其特征在于，所述将所述第一灰度图像、所述第二灰度图像以及所述灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，所述模型训练方法还包括：

对所述目标图像进行标注，并获得标注目标图像；

所述以所述目标图像为训练数据集，训练获得缺陷检测模型，包括：

以所述标注目标图像为训练数据集，训练获得缺陷检测模型。

9.根据权利要求1所述的模型训练方法，其特征在于，所述将所述第一灰度图像、所述第二灰度图像以及所述灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，所述模型训练方法还包括：

对所述目标图像进行图像增强，并获得增强目标图像；

所述以所述目标图像为训练数据集，训练获得缺陷检测模型，包括：

以所述增强目标图像为训练数据集，训练获得缺陷检测模型。

10.根据权利要求1所述的模型训练方法，其特征在于，所述将所述第一灰度图像、所述第二灰度图像以及所述灰度差值图像进行堆叠，以获得具有三通道的目标图像之后，所述模型训练方法还包括：

对所述目标图像进行清洗，并获得清洗目标图像；

所述以所述目标图像为训练数据集，训练获得缺陷检测模型，包括：

以所述清洗目标图像为训练数据集，训练获得缺陷检测模型。

11.一种模型训练装置，其特征在于，包括：

获得模块，所述获得模块用于获取目标产品的实际图像和标准图像；其中，所述标准图像与所述实际图像对应所述目标产品的相同区域；

灰度模块，所述灰度模块用于将所述实际图像和所述标准图像灰度化处理，以获取所述实际图像对应的第一灰度图像和所述标准图像对应的第二灰度图像；

差值模块，所述差值模块用于将所述第一灰度图像与所述第二灰度图像进行相减运算，以获得灰度差值图像；

堆叠模块，所述堆叠模块用于将所述第一灰度图像、所述第二灰度图像以及所述灰度差值图像进行堆叠，以获得具有三通道的目标图像；

训练模块，所述训练模块用于以所述目标图像为训练数据集，训练获得缺陷检测模型。

12.一种计算机可读存储介质，储存有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1-10中任一项所述的模型训练方法。

13.一种电子设备，其特征在于，包括处理器及存储器，其中，

所述存储器用于存储计算机程序；

所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1-10中任一项所述的模型训练方法。

14.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被执行时，用于执行如权利要求1-10中任一项所述的模型训练方法。

Images