CN115984244A - 面板缺陷标注方法、装置、存储介质、设备及程序产品 - Google Patents

Abstract

本申请的实施例公开了一种面板缺陷标注方法、装置、存储介质、设备及程序产品，涉及图像处理技术领域，包括：在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；分别对第一掩码图像和第二掩码图像进行修复，获得第一修复图像与第二修复图像；分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像；将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息；根据目标缺陷信息，对目标图像上的缺陷进行标注。本申请通过分别生成掩码，将完整缺陷分割为两部分进行提取，最后再合并为完整缺陷进行标注，提取更为准确完整，并避免过程中复杂背板的干扰，提升了缺陷标注的质量。

Description

面板缺陷标注方法、装置、存储介质、设备及程序产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种面板缺陷标注方法、装置、存储介质、设备及程序产品。

背景技术

PCB即印制线路板，简称印制板，是电子工业的重要部件之一。几乎每种电子设备，小到电子手表、计算器，大到计算机、通信电子设备、军用武器系统，只要有集成电路等电子元件，为了使各个元件之间的电气互连，都要使用印制板；为了确保PCB板的质量，对其上的缺陷进行标注提取就显得尤为重要。

现有的缺陷标注技术可以分为手动标注与自动标注，在面对大量标注工作时，手动标注的效率与准确性显然已经无法满足需要，而自动标注技术虽然效率更高，但其模型的训练、异常识别等操作中，依然需要人员参与完成大量标注，这就导致自动标注的效率与准确性受限。

发明内容

本申请的主要目的在于提供一种面板缺陷标注方法、装置、存储介质、设备及程序产品，旨在解决现有技术中缺陷标注的质量较低的问题。

为实现上述目的，本申请的实施例采用的技术方案如下：

第一方面，本申请实施例提供一种面板缺陷标注方法，包括以下步骤：

在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，掩码包括位于第一掩码图像上的第一掩码以及位于第二掩码图像上的第二掩码，第一掩码与第二掩码分别掩盖目标图像上的不同区域，并使第一掩码与第二掩码所在区域能够完全覆盖目标图像上的缺陷；

分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；

分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像；

将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息；

根据目标缺陷信息，对目标图像上的缺陷进行标注。

通过分别生成掩码，分散为多个掩码图像进行图像修复，由于有掩码的存在，未被覆盖的缺陷不会被处理，确保缺陷提取不会有遗落或重合；相当于把一个完整的图像进行分部修复，使得缺陷的提取能够更完整精确，进而再与原来的图像进行像素做差，作差之后修复图像与原来的图像上像素一致的地方就被处理成同样的状态，避免了其他复杂背板的干扰，有利于快速获得图像上的缺陷；而由于是用组合掩码的形式完全覆盖缺陷，分别提取到的缺陷再合并起来就是目标图像上完整的缺陷，准确提取缺陷之后则可以实现对缺陷的快速标准，标注工作可以完全脱离人工，避免人工参与标注降低效率与准确性，缺陷标注的质量得以提升。

在第一方面的一种可能实现方式中，分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像之后，面板缺陷标注方法还包括：

分别对第一差值图像和第二差值图像上的缺陷进行提取，获得第一差值图像上缺陷的第一bbox坐标和第二差值图像上缺陷的第二bbox坐标；

将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息，包括：

将第一差值图像上缺陷的第一bbox坐标与第二差值图像上缺陷的第二bbox坐标合并，获得目标缺陷位置的bbox坐标信息。

一方面为了降低标注文件生成的难度，也为了降低提取缺陷的难度，利用bbox坐标来对缺陷的位置进行表征，并用于准确提取缺陷，bbox坐标即缺陷位置区域框坐标，构造一个矩形框来覆盖缺陷位置，避免了提取缺陷复杂的轮廓信息来确定位置。

在第一方面的一种可能实现方式中，根据目标缺陷信息，对目标图像上的缺陷进行标注，包括：

根据目标缺陷位置的bbox坐标信息，生成标注文件；

根据标注文件，对目标图像上的缺陷进行标注。

一方面为了降低标注文件生成的难度，也为了降低提取缺陷的难度，利用bbox坐标来对缺陷的位置进行表征，并用于准确提取缺陷，bbox坐标即缺陷位置区域框坐标，构造一个矩形框来覆盖缺陷位置，如附图11与附图12所示，避免了提取缺陷复杂的轮廓信息来确定位置。

在第一方面的一种可能实现方式中，第一掩码与第二掩码为对称图形。

为降低掩码的生成难度，并确保第一掩码与第二掩码对图像上缺陷覆盖的准确与全面，将第一掩码与第二掩码为对称图形，即可以看做两个掩码图像进行重合，一个掩码图像上的白色区域可以覆盖另一个掩码图像上的黑色区域，以互补的形式构成完整的矩形掩码区域。

在第一方面的一种可能实现方式中，分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像，包括：

分别将第一修复图像和第二修复图像，与目标图像的对应像素点做差，获得像素差值信息；

将像素差值信息作为新的像素点的像素值，对应生成第一差值图像和第二差值图像。

由于是将完整缺陷分割处理的，本步骤中的修复图像已经可以看做是每一条处理路线中的无缺陷图像，将无缺陷的图像与目标图像，也就是带有缺陷的实际图像进行像素做差，那么修复图像上未被掩码处理的那部分缺陷得以在做差中凸显。

在第一方面的一种可能实现方式中，将像素差值信息作为新的像素点的像素值，对应生成第一差值图像和第二差值图像之后，面板缺陷标注方法还包括：

分别对第一差值图像和第二差值图像进行二值化处理，获得第一二值化差值图像和第二二值化差值图像；

将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息，包括：

将第一二值化差值图像与第二二值化差值图像上的缺陷信息合并，获得目标缺陷信息。

为了更明确缺陷信息，使做差之后缺陷所在区域的像素点能够更为明确的体现缺陷位置，避免对应缺陷所在区域的像素点的像素值不同，使缺陷出现轮廓不清晰、深浅不一的状态，将差值图像进行二值化处理，也即黑白图像，缺陷表现为白色，其他区域归置为黑色，使得缺陷凸显更清晰，有利于准确提取。

在第一方面的一种可能实现方式中，分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像，包括：

分别将第一掩码图像和第二掩码图像上的掩码去除，获得待修复图像；

基于待修复图像上除掩码以外区域的背景信息，生成修复素材；

将修复素材置于掩码所在区域，获得第一修复图像与第二修复图像。

图像修复，广泛地讲是将丢失或损坏的图像还原为原图像的状态，本申请实施例所指图像修复，是指将掩码所在的区域修复为目标图像对应的无缺陷产品图像，也就是说，两个掩码图像上被掩码覆盖区域上的缺陷分别进行了去除，由于PCB板的精密程度较高，无法获得在真实状态下无缺陷的产品图像，因此采用上述修复手段，来获得无缺陷的产品图像，由于是分开处理的，即便单一修复图像上还具有缺陷，但是将两个修复图像组合看待，就已经获得完整的无缺陷图像。在图像上其他区域提取到PCB背板上的图案、颜色、纹理等背景信息，进而通过这些信息就可以知道在掩码处的图像背景分布规律，从而生成修复用的修复素材，也就是一小块带有背景信息的图像，并且图像上的背景是与原图像上匹配的，进而只需要将大小与掩码区域匹配的修复素材置于原掩码所在的区域，即完成图像的修复。

在第一方面的一种可能实现方式中，分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像，包括：

将第一掩码图像和第二掩码图像输入已训练的图像修复模型，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；其中，图像修复模型能够将图像上的掩码去除，并将掩码所在区域的图像修复为对应的无缺陷产品图像。

为了降低图像修复的时间，提升标注的效率，提前训练模型以避免每一次标注过程都要在修复过程消耗时间，由于对训练样本进行了处理，使得模型能够如前述实施例的修复操作，将图像上的掩码所在区域修复为对应的无缺陷产品图像。

在第一方面的一种可能实现方式中，将第一掩码图像和第二掩码图像输入已训练的图像修复模型，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像之前，面板缺陷标注方法还包括：

获得若干无缺陷的目标产品的背景图；

将掩码素材分别与背景图叠加，获得若干叠加图像；

基于若干叠加图像、背景图以及掩码素材，训练获得图像修复模型。

将背景图与掩码素材叠加，人为制造以获得若干叠加图像，也就是带有掩码的图像，然后将叠加图像、背景图以及掩码素材作为训练样本，在有监督训练下使模型学习到叠加图像的组合，以此来将叠加图像上的掩码素材进行去除，从而将叠加图像还原为背景图。

在第一方面的一种可能实现方式中，获得若干无缺陷的目标产品的背景图之后，面板缺陷标注方法还包括：

对背景图进行数据增强，获得目标背景图；

将掩码素材分别与背景图叠加，获得若干叠加图像，包括：

将掩码素材分别与目标背景图叠加，获得若干叠加图像。

由于背景图的数量可能不足，采用数据增强以获得更多的样本图像，对背景图进行对称、旋转、裁剪、翻转等几何变换操作，使样本图像集扩充、图像质量得到增强，有利于提升模型的稳健性与泛化能力。

第二方面，本申请实施例提供一种面板缺陷标注装置，包括：

掩码模块，掩码模块用于在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，掩码包括位于第一掩码图像上的第一掩码以及位于第二掩码图像上的第二掩码，第一掩码与第二掩码分别掩盖目标图像上的不同区域，并使第一掩码与第二掩码所在区域能够完全覆盖目标图像上的缺陷；

修复模块，修复模块用于分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；

差值模块，差值模块用于分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像；

合并模块，合并模块用于将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息；

标注模块，标注模块用于根据目标缺陷信息，对目标图像上的缺陷进行标注。

第三方面，本申请实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的面板缺陷标注方法。

第四方面，本申请实施例提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的面板缺陷标注方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如上述第一方面中任一项提供的面板缺陷标注方法。

与现有技术相比，本申请的有益效果是：

本申请实施例提出的一种面板缺陷标注方法、装置、存储介质、设备及程序产品，该方法包括：在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，掩码包括位于第一掩码图像上的第一掩码以及位于第二掩码图像上的第二掩码，第一掩码与第二掩码分别掩盖目标图像上的不同区域，并使第一掩码与第二掩码所在区域能够完全覆盖目标图像上的缺陷；分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像；将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息；根据目标缺陷信息，对目标图像上的缺陷进行标注。本申请的方法通过分别生成掩码，避免了用一个大尺寸掩码覆盖缺陷的操作不便，以及处理效果差，分散为多个掩码图像进行图像修复，由于有掩码的存在，掩码以外的区域能够保持原状，也就是未被覆盖的缺陷不会被处理，确保缺陷提取不会有遗落或重合；将掩码区域还原为无缺陷的图像后，相当于把一个完整的图像进行分部修复，使得缺陷的提取能够更完整精确，进而再与原来的图像进行像素做差，作差之后修复图像与原来的图像上像素一致的地方就被处理成同样的状态，避免了其他复杂背板的干扰，有利于快速获得图像上的缺陷；而由于是用组合掩码的形式完全覆盖缺陷，分别提取到的缺陷再合并起来就是目标图像上完整的缺陷，准确提取缺陷之后则可以实现对缺陷的快速标准，标注工作可以完全脱离人工，避免人工参与标注降低效率与准确性，缺陷标注的质量得以提升。

附图说明

图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；

图2为本申请实施例提供的面板缺陷标注方法的流程示意图；

图3为本申请实施例提供的面板缺陷标注装置的模块示意图；

图4为本申请实施例提供的面板缺陷标注方法中一种目标图像的示意图；

图5为本申请实施例提供的面板缺陷标注方法中一种第一掩码图像的示意图；

图6为本申请实施例提供的面板缺陷标注方法中一种第二掩码图像的示意图；

图7为本申请实施例提供的面板缺陷标注方法中一种第一修复图像的示意图；

图8为本申请实施例提供的面板缺陷标注方法中一种第二修复图像的示意图；

图9为本申请实施例提供的面板缺陷标注方法中一种第一差值图像的示意图；

图10为本申请实施例提供的面板缺陷标注方法中一种第二差值图像的示意图；

图11为本申请实施例提供的面板缺陷标注方法中获得第一差值图像上缺陷的第一bbox坐标的示意图；

图12为本申请实施例提供的面板缺陷标注方法中获得第二差值图像上缺陷的第二bbox坐标的示意图；

图13为本申请实施例提供的面板缺陷标注方法中将第一bbox坐标与第二bbox坐标合并的示意图；

图14为本申请实施例提供的面板缺陷标注方法中掩码对称设置的第一种实施方式；

图15为本申请实施例提供的面板缺陷标注方法中掩码对称设置的第二种实施方式；

图16为本申请实施例提供的面板缺陷标注方法中掩码对称设置的第三种实施方式；

图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：提出一种面板缺陷标注方法、装置、存储介质、设备及程序产品，该方法包括：在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，掩码包括位于第一掩码图像上的第一掩码以及位于第二掩码图像上的第二掩码，第一掩码与第二掩码分别掩盖目标图像上的不同区域，并使第一掩码与第二掩码所在区域能够完全覆盖目标图像上的缺陷；分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像；将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息；根据目标缺陷信息，对目标图像上的缺陷进行标注。

为了确保PCB即印制线路板的质量，对其上的缺陷进行标注提取就显得尤为重要，传统的图像标注方法都是通过标注人员进行手工标注，在涉及到很多缺陷目标检测的项目时，由于样本众多、标注工作量大，手工标注的效率低，自动标注技术应运而生。

现有的缺陷自动标注技术，要么基于一定数量的已标注样本进行训练后标记，或者通过一些图像学原理、规律模式识别等进行异常识别，这类方案仍然需要人工参与大量标注，导致质量无法进一步提升；有的则在面对复杂的规律不明显的背景图样时无能为力，标注结果很不精确。

为此，本申请提供一种解决方案，通过分别生成掩码，分散为多个掩码图像进行图像修复，由于有掩码的存在，未被覆盖的缺陷不会被处理，确保缺陷提取不会有遗落或重合；相当于把一个完整的图像进行分部修复，使得缺陷的提取能够更完整精确，进而再与原来的图像进行像素做差，作差之后修复图像与原来的图像上像素一致的地方就被处理成同样的状态，避免了其他复杂背板的干扰，有利于快速获得图像上的缺陷；而由于是用组合掩码的形式完全覆盖缺陷，分别提取到的缺陷再合并起来就是目标图像上完整的缺陷，准确提取缺陷之后则可以实现对缺陷的快速标准，标注工作可以完全脱离人工，避免人工参与标注降低效率与准确性，缺陷标注的质量得以提升。

参照附图1，附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（Central Processing Unit，CPU），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可能是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本申请中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的面板缺陷标注装置，并执行本申请实施例提供的面板缺陷标注方法。

参照附图2，基于前述实施例的硬件设备，本申请的实施例提供一种面板缺陷标注方法，包括以下步骤：

S10：在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，掩码包括位于第一掩码图像上的第一掩码以及位于第二掩码图像上的第二掩码，第一掩码与第二掩码分别掩盖目标图像上的不同区域，并使第一掩码与第二掩码所在区域能够完全覆盖目标图像上的缺陷。

在具体实施过程中，目标图像为待处理的PCB面板图像，并且图像上具有缺陷，如附图4所示；图像处理领域，掩码又称Mask，常用在对图像进行抠图或其他局部处理，设置了掩码之后，对图像进行处理时的关注点能够根据掩码作出变化，由于设置一个大尺寸掩码进行处理的效果并不好，因此在图像上分别进行掩码，如附图5与附图6所示，分别为第一掩码图像与第二掩码图像，两个掩码图像上的掩码部分没有重叠，合起来就是一个完整的、能全面覆盖目标图像上缺陷的掩码。

为降低掩码的生成难度，并确保第一掩码与第二掩码对图像上缺陷覆盖的准确与全面，将第一掩码与第二掩码为对称图形，如附图14-附图16所示，附图5与附图6即为采用附图14所示的掩码分别得到的图像，即可以看做两个掩码图像进行重合，一个掩码图像上的白色区域可以覆盖另一个掩码图像上的黑色区域，以互补的形式构成完整的矩形掩码区域。如附图15与附图16，为了实现更精细化的覆盖处理，将白色的掩码模块进行更细致的划分，设计为条状或网状分布，第一掩码上的白色区域与第二掩码上的黑色区域对应，组合使用下即可实现矩形的全面覆盖。

S20：分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像。

在具体实施过程中，修复，也即图像修复，广泛地讲是将丢失或损坏的图像还原为原图像的状态，本申请实施例所指图像修复，是指将掩码所在的区域修复为目标图像对应的无缺陷产品图像，也就是说，两个掩码图像上被掩码覆盖区域上的缺陷分别进行了去除，得到了如附图7与附图8所示的第一修复图像与第二修复图像。

由于PCB板的精密程度较高，无法获得在真实状态下无缺陷的产品图像，因此采用上述修复手段，来获得无缺陷的产品图像，由于是分开处理的，即便单一修复图像上还具有缺陷，但是将两个修复图像组合看待，就已经获得完整的无缺陷图像，其中第一掩码图像对应第一修复图像，第二掩码图像对应第二修复图像。具体来说，步骤S20包括：

S201：分别将第一掩码图像和第二掩码图像上的掩码去除，获得待修复图像；

S202：基于待修复图像上除掩码以外区域的背景信息，生成修复素材；

S203：将修复素材置于掩码所在区域，获得第一修复图像与第二修复图像。

在具体实施过程中，将图像上的掩码去除，如采用OpenCV的掩码添加与去除功能即可完成，去除之后获得两幅待修复图像；在图像上其他区域提取到PCB背板上的图案、颜色、纹理等背景信息，进而通过这些信息就可以知道在掩码处的图像背景分布规律，从而生成修复用的修复素材，也就是一小块带有背景信息的图像，并且图像上的背景是与原图像上匹配的，进而只需要将大小与掩码区域匹配的修复素材置于原掩码所在的区域，即完成图像的修复。

S30：分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像。

在具体实施过程中，由于是将完整缺陷分割处理的，本步骤中的修复图像已经可以看作是每一条处理路线中的无缺陷图像，将无缺陷的图像与目标图像，也就是带有缺陷的实际图像进行像素做差，那么修复图像上未被掩码处理的那部分缺陷得以在做差中凸显。具体地，步骤S30包括：

S301：分别将第一修复图像和第二修复图像，与目标图像的对应像素点做差，获得像素差值信息；

S302：将像素差值信息作为新的像素点的像素值，对应生成第一差值图像和第二差值图像。

在具体实施过程中，将图像以最小单位像素来做处理，能够使图像上的缺陷凸显得更为明确，由于修复图像均是以目标图像为基础获得，因此修复图像上的所有像素点，在目标图像上都能有位置与其对应的像素点，将其像素做差，即可得到所有对应点的像素差值信息，不存在缺陷的位置像素值相同，做差之后即为零，而有缺陷的存在的位置的像素点的像素值则不同，做差之后具有不为零的像素值，那么将其作为对应点的像素值，重构一幅图像，如附图9、附图10所示，图像像素值为零的区域表现为黑色，而具有缺陷的区域因为像素不为零则得到了凸显，即为第一差值图像与第二差值图像。

S303：分别对第一差值图像和第二差值图像进行二值化处理，获得第一二值化差值图像和第二二值化差值图像。

在具体实施过程中，为了更明确缺陷信息，使做差之后缺陷所在区域的像素点能够更为明确的体现缺陷位置，避免对应缺陷所在区域的像素点的像素值不同，使缺陷出现轮廓不清晰、深浅不一的状态，将差值图像进行二值化处理，也即黑白图像，缺陷表现为白色，其他区域归置为黑色，使得缺陷凸显更清晰，有利于准确提取。

S40：将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息。

在具体实施过程中，基于前述步骤中对目标图像上的缺陷分割后分别进行了处理，为了在图像上将完整的缺陷信息提取，则需要将处理回归到整体图像上，因此将第一差值图像与第二差值图像上的缺陷信息合并，如附图13所示，与掩码设计相匹配的，由于掩码组合之后是无重叠的且完全覆盖缺陷的，因此合并图像后，图像上的缺陷信息则合并为与目标图像上保持一致的、完整的缺陷信息，也即目标缺陷信息。

S50：根据目标缺陷信息，对目标图像上的缺陷进行标注。

在具体实施过程中，获得了目标缺陷信息，也即确定了缺陷的位置、大小等，根据上述信息则可以进行后处理，如利用 labelImg或OpenCV等图像处理软件，根据缺陷信息即可完成自动标注。

本实施例中，通过分别生成掩码，避免了用一个大尺寸掩码覆盖缺陷的操作不便，以及处理效果差，分散为多个掩码图像进行图像修复，由于有掩码的存在，掩码以外的区域能够保持原状，也就是未被覆盖的缺陷不会被处理，确保缺陷提取不会有遗落或重合；将掩码区域还原为无缺陷的图像后，相当于把一个完整的图像进行分部修复，使得缺陷的提取能够更完整精确，进而再与原来的图像进行像素做差，作差之后修复图像与原来的图像上像素一致的地方就被处理成同样的状态，避免了其他复杂背板的干扰，有利于快速获得图像上的缺陷；而由于是用组合掩码的形式完全覆盖缺陷，分别提取到的缺陷再合并起来就是目标图像上完整的缺陷，准确提取缺陷之后则可以实现对缺陷的快速标准，标注工作可以完全脱离人工，避免人工参与标注降低效率与准确性，缺陷标注的质量得以提升。

在一种实施例中，分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像之后，面板缺陷标注方法还包括：

分别对第一差值图像和第二差值图像上的缺陷进行提取，获得第一差值图像上缺陷的第一bbox坐标和第二差值图像上缺陷的第二bbox坐标。

在具体实施过程中，一方面为了降低标注文件生成的难度，也为了降低提取缺陷的难度，利用bbox坐标来对缺陷的位置进行表征，并用于准确提取缺陷，bbox坐标即缺陷位置区域框坐标，构造一个矩形框来覆盖缺陷位置，如附图11与附图12所示，避免了提取缺陷复杂的轮廓信息来确定位置，若缺陷是不连续、分散的，则可以根据其分散的数量来增加bbox的数量，如附图12所示是利用两个缺陷位置区域框来进行了位置提取。

基于前述提取bbox坐标的操作，将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息，包括：

将第一差值图像上缺陷的第一bbox坐标与第二差值图像上缺陷的第二bbox坐标合并，获得目标缺陷位置的bbox坐标信息。

在一种实施例中，根据所述目标缺陷信息，对目标图像上的缺陷进行标注，包括：

根据目标缺陷位置的bbox坐标信息，生成标注文件；

根据标注文件，对目标图像上的缺陷进行标注。

在具体实施过程中，由于bbox坐标信息有了对缺陷位置明确的表征，并且是图像识别软件能够直接处理的数据类型，对第一bbox坐标与第二bbox坐标进行合并，即可获得目标图像上缺陷的bbox坐标信息，进而根据此信息直接生成标注文件即可完成缺陷的自动标注。bbox坐标的合成也就是将若干矩形框合并为一个大矩形框，将分开处理的缺陷又合并为一个整体看待，合并的基本原理是根据各个矩形框的顶点坐标，在同一方向上以该方向坐标绝对值最大的一个点作为新的矩形框的顶点。比如将附图11与附图12进行合并时，附图12中的位于右下方的矩形框，其右下角的顶点为所有顶点中最靠右的，也是最靠下的，那么则该点作为新的矩形框的右下角顶点，同理可以确定其余顶点，则得到如附图13所示的合并后的图像。

在一种实施例中，分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像，包括：

将第一掩码图像和第二掩码图像输入已训练的图像修复模型，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；其中，图像修复模型能够将图像上的掩码去除，并将掩码所在区域的图像修复为对应的无缺陷产品图像。

在具体实施过程中，为了降低图像修复的时间，提升标注的效率，提前训练模型以避免每一次标注过程都要在修复过程消耗时间，由于对训练样本进行了处理，使得模型能够如前述实施例的修复操作，将图像上的掩码所在区域修复为对应的无缺陷产品图像，具体的：将第一掩码图像和第二掩码图像输入已训练的图像修复模型，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像之前，面板缺陷标注方法还包括：

获得若干无缺陷的目标产品的背景图；

将掩码素材分别与背景图叠加，获得若干叠加图像；

基于若干叠加图像、背景图以及掩码素材，训练获得图像修复模型。

在具体实施过程中，将背景图与掩码素材叠加，人为制造以获得若干叠加图像，也就是带有掩码的图像，然后将叠加图像、背景图以及掩码素材作为训练样本，在有监督训练下使模型学习到叠加图像的组合，以此来将叠加图像上的掩码素材进行去除，从而将叠加图像还原为背景图。

在一种实施例中，获得若干无缺陷的目标产品的背景图之后，面板缺陷标注方法还包括：

对背景图进行数据增强，获得目标背景图。

在具体实施过程中，由于背景图的数量可能不足，采用数据增强以获得更多的样本图像，对背景图进行对称、旋转、裁剪、翻转等几何变换操作，使样本图像集扩充、图像质量得到增强，有利于提升模型的稳健性与泛化能力。

基于前述的数据增强操作，将掩码素材分别与背景图叠加，获得若干叠加图像，包括：

将掩码素材分别与目标背景图叠加，获得若干叠加图像。

参照附图3，基于与前述实施例中同样的发明构思，本申请实施例还提供一种面板缺陷标注装置，该装置包括：

掩码模块，掩码模块用于在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，掩码包括位于第一掩码图像上的第一掩码以及位于第二掩码图像上的第二掩码，第一掩码与第二掩码分别掩盖目标图像上的不同区域，并使第一掩码与第二掩码所在区域能够完全覆盖目标图像上的缺陷；

修复模块，修复模块用于分别对第一掩码图像和第二掩码图像进行修复，以使掩码所在区域被修复为目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；

差值模块，差值模块用于分别将第一修复图像和第二修复图像，与目标图像进行像素做差，获得第一差值图像和第二差值图像；

合并模块，合并模块用于将第一差值图像与第二差值图像上的缺陷信息合并，获得目标缺陷信息；

标注模块，标注模块用于根据目标缺陷信息，对目标图像上的缺陷进行标注。

本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中面板缺陷标注装置中各模块是与前述实施例中的面板缺陷标注方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述面板缺陷标注方法的实施方式，这里不再赘述。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本申请实施例提供的面板缺陷标注方法。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如本申请实施例提供的面板缺陷标注方法。

此外，基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如本申请实施例提供的面板缺陷标注方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

综上，本申请提供的一种面板缺陷标注方法、装置、存储介质、设备及程序产品，通过分别生成掩码，分散为多个掩码图像进行图像修复，由于有掩码的存在，未被覆盖的缺陷不会被处理，确保缺陷提取不会有遗落或重合；相当于把一个完整的图像进行分部修复，使得缺陷的提取能够更完整精确，进而再与原来的图像进行像素做差，作差之后修复图像与原来的图像上像素一致的地方就被处理成同样的状态，避免了其他复杂背板的干扰，有利于快速获得图像上的缺陷；而由于是用组合掩码的形式完全覆盖缺陷，分别提取到的缺陷再合并起来就是目标图像上完整的缺陷，准确提取缺陷之后则可以实现对缺陷的快速标准，标注工作可以完全脱离人工，避免人工参与标注降低效率与准确性，缺陷标注的质量得以提升。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种面板缺陷标注方法，其特征在于，包括以下步骤：

在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，所述掩码包括位于所述第一掩码图像上的第一掩码以及位于所述第二掩码图像上的第二掩码，所述第一掩码与所述第二掩码分别掩盖所述目标图像上的不同区域，并使所述第一掩码与所述第二掩码所在区域能够完全覆盖所述目标图像上的缺陷；

分别对所述第一掩码图像和所述第二掩码图像进行修复，以使所述掩码所在区域被修复为所述目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；

分别将所述第一修复图像和所述第二修复图像，与所述目标图像进行像素做差，获得第一差值图像和第二差值图像；

将所述第一差值图像与所述第二差值图像上的缺陷信息合并，获得目标缺陷信息；

根据所述目标缺陷信息，对所述目标图像上的缺陷进行标注。

2.根据权利要求1所述的面板缺陷标注方法，其特征在于，所述分别将所述第一修复图像和所述第二修复图像，与所述目标图像进行像素做差，获得第一差值图像和第二差值图像之后，所述面板缺陷标注方法还包括：

分别对所述第一差值图像和所述第二差值图像上的缺陷进行提取，获得所述第一差值图像上缺陷的第一bbox坐标和所述第二差值图像上缺陷的第二bbox坐标；

所述将所述第一差值图像与所述第二差值图像上的缺陷信息合并，获得目标缺陷信息，包括：

将所述第一差值图像上缺陷的第一bbox坐标与所述第二差值图像上缺陷的第二bbox坐标合并，获得目标缺陷位置的bbox坐标信息。

3.根据权利要求2所述的面板缺陷标注方法，其特征在于，所述根据所述目标缺陷信息，对所述目标图像上的缺陷进行标注，包括：

根据所述目标缺陷位置的bbox坐标信息，生成标注文件；

根据所述标注文件，对所述目标图像上的缺陷进行标注。

4.根据权利要求1所述的面板缺陷标注方法，其特征在于，所述第一掩码与所述第二掩码为对称图形。

5.根据权利要求1所述的面板缺陷标注方法，其特征在于，所述分别将所述第一修复图像和所述第二修复图像，与所述目标图像进行像素做差，获得第一差值图像和第二差值图像，包括：

分别将所述第一修复图像和所述第二修复图像，与所述目标图像的对应像素点做差，获得像素差值信息；

将所述像素差值信息作为新的像素点的像素值，对应生成第一差值图像和第二差值图像。

6.根据权利要求5所述的面板缺陷标注方法，其特征在于，所述将所述像素差值信息作为新的像素点的像素值，对应生成第一差值图像和第二差值图像之后，所述面板缺陷标注方法还包括：

分别对所述第一差值图像和所述第二差值图像进行二值化处理，获得第一二值化差值图像和第二二值化差值图像；

所述将所述第一差值图像与所述第二差值图像上的缺陷信息合并，获得目标缺陷信息，包括：

将所述第一二值化差值图像与所述第二二值化差值图像上的缺陷信息合并，获得目标缺陷信息。

7.根据权利要求1所述的面板缺陷标注方法，其特征在于，所述分别对所述第一掩码图像和所述第二掩码图像进行修复，以使所述掩码所在区域被修复为所述目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像，包括：

分别将所述第一掩码图像和所述第二掩码图像上的所述掩码去除，获得待修复图像；

基于所述待修复图像上除所述掩码以外区域的背景信息，生成修复素材；

将所述修复素材置于所述掩码所在区域，获得第一修复图像与第二修复图像。

8.根据权利要求1所述的面板缺陷标注方法，其特征在于，所述分别对所述第一掩码图像和所述第二掩码图像进行修复，以使所述掩码所在区域被修复为所述目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像，包括：

将所述第一掩码图像和所述第二掩码图像输入已训练的图像修复模型，以使所述掩码所在区域被修复为所述目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；其中，所述图像修复模型能够将图像上的掩码去除，并将所述掩码所在区域的图像修复为对应的无缺陷产品图像。

9.根据权利要求8所述的面板缺陷标注方法，其特征在于，所述将所述第一掩码图像和所述第二掩码图像输入已训练的图像修复模型，以使所述掩码所在区域被修复为所述目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像之前，所述面板缺陷标注方法还包括：

获得若干无缺陷的目标产品的背景图；

将掩码素材分别与所述背景图叠加，获得若干叠加图像；

基于若干所述叠加图像、所述背景图以及所述掩码素材，训练获得所述图像修复模型。

10.根据权利要求9所述的面板缺陷标注方法，其特征在于，所述获得若干无缺陷的目标产品的背景图之后，所述面板缺陷标注方法还包括：

对所述背景图进行数据增强，获得目标背景图；

所述将掩码素材分别与所述背景图叠加，获得若干叠加图像，包括：

将掩码素材分别与所述目标背景图叠加，获得若干叠加图像。

11.一种面板缺陷标注装置，其特征在于，包括：

掩码模块，所述掩码模块用于在目标图像上分别生成掩码，获得第一掩码图像和第二掩码图像；其中，所述掩码包括位于所述第一掩码图像上的第一掩码以及位于所述第二掩码图像上的第二掩码，所述第一掩码与所述第二掩码分别掩盖所述目标图像上的不同区域，并使所述第一掩码与所述第二掩码所在区域能够完全覆盖所述目标图像上的缺陷；

修复模块，所述修复模块用于分别对所述第一掩码图像和所述第二掩码图像进行修复，以使所述掩码所在区域被修复为所述目标图像对应的无缺陷产品图像，获得第一修复图像与第二修复图像；

差值模块，所述差值模块用于分别将所述第一修复图像和所述第二修复图像，与所述目标图像进行像素做差，获得第一差值图像和第二差值图像；

合并模块，所述合并模块用于将所述第一差值图像与所述第二差值图像上的缺陷信息合并，获得目标缺陷信息；

标注模块，所述标注模块用于根据所述目标缺陷信息，对所述目标图像上的缺陷进行标注。

12.一种计算机可读存储介质，储存有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1-10中任一项所述的面板缺陷标注方法。

13.一种电子设备，其特征在于，包括处理器及存储器，其中，

所述存储器用于存储计算机程序；

所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1-10中任一项所述的面板缺陷标注方法。

14.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被执行时，用于执行如权利要求1-10中任一项所述的面板缺陷标注方法。

Images