CN109829904B

CN109829904B - 检测屏幕上灰尘的方法、装置、电子设备、可读存储介质

Info

Publication number: CN109829904B
Application number: CN201910083851.XA
Authority: CN
Inventors: 刘小磊; 王云奇; 楚明磊; 陈丽莉; 张�浩
Original assignee: BOE Technology Group Co Ltd; Beijing BOE Optoelectronics Technology Co Ltd
Current assignee: BOE Technology Group Co Ltd; Beijing BOE Optoelectronics Technology Co Ltd
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2022-01-14
Anticipated expiration: 2039-01-29
Also published as: CN109829904A; US20200240927A1; US11156564B2

Abstract

本发明涉及一种检测屏幕上灰尘的方法、装置、电子设备、可读存储介质。一种检测屏幕上灰尘的方法，包括：获取显示第一预设图案的待检测屏幕的第一图像；利用预先获取的掩模图像确定所述第一图像中的灰尘检测区域；获取所述灰尘检测区域中的灰尘位置。本实施例中至多利用两张图像即可确定出屏幕上灰尘的位置，所消耗时间较短，检测效率较高。并且，本实施例中通过掩模图像可以遮挡因摄像头视场过大而拍摄到屏幕周围物体，仅对屏幕区域进行检测，可以提升检测准确度。

Description

检测屏幕上灰尘的方法、装置、电子设备、可读存储介质

技术领域

本发明涉及控制技术领域，尤其涉及一种检测屏幕上灰尘的方法、装置、电子设备、可读存储介质。

背景技术

目前，在生产液晶屏幕的过程中，若液晶屏幕上有灰尘，则灰尘会影响到之后屏幕的缺陷检测。为此需要对液晶屏幕进行灰尘检测。相关技术中通常利用显微镜、平移台等设备对带有灰尘的屏幕拍摄多次，利用多张图像确定灰尘位置，这样耗费时间较长，检测效率降低。并且，在拍摄过程中，屏幕周边物体会进入相机设备的视场，影响到灰尘检测效果。

发明内容

本发明提供一种检测屏幕上灰尘的方法、装置、电子设备、可读存储介质，以解决相关技术中存在的技术问题。

根据本发明实施例的第一方面，提供一种检测屏幕上灰尘的方法，包括：

获取显示第一预设图案的待检测屏幕的第一图像；

利用预先获取的掩模图像确定所述第一图像中的灰尘检测区域；

获取所述灰尘检测区域中的灰尘位置。

可选地，所述第一预设图案为全黑色图案。

可选地，所述掩模图像通过以下步骤获取，包括：

获取显示第二预设图案的待检测屏幕的第二图像；

对所述第二图像进行分割处理，得到所述第二图像中的最大轮廓；

填充所述最大轮廓的区域后，得到所述掩模图像。

可选地，对所述第二图像进行分割处理包括：

利用预设分割算法对所述第二图像进行分割，得到所述第二图像中的最大分割区域；

对所述第二图像中的最大分割区域进行腐蚀操作；

对腐蚀后的第二图像的最大分割区域进行膨胀操作，得到分割处理后的第二图像。

可选地，对所述第二图像中的最大分割区域进行腐蚀操作包括：

依次移动预设大小的掩模，获取所述掩模中除中心像素之外像素对应的最大分割区域中的像素灰度值的最小值；

采用所述最小值替代所述中心像素对应最大分割区域中的像素的灰度值。

可选地，对腐蚀后的第二图像的最大分割区域进行膨胀操作包括：

依次移动预设大小的掩模，获取所述掩模中除中心像素之外像素对应的最大分割区域中的像素灰度值的最大值；

采用所述最大值替代所述中心像素对应最大分割区域中的像素的灰度值。

可选地，对所述第二图像进行分割处理之前，所述方法还包括：

利用预设压缩算法对所述第二图像进行压缩；

所述填充所述最大轮廓的区域还包括：

对填充最大轮廓后的第二图像进行形状调整，使其与所述第二图像的尺寸相同。

可选地，获取所述灰尘检测区域中的灰尘位置包括：

利用预设边缘检测算法获取所述灰尘检测区域的边缘二值图像；

利用预设轮廓检测算法提取所述边缘二值图像的轮廓；

从所述边缘二值图像中的轮廓检测出灰尘的位置。

根据本发明实施例的第二方面，提供一种检测屏幕上灰尘的装置，包括：

第一图像获取模块，用于获取显示第一预设图案的待检测屏幕的第一图像；所述第一预设图案为全黑色图案；

检测区域确定模块，用于利用预先获取的掩模图像确定所述第一图像中的灰尘检测区域；

灰尘位置获取模块，用于获取所述灰尘检测区域中的灰尘位置。

可选地，所述装置还包括掩模图像获取模块，所述掩模图像获取模块包括：

第二图像获取子模块，用于获取显示第二预设图案的待检测屏幕的第二图像；

最大轮廓获取子模块，用于对所述第二图像进行分割处理，得到所述第二图像中的最大轮廓；

掩模图像填充获取子模块，用于填充所述最大轮廓的区域后，得到所述掩模图像。

可选地，所述最大轮廓获取子模块包括：

最大区域获取单元，用于利用预设分割算法对所述第二图像进行分割，得到所述第二图像中的最大分割区域；

腐蚀操作单元，用于对所述第二图像中的最大分割区域进行腐蚀操作；

膨胀操作单元，用于对腐蚀后的第二图像的最大分割区域进行膨胀操作，得到分割处理后的第二图像；

所述腐蚀操作单元包括：

最小值获取子单元，用于依次移动预设大小的掩模，获取所述掩模中除中心像素之外像素对应的最大分割区域中的像素灰度值的最小值；

灰度值替代子单元，用于采用所述最小值替代所述中心像素对应最大分割区域中的像素的灰度值；

所述膨胀操作单元包括：

最大值获取子单元，用于依次移动预设大小的掩模，获取所述掩模中除中心像素之外像素对应的最大分割区域中的像素灰度值的最大值；

灰度值替代子单元，用于采用所述最大值替代所述中心像素对应最大分割区域中的像素的灰度值。

可选地，所述掩模图像获取模块还包括：

第二图像压缩子模块，用于利用预设压缩算法对所述第二图像进行压缩；

所述掩模图像填充获取子模块还用于：

可选地，所述灰尘位置获取模块包括：

二值图像获取子模块，用于利用预设边缘检测算法获取所述灰尘检测区域的边缘二值图像；

轮廓提取子模块，用于利用预设轮廓检测算法提取所述边缘二值图像的轮廓；

灰尘位置检测子模块，用于从所述边缘二值图像中的轮廓检测出灰尘的位置。

根据本发明实施例的第三方面，提供一种电子设备，包括摄像头、处理器和用于存储所述处理器可执行指令的存储器；

所述摄像头用于采集显示预设图案的待检测屏幕的图像；

所述处理器可以从所述存储器读取可执行指令，用于实现权利要求1～8任一项所述方法的步骤。

根据本发明实施例的第四方面，提供一种可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面所述方法的步骤。

可见，本实施例中通过获取待检测屏幕的第一图像，然后利用预先获取的掩模图像可以确定出第一图像中的灰尘检测区域，之后可以获取灰尘检测区域中的灰尘位置。这样，本实施例中至多利用两张图像即可确定出屏幕上灰尘的位置，所消耗时间较短，检测效率较高。并且，本实施例中通过掩模图像可以遮挡因摄像头视场过大而拍摄到屏幕周围物体，仅对屏幕区域进行检测，可以提升检测准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明实施例示出的一种应用场景示意图；

图2是本发明实施例示出的一种检测屏幕上灰尘的方法的流程示意图；

图3是本发明实施例示出的获取掩模图像的流程示意图；

图4是本发明实施例示出的分割第二图像的流程示意图；

图5是本发明实施例示出的腐蚀图像的流程示意图；

图6是本发明实施例示出的膨胀图像的流程示意图；

图7是本发明实施例示出的检测灰尘位置的流程示意图；

图8是本发明实施例示出的一种检测屏幕上灰尘的方法的流程示意图；

图9～图14是对应图8所示检测屏幕上灰尘过程中图像的示意图；

图15～图20是本发明实施例示出的一种检测屏幕上灰尘的装置的框图；

图21是本发明实施例示出的电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

为此，本发明实施例提供了一种检测屏幕上灰尘的方法，可以应用于摄像头或者与摄像头相连的上位机，后续以摄像头为例描述本方法。一种检测屏幕上灰尘的方法可以应用于图1所示的应用场景。参见图1，摄像头10的视场(FOV)内放置待检测屏幕20。其中待检测屏幕20包括显示区21和非显示区22。在待检测屏幕20放置在FOV后，摄像头可以拍摄待检测屏幕的图像，然后确定出图像中的灰尘位置。

图2是本发明实施例示出的一种检测屏幕上灰尘的方法的流程示意图。参见图2，一种检测屏幕上灰尘的方法，包括步骤201～步骤203，其中：

在步骤201中，获取显示第一预设图案的待检测屏幕的第一图像。

在一实施例中，在摄像头10获取待检测屏幕20的图像之前，摄像头10(或者用户，可以根据具体场景进行选择)可以控制待检测屏幕20显示相应的图像，例如第一预设图案和第二预设图案，其中第一预设图案可以为全黑色的图案，第二预设图案可以为全白色的图案。

在一实施例中，在待检测屏幕20显示第一预设图案后，摄像头10可以获取待检测屏幕20的第一图像。

在步骤202中，利用预先获取的掩模图像确定所述第一图像中的灰尘检测区域。

在一实施例中，摄像头10可以利用预先获取的掩模图像确定第一图像中的灰尘检测区域。其中，灰尘检测区域可以对应待检测屏幕20的显示区21。

在本实施例中，摄像头10可以预先获取掩模图像。其中，摄像头10获取掩模图像的步骤可以先于获取第一图像的步骤，也可以后于获取第一图像的步骤。当然，摄像头10获取掩模图像的步骤可以与获取第一图像的步骤同时执行。技术人员可以根据具体场景进行选择，在此不作限定。

参见图3，摄像头10获取掩模图像，可以包括步骤301～步骤303：

在步骤301中，摄像头10获取显示第二预设图案的待检测屏幕20的第二图像。其中第二预设图案可以为全白色的图案。

考虑到第一预设图像为全黑色的图案，第二预设图案为全白色的图案，在一示例中，在待检测屏幕20放置FOV内且待检测屏幕20未通电(即显示全黑色的图案)时，摄像头10可以采用第一图像。之后，摄像头10再获取第二图像。这样，待检测屏幕20仅显示一次第二预设图案即可，可以减少控制次数。

在步骤302中，摄像头10可以对第二图像进行分割处理，这样可以得到第二图像中的最大轮廓。

参见图4，摄像头10可以利用预设分割算法对第二图像中的最大分割区域(对应步骤401)，其中预设分割算法可以为大津分割方法。当然，技术人员还可以选择Sobel算子、Robert算子、拉普拉斯算子、Prewit算子、Kirsch算子、K均值聚类算法、模糊C均值聚类算法和基于小波变换的分割算法中的至少一种，从而可以将第二图像进行分割二值化。摄像头10可以对第二图像中的最大分割区域进行腐蚀操作(对应步骤402)。掩模的大小可以根据场景进行设置，例如3*3大小。在腐蚀操作过程中，参见图5，可以依次移动预设大小的掩模，获取掩模中除中心像素之外像素对应最大分割区域中的像素灰度值的最小值(对应步骤501)，并采用上述最小值替代中心像素对应最大分割区域中的像素的灰度值(对应步骤502)。之后，摄像头10可以对腐蚀后的最大分割区域进行膨胀操作(对应步骤403)。掩模的大小可以根据场景进行设置，例如3*3大小。在膨胀操作过程中，参见图6，可以依次移动预设大小的掩模，获取掩模中除中心像素之外像素对应最大分割区域中的像素灰度值的最大值(对应步骤601)，并采用上述最大值替代中心像素对应最大分割区域中的像素的灰度值(对应步骤602)。

本实施例中，通过分割第二图像可以确定出屏幕所在区域，有利于缩小检测范围。并且，本实施例中，通过腐蚀操作可以去除最大分割区域的边缘毛刺；通过膨胀操作可以使最大分割区域的轮廓更加完整，有利于后续灰尘检测。

在步骤303中，摄像头10可以填充最大轮廓的区域，这样可以得到掩模图像。

本实施例中，通过预先获取掩模图像，可以利用掩模图像遮挡因摄像头视场过大而拍摄到屏幕周围物体的图像，仅对屏幕区域进行检测，有利于提升检测准确度。

需要说明的是，考虑到摄像头10的分辨率较高，在获取掩模图像的过程中，对第二图像进行分割、腐蚀以及膨胀的操作时，需要处理的数据量较大。为此，摄像头10可以利用预设压缩算法对第二图像进行压缩，从而可以降低第二图像的分辨率，可以减少分割、腐蚀以及膨胀过程中处理的数据量，有利于提升获取掩模图像的速度。

相应地，在步骤303中，摄像头10可以在填充最大轮廓的区域之后，还可以对填充最大轮廓后的第二图像进行形状调整，使调整后的第二图像与压缩前第二图像的尺寸相同。这样，摄像头10通过调整第二图像的形状，从而可以使第二图像中灰尘检测区域与待检测屏幕20上显示区21相对应。

在步骤203中，获取所述灰尘检测区域中的灰尘位置。

在一实施例中，参见图7，摄像头10可以利用预设边缘检测算法获取灰尘检测区域的边缘二值图像(对应步骤701)。其中，预设边缘检测算法可以为Canny算子、RobertsCross算子、Prewitt算子、Sobel算子、Kirsch算子、罗盘算子、Laplacian算子中的至少一个。然后，摄像头10可以利用预设轮廓检测算法提取边缘二值图像的轮廓(对应步骤702)。之后，摄像头10从边缘二值图像中的轮廓可以检测出灰尘的位置(对应步骤703)。

至此，本实施例中通过获取待检测屏幕的第一图像，然后利用预先获取的掩模图像可以确定出第一图像中的灰尘检测区域，之后可以获取灰尘检测区域中的灰尘位置。这样，本实施例中至多利用两张图像即可确定出屏幕上灰尘的位置，所消耗时间较短，检测效率较高。并且，本实施例中通过掩模图像可以遮挡因摄像头视场过大而拍摄到屏幕周围物体，仅对屏幕区域进行检测，可以提升检测准确度。

图8是本发明实施例示出的一种检测屏幕上灰尘的方法的流程示意图。参见图8，摄像头10可以在待检测屏幕显示全黑色的图案，还可以待检测屏幕不显示，使用光学设备对待检测屏幕进行补光再拍摄，可以获取如图9所示的第一图像。

以待检测屏幕的分辨率为1440*1600为例，可以利用一张预先确定的1440*1600分辨率，灰度为255的全白色画面作为待检测屏幕的显示图像。摄像头10调整到长曝光时间，拍摄视场内的待检测屏幕，得到如图10所示的第二图像。参见图10，第二图像中包含显示区21和由金属边框等构成的非显示区22，且由金属边框等构成的非显示区22为外部干扰因素。

摄像头10对第二图像进行压缩以降低分辨率，压缩算法可以为双立方卷积，这样可以有效提升摄像头处理图像的速度，提高运行效率。

摄像头10利用大津分割二值化第二图像，可以得到如图11虚线示出的最大轮廓。需要说明的是，

摄像头10利用3*3掩模对二值化后的第二图像进行腐蚀操作。其中3*3掩模如下：

腐蚀操作包括：利用掩模中“1”对应第二图像中像素中的最小值来替代“0”位置的像素值。腐蚀操作可以提取出分割区域边缘毛刺。

摄像头10继续利用3*3掩模对腐蚀后的第二图像进行膨胀操作，利用掩模中“1”对应第二图像中像素中的最大值来替代“0”位置的像素值。膨胀操作可以消除分割区域边缘毛刺。

摄像头10提取腐蚀膨胀操作后的第二图像中的轮廓，可以得到图12白线所示的最大轮廓。该最大轮廓围成的区域进行填充，可以得到灰尘检测区域。

摄像头10将填充后第二图像进行拉伸，恢复至压缩前形状，得到如图13所示的掩模图像。

摄像头10利用掩模图像对第一图像进行掩模操作，去除不需要进行灰尘检测的图像区域。摄像头10利用Canny算子提取掩模操作后的图像边缘轮廓，可以得到灰尘图像的边缘化二值图像。

摄像头10利用轮廓检测算法提取边缘化二值图像的轮廓，并检测和标记灰尘，灰尘位置如图14所示。

在本发明实施例提供的一种检测屏幕上灰尘的方法的基础上，本发明实施例还提供了一种检测屏幕上灰尘的装置，图15是本发明实施例提供的一种检测屏幕上灰尘的装置的框图。参见图15，一种检测屏幕上灰尘的装置1500，包括：

第一图像获取模块1501，用于获取显示第一预设图案的待检测屏幕的第一图像；

检测区域确定模块1502，用于利用预先获取的掩模图像确定所述第一图像中的灰尘检测区域；

灰尘位置获取模块1503，用于获取所述灰尘检测区域中的灰尘位置。

在一实施例中，所述第一预设图案为全黑色图案。

在图15所示检测屏幕上灰尘的装置的基础上，参见图16，一种检测屏幕上灰尘的装置1500还包括掩模图像获取模块1600，所述掩模图像获取模块1600包括：

第二图像获取子模块1601，用于获取显示第二预设图案的待检测屏幕的第二图像；

最大轮廓获取子模块1602，用于对所述第二图像进行分割处理，得到所述第二图像中的最大轮廓；

掩模图像填充获取子模块1603，用于填充所述最大轮廓的区域后，得到所述掩模图像。

在图16所示检测屏幕上灰尘的装置的基础上，参见图17，最大轮廓获取子模块1602包括：

最大区域获取单元1701，用于利用预设分割算法对所述第二图像进行分割，得到所述第二图像中的最大分割区域；

腐蚀操作单元1702，用于对所述第二图像中的最大分割区域进行腐蚀操作；

膨胀操作单元1703，用于对腐蚀后的第二图像的最大分割区域进行膨胀操作，得到分割处理后的第二图像。

在图17所示检测屏幕上灰尘的装置的基础上，参见图18，所述腐蚀操作单元1702包括：

最小值获取子单元1801，用于依次移动预设大小的掩模，获取所述掩模中除中心像素之外像素对应的最大分割区域中的像素灰度值的最小值；

灰度值替代子单元1802，用于采用所述最小值替代所述中心像素对应最大分割区域中的像素的灰度值。

在图17所示检测屏幕上灰尘的装置的基础上，参见图19，所述膨胀操作单元1703包括：

最大值获取子单元1901，用于依次移动预设大小的掩模，获取所述掩模中除中心像素之外像素对应的最大分割区域中的像素灰度值的最大值；

灰度值替代子单元1902，用于采用所述最大值替代所述中心像素对应最大分割区域中的像素的灰度值。

在一实施例中，所述掩模图像获取模块1600还包括：

第二图像压缩子模块1604，用于利用预设压缩算法对所述第二图像进行压缩；

所述掩模图像填充获取子模块1603还用于：

在图15所示检测屏幕上灰尘的装置的基础上，参见图20，所述灰尘位置获取模块1503包括：

二值图像获取子模块2001，用于利用预设边缘检测算法获取所述灰尘检测区域的边缘二值图像；

轮廓提取子模块2002，用于利用预设轮廓检测算法提取所述边缘二值图像的轮廓；

灰尘位置检测子模块2003，用于从所述边缘二值图像中的轮廓检测出灰尘的位置

本发明实施例还提供了一种电子设备，该电子设备可以为摄像头、相机或者上位机，参见图21，包括摄像头2103、处理器2101和用于存储处理器2101可执行指令的存储器2102；

所述摄像头2103用于采集显示预设图案的待检测屏幕的图像；

所述处理器2101通过通信总线2104与存储器2102通信连接，可以从存储器2102读取可执行指令，用于实现图2～图14所示方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时用于实现图2～图14所示方法的步骤。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.一种检测屏幕上灰尘的方法，其特征在于，包括：

获取显示第一预设图案的待检测屏幕的第一图像；

利用预先获取的掩模图像确定所述第一图像中的灰尘检测区域；所述灰尘检测区域对应所述待检测屏幕的显示区；

检测所述灰尘检测区域中的灰尘位置；

检测所述灰尘检测区域中的灰尘位置包括：

利用预设轮廓检测算法提取所述边缘二值图像的轮廓；

从所述边缘二值图像中的轮廓检测出灰尘的位置；

所述掩模图像通过以下步骤获取，包括：

获取显示第二预设图案的待检测屏幕的第二图像；

填充所述最大轮廓的区域后，得到所述掩模图像。

2.根据权利要求1所述的方法，其特征在于，所述第一预设图案为全黑色图案。

3.根据权利要求1所述的方法，其特征在于，对所述第二图像进行分割处理包括：

对所述第二图像中的最大分割区域进行腐蚀操作；

4.根据权利要求3所述的方法，其特征在于，对所述第二图像中的最大分割区域进行腐蚀操作包括：

5.根据权利要求3所述的方法，其特征在于，对腐蚀后的第二图像的最大分割区域进行膨胀操作包括：

6.根据权利要求1所述的方法，其特征在于，对所述第二图像进行分割处理之前，所述方法还包括：

利用预设压缩算法对所述第二图像进行压缩；

所述填充所述最大轮廓的区域还包括：

7.一种检测屏幕上灰尘的装置，其特征在于，包括：

检测区域确定模块，用于利用预先获取的掩模图像确定所述第一图像中的灰尘检测区域；所述灰尘检测区域对应所述待检测屏幕的显示区；

灰尘位置获取模块，用于获取所述灰尘检测区域中的灰尘位置；

所述灰尘位置获取模块包括：

灰尘位置检测子模块，用于从所述边缘二值图像中的轮廓检测出灰尘的位置；

所述装置还包括掩模图像获取模块，所述掩模图像获取模块包括：

8.根据权利要求7所述的装置，其特征在于，所述最大轮廓获取子模块包括：

所述腐蚀操作单元包括：

所述膨胀操作单元包括：

9.根据权利要求7所述的装置，其特征在于，所述掩模图像获取模块还包括：

所述掩模图像填充获取子模块还用于：

10.一种电子设备，其特征在于，包括摄像头、处理器和用于存储所述处理器可执行指令的存储器；

所述摄像头用于采集显示预设图案的待检测屏幕的图像；

所述处理器可以从所述存储器读取可执行指令，用于实现权利要求1~6任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1~6任一项所述方法的步骤。