CN102565083B - 一种印刷电子产品离线检测系统与方法 - Google Patents

Abstract

本发明公开了一种印刷电子产品离线检测系统，包括了图像采集系统、图像处理系统和报警提示系统；以及一种印刷电子产品离线检测方法，包括了以下步骤：第一步，利用图像采集系统采集印刷电子产品的成品的图像，第二步，利用图像处理系统找出实时采集图像与样本的区别，第三步，指出缺陷，并及时利用报警提示系统报警，第四步，利用图像处理系统将缺陷进行统计分析；通过此系统及方法在线检测的印刷电子产品，其检测效率高，检测精度高，并能有效提高产品质量并同时降低废品率。

Description

一种印刷电子产品离线检测系统与方法

技术领域

本发明涉及印刷产品检测技术领域，特别是指一种印刷电子产品离线检测系统与方法。

背景技术

无论国际还是国内，印刷电子产品由于使用印刷技术(以丝网印刷和喷墨印刷为主)，其中喷墨印刷是精细化印刷的必然选择。因此，在纸制品印刷过程中存在的印刷缺陷问题同样在印刷电子产品的印刷过程不可避免地存在：

●套印不准：芯片的基础单元是晶体管，晶体管具有衬底绝缘层、N型半导体、P型半导体、电极、钝化膜等多层结构，每层结构的材料不同，需要多道印刷工序、分别采用不同的油墨材料才能印刷完成。为保证晶体管电性参数的一致性和稳定性，要求每道印刷工序套印的位置非常精确。由于有机薄膜的张力随环境温度变化影响，容易造成印刷套印不准的问题，从而造成晶体管电学性能参数破坏而报废，如不及时在线检测，在卷对卷的批量印刷中就会造成巨大的浪费。

●线路粘连：当线路与线路之间的距离很近时，由于导电油墨墨滴的扩张和渗透性能的变化，有可能把相邻两条线在某一点粘连在一起，造成信号短路，破坏电路功能。

●线路断开：当线路非常窄，在喷印过程中由于喷头的偶然性堵塞或抖动，以及灰尘颗粒、飞虫等落在将要喷印的线路上，造成喷印线路断开，信号无法通过，从而破坏电路功能。

●线路粗细不均匀：在喷印过程中由于喷头的偶然性堵塞或印刷平台的机械抖动而造成，影响电路的电学参数。

●线路边缘不光滑，由于印刷平台的机械抖动，或墨滴的扩张和渗透性能的变化，使得喷印的线路边缘存在毛刺，影响电路的电学参数。

目前纸质印刷品的质量在线检测系统刚刚兴起，但不能直接拿过来用于印刷电子产品印刷质量检测。首先，两者的检测精度要求不同，前者的检测精度相对要低，而后者的检测精度要求更高，对算法和设备要求也更高；其次，后者的电路表面有金属光泽反射，对成像有更大的干扰，对图像处理算法要求更高。

发明内容

有鉴于此，本发明的目的在于提出一种印刷电子产品离线检测系统与方法，其可对印刷电子产品的成品进行离线检测，保证产品合格率，以及辅助优化产品性能。

基于上述目的本发明提供的一种印刷电子产品离线检测系统，包括：

图像采集系统，其中包括照明光源、相机、编码器、图像采集卡，所述照明光源对印刷电子产品表面进行照射，所述相机垂直对印刷电子产品表面进行拍摄，利用与印刷设备控制器连接的编码器控制印刷电子产品与相机的拍摄动作的运动同步，并通过连接在相机上的图像采集卡收集印刷电子产品信息；

图像处理系统，其中包括计算机、用于搜索印刷缺陷的基于快速模板匹配算法的印刷缺陷检测系统、用于印刷设备故障诊断的印刷缺陷分类器；

报警提示系统，其中包括报警控制器及报警器。

可选的，所述待检测印刷电子产品上设置有触发标记，所述图像采集系统上设置有触发传感器，所述触发传感器感应到触发标记时，触发所述相机进行图像采集。

较佳的，图像采集系统上还设置有用于图像采集同步的光电编码器。

较佳的，所述快速模板匹配算法为改进型混合遗传算法，先利用低精度搜索排除不可能位置，再用高精度搜索缺陷。

可选的，所述印刷缺陷分类器将印刷缺陷分为线状、点状、带状、面状，并对缺陷类别进行统计分析。

本发明还提供了一种印刷电子产品离线检测方法，包括下列步骤：

实时连续采集印刷设备生产的印刷电子产品图像，其采图区域的大小与检测标准模板大小一致；

采用图像处理快速模板匹配算法，将实时采集图像与检测标准模板进行匹配与对比，找到与检测标准模板不一致的地方即为缺陷位置；

利用印刷缺陷检测系统对缺陷位置进行分析，圈出缺陷的大小和形状，并在原图帧中标示缺陷的位置和形状，在计算机显示器上显示出来，同时给出报警信号到报警控制器，报警器报警；

将印刷缺陷分为线状、点状、带状、面状，分别进行统计和存盘，用于后期查询和显示各类缺陷对应的图像帧，实现重新回放和分析。

可选的，所述的相机为工业相机或智能相机。

可选的，所述的相机为面阵工业相机或线阵工业相机。

相应的，所述的照明光源可选为面阵光源或条状光源。

较佳的，所述的相机采集检测标准模板的图像采集方式为单步控制方式。

可选的，所述的检测标准模板是通过采集印刷电子产品样本的图像信息得到的，或直接从计算机调用已有的模板。

较佳的，所述相机与印刷电子产品表面保持垂直，并利用与印刷设备控制器连接的编码器控制并保持相机摄取动作与印刷电子产品运动的同步。

从上面所述可以看出，本发明提供的一种印刷电子产品离线检测系统与方法，通过此系统及方法在线检测的印刷电子产品，其检测效率和检测精度都大大优于普通的印刷产品检测方式，并能有效提高产品质量并同时降低废品率。

附图说明

图1为本发明实施例的印刷电子产品离线检测系统示意图；

图2为本发明实施例中模板匹配算法，当为K＝2，模板大小为4×4时，进行粗略匹配时选择的像素点示意图；

图3为本发明实施例中模板匹配算法改进以后的算法流程图示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

参考图1，为本发明实施例的印刷电子产品离线检测系统示意图，其中包括照明光源1、检测设备辊轴2、相机3、编码器4、图像采集卡5、计算机6、报警控制器7、报警器8、印刷电子产品9、触发标记10。

其中，图像采集系统包括了照明光源1、相机3、编码器4、图像采集卡5和设置在印刷电子产品9上的触发标记10；图像处理系统包括了计算机6，计算机6则包含了印刷缺陷检测系统和印刷缺陷分类器；报警提示系统包括了报警控制器7和报警器8。

所述的图像采集系统架设在检测设备上方，照明光源1以一定角度倾斜照射印刷电子产品9的表面，印刷电子产品9的表面设置有触发标记10，检测设备辊轴2的转动带动印刷电子产品9向前运动，检测设备上方与触发标记10位置对应地设置有触发传感器，所述触发标记10设置为，当印刷电子产品9所需检测的部分的起始位置运动到相机3的正下方时，触发所述触发传感器向所述相机3发出开始采集的信号，相机3开始摄取印刷电子产品2表面的图像信息，所述相机3设置在需要进行图像采集的所述印刷电子产品2的表面的正上方，所述相机3垂直对印刷电子产品2表面进行拍摄，利用与印刷设备控制器连接的编码器4控制印刷电子产品2与相机3的拍摄动作的运动同步，并通过连接在相机3上的图像采集卡5收集印刷电子产品2的图像信息。

所述图像处理系统中的计算机6在接收到图像采集系统采集的图像信息后，图像信息在计算机6内通过采用一种基于改进的混合遗传算法的快速模板匹配算法的印刷缺陷检测系统进行缺陷查找，其先利用低精度搜索排除不可能位置，再用高精度搜索匹配位置并找到缺陷，该算法原理如下：

在遗传算法部分只需要找到大致的位置即可，而且如果位置不正确也可经过爬山法返回后继续寻找，匹配时可以不用精确的匹配过程而采用粗略的匹配过程。在每个坐标点的匹配过程中，不需要对模板中所有的点与原图像中对应的点进行比较，而是选取部分点即可。选取模板上水平和垂直方向上间隔为K的像素点进行匹配，这样遗传算法部分的计算量是原来的1/K²，图1为K＝2时的情况。改进后的遗传算法适应度函数如下：

其中：

在遗传算法部分K＝min{P，Q}/10，而在爬山法部分K＝1，即在爬山法部分还是采用原来精确的匹配方法，这样能保证算法的正确率。

参考图2，为K＝2，模板大小为4×4时，进行粗略匹配时选择的像素点；图2中灰色点为选中进行匹配的点。

为了防止已经进行过爬山法搜索的点再次进入爬山法搜索过程，算法中增加了一个搜索路径表来保存在爬山法过程中经过的点，当最佳位置为路径表中的点时，就不再进入爬山法搜索过程。

改进以后的算法流程图参考图3。

可以看出，该算法利用了遗传算法快速的搜索速度来减少匹配时间，同时利用爬山法局部搜索能力强，能快速收敛到精确位置的优点来保证匹配精度。其次，该算法还融入了先粗后细、逐步精确的搜索思想，在开始搜索时利用低精度搜索，快速排除不可能的位置；在可能的位置采用高精度搜索匹配方法，找到精确位置。而与传统的匹配算法相比，该算法的速度更快，定位更精确。

当图像处理系统找到缺陷以后，将该信息传递到报警提示系统，报警控制器7接收到报警信号，并将其传递到报警器8，报警器8进行报警，提示工作人员印刷产品出现了缺陷。

另外，图像处理系统通过计算机6中的印刷缺陷分类器对印刷设备进行故障诊断，其原理如下：

提取缺陷的轮廓，将其进行椭圆拟合，最后测量出缺陷的参数信息：缺陷面积、重心坐标、长短轴长度。

最简单的区域特征是区域的面积：

$a=\left|R\right|=\underset{(r,c)\∈R}{\mathrm{\Σ}}1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{ce}}_i-{\mathrm{cs}}_i+1---\left(1\right)$

由上式可知，区域的面积a就是区域内的点数|R|。如果区域是用一幅二值图像表示的，那么用上式中的第一个求和等式计算区域的面积；如果区域是用行程编码表示的，那么用上式中的第二个求和等式计算区域的面积。

面积是被称为区域的矩的广义特征中的一个特例。p≥0，q≥0时，(p，q)阶矩被定义为：

$m_{p,q}=\underset{(r,c)\∈R}{\mathrm{\Σ}}{r}^p{c}^q---\left(2\right)$

注意m_0，0就是区域的面积。与计算面积类似，因为能够推导出仅基于行程的简单等式来计算矩，所以使用行程表示法时就可以高效率地计算矩。

等式(2)中的矩依赖于区域的尺寸。通常我们期望有一些特征可不随物体尺寸变化而变化，为获取这样的特征，当p+q≥1时，矩除以区域的面积就得到了归一化的矩：

$n_{p,q}=\frac{1}{a}\underset{(r,c)\∈R}{\mathrm{\Σ}}{r}^p{c}^p---\left(3\right)$

从归一化的矩推导得到的最令人感兴趣的特性是区域的重心，即(n_1，0，n_0，1)。它能被用来描述区域的位置。

归一化的矩是由图像中的位置决定的。通常，使特征不随图像中区域的位置变化而变化是很有用的。这可以通过计算相对于区域重心的矩来实现。这些中心矩是在(p+q≥2)时由下式计算得到的：

${\mathrm{\μ}}_{p,q}=\frac{1}{a}\underset{(r,c)\∈R}{\mathrm{\Σ}}{(r-n_{\mathrm{1,0}})}^p{(c-n_{\mathrm{0,1}})}^q---\left(4\right)$

注意这些中心矩也是归一化处理后的。二阶中心矩(p+q＝2)尤其值得关注，它们可以用来定义区域的方向和区域的范围。这是通过假设从一个椭圆上获取区域的一阶矩和二阶矩而实现的。然后，从这五个矩推导出椭圆的五个几何参数。椭圆的中心与区域的重心是一致的。椭圆的长轴r₁和短轴r₂，以及相对于横轴的夹角可由下式计算得到：

$r_1=\sqrt{2({\mathrm{\μ}}_{\mathrm{2,0}}+{\mathrm{\μ}}_{\mathrm{0,2}}+\sqrt{{({\mathrm{\μ}}_{2,0}-{\mathrm{\μ}}_{\mathrm{0,2}})}^2+4{\mathrm{\μ}}_{\mathrm{1,1}}^2})}$

$r_2=\sqrt{2({\mathrm{\μ}}_{\mathrm{2,0}}+{\mathrm{\μ}}_{\mathrm{0,2}}-\sqrt{{({\mathrm{\μ}}_{\mathrm{2,0}}-{\mathrm{\μ}}_{\mathrm{0,2}})}^2+4{\mathrm{\μ}}_{\mathrm{1,1}}^2})}---\left(5\right)$

$\mathrm{\θ}=-\frac{1}{2}\arctan \frac{2{\mathrm{\μ}}_{\mathrm{1,1}}}{{\mathrm{\μ}}_{\mathrm{0,2}}-{\mathrm{\μ}}_{\mathrm{2,0}}}$

通过椭圆的参数，我们能推导出另一个非常有用的特征：各向异性r₁/r₂。此特征量在区域缩放时是保持恒定不变的，它可以描述一个区域的细长程度。

分类器设计：

设印刷图像缺陷面积为Area，短轴与长轴之比R＝r₂/r₁，则分类器设计如下：

If(Area＜＝4)then缺陷为点状；

If(Area＞4)and(R＜0.3)then缺陷为线状；

If(Area＞4)and(0.3＝＜R＜0.6)then缺陷为带状；

If(Area＞4)and(0.6＝＜R＜＝1)then缺陷为面状；

以上分类器设计，提取已有印刷缺陷的有效图像特征，构建了印刷缺陷的分类准则函数，形成了印刷缺陷分类器，可以将印刷缺陷分为线状、点状、带状、面状类，并进行统计分析，用于印刷设备的故障诊断，便于后续针对印刷设备缺陷进行调试。

利用所述的印刷电子产品离线检测系统进行的印刷电子产品离线检测方法如下：

第一步，在印刷电子产品9和其样本上与触发传感器相应的位置设置触发标记10；

第二步，打开照明光源1，光线以一定角度照射印刷电子产品9的样本，当触发传感器感应到触发标记10时，触发相机3垂直对印刷电子产品2的样本表面进行抓拍摄取图像信息，并保存印刷电子产品9的样本的一帧图像到计算机6，作为检测标准模板，并定义模板区域的大小范围；

第三步，保持相机3与印刷电子产品9表面垂直，并利用与印刷设备控制器连接的编码器4控制并保持相机3摄取动作与印刷电子产品9运动的同步，利用相机3和图像采集卡5实时连续采集印刷设备生产的印刷电子产品9的图像信息，其采图区域的大小与检测标准模板大小一致；

第四步，计算机6通过印刷缺陷检测系统采用图像处理快速模板匹配算法，将实时采集图像与检测标准模板进行匹配与对比，找到与检测标准模板不一致的地方即为缺陷位置；

第五步，利用印刷缺陷检测系统对缺陷位置进行分析，圈出缺陷的大小和形状，并在原图帧中标示缺陷的位置和形状，在计算机显示器上显示出来，同时给出报警信号到报警控制器7，报警器8报警；

第六步，将印刷缺陷分为线状、点状、带状、面状，分别进行统计和存盘，用于后期查询和显示各类缺陷对应的图像帧，实现重新回放和分析。

可以看出，通过此系统及方法离线检测的印刷电子产品，因其采用了改进型混合遗传算法的快速模板匹配算法对印刷缺陷进行查找，大大提高了缺陷查找的效率，并且精准度极高，从而配合此算法的印刷产品离线检测的此系统与方法的检测效率高，检测精度高，并能有效提高产品质量并同时降低废品率；同时，采用印刷缺陷分类器对印刷设备进行故障诊断，可将缺陷进行分类统计并分析，对于后续查找印刷缺陷，并对印刷设备进行相应调试起到很好的辅助作用，节省了时间和精力。

需要指出的是，所述相机3可选用工业相机、智能相机或其他能利用机器视觉进行拍摄的相机，优选的为面阵工业相机或线阵工业相机，对应的照明光源1则可选用面阵光源或条状光源，而相机采集检测标准模板的图像采集方式则优选为单步控制方式。

另外，在条件允许的情况下，所述的检测标准模板也可直接调用计算机6内已储存的现有模板信息，不必每次都对印刷电子产品的样本进行图像采集；触发标记10和触发传感器的设置可根据需要设置，且设置触发标记10的作用在于剔除不需要采集图像信息的部分，当需要采集图像的部分之间间隔较小时，也可采取连续采集图像的方式，则无需再单独设置触发标记10。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种印刷电子产品离线检测方法，应用于印刷电子产品离线检测系统，该系统包括：图像采集系统、图像处理系统和报警提示系统；所述图像采集系统包括照明光源、相机、编码器、图像采集卡，所述图像处理系统包括计算机、用于搜索印刷缺陷的基于快速模板匹配算法的印刷缺陷检测系统、用于印刷设备故障诊断的印刷缺陷分类器；其特征在于，包括下列步骤：

实时连续采集印刷设备生产的印刷电子产品图像，其采图区域的大小与检测标准模板大小一致；

采用图像处理快速模板匹配算法，将实时采集图像与检测标准模板进行匹配与对比，找到与检测标准模板不一致的地方即为缺陷位置；所述快速模板匹配算法为改进型混合遗传算法，先利用低精度搜索排除不可能位置，再用高精度搜索匹配位置并找到缺陷；所述改进型混合遗传算法适应度函数如下：

其中：

利用印刷缺陷检测系统对缺陷位置进行分析，圈出缺陷的大小和形状，并在原图帧中标示缺陷的位置和形状，在计算机显示器上显示出来，同时给出报警信号到报警控制器，报警器报警；

将印刷缺陷分为线状、点状、带状、面状，分别进行统计和存盘，用于后期查询和显示各类缺陷对应的图像帧，实现重新回放和分析。

2.根据权利要求1所述的印刷电子产品离线检测方法，其特征在于，待检测印刷电子产品上设置有触发标记，所述图像采集系统上设置有触发传感器，所述触发传感器感应到触发标记时，触发所述相机进行图像采集。

3.根据权利要求1所述的印刷电子产品离线检测方法，其特征在于，图像采集系统上还设置有用于图像采集同步的光电编码器。

4.根据权利要求1所述的印刷电子产品离线检测方法，其特征在于，所述印刷缺陷分类器将印刷缺陷分为线状、点状、带状、面状，并对缺陷类别进行统计分析。

5.根据权利要求1所述的印刷电子产品离线检测方法，其特征在于，所述的相机为工业相机或智能相机。

6.根据权利要求5所述的印刷电子产品离线检测方法，其特征在于，所述的相机为面阵工业相机或线阵工业相机。

7.根据权利要求6所述的印刷电子产品离线检测方法，其特征在于，所述的照明光源为面阵光源或条状光源。

8.根据权利要求1所述的印刷电子产品离线检测方法，其特征在于，所述的检测标准模板是通过采集印刷电子产品样本的图像信息得到的，或直接从计算机调用已有的模板。

9.根据权利要求8所述的印刷电子产品离线检测方法，其特征在于，所述的相机采集检测标准模板的图像采集方式为单步控制方式。

10.根据权利要求1至9任意一项所述的印刷电子产品离线检测方法，其特征在于，所述相机与印刷电子产品表面保持垂直，并利用与印刷设备控制器连接的编码器控制并保持相机摄取动作与印刷电子产品运动的同步。