CN109840499B

CN109840499B - 一种快速检测印刷品打印及装订质量的方法

Info

Publication number: CN109840499B
Application number: CN201910097766.9A
Authority: CN
Inventors: 李佐勇; 刘伟霞; 樊好义; 张祖昌; 余兆钗
Original assignee: Minjiang University
Current assignee: FUJIAN RONGJI SOFTWARE CO LTD
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2021-03-02
Anticipated expiration: 2039-01-31
Also published as: CN109840499A

Abstract

本发明涉及一种快速检测印刷品打印及装订质量的方法。首先对页面布局中的文字和图形等内容进行定位，然后构造描述子提取横纵两个方向上的页面布局特征向量，最后引入基于动态时间规整（DTW）的特征匹配算法来度量测试图像(待检测的印刷品页面图像)与参考图像(打印装订合格的印刷品页面图像)之间的相似性，以此判定待检测的印刷品页面是否存在打印或装订错误。实验结果表明，本发明方法对印刷品打印及装订质量的检测成功率高，且实时性强。

Description

一种快速检测印刷品打印及装订质量的方法

技术领域

本发明属于图像识别技术领域，具体涉及一种快速检测印刷品打印及装订质量的方法。

背景技术

随着现代科技的发展，各式各样的印刷品在日常生活和工作中随处可见，比如，文件、报纸、银行票据、产品使用说明书等。印刷过程中可能出现的干扰因素有时会导致印刷品存在打印质量问题，比如，漏印、斑点、缺页以及装订时由于装订顺序出错而导致的印刷品印刷错误，这会造成印刷品质量的下降。因此，在现代印刷品快速打印及装订的过程中，有必要对印刷品质量进行监控，以保证印刷品的质量。

印刷品快速打印及装订流程中的一个关键步骤是检测快速打印过程中出现的打印质量问题，比如漏印、斑点、缺页以及装订时由于装订顺序出错而导致的印刷品排版错误。传统的检测方式是在印刷品打印完成后，对其进行随机抽检，通过人眼进行打印及装订质量的辨识。传统检测方式无法满足快速打印及装订过程中的实时性要求，存在抽样随机性大、漏检率高、识别效率低、人工成本高等问题，且容易由于人的视觉疲劳造成检测率下降。为此，有必要研究印刷品打印及装订质量的实时检测问题。为了提高印刷品打印及装订质量的检测精度和速度，本发明设计了一种快速而有效的印刷品打印及装订质量的检测方法，能准确自动地检测出印刷品页面是否存在打印及装订质量问题。

发明内容

本发明的目的在于提供一种快速检测印刷品打印及装订质量的方法，该方法对印刷品打印及装订质量的检测成功率高，且实时性强。

为实现上述目的，本发明的技术方案是：一种快速检测印刷品打印及装订质量的方法，包括如下步骤：

步骤S1、页面布局定位：对印刷品页面的布局内容进行定位；

步骤S2、布局特征提取：构造用于描述页面布局信息的描述子，提取横纵两个方向上的页面布局特征向量；

步骤S3、特征匹配：引入基于动态时间规整的特征匹配算法来度量待检测的印刷品页面图像与参考图像，即打印装订合格的印刷品页面图像之间的相似性，以此判定待检测的印刷品页面是否存在打印或装订错误。

在本发明一实施例中，所述步骤S1具体实现如下：

步骤S11、图像灰度化：根据Matlab中Image Processing Toolbox提供的NTSC转化公式，如公式(1)所示，将一幅RGB图像I转化为灰度图像I_gray，其中，R、G、B分别代表图像的红色、绿色和蓝色分量；

I_gray＝0.299R+0.587G+0.114B (1)

步骤S12、图像梯度计算：

首先，采用X方向和Y方向Sobel算子对灰度图像分别进行滤波，以计算两个方向上的图像梯度，其中，X方向和Y方向的Sobel算子如下所示；

然后，按公式(2)计算两个方向上的Sobel算子与局部邻域窗口卷积运算后的绝对值之和作为图像的近似梯度；

G(i,j)＝|Ω(i,j)*S_x|+|Ω(i,j)*S_y| (2)

其中，Ω(i,j)表示以像素点(i,j)为中心的3*3局部图像窗口，G(i,j)代表图像梯度计算结果中像素点(i,j)处的值；

步骤S13、形态学操作：

首先，构造矩形结构元素E：

式中，H代表图像矩阵的行数，即图像的高度，m和n分别代表结构元素E矩阵的行数和列数；

然后，利用结构元素E对图像梯度计算结果执行闭运算，以填充候选目标区域的内部孔洞和凹角点，将邻近的候选目标区域连接起来；

步骤S14、图像二值化：在经过形态学操作后的梯度图像上，执行下式的图像阈值分割，得到图像的二值化结果：

其中，

在公式(4)中，

表示形态学操作后的梯度图像，T是经典的阈值分割算法在图像

上确定的最优分割阈值。

在本发明一实施例中，所述步骤S2具体实现如下：

步骤S21、构造滑动掩模：首先，构造滑动掩模，用于提取页面不同区域位置的布局信息，包括：纵向掩模和横向掩模，分别用来提取页面纵向和横向布局信息；

其中，纵向掩模M_x是一个3×W的全1矩阵，其中，W表示页面宽度；在特征提取阶段，利用纵向掩模自上而下在图像上进行滑动，对掩模所经过的图像区域进行特征计算，构造出页面的特征描述子；横向掩模M_y是一个H×3的全1矩阵，其中，H表示页面高度；在特征提取阶段，利用横向掩模从左至右在图像上进行滑动，对掩模所经过的图像区域进行特征计算，构造出页面的特征描述子；

步骤S22、特征计算：利用滑动掩模计算步骤S14得到的二值图像的特征值，即将掩模矩阵元素与对应掩模区域内图像矩阵元素作逻辑与运算，统计与运算结果中1的个数作为特征值；以图像左上角为坐标原点，垂直向下为x轴方向，垂直向右为y轴方向；纵向掩模沿x轴方向滑动，每次滑动一行，其特征计算的形式化描述为公式(6)，计算完所有特征值后进行归一化处理；横向掩模沿y轴方向滑动，每次滑动一列，其特征计算的形式化描述为公式(7)，计算完所有特征值后进行归一化处理；当滑动窗口滑到图像底部或者右侧导致图像区域与掩模大小不一致时，对图像进行镜像扩展；

其中，

代表矩阵B中第x_i行到第x_i+2行所有元素构成的子矩阵，

代表矩阵B中第y_j列到第y_j+2列所有元素构成的子矩阵，符号&表示两矩阵对应位置元素的逻辑与运算，函数Count(M)表示统计矩阵M中元素1的个数。

在本发明一实施例中，所述步骤S3具体实现如下：

利用基于动态时间规整的特征匹配算法的特性，将二维图像识别问题转化为一维向量匹配问题，利用基于动态时间规整的特征匹配算法分别提取参考图像和待质量检测的印刷品页面图像的一维纵向掩模特征向量、横向掩模特征向量；然后，对两个行特征向量进行匹配对齐，根据公式(8)求得两向量之间的映射关系记为F_r＝{f_r1,f_r2,f_r3,...,f_rK}，并根据公式(9)计算两个向量之间的欧氏距离记为d_r；接着，对两个列特征向量进行匹配对齐，根据公式(8)求得两向量之间的映射关系记为F_c＝{f_c1,f_c2,f_c3,...,f_cK}，并计算两个向量之间的欧氏距离记为d_c；最后，取max(d_r,d_c)作为待质量检测的印刷品页面图像与参考图像的相似性度量值，若max(d_r,d_c)>1，则判定待检测印刷品页面图像与参考图像存在差异，认定存在打印或者装订错误；

F＝{f₁,f₂,f₃,...,f_K},max(m,n)≤K≤m+n+1 (8)

其中，公式(8)表示利用一个时间规整函数F将一维输入向量{b₁,b₂,b₃,...,b_n}映射至另外一个一维参考向量{a₁,a₂,a₃,...,a_n}，f_k＝(i,j)定义了输入向量的第i个元素b_i与参考向量的第j个元素a_j之间的映射，d(f_k)定义了该映射下两向量之间的距离，D为最优时间规整下，两个向量之间的距离，即两个时间序列之间可达到的最大相似度。

相较于现有技术，本发明具有以下有益效果：本发明方法首先对页面布局中的文字和图形等内容进行定位，然后构造描述子提取横纵两个方向上的页面布局特征向量，最后引入基于动态时间规整(DTW)的特征匹配算法来度量测试图像(待检测的印刷品页面图像)与参考图像(打印装订合格的印刷品页面图像)之间的相似性，以此判定待检测的印刷品页面是否存在打印或装订错误；实验结果表明，本发明方法对印刷品打印及装订质量的检测成功率高，且实时性强。

附图说明

图1为本发明方法流程图。

图2为图像灰度化处理结果：(a)原图像，(b)灰度图像。

图3为图像梯度计算结果：(a)X方向的图像梯度，(b)Y方向的图像梯度，(c)总的图像梯度。

图4为梯度图像形态学闭运算结果。

图5为形态学操作后梯度图像的二值化结果。

图6为利用纵向掩模M_x对图6提取特征的结果。

图7为利用横向掩模M_y对图6提取特征的结果

图8为参考图像与测试图像特征提取的比较：(a)参考图像；(b)测试图像；(c)参考图像纵向掩模特征向量提取结果；(d)参考图像横向掩模特征向量提取结果；(e)测试图像纵向掩模特征向量提取结果；(f)测试图像横向掩模特征向量提取结果。

图9为参考图像特征向量与测试图像特征向量DTW匹配结果：(a)纵向掩模特征向量匹配结果；(b)横向掩模特征向量匹配结果。

图10为小米运动蓝牙耳机mini使用手册。

图11为小米运动蓝牙耳机mini使用手册第10页的不良品示例(漏印，斑点)及其特征提取结果：(a)原图(合格品)；(b)漏印不良品；(c)斑点不良品；其中，子图右侧倒立曲线表示纵向掩模特征向量提取结果，子图下方曲线表示横向掩模特征向量提取结果。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种快速检测印刷品打印及装订质量的方法，包括如下步骤：

步骤S1、页面布局定位：对印刷品页面的布局内容进行定位；具体实现如下：

I_gray＝0.299R+0.587G+0.114B (1)

步骤S12、图像梯度计算：

G(i,j)＝|Ω(i,j)*S_x|+|Ω(i,j)*S_y| (2)

步骤S13、形态学操作：

首先，构造矩形结构元素E：

其中，

在公式(4)中，

表示形态学操作后的梯度图像，T是经典的阈值分割算法]在图像

上确定的最优分割阈值。

步骤S2、布局特征提取：构造用于描述页面布局信息的描述子，提取横纵两个方向上的页面布局特征向量；具体实现如下：

其中，

代表矩阵B的中第x_i行到第x_i+2行所有元素构成的子矩阵，

步骤S3、特征匹配：引入基于动态时间规整的特征匹配算法来度量待检测的印刷品页面图像与参考图像之间的相似性，以此判定待检测的印刷品页面是否存在打印或装订错误；具体实现如下：

F＝{f₁,f₂,f₃,...,f_K},max(m,n)≤K≤m+n+1 (8)

以下为本发明的具体实现过程。

如图1所示，本发明的一种快速检测印刷品打印及装订质量的方法，执行流程如下：

1、页面布局定位

页面布局定位即对印刷品页面的内容布局进行定位与提取，通过分析页面的布局信息来判断当前页面是否达到打印质量及装订要求，具体步骤如下：

1)图像灰度化：根据Matlab中Image Processing Toolbox提供的NTSC转化公式，如公式(1)所示，将一幅RGB图像I转化为灰度图像I_gray，其中，R、G、B分别代表图像的红色、绿色和蓝色分量。

I_gray＝0.299R+0.587G+0.114B (1)

2)图像梯度计算：

首先，采用X方向和Y方向Sobel算子对灰度图像分别进行滤波，以计算两个方向上的图像梯度，其中，X方向和Y方向的Sobel算子如下所示；两个方向的梯度计算结果如图3(a)和图3(b)所示。

然后，按公式(2)计算两个方向上的Sobel算子与局部邻域窗口卷积运算后的绝对值之和作为图像的近似梯度，梯度图像如图3(c)所示。

G(i,j)＝|Ω(i,j)*S_x|+|Ω(i,j)*S_y| (2)

3)形态学操作：

首先，构造矩形结构元素E：

式中，H代表图像矩阵的行数(图像的高度)，m和n分别代表结构元素E矩阵的行数和列数；然后，利用结构元素E对图像梯度计算结果即图3(c)所示的梯度图像执行闭运算(Closing)^[1]，旨在填充候选目标区域的内部孔洞和凹角点，将邻近的候选目标区域连接起来，结果如图4所示。

4)图像二值化：在经过形态学操作后的梯度图像上，执行下式的图像阈值分割，得到图像的二值化结果：

其中，

在公式(4)中，

表示形态学操作后的梯度图像，T是经典的阈值分割算法Otsu^[2]在图像

上确定的最优分割阈值。图5展示了在图4所示的梯度图像上执行阈值分割后所得的图像二值化结果。

2、布局特征提取

如图5所示，本发明方法成功地定位了印刷页面的内容布局。由于不同页面的布局信息很难完全相似，比如，每个段落长度不同、标题及插图的大小、数量、位置不同等。因此，本发明方法提出一种用于描述页面布局信息的描述子，将其作为鉴别特征为后续快速有效的特征匹配提供基础。构造此描述子的具体步骤如下：

1)构造滑动掩模：首先，构造滑动掩模，用于提取页面不同区域位置的布局信息。本发明方法构造了两种矩形掩模：纵向掩模和横向掩模，分别用来提取页面纵向和横向布局信息。

纵向掩模M_x是一个3×W的全1矩阵，其中，W表示页面宽度。在特征提取阶段，利用纵向掩模自上而下在图像上进行滑动，对掩模所经过的图像区域进行特征计算，构造出页面的特征描述子。

横向掩模M_y是一个H×3的全1矩阵，其中，H表示页面高度。在特征提取阶段，利用横向掩模从左至右在图像上进行滑动，对掩模所经过的图像区域进行特征计算，构造出页面的特征描述子。

2)特征计算：利用滑动掩模计算图5所示二值图像(B)的特征值，即将掩模矩阵元素与对应掩模区域内图像矩阵元素作逻辑与运算，统计与运算结果中1的个数作为特征值。以图像左上角为坐标原点，垂直向下为x轴方向，垂直向右为y轴方向。纵向掩模沿x轴方向滑动，每次滑动一行，其特征计算的形式化描述为公式(6)，计算完所有特征值后进行归一化处理，所得结果如图6所示。横向掩模沿y轴方向滑动，每次滑动一列，其特征计算的形式化描述为公式(7)，计算完所有特征值后进行归一化处理，所得结果如图7所示。当滑动窗口滑到图像底部或者右侧导致图像区域与掩模大小不一致时，通过镜像扩展图像来解决此问题。

其中，

代表矩阵B中第x_i行到第x_i+2行所有元素构成的子矩阵，

3、特征匹配

1)动态时间规整

动态时间规整(DTW)方法是Sakoe等人^[3]提出的度量时间序列相似性的方法。该方法最初用于1维语音信号识别，其利用动态规划的思想，通过动态规整来对齐时间序列时间轴，以减小序列时间错位带来的误差，最终计算出两个1维时间序列之间的最小距离^[4]。在计算两个时间序列之间的距离时，DTW首先需要利用一个时间规整函数F将1维输入向量{b₁,b₂,b₃,...,b_n}映射至另外一个1维参考向量{a₁,a₂,a₃,...,a_n}，即：

F＝{f₁,f₂,f₃,...,f_K},max(m,n)≤K≤m+n+1 (8)

然后，计算向量间的距离：

其中，f_k＝(i,j)定义了输入向量的第i个元素b_i与参考向量的第j个元素a_j之间的映射，d(f_k)定义了该映射下两向量之间的距离，D为最优时间规整下，两个向量之间的距离，即两个时间序列之间可达到的最大相似度。

在寻找最佳映射函数即最佳匹配路径的过程中，其路径的选择需满足以下几个约束^[5]：

①边界条件：

f₁＝(1,1),f_K＝(n,m) (10)

该约束条件限定了两个向量的起始点和终止点，即限定了最佳匹配路径的寻找范围。

②单调与连续性：

f_k-1＝(a',b'),f_k＝(a,b),0≤a-a'≤1,0≤b-b'≤1 (11)

该约束条件保证向量间不能跨点匹配，必须与相邻的特征点对齐，匹配路径的方向只能是自前向后按顺序匹配。

1)基于动态时间规整的特征匹配

本发明方法利用DTW方法的特性，将2维图像识别问题转化为1维向量匹配问题，利用DTW方法分别提取参考图像(打印及装订合格的图像)和测试图像(待质量检测的印刷品页面图像)的1维纵向掩模(行)特征向量、横向掩模(列)特征向量；然后，对两个行特征向量进行匹配对齐，根据公式(8))求得两向量之间的映射关系记为F_r＝{f_r1,f_r2,f_r3,...,f_rK}，并根据公式(9)计算两个向量之间的欧氏距离记为d_r；接着，对两个列特征向量进行匹配对齐，根据公式(8)求得两向量之间的映射关系记为F_c＝{f_c1,f_c2,f_c3,...,f_cK}，并计算两个向量之间的欧氏距离记为d_c；最后，取max(d_r,d_c)作为测试图像与参考图像的相似性度量值，如果max(d_r,d_c)>1，则判定待检测印刷品页面图像与参考图像存在差异，认定存在打印或者装订错误。

图8以图2(a)中的图像为例，图8(a)和(b)分别给出了参考图像(打印质量合格的图像)和测试图像(打印及质量不合格的图像)，图8(c)和(d)分别给出了参考图像的行特征提取结果和列特征提取结果的示意图，图8(e)和(f)分别给出了测试图像的行特征提取结果和列特征提取结果的示意图。对比图8(c)和(e)，参考图像和测试图像的行特征波形在蓝色矩形框出的区域存在特征差异。对比图8(d)和(f)，参考图像和测试图像的列特征波形在蓝色矩形框出的区域存在特征差异。图9(a)和(b)更直观地给出了参考图像和测试图像的行特征波形、列特征波形的DTW匹配结果。表1给出了参考图像、测试图像的行列特征向量之间的欧氏距离度量结果。

表1测试图像与参考图像的距离计算结果

由表1可见，两幅图像行特征向量的距离为16.25，列特征向量的距离为6.596，两幅图像的相似性度量值为16.25，其大于设定的阈值1，故认定测试图像存在打印或者装订错误。

实验结果：

印刷品打印及装订流程中的一个关键步骤是分析和检测在高速打印过程中出现的打印质量问题，比如漏印、斑点、缺页、以及装订时由于装订顺序出错而导致印刷物的排版错误，为了验证本发明算法的有效性和实时性，本发明选用小米运动蓝牙耳机mini使用手册及其不良品作为测试样本。印刷质量合格的小米运动蓝牙耳机mini使用手册共有14页，如图10所示，其中每页由不同的图案和文字组成，其页面布局各有差异。图11为手册第10页的不良品示例(漏印，斑点)及其特征提取结果；如表2所示，本发明算法有效地度量了合格印品与不良品之间的相似度，以此作为打印及装订质量合格与否的评定准则。为验证本发明算法的实时性，本发明对所有14页的使用手册及其对应的不良品(漏印，斑点)的特征提取和匹配的平均时间进行统计，如表3所示，本发明方法的运行效率较高，符合高速打印过程中打印及装订质量检测的实时性要求。

本发明方法采用Python语言编程，实验运行在2.60GHz的Intel CoreTM i7-4720HQ CPU、8G内存的笔记本电脑上。

表2图11中合格品与不良品之间的相似性度量结果

	漏印不良品	斑点不良品
			纵向掩模特征向量距离	53.741	5.032
横向掩模特征向量距离	159.2	5.041
			相似性度量值	159.2	5.041

表3本发明算法检测图11中子图像的运行时间

参考文献：

[1]VincentL.Grayscale area openings and closings，their efficientimplementation and applications[C].Mathematical Morphology andItsApplicationsto Signal Processing.1993：22-27.

[2]Otsu N.A threshold selection method from gray-level histogram[J].IEEE Trans.syst.man.&Cybern.，1979，9(1)：62-66.

[3]Sakoe H，Chiba S.Dynamic programming algorithm optimization forspoken word recognition[J].IEEE Transactions on Acoustics，Speech，and SignalProcessing，1978，26(1)：43-49.

[4]Lichtenauer J F，Hendriks E A，R einders M J T.Sign languagerecognition by combining statistical DTW and independent classification [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30(11)：2040-2046.

[5]周宁南，张孝，刘城山，王珊.基于动态时间规整的时序数据相似连接[J].计算机学报，2018，41(08)：1798-1813.。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。