CN112381738B - 一种基于相关运算的透视图像自适应校正算法 - Google Patents

Abstract

本发明公开了一种基于相关运算的透视图像自适应校正算法，涉及计算机视觉、图像处理、及信号处理技术领域，包括以下步骤，结合图像处理学技术，运用信号处理学的互相关运算进行模版匹配，计算周期性噪声的自相关矩阵，对噪声块进行采样同步，对周期性噪声的自相关矩阵中的峰值点交比验算，进行最终的模版匹配透视校正。本发明通过创造了一种创新的基于相关运算的透视图像自适应校正算法，相较与传统算法，具有精度更高、运算量更低、且全自动化无需人工参与的优点，填补了国内外相关领域的技术空白，可大规模应用于各行业的计算机视觉检测场景中。

Description

一种基于相关运算的透视图像自适应校正算法

技术领域

本发明涉及计算机图像透视变换技术领域，具体涉及一种基于相关运算的透视图像自适应校正算法。

背景技术

随着近年来智能手机的大规模普及，极大地带动了计算机视觉技术的发展。例如，我们可以用手机将商品拍照下来，然后在电商平台上透过图像搜索与其匹配的商品；又例如，我们可以将纸张上的文字扫描下来，然后应用OCR(Optical Character Recognition，光学字符识别)技术将文字图像转换为计算机可以识别的数据信息。

随着深度学习技术的不断发展，对于物体的外部轮廓、形状、和形态等方面的识别技术已经日益成熟，但与此同时，对图像细节信息的提取技术却显得相对来说有些发展滞后。其中一个重要的因素是，使用手机拍出来的照片，多多少少都会带有【透视】效果。而经过透视后的图像细节，其原有的形态往往已经发生了改变，从而导致识别困难。比如，很多OCR软件在扫描件上的识别率很高，但如果换成手机拍的照片，识别率就会大大降低。

图像的透视变换(Perspective Transformation)在计算机视觉中是一种的常见场景，它主要是指将一个三维世界中的物体表达到二维图像上的一种手段。例如，我们将一张写有内容的矩形纸张放到桌面上，然后使用手机从旁边对其进行拍照，拍出来的照片中原本是矩形的纸，就会被透视从而变成了一个不规则四边形，我们将这个四边形称为透视四边形。这时候，如果我们需要用计算机从照片中将纸上的内容读取出来，就必须先将在照片中这个不规则四边形【拧正】，重新变成一个矩形后，里面的内容才能变为计算机的可读信息。这个过程被称为【透视校正】。

针对现有技术存在以下问题：

1、目前透视校正的典型做法是，要求用户在拍照的时候，一定要保留透视四边形的顶点，这样一来通过【角点】或【轮廓】算法便能定位到4个顶点。但这样做的局限性是非常大的，不仅容易收到外界影响，而且用户在拍照时的体验也不好。因此，我们需要一种自适应的透视校正算法，但当前全球范围内做自适应透视校正的研究很少，而且大多数公开的研究都停留在了【仿射校正】这个层面上；

2、简单来说，仿射校正是将经过【仿射变换】的图给拧正的过程，它可以被理解为图像仅在二维层面进行缩放、平移、拉伸等变换，而不涉及到透视变换中的三维变换。比如，我们在扫描图像的时候，纸张是被扫描仪【夹】着的，这就等于将纸张固定在了一个二维平面，这时候，仿射校正就能被应用于对扫描图像的角度偏差校正，仿射校正所涉及的主要算法，是提前在图像中嵌入一个周期性的噪声，待到发生仿射变换后，通过计算自相关矩阵，得到多个周期性峰值点区域，这些峰值点区域的排布直接对应了仿射变换的结构走势，因此，依照这些峰值点区域就可以对图像进行仿射校正，但这种仿射校正的算法却无法满足透视校正的场景；

3、仿射变换是二维的，而透视变换却是三维的，如果直接计算透视图像的自相关矩阵，所得出的峰值点区域不但会出现严重的【衰减】，而且这些峰值点区域的位置更会发生偏移，从而导致透视结构走势模版的失真，因此，计算透视图像的自相关矩阵不能作为透视校正的依据。

发明内容

本发明的目的在于提供一种基于相关运算的透视图像自适应校正算法，填补了国内外计算机视觉领域的技术空白，与多数仿射校正研究所采用的仅计算自相关矩阵的方式不同，本发明通过对自相关采样同步及模版匹配技术的融合应用，实现了准确的自适应透视校正。

为实现上述目的，本发明提供如下技术方案：一种基于相关运算的透视图像自适应校正算法，包括以下步骤：

S1、结合图像处理学技术，运用信号处理学的互相关运算进行模版匹配；

S2、计算周期性噪声的自相关矩阵，对噪声块进行采样同步；

S3、对周期性噪声的自相关矩阵中的峰值点交比验算；

S4、进行最终的模版匹配透视校正。

本发明技术方案的进一步改进在于：所述S1步骤还包括：

a、互相关运算的核心计算过程与卷积类似，假设有两个图像s(x,y)和f(x,y)，且图像s(x,y)是图像f(x,y)的子区域；

b、则s(x,y)可以被理解为卷积核，对f(x,y)进行卷积，计算出【归一化互相关系数】，即Normalized Cross Correlation Coefficient。

本发明技术方案的进一步改进在于：所述根据模版匹配技术，对S1步骤中的a步骤进行计算过程为：

a-1、图像s(x,y)为噪声块，图像f(x,y)为5×5个相同的图像s(x,y)进行叠加形成周期性噪声；

a-2、根据a-1步骤可知周期性噪声是由25个噪声块所组成的，即模版匹配可以在周期性噪声上计算出25个最大的归一化互相关系数，将其称之为周期性噪声的峰值点区域；

a-3、将峰值点区域放在一起，就形成了图像的结构走势模版，一旦图像被透视，这个结构走势模版也会发生相应的改变。在实际应用中，可嵌入与图像尺寸匹配的噪声块数量，以形成完整的结构走势模版。

本发明技术方案的进一步改进在于：所述的S2步骤中对噪声块进行采样同步的具体包括以下步骤：

a、将周期性噪声从透视图像中剥离出来；

b、计算周期性噪声的自相关矩阵；

c、引入数学形态操作，清除不符合的峰值点区域，连接正确的峰值点区域；

d、对自相关矩阵中的峰值点区域进行轮廓定位；

e、对轮廓区域进行交比验算，去除不符合交比的轮廓区域；

f、获取自相关矩阵的度量参数；

g、根据度量参数，对噪声块进行采样同步。

本发明技术方案的进一步改进在于：所述所述S3步骤对周期性噪声的自相关矩阵中的峰值点交比验算包括以下过程：

a、交比(Cross-ratio)是基础的射影不变量之一，它可以由射影线上的4个共线点计算出来；

b、透视变换是射影变换的一种常见场景，如果在一条直线上的共线点E，F，G，H，与透视变换后的共线点E'，F'，G'，H'，它们的交比是相等的。

本发明技术方案的进一步改进在于：所述根据上述S3步骤中的b步骤还包括以下过程：

b-1、H的交比值可以使用如下式计算：

b-2、点E'，F'，G'，H'的交比值可以使用如下公式计算：

b-3、基于交比恒定原理，因此我们就可以得出如下公式：

b-4、点E，F，G，H可以被看作是周期性噪声在透视变换之前的峰值点，因为周期性噪声是人为嵌入且已知的，因此我们就可以利用CR(E,F,G,H)的值去验算透视后的点E'，F'，G'，H'，即以上公式只是交比计算的一种方法，在实际应用中我们可以随意更改4个共线点中的任何一组线段，交比恒定的特性是依然存在的，例如，在峰值点的交比验算时，如下的公式也是成立的：

本发明技术方案的进一步改进在于：所述S4步骤中进行最终的模版匹配透视校正，包括以下步骤：

a、将周期性噪声从透视图像中剥离出来；

b、对噪声块进行采样同步；

c、将噪声块与周期性噪声进行模版匹配；

d、引入数学形态操作，清除不符合的峰值点区域，连接正确的峰值点区域；

e、对模版匹配矩阵的峰值点区域进行轮廓定位；

f、对轮廓区域进行交比验算，去除不符合交比的轮廓区域；

g、生成透视结构走势模版；

h、将结构走势模版的坐标对应到透视图像中，用顶点法对图像进行透视校正。

与现有技术相比，本发明的有益效果是：

本发明通过创造了一种创新的基于相关运算的透视图像自适应校正算法，相较与传统算法，具有精度更高、运算量更低、且全自动化无需人工参与的优点，填补了国内外相关领域的技术空白，可大规模应用于各行业的计算机视觉检测场景中。

附图说明

图1为本发明的噪声块示意图；

图2为本发明的周期性噪声示意图；

图3为本发明模版匹配后的结果示意图；

图4为本发明模版匹配后的结果三维展示示意图；

图5为本发明噪声块采样同步流程框图；

图6为本发明嵌入了周期性噪声的透视图像示意图；

图7为本发明模版匹配透视校正流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供一种技术方案：一种基于相关运算的透视图像自适应校正算法，包括以下步骤：

S1、根据图像处理学技术，互相关运算是常见的模版匹配方法进行核心计算，包括以下步骤：

互相关运算的核心计算过程与卷积类似，假设有两个图像s(x,y)和f(x,y)，且图像s(x,y)是图像f(x,y)的子区域，则s(x,y)可以被理解为卷积核，对f(x,y)进行卷积，计算出【归一化互相关系数】，即Normalized Cross Correlation Coefficient；

S2、计算周期性噪声的自相关矩阵，对噪声块进行采样同步，具体包括以下步骤：

a、将周期性噪声从透视图像中剥离出来；

b、计算周期性噪声的自相关矩阵；

c、引入数学形态操作，清除不符合的峰值点区域，连接正确的峰值点区域；

d、对自相关矩阵中的峰值点区域进行轮廓定位；

e、对轮廓区域进行交比验算，去除不符合交比的轮廓区域；

f、获取自相关矩阵的度量参数；

g、根据度量参数，对噪声块进行采样同步；

S3、对周期性噪声的自相关矩阵中的峰值点交比验算，包括以下过程：

a、交比(Cross-ratio)是基础的射影不变量之一，它可以由射影线上的4个共线点计算出来；

b、透视变换是射影变换的一种常见场景，如果在一条直线上的共线点E，F，G，H，与透视变换后的共线点E'，F'，G'，H'，它们的交比是相等的；

S4、进行最终的模版匹配透视校正。

实施例1：参照图1-4，根据模版匹配技术，对S1步骤中的a步骤进行计算过程为：

a-1、图像s(x,y)为噪声块，图像f(x,y)为5×5个相同的图像s(x,y)进行叠加形成周期性噪声；

a-2、根据a-1步骤可知周期性噪声是由25个噪声块所组成的，即模版匹配可以在周期性噪声上计算出25个最大的归一化互相关系数，将其称之为周期性噪声的峰值点区域；

a-3、将峰值点区域放在一起，就形成了图像的结构走势模版，一旦图像被透视，这个结构走势模版也会发生相应的改变。在实际应用中，可嵌入与图像尺寸匹配的噪声块数量，以形成完整的结构走势模版。

实施例2：参照图1-6，根据上述S3步骤中的b步骤还包括以下过程：

b-1、H的交比值可以使用如下式计算：

b-2、点E'，F'，G'，H'的交比值可以使用如下公式计算：

b-3、基于交比恒定原理，因此我们就可以得出如下公式：

b-4、点E，F，G，H可以被看作是周期性噪声在透视变换之前的峰值点，因为周期性噪声是人为嵌入且已知的，因此我们就可以利用CR(E,F,G,H)的值去验算透视后的点E'，F'，G'，H'，即以上公式只是交比计算的一种方法，在实际应用中我们可以随意更改4个共线点中的任何一组线段，交比恒定的特性是依然存在的，例如，在峰值点的交比验算时，如下的公式也是成立的：

实施例3：参照图1-6，S4步骤中进行最终的模版匹配透视校正，包括以下步骤：

a、将周期性噪声从透视图像中剥离出来；

b、对噪声块进行采样同步；

c、将噪声块与周期性噪声进行模版匹配；

d、引入数学形态操作，清除不符合的峰值点区域，连接正确的峰值点区域；

e、对模版匹配矩阵的峰值点区域进行轮廓定位；

f、对轮廓区域进行交比验算，去除不符合交比的轮廓区域；

g、生成透视结构走势模版；

h、将结构走势模版的坐标对应到透视图像中，用顶点法对图像进行透视校正。

本发明的有益效果是：

本发明通过创造了一种创新的基于相关运算的透视图像自适应校正算法，相较与传统算法，具有精度更高、运算量更低、且全自动化无需人工参与的优点，填补了国内外相关领域的技术空白，可大规模应用于各行业的计算机视觉检测场景中。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于相关运算的透视图像自适应校正算法，其特征在于，包括以下步骤：

S1、结合图像处理学技术，运用信号处理学的互相关运算进行模版匹配；

S2、计算周期性噪声的自相关矩阵，对噪声块进行采样同步；

S3、对周期性噪声的自相关矩阵中的峰值点交比验算；

S4、进行最终的模版匹配透视校正；

所述的S2步骤中对噪声块进行采样同步的具体包括以下步骤：

a、将周期性噪声从透视图像中剥离出来；

b、计算周期性噪声的自相关矩阵；

c、引入数学形态操作，清除不符合的峰值点区域，连接正确的峰值点区域；

d、对自相关矩阵中的峰值点区域进行轮廓定位；

e、对轮廓区域进行交比验算，去除不符合交比的轮廓区域；

f、获取自相关矩阵的度量参数；

g、根据度量参数，对噪声块进行采样同步；

所述S3步骤中，在一条直线上的共线点E，F，G，H，与透视变换后的共线点E'，F'，G'，H'，透视变换后交比相等；

透视变换还包括以下计算过程：

b-1、H的交比值使用如下式计算：

b-2、点E'，F'，G'，H'的交比值使用如下公式计算：

b-3、基于交比恒定原理，得出如下公式：

b-4、点E，F，G，H是周期性噪声在透视变换之前的峰值点，在峰值点的交比验算时，得出如下公式：

2.根据权利要求1所述的一种基于相关运算的透视图像自适应校正算法，其特征在于：所述S1步骤还包括：

a、互相关运算的核心计算过程与卷积类似，假设有两个图像s(x,y)和f(x,y)，且图像s(x,y)是图像f(x,y)的子区域；

b、则s(x,y)可以被理解为卷积核，对f(x,y)进行卷积，计算出归一化互相关系数，即NormalizedCrossCorrelationCoefficient。

3.根据权利要求2所述的一种基于相关运算的透视图像自适应校正算法，其特征在于：对S1步骤中的a步骤进行计算过程为：

a-1、图像s(x,y)为噪声块，图像f(x,y)为5×5个相同的图像s(x,y)进行叠加形成周期性噪声；

a-2、根据a-1步骤可知周期性噪声是由25个噪声块所组成的，即模版匹配可以在周期性噪声上计算出25个最大的归一化互相关系数，将其称之为周期性噪声的峰值点区域；

a-3、将峰值点区域放在一起，就形成了图像的结构走势模版，一旦图像被透视，这个结构走势模版也会发生相应的改变。

4.根据权利要求1-3中任一项所述的一种基于相关运算的透视图像自适应校正算法，其特征在于：所述S4步骤中进行最终的模版匹配透视校正，包括以下步骤：

a、将周期性噪声从透视图像中剥离出来；

b、对噪声块进行采样同步；

c、将噪声块与周期性噪声进行模版匹配；

d、引入数学形态操作，清除不符合的峰值点区域，连接正确的峰值点区域；

e、对模版匹配矩阵的峰值点区域进行轮廓定位；

f、对轮廓区域进行交比验算，去除不符合交比的轮廓区域；

g、生成透视结构走势模版；

h、将结构走势模版的坐标对应到透视图像中，用顶点法对图像进行透视校正。