CN110099267B - 梯形校正系统、方法以及投影仪 - Google Patents

Abstract

本发明公开了一种梯形校正系统、方法及投影仪，所述梯形校正系统包括投影模块，用于投影包括多个特征角点的预设图案；摄像头模块，用于拍摄图像；处理器，用于获取预设图案中的特征角点以及系统的标定参数，控制摄像头模块拍摄图像，并从所述摄像头模块拍摄的图像中识别特征角点，匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量；将法向量输入经过训练的神经网络中，得到角点校正参数；根据所述角点校正参数修正投影模块的投影画面。本发明可以通过一个摄像头实现梯形校正，相对于现有技术，节省了如测距仪等部件，成本更低。本发明可以广泛应用于梯形校正技术领域。

Description

梯形校正系统、方法以及投影仪

技术领域

本发明涉及梯形校正技术领域，尤其是一种梯形校正系统、方法及投影仪。

背景技术

投影仪是一种通过光学投影将图像投影到墙壁或者投影幕的设备。与显示器不一样的是投影仪的显示面积大小不受投影仪体积所限制，很小的投影仪都可以投影出数百寸的显示面积。在需要巨大的显示面积的场景下，投影仪以相对低廉的成本成为了首选方案。

在传统的投影仪中，投影仪需要正对墙面，才能保证投影出来的画面是一个正常的矩形。一旦投影仪的投影方向与墙面不是垂直，将会使投影出来的画面发生变形。这时候人们需要通过手动调整投影仪的镜头或者投影仪本身的姿态来校正这个变形。

而随着技术的发展投影仪的梯形校正技术诞生了，目前在投影仪的梯形校正技术中，主要是以双目校正为主，然而双目校正需要用到两个摄像头或者需要距离传感器来配合摄像头，而额外的摄像头或者距离传感器，对于投影仪来说会增加硬件成本。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种梯形校正系统、方法及投影仪，以通过单摄像头实现梯形校正，降低梯形校正系统或者投影仪的硬件成本。

本发明实施例的第一方面提供了：

一种梯形校正系统，包括：

投影模块，用于投影包括多个特征角点的预设图案；

摄像头模块，用于拍摄图像；

处理器，用于获取预设图案中的特征角点以及系统的标定参数，控制摄像头模块拍摄图像，并从所述摄像头模块拍摄的图像中识别特征角点，匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量；将法向量输入经过训练的神经网络中，得到角点校正参数；根据所述角点校正参数修正投影模块的投影画面。

进一步，所述匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量，其具体包括：

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，得到多个特征角点的点对；

根据每个特征角点的点对计算每个特征角点的深度坐标，得到每个特征角点的3D坐标；

根据多个特征角点的3D坐标得到投影墙面的法向量。

进一步，从摄像头模块拍摄的图像中识别特征角点时，采用SURF算法。

进一步，采用蛮力算法对预设图案和摄像头模块所拍摄的图像中的特征角点的点对进行匹配，然后通过RANSAC算法过滤掉无效的特征角点的点对。

本发明实施例的第二方面提供了：

一种梯形校正方法，包括以下步骤：

获取预设图案中的特征角点以及系统的标定参数；

控制摄像头模块拍摄图像，并从所述摄像头模块拍摄的图像中识别特征角点；

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对；

根据所述点对和系统标定参数得到投影墙面的法向量；

将法向量输入经过训练的神经网络中，得到角点校正参数；

根据所述角点校正参数修正投影模块的投影画面。

进一步，所述匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量，其具体包括：

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，得到多个特征角点的点对；

根据每个特征角点的点对计算每个特征角点的深度坐标，得到每个特征角点的3D坐标；

根据多个特征角点的3D坐标得到投影墙面的法向量。

进一步，从摄像头模块拍摄的图像中识别特征角点时，采用SURF算法。

进一步，采用蛮力算法对预设图案和摄像头模块所拍摄的图像中的特征角点的点对进行匹配，然后通过RANSAC算法过滤掉无效的特征角点的点对。

本发明实施例的第三方面提供了：

一种梯形校正系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的梯形校正方法。

本发明实施例的第四方面提供了：

一种投影仪，包括外壳以及安装在所述外壳之中的梯形校正系统。

本发明的有益效果是：本发明通过从摄像头模块拍摄的图像之中匹配预设图案中的特征角点，从而推算投影墙面的法向量，然后将法向量输入到经过训练的神经网络，得到特征角点的校正参数，从而实现了通过单个摄像头进行矩形校正，本发明与现有技术相比，所需要的硬件部件更少，因此成本更低。

附图说明

图1为本发明一种具体实施例中特征角点的深度测量原理示意图；

图2为本发明一种具体实施例中梯形校正的原理示意图；

图3为本发明一种具体实施例的梯形校正系统的模块框图；

图4为本发明一种具体实施例的梯形校正方法的流程图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

首先，本实施例对采用神经网络来实现单摄像头的梯形校正的原理进行说明，本实施例首先搭建一个RBF神经网络(一种三层的径向基神经网络)，其中该神经网络的输入参数是投影墙面与投影仪之间的法向量，即投影墙面在投影仪的坐标系中的法向量，后称作投影墙面法向量。然后该神经网络输出的是梯形校正的校正焦点偏移量，通常以四个角点的调整参数作为表示，输出的结果为(dx0，dy0，dx1，dy1，dx2，dy2，dx3，dy3)，投影仪根据该输出结果，调整投影仪的投影画面。使得投射到投影墙面的画面变得与原画面比例相同。当然，并非只有RBF神经网络可以实现，其也可以采用其他神经网络实现。

基于大量的训练样本的训练，上述神经网络是可以实现投影仪的梯形校正的。

下面讨论如何通过投影仪和一个摄像头获得投影墙面法向量，参照图1，以点O1表示投影仪的摄像头模块，以点Or表示投影仪的投影模块，实际上，投影模块在这里可以看作一个逆向的摄像头，而在图1中，X1和Xr分别表示的是特征角点P分别在摄像头模块拍摄的图像和投影模块所投射的图像中的位置，在摄像头模块拍摄的图像中特征角点P以P1表示，而在投影模块所投射的图像中特征角点P以Pr表示，这里P1和Pr被称作一个点对，其实质上是一个相同的特征角点在两个图像中的显示。假定摄像头模块及投影仪模块的焦距均为f，两者的实际物理距离为T，那么可以通过以下公式计算出点P的深度Z。

其中，Z＝(T*f)/d；d＝X1-Xr。

那么当求算出多个位置不同的特征角点的深度后，就可以得到摄像头模块拍摄的图像中的特征角点的三维坐标，然后对所有的特征角点的三维坐标使用最小二乘法进行平面拟合，即拟合出所有特征角点所在的平面，就可以得出投影墙面的法向量了。

也就是说，通过单摄像头测量投影墙面的法向量是具备可行性的。

而关于角点校正参数的获取，在获取训练样本数据的时候，可以借助一个全景摄像头，将全景摄像头安装在投影墙面正对的位置，且全景摄像头拍摄方向与投影墙面垂直，那么意味着全景摄像头所拍摄到的图像，是没有畸变的。因此，投影仪投影到投影墙面上的图案如果发生了畸变，是可以从全景摄像头拍摄的图像中直接得出畸变的情况的。也就是说，根据全景摄像头的图像中的特征角点的位置，可以反推出应该如何对投影图像进行调整。如图2所示，假设投影仪所投影的预设图案200a，在到达投影墙面100后，畸变成一个梯形200b，在本实施例中可以通过识别预设图案中的4个特征角点201a、201b、201c和201d来确定畸变情况。那么在实现角点校正参数时，只需要按照预设图案200a原来的比例调整投影仪的输出长宽比例即可，当然调整比例时，可以以特征角点的调整参数作为表示。如图2所示，经过比例调整后的图案200c，在重新投影到投影墙面100后图案变成与预设图案200a比例相同的图案200d。

至此，本实施例可以通过调整投影仪的姿态来获取多组训练样本数据，每一组训练样本都包括一组法向量和对应的特征角点校正参数。

那么在生产制造投影仪或者梯形校正系统时，可以将经过大量训练样本数据训练后的神经网络放到系统或者投影仪之中。

参照图3，本实施例提供一种梯形校正系统，以单个摄像头实现矩形校正，降低梯形校正系统或者投影仪的硬件成本。

投影模块，用于投影包括多个特征角点的预设图案。当然，投影模块也是投影仪的基本模块，其还用于投影投影仪需要投影的画面。

摄像头模块，用于拍摄图像。在本实施例中，摄像头模块与投影仪均固定安装在投影仪上，也就是说摄像头模块及投影仪模块的相对位置和相对角度都是确定。

处理器，用于获取预设图案中的特征角点以及系统的标定参数，控制摄像头模块拍摄图像，并从所述摄像头模块拍摄的图像中识别特征角点，匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量；将法向量输入经过训练的神经网络中，得到角点校正参数；根据所述角点校正参数修正投影模块的投影画面。

具体地，所述标定参数包括摄像头模块的内参数、投影模块的内参数以及摄像头模块和投影模块之间的位置关系。由于这里的投影仪模块可以被看作一个逆向的摄像头，可以使用针孔模型表示。内参数只与自身有关，对于摄像头模块及投影仪模块的内参数均包括参数矩阵(fx，fy，cx，cy)和畸变系数(三个径向k1，k2，k3；两个切向p1和p2)。

所述处理器一般为投影仪之中的运算单元，所述处理器可以由一个或者多个芯片组成。

根据结合图1和图2对测量原理的论述，在本实施例的系统中，由于摄像头模块和投影模块之间的距离是预先标定好的，因此，通过比较预设图案和摄像头模块所拍摄的图像中，特征角点的位置关系，即特征角点的点对的位置关系，可以确定特征角点的在投影仪的坐标系中的深度，通过多个特征角点的深度，以及这些特征角点在投影仪的坐标系中的横纵坐标，可以确定出墙面的法向量。然后将法向量输入到神经网络，从而得到特征角点的校正参数。

至于在特征角点的识别和匹配上，可以采用多种识别算法。

例如，在实现特征角点的识别上，可以采用SURF算法；而在做特征角点匹配时，可以采用BF算法和RANSAC算法配合实现，首先通过BF算法匹配出一些特征角点的点对，然后利用RANSAC算法对这些通过蛮力匹配出来的点对进行过滤，除去无效的点对。对于SURF算法，其也可以用其他SIFT算法来替代。

BF是Brute Force的缩写，BF算法即暴风算法，是普通的模式匹配算法，BF算法的思想就是将目标串S的第一个字符与模式串T的第一个字符进行匹配，若相等，则继续比较S的第二个字符和T的第二个字符；若不相等，则比较S的第二个字符和T的第一个字符，依次比较下去，直到得出最后的匹配结果。BF算法是一种蛮力算法。

SURF是Speeded Up Robust Features的缩写，它是一种针对SIFT算法改进的算法。

SIFT是Scale-invariant feature transform的缩写，它是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。

RANSAC是Random Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

在本实施例中，投影模块在全程所投影的预设图案可以是不变的，即每次梯形校正时，预设图案都是不变的；当然，也可以在每次做梯形校正时，采用不同预设图案，即从多个预设图案中循环或者随机地选用。

关于预设图案上的特征角点，最好在四个以上，特征角点越多，越能够减少个别特征角点被识别错后对法向量的计算产生的影响，因此适当提升特征角点的数量，可以提高识别的准确性。而不同的特征角点的特征应该是不同的，例如，形状不同或者图案不同。而特征角点应该在抗灰度、彩色等环境下具备足够的可识别度。

作为优选的实施例，所述匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量，其具体包括：

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，得到多个特征角点的点对；这里，将一个相同特征角点在预设图案和摄像头模块所拍摄的图像中所显示的点作为一个点对。

根据每个特征角点的点对计算每个特征角点的深度坐标，得到每个特征角点的3D坐标；经过如图1中的分析，可以通过特征角点的点对的位差来计算出每个特征角点在投影仪坐标系中的深度坐标，并根据摄像头所拍摄的图像得到每个特征角点在摄像头坐标系中横纵坐标，从而得到每个特征角点在投影仪坐标系中的3D坐标。

根据多个特征角点的3D坐标得到投影墙面的法向量。具体地，根据多个特征点在投影仪坐标系中的3D坐标，就可以顺利求算出投影墙面在投影仪坐标系中的法向量了。

当然，在特征角点较多的情况下，可以利用冗余的特征角点来剔除异常的特征角点，从而增加特征角点的有效性。也就是说，理论上特征角点的数量越多，识别越准确。当然了，伴随精度的提升而来的还有效率的下降。因此，可以根据性能和效率的平衡，设置特征角点的数量。

作为优选的实施例，从摄像头模块拍摄的图像中识别特征角点时，采用SURF算法。SURF算法比SIFT算法要快数倍，并且其在不同图像变换方面比SIFT更加稳健。因而本实施例采用SURF算法有助于提高系统性能。

作为优选的实施例，采用蛮力算法对预设图案和摄像头模块所拍摄的图像中的特征角点的点对进行匹配，然后通过RANSAC算法过滤掉无效的特征角点的点对。本实施例能够准确地实现特征角点的点对的匹配。

参照图4，本实施例公开了一种梯形校正方法，其应用于上述系统实施例的处理器之中，本实施例包括以下步骤：

S401、获取预设图案中的特征角点以及系统的标定参数；

S402、控制摄像头模块拍摄图像，并从所述摄像头模块拍摄的图像中识别特征角点；

S403、匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对；

S404、根据所述点对和系统标定参数得到投影墙面的法向量；

S405、将法向量输入经过训练的神经网络中，得到角点校正参数；

S406、根据所述角点校正参数修正投影模块的投影画面。

作为优选的实施例，所述匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量，其具体包括：

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，得到多个特征角点的点对；

根据每个特征角点的点对计算每个特征角点的深度坐标，得到每个特征角点的3D坐标；

根据多个特征角点的3D坐标得到投影墙面的法向量。

作为优选的实施例，从摄像头模块拍摄的图像中识别特征角点时，采用SURF算法。

作为优选的实施例，采用蛮力算法对预设图案和摄像头模块所拍摄的图像中的特征角点的点对进行匹配，然后通过RANSAC算法过滤掉无效的特征角点的点对。

本实施例公开了一种梯形校正系统，其包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如上述方法实施例所述的梯形校正方法。

本实施例公开了一种投影仪，其包括外壳以及安装在所述外壳之中如上述实施例所述的梯形校正系统。

上述方法实施例中与上述系统实施例中对应或者相同的特征能够实现相同的技术效果。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种梯形校正系统，其特征在于：包括：

投影模块，用于投影包括多个特征角点的预设图案；

摄像头模块，用于拍摄图像；

处理器，用于获取预设图案中的特征角点以及系统的标定参数，控制摄像头模块拍摄图像，并从所述摄像头模块拍摄的图像中识别特征角点，匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量；将法向量输入经过训练的神经网络中，得到角点校正参数；根据所述角点校正参数修正投影模块的投影画面。

2.根据权利要求1所述的一种梯形校正系统，其特征在于：所述匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量，其具体包括：

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，得到多个特征角点的点对；

根据每个特征角点的点对计算每个特征角点的深度坐标，得到每个特征角点的3D坐标；

根据多个特征角点的3D坐标得到投影墙面的法向量。

3.根据权利要求1所述的一种梯形校正系统，其特征在于：从摄像头模块拍摄的图像中识别特征角点时，采用SURF算法。

4.根据权利要求1所述的一种梯形校正系统，其特征在于：采用蛮力算法对预设图案和摄像头模块所拍摄的图像中的特征角点的点对进行匹配，然后通过RANSAC算法过滤掉无效的特征角点的点对。

5.一种梯形校正方法，其特征在于：包括以下步骤：

获取预设图案中的特征角点以及系统的标定参数；

控制摄像头模块拍摄图像，并从所述摄像头模块拍摄的图像中识别特征角点；

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量；

将法向量输入经过训练的神经网络中，得到角点校正参数；

根据所述角点校正参数修正投影模块的投影画面。

6.根据权利要求5所述的一种梯形校正方法，其特征在于：所述匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，接着根据所述点对和系统标定参数得到投影墙面的法向量，其具体包括：

匹配预设图案和摄像头模块所拍摄的图像中的特征角点的点对，得到多个特征角点的点对；

根据每个特征角点的点对计算每个特征角点的深度坐标，得到每个特征角点的3D坐标；

根据多个特征角点的3D坐标得到投影墙面的法向量。

7.根据权利要求5所述的一种梯形校正方法，其特征在于：从摄像头模块拍摄的图像中识别特征角点时，采用SURF算法。

8.根据权利要求5所述的一种梯形校正方法，其特征在于：采用蛮力算法对预设图案和摄像头模块所拍摄的图像中的特征角点的点对进行匹配，然后通过RANSAC算法过滤掉无效的特征角点的点对。

9.一种梯形校正系统，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求5-8任一项所述的梯形校正方法。

10.一种投影仪，其特征在于：包括外壳以及安装在所述外壳之中的如权利要求1、2、3、4或9所述的梯形校正系统。

Images