CN102110291A - 一种变焦镜头的标定方法及装置 - Google Patents

Abstract

本发明公开了一种变焦镜头的标定方法，包括：标定摄像机最短焦时的内参数；获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；分别对各两两相邻的变焦图像提取多个特征点，并对所述特征点进行匹配；依据所述内参数和匹配的特征点计算当前摄像机的变焦参数。本发明无需采用标志物，可以有效提高实施的便利性。

Description

一种变焦镜头的标定方法及装置

技术领域

本发明涉及电视节目制作的技术领域，特别是涉及一种变焦镜头的标定方法及一种变焦镜头的标定装置。

背景技术

摄像机标定的目的是从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，是由摄像机成像的几何模型决定的，这些几何模型参数就是标定参数。具体而言，标定参数包括外参数和内参数，其中，外参数包括摄像机的位置、姿态等几何信息，内参数包括摄像机的焦距，主点、以及镜头变形参数等光学参数，用外参数和内参数来建立空间中的任意点和其在图像上的成像点之间的对应关系，这个过程就是摄像机标定的过程。通常，空间中的任意点和其在图像上的成像点之间的对应关系用小孔成像模型来描述。

传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的外参数和内参数。例如，现在标定变焦镜头，通常采用在墙上贴一个标志板，然后对着标志板变焦采图，利用标志板的坐标已知的条件，计算出摄像机镜头的变焦参数。这种方法，从实施上来说会比较麻烦，如果在户外嘈杂的环境中，利用图像分析的方法寻找标志板的角点还有可能失败。

发明内容

本发明所要解决的技术问题是提供一种变焦镜头的标定方法，无需采用标志物，以提高实施的便利性。

为了解决上述技术问题，本发明实施例公开了一种变焦镜头的标定方法，包括：

标定摄像机最短焦时的内参数；

获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；

分别对各两两相邻的变焦图像提取多个特征点，并对所述特征点进行匹配；

依据所述内参数和匹配的特征点计算当前摄像机的变焦参数。

优选的，所述摄像机最短焦时的内参数采用张正友标定方法获得。

优选的，所述特征点为SIFT特征点。

优选的，所述特征点匹配的步骤包括：

将相邻两幅图像中描述同一个特征的点对应起来，建立一个特征点对应的集合。

优选的，所述计算当前摄像机变焦参数的步骤包括：

依据匹配的特征点集合和前一幅图像的内参数，计算后一幅图像对应的内参数和光心的旋转角度；

依据所述后一幅图像对应的内参数和光心的旋转角度计算摄像机变焦参数；

采用LM算法对所述变焦参数进行优化；

将所述光心的旋转角度相对于第一幅图旋转。

本发明实施例还公开了一种变焦镜头的标定装置，包括：

内参数标定单元，用于标定摄像机最短焦时的内参数；

变焦图像获取单元，用于获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；

特征点提取单元，用于分别对各两两相邻的变焦图像提取多个特征点；

特征点匹配单元，用于对所述特征点进行匹配；

变焦参数计算单元，用于依据所述内参数和匹配的特征点计算当前摄像机的变焦参数。

优选的，所述摄像机最短焦时的内参数采用张正友标定方法获得。

优选的，所述特征点为SIFT特征点。

优选的，所述特征点匹配单元包括：

对应子单元，用于将相邻两幅图像中描述同一个特征的点对应起来；

集合子单元，用于建立一个特征点对应的集合。

优选的，所述变焦参数计算单元包括：

第一计算子单元，用于依据匹配的特征点集合和前一幅图像的内参数，计算后一幅图像对应的内参数和光心的旋转角度；

第二计算子单元，用于依据所述后一幅图像对应的内参数和光心的旋转角度计算摄像机变焦参数；

优化子单元，用于采用LM算法对所述变焦参数进行优化；

光心旋转子单元，用于将所述光心的旋转角度相对于第一幅图旋转。

与现有技术相比，本发明具有以下优点：

本发明不需要任何标志物，只需采用摄像机对户外自然场景拍摄一组变焦图像，然后对该组变焦图像两两提取特征点以进行匹配，基于匹配的特征点及已知的摄像机最短焦内参数就可以得到该镜头的变焦参数。这种方法可以以提高实施的便利性，十分简便快捷。。

附图说明

图1是本发明的一种变焦镜头的标定方法实施例的步骤流程图；

图2是本发明的一种变焦镜头的标定装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参考图1，示出了本发明的一种变焦镜头的标定方法实施例的步骤流程图，具体可以包括以下步骤：

步骤101、标定摄像机最短焦时的内参数；

在实际中，所述摄像机最短焦时的内参数可以采用张正友提出的利用多幅平面模板标定摄像机所有内外参数的方法--平面标定法进行标定。在该方法中，摄像机内参数矩阵为：

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$

其中f_x＝f/dX，f_y＝f/dY，分别称为x轴和y轴上的归一化焦距；f是相机的焦距，dX和dY分别表示u轴和v轴上单位像素的尺寸大小。u₀和v₀则表示的是光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半。

当然，上述标定内参数的方法仅仅用作示例，本领域技术人员依据实际情况采用其它内参数标定方法都是可行的，本发明对此无需加以限制。

步骤102、获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；

例如，已知摄像机的初始内参数矩阵K₁，此时拍摄到的图像为I₁。将世界坐标系设在摄像机初始光心的位置上，那么摄像机此时的旋转和平移都是0。固定摄像机，变焦之后，摄像机的光心将产生一个微小的旋转dR，此时摄像机的内参数矩阵为K₂，拍摄到的图像为I₂。

步骤103、分别对各两两相邻的变焦图像提取多个特征点，并对所述特征点进行匹配；

在本发明的一种优选实施例中，所述特征点可以为SIFT特征点。SIFT特征点是用一个128维的特征向量来描述一个点的特征，它具有尺度、光照、旋转等不变性，对同一个特征有很强的稳定性，而对不同的特征有很大区分度，因此很容易准确地匹配起来。

SIFT特征点的匹配主要就是其特征向量的匹配，在本发明实施列中，可以通过将相邻两幅图像中描述同一个特征的点对应起来，建立一个特征点对应的集合 $\{x_{i-1}\↔x_i\}$ ，以进行匹配。在具体实现中，还可以采用PCA算法，也可以用k-d Tree的办法搜索，本发明对此无需加以限制。

当然，本领域技术人员还可以采用其它特征点进行匹配，如Harris点等，本发明对此无需加以限制。

步骤104、依据所述内参数和匹配的特征点计算当前摄像机的变焦参数。

在本发明的一种优选实施例中，本步骤可以包括如下子步骤：

子步骤S1、依据匹配的特征点集合和前一幅图像的内参数，计算后一幅图像对应的内参数和光心的旋转角度；

子步骤S2、依据所述后一幅图像对应的内参数和光心的旋转角度计算摄像机变焦参数；

子步骤S3、采用LM算法对所述变焦参数进行优化；

子步骤S4、将所述光心的旋转角度相对于第一幅图旋转。

以下简单介绍本发明利用匹配的特征点计算摄像机变焦参数的原理。

可以理解的是，在本实施例中，只考虑变焦时光心旋转的影响。已知摄像机的初始内参数矩阵K₁，此时拍摄到的图为I₁。像将世界坐标系设在摄像机初始光心的位置上，那么摄像机此时的旋转和平移都是0。固定摄像机，变焦之后，摄像机的光心将产生一个微小的旋转dR，此时摄像机的内参数矩阵为K₂，拍摄到的图像为I₂。那么在世界坐标系下的同一个三维点X，在这两幅图中分别被投影成：

x₁＝K₁X    (1)

x₂＝K₂dRX    (2)

所以有：

$x_2=K_2\mathrm{dRX}=K_2\mathrm{dR}{K}_1^{-1}{x}_1---\left(3\right)$

令：

$H=K_2\mathrm{dR}{K}_1^{-1}---\left(4\right)$

则有：

x₂＝Hx₁    (5)

因为图像点x1，x2(提取出来的SIFT点)为已知，所以如果匹配集 $\{x_1\↔x_2\}$ 中对应的点数大于或等于4个，那么H就可以从(5)式简单地计算出来，于是(4)式可以得到：

K₂dR＝HK₁    (6)

将(6)式右边矩阵相乘的结果作QR分解，就可以得到K2，dR。

上面分解得到的摄像机参数是不能直接用的，误差比较大，只能作为初值。下面将用LM算法对摄像机参数作优化，得到最终结果。优化的目标函数是：

$\mathrm{\ϵ}(f_{x2},f_{y2},\mathrm{\α},\mathrm{\β})=\underset{n}{\mathrm{\Σ}}{\left|\right|K_2\mathrm{dR}{K}_1^{-1}{x}_{1n}-x_{2n}\left|\right|}^2---\left(7\right)$

其中，

$K_2=\left[\begin{array}{ccc}{f}_{x2}& 0& u_0\\ 0& f_{y2}& v_0\\ 0& 0& 1\end{array}\right]$

dR的参数化由Givens旋转给出：

dR＝R_y(-α)R_x(-β)

K₂中参数(f_x2，f_y2)的初值由QR分解的结果直接得到，而(α，β)的初值可以直接选为0。当迭代收敛后，得到的(f_x2，f_y2，α，β)就是第二幅图I₂的摄像机变焦参数。

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

参考图2，示出了本发明的一种变焦镜头的标定装置实施例的结构框图，具体可以包括以下单元：

内参数标定单元201，用于标定摄像机最短焦时的内参数；

变焦图像获取单元202，用于获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；

特征点提取单元203，用于分别对各两两相邻的变焦图像提取多个特征点；

特征点匹配单元204，用于对所述特征点进行匹配；

变焦参数计算单元205，用于依据所述内参数和匹配的特征点计算当前摄像机的变焦参数。

在具体实现中，所述摄像机最短焦时的内参数可以采用张正友标定方法获得。

优选的，在本发明实施例中，所述特征点可以为SIFT特征点。在这种情况下，所述特征点匹配单元可以包括如下子单元：

对应子单元，用于将相邻两幅图像中描述同一个特征的点对应起来；

集合子单元，用于建立一个特征点对应的集合。

在本发明的一种优选实施例中，所述变焦参数计算单元可以包括如下子单元：

第一计算子单元，用于依据匹配的特征点集合和前一幅图像的内参数，计算后一幅图像对应的内参数和光心的旋转角度；

第二计算子单元，用于依据所述后一幅图像对应的内参数和光心的旋转角度计算摄像机变焦参数；

优化子单元，用于采用LM算法对所述变焦参数进行优化；

光心旋转子单元，用于将所述光心的旋转角度相对于第一幅图旋转。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明可以应用在虚拟演播室系统，以及，基于虚拟演播室系统进一步发展起来的虚拟体育系统中。

以上对本发明所提供的一种变焦镜头的标定方法及一种变焦镜头的标定装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种变焦镜头的标定方法，其特征在于，包括：

标定摄像机最短焦时的内参数；

获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；

分别对各两两相邻的变焦图像提取多个特征点，并对所述特征点进行匹配；

依据所述内参数和匹配的特征点计算当前摄像机的变焦参数。

2.如权利要求1所述的方法，其特征在于，所述摄像机最短焦时的内参数采用张正友标定方法获得。

3.如权利要求1或2所述的方法，其特征在于，所述特征点为SIFT特征点。

4.如权利要求3所述的方法，其特征在于，所述特征点匹配的步骤包括：

将相邻两幅图像中描述同一个特征的点对应起来，建立一个特征点对应的集合。

5.如权利要求4所述的方法，其特征在于，所述计算当前摄像机变焦参数的步骤包括：

依据匹配的特征点集合和前一幅图像的内参数，计算后一幅图像对应的内参数和光心的旋转角度；

依据所述后一幅图像对应的内参数和光心的旋转角度计算摄像机变焦参数；

采用LM算法对所述变焦参数进行优化；

将所述光心的旋转角度相对于第一幅图旋转。

6.一种变焦镜头的标定装置，其特征在于，包括：

内参数标定单元，用于标定摄像机最短焦时的内参数；

变焦图像获取单元，用于获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；

特征点提取单元，用于分别对各两两相邻的变焦图像提取多个特征点；

特征点匹配单元，用于对所述特征点进行匹配；

变焦参数计算单元，用于依据所述内参数和匹配的特征点计算当前摄像机的变焦参数。

7.如权利要求6所述的装置，其特征在于，所述摄像机最短焦时的内参数采用张正友标定方法获得。

8.如权利要求6或7所述的装置，其特征在于，所述特征点为SIFT特征点。

9.如权利要求8所述的装置，其特征在于，所述特征点匹配单元包括：

对应子单元，用于将相邻两幅图像中描述同一个特征的点对应起来；

集合子单元，用于建立一个特征点对应的集合。

10.如权利要求9所述的装置，其特征在于，所述变焦参数计算单元包括：

第一计算子单元，用于依据匹配的特征点集合和前一幅图像的内参数，计算后一幅图像对应的内参数和光心的旋转角度；

第二计算子单元，用于依据所述后一幅图像对应的内参数和光心的旋转角度计算摄像机变焦参数；

优化子单元，用于采用LM算法对所述变焦参数进行优化；

光心旋转子单元，用于将所述光心的旋转角度相对于第一幅图旋转。

Images