CN102646275B - 通过跟踪和定位算法实现虚拟三维叠加的方法 - Google Patents

Abstract

本发明公开了通过跟踪和定位算法实现虚拟三维叠加的方法，包括以下步骤：步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值记录下来；步骤2，记录两帧图像的像素坐标值 步骤3，对后续输入的每帧图像同样进行特征点检测，计算摄像机的内参数N和外参数H；步骤4，对获得的外参数矩阵进行分解计算出目标与摄像机之间的平移向量t和旋转向量R；步骤5，完成虚拟增强现实的三维叠加。叠加三维模型后的视频图像三维立体感强、效果逼真。

Description

通过跟踪和定位算法实现虚拟三维叠加的方法

技术领域

本发明属于图像处理和AR(AugmentedReality，即增强现实技术)领域，具体地说是一种通过跟踪和定位算法实现虚拟三维叠加的方法，可应用于虚拟三维场景实时演示和世界坐标系运动信息获取系统中。

背景技术

增强现实是近年来国外众多知名大学和研究机构的研究热点之一。AR技术在VR(VirtualReality，即虚拟现实)相关的应用领域，诸如尖端武器、飞行器研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域均有广泛应用。构造一个AR系统需要解决诸多关键技术问题，主要有三维显示技术、跟踪和定位技术、界面和可视化技术以及摄像机标定技术。为了实现虚拟与现实交互，AR需要对感兴趣目标的三维坐标信息进行精确定位，因而准确地跟踪感兴趣目标在三维坐标系下的位置以及目标和摄像机之间的相对位置十分重要。

针对室内应用环境，传统的AR实现方法通常需要预先在已知位置上放置基准标记，通过识别和跟踪这些标记来间接跟踪感兴趣目标，其优点是在确定或可控环境下能够实现鲁棒性较高的跟踪效果，缺点是不能实现直接对目标进行三维坐标信息提取和跟踪。对于室外移动的应用环境，AR一般使用GPS(GlobalPositioningSystem，即全球定位系统)或DeadReckoning(即航位推算)技术计算感兴趣目标在户外的实时三维位置并进行跟踪，但由于GPS和DeadReckoning技术只能对目标三维坐标信息进行粗略计算，精确度很低，且需要的计算时间太长，无法满足视频图像处理的实时性要求。

发明内容

本发明的目的在于实时地计算出视频中感兴趣目标相对于摄像机的三维坐标信息，根据提取出的三维坐标信息，利用OPENGL引擎平台叠加三维模型实现虚拟增强技术。算法中的角点检测精度能达到亚像素级，通过误差算法的检测表明此标定算法计算出的相机参数准确度可达到10^-4量级以下，算法实时性很高，且利用单帧图像即可提取出目标的三维坐标信息。

为实现上述目的，本发明包括如下步骤：

通过跟踪和定位算法实现虚拟三维叠加的方法，包括以下步骤：

步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值记录下来；

步骤2，人为变换被跟踪目标相对于摄像机的角度，针对被跟踪目标不同角度下拍摄的图像进行特征点检测，若能在图像中检测出被跟踪目标预先设定的全部对应特征点，则记录该帧图像中被跟踪目标预先设定特征点的像素坐标值；记录满足上述要求的两帧图像的像素坐标值 $(u_i^1,v_i^1),i=\mathrm{1,2},...,n,$ $(u_i^2,v_i^2),i=\mathrm{1,2},...,n;$

步骤3，对后续输入的每帧图像同样进行特征点检测，并记录图像中的特征点的像素坐标值加上之前检测到的两组像素坐标值共组成三组像素坐标数据，建立如图2所示的摄像机成像模型，利用世界坐标系下的坐标值与其投影点的像素坐标值(u_i，v_i)之间的关系式，计算摄像机的内部参数矩阵N和外部参数矩阵H：

$Z_c\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]$

$=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]=\mathrm{NH}\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]$

其中，α_x＝f/dx，α_y＝f/dy；α_x、α_y分别为图像u轴和v轴上的尺度因子，u₀、v₀为摄像机的主点，M为投影矩阵；N为摄像机内部参数矩阵；H为摄像机的外部参数矩阵；

步骤4，对获得的外参数矩阵进行分解计算出目标与摄像机之间的平移向量t和旋转向量R；

步骤5，利用OPENGL，导入外参数为模型视角矩阵，再叠加上三维虚拟模型，模型的视角变化就和图像中标识物视角变化一致，将当前帧视频图像作为背景，完成虚拟增强现实的三维叠加。

本发明与现有技术相比具有以下优点：

1.本发明可实现对每帧视频图像都实时计算目标的三维坐标信息，能够解决AR在定位和获取坐标信息的实时性问题；

2.本发明采用OPENGL完成最后的三维叠加，将当前帧视频图像作为背景，叠加三维模型后的视频图像三维立体感强、效果逼真。OPENGL也很通用，三维模型可以在OPENGL中自由地定义和修改。

附图说明

图1是本发明方法的流程图；

图2是CCD相机成像原理；

图3是检测出目标所有特征点信息的第一帧图像；

图4是变换目标角度后检测出所有特征点的第二帧图像；

图5是实时采集的可检测到特征点的图像帧；

图6和图7是本发明叠加上三维模型的图像帧1和图像帧2；

具体实施方式

以下结合具体实例，对本发明进行详细说明。

参照图1，本发明实现AR虚拟增强现实的一种解决方法，包括如下步骤：

步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值记录下来；

步骤2，人为变换被跟踪目标相对于摄像机的角度，针对被跟踪目标不同角度下拍摄的图像进行特征点检测，若能在图像中检测出被跟踪目标预先设定的全部对应特征点，则记录该帧图像中被跟踪目标预先设定特征点的像素坐标值。必须记录满足上述要求的两帧图像的像素坐标值 这是为了和后续图像帧检测到的像素坐标值组成三组像素坐标数据，以计算摄像机的内参数N和外参数H，在这里k＝3，4，...表示帧数，特征采用Harris角点；

步骤3，对后续输入的每帧图像同样进行特征点检测，并记录图像中的特征点的像素坐标值加上之前检测到的两组像素坐标值共组成三组像素坐标数据，建立如图2所示的摄像机成像模型，利用世界坐标系下的坐标值与其投影点的像素坐标值(u_i，v_i)之间的关系式，计算摄像机的内参数N和外参数H：

$Z_c\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]$

$=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]=\mathrm{NH}\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]$

其中，α_x＝f/dx，α_y＝f/dy；α_x、α_y分别为图像u轴和v轴上的尺度因子，u₀、v₀为摄像机的主点，M为投影矩阵；N为摄像机内部参数矩阵；H为摄像机的外部参数矩阵。

由于摄像机存在镜头畸变，成像模型并不能满足线性关系，而是一种非线性关系，需要引入透镜的径向畸变和切向畸变，x_d、y_d分别为考虑畸变情况下的像点物理坐标，有等式：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\begin{array}{c}{x}_d(1+k_1{r}^2+k_2{r}^4)+[2k_3{x}_d{y}_d+k_4(r^2+2x^2)]\\ y_d(1+k_1{r}^2+k_2{r}^4)+[2k_3(r^2+2y^2)+k_4{x}_d{y}_d]\end{array}$

其中k₁、k₂为径向畸变，k₃、k₄为切向畸变，

利用步骤2记录的特征点图像坐标值代入到步骤3)的公式中，计算出外参数矩阵H。

步骤4，对获得的外参数矩阵进行分解计算出目标与摄像机之间的平移向量t和旋转向量R。

步骤5，利用OPENGL，导入外参数为模型视角矩阵，再叠加上三维虚拟模型，模型的视角变化就和图像中标识物视角变化一致，将当前帧视频图像作为背景，完成虚拟增强现实的三维叠加。

本发明效果可以通过以下实验进一步证实：

实验条件和内容

实验条件：实验所使用的输入图像如图3、图4和图5所示，其中图3和图4是预先要提取特征点的图像帧，图5是实时提取特征点的图像帧，图6、图7是在视频中叠加上用户自定义的三维模型。

实验内容：在上述实验条件下，将有标识物的图像帧放在摄像机面前，程序会实时对当前帧图像进行特征点检测，若检测到特征点，会将特征点提取出来和之前预处理提取的特征点作为一组计算相机的当前帧图像的相机外参数，将相机外参数矩阵赋给OPENGL中的模型视角矩阵，再叠加上用户自定义的三维模型。

二.实验结果

用本发明的方法对视频中出现的标识物进行相机外参数的计算，再将参数赋给OPENGL中模型视角矩阵，渲染用户自定义的三维模型，实现的效果如图7所示，实时性完全满足。

应当指出，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (1)

1.一种通过跟踪和定位算法实现虚拟三维叠加的方法，其特征在于，包括以下步骤：

步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值记录下来；

步骤2，人为变换被跟踪目标相对于摄像机的角度，针对被跟踪目标不同角度下拍摄的图像进行特征点检测，若能在图像中检测出被跟踪目标预先设定的全部对应特征点，则记录该帧图像中被跟踪目标预先设定特征点的像素坐标值；记录满足上述要求的两帧图像的像素坐标值 $(u_i^2,v_i^2),i=\mathrm{1,2},...,n;$

步骤3，对后续输入的每帧图像同样进行特征点检测，并记录图像中的特征点的像素坐标值加上之前检测到的两组像素坐标值共组成三组像素坐标数据，建立摄像机成像模型，利用世界坐标系下的坐标值与其投影点的像素坐标值(u_i，v_i)之间的关系式，计算摄像机的内部参数矩阵N和外部参数矩阵H：

$\begin{array}{c}{Z}_c\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]\\ =\begin{array}{}\end{array}\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]=\mathrm{NH}\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_w^i\\ 1\end{array}\right]\end{array}$

其中，α_x＝f/dx，α_y＝f/dy；α_x、α_y分别为图像u轴和v轴上的尺度因子，u₀、v₀为摄像机的主点，M为投影矩阵；N为摄像机内部参数矩阵；H为摄像机的外部参数矩阵；由于摄像机存在镜头畸变，成像模型并不能满足线性关系，而是一种非线性关系，需要引入透镜的径向畸变和切向畸变，x_d、y_d分别为考虑畸变情况下的像点物理坐标，有等式：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\begin{array}{c}{x}_d(1+k_1{r}^2+k_2{r}^4)+[2k_3{x}_d{y}_d+k_4(r^2+2x^2)]\\ y_d(1+k_1{r}^2+k_2{r}^4)+[2k_3(r^2+2y^2)+k_4{x}_d{y}_d]\end{array}$

其中k₁、k₂为径向畸变，k₃、k₄为切向畸变，

步骤4，对获得的外部参数矩阵进行分解，计算出目标与摄像机之间的平移向量t和旋转向量R；

步骤5，利用OPENGL，导入外参数为模型视角矩阵，再叠加上三维虚拟模型，模型的视角变化就和图像中标识物视角变化一致，将当前帧视频图像作为背景，完成虚拟增强现实的三维叠加。