CN104809719A - 基于单应性矩阵分割的虚拟视点合成的方法 - Google Patents

Abstract

本发明公开了一种基于单应性矩阵分割的虚拟视点合成的方法，包括以下步骤：1)对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵以及左右相邻视角相机之间的基础矩阵，由基础矩阵导出本质矩阵，对本质矩阵进行奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵和平移矩阵；2)对旋转矩阵和平移矩阵进行插值分割，得到左右相邻视角到中间虚拟视点的子单应性矩阵；3)应用前向映射技术分别将两视角图像通过子单应性矩阵映射到中间虚拟视点图像，以一幅图像的映射图作为参考坐标系，对映射后的两幅图像进行插值融合，合成中间虚拟视点图像。本发明方法具有合成速度快、过程简单有效，工程实用价值高的优点。

Description

基于单应性矩阵分割的虚拟视点合成的方法

技术领域

本发明涉及一种虚拟视点合成的方法，尤其是一种基于单应性矩阵分割的虚拟视点合成的方法，属于图像处理技术领域。

背景技术

虚拟视点合成是指利用计算机，合成本来不存在的视点图像。虚拟视点插值是给定按照一定规则预先摆放的摄像头阵列，同时拍摄多张图像，采用相应的视点插值技术计算出每相邻两视角之间的中间图像序列。

近年来，随着计算机视觉、图像处理、计算机图像学等学科高度交叉。虚拟视点合成广泛运用于三维重建和全景拼接等项目。视点插值技术广泛应用于虚拟现实、特效摄影、三维电视和动画制作领域。成功的案例包括应用在奥运会上的“子弹时间”和苹果公司的Quick Time VR虚拟现实系统。

虚拟视点插值技术发展20多年，经典的方法由苹果公司研究员chen的基于偏移向量的插值方法以及Seitz教授的基于图像插值的方法。2004年微软研究员Zitnick提出一种新的基于图像的建模与绘制技术的视频视点合成系统方案，该方案离线获取同步拍摄视频流，然后通过基于颜色的分割的立体算法来获取摄像头阵列的结构参数并建立高质量的图像对应关系，视频合成过程深度不连续区自动提取遮罩用来减少人工误差，最后交互实现视频的合成。该方案的优势是得到视频合成质量但其速度难以保证实时性。2008年，Farin等也提出了对基线长度由约束的任意摆放阵列的虚拟视点插值技术。Guillemaut等人也提出了基于图像分割的优化视点插值方法，针对多个不同分辨率的运动相机拍摄的复杂运动场景进行图像分割重建。

目前，现有的基于虚拟视点插值合成虚拟图像的方法算法相对复杂、实时性能差、稳定性得不到保证，部分算法需要特殊硬件支持，工程实现难，工程实用价值不高。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供一种基于单应性矩阵分割的虚拟视点合成的方法，该方法具有合成速度快、过程简单有效、工程实用价值高的优点。

本发明的目的可以通过采取如下技术方案达到：

基于单应性矩阵分割的虚拟视点合成的方法，所述方法包括以下步骤：

1)采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机之间的基础矩阵F，由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T；

2)对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视角之间某一位置处的子单应性矩阵H_li和H_ri；

3)通过子单应性矩阵H_li和H_ri分别将左右视角图形进行图像映射，选定其中一视角映射后的图像作为合成图像的参考坐标系统，运用双线性插值进行插值融合，合成运动过程中每一位置场景图像。

作为一种优选方案，步骤1)所述采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机之间的基础矩阵F，具体如下：

1.1)相机对准棋盘格，拍摄至少三组棋盘格照片；

1.2)利用opencv标定函数或matlab标定工具箱，通过拍摄的多组棋盘格照片，标定出左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机的基础矩阵F。

作为一种优选方案，步骤1)所述由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T，具体如下：

1.3)由基础矩阵F导出本质矩阵E：

$E=K_r^T{\mathrm{FK}}_l---\left(1\right)$

其中，F为左右相邻视角相机之间的基础矩阵，K_l为左相机内参，K_r右相机内参；

1.4)设平移矩阵T＝[t₁，t₂，t₃]，则平移矩阵T的反对称矩阵为：

${\left[t\right]}_x=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ -t_2& t_1& 0\end{array}\right]---\left(2\right)$

1.5)本质矩阵E由旋转矩阵R和平移矩阵T来表示，如下：

E＝[T]_xR    (3)

1.6)通过对本质矩阵进行SVD奇异值分解，得到旋转矩阵R和平移矩阵T。

作为一种优选方案，步骤2)所述对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视角之间某一位置处的子单应性矩阵H_li和H_ri，具体如下：

2.1)若给定已标定系统，投影矩阵P＝K[I|0]，P′＝K′[I|0]，则相应的单应性矩阵H如下：

H＝K′(R-tn^T/d)K^-1    (4)

其中，K和K^-1分别表示第一、第二视角相机内参，n^T为参考平面的单位法向量，d为外参考平面的深度，外平面法向量为v＝n^T/d；

2.2)由H矩阵和外平面不共线的3对对应点(X_i，X′_i)，导出外平面法向量v

由单应性矩阵H得到：

X′_i＝HX_i   (5)

由式(4)得到：

X′_i＝[K′(R-tn^T/d)K^-1]X_i    (6)

向量X′_i和[K′(R-tn^T/d)K^-1]X_i共线，由此得到：

X′_i×[K′(R-tv)K^-1]X_i＝0    (7)

由外平面不共线的3对对应点，联立式(7)，求出外平面法向量v；

2.3)构建两视角映射到相机运动过程中某一位置的单应性矩阵，称为子单应性矩阵，子单应性矩阵的构建通过对对旋转矩阵R和平移矩阵T进行插值得到，定义视角1为相机运动的起点，视角2为相机运动的终点，那么相机在视角1拍摄一幅图像后，运动到视角2拍摄拍摄第二幅图像，从起点运动到终点总的运动量用(R(θ)，t)表示；

2.4)假设要合成运动过程中某一个视点i出的虚拟图像，那么从相机的运动角度出发，计算视角1到视点i出的运动量(R(θ_i)，t_i)以及视角2到视点i出的运动量(R(θ-θ_i)，t-t_i)，根据此运动参数得到视角1到视点i处子单应性矩阵H_li和视角2到视点i处子单应性矩阵H_ri，根据式(4)，得到子单应性矩阵如下所示：

$H_{\mathrm{li}}=K^{\′}(R\left({\mathrm{\θ}}_i\right)-t_i{v}_1^T)K^{-1}---\left(8\right)$

$H_{\mathrm{ri}}=K(R(\mathrm{\θ}-{\mathrm{\θ}}_i)-(t-t_i)v_2^T)K^{\′-1}---\left(9\right)$

其中，H_li为视角1到视点i处子单应性矩阵，H_ri为视角2到视点i处子单应性矩阵，K和K^-1分别表示第一、第二视角相机内参，为视角1参考平面法向量，为视角2参考平面法向量。

作为一种优选方案，步骤3)所述合成运动过程中每一位置场景图像，具体如下：

3.1)运用子单应性矩阵H_li和H_ri，计算视角1映射到视点i处的子图像1以及视角2映射到视点i处的子图像2；

3.2)将这子图像1和子图像2进行叠加融合，得到视点i处的虚拟视点图像。

本发明相对于现有技术具有如下的有益效果：

1、本发明方法可以通过离线标定相邻视角相机的内参矩阵及相邻视角相机的基础矩阵来提升系统的实时性能，重建速度快，鲁棒性能高。

2、本发明方法相对简单有效，不需要特殊的硬件支持，具有很高的工程实用价值。

附图说明

图1为本发明实施例1的基于单应性矩阵分割的虚拟视点合成的方法流程图。

图2为本发明实施例1的相邻两幅图像的单应变换示意图；

图3为本发明实施例1的外平面法向量求解示意图；

图4为本发明实施例1的视角变换和运动分割示意图；

图5为本发明实施例1的双线性插值原理示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

如图1所示，本实施例的基于单应性矩阵分割的虚拟视点合成的方法，包括以下步骤：

1)采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机之间的基础矩阵F，由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD(Sigular Value Decomposition)奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T，具体如下：

1.1)相机对准棋盘格，拍摄至少三组棋盘格照片；

1.2)利用opencv标定函数或matlab标定工具箱，通过拍摄的多组棋盘格照片，标定出左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机的基础矩阵F。

1.3)由基础矩阵F导出本质矩阵E：

$E=K_r^T{\mathrm{FK}}_l---\left(1\right)$

其中，F为左右相邻视角相机之间的基础矩阵，K_l为左相机内参，K_r右相机内参；

1.4)设平移矩阵T＝[t₁，t₂，t₃]，则平移矩阵T的反对称矩阵为：

${\left[t\right]}_x=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ -t_2& t_1& 0\end{array}\right]---\left(2\right)$

1.5)本质矩阵E由旋转矩阵R和平移矩阵T来表示(本质矩阵等于反对称矩阵乘以旋转矩阵)，如下：

E＝[T]_xR    (3)

1.6)通过对本质矩阵进行SVD奇异值分解，得到旋转矩阵R和平移矩阵T。

2)对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视角之间某一位置处(即中间虚拟视点)的子单应性矩阵H_li和H_ri，具体如下：

2.1)如图2所示的相邻两幅图像的单应变换示意图，若给定已标定系统，投影矩阵P＝K[I|0]，P′＝K′[I|0]，则相应的单应性矩阵H如下：

m′＝Hm

H＝K′(R-tn^T/d)K^-1    (4)

其中，K和K^-1分别表示第一、第二视角相机内参，n^T为参考平面的单位法向量，d为外参考平面的深度，外平面法向量为v＝n^T/d，m是图中左参考平面上的点，m′是图中右参考平面上的点；

2.2)如图3所示的外平面法向量求解示意图，由H矩阵和外平面不共线的3点X₁、X₂、X₃，导出外平面法向量v

由单应性矩阵H得到：

X₁₂＝HX₁₁    (5)

由式(4)得到：

X₁₂＝[K′(R-tn^T/d)K^-1]X₁₁    (6)

向量X₁₂和X₁₂＝[K′(R-tn^T/d)K^-1]X₁₁共线，由此得到：

X₁₂×[K′(R-tv)K^-1]X₁₁＝0    (7)

同理，X₂和X₃同样可以得到一组方程，联立三个方程可以求解外平面法向量v，因此由外平面不共线的3对对应点，即可以联立方程，求出外平面法向量v；

2.3)如图4所示的视角变换和运动分割示意图，构建两视角映射到相机运动过程中某一位置的单应性矩阵，称为子单应性矩阵，子单应性矩阵的构建通过对对旋转矩阵R和平移矩阵T进行插值得到，定义视角1为相机运动的起点，视角2为相机运动的终点，那么相机在视角1拍摄一幅图像后，运动到视角2拍摄拍摄第二幅图像，从起点运动到终点总的运动量用(R(θ)，t)表示；

2.4)假设要合成运动过程中某一个视点i出的虚拟图像，那么从相机的运动角度出发，计算视角1到视点i出的运动量(R(θ_i)，t_i)以及视角2到视点i出的运动量(R(θ-θ_i)，i-t_i)，根据此运动参数得到视角1到视点i处子单应性矩阵H_li和视角2到视点i处子单应性矩阵H_ri，根据式(4)，得到子单应性矩阵如下所示：

$H_{\mathrm{li}}=K^{\′}(R\left({\mathrm{\θ}}_i\right)-t_i{v}_1^T)K^{-1}---\left(8\right)$

$H_{\mathrm{ri}}=K(R(\mathrm{\θ}-{\mathrm{\θ}}_i)-(t-t_i)v_2^T)K^{\′-1}---\left(9\right)$

其中，H_li为视角1到视点i处子单应性矩阵，H_ri为视角2到视点i处子单应性矩阵，K和K^-1分别表示第一、第二视角相机内参，为视角1参考平面法向量，为视角2参考平面法向量。

3)通过子单应性矩阵H_li和H_ri分别将左右视角图形进行图像映射(应用前向映射技术)，选定其中一视角映射后的图像作为合成图像的参考坐标系统，运用双线性插值进行插值融合(即对映射后的两幅图像进行融合)，合成运动过程中每一位置场景图像(即中间虚拟视点图像)，具体如下：

3.1)根据相邻视角到到虚拟视点的子单应性矩阵H_li和H_ri，采用H_li和H_ri分别将左右视角图形向中间虚拟视点进行映射；

3.2)如图5所示的双线性插值原理示意图，假设要得到P＝(X，Y)的值，假设已知Q₁₁、Q₁₂、Q₂₁、Q₂₂的值，首先在X方向插值得到R₁和R₂，然后在Y方向插值得到P点坐标；

3.3)由于从视角1或者视角2乘以矩阵得到的是浮点数，因此采用逆向插值技术；对目标图像的像素位置，首先查找出原图像的浮点位置，然后利用周围源像素的整形值插值出新值，因此可以得到视角1和视角2插值到中间视角的虚拟图像；

3.4)选定其中一视角图像映射后的图像作为合成图像的参考坐标系统，对视角1和视角2插值到中间的虚拟图像进行融合，对公共区域的像素值各取一半进行叠加融合得到中间虚拟视角图像。

综上所述，本发明方法可以通过离线标定相邻视角相机的内参矩阵及相邻视角相机的基础矩阵来提升系统的实时性能，具有合成速度快、过程简单有效、工程实用价值高的优点。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，如棋盘格可以用其它独立可标示的物体代替，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (5)

1.基于单应性矩阵分割的虚拟视点合成的方法，其特征在于：所述方法包括以下步骤：

1)采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机之间的基础矩阵F，由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T；

2)对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视角之间某一位置处的子单应性矩阵H_li和H_ri；

3)通过子单应性矩阵H_li和H_ri分别将左右视角图形进行图像映射，选定其中一视角映射后的图像作为合成图像的参考坐标系统，运用双线性插值进行插值融合，合成运动过程中每一位置场景图像。

2.根据权利要求1所述的基于单应性矩阵分割的虚拟视点合成的方法，其特征在于：步骤1)所述采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机之间的基础矩阵F，具体如下：

1.1)相机对准棋盘格，拍摄至少三组棋盘格照片；

1.2)利用opencv标定函数或matlab标定工具箱，通过拍摄的多组棋盘格照片，标定出左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机的基础矩阵F。

3.根据权利要求1所述的基于单应性矩阵分割的虚拟视点合成的方法，其特征在于：步骤1)所述由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T，具体如下：

1.3)由基础矩阵F导出本质矩阵E：

$E=K_r^T{\mathrm{FK}}_l---\left(1\right)$

其中，F为左右相邻视角相机之间的基础矩阵，K_l为左相机内参，K_r右相机内参；

1.4)设平移矩阵T＝[t₁，t₂，t₃]，则平移矩阵T的反对称矩阵为：

${\left[t\right]}_x=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ -t_2& t_1& 0\end{array}\right]---\left(2\right)$

1.5)本质矩阵E由旋转矩阵R和平移矩阵T来表示，如下：

E＝[T]_xR          (3)

1.6)通过对本质矩阵进行SVD奇异值分解，得到旋转矩阵R和平移矩阵T。

4.根据权利要求1所述的基于单应性矩阵分割的虚拟视点合成的方法，其特征在于：步骤2)所述对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视角之间某一位置处的子单应性矩阵H_li和H_ri，具体如下：

2.1)若给定已标定系统，投影矩阵P＝K[I|0]，P′＝K′[I|0]，则相应的单应性矩阵H如下：

H＝K′(R-tn^T/d)K^-1         (4)

其中，K和K^-1分别表示第一、第二视角相机内参，n^T为参考平面的单位法向量，d为外参考平面的深度，外平面法向量为v＝n^T/d；

2.2)由H矩阵和外平面不共线的3对对应点(X_i，X′_i)，导出外平面法向量v

由单应性矩阵H得到：

X′_i＝HX_i         (5)

由式(4)得到：

X′_i＝[K′(R-tn^T/d)K^-1]X_i        (6)

向量X′_i和[K′(R-tn^T/d)K^-1]X_i共线，由此得到：

X′_i×[K′(R-tv)K^-1]X_i＝0         (7)

由外平面不共线的3对对应点，联立式(7)，求出外平面法向量v；

2.3)构建两视角映射到相机运动过程中某一位置的单应性矩阵，称为子单应性矩阵，子单应性矩阵的构建通过对对旋转矩阵R和平移矩阵T进行插值得到，定义视角1为相机运动的起点，视角2为相机运动的终点，那么相机在视角1拍摄一幅图像后，运动到视角2拍摄拍摄第二幅图像，从起点运动到终点总的运动量用(R(θ)，t)表示；

2.4)假设要合成运动过程中某一个视点i出的虚拟图像，那么从相机的运动角度出发，计算视角1到视点i出的运动量(R(θ_i)，t_i)以及视角2到视点i出的运动量(R(θ-θ_i)，t-t_i)，根据此运动参数得到视角1到视点i处子单应性矩阵H_li和视角2到视点i处子单应性矩阵H_ri，根据式(4)，得到子单应性矩阵如下所示：

$H_{\mathrm{li}}=K^{\′}(R\left({\mathrm{\θ}}_i\right)-t_i{v}_1^T)K^{-1}---\left(8\right)$

$H_{\mathrm{ri}}=K(R(\mathrm{\θ}-{\mathrm{\θ}}_i)-(t-t_i)v_2^T)K^{\′-1}---\left(9\right)$

其中，H_li为视角1到视点i处子单应性矩阵，H_ri为视角2到视点i处子单应性矩阵，K和K^-1分别表示第一、第二视角相机内参，为视角1参考平面法向量，为视角2参考平面法向量。

5.根据权利要求1所述的基于单应性矩阵分割的虚拟视点合成的方法，其特征在于：步骤3)所述合成运动过程中每一位置场景图像，具体如下：

3.1)运用子单应性矩阵H_li和H_ri，计算视角1映射到视点i处的子图像1以及视角2映射到视点i处的子图像2；

3.2)将这子图像1和子图像2进行叠加融合，得到视点i处的虚拟视点图像。