CN104519340B - 基于多深度图像变换矩阵的全景视频拼接方法 - Google Patents

Abstract

本发明公开了一种基于多深度图像变换矩阵的全景视频拼接方法，它将多个摄像头排水的含有相互重叠区域的多个视频合成为全景视频，该方法包括后台校准过程和实时拼接过程。在后台校准过程中，获得深度为无穷远处的参考平面图像变换矩阵；同时，将其它深度信息分成不同深度等级，获得每个深度等级所对应的深度平面图像变换矩阵。在实时拼接过程中，利用参考平面图像变换矩阵，获得参考全景图像；同时，计算重叠区域当前的深度信息，并根据该深度信息所对应的图像变换矩阵，获得重叠区域全景图像；最后将重叠区域全景图像和参考全景图像进行混合成全景视频图像。本发明的方法可以获得稳定连贯的高质量全景视频，同时具有计算量小、运行速度快的特点。

Description

基于多深度图像变换矩阵的全景视频拼接方法

技术领域

本发明涉及一种视频拼接方法，尤其是一种基于多深度图像变换矩阵的全景视频拼接方法。

背景技术

视频拼接是计算机视觉中一项重要的技术。给定含有重叠区域的多个视频，视频拼接的过程是将这些视频合成到同一视平面上，形成一个分辨率更高、视角更大的全景视频。在实际生活中，这项技术运用到了视频监控、展示展览、远程视频会议、视觉娱乐等各个领域。

很多应用场景都对全景视频提出了合成图像质量高，并且实时运行速度快的要求。已有的视频拼接方法针对于此，提出了多种解决方案。在实际场景中，前景物体经常在拼接线附近产生伪影现象，为了解决这个问题，【文献1，2，3】中，提出了采用前景信息来优化全景图像或视频的方法，并且在动态环境中根据前景信息调整拼接线，获得了优良的质量效果。但是，当前景物体数量比较多的时候，处理时间将加长，同时多个前景物体之间也互相干扰拼接线的调整。【文献4】利用深度信息自适应修正图像拼接矩阵，可以消除伪影现象；但是当场景中出现多个深度变换较大的情况时，自适应修正过程将变得复杂。【文献5】和【文献6】采用多个图像变换矩阵，去求解真实场景中的投影矩阵，并且针对每个像素都获取不同的变换矩阵；这种方法可以获得高质量的拼接结果，但是计算量大，不适合视频拼接的实时性要求。【文献7】提出了一种投影矩阵更新的自适应方法，应用于实时拼接算法中；但是在运动物体距离摄像头比较近的情况下，拼接过程产生伪影，效果不理想。

以上所涉及的文献分别为：

【文献1】Hongming Zhang,Xin Chen,Wei Zeng.Foreground basedBorderline Adjusting for Real Time Multi-Camera Video Stitching.5thInternational Conference on Image and Graphics(ICIG2009),2009:355-360。

【文献2】中国专利：CN101593353B，图像处理方法和设备以及视频系统。

【文献3】中国专利：CN101859433B，图像拼接设备和方法。

【文献4】Wei Zeng,Hongming Zhang.Depth Adaptive Video Stitching.8thIEEE/ACIS International Conference on Computer and Information Science,2009:1100～1105。

【文献5】Gao J.H.,Kim S.J.,Brown M.S.(2011)“Constructing ImagePanoramas using Dual-Homography Warping”,IEEE Computer Vision and PatternRecognition(CVPR’11),Jun 2011.

【文献6】Zaragoza J.,Chin T.-J.,Tran Q.-H.,Brown M.S.,Suter D.(2014)“As-Proj ective-As-Possible Image Stitching with Moving DLT”,IEEETransactions on Pattern Analysis and Machine Intelligence(TPAMI),36(7),July2014。

【文献7】刘明杰，任帅，金城.基于自适应投影矩阵的实时视频拼接算法.计算机应用与软件,81-85,vol.29,No.5,2012年5月。

发明内容

有鉴于此，本发明的目的是提供一种计算量小、运行速度更快且能够获得稳定连贯的高质量视频的全景视频拼接方法。

为了达到上述目的，本发明采用以下技术方案：

一种基于多深度图像变换矩阵的全景视频拼接方法，用于将由多个摄像头分别拍摄的含有相互重叠区域的多个视频，合成为全景视频，包括以下步骤：

后台校准过程：通过多个视频在深度为无穷远处的多个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；同时，将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；

实时拼接过程：利用所述的参考平面图像变换矩阵，将多个视频在深度为无穷远处的多个图像进行几何变换，获得合成图像，作为参考全景图像；同时，计算多个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；最后，将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像。

校准过程的目标是计算图像变换矩阵，来描述多个摄像头或者视频图像平面之间的几何关系。给定图像1和图像2，它们之间的几何关系由公式(1)定义：

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=H\·\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)---\left(1\right)$

其中，和分别是图像1和图像2的齐次坐标，H是一个3x3的矩阵，称之为图像变换矩阵。

有了图像变换矩阵，可以把图像1和图像2映射到同一个图像平面，通过图像混合方法，生成全景图像。

图像变换矩阵跟多个因素相关，包括摄像头的焦距(焦距：f)、摄像头之间的位置关系、拍摄物体/场景到图像平面之间的距离(场景或者物体的深度：Z)有关。在大部分应用中，因此场景的深度信息值Z对图像变换具有重要的影响。

本发明中后台校准过程具体为：

将深度为无穷远处的深度等级标定为Z(0)，从一个视频获得深度在无穷远处的图像I₁和从另一个视频获得深度在无穷远处的图像I₂，依据公式(1)计算图像变换矩阵H，作为参考平面图像变换矩阵H(Ref)；按照深度由远至近的顺序，先将远处的某一深度信息值标定为Z(1)，分别从两个视频中获得在该深度的图像I₁₁和图像I₂₁，依据公式(1)计算对应的图像变换矩阵H(1)；按照深度稍近一点的某一深度信息值标定为Z(2)，分别从两个视频中获得在该深度的图像I₁₂和图像I₂₂，依据公式(1)计算对应的图像变换矩阵H(2)；以此类推……；最后将最近处的深度信息值标定为Z(n)，分别从两个视频中获得在该深度的I_1n和图像I_2n，依据公式(1)计算对应的图像变换矩阵H(n)。然后以标定的多个不同的深度等级Z(1)，Z(2)，……，Z(n)，以及一一对应的图像变换矩阵H(1)，H(2)，……，H(n)，生成深度等级-图像变换矩阵的对应表，n为正整数；其中，深度信息值Z是物体到成像的距离，通过公式(2)计算得到

$Z\∝\frac{1}{d}---\left(2\right)$

d为视差。

本发明中实时拼接过程具体为：

生成参考全景图像：以参考平面图像变换矩阵H(Ref)为基础，将两个视频的在当前时间t的图像I_1t和图像I_2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I_1t和图像I_2t进行像素值混合，获得参考全景图像，表示为I_H(Ref)；

计算深度信息：依据当前的视差，由上述公式(2)计算得到两个视频的图像I_1t和图像I_2t在重叠区域的当前深度信息值Z(t)；

获取图像变换矩阵：根据当前深度信息值Z(t)所对应的深度等级，通过在所述对应表中执行查表操作，得到图像变换矩阵，表示为H(t)；

生成重叠区域全景图像：以图像变换矩阵H(t)为基础，将两个视频的图像I_1t和图像I_2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I_1t和图像I_2t进行像素值混合，获得重叠区域全景图像，表示为I_H(t)；

基于深度信息的图像混合：结合参考平面图像变换矩阵H(Ref)和图像变换矩阵H(t)，将重叠区域全景图像I_H(t)和参考全景图像I_H(Ref)进行混合渲染，形成当前的全景视频图像I_F。

相较于现有技术，本发明的一种基于多深度图像变换矩阵的全景视频拼接方法，其基本思想是结合不同深度下的合成图像，混合渲染形成全景视频图像，其操作过程包括两部分：后台校准过程和实时拼接过程。利用该方法，可以获得稳定连贯的高质量全景视频，同时具有计算量小、运行速度快的特点。

附图说明

图1为本发明在后台校准过程的方框示意图。

图2为本实施例中的深度等级具体标定方法的方框示意图。

图3为本实施例中的实时拼接过程的流程图。

具体实施方式

下面结合附图对本发明优选的实施方式进行详细说明。

请参阅图1至图3，本实施例以两个摄像头拍摄的含有重叠区域的两个视频合成全景视频为例，详细说明本发明的基于多深度图像变换矩阵的全景视频拼接方法。

后台校准过程

如图1所示，将深度为无穷远处的深度等级标定为Z(0)，从一个视频获得深度在无穷远处的图像I₁和从另一个视频获得深度在无穷远处的图像I₂，依据公式(1)计算图像变换矩阵H，作为参考平面图像变换矩阵H(Ref)；按照深度由远至近的顺序，先将远处的某一深度信息值标定为Z(1)，分别从两个视频中获得在该深度的图像I₁₁和图像I₂₁，依据公式(1)计算对应的图像变换矩阵H(1)；按照深度稍近一点的某一深度信息值标定为Z(2)，分别从两个视频中获得在该深度的图像I₁₂和图像I₂₂，依据公式(1)计算对应的图像变换矩阵H(2)；以此类推……；最后将最近处的深度信息值标定为Z(n)，分别从两个视频中获得在该深度的I_1n和图像I_2n，依据公式(1)计算对应的图像变换矩阵H(n)。然后以标定的多个不同的深度等级Z(1)，Z(2)，……，Z(n)，以及一一对应的图像变换矩阵H(1)，H(2)，……，H(n)，生成深度等级-图像变换矩阵的对应表，n为正整数；其中，深度信息值Z是物体到成像的距离，通过公式(2)计算得到。

如图2所示，安装深度由远至近的顺序，标定深度等级Z(1)时，首先设定标定物体的较远的拍摄位置，然后依据所述公式(2)计算标定的深度信息值Z，然后从两个视频中获取标定的深度信息值处的图像I₁₂和图像I₁₂，再依据公式(1)计算得到对应的图像变换矩阵H(1)。依次类推，设定标定物体的最近的拍摄位置，然后依据公式(2)计算标定的深度信息值，然后从两个视频中获取标定的深度信息值处的图像I_1n和图像I_2n，再依据公式(1)计算得到对应的图像变换矩阵H(n)。最后得到的深度等级-图像变换矩阵的对应表，如表1所列。

表1：深度等级-图像变换矩阵的对应表

实时拼接过程

如图3所示，本实施例中的实时拼接过程包括以下步骤。

步骤S01：生成参考全景图像

以参考平面图像变换矩阵H(Ref)为基础，将两个视频的在当前时间t的图像I_1t和图像I_2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I_1t和图像I_2t进行像素值混合，获得参考全景图像，表示为I_H(Ref)；

步骤S02：计算深度信息

依据当前的视差，由上述公式(2)计算得到两个视频的图像I_1t和图像I_2t在重叠区域的当前深度信息值Z(t)；

步骤S03：获取图像变换矩阵

根据当前深度信息值Z(t)所对应的深度等级，通过在所述对应表中执行查表操作，得到图像变换矩阵，表示为H(t)；

步骤S04：生成重叠区域全景图像

以图像变换矩阵H(t)为基础，将两个视频的图像I_1t和图像I_2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I_1t和图像I_2t进行像素值混合，获得重叠区域全景图像，表示为I_H(t)；

步骤S05：基于深度信息的图像混合

结合参考平面图像变换矩阵H(Ref)和图像变换矩阵H(t)，将重叠区域全景图像I_H(t)和参考全景图像I_H(Ref)进行混合渲染，形成当前的全景视频图像I_F。

其中，将重叠区域全景图像I_H(t)和参考全景图像I_H(Ref)混合成全景视频图像I_F的方法为：对于全景图像上的任意像素点(i，j)，按照以下公式(3)进行赋值，

其中，是预先设定的阈值，其大于等于0.1，且小于等于0.5。

最后得到的深度等级-图像变换矩阵的对应表，如表1所列。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于多深度图像变换矩阵的全景视频拼接方法，用于将由多个摄像头分别拍摄的含有相互重叠区域的多个视频，合成为全景视频，包括以下步骤：

后台校准过程：通过多个视频在深度为无穷远处的多个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；同时，将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；

实时拼接过程：利用所述的参考平面图像变换矩阵，将多个视频在深度为无穷远处的多个图像进行几何变换，获得合成图像，作为参考全景图像；同时，计算多个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；最后，将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像。

2.根据权利要求1所述的一种基于多深度图像变换矩阵的全景视频拼接方法，其特征在于：

所述的后台校准过程具体为：

将深度为无穷远处的深度等级标定为Z(0)，从一个视频获得深度在无穷远处的图像I₁和从另一个视频获得深度在无穷远处的图像I₂，依据以下公式(1)计算图像变换矩阵H，作为参考平面图像变换矩阵H(Ref)；

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=H\·\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)---\left(1\right)$

其中，和分别是两个图像的齐次坐标，H是一个3x3的矩阵，称之为图像变换矩阵；

然后按照不同的深度信息值Z标定多个不同的深度等级Z(1)，Z(2)，……，Z(n)，并依据公式(1)计算获得分别与各深度等级一一对应的图像变换矩阵H(1)，H(2)，……，H(n)，n为正整数；其中，深度信息值Z是物体到成像的距离，通过公式(2)计算得到

$Z\∝\frac{1}{d}---\left(2\right)$

d为视差；

最后生成深度等级-图像变换矩阵的对应表，所述对应表包括一一对应的Z(0)-H(Ref)，Z(1)-H(1)，Z(2)-H(2)，……，Z(n)-H(n)；

所述的实时拼接过程具体为：

生成参考全景图像：以参考平面图像变换矩阵H(Ref)为基础，将两个视频的图像I_1t和图像I_2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I_1t和图像I_2t进行像素值混合，获得参考全景图像，表示为I_H(Ref)；

计算深度信息：依据当前的视差，由上述公式(2)计算得到两个视频的图像I_1t和图像I_2t在重叠区域的当前深度信息值Z(t)；

获取图像变换矩阵：根据当前深度信息值Z(t)所对应的深度等级，通过在所述对应表中执行查表操作，得到图像变换矩阵，表示为H(t)；

生成重叠区域全景图像：以图像变换矩阵H(t)为基础，将两个视频的图像I_1t和图像I_2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I_1t和图像I_2t进行像素值混合，获得重叠区域全景图像，表示为I_H(t)；

基于深度信息的图像混合：结合参考平面图像变换矩阵H(Ref)和图像变换矩阵H(t)，将重叠区域全景图像I_H(t)和参考全景图像I_H(Ref)进行混合渲染，形成当前的全景视频图像I_F。

3.根据权利要求2所述的一种基于多深度图像变换矩阵的全景视频拼接方法，其特征在于：标定不同的深度等级Z(1)，Z(2)，……，Z(n)的具体步骤为：首先设定标定物体的拍摄位置，然后依据所述公式(2)计算标定的深度信息值Z，然后从两个视频中获取标定的深度信息值处的两个图像，再依据公式(1)计算得到对应的图像变换矩阵H。

4.根据权利要求2所述的一种基于多深度图像变换矩阵的全景视频拼接方法，其特征在于：将重叠区域全景图像I_H(t)和参考全景图像I_H(Ref)混合成全景视频图像I_F的方法为：对于全景图像上的任意像素点(i，j)，按照以下公式(3)进行赋值，

其中，Threshold是预先设定的阈值，其大于等于0.1，且小于等于0.5。