CN104683788B

CN104683788B - 基于图像重投影的空洞填充方法

Info

Publication number: CN104683788B
Application number: CN201510113189.XA
Authority: CN
Inventors: 刘然; 贾瑞双; 黄振伟; 邓泽坤; 曹东华; 徐苗; 李博乐
Original assignee: Chongqing University; Sichuan Hongwei Technology Co Ltd
Current assignee: Chongqing University; Sichuan Hongwei Technology Co Ltd
Priority date: 2015-03-16
Filing date: 2015-03-16
Publication date: 2017-01-04
Anticipated expiration: 2035-03-16
Also published as: CN104683788A

Abstract

本发明公开了一种基于图像重投影的空洞填充方法，首先根据参考图像生成目标图像及非空洞矩阵，然后对原始的参考图像进行图像重投影生成与目标图像平行的参考图像；确定目标图像中除边缘空洞以外的所有空洞的边缘，采用三维图像逆变换方法将边缘像素点投影到平行参考图像中，然后根据边缘点在目标图像中的位置和平行参考图像相对于原始参考图像的旋转方向，复制像素点对该边缘点对应的空洞进行填充；最后，利用图像修复算法修复剩余空洞。相比于传统空洞填充方法，本发明可以提高填充结果图像的质量，并且时间复杂度也较低。

Description

基于图像重投影的空洞填充方法

技术领域

本发明属于三维图像技术领域，更为具体地讲，涉及一种基于图像重投影的空洞填充方法。

背景技术

基于深度图像绘制(depth-image-based rendering,DIBR)技术是一种根据参考图像(reference image)及其对应的深度图像(depth image)来生成一幅新视点图像(即目标图像)的技术。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便的实现二维和三维的切换。因此DIBR技术在3D电视立体图像对(stereo pair)的生成中得到了广泛应用。

空洞是因为视点变化而产生的。由于视点变化导致场景中物体前后遮挡关系发生了变化，原来不可见的物体变得可见，物体表面也会发生缩放，因而会产生空洞。特别是基线较长时，会产生很大的空洞。尽管随着所提供摄像机数的增加，有些空洞因为变得可见而被填充，但是由于不可能在所有位置都放上一个摄像机，因而在合成任意视点视图时空洞是不可避免的。在空洞填充方面，国内外学术界基本上沿着深度图像预处理和合成视图后处理相结合的方向发展。

在预处理方面，2004年Fehn提出了采用高斯滤波器对深度图像进行预处理，平滑深度图像，减少深度值的不连续以避免在目标图像中出现较大的空洞。Chen等人采用依赖边缘深度滤波器(edge dependent depth filter)来进行预处理。这几种方法都会使背景中的垂直边缘产生几何扭曲。Zhang等人提出非对称高斯滤波器，以减弱背景中垂直纹理信息产生的几何扭曲现象。He等人提出用加权迭代的方法处理深度图像，不利于实时处理。Hong提出方向高斯滤波(directional gaussian filter,DAF)，在预处理深度图时，先膨胀深度图，然后根据方向角对可能产生空洞的区域进行非对称高斯滤波，虽然迭代多次可以得到比较好的图像质量，但不能完全消除几何扭曲，且这种算法太复杂，硬件实现困难、实时性不好。

在后处理方面，戴琼海等人采用了背景优先填充的思想，在合成的左视图中用从左到右从上到下的顺序填充，右视图中用从右到左，从上到下的顺序填充，当空洞两边都为前景时，且空洞区域本应该为背景像素时，这种填充算法就会失效。2009年，Kwan-Jung Oh等人从后处理的角度提出了基于深度的图像修复技术来进行空洞填充。

张倩、安平等人则采用深度预处理图像和图像修复后处理相结合的方法来填充空洞。2010年，骆凯、张明等人将形态学处理引入到深度图像预处理中，并结合Criminisi的基于样本的修复方法来修复空洞。V′azquez、Azzari等人对深度图像预处理算法与图像修复算法后处理的效果和性能做了对比探讨，他们的结果显示采用Criminisi算法修复效果较好但计算复杂性高，并指出利用深度信息是提高合成视图的重要手段。一般来说预处理深度图像，会降低整幅图像的质量，而图像修复又太复杂。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像重投影的空洞填充方法，对原始参考图像进行图像重投影生成与目标图像平行的参考图像，根据该平行参考图像对目标图像进行空洞填充，提高填充结果图像的质量。

为实现上述发明目的，本发明基于图像重投影的空洞填充方法，具体包括以下步骤：

S1：根据参考图像I_r采用三维变换生成目标图像I_s，并得到目标图像对应的非空洞矩阵M，非空洞矩阵M的生成方法为：如果目标图像I_s中像素点(x,y)为空洞，非空洞矩阵M对应的元素值M(x,y)置0，如果为非空洞点，对应元素值置为该像素点的深度值；

S2：采用图像重投影算法分别对参考图像I_r及其深度图像D进行重投影生成与目标图像I_s平行的参考图像I′_r及其深度图像D′；

S3：当目标图像I_s为右视图/左视图，对非空洞矩阵M进行从左到右/从右到左、从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞右/左边的非空洞像素点作为右/左边缘u_s，该空洞含有的像素点数记为N；

S4：依次对于步骤S3得到的每个空洞的右/左边缘u_s，判断是否为前景像素点，如果是，不作任何操作，否则将像素点u_s通过三维图像逆变换，投影到参考图像I′_r中的像素点u′_r，记像素点u′_r的坐标为(m,n)；如果像素点u′_r所在行的序号n大于等于/小于等于W/2时，将像素点u′_r右/左边最近的N个像素点复制到像素点u_s左/右边的空洞中进行填充，否则进一步判断图像重投影时参考图像I′_r相对于原始参考图像I_r是否为顺时针旋转，如果是，则将像素点u′_r重置为像素点(m+αλ,n)，其中α表示视图标识，当目标图像I_s为右视图时，α＝1，当目标图像I_s为左视图时，α＝-1，λ表示预设的偏移量，取值范围λ≥1；如果是逆时针，则将像素点u′_r重置为像素点(m-αλ,n)，然后将像素点u′_r右/左边最近的N个像素点复制到像素点u_s左/右边的空洞中进行填充；

S5：采用图像修复算法对目标图像I_s中的剩余空洞进行填充。

本发明基于图像重投影的空洞填充方法，首先根据参考图像生成目标图像及非空洞矩阵，然后对原始的参考图像进行图像重投影生成与目标图像平行的参考图像；确定目标图像中除边缘空洞以外的所有空洞的边缘，采用三维图像逆变换方法将边缘像素点投影到平行参考图像中，然后根据边缘点在目标图像中的位置和平行参考图像相对于原始参考图像的旋转方向，复制像素点对该边缘点对应的空洞进行填充；最后，利用图像修复算法修复剩余空洞。

相对于传统的空洞填充方法，本发明不需要预处理深度图像，从而最大限度地保证了非空洞区域的真实性，得到高质量的新视图。实验表明，在基线比较小，背景纹理不是非常复杂的情况下，本发明可以取得比较好的视觉效果。并且本发明算法的时间复杂度较低，可以有效提高空洞填充的效率。

附图说明

图1是本发明基于图像重投影的空洞填充方法的实施方式流程图；

图2是三维图像变换示意图；

图3是去除匹配误差的效果示意图；如图3所示，图3(a)是经过三维变换后的目标图像及局部放大图，图3(b)是未经去除匹配误差采用本发明进行空洞填充后的目标图像及局部放大图，图3(c)是去除匹配误差后采用本发明进行空洞填充后的目标图像及局部放大图；

图4是图像重投影的示意图；

图5是图像重投影的结果示例图；

图6是填充偏移示例图；

图7是目标图像为右视图时的像素点复制填充示意图；

图8是直接从原始参考图像复制像素点进行空洞填充的示例图；

图9是从图像重投影得到的平行参考图像复制像素点进行空洞填充的示例图；

图10是Ballet序列图像的填充结果对比图；

图11是Breakdancers序列图像的填充结果对比图；

图12是Ballet序列前20帧的三种算法PSNR对比曲线图；

图13是Breakdancers序列前20帧的三种算法PSNR对比曲线图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于图像重投影的空洞填充方法的实施方式流程图。如图1所示，本发明基于图像重投影的空洞填充方法包括以下步骤：

S101：生成目标图像：

根据参考图像I_r采用三维变换生成目标图像I_s，并得到目标图像对应的非空洞矩阵M，非空洞矩阵M的生成方法为：如果目标图像I_s中像素点(x,y)为空洞，非空洞矩阵M对应的元素值M(x,y)置0，如果为非空洞点，对应元素值置为该像素点的深度值。

图2是三维图像变换示意图。如图2所示，三维图像变换包括两个步骤：首先，将参考图像I_r中的像素点u_r运用其在深度图D中对应的深度信息投影到三维空间中一点U；然后，将这个点U重新投影到需要得到的某个位置的目标图像I_s中去，得到变换后的像素点u_s。三维图像变换的可逆矩阵为：

z_{s} [\begin{matrix} u_{s} \\ 1 / z_{s} \end{matrix}] = P_{s} U = [\begin{matrix} K_{s} R_{s} & K_{s} T_{s} \\ 0^{T} & 1 \end{matrix}] U

z_{r} [\begin{matrix} u_{r} \\ 1 / z_{r} \end{matrix}] = P_{r} U = [\begin{matrix} K_{r} R_{r} & K_{r} T_{r} \\ 0^{T} & 1 \end{matrix}] U

其中，z_r表示像素点u_r的深度值，z_s表示像素点u_s的深度值，P_r、P_s分别表示参考图像和目标图像对应的摄像机投影矩阵，K_r、K_s分别表示参考图像和目标图像对应的摄影机内部参数矩阵，R_r、R_s分别表示参考图像和目标图像对应的旋转变换矩阵，T_r、T_s分别表示参考图像和目标图像对应的平移变换矩阵，上标T表示转置。

记参考图像I_r中像素点u_r的坐标为(u_r,v_r,1)，目标图像I_s中像素点u_s的坐标为(u_s,v_s,1)，三维图像变换公式可以表示为：

[\begin{matrix} u_{s} \\ v_{s} \\ 1 \end{matrix}] = \frac{z_{r}}{z_{s}} K_{s} R_{s} R_{r}^{- 1} K_{r}^{- 1} [\begin{matrix} u_{r} \\ v_{r} \\ 1 \end{matrix}] - \frac{1}{z_{s}} (K_{s} R_{s} R_{r}^{- 1} T_{r} + K_{s} T_{s})

三维图像逆变换的公式表示为：

[\begin{matrix} u_{r} \\ v_{r} \\ 1 \end{matrix}] = \frac{z_{s}}{z_{r}} K_{r} R_{r} R_{s}^{- 1} K_{s}^{- 1} [\begin{matrix} u_{s} \\ v_{s} \\ 1 \end{matrix}] - \frac{1}{z_{r}} (K_{r} R_{r} R_{s}^{- 1} T_{s} + K_{r} T_{r})

S102：去除目标图像的匹配误差：

由于深度图像中物体的轮廓往往是不精确的，通常前景物体的轮廓比由于深度图像中前景物体的轮廓比参考图像中前景物体的轮廓要小，即深度图像中前景物体的外围往往被设置成了背景物体的深度值，因而通过三维图像变换后，有可能出现前景物体边缘的一些像素点被投影远离前景而和背景像素点在一起的现象。对于右视图，在较大空洞的右边缘将会不准确(即有前景中的像素点存在，称之为匹配误差)，对于左视图，在较大空洞的左边缘将会不准确。因此可以首先采用膨胀空洞的方式对目标图像进行预处理，以去除匹配误差。

下面以目标图像为右视图为例，对膨胀空洞方法进行说明。首先，按行以从左到右的顺序遍历当前帧目标图像对应的非空洞矩阵M，检测空洞，即如果M(x,y)值为0，则目标图像中相同位置的像素点为空洞像素点，记录空洞的终点和连续空洞像素点的个数。若连续空洞像素点数量大于预设阈值th_big_hole则认为此处是大空洞，本实施例中th_big_hole设置为3；否则为小空洞，不需要膨胀。其次，以空洞的左边缘为起点，从右向左检测空洞左边缘非空洞像素点的深度值变化，一直到图像最左端。由于前景像素的深度值将大于背景像素点的深度值，因此如果从空洞左边缘开始到图像左边缘检测过程中，如果两个相邻非空洞像素点的深度值从较小深度值跃变到较大深度值并且差值绝对值大于50，则认为该空洞左边缘区域为背景像素点，则两端都膨胀，如果深度值在两个相邻非空洞像素点处从较大的深度值跃变到较小的深度值并且差值绝对值大于50，则认为该空洞左边缘区域为前景像素点，则只膨胀空洞右端，其他情况不对该空洞进行膨胀。在处理图像边缘的空洞时，直接膨胀右边缘。本实施例中在膨胀空洞时所需膨胀的像素点个数n_dilation为4，在实际应用中可以根据需要设置。膨胀空洞的操作实际上就是改变非空洞矩阵对应像素点位置的值，把非空洞的值改为0，即该点变为了空洞点。

图3是去除匹配误差的效果示意图。如图3所示，图3(a)是经过三维变换后的目标图像及局部放大图，图3(b)是未经去除匹配误差采用本发明进行空洞填充后的目标图像及局部放大图，图3(c)是去除匹配误差后采用本发明进行空洞填充后的目标图像及局部放大图。可以看出，去除匹配误差后再进行空洞填充的效果好于未经去除匹配误差进行空洞填充的效果。

S103：生成目标图像的平行图像：

采用图像重投影算法分别对参考图像I_r及其深度图像D进行重投影生成与目标图像I_s平行的参考图像I′_r及其深度图像D′，即根据参考图像I_r和目标图像I_s的旋转变换矩阵和平移变换矩阵对目标图像I_s及其深度图像D进行旋转和缩放。

图像重投影是指通过对任意视点的参考图像进行投影来产生新的图像。由于图像重投影能够改变参考图像的视线方向，因此它在多视点图像的实时渲染、视图变形、图像拼接等领域得到了应用。本发明引进图像重投影，目的是使参考图像平面与目标图像所在的平面平行，从而满足基于三维图像逆变换的空洞填充算法的要求。在实际情况中，可以根据需要选用具体的图像重投影算法。此处以最简单的单幅图像的图像重投影来进行说明。

图4是图像重投影的示意图。此处采用图4对图像重投影进行说明。假设I_r是参考图像，I_s是需要合成的目标图像。为了方便，此处采用右手世界坐标系x_wy_wz_w。C_r和C_s分别表示参考图像摄像机和目标图像摄像机的光心所在位置。本实施例在进行三维图像变换和逆变换时均使用的是右手坐标系。参考图像I_r和目标图像I_s的投影矩阵P_r、P_s可以描述为：

\{\begin{matrix} P_{r} = K_{r} [R_{r} | - R_{r} C_{r}] \\ P_{s} = K_{s} [R_{s} | - R_{s} C_{s}] \end{matrix}

从图3可以看出，在获取同一场景的图像时由于摄像机视点的不同，一般情况下得到的两幅(或多幅)图像的图像平面(image plane)往往不平行。那么参考图像I_r和目标图像I_s也是不平行的。如果将摄像机从C_s平移到C_r进行拍摄，得到图像I′_r，则I′_r的图像平面平行于I_s的图像平面。而I_r可由I′_r经旋转变换R_sR_r ^-1得到。因此只要将I_r重投影到I′_r，就能使两幅图像的图像平面平行。I_r到I′_r的单应矩阵为：

F＝K_sR_sR_r ^-1K_r ^-1

对I_s作类似的重投影也能使两幅图像的图像平面平行。由于在本发明中，参考图像I_r是原始获取的图像，而目标图像I_s是经过变换得到的，因此分别对参考图像I_r及其深度图D进行重投影，生成与目标图像平行的参考图像I′_r及其深度图像D′。

为了能从参考图像中获得更多的内容信息，本发明在进行图像重投影的过程中，保留了整个图像的内容，所得结果尺寸的大小与原始参考图像需要旋转的角度和摄像机内部参数有关，并不对经过重投影后得到的图像的大小等于原始尺寸。

图5是图像重投影的结果示例图。此处以摄像机5所拍摄的图像为例。如果以图像的左下角为坐标原点，旋转角为参考图像绕原点旋转的角度，顺时针旋转角度为负，逆时针旋转角度为正。如如图5所示，摄像机5拍摄的“Ballet”序列需逆时针旋转一个角度才达到与摄像机4拍摄图像平行；摄像机5拍摄的“Breakdancer”序列需逆时针旋转一个角度才达到与摄像机4拍摄图像平行。在只旋转一幅参考图像的情况下，得到的平行的参考图像I′_r的扭曲可能会比较大。

接下来其于图像重投影后的平行参考图像I′_r进行空洞填充。为了从参考图像I′_r找到可以填充目标图像I_s空洞的信息，需要将目标图像I_s的像素点经过三维图像逆变换投影到与之平行的参考图像I′_r中去。对于左视图来讲，大空洞一般出现在前景物体的左边，而右视图的大空洞出现在前景物体的右边。目标图像为右视图时，采用三维图像逆变换进行空洞填充将目标图像I_s的空洞右边缘(非空像素点)经过逆三维图像变换投影到参考图像I′_r(与目标图像平行图像)，然后确定要填充的内容。处理左视图的方法与之类似。具体步骤包括S104至110。

步骤S104：确定目标图像所有空洞的边缘：

当目标图像I_s为右视图，对非空洞矩阵M进行从左到右、从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞右边的非空洞像素点作为右边缘u_s，该空洞含有的像素点数记为N。当目标图像为左视图，对非空洞矩阵M进行从右到左、从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞左边的非空洞像素点作为左边缘u_s，该空洞含有的像素点数记为N。

此处排除图像边缘空洞的原因在于对边缘处的非空洞像素点进行三维图像逆变换的时候容易出现越界现象。因此不采用基于图像重投影的填充处理。

当目标图像I_s为左视图，右边缘的判断标准为：当M(x-1,y)＝0,M(x,y)≠0时，其中(x,y)表示像素点u_s坐标，(x-1,y)表示左侧相邻像素点坐标，则像素点u_s为目标图像I_s空洞的右边缘。当目标图像为左视图，左边缘的判断标准为：当M(x+1,y)＝0,M(x,y)≠0时，其中(x,y)表示像素点u_s坐标，(x+1,y)表示右侧相邻像素点坐标，则像素点u_s为目标图像I_s空洞的左边缘。

S105：令空洞序号i＝1。

S106：判断第i个空洞的右边缘或左边缘是否为前景像素点，即判断该像素点对应的深度值是否大于预定阈值，如果是，说明该像素点是前景像素点，进入步骤S109，否则进入步骤S107。

S107：三维图像逆变换：

将像素点u_s通过三维图像逆变换，投影到参考图像I′_r中的像素点u′_r。由于本发明需要将参考图像I′_r是由原始参考图像旋转变换后的图像，参考图像I′_r的摄影机内部参数矩阵和旋转矩阵都与目标图像相同，参考图像I′_r的平移变换矩阵与原始参考图像相同，因此此处的三维图像逆变换的公式表示为：

[\begin{matrix} u_{r}^{'} \\ v_{r}^{'} \\ 1 \end{matrix}] = \frac{z_{s}}{z_{r}^{'}} [\begin{matrix} u_{s} \\ v_{s} \\ 1 \end{matrix}] - \frac{1}{z_{r}^{'}} (K_{s} T_{s} + K_{s} T r)

其中，(u′_r,v′_r,1)是像素点u′_r的坐标，z′_r为像素点u′_r的深度值，(u_s,v_s,1)是像素点u_s的坐标，z_s为像素点u_s的深度值，K_s表示目标图像对应的摄影机内部参数矩阵，T_r、T_s分别表示平行参考图像和目标图像相对于世界坐标系的平移变换矩阵。

S108：像素点复制填充：

由于在图像重投影处理得到的参考图像I′_r会出现扭曲现象，对于纹理丰富的图像在复制参考图像像素点时，直接复制像素点u′_r邻近的像素点会出现像素点在水平方向稍微偏移的现象。图6是填充偏移示例图。如图6所示，由接复制u′_r邻近的像素点会导致填充结果图像出现较大扭曲。因此为了避免这种现象，本发明采用以下方法进行处理：

记像素点u′_r的坐标为(m,n)，当目标图像I_s为右视图时，如果像素点u′_r所在行的序号n大于等于W/2，W表示原始参考图像的宽度，直接将像素点u′_r右边最近的N个像素点复制到像素点u_s左边的空洞中进行填充；如果序号n小于W/2，如果图像重投影时参考图像I′_r相对于原始参考图像I_r是顺时针旋转，则将像素点u′_r重置为像素点(m+λ,n)，λ表示偏移量，根据实际情况进行设置，取值范围λ≥1；如果是逆时针旋转，则将像素点u′_r重置为像素点(m-λ,n)，将像素点u′_r右边最近的N个像素点复制到像素点u_s左边的空洞中进行填充。图7是目标图像为右视图时的像素点复制填充示意图。

当目标图像I_s为左视图时，如果像素点u′_r所在行的序号n小于等于W/2，W表示原始参考图像的宽度，直接将像素点u′_r左边最近的N个像素点复制到像素点u_s右边的空洞中进行填充；如果序号n大于W/2，如果图像重投影时参考图像I′_r相对于原始参考图像I_r是顺时针旋转，则将像素点u′_r重置为像素点(m-λ,n)；如果是逆时针旋转，则将像素点u′_r重置为像素点(m+λ,n)，将像素点u′_r左边最近的N个像素点复制到像素点u_s右边的空洞中进行填充。

本实施例中采用ballet图像序列和breakdancer图像序列进行实验，图像重投影时的旋转角度在0到30度之间，根据实验得到当λ＝6时其填充效果较好。

由于基于三维图像逆变换的空洞填充复制像素点时是水平复制的，如果直接从原始参考图像中复制像素点进行填充，那么会存在纹理不连续性的情况而从与目标图像平行的参考图像中复制像素点可以很大地改善这种情况。图8是直接从原始参考图像复制像素点进行空洞填充的示例图。图9是从图像重投影得到的平行参考图像复制像素点进行空洞填充的示例图。对比图8和图9可以看出，从图像重投影得到的平行参考图像复制像素点进行空洞填充的填充结果图像的纹理连续性要明显优于直接从原始参考图像复制像素点进行空洞填充的填充结果图像。

S109：判断是否i＝Q，Q表示空洞数量，如果是，进入步骤S111，否则进入步骤S110。

S110：令i＝i+1，返回步骤S106。

S111：图像修复算法进行剩余空洞填充：

经过基于图像重投影的复制空洞填充之后，还会有一部分剩余空洞，如边缘空洞等。基于样本的图像修复算法可以利用空洞周围的信息来合成新的信息，修复较大空洞，使之更符合人类的视觉心理。因此本发明采用图像修复算法来完成目标图像中剩下的边缘空洞的修复，以便得到完整的视图。图像修复算法在修复时是基于空洞的，只有一个空洞完全修复了才去修复下一个空洞。现有技术中有多种图像修复算法，可以根据需要选用。

为了说明本发明的有益效果，分别采用“Ballet”、“Breakdancers”视频序列进行了实验。本实验的参考图像为摄像机5拍摄，经过三维图像变换生成摄像机4拍摄图像。其中“Ballet”序列选用第003帧图像，“Breakdancers”序列选用第000帧图像。为了评价算法的性能，在主观上，采取与DGF算法和Gautier’s图像修复算法对比图像质量，在客观上则通过算法时间复杂度和PSNR来衡量。

图10是Ballet序列图像的填充结果对比图。图11是Breakdancers序列图像的填充结果对比图。如图10和图11所示，为了更好地说明填充效果，在每幅待填充目标图像中，选择了3处局部图像的放大图进行对比。从图10和图11可以看出，这三个算法都能填充完目标图像中所有的空洞。但DGF滤波算法生成的图像在背景区域有明显的扭曲现象，如局部区域3。在图像的边缘如局部区域2，DGF滤波算法得不到好的效果并且降低了图像的质量。Gautier的图像修复算法不能很好的保持纹理的传播，如局部区域1和3所示，主要是由于该算法规定了纹理传播方向，左视图按照从左向右传播，右视图按照从右向左传播，其他方向的优先级为零，从而得不到好的填充效果，且不能很好的保持前景物体的轮廓(即前景边缘的伪像)，如局部区域1所示。这是由于用基于样本的图像修复来修复前景边缘的空洞时，由于前景像素点的影响，寻找到的匹配块中含有前景像素点，从而该空洞有可能用前景像素来填充造成的。本发明能较好的保持前景物体的轮廓，且纹理连续性较好。总体而言，采用本发明得到的填充结果图像的填充效果要优于其他两种算法。对比图10和图11可知，图11中Breakdancers序列图像的背景纹理的复杂性较低，其视觉效果相对较好。

接下来采用基于人类视觉效果的PSNR(Peak Signal to Noise Ratio，峰值信噪比)将发明与另外两个算法进行比较。为减少误差，对仿真结果进行PSNR比较时，对每个序列前20帧目标图像进行填充。图12是Ballet序列前20帧的三种算法PSNR对比曲线图。图13是Breakdancers序列前20帧的三种算法PSNR对比曲线图。从图12和图13可以看出，本发明在PSNR性能上要优于另外两种算法，虽然并不是每一帧图像都优与另外两种算法，但是平均值是相对较好的。

通过算法的仿真时间来比较这三个算法的性能。实验平台：Matlab仿真软件，Pentium(R)双核CPU，2.20GHz,4G内存。为减少误差，仿真时间采用的是运行每个序列前20帧所得的每帧的平均时间(包括参考图像生成目标图像的时间)，单位s。表1是三种算法的运行时间对比。

算法	Ballet(20帧)	Breakdancers(20帧)
			本发明	340	276
Gautier’s	885	405
			DGF	1129	650

表1

从表1可以看出，本发明的运行平均时间远小于DGF方法和Gautier的图像修复算法的运行时间，且与空洞在图像中所占比例基本无关。DGF方法和Gautier’s图像修复算法不稳定，与图像中空洞所占比例关系很大，而且与修补块的大小选取有关。本发明算法本身比较简单，在检测空洞时只需按行遍历非空洞矩阵(也就是深度值)，假设Hi为图像的高度，Wi为图像的宽度，则其时间复杂度为Wi×Hi，膨胀较大空洞需要在一行里查找深度值，其时间复杂度为Wi×Hi×Wi，填充空洞步骤则比较简单，完成参考图像重投影以及从参考图像像素拷贝的功能，所以本算法处理时间少。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种基于图像重投影的空洞填充方法，其特征在于，包括以下步骤：

S2：采用图像重投影算法分别对参考图像I_r及其深度图像D进行重投影生成与目标图像I_s平行的参考图像I_r′及其深度图像D′；

S3：当目标图像I_s为右视图，对非空洞矩阵M进行从左到右、从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞右边的非空洞像素点作为右边缘u_s，该空洞含有的像素点数记为N；当目标图像I_s为左视图，对非空洞矩阵M进行从右到左、从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞左边的非空洞像素点作为左边缘u_s，该空洞含有的像素点数记为N；

S4：当目标图像I_s为右视图，依次对于步骤S3得到的每个空洞的右边缘u_s，判断是否为前景像素点，如果是，不作任何操作，否则将像素点u_s通过三维图像逆变换，投影到参考图像I_r′中的像素点u′_r，记像素点u′_r的坐标为(m,n)；如果像素点u′_r所在行的序号n大于等于W/2时，W表示原始参考图像的宽度，将像素点u′_r右边最近的N个像素点复制到像素点u_s左边的空洞中进行填充，否则进一步判断图像重投影时参考图像I′_r相对于原始参考图像I_r是否为顺时针旋转，如果是，则将像素点u′_r重置为像素点(m+λ,n)，λ表示预设的偏移量，取值范围λ≥1；如果是逆时针，则将像素点u′_r重置为像素点(m-λ,n)，然后将像素点u′_r右边最近的N个像素点复制到像素点u_s左边的空洞中进行填充；

当目标图像I_s为左视图，依次对于步骤S3得到的每个空洞的左边缘u_s，判断是否为前景像素点，如果是，不作任何操作，否则将像素点u_s通过三维图像逆变换，投影到参考图像I′_r中的像素点u′_r，记像素点u′_r的坐标为(m,n)；如果像素点u′_r所在行的序号n小于等于W/2时，将像素点u′_r左边最近的N个像素点复制到像素点u_s右边的空洞中进行填充，否则进一步判断图像重投影时参考图像I′_r相对于原始参考图像I_r是否为顺时针旋转，如果是，则将像素点u′_r重置为像素点(m-λ,n)；如果是逆时针，则将像素点u′_r重置为像素点(m+λ,n)，然后将像素点u′_r左边最近的N个像素点复制到像素点u_s右边的空洞中进行填充；

2.根据权利要求1所述的基于图像重投影的空洞填充方法，其特征在于，所述步骤S1中的目标图像采用膨胀空洞的方法进行预处理。