CN104081768B - 异视点图像生成装置以及异视点图像生成方法 - Google Patents

Abstract

异视点图像生成装置(100)具备：异视点图像生成部(101、102)，从在两个以上的视点位置上分别取得的两个以上的图像，分别生成一个异视点图像，该异视点图像相当于在虚拟视点位置上取得的图像，并且该异视点图像是包含作为像素值欠缺的区域的孔区域的图像；孔密度算出部(103)，按每一个处理单位，针对生成的两个以上的异视点图像分别算出孔密度，该孔密度是指孔区域在包含该处理单位的规定区域内所占的比例；合成比例算出部(104)，根据两个以上的异视点图像各自的上述孔密度，按每一个处理单位，算出两个以上的异视点图像各自的合成比例；异视点图像合成部(106)，根据算出的合成比例，对两个以上的异视点图像进行合成。

Description

异视点图像生成装置以及异视点图像生成方法

技术领域

本发明涉以及一种用于3维(3D)显示的图像处理技术，尤其涉以及一种根据在互不相同的视点位置上拍摄的两个以上的图像，来生成视点位置与该两个以上的图像不同的其他图像的异视点图像生成装置。

背景技术

现已有通过对视听者的左右眼显示视差图像(以下，也称之为立体图像)，从而使视听者将平面影像感知为立体影像的技术。

另外，还有根据一组立体图像来生成视点与该立体图像不同的图像(异视点图像)的技术(例如，参照专利文献1)。

专利文献1中记载的技术是一种利用表示图像的深度方向的距离的深度图，以及根据深度方向的距离，使像素在水平方向上移动，从而生成异视点图像的技术。这种技术一般被称为DIBR(深度Image Based Rendering)。

通过DIBR生成的图像有时会包含原立体图像中并未出现的区域。这种区域是未被分配像素值的区域(以下，称之为孔区域)，因此有必要以某种方法来对其进行插值。

专利文献1：特开2010-218548号公报

发明内容

在此，本发明提供一种能够对异视点图像中出现的孔区域进行高质插值的异视点图像生成装置。

本发明的一形态的异视点图像生成装置，具备：异视点图像生成部，根据表示图像内各像素的深度的距离信息，从在两个以上的视点位置上分别取得的两个以上的图像，分别生成一个异视点图像，该异视点图像相当于在与上述两个视点位置不同的虚拟视点位置上取得的图像，并且该异视点图像是包含作为像素值欠缺的区域的孔区域的图像；孔密度算出部，按每一个由一个以上的像素构成的处理单位，针对生成的两个以上的异视点图像分别算出孔密度，该孔密度是指该异视点图像内的上述孔区域在包含该处理单位的规定区域内所占的比例；合成比例算出部，根据上述两个以上的异视点图像各自的上述孔密度，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例；异视点图像合成部，根据算出的合成比例，对上述两个以上的异视点图像进行合成。

另外，这些总括性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，亦可由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

根据本发明的异视点图像生成装置，能够对异视点图像中出现的孔区域进行高质插值。

附图说明

图1是实施方式的异视点图像生成装置的整体结构图。

图2是表示被输入到异视点图像生成部的图像以及深度图的一个例子的图。

图3是表示异视点图像生成部生成异视点图像的图。

图4是表示孔密度算出部的孔密度算出方法的图。

图5是用于说明孔密度算出方法的具体例的模式图。

图6是表示合成比例算出部生成合成比例图的图。

图7是表示左异视点图像的孔密度与右异视点图像的孔密度的差、和合成比例α的关系的图。

图8是表示填孔处理之后的左异视点图像以及填孔处理之后的右视点图像的模式图。

图9是表示异视点图像合成部生成的输出图像的图。

图10是实施方式的异视点图像生成装置的动作流程图。

图11是其他实施方式的异视点图像生成装置的整体结构图。

图12是其他实施方式的异视点图像生成装置的动作流程图。

图13是表示异视点图像生成装置的应用例的第一图。

图14是表示异视点图像生成装置的应用例的第二图。

具体实施方式

(本发明的基础知识)

作为显示3D电影或者3DTV等的立体影像的方法，现已存在各种各样的技术。这些技术的共同之处是，通过针对视听者的左右眼显示有视差的立体图像，从而使视听者将平面影像感知为立体影像。针对视听者的左右眼显示的立体图像之间的视差量越大，视听者所感觉到的立体感就越强。相反，立体图像的视差量小的情况下，视听者感觉到的立体感也减弱。

立体图像的视差量根据拍摄立体图像的立体相机的透镜间的距离而定，而理想的结构是事后能够对所拍摄的立体图像的视差量进行变更，从而调整立体感的结构。

另外，在采用了柱状透镜等的裸眼3D显示器中，根据视听者的位置来显示视点位置不同的立体图像。在此情况下，为了使所显示的立体图像的变化之处不显突兀，有必要预备在多个视点位置拍摄到的图像，但是，在多个视点位置拍摄图像需要非常大的成本。有鉴于此，需要使立体图像变形，而生成视点位置不同的多个图像。

在此，正如在背景技术中所说明的那样，现已有根据立体图像来生成视点与该立体图像不同的图像的方法，即，被称为DIBR的技术。

通过DIBR生成的图像有时会包含未被分配像素值的区域即孔区域，对于孔区域必须通过某种处理进行插值。

对于孔区域，能够通过利用孔区域周边区域的像素值的线形插值处理，进行单纯的插值，但这种方法中存在着，孔区域大时插值所致画质劣化明显的问题。

对此，专利文献1所记载的技术是一种，针对根据立体图像中的左视点图像所生成的异视点图像的孔区域，通过应用右视点图像中对应区域的像素值，来进行孔区域插值的技术。

但是，根据专利文献1中记载的技术，由于针对孔区域直接应用其相反视点图像的像素值，因此会出现无法使插值后的孔区域和周边区域的境界平滑地连接起来的问题。

为了解决上述问题，本发明的一形态的异视点图像生成装置具备：异视点图像生成部，根据表示图像内各像素的深度的距离信息，从在两个以上的视点位置上分别取得的两个以上的图像，分别生成一个异视点图像，该异视点图像相当于在与上述两个视点位置不同的虚拟视点位置上取得的图像，并且该异视点图像是包含作为像素值欠缺的区域的孔区域的图像；孔密度算出部，按每一个由一个以上的像素构成的处理单位，针对生成的两个以上的异视点图像分别算出孔密度，该孔密度是指该异视点图像内的上述孔区域在包含该处理单位的规定区域内所占的比例；合成比例算出部，根据上述两个以上的异视点图像各自的上述孔密度，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例；异视点图像合成部，根据算出的合成比例，对上述两个以上的异视点图像进行合成。

根据以上，能够对生成异视点图像时产生的孔区域进行高质插值。因此，能够根据两个以上的图像生成高质的异视点图像。

另外可以是，上述异视点图像生成装置还具备孔区域插值部，该孔区域插值部利用该异视点图像内的像素值，对上述两个以上的异视点图像各自的孔区域进行插值，上述异视点图像合成部根据算出的合成比例，对孔区域被插值之后的上述两个以上的异视点图像进行合成。

另外可以是，所述异视点图像生成装置还具备孔区域插值部，该孔区域插值部利用该图像内的像素值，对由上述异视点图像合成部合成的图像内的孔区域进行插值。

另外可以是，上述孔密度算出部，按每一个处理单位，针对上述两个以上的异视点图像分别算出孔区域在窗内所占的比例，并以该比例作为上述孔密度，该窗是指以上述处理单位作为中心的上述规定区域。

另外可以是，上述孔密度算出部，对位于上述窗内中央部的孔区域和位于上述窗内周边部的孔区域分别赋予不同的权重，并算出上述孔密度。

另外可以是，上述合成比例算出部，以上述孔密度的大小越小的异视点图像其合成比例就越大的方式，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例。

另外可以是，上述合成比例算出部，在孔密度的大小相等的情况下，以视点位置离上述虚拟视点位置越近的异视点图像其合成比例就越大的方式，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例。

另外可以是，上述处理单位是像素，上述孔密度算出部，按每一个像素，针对上述两个以上的异视点图像分别算出孔密度，上述合成比例算出部，按每一个像素，算出上述两个以上的异视点图像各自的合成比例。

在此，这些总括性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，亦可由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

以下，关于实施方式，参照附图来进行说明。

在此，以下将说明的实施方式均表示总括性或者具体性的例子。以下的实施方式中给出的数值、形状、材料、结构要素、结构要素的配置位置以及连接形态、步骤、步骤的顺序等也都表示一个例子，并不意味本发明限定于此。另外，关于以下的实施方式的结构要素中的未被记载于表示最上位概念的独立权利要求项中的结构要素，视为任意结构要素对其进行说明。

(实施方式)

图1是实施方式的异视点图像生成装置100的整体结构图。

异视点图像生成装置100具备左异视点图像生成部101、右异视点图像生成部102、孔密度算出部103、合成比例算出部104、孔区域插值部105和异视点图像合成部106。在本实施方式中，以异视点图像生成装置100根据作为立体图像的左视点图像以及右视点图像而生成异视点图像的情况为例进行说明。

左异视点图像生成部101根据左视点图像和左视点图像的深度图(左深度图)，来生成左异视点图像，该左异视点图像是通过使左视点图像中包含的各像素在水平方向上根据该像素的深度进行移动而成的图像。

右异视点图像生成部102根据右视点图像和右视点图像的深度图(右深度图)，来生成右异视点图像，该右异视点图像是通过使右视点图像中包含的各像素在水平方向上根据该像素的深度进行移动而成的图像。

另外，左视点图像是在左视点位置上被拍摄的图像，右视点图像是在与左视点位置不同的右视点位置上被拍摄的图像。另外，左异视点图像和右异视点图像均是相当于在同一虚拟视点位置(与左视点位置以及右视点位置的哪个都不同的位置)上取得的图像的图像。深度图是表示图像内的各像素的深度(从视点位置到该各像素所表示的被摄体为止的距离)的距离信息。

另外，左异视点图像生成部101以及右异视点图像生成部102也可以不是如图1所示的相分离的结构。即，也可以由一个异视点图像生成部根据左右的视点图像以及左右的深度图，分别生成左异视点图像以及右异视点图像。换言之，异视点图像生成部根据表示图像内的各像素的深度的距离信息，从在两个视点位置上分别取得的两个图像，各生成一个异视点图像，该异视点图像相当于在与两个视点位置不同的虚拟视点位置上取得的图像。

孔密度算出部103，针对由左异视点图像生成部101以及右异视点图像生成部102生成的左异视点图像以及右异视点图像，生成表示每一个处理单位的孔区域的分布的孔密度图。具体是，孔密度算出部103，按每一个由一个以上的像素构成的处理单位，针对生成的两个异视点图像分别算出孔密度，该孔密度是指孔区域在包含该处理单位的规定区域内所占的比例。另外，孔区域是指异视点图像内的像素值欠缺的区域。

另外，在本实施方式中，上述处理单位是像素，孔密度算出部103按每一个像素，针对两个异视点图像分别算出孔密度。另外，在本实施方式中，作为上述规定区域利用后述的窗。

合成比例算出部104根据由孔密度算出部103生成的孔密度图，生成合成比例图，该合成比例图表示对左异视点图像和右异视点图像进行合成时的比例。具体是，合成比例算出部104，按每一个对应的像素(处理单位)，对两个异视点图像各自的孔密度的大小进行比较，并根据进行比较后的孔密度的大小，按照每一个像素(处理单位)算出两个异视点图像各自的合成比例。

孔区域插值部105针对由左异视点图像生成部101以及右异视点图像生成部102生成的左异视点图像以及右异视点图像分别进行填孔处理，该填孔处理是指利用位于同一图像内的孔区域的周边的像素值来进行插值的处理。即，孔区域插值部105对两个异视点图像各自的孔区域，利用该异视点图像内的像素值来进行插值。

另外，像素值是至少表示像素的亮度以及颜色的信息。像素值具体是由RGB的颜色成分的各亮度值构成的信息，或者是由亮度值和色差构成的信息等。另外，像素值中，除了与颜色有关的信息之外，还可以包含像深度值之类的附加信息。

异视点图像合成部106，根据由合成比例算出部104生成的合成比例图所表示的合成比例，生成输出图像(输出异视点图像)，该输出图像是对由孔区域插值部105进行了填孔处理之后的左异视点图像以及右异视点图像进行合成处理而成的图像。具体是，异视点图像合成部106根据算出的合成比例来对孔区域被插值之后的两个异视点图像进行合成。

在此，异视点图像生成装置100的各结构要素可由专用的硬件构成，或者通过执行适合于各结构要素的软件程序来实现。也可以通过由CPU或者处理器等程序执行部读出被记录在硬盘或者半导体存储器等记录介质中的软件程序并执行该软件程序来实现各结构要素。

以下，关于异视点图像生成装置100的各结构要素所进行的动作进行详细说明。首先，关于左异视点图像生成部101以及右异视点图像生成部102进行的异视点图像的生成处理进行详细说明。

图2是表示被输入到左异视点图像生成部101以及右异视点图像生成部102的图像以及深度图的一个例子的图。

左视点图像211是在左视点位置210上拍摄到的被摄体201以及被摄体20的图像。右视点图像221是在右视点位置220上拍摄到的被摄体201以及被摄体202的图像。左视点图像211和右视点图像221是对同一被摄体201以及被摄体202进行拍摄的、用于立体视的图像，被摄体201以及被摄体202在图像内的相对位置互不相同。

左深度图212是表示左视点图像211的背景以及被摄体201的深度的图像。右深度图222是表示右视点图像221的背景以及被摄体201的深度的图像。即，左深度图212表示从左视点位置210到被摄体201的距离，右深度图222表示从右视点位置220到被摄体201的距离。另外，实际上，左深度图212以及在右深度图222中还表示被摄体202的深度，但在本实施方式中，为了简化说明，省略了被摄体202的深度。

另外，在本实施方式的深度图中，对于距离与视点位置越近的位置上的被摄体进行拍摄的像素其亮度值越亮，而对于距离与视点位置越远的位置上的被摄体进行拍摄的像素其亮度值就越暗。

左异视点图像生成部101根据如图2所示的左视点图像以及左深度图，生成左异视点图像，该左异视点图像相当于在虚拟视点位置上取得的图像。同样，右异视点图像生成部102根据如图2所示的右视点图像以及右深度图，生成右异视点图像，该右异视点图像相当于在虚拟视点位置取得的图像。

图3是表示由左异视点图像生成部101生成左异视点图像，以及由右异视点图像生成部102生成右异视点图像的图。

通常，离视点位置近的被摄体201与离视点位置远的被摄体202相比，因视点位置不同而移动量变大。对此，左异视点图像生成部101以及右异视点图像生成部102，在考虑从输入图像(左视点图像211以及右视点图像221)的视点位置到虚拟视点位置为止的距离的基础上，使输入图像的像素在水平方向上移动。此时，左异视点图像生成部101以及右异视点图像生成部102使用表示图像的深度方向的距离的深度图，根据深度方向的距离来调整各像素的移动量。

如图3所示，左异视点图像生成部101生成左异视点图像302，该左异视点图像302相当于在虚拟视点位置301对被摄体201以及202进行拍摄而获得的图像。另外，右异视点图像生成部102生成右异视点图像303，该右异视点图像303是在虚拟视点位置301对被摄体201以及202进行拍摄而获得的图像。

在此，如上所述，在视点位置从左视点位置210向虚拟视点位置301移动的情况下，近侧的被摄体201的移动量比远侧的被摄体202的移动量大。在视点位置从右视点位置220移动到虚拟视点位置301的情况下，除了移动方向变反之外，其他都相同。即，可通过以下的(式1)，求出随着视点位置的移动而产生的各像素的像素值的移动量Δx。

Δx＝d·Δb……(式1)

在此，d是各像素的深度值(深度图的值)，越是远离视点位置的远侧其值越小，而越是靠近视点位置的近侧其值就越大。Δb表示视点位置的移动量(从左视点位置210到虚拟视点位置301的移动量，或者从右视点位置220到虚拟视点位置301的移动量)。

深度值d越大的像素，其移动量Δx的值也越大，因此，在视点移动后的左异视点图像302以及右异视点图像303内的被摄体201的旁侧，分别会出现作为不存在像素值的区域的孔区域。具体是，在根据左视点图像211而生成的左异视点图像302中，在图像内的被摄体201的右侧出现孔区域310，在根据右视点图像221而生成右视点图像303中，在图像内的被摄体201的左侧出现孔区域311。

另外，实际上，在图3中，只要被摄体202所存在的距离与背景的不同，那么在图像内的被摄体202的旁侧就会出现孔区域，图3中省略了被摄体202上出现的孔区域的相关图示。

其次，关于孔密度算出部103的孔密度算出方法进行说明。图4是表示孔密度算出部103的孔密度算出方法的图。

孔密度算出部103针对从左异视点图像302中只提取了孔区域而成的孔分布图401(图4的(a))和从右异视点图像303中只提取了孔区域而成的孔分布图402(图4(b))，分别进行窗403的扫描。并且，按每一个像素(处理单位)，针对孔分布图401以及402，分别算出当窗403的中心与该像素重叠时孔区域在窗403整体中所占的比例，并以该比例作为孔密度Den。然后，孔密度算出部103，通过以下的(式2)，求出由算出的孔密度构成的孔密度图406以及407。

Den(x，y)＝ΣisHole(H[x+dx，y+dy])/N……(式2)

在式2中，N是窗内的像素数的合计，H[x+dx，y+dy]是孔分布图内的坐标[x+dx，y+dy]上的成分。Dx以及dy表示于窗中心的相对位置。

孔密度算出部103，通过对H[x+dx，y+dy]为孔区域时的个数进行累计并除以N，来算出位于坐标(x，y)的像素的孔密度Den。例如，在图4中，孔分布图401的窗404的孔密度比孔分布图402的窗405的孔密度小。

以下，利用图5，来说明孔密度的算出方法的具体例。图5是用于说明孔密度的算出方法的具体例的模式图。

在图5的(a)所示的孔分布图408中，存在大小为4×5像素的区域409。像素A的孔密度，例如，根据孔区域409所包含的像素在以像素A为中心的5×5像素大小的窗410a中所占的个数而被求出。即，像素A的孔密度被算出为3/25＝0.12。同样，像素B的孔密度，根据孔区域409所包含的像素在窗410b中所占的个数而被求出，被算出为10/25＝0.4。

另外，上述窗的形状既可以是正方形也可以是长方形。另外，窗的形状并不限定于矩形，还可以是圆形或者椭圆形。

另外，孔密度算出部103对位于窗内的中央部的孔区域和位于窗内的周边部的孔区域分别赋予不同的权重来算出孔密度Den。

孔密度算出部103，例如像图5(b)所示的那样，在算出像素B的孔密度时，针对位于窗410b的中央部的孔区域，将一个像素计算为两个点，相对于此，孔密度算出部103针对位于窗410b的周边部的孔区域，将一个像素计算为一个点。这样，在考虑窗内的孔区域的位置的基础上，算出后述的合成比例。

另外，关于窗的大小，也可以由用户向异视点图像生成装置100输入参数来进行指定。

通过如上所述的孔密度算出部103的处理，按每一个像素，针对左异视点图像302以及右异视点图像303分别算出孔密度。对在左异视点图像302中按每一个像素算出的孔密度进行图像化而获得的是孔密度图406(图4的(c))，对在右异视点图像303中按每一个像素算出的孔密度进行图像化而获得的是孔密度图407(图4的(d))。

如孔密度图406以及407所示，位于孔区域边缘附近的像素的孔密度低，而位于孔区域中央附近的像素的孔密度高。

其次，关于合成比例算出部104的合成比例的算出方法进行说明。合成比例算出部104，按每一个相同位置的像素，对孔密度图406以及407的孔密度进行比较，求出在对左视点图像和右视点图像进行合成时所使用的合成比例(像素值的混合权重)α。其结果，生成如图6所示的合成比例图510。

在本实施方式中，合成比例α取0至1的值，该值表示相对于右异视点图像303合成多少左异视点图像302的比例。即，α＝1的像素中，原样使用左异视点图像302的像素值，而不使用右异视点图像303的像素值。相反，α＝0的像素，不使用左异视点图像302的像素值，而原样使用右异视点图像303的像素值。

合成比例α，具体可通过以下的(式3)求出。

α＝1：0≥Den(L)-Den(R)

α＝0：Den(L)-Den(R)≥T

α＝1-((Den(L)-Den(R)/T))：0<Den(L)-Den(R)<T

……(式3)

在(式3)中，设想为左异视点图像302的孔密度是Den(L)、右异视点图像303的孔密度是Den(R)，T表示阈值。另外，图7是表示孔密度差与合成比例α的关系的图，该孔密度差是指通过(式3)而定的左异视点图像302的孔密度和右异视点图像303的孔密度的差。

关于Den(L)-Den(R)≤0的像素，合成比例算出部104将左视点图像的合成比例α作为1。另外，关于Den(L)-Den(R)为阈值T以上的像素，合成比例算出部104将合成比例α作为0。关于0<Den(L)-Den(R)<T的像素，根据Den(L)和Den(R)的大小来线性地决定合成比例。

如上所述，合成比例算出部104以比较出的孔密度大小越小的异视点图像其合成比例越大的方式，按每一个像素算出两个异视点图像各自的合成比例。

在此，在图6所示的合成比例图510中，区域511(非白色区域)是α<1的区域，其他区域(白色区域)为α＝1。

另外，在(式3)中，阈值T也可以是用户能够通过向异视点图像生成装置100输入参数来变更的结构。另外，也可以非线性地决定0<Den(L)-Den(R)<T的像素的合成比例α的值。

在本实施方式中，如图3所示，从左视点位置210到虚拟视点位置301的距离比从右视点位置220到虚拟视点位置301的距离近。因此，原则上而言，孔区域少的左异视点图像302的像素值被用作合成后的异视点图像的像素值。

因此，图7所示的图表500的横坐标(被作为(式3)的基准的式)成为Den(L)-Den(R)。相反，在从左视点位置210到虚拟视点位置301的距离比从右视点位置220到虚拟视点位置301的距离远的情况下，图7所示的图表的横坐标(被作为(式3)的基准的式)成为Den(R)-Den(L)。

如上所述，在本实施方式中，在成为Den(L)＝Den(R)的情况下，相对于左异视点图像302的像素值的合成比例变高。换言之，合成比例算出部104，在孔密度的大小相等的情况下，以视点位置离虚拟视点位置301越近的异视点图像其合成比例就变得越大的方式，按每一个像素算出两个异视点图像各自的合成比例。

通过以上，其结果为，在合成后的异视点图像(输出图像)中，孔区域少的图像中的像素值被使用得多，因此异视点图像生成装置100能够生成精度更高的输出图像。

另外，合成比例的算出方法并不限定于(式3)，也可以是其他的算出方法。

其次，关于孔区域插值部105的孔区域插值方法进行说明。孔区域插值部105从左异视点图像生成部101以及右异视点图像生成部102分别取得左异视点图像302以及右异视点图像303，并对左异视点图像302以及右异视点图像303内的孔区域进行填孔处理(插值处理)。

在本实施方式中，孔区域插值部105利用孔区域周边的像素值进行填孔处理。图8是表示填孔处理之后的左异视点图像(以下，也称之为左插值后图像)以及填孔处理之后的右视点图像(以下，也称之为右插值后图像)的模式图。

在图8中，作为一个例子表示了孔区域插值部105利用在水平方向上邻接的像素值来进行水平插值处理(水平方向的线性插值处理)的情况下的左插值后图像600(图8(a))以及右插值后图像610(图8(b))。在采用水平插值处理的情况下，图8的(a)所示的左插值后图像600的被插值区域601(原本是孔区域的区域)，以位于孔区域左右的像素的像素值被延伸的方式被插值。关于图8的(b)所示的右插值后图像610的被插值区域611也同样。

在此，孔区域插值部105的插值处理(面内插值处理)也可以是线性插值之外的处理。例如可以通过对在水平方向上与孔区域邻接的坐标上的深度图的深度值进行比较，利用离视点远的一侧的像素值来进行外插值处理。

其次，关于异视点图像合成部106的图像的合成方法进行说明。异视点图像合成部106取得左插值后图像600以及右插值后取得图像610，并从孔密度算出部103取得合成比例图510。然后，异视点图像合成部106对两个插值后合成图像(左插值后图像600以及右插值后图像610)进行合成而生成输出图像。图9是表示由异视点图像合成部106生成的输出图像的图。

设想为左插值后图像600是L(x，y)、右插值后图像610是R(x，y)、合成比例图510为α(x，y)的情况下，可通过以下的(式4)求出输出图像700(O(x，y))。

O(x，y)＝L(x，y)·α(x，y)+R(x，y)·{1-α(x，y)}

……(式4)

图9所示的输出图像700内的被摄体201的右侧区域701相当于合成比例图510内的区域51。

对位于右侧区域701内的中央部分的像素，分配右插值后图像610的像素值。对位于右侧区域701以外的区域的像素，分配左插值后图像600像素值。对位于右侧区域701内的周边部分的像素，分配按照合成比例α对左插值后图像600的像素值以及右插值后图像610的像素值进行混合之后的像素值。

最后，关于异视点图像生成装置100的动作顺序，利用图10来进行说明。图10是异视点图像生成装置100的动作的流程图。

首先，左异视点图像生成部101以及右异视点图像生成部102根据输入图像(左视点图像211以及右视点图像221)以及深度图，生成左异视点图像302以及右异视点图像303(S101)。

其次，孔密度算出部103按每一个像素，针对左异视点图像302以及右异视点图像303各自的孔区域算出孔密度(S102)。并且，合成比例算出部104算出对左异视点图像302以及右异视点图像303进行合成时的合成比例(S103)。

另外，孔区域插值部105对左异视点图像302以及右异视点图像303的孔区域进行插值(S104)。

最后，异视点图像合成部106根据在步骤S104算出的合成比例，对通过步骤S103被插值的左异视点图像以及被插值的右异视点图像进行合成(S105)。

另外，对于步骤S102、步骤S103以及步骤S104的顺序并无特别限定。异视点图像生成装置100可以按照步骤S102、步骤S103、步骤S104的顺序进行处理，也可以按照步骤S104、步骤S102、步骤S103的顺序进行处理。另外，还可以并列进行步骤S102、步骤S103以及步骤S104的处理。

如上所述，异视点图像生成装置100通过孔密度算出部103和合成比例算出部104算出合成比例图510。并且，异视点图像合成部106按照合成比例，对于从左视点图像以及右视点图像生成的两个异视点图像分别进行合成。

通过以上，只对孔区域中的需要插值的区域进行插值处理，并且，基于孔密度算出的合成比例被反映到该插值处理，因此能够对孔区域进行光滑的插值。即，根据异视点图像生成装置100，能够对异视点图像中出现的孔区域进行高质插值。换言之，异视点图像生成装置100能够算出高质的异视点图像(输出图像)。

(其他实施方式)

如上所述，作为本申请公开的技术的例子，说明了实施方式。但本发明的技术并不限定于此，也适用于通过适当地进行变更、调换、补充、省略等而获得的实施方式。另外，还可以通过对上述实施方式中说明的各结构要素进行组合而获得新的实施方式。

在上述实施方式中，说明了对孔区域被插值之后的两个异视点图像进行合成的例子，此外，也可以对具有孔区域的两个异视点图像进行合成之后，对合成后的图像中包含的孔区域进行插值。

图11是其他实施方式的异视点图像生成装置100a的整体结构图。图12是异视点图像生成装置100a的动作的流程图。另外，在以下的说明中，重点说明与异视点图像生成装置100不同之处，省略与上述实施方式重复的说明。

异视点图像合成部106根据由合成比例算出部104算出的合成比例来对左异视点图像302和右异视点图像303进行合成(图12的S106)。此时，在与左异视点图像302和右异视点图像303对应的像素(位于同一坐标的像素)的两者都有孔区域的情况下，将该像素作为孔区域来进行处理。从而，异视点图像合成部106合成的图像中包含孔区域。

然后，孔区域插值部105a针对由异视点图像合成部106合成的图像内的孔区域，利用该图像内的像素值来进行插值(图12的S107)。此时的插值方法，可以利用上述实施方式中说明的现有方法。

通过像异视点图像生成装置100a这样的结构，也能够以两个异视点图像中的孔区域较少的一方的像素值优先地进行合成。因此，异视点图像生成装置100a能够生成高质的异视点图像(输出图像)。

另外，在上述实施方式中，异视点图像生成装置100以及100a根据在互不相同的视点位置上被拍摄的两个图像来生成视点位置与该两个图像不同的异视点图像。然而，异视点图像生成装置100以及100a也可以根据在互不相同的视点位置上被拍摄的两个以上的图像，生成视点位置与该两个以上的图像不同的异视点图像。

具体例如是，异视点图像生成装置100以及100a可以根据在互不相同的视点位置上被拍摄的三个图像，生成视点位置与该三个图像不同的异视点图像。在此情况下，合成比例算出部104例如算出与三个图像的孔密度的大小分别成比例的、各异视点图像的合成比例。

另外，在上述实施方式中，按每一个像素算出了孔密度，此外也可以按每一个由一个以上的像素构成的处理单位(例如，块大小为4×4像素的处理单位)来算出孔密度。在此情况下，按每一个处理单位设定窗，孔密度的比较也按每一个处理单位进行。

另外，在上述实施方式中，异视点图像生成装置100以及100a根据在互不相同的视点位置上被拍摄的两个图像，生成了两个视点位置之间的异视点图像，此外也可以生成两个视点位置之间以外的视点位置的异视点图像。另外，两个图像也可以不是用于立体视而被拍摄的图像，是对同一被摄体进行拍摄的图像即可。

另外，异视点图像生成装置100以及100a例如作为如图13所示的电视机800被实现。在此情况下，异视点图像生成装置100以及100a根据预先被拍摄的用于立体视的两个图像，生成异视点图像。并且，异视点图像生成装置100以及100a能够从所生成的异视点图像以及预先被拍摄的用于立体视的两个图像中组合两个图像并显示给用户。通过以上，能够实现例如由用户通过远程控制器对电视机800上所显示的图像的视差进行调整的结构。

另外，异视点图像生成装置100以及100a例如作为蓝光(注册商标)播放器810被实现。在此情况下，异视点图像生成装置100以及100a根据被插入的蓝光(注册商标)盘中记录的用于立体视的两个图像来生成异视点图像。另外，异视点图像生成装置100以及100a也可以作为机顶盒820被实现。在此情况下，异视点图像生成装置100以及100a根据从有线电视广播等取得的用于立体视的两个图像生成异视点图像。

另外，异视点图像生成装置100以及100a也可以作为如图14的(a)所示的具有3D拍摄功能的DSC(Digital Still Camera)被实现，还可以作为如图14的(b)所示的具有3D拍摄功能的数码摄像机被实现。异视点图像生成装置100以及100a根据预先被拍摄的用于立体视的两个图像，生成异视点图像。

另外，异视点图像生成装置100以及100a可以通过服务器-客户方式被实现。

另外，由异视点图像生成装置100以及100a生成的异视点图像主要被用于如上所述的视差调整，但也可以用于其他途用。

另外，本发明还包含以下情况。

(1)上述异视点图像生成装置具体是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。上述RAM或者硬盘单元中存储有计算机程序。上述微处理器按照上述计算机程序而运转，从而异视点图像生成装置实现其功能。在此，计算机程序是指为了实现规定的功能，而由多个表示针对计算机的指令的命令编码构成的程序。

(2)构成上述异视点图像生成装置的结构要素的一部分或全部可由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在一个芯片上聚集多个结构部而制造成的超多功能LSI，具体是包括微处理器、ROM、RAM等构成的计算机系统。在上述RAM中存储有计算机程序。上述微处理器按照上述计算机程序而运转，从而系统LSI实现其功能。

(3)构成上述异视点图像生成装置的结构要素的一部分或全部可由能够在异视点图像生成装置上进行装卸的IC卡或者单体模块构成。上述IC或者上述模块是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或者上述模块可以包含上述超多功能LSI。微处理器按照计算机程序而运转，从而上述IC卡或上述模块实现其功能。该IC或者该模块可具有防篡改性。

(4)本发明可以是上述方法。另外，也可以是用于由计算机实现这些方法的计算机程序，还可以是由上述计算机程序构成的数字信号。

另外，本发明可以是将上述计算机程序或者上述数字信号记录在计算机可读取的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(蓝光(注册商标)盘)、半导体存储器等中的形态。另外，也可以是被记录在这些记录介质中的上述数字信号。

另外，本发明可以是通电通信线路、无线或者有线通信线路、以互联网为代表的网络、数据广播等来传输上述计算机程序或者上述数字信号的形态。

另外，本发明可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器可以按照上述计算机程序运转。

另外，可以将上述程序或者上述数字信号记录在上述记录介质中传输，或者通过上述网络等传输上述程序或者上述数字信号，从而由独立的其他计算机系统来实施上述程序或者上述数字信号。

(5)可以对上述实施方式以及上述变形例分别进行组合。

另外，本发明并不限定于该实施方式及其变形例。只要不脱离本发明的宗旨，将本领域技术人员所想出的各种变形方式实施于本实施方式而获得的形态，或对不同实施方式及其变形例的结构要素进行组合而成的形态，也属于本发明的范围内。

工业实用性

根据本发明的异视点图像生成装置以及异视点图像生成方法，能够根据由摄像装置拍摄的附有深度图信息的图像，来生成高质的异视点图像。这些结构能够应用于例如民用或者工业用的摄像装置(数码静态相机以及摄像机)，或者便携式终端等的设备。

符号说明

100、100a 异视点图像生成装置

101 左异视点图像生成部

102 右异视点图像生成部

103 孔密度算出部

104 合成比例算出部

105、105a 孔区域插值部

106 异视点图像合成部

201、202 被摄体

210 左视点位置

211 左视点图像

212 左深度图

220 右视点位置

221 右视点图像

222 右深度图

301 虚拟视点位置

302 左异视点图像

303 右异视点图像

310、311、409 孔区域

401、402、408 孔分布图

403、404、405、410a、410b 窗

406、407 孔密度图

500 图表

510 合成比例图

511 区域

600 左插值后图像

610 右插值后图像

601、611 被插值区域

700 输出图像

701 右侧区域

800 电视机

810 蓝光(注册商标)播放器

820 机顶盒

Claims (10)

1.一种异视点图像生成装置，具备：

异视点图像生成部，根据表示图像内各像素的深度的距离信息，从在两个以上的视点位置上分别取得的两个以上的图像，分别生成一个异视点图像，该异视点图像相当于在与上述两个以上的视点位置不同的虚拟视点位置上取得的图像，并且该异视点图像是包含作为像素值欠缺的区域的孔区域的图像；

孔密度算出部，按每一个由一个以上的像素构成的处理单位，针对生成的两个以上的异视点图像分别算出孔密度，该孔密度是指该异视点图像内的上述孔区域在包含该处理单位的规定区域内所占的比例；

合成比例算出部，根据上述两个以上的异视点图像各自的上述孔密度，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例；以及

异视点图像合成部，根据算出的合成比例，对上述两个以上的异视点图像进行合成，

上述孔密度算出部，无论成为孔密度的算出对象的处理单位是否是孔区域，都算出该处理单位的孔密度。

2.如权利要求1所述的异视点图像生成装置，

还具备孔区域插值部，该孔区域插值部将上述两个以上的异视点图像各自的孔区域利用该异视点图像内的像素值进行插值，

上述异视点图像合成部根据算出的合成比例，对孔区域被插值之后的上述两个以上的异视点图像进行合成。

3.如权利要求1所述的异视点图像生成装置，

还具备孔区域插值部，该孔区域插值部将由上述异视点图像合成部合成的图像内的孔区域利用该图像内的像素值进行插值。

4.如权利要求1所述的异视点图像生成装置，

上述孔密度算出部，按每一个处理单位，针对上述两个以上的异视点图像分别算出孔区域在窗内所占的比例，并以该比例作为上述孔密度，该窗是指以上述处理单位作为中心的上述规定区域。

5.如权利要求4所述的异视点图像生成装置，

上述孔密度算出部对位于上述窗内中央部的孔区域和位于上述窗内周边部的孔区域分别赋予不同的权重，并算出上述孔密度。

6.如权利要求1所述的异视点图像生成装置，

上述合成比例算出部，以上述孔密度的大小越小的异视点图像其合成比例就越大的方式，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例。

7.如权利要求1所述的异视点图像生成装置，

上述合成比例算出部，在孔密度的大小相等的情况下，以视点位置离上述虚拟视点位置越近的异视点图像其合成比例就越大的方式，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例。

8.如权利要求1至7的任一项所述的异视点图像生成装置，

上述处理单位是像素，

上述孔密度算出部，按每一个像素，针对上述两个以上的异视点图像分别算出孔密度，

上述合成比例算出部，按每一个像素，算出上述两个以上的异视点图像各自的合成比例。

9.一种异视点图像生成方法，包括：

异视点图像生成步骤，根据表示图像内各像素的深度的距离信息，从在两个以上的视点位置上分别取得的两个以上的图像，分别生成一个异视点图像，该异视点图像相当于在与上述两个以上的视点位置不同的虚拟视点位置上取得的图像，并且该异视点图像是包含作为像素值欠缺的区域的孔区域的图像；

孔密度算出步骤，按每一个由一个以上的像素构成的处理单位，针对生成的两个以上的异视点图像分别算出孔密度，该孔密度是指该异视点图像内的上述孔区域在包含该处理单位的规定区域内所占的比例；

合成比例算出步骤，根据上述两个以上的异视点图像各自的上述孔密度，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例；以及

异视点图像合成步骤，根据算出的合成比例，对上述两个以上的异视点图像进行合成，

上述孔密度算出步骤中，无论成为孔密度的算出对象的处理单位是否是孔区域，都算出该处理单位的孔密度。

10.一种集成电路，包括：

异视点图像生成部，根据表示图像内各像素的深度的距离信息，从在两个以上的视点位置上分别取得的两个以上的图像，分别生成一个异视点图像，该异视点图像相当于在与上述两个以上的视点位置不同的虚拟视点位置上取得的图像，并且该异视点图像是包含作为像素值欠缺的区域的孔区域的图像；

孔密度算出部，按每一个由一个以上的像素构成的处理单位，针对生成的两个以上的异视点图像分别算出孔密度，该孔密度是指该异视点图像内的上述孔区域在包含该处理单位的规定区域内所占的比例；

合成比例算出部，根据上述两个以上的异视点图像各自的上述孔密度，按每一个上述处理单位，算出上述两个以上的异视点图像各自的合成比例；以及

异视点图像合成部，根据算出的合成比例，对上述两个以上的异视点图像进行合成，

上述孔密度算出部，无论成为孔密度的算出对象的处理单位是否是孔区域，都算出该处理单位的孔密度。