CN103109538A - 图像处理设备、成像设备、图像处理方法和程序 - Google Patents

Abstract

提供一种通过将从多个图像裁剪的矩形区域连接在一起而生成用于具有近似均匀的基线长度的三维图像显示的左眼合成图像和右眼合成图像的装置和方法。从多个图像裁剪的矩形区域被连接在一起，从而生成用于三维图像显示的左眼合成图像和右眼合成图像。图像合成单元通过对设置在每个拍摄图像中的左眼图像矩形的连接合成处理来生成应用于三维图像显示的左眼合成图像，并通过对设置在每个拍摄图像中的右眼图像矩形的连接合成处理来生成应用于三维图像显示的右眼合成图像。图像合成单元执行设置左眼图像矩形和右眼图像矩形的处理，根据图像拍摄条件改变矩形间偏移的程度，使得与左眼合成图像和右眼合成图像的拍摄位置之间的距离对应的基线长度近似均匀，其中，矩形间偏移为左眼图像矩形与右眼图像矩形之间的距离。

Description

图像处理设备、成像设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、成像设备、图像处理方法和程序，并且，更具体地，涉及执行使用在移动照相机的同时所捕获的多个图像来生成用于显示三维图像（3D图像）的图像的处理的图像处理设备、成像设备、图像处理方法和程序。

背景技术

为了生成三维图像（也称为3D图像或立体图像），需要从互不相同的视点捕获图像，换句话说，左眼图像和右眼图像。从互不相同的视点捕获图像的方法主要分为两种方法。

第一种技术是使用多个照相机单元从不同视点对被摄体同时成像的技术，即，使用所谓的多镜头照相机的技术。

第二种技术是使用单个照相机单元通过移动成像设备从互不相同的视点连续地捕获图像的技术，即，使用所谓的单镜头照相机的技术。

例如，用于上述第一种技术的多镜头照相机系统具有这样的配置，其中，各镜头被包括在彼此分开的位置处，并且被摄体可以从互不相同的视点被同时拍摄。但是，这样的多镜头照相机系统需要多个照相机单元，因此，存在该照相机系统价格昂贵的问题。

与此相反，用于上述第二种技术的单镜头照相机系统可以具有包括一个照相机单元的配置，其类似于现有技术中的照相机的配置。在这样的配置中，来自互不相同的视点的图像在移动包括一个照相机单元的照相机的同时被连续地捕获，并通过使用多个捕获的图像来生成三维图像。

如上所述，在使用单镜头照相机系统的情况中，通过仅仅使用类似于现有技术中的照相机的一个照相机单元，可以实现相对低成本的系统。

另外，作为公开了从在移动单镜头照相机的同时捕获的图像获取被摄体的距离信息的技术的现有技术中的技术，存在NPL1“Acquiring Omni-directional Range Information(The Transactionsof the Institute of Electronics,Information and CommunicationEngineers,D-II,Vol.J74-D-II,No.4,1991)”。另外，还在NPL2“Omni-Directional Stereo,IEEE Transaction On Pattern Analysis AndMachine Intelligence,VOL.14,No.2,February1992”中公开了与NPL1相同的内容的报告。

在NPL1和NPL2中，公开了一种技术，其中，照相机被固定地安装在与旋转台的旋转中心分开预定距离的圆周上，并且，通过在旋转旋转基座的同时连续地捕获图像，使用通过两个垂直狭缝获取的两个图像来获取被摄体的距离信息。

另外，在PTL1（日本未审专利申请公开No.11-164326）中，与NPL1和NPL2中公开的配置类似，公开了这样一种配置，其中，在照相机被安装为与旋转台的旋转中心分开预定距离并且被旋转的同时捕获图像，并且，通过使用通过两个狭缝获取的两个图像，获取用于显示三维图像的左眼全景图像和右眼全景图像。

如上所述，在现有技术中的技术中，公开了可以通过使用当照相机被旋转的同时通过狭缝获取的图像来获取用于显示三维图像的左眼图像和右眼图像。

同时，已知一种技术，其通过在移动照相机的同时捕获图像并连接多个捕获图像来用于生成全景图像，即，水平长的二维图像。例如，在PTL2（日本专利No.3928222）、PTL3（日本专利No.4293053）等中，公开了用于生成全景图像的技术。

如上所述，在生成二维全景图像时，使用在移动照相机的同时获取的多个捕获图像。

在上述的NPL1、NPL2和PTL1中，描述了使用由诸如全景图像生成处理的捕获处理所捕获的多个图像通过裁剪出和连接预定区域的图像来获取作为三维图像的左眼图像和右眼图像的原理。

但是，在通过使用在照相机移动（例如，通过用户对在其手上的照相机的摇摆操作）时捕获的多个捕获图像裁剪出并连接预定区域的图像来生成作为三维图像的左眼图像和右眼图像的情况中，在使用左眼图像和右眼图像来显示三维图像的情况中，存在这样的问题，其中，由于转动的半径R和焦距f的改变而导致对最终生成的区域的深度感不稳定。

引文列表

专利文献

[PTL1]JP-A-11-164326

[PTL2]日本专利No.3928222

[PTL3]日本专利No.4293053

非专利文献

[NPL1]“Acquiring Omni-directional Range Information(TheTransactions of the Institute of Electronics,Information andCommunication Engineers,D-II,Vol.J74-D-II,No.4,1991)”

[NPL2]“Omni-Directional Stereo”,IEEE Transaction OnPattern Analysis And Machine Intelligence,VOL.14,No.2,February1992”

发明内容

技术问题

例如，考虑到了上述问题而设计本发明，并且，本发明的目的在于提供这样的图像处理设备、成像设备、图像处理方法和程序，在从在各种设置的成像设备或捕获条件中移动照相机的同时所捕获的多个图像生成用于显示三维图像的左眼图像和右眼图像的配置中，即使在照相机捕获条件改变的情况下，其也能够生成具有稳定的深度感的三维图像数据。

解决问题的方案

根据本发明的第一方面，提供一种图像处理设备，该图像处理设备包括：图像合成单元，该图像合成单元接收在互不相同的位置处捕获的多个图像作为输入，并通过连接从这些图像中裁剪出的条状区域来生成合成图像，其中，图像合成单元被配置为：通过连接和合成设置在每个图像中的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并通过连接和合成设置在每个图像中的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且，图像合成单元通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

另外，在本发明的图像处理设备的实施例中，图像合成单元执行根据作为图像捕获条件的在捕获图像时图像处理设备的转动半径和焦距来调整条带间偏移量的处理。

此外，在本发明的图像处理设备的实施例中，上述图像处理设备还包括：转动动量检测单元，该转动动量检测单元获取或计算在捕获图像时图像处理设备的转动动量；以及平移动量检测单元，该平移动量检测单元获取或计算在捕获图像时图像处理设备的平移动量，其中，通过使用从转动动量检测单元获取的转动动量和从平移动量检测单元获取的平移动量，图像合成单元执行计算在捕获图像时图像处理设备的转动半径的处理。

另外，在本发明的图像处理设备的实施例中，转动动量检测单元是检测图像处理设备的转动动量的传感器。

此外，在本发明的图像处理设备的实施例中，平移动量检测单元是检测图像处理设备的平移动量的传感器。

另外，在本发明的图像处理设备的实施例中，转动动量检测单元是通过分析捕获的图像来检测在捕获图像时的转动动量的图像分析单元。

另外，在本发明的图像处理设备的实施例中，平移动量检测单元是通过分析捕获的图像来检测在捕获图像时的平移动量的图像分析单元。

另外，在本发明的图像处理设备的实施例中，图像合成单元使用从转动动量检测单元获取的转动动量θ和从平移动量检测单元获取的平移动量t来执行通过利用公式“R=t(2sin(θ/2))”计算在捕获图像时图像处理设备的转动半径R的处理。

另外，根据本发明的第二方面，提供一种成像设备，该成像设备包括：成像单元；和根据权利要求1到8中的任意一项的执行图像处理的图像处理单元。

另外，根据本发明的第三方面，提供一种在图像处理设备中使用的图像处理方法，该图像处理方法包括：通过使用图像合成单元，接收在互不相同的位置处捕获的多个图像作为输入，并通过连接从这些图像裁剪出的条状区域来生成合成图像，其中，接收多个图像并生成合成图像包括：通过连接和合成在每个图像中设置的左眼图像条的处理来生成用于显示三维图像的左眼合成图像；以及通过连接和合成在每个图像中设置的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且，该图像处理方法还包括：通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

另外，根据本发明的第四方面，提供一种使得图像处理设备执行图像处理的程序，该程序允许：通过使用图像合成单元，接收在互不相同的位置处捕获的多个图像作为输入，并通过连接从这些图像裁剪出的条状区域来生成合成图像，其中，在接收多个图像并生成合成图像时，通过连接和合成在每个图像中设置的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并且，通过连接和合成在每个图像中设置的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且，该程序使得图像合成单元还通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

另外，例如，根据本发明的程序是可以作为用于可以执行各种程序代码的计算机系统或信息处理设备的以计算机可读形式的存储介质或通信介质提供的程序。通过以计算机可读形式提供这样的程序，在信息处理设备或计算机系统上实现根据该程序的处理。

通过参考附图对示例性实施例进行详细描述，将使得本发明的其它特征和优点变得更加明显。另外，在本说明书中描述的系统是多个系统的逻辑集合配置，并且每一种配置的设备并不限制为被置于相同的壳体内。

本发明的有益效果

根据本发明实施例的配置，提供一种通过连接从多个图像裁剪出的条状区域来生成用于显示三维图像的左眼合成图像和右眼合成图像的设备和方法，该三维图像的基线长度被保持为几乎不变。通过连接从多个图像裁剪出的条状区域来生成用于显示三维图像的左眼合成图像和右眼合成图像。图像合成单元被配置为通过连接和合成设置在每个捕获图像中的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并通过连接和合成设置在每个捕获图像中的右眼图像条的处理来生成用于显示三维图像的右眼合成图像。图像合成单元通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。通过本处理，可以生成用于显示其基线长度被保持为几乎不变的三维图像的左眼合成图像和右眼合成图像，从而实现没有引起任何不舒服感的三维图像显示。

附图说明

图1是示出全景图像生成处理的示图。

图2是示出生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）的处理的示图。

图3是示出生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）的原理的示图。

图4是示出使用虚拟成像表面的反转模型（reverse model）的示图。

图5是示出用于捕获全景图像（3D全景图像）的处理的模型的示图。

图6是示出在全景图像（3D全景图像）捕获处理中捕获的图像以及左眼图像和右眼图像的条带的设置的例子的示图。

图7是示出条状区域连接处理以及生成3D左眼合成图像（3D全景L图像）和3D右眼合成图像（3D全景R图像）的处理的例子的示图。

图8是示出在捕获图像时照相机的转动半径R、焦距f和基线长度B的示图。

图9是示出根据各种捕获条件而改变的照相机的转动半径R、焦距f和基线长度B的示图。

图10是示出作为根据本发明实施例的图像处理设备的成像设备的配置例子的示图。

图11是示出图示由根据本发明的图像处理设备执行的图像捕获和合成处理的序列的流程图的示图。

图12是示出照相机的转动动量θ、平移动量t与转动半径R之间的关系的示图。

图13是图示示出基线长度B与转动半径R之间的相关性的曲线的示图。

图14是图示示出基线长度B与焦距f之间的相关性的曲线的示图。

具体实施方式

在下文中，将参考附图描述根据本发明的图像处理设备、成像设备、图像处理方法和程序。将按照下面项目的顺序呈示描述。

1.用于生成全景图像和三维（3D）图像的处理的基本配置

2.使用在照相机被移动的同时捕获的多个图像的条状区域生成3D图像时的问题

3.根据本发明的图像处理设备的配置例子

4.图像捕获和图像处理的序列

5.转动动量检测单元和平移动量检测单元的具体配置例子

6.条带间偏移D计算处理的具体例子

1.用于生成全景图像和三维（3D）图像的处理的基本配置

本发明涉及通过连接图像的区域（条状区域）来生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）的处理，这些图像的区域（条状区域）是使用在成像设备（照相机）被移动的同时连续地捕获的多个图像以条带的形状裁剪出的。

能够使用在移动照相机的同时连续地捕获的多个图像来生成二维全景图像（2D全景图像）的照相机已经被实现并使用了。首先，将参考图1描述生成全景图像（2D全景图像）的处理，该全景图像作为二维合成图像被生成。在图1中，描绘了示出（1）成像处理、（2）捕获的图像、以及（3）二维合成图像（2D全景图像）的示图。

用户将照相机10设置为全景拍摄模式，手持照相机10，并且如图1（1）所示，在快门被按下的情况下将照相机从左侧（点A）移动到右侧（点B）。当在设置全景拍摄模式下用户按下快门被检测到时，照相机10执行连续图像捕获操作。例如，大约10到100个图像被连续地捕获。

这些图像是在图1（2）中示出的图像20。多个图像20是在照相机10被移动的同时被连续地捕获的图像，并且是来自互不相同的视点的图像。例如，从互不相同的视点捕获的100个图像20被顺序地记录在存储器中。照相机10的数据处理单元从存储器读出在图1（2）中示出的多个图像20，裁剪出用于根据这些图像生成全景图像的条状区域，并执行连接这些裁剪出的条状区域的处理，从而生成在图1（3）中示出的2D全景图像30。

在图1（3）中示出的2D全景图像30是二维（2D）图像，并且是通过裁剪出捕获图像的部分并将这些部分连接而得到的水平长的图像。在图1（3）中描绘的虚线示出这些图像的连接部分。每个图像20的裁剪出的区域将被称为条状区域。

根据本发明的图像处理设备或成像设备执行如图1所示的图像捕获处理，换句话说，如图1（1）所示，使用在照相机被移动的同时被连续地捕获的多个图像来生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）。

将参考图2描述用于生成左眼图像（L图像）和右眼图像（R图像）的处理的基本配置。

图2（a）示出在图1（2）中示出的全景拍摄处理中捕获的一个图像20。

如参考图1所描述的生成2D全景图像的处理中一样，用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）是通过从图像20裁剪出预定的条状区域并连接这些条状区域而生成的。

但是，针对左眼图像（L图像）和右眼图像（R图像），被设置为裁剪出的区域的条状区域位于不同的位置。

如图2（a）所示，左眼图像条（L图像条）51和右眼图像条（R图像条）52的裁剪出的位置存在不同。尽管在图2中仅示出了一个图像20，但是对于如图1（2）所示的在照相机移动的情况下捕获的多个图像中的每一个，设置位于不同的裁剪出的位置的左眼图像条（L图像条）和右眼图像条（R图像条）。

其后，通过仅仅收集并连接左眼图像条（L图像条），可以生成在图2（b1）中示出的3D左眼全景图像（3D全景L图像）。

另外，通过仅仅收集并连接右眼图像条（R图像条），可以生成在图2（b2）中示出的3D右眼全景图像（3D全景R图像）。

如上所述，通过连接从在照相机移动的情况下捕获的多个图像获取的裁剪出的位置被不同地设置的条带，可以生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）。将参照图3描述该原理。

图3示出这样的情形，其中，通过移动照相机10，在两个捕获位置（a）和（b）处拍摄被摄体80。在位置（a），作为被摄体80的图像，从左侧看到的图像被记录在照相机10的成像装置70的左眼图像条（L图像条）51中。接下来，作为在照相机10移动到的位置（b）处的被摄体80的图像，从右侧看到的图像被记录在照相机10的成像装置70的右眼图像条（R图像条）52中。

如上所述，从互不相同的视点看到的同一被摄体的图像被记录在成像装置70的预定区域（条状区域）中。

通过单独地提取这些，换句话说，通过仅仅收集和连接左眼图像条（L图像条），生成在图2（b1）中示出的3D左眼全景图像（3D全景L图像），并且，通过仅仅收集和连接右眼图像条（R图像条），生成在图2（b2）中示出的3D右眼全景图像（3D全景R图像）。

在图3中，为了易于理解，描绘了移动设置，其中，照相机10从被摄体80的左侧向右侧穿过被摄体，照相机10穿过被摄体80的移动不是必要的。只要从互不相同的视点看到的图像可以被记录在照相机10的成像装置70的预定区域中，就可以生成用于显示3D图像的左眼图像和右眼图像。

接下来，将参考图4描述在下面呈示的描述中使用的使用虚拟成像表面的反转模型。在图4中，描绘了（a）图像捕获配置、（b）正向模型和（c）反转模型的图。

在图4（a）中示出的图像捕获配置示出了与参考图3描述的全景图像类似的全景图像被捕获时的处理配置。

图4（b）示出在图4（a）中示出的捕获处理中被实际地捕获到设置在照相机10内部的成像装置70中的图像的例子。

在成像装置70中，如图4（b）所示，左眼图像72和右眼图像73被以垂直反转的方式记录。在使用这样的反转图像进行描述的情况中，在下面呈示的描述中，将使用在图4（c）中示出的反转模型来进行描述。

该反转模型是在对成像设备等中的图像进行解释中经常使用的模型。

在图4（c）中示出的反转模型中，假定虚拟成像装置101被设置在对应于照相机的焦点的光学中心102的前面，并且被摄体图像被捕获到虚拟成像装置101中。如图4（c）所示，在虚拟成像装置101中，位于照相机的左前方的被摄体A91被捕获到左侧中，位于照相机的右前方的被摄体B92被捕获到右侧中，并且，这些图像被设置为不是垂直地反转，由此，直接反映这些被摄体的实际位置关系。换句话说，在虚拟成像装置101上形成的图像表示与实际捕获的图像相同的图像数据。

在下面呈示的描述中，使用该虚拟成像装置101的反转模型将被使用。

如图4（c）所示，在虚拟成像装置101上，左眼图像（L图像）111被捕获到虚拟成像装置101上的右侧，并且右眼图像（R图像）112被捕获到虚拟成像装置101上的左侧。

2.使用在照相机被移动的同时捕获的多个图像的条状区域生成3D图像时的问题

接下来，将描述使用在照相机被移动的同时捕获的多个图像的条状区域生成3D图像时的问题。

作为用于捕获全景图像（3D全景图像）的处理的模型，将假设在图5中示出的捕获模型。如图5所示，照相机100被放置，从而使得照相机100的光学中心102被设置与作为旋转中心的旋转轴P隔开距离R（旋转半径）的位置处。

虚拟成像表面101被设置在与光学中心102相距焦距f的旋转轴P的外侧。

在这样的设置中，照相机100沿顺时针方向（从A到B的方向）围绕旋转轴P旋转，并且多个图像被连续地捕获。

在每个捕获点中，左眼图像条111和右眼图像条112的图像被记录在虚拟成像装置101上。

例如，记录的图像具有在图6中示出的配置。

图6示出由照相机100捕获的图像110。另外，该图像110与在虚拟成像装置101上形成的图像相同。

在图像110中，如图6所示，从图像的中心部分向左侧偏移并且以条带的形状裁剪出的区域（条状区域）被设置为右眼图像条112，并且从图像的中心部分向右侧偏移并且以条带的形状裁剪出的区域（条状区域）被设置为左眼图像条111。

另外，作为参考，在图6中示出当二维（2D）全景图像被生成时所使用的2D全景图像条115。

如图6所示，用于二维合成图像的2D全景图像条115与左眼图像条111之间的距离以及2D全景图像条115与右眼图像条112之间的距离被定义为“偏移”或“条带偏移”=d1和d2。

另外，左眼图像条111与右眼图像条112之间的距离被定义为“条带间偏移”=D。

此外，条带间偏移=（条带偏移）×2，并且D=d1+d2。

条带宽度w是对所有2D全景图像条115、左眼图像条111和右眼图像条112都相同的宽度w。该条带宽度根据照相机的移动速度等来改变。在照相机的移动速度高的情况中，条带宽度w变宽，并且，在照相机的移动速度低的情况中，条带宽度w变窄。这一点将在稍后的阶段中进一步描述。

条带偏移或条带间偏移可以被设置为各种值。例如，在条带偏移被设置为较大的情况中，左眼图像与右眼图像之间的差异较大，并且，在条带偏移被设置为较小的情况中，左眼图像与右眼图像之间的差异较小。

在条带偏移=0的情况中，左眼图像条111=右眼图像条112=2D全景图像条115。

在这样的情况中，通过合成左眼图像条111获取的左眼合成图像（左眼全景图像）以及通过合成右眼图像条112获取的右眼合成图像（右眼全景图像）是完全相同的图像，即，与通过合成2D全景图像条115获取的二维全景图像相同并且不能被用于显示三维图像的图像。

在下面呈示的描述中，条带宽度w的长度、条带偏移和条带间偏移被描述为以像素数量定义的值。

在照相机100内部设置的数据处理单元获取在照相机100被移动的同时连续捕获的图像之间的运动向量，并且，在条状区域被对准从而使得上述条状区域的图案被连接在一起的同时，数据处理单元顺序地确定从每个图像裁剪出的条状区域，并连接从每个图像裁剪出的这些条状区域。

换句话说，左眼合成图像（左眼全景图像）是通过从这些图像中仅选择左眼图像条111并连接和合成所选左眼图像条来生成的，并且右眼合成图像（右眼全景图像）是通过从这些图像中仅选择右眼图像条112并连接和合成所选右眼图像条来生成的。

图7（1）是示出条状区域连接处理的例子的示图。假定图像间的捕获时间间隔是Δt，并且，在捕获时间T=0到nΔt之间n+1个图像被捕获。从n+1个图像提取的条状区域被连接在一起。

但是，在生成3D左眼合成图像（3D全景L图像）的情况中，仅提取和连接左眼图像条（L图像条）111。另外，在生成3D右眼合成图像（3D全景R图像）的情况中，仅提取和连接右眼图像条（R图像条）112。

如上所述，通过仅仅收集并连接左眼图像条（L图像条）111，生成在图7（2a）中示出的3D左眼合成图像（3D全景L图像）。

另外，通过仅仅收集并连接右眼图像条（R图像条）112，生成在图7（2b）中示出的3D右眼合成图像（3D全景R图像）。

如参考图6和图7所描述的，通过将从图像100的中心向右侧偏移的条状区域结合，生成在图7（2a）中示出的3D左眼合成图像（3D全景L图像）。

另外，通过将从图像100的中心向左侧偏移的条状区域结合，生成在图7（2b）中示出的3D右眼合成图像（3D全景R图像）。

在这两个图像中，如上面参考图3所描述的，当基本上相同的被摄体被成像的同时，从互不相同的位置对同一被摄体进行成像，从而产生差异。通过在可以显示3D（立体）图像的显示设备中显示其间具有差异的两个图像，作为成像对象的被摄体可以以立体的方式被显示。

另外，作为3D图像的显示类型，存在多种类型。

例如，存在对应于被动式眼镜类型的3D图像显示类型、对应于主动式眼镜类型的3D图像显示类型等，在对应于被动式眼镜类型的3D图像显示类型中，由左眼和右眼观测到的图像通过使用偏振滤光器或滤色器被相互分开；在对应于主动式眼镜类型的3D图像显示类型中，通过交替地打开/关闭左右液晶快门来将观测到的图像在时间上交替地针对左眼和右眼分开。

通过上述条带连接处理生成的左眼图像和右眼图像可以被应用于这些类型中的每一种。

如上所述，通过从在照相机被移动的同时连续捕获的多个图像中的每一个裁剪出条状区域而生成左眼图像和右眼图像，可以生成从互不相同的视点（即，从左眼位置和右眼位置）观测到的左眼图像和右眼图像。

首先，如参考图6所述，条带偏移设置得越大，左眼图像与右眼图像之间的差异就越大，并且，条带偏移设置得越小，左眼图像与右眼图像之间的差异就越小。

该差异与基线长度相对应，基线长度是左眼图像与右眼图像的捕获位置之间的距离。已经在之前参考图5描述的在一个照相机被移动的同时捕获图像的系统中的基线长度（虚拟基线长度）与在图8中示出的距离B相对应。

虚拟基线长度B是以近似的方式通过下面的公式（公式1）获取的。

公式1

B=Rx(D/f)

这里，R是照相机的转动半径（参见图8），D是条带间偏移（参见图8）（左眼图像条与右眼图像条之间的距离），f是焦距（参见图8）。

例如，在左眼图像和右眼图像是通过使用在用户手持的照相机被移动的同时所捕获的图像来生成的情况下，上述参数，即，转动半径R和焦距f是变化的值。换句话说，焦距f根据诸如变焦处理或宽图像捕获处理的用户操作而改变。在作为照相机移动的由用户执行的摇摆操作是短摇摆的情况中，转动半径R不同于执行长摇摆的情况中的转动半径R。

因此，当R和f改变时，虚拟基线长度B在每一次捕获时都改变，因此，最终的立体图像的深度感不能以稳定的形式来提供。

如从上述公式（公式1）所理解的，随着照相机的转动半径R的增大，虚拟基线长度B也与转动半径R成比例地增大。另一方面，在焦距f增加的情况中，虚拟基线长度B与焦距f成反比例地减小。

在照相机的转动半径R和焦距f改变的情况中的虚拟基线长度B改变的例子在图9中示出。

图9示出示出的数据的例子，其包括：

（a）在转动半径R和焦距f小的情况中的虚拟基线长度B；以及

（b）在转动半径R和焦距f大的情况中的虚拟基线长度B。

如上所述，照相机的转动半径R和虚拟基线长度B具有成比例的关系，焦距f和虚拟基线长度B具有成反比例的关系，并且，例如，当在用户的捕获操作期间R和f改变时，虚拟基线长度B改变为各种长度。

在使用具有这样的各种基线长度的图像生成左眼图像和右眼图像的情况中，存在形成不稳定的图像的问题，其中，位于特定距离的被摄体的间距（inter-distance）被改变为向前侧/向后侧。

本发明提供一种配置，其中，即使在这样的捕获处理中捕获条件改变时，也通过防止或抑制基线长度的改变来生成左眼图像和右眼图像，从这些图像获取稳定的间距。在下文中，现在将对该处理进行详细描述。

3.根据本发明的图像处理设备的配置例子

首先，将参考图10描述根据本发明实施例的作为图像处理设备的成像设备的配置例子。

在图10中示出的成像设备200对应于参考图1已经描述的照相机10，并且例如具有允许用户在全景拍摄模式中使用其手持的成像设备连续地捕获多个图像的配置。

从被摄体发送的光通过透镜系统201入射到成像装置202。例如，成像装置202由CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）传感器构成。

入射到成像装置202的被摄体图像由成像装置202转换为电信号。另外，虽然未在图中示出，但是成像装置202包括预定的信号处理电路，对通过信号处理电路转换的电信号进行进一步转换，并将数字图像数据供应到图像信号处理单元203。

图像信号处理单元203执行诸如伽马校正或轮廓增强校正的图像信号处理，并在显示单元204上显示作为信号处理的结果的图像信号。

作为由图像信号处理单元203执行的处理的结果的图像信号被供应到包括图像存储器（用于合成处理）205、图像存储器（用于检测移动量）206和移动量计算单元207的单元，其中，图像存储器（用于合成处理）205是用于合成处理的图像存储器，图像存储器（用于检测移动量）206用于检测连续捕获的图像之间的移动量，移动量计算单元207计算这些图像间的移动量。

移动量计算单元207将从图像信号处理单元203供应的图像信号与存储在图像存储器（用于检测移动量）206中的作为前一帧的帧的图像一同获取，并检测当前图像与作为前一帧的帧的图像之间的移动量。例如，通过对构成被连续捕获的两个图像的像素执行匹配的处理，换句话说，确定同一被摄体的捕获区域的匹配处理，计算在图像间移动的像素的数量。另外，基本上，该处理是通过假定被摄体是停止的来执行的。在存在移动被摄体的情况中，尽管除了整个图像的移动向量以外的移动向量被检测，但是，在对应于移动被摄体的移动向量未被设置为检测对象时，该处理被执行。换句话说，对应于根据照相机的移动发生的整个图像的移动的移动向量（GMV：全局移动向量）被检测。

另外，例如，移动量被计算为移动像素的数量。通过比较图像n和在图像n之前的图像n-1来计算图像n的移动量，并且检测到的移动量（像素的数量）作为对应于图像n的移动量被存储在移动量存储器208中。

另外，图像存储器（用于合成处理）205是用于合成已经被连续捕获的图像的处理的存储器，换句话说，是其中存储用于生成全景图像的图像的存储器。尽管该图像存储器（用于合成处理）205可以被配置为使得所有图像，例如，在全景拍摄模式中被捕获的n+1个图像，被存储在其中，但是，例如，图像存储器205可以被设置为使得图像的末端部分被剪掉，并且仅有图像的中心区域被选择以被存储，生成全景图像所必需的条状区域来自该图像的中心区域。通过这样的设置，可以降低所需的存储器容量。

此外，在图像存储器（用于合成处理）205中，不仅捕获的图像数据而且诸如焦距[f]等的捕获参数都作为图像的属性信息与该图像相关联地被记录。这些参数与图像数据一同被供应到图像合成单元220。

例如，转动动量检测单元211和平移动量检测单元212中的每一个被配置为包括在成像设备200中的传感器或分析捕获图像的图像分析单元。

在转动动量检测单元211被配置为传感器的情况中，其为姿势检测传感器，其检测被称为照相机的俯仰/滚动/横摆的照相机的姿势。平移动量检测单元212是移动检测传感器，其检测照相机相对于世界坐标系统的移动作为照相机的移动信息。由转动动量检测单元211检测的检测信息和由平移动量检测单元212检测的检测信息被供应到图像合成单元220。

另外，由转动动量检测单元211检测的检测信息和由平移动量检测单元212检测的检测信息可以被配置为在捕获图像时作为捕获图像的属性信息与捕获图像一同存储在图像存储器（用于合成处理）205中，并且检测信息可以被配置为与作为合成对象的图像一同从图像存储器（用于合成处理）205输入到图像合成单元220。

此外，转动动量检测单元211和平移动量检测单元212可以不由传感器配置，而是由执行图像分析处理的图像分析单元构成。转动动量检测单元211和平移动量检测单元212通过分析捕获的图像来获取类似于传感器检测信息的信息，并将获取的信息供应到图像合成单元220。在这样的情况中，转动动量检测单元211和平移动量检测单元212从图像存储器（用于检测移动量）206接收图像数据作为输入，并执行图像分析。将在稍后阶段中描述这样的处理的具体的例子。

在捕获处理结束后，图像合成单元220从图像存储器（用于合成处理）205获取图像，进一步获取其它所需的信息，并执行图像合成处理，其中，从获取自图像存储器（用于合成处理）205的图像裁剪出条状区域，并连接这些条状区域。通过该处理，生成左眼合成图像和右眼合成图像。

在捕获处理结束后，图像合成单元220接收作为输入的存储在移动量存储器208中的对应于每个图像的移动量和由转动动量检测单元211和平移动量检测单元212检测的检测信息（通过传感器检测或图像分析获取的信息）、以及来自图像存储器（用于合成处理）205的在捕获处理期间存储的多个图像（或部分图像）。

图像合成单元220通过使用输入信息从连续地捕获的图像设置左眼图像条和右眼图像条，并且，执行裁剪出和连接这些条带的处理，从而生成左眼合成图像（左眼全景图像）和右眼合成图像（右眼全景图像）。另外，图像合成单元220针对每个图像执行诸如JPEG的压缩处理，然后将压缩图像存储在记录单元（记录介质）221中。

另外，将在稍后阶段中详细描述图像合成单元220的具体配置例子及其处理。

记录单元（记录介质）221存储由图像合成单元220合成的合成图像，即，左眼合成图像（左眼全景图像）和右眼合成图像（右眼全景图像）。

记录单元（记录介质）221可以是任何类型的记录介质，只要其是可以将数字信号记录在其上的记录介质即可，并且，例如，可以使用诸如硬盘、磁光盘、DVD（数字多功能盘）、MD（迷你盘）或半导体存储器的记录介质。

另外，尽管未在图10中示出，但是，除了在图10中示出的配置外，成像设备200包括输入操作单元、控制单元和存储单元（存储器），其中，输入操作单元被用来执行用于设置可以由用户操作的快门和变焦的各种输入、模式设置处理等，控制单元控制由成像设备200执行的处理，存储单元（存储器）存储任何其它构成单元的处理程序和参数、参数等。

在图10中示出的成像设备200的每个构成单元的处理以及数据的输入/输出是在置于成像设备200内部的控制单元的控制下被执行的。控制单元读出事先存储在置于成像设备200内部的存储器中的程序，并根据该程序执行对在成像设备200中执行的处理的整体控制，这些处理诸如：捕获图像的获取、数据处理、合成图像的生成、记录生成的合成图像的处理、显示处理等。

4.图像捕获和图像处理的序列

接下来，将参考图11中的流程图来描述由根据本发明的图像处理设备执行的图像捕获和合成处理的序列的例子。

例如，根据图11中示出的流程图的处理是在被置于在图10中示出的成像设备200内部的控制单元的控制下被执行的。

将描述在图11中示出的流程图的每个步骤的处理。

首先，在根据电源开启而执行硬件诊断和初始化后，图像处理设备（例如，成像设备200）前进到步骤S101。

在步骤S101中，各种捕获参数被计算。在该步骤S101中，例如，与由曝光系统识别的亮度有关的信息被获取，并且诸如光圈值和快门速度的捕获参数被计算。

接下来，处理前进到步骤S102，并且控制单元确定用户是否执行了快门操作。这里，假定3D图像全景拍摄模式已经被事先设置。

在3D图像全景拍摄模式中，这样的处理被执行：其中，根据用户的快门操作连续地捕获多个图像，从这些捕获图像裁剪出左眼图像条和右眼图像条，并且生成和记录可以用于显示3D图像的左眼合成图像（全景图像）和右眼合成图像（全景图像）。

在步骤S102中，在控制单元未检测到用户的快门操作的情况中，处理返回到步骤S101。

另一方面，在步骤S102中，在控制单元检测到用户的快门操作的情况中，处理前进到步骤S103。

在步骤S103中，控制单元通过执行基于在步骤S101中计算的参数的控制来开始捕获处理。更具体地说，例如，执行在图10中示出的透镜系统201的光圈驱动单元的调整等，并且开始图像捕获。

作为其中多个图像被连续地捕获的处理，图像捕获处理被执行。对应于连续捕获的图像的电信号被从图10中示出的成像装置202顺序地读出，伽马校正、轮廓增强校正等的处理由图像信号处理单元203来执行，并且处理的结果被显示在显示单元204上，并且被顺序地供应到存储器205和206以及移动量检测单元207。

接下来，处理前进到步骤S104，并且图像之间的移动量被计算。该处理是图10中示出的移动量检测单元207的处理。

移动量计算单元207将从图像信号处理单元203供应的图像信号与存储在图像存储器（用于检测移动量）206中的作为前一帧的帧的图像一同获取，并检测当前图像与作为前一帧的帧的图像之间的移动量。

另外，作为在这里计算的移动量，如上所述，例如，通过执行对构成被连续捕获的两个图像的像素进行匹配的处理，换句话说，确定同一被摄体的捕获区域的匹配处理，计算在图像间移动的像素的数量被计算。另外，基本上，该处理是在假定被摄体是停止的同时执行的。在存在移动被摄体的情况中，尽管除了整个图像的移动向量以外的移动向量被检测，但是在对应于移动被摄体的移动向量未被设置为检测对象的同时执行该处理。换句话说，对应于依照照相机的移动发生的整个图像的移动的移动向量（GMV：全局移动向量）被检测。

另外，例如，移动量作为移动像素的数量被计算。通过比较图像n和在图像n之前的图像n-1来计算图像n的移动量，并且检测到的移动量（像素的数量）作为对应于图像n的移动量被存储在移动量存储器208中。

该移动使用对应于步骤S105的存储处理的存储处理。在步骤S105中，在步骤S104中被检测到的图像间的移动量与连续捕获的图像中的每一个的ID相关联地存储在图10中示出的移动量存储器208中。

接下来，处理前进到步骤S106，并且，在步骤S103中捕获并由图像信号处理单元203处理的图像被存储在图10中示出的图像存储器（用于合成处理）205中。另外，如上所述，尽管该图像存储器（用于合成处理）205可以被配置为使得所有图像，例如，在全景拍摄模式（或3D图像全景拍摄模式）中被捕获的n+1个图像，被存储在其中，例如，图像存储器205可以被设置为使得图像的末端部分被剪掉，并且仅有图像的中心区域被选择以便被存储，生成全景图像（3D全景图像）所必需的条状区域来自该图像的中心区域。通过这样的设置，所需的存储器容量可以被降低。此外，在图像存储器（用于合成处理）205中，图像可以被配置为在针对该图像执行诸如JPEG等的压缩处理后被存储。

接下来，处理前进到步骤S107，并且控制单元确定用户是否继续按下了快门操作。换句话说，捕获的结束定时被确定。

在快门被用户继续按下的情况中，处理返回到步骤S103，从而继续捕获处理，并且被摄体的成像被重复。

另一方面，在步骤S107中，在确定按下快门已经结束的情况中，为了前进到捕获结束操作，处理前进到步骤S108。

当连续图像捕获在全景拍摄模式中结束时，处理前进到步骤S108。

首先，在步骤S108，图像合成单元220计算要成为3D图像的左眼图像与右眼图像的条状区域之间的偏移量，换句话说，左眼图像与右眼图像的条状区域之间的距离（条带间偏移）D。

另外，如参考图6所述，在本说明书中，用于二维合成图像的2D全景图像条115与左眼图像条111之间的距离以及2D全景图像条115与右眼图像条112之间的距离被定义为“偏移”或“条带偏移”=d1和d2，并且，左眼图像条111与右眼图像条112之间的距离被定义为“条带间偏移”=D。

另外，条带间偏移=（条带偏移）×2，并且D=d1+d2。

在步骤S108中计算左眼图像与右眼图像的条带间区域之间的距离（条带间偏移）D的处理执行如下。

如之前参考图8和公式（公式1）所描述的，基线长度（虚拟基线长度）与图8中示出的距离B成比例，并且虚拟基线长度B是以近似的方式通过下面的公式（公式1）获取。

公式1

B=Rx(D/f)

这里，R是照相机的转动半径（参见图8），D是条带间偏移（参见图8）（左眼图像条与右眼图像条之间的距离），f是焦距（参见图8）。

当在步骤S108中执行计算左眼图像与右眼图像的条状区域之间的距离（条带间偏移）D的处理时，计算为了固定虚拟基线长度B或降低虚拟基线长度B的变化宽度而调整的值。

如上所述，照相机的转动半径R和焦距f是根据用户对照相机的的捕获条件而改变的参数。

在步骤S108中，计算对于虚拟基线长度B的值不变的条带间偏移D=d1+d2的值，或者即使在照相机的转动半径R和焦距f在捕获图像时改变的情况中也降低变化量的条带间偏移D=d1+d2的值。

通过使用上述关系式，即“B=Rx(D/f)”（公式1），可以获取下面的公式。

公式2

D=B(f/R)

在步骤S108中，在上述公式（公式2）中，例如，基于B设置为固定值的在捕获图像时的捕获条件获取的焦距f和转动半径R被接收作为输入或被计算，并且条带间偏移D=d1+d2被计算。

这里，例如，焦距f作为捕获图像的属性信息从图像存储器（用于合成处理）205被输入到图像合成单元220。

另外，由图像合成单元220基于转动动量检测单元211和平移动量检测单元212的检测信息来计算半径R。或者，可以被配置为使得由转动动量检测单元211和平移动量检测单元212计算的计算值作为图像属性信息被存储在图像存储器（用于合成处理）205中，并从图像存储器（用于合成处理）205被输入到图像合成单元220。将在稍后描述半径R计算处理的具体例子。

在步骤S108中，当条带间偏移D（左眼图像与右眼图像的条状区域之间的距离）的计算被完成时，处理前进到步骤S109。

在步骤S109中，使用捕获图像的第一图像合成处理被执行。另外，处理前进到步骤S110，并且使用捕获图像的第二图像合成处理被执行。

步骤S109和S110的图像合成处理是生成用于显示3D图像显示的左眼合成图像和右眼合成图像的处理。例如，合成图像作为全景图像被生成。

如上所述，通过其中仅提取并连接左眼图像条的合成处理来生成左眼合成图像。通过其中仅提取并连接右眼图像条的合成处理来生成右眼合成图像。作为这样的合成处理的结果，例如，生成在图7（2a）和图7（2b）中示出的两个全景图像。

当在步骤S102中按下快门的确定为“是”后且在步骤S107中确认按下快门结束之前，在捕获连续图像期间，通过使用存储在图像存储器（用于合成处理）205中的多个图像（或部分图像）来执行步骤S109和S110的图像合成处理。

当该合成处理被执行时，图像合成单元220从移动量存储器208获取与多个图像相关联的移动量，并接收在步骤S108计算的条带间偏移D=d1+d2的值作为输入。条带间偏移D是基于根据捕获图像时的捕获条件获取的焦距f和转动半径R来确定的值。

例如，在步骤S109中，通过使用偏移d1来确定左眼图像的条带位置，并且，在步骤S110中，通过使用偏移d1来确定左眼图像的条带位置。

另外，尽管可以配置为使得d1=d2，但是不必配置d1=d2。

当满足D=d1+d2的条件时，d1和d2的值可以彼此不同。

图像合成单元220基于条带间偏移D=d1+d2确定作为裁剪出区域的每个图像的条状区域，该条带间偏移D=d1+d2是基于移动量、焦距f和转动半径R计算的。

换句话说，确定用于构成左眼合成图像的左眼图像条和用于构成右眼合成图像的右眼图像条的条状区域。

用于构成左眼合成图像的左眼条带被设置到从图像中心向右侧偏移预定量的位置。

用于构成右眼合成图像的右眼条带被设置到从图像中心向左侧偏移预定量的位置。

当条状区域设置处理被执行时，图像合成单元220将条状区域确定为满足偏移条件，该偏移条件满足用于生成形成为3D图像的左眼图像和右眼图像的条件。

图像合成单元220通过裁剪出和连接每个图像的左眼图像条和右眼图像条来执行图像合成，从而生成左眼合成图像和右眼合成图像。

另外，在存储在图像存储器（用于合成处理）205中的图像（或部分图像）是根据JPEG等的压缩数据时，为了实现高处理速度，自适应解压处理可以被配置为被执行，其中，基于在步骤S104中获取的图像间的移动量，其中诸如JPEG等的压缩被解压的图像区域仅在被用作合成图像的条状区域中被设置。

通过步骤S109和S110的处理，生成用于显示3D图像的左眼合成图像和右眼合成图像。

最终，处理前进到步骤S111，在步骤S109和S110中合成的图像以恰当的记录格式（例如，CIPA DC-007多图片格式等）被生成，并被存储在记录单元（记录介质）221中。

通过执行上述步骤，可以合成包括用于显示3D图像的左眼图像和右眼图像的两个图像。

5.转动动量检测单元和平移动量检测单元的具体配置例子

接下来，将描述转动动量检测单元211和平移动量检测单元212的具体配置例子。

转动动量检测单元211检测照相机的转动动量，平移动量检测单元212检测照相机的平移动量。

作为每个检测单元的检测配置的具体例子，将描述下面三个例子。

（例子1）使用传感器的检测处理的例子

（例子2）通过图像分析的检测处理的例子

（例子3）通过传感器和图像分析两者的检测处理的例子

在下文中，将顺序地描述这些处理例子。

（例子1）使用传感器的检测处理的例子

首先，将描述一个例子，其中，转动动量检测单元211和平移动量检测单元212由传感器构成。

例如，平移移动可以通过使用加速度传感器来检测。或者，平移移动可以使用从卫星发射的电波根据GPS（全球定位系统）的纬度和经度来计算。另外，例如，用于使用加速度传感器来检测平移动量的处理在日本未审专利申请公开No.2000-78614中被公开了。

另外，关于照相机的转动移动（姿势），存在通过参考地磁的方向来测量方位（bearing）的方法、通过参考重力的方向使用加速仪检测倾斜的角度的方法、使用通过组合振动陀螺仪和加速度传感器而获取的角度传感器的方法、以及用于通过使用加速度传感器与初始状态的参照角进行比较来执行计算的计算方法。

如上所述，转动动量检测单元211可以由地磁传感器、加速仪、振动陀螺仪、加速度传感器、角度传感器、角速度传感器或这些传感器的组合构成。

另外，平移动量检测单元212可以由加速度传感器或GPS（全球定位系统）构成。

这些传感器的转动动量和平移动量被直接提供给图像合成单元210或通过图像存储器（用于合成处理）205提供给图像合成单元210，并且图像合成单元210基于上述检测值等来计算在捕获作为用于生成合成图像的对象的图像时的转动半径R。

稍后将描述计算转动半径R的处理。

（例子2）通过图像分析的检测处理的例子

接下来，将描述一个例子，其中，转动动量检测单元211和平移动量检测单元212不被配置为传感器，而是被配置为接收捕获图像作为输入并执行图像分析的图像分析单元。

在本例中，在图10中示出的转动动量检测单元211和平移动量检测单元212从图像存储器（用于检测移动量）205接收作为合成处理对象的图像数据作为输入，执行输入图像的分析，并获取在捕获图像的时间点的照相机的转动分量和平移分量。

更具体地说，首先，通过使用Harris角部检测器等，从作为合成对象的已经被连续地捕获的图像提取特征量。另外，通过匹配图像的特征量或者通过以均匀的间隔分割每个图像并以分割区域的单位进行匹配（块匹配），来计算图像间的光通量（optical flow）。此外，在照相机模型是透视投影图像的前提下，可以通过使用迭代方法解非线性方程来提取转动分量和平移分量。另外，例如，本技术在下面的文献中进行了详细描述，并且本技术可以被使用。

“Multi View Geometry in Computer Vision”，Richard Hartley与Andrew Zisserman，剑桥大学出版社

或者，更简单地，通过假定被摄体是平面的，可以使用这样的方法，其中，根据光通量计算单应性（homography），并且转动分量和平移分量被计算。

在该处理的本例子被执行的情况中，在图10中示出的转动动量检测单元211和平移动量检测单元212被配置为不是传感器而是图像分析单元。转动动量检测单元211和平移动量检测单元212从图像存储器（用于检测移动量）205接收作为图像合成处理对象的图像数据作为输入，并执行输入图像的图像分析，从而获取在捕获图像时照相机的转动分量和平移分量。

（例子3）通过传感器和图像分析两者的检测处理的例子

接下来，将描述处理的一个例子，其中，转动动量检测单元211和平移动量检测单元212包括传感器和图像分析单元的两种功能，并获取传感器检测信息和图像分析信息两者。

将描述一个例子，其中，各单元被配置为接收作为输入的捕获图像并执行图像分析的图像分析单元。

通过校正处理，连续捕获的图像被形成为仅包括平移移动的连续捕获的图像，从而使得基于由角速度传感器获取的角速度数据，角速度为零，并且可以基于由加速度传感器获取的加速度数据和校正处理后的连续捕获的图像来计算平移移动。例如，该处理在日本未审专利申请公开No.2000-222580中被公开了。

在该处理的例子中，转动动量检测单元211和平移动量检测单元212中的平移动量检测单元212被配置为具有角速度传感器和图像分析单元，并且通过采用这样的配置，通过使用在日本未审专利申请公开No.2000-222580中公开的技术来计算在捕获图像时的平移动量。

转动动量检测单元211被假定为具有在使用传感器的检测处理的例子（例子1）和通过图像分析的检测处理的例子（例子2）的其中之一中描述的传感器的配置或图像分析单元的配置。

6.条带间偏移D计算处理的具体例子

接下来，将描述计算基于照相机的转动动量和平移动量的条带间偏移D=d1+d2的处理。

基于通过上述的转动动量检测单元211和平移动量检测单元212的处理获取或计算的在捕获图像时的成像设备（照相机）的转动动量和平移动量，图像合成单元220计算用于确定用于生成左眼图像和右眼图像的条带的裁剪出位置的条带间偏移D=d1+d2。

当照相机的转动动量和平移动量被获取时，可以通过使用下面的公式（公式3）来计算照相机的转动半径R。

公式3

R=t/(2sin(θ/2))

这里，t是平移动量，θ是转动动量。

图12示出平移动量t和转动动量θ的例子。在针对在图12中示出的两个照相机位置处捕获的图像生成左眼图像和右眼图像作为合成对象的情况中，平移动量t和转动动量θ是在图12中示出的数据。通过基于数据t和θ来计算上述公式（公式3），计算用于在图12中示出的照相机位置处捕获的图像的左眼图像与右眼图像之间的条带间偏移D=d1+d2。

当通过使用上述公式（公式3）计算的条带间偏移D以作为合成对象的捕获图像为单位改变时，结果，通过上述公式（公式1），即，B=R×(D/f)（公式1）计算的基线长度B的值可以被配置为几乎不变。

因此，通过该处理获取的左眼图像和右眼图像的虚拟基线长度保持为针对所有合成图像都几乎不变，并且可以生成用于显示具有稳定间距的三维图像的数据。

如上所述，根据本发明，基于通过使用上述公式（公式3）获取的转动半径R和焦距f，可以生成基线长度B几乎不变的图像，其中，焦距f是作为照相机的捕获图像的属性信息与图像相关联地记录的参数。

图13是图示示出基线长度B与转动半径R之间的相关性的曲线图，图14是图示示出基线长度B与焦距f之间的相关性的曲线图。

如图13所示，基线长度B与转动半径R具有成比例的关系，并且，如图14所示，基线长度B与焦距f具有成反比例的关系。

在本发明的处理中，作为用于将基线长度B保持为几乎不变的处理，在转动半径R或焦距f改变的情况中，执行改变条带间偏移D的处理。

图13是示出在焦距f固定的情况中的基线长度B与转动半径R之间的相关性的曲线图。

例如，假定被输出的合成图像的基线长度被设置为由图13中的垂直线表示的70mm。

在这种情况中，通过将与转动半径R相对应的条带间偏移D设置为与转动半径R相对应的在图13中示出的（p1）与（p2）之间的140到80个像素的值，基线长度B可以保持为几乎不变。

图14是示出在条带间偏移D被固定为98个像素的情况中的基线长度B与焦距f之间的相关性的曲线图。在转动半径R处于100到600mm的范围中的情况中的基线长度B与焦距f之间的相关性被示出。

例如，在转动半径R=100mm和焦距f=2.0mm的点（q1）的条件下执行捕获的情况中，通过将条带间偏移D设置为98mm来满足用于将基线长度保持为70mm的条件。

类似地，在转动半径R=60mm和焦距f=9.0mm的点（q2）的条件下执行捕获的情况中，通过将条带间偏移D设置为98mm来满足用于将基线长度保持为70mm的条件。

如上所述，根据本发明的配置，在通过合成由用户在各种条件下捕获的图像来生成作为3D图像的左眼图像和右眼图像的配置中，通过适当地调整条带间偏移，可以生成基线长度被保持为几乎不变的图像。

通过执行这样的处理，在观察可以用于显示3D图像的作为从互不相同的视点捕获的图像的左眼合成图像和右眼合成图像的情况中，可以生成间距不改变的稳定图像。

如上所述，已经通过参考具体实施例对本发明进行了详细描述。但是，显然，在不脱离本发明的概念的范围内，本领域技术人员可以修改或替换实施例。换句话说，由于本发明是以例子的形式公开的，其必须以有限的方式来解释。为了确定本发明的概念，必须参照权利要求。

在本说明书中描述的一系列处理可以通过硬件、软件、或硬件和软件两者的合成配置来执行。在通过软件执行这些处理的情况中，可以配置为使得其中记录有处理序列的程序被安装到置于计算机内部的存储器并被执行，该计算机被构建在专用硬件中，或者程序被安装到可以执行各种处理的通用计算机并被执行。例如，该程序可以事先被记录在记录介质中。代替从记录介质安装该程序，其可以被配置为使得该程序被从诸如LAN（局域网）或互联网的网络来接收并安装到构建中其中的诸如硬盘的记录介质。

另外，依赖于执行这些处理的设备的处理能力或按照需要，在本说明书中描述的各种处理可以以遵循本文的描述的时间序列来执行，或者可以并行或相互独立地执行。在本说明书中描述的系统表示多个系统的逻辑上的集成配置，并且这些种配置的设备并不限制为被置于相同的壳体内。

工业应用性

如上所述，根据本发明实施例的配置，提供一种通过连接从多个图像裁剪出的条状区域来生成用于显示三维图像的左眼合成图像和右眼合成图像的设备和方法，该三维图像的基线长度被保持为几乎不变。通过连接从多个图像裁剪出的条状区域来生成用于显示三维图像的左眼合成图像和右眼合成图像。图像合成单元被配置为通过连接和合成设置在每个捕获图像中的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并通过连接和合成设置在每个捕获图像中的右眼图像条的处理来生成用于显示三维图像的右眼合成图像。图像合成单元根据图像的捕获条件改变偏移量，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，并且，图像合成单元执行设置左眼图像条和右眼图像条的处理，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。通过本处理，可以生成用于显示其基线长度被保持为几乎不变的三维图像的左眼合成图像和右眼合成图像，从而实现没有引起任何不舒服感的三维图像显示。

附图标记列表

10 照相机

20 图像

21 2D全景图像条

30 2D全景图像

51 左眼图像条

52 右眼图像条

70 成像装置

72 左眼图像

73 右眼图像

100 照相机

101 虚拟成像表面

102 光学中心

110 图像

111 左眼图像条

112 右眼图像条

115 2D全景图像条

200 成像设备

201 透镜系统

202 成像装置

203 图像信号处理单元

204 显示单元

205 图像存储器（用于合成处理）

206 图像存储器（用于检测移动量）

207 移动量检测单元

208 移动量存储器

211 转动动量检测单元

212 平移动量检测单元

220 图像合成单元

221 记录单元

权利要求书(按照条约第19条的修改)

1.一种图像处理设备，包括：

图像合成单元，该图像合成单元通过连接从在互不相同的位置处捕获的多个图像中的每一个图像中裁剪出的条状区域来生成合成图像，

其中，图像合成单元被配置为：通过连接和合成设置在每个图像中的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并通过连接和合成设置在每个图像中的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且

图像合成单元通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

2.根据权利要求1所述的图像处理设备，其中，图像合成单元执行根据作为图像捕获条件的在捕获图像时图像处理设备的转动半径和焦距来调整条带间偏移量的处理。

3.根据权利要求2所述的图像处理设备，还包括：

转动动量检测单元，该转动动量检测单元获取或计算在捕获图像时图像处理设备的转动动量；以及

平移动量检测单元，该平移动量检测单元获取或计算在捕获图像时图像处理设备的平移动量，

其中，通过使用从转动动量检测单元获取的转动动量和从平移动量检测单元获取的平移动量，图像合成单元执行计算在捕获图像时图像处理设备的转动半径的处理。

4.根据权利要求3所述的图像处理设备，其中，转动动量检测单元是检测图像处理设备的转动动量的传感器。

5.根据权利要求3所述的图像处理设备，其中，平移动量检测单元是检测图像处理设备的平移动量的传感器。

6.根据权利要求3所述的图像处理设备，其中，转动动量检测单元是通过分析捕获的图像来检测在捕获图像时的转动动量的图像分析单元。

7.根据权利要求3所述的图像处理设备，其中，平移动量检测单元是通过分析捕获的图像来检测在捕获图像时的平移动量的图像分析单元。

8.根据权利要求3的图像处理设备，其中，图像合成单元使用从转动动量检测单元获取的转动动量θ和从平移动量检测单元获取的平移动量t来执行通过利用公式“R=t(2sin(θ/2))”计算在捕获图像时图像处理设备的转动半径R的处理。

9.一种成像设备，包括：

成像单元；和

根据权利要求1到8中的任意一项的执行图像处理的图像处理单元。

10.一种在图像处理设备中使用的图像处理方法，该图像处理方法包括：

通过使用图像合成单元，通过连接从在互不相同的位置处捕获的多个图像中的每一个图像中裁剪出的条状区域来生成合成图像，

其中，生成合成图像包括：

通过连接和合成在每个图像中设置的左眼图像条的处理来生成用于显示三维图像的左眼合成图像；以及

通过连接和合成在每个图像中设置的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且

该图像处理方法还包括：通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

11.一种使得图像处理设备执行图像处理的程序，该程序允许：

通过使用图像合成单元，通过连接从在互不相同的位置处捕获的多个图像中的每一个图像中裁剪出的条状区域来生成合成图像，

其中，在生成合成图像时，通过连接和合成在每个图像中设置的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并且，通过连接和合成在每个图像中设置的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且

该程序使得还通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

Claims (11)

1.一种图像处理设备，包括：

图像合成单元，该图像合成单元接收在互不相同的位置处捕获的多个图像作为输入，并通过连接从这些图像中裁剪出的条状区域来生成合成图像，

其中，图像合成单元被配置为：通过连接和合成设置在每个图像中的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并通过连接和合成设置在每个图像中的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且

图像合成单元通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

2.根据权利要求1所述的图像处理设备，其中，图像合成单元执行根据作为图像捕获条件的在捕获图像时图像处理设备的转动半径和焦距来调整条带间偏移量的处理。

3.根据权利要求2所述的图像处理设备，还包括：

转动动量检测单元，该转动动量检测单元获取或计算在捕获图像时图像处理设备的转动动量；以及

平移动量检测单元，该平移动量检测单元获取或计算在捕获图像时图像处理设备的平移动量，

其中，通过使用从转动动量检测单元获取的转动动量和从平移动量检测单元获取的平移动量，图像合成单元执行计算在捕获图像时图像处理设备的转动半径的处理。

4.根据权利要求3所述的图像处理设备，其中，转动动量检测单元是检测图像处理设备的转动动量的传感器。

5.根据权利要求3所述的图像处理设备，其中，平移动量检测单元是检测图像处理设备的平移动量的传感器。

6.根据权利要求3所述的图像处理设备，其中，转动动量检测单元是通过分析捕获的图像来检测在捕获图像时的转动动量的图像分析单元。

7.根据权利要求3所述的图像处理设备，其中，平移动量检测单元是通过分析捕获的图像来检测在捕获图像时的平移动量的图像分析单元。

8.根据权利要求3的图像处理设备，其中，图像合成单元使用从转动动量检测单元获取的转动动量θ和从平移动量检测单元获取的平移动量t来执行通过利用公式“R=t(2sin(θ/2))”计算在捕获图像时图像处理设备的转动半径R的处理。

9.一种成像设备，包括：

成像单元；和

根据权利要求1到8中的任意一项的执行图像处理的图像处理单元。

10.一种在图像处理设备中使用的图像处理方法，该图像处理方法包括：

通过使用图像合成单元，接收在互不相同的位置处捕获的多个图像作为输入，并通过连接从这些图像裁剪出的条状区域来生成合成图像，

其中，生成合成图像包括：

通过连接和合成在每个图像中设置的左眼图像条的处理来生成用于显示三维图像的左眼合成图像；以及

通过连接和合成在每个图像中设置的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且

该图像处理方法还包括：通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

11.一种使得图像处理设备执行图像处理的程序，该程序允许：

通过使用图像合成单元，接收在互不相同的位置处捕获的多个图像作为输入，并通过连接从这些图像裁剪出的条状区域来生成合成图像，

其中，在生成合成图像时，通过连接和合成在每个图像中设置的左眼图像条的处理来生成用于显示三维图像的左眼合成图像，并且，通过连接和合成在每个图像中设置的右眼图像条的处理来生成用于显示三维图像的右眼合成图像，并且

该程序使得还通过根据图像捕获条件改变偏移量来执行左眼图像条和右眼图像条的设置处理，从而使得与左眼合成图像与右眼合成图像的捕获位置之间的距离对应的基线长度被保持为几乎不变，其中，偏移量为左眼图像条与右眼图像条之间的条带间距离。

Images