CN103907341B - 图像生成装置和图像生成方法 - Google Patents

Abstract

分量图像生成单元(20)生成分量图像，其中，关于移动设备的姿势的信息与使用内置于该移动设备的前部相机和后部相机捕获的图像相关联。全景图像生成单元(30)通过合成多个分量图像来生成合成图像，在该多个分量图像中移动设备的姿势是彼此不同的。图像模式切换单元(94)在双侧合成图像成像模式和单侧合成图像成像模式之间切换，在双侧合成图像成像模式中，通过连接借助于前部相机捕获的半周合成图像和借助于后部相机捕获的半周合成图像来成像整周的合成图像；在单侧合成图像成像模式中借助于前部相机和后部相机成像整周的合成图像。

Description

图像生成装置和图像生成方法

技术领域

本发明涉及一种图像生成装置和方法。具体地，本发明涉及一种用于生成合成图像的装置和方法。

背景技术

数码静止相机和数码视频摄像机广泛流行，并且拾取的静止画面或运动画面被存储到计算机中、并被读取或处理或显示在游戏机或电视(TV)系统的屏幕上的机会正在增加。此外，还流行将拾取的运动画面上传到互联网的发帖网站，以及将该运动画面分享给不同的相机用户。

有些数码相机能够拾取全景图像，并且容易地拾取具有宽视角的全景图像已成为可能。还经常利用一种软件工具，用于通过将由数码相机拾取的、图像拾取方向连续变化的多个图像粘贴在一起来生成全景图像。

此外，诸如具有相机的便携电话机的便携设备是可得的，其中，提供了全景图像拾取模式或用于合成全景图像的应用，并且当便携设备的倾斜连续变化时，可以拾取多个图像并将该多个图像自动合成为全景图像。

【引用列表】

【专利文献】

【专利文献1】

JP2011-76249A

发明内容

【技术问题】

如果使用包括前侧相机和后侧相机的便携设备中的双侧相机实现全景图像拾取，则便携设备的相机操作者被无意地反映在前侧相机中或者由于前侧相机和后侧相机之间的布置的偏移而在全景图像中出现视差。因此，存在一个问题，即，使用双侧相机的全景图像拾取不能总是实现为用户所想要的那样。

鉴于上述问题而作出本发明，并且本发明的一个目的是提供一种能够使用双侧相机容易地生成合成图像的技术。

【问题的解决方案】

为了解决上述问题，本发明的一个模式的图像生成装置包括：分量图像生成单元，被配置为生成分量图像，其中便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；合成图像生成单元，被配置为组合其中所述便携设备的姿势不同的多个分量图像以生成合成图像；以及图像拾取模式切换单元，被配置为在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像。当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成单元组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。

本发明的另一模式是一种图像生成方法。该方法包括：分量图像生成步骤，生成分量图像，其中，便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；合成图像生成步骤，组合其中所述便携设备的姿势不同的多个分量图像以生成合成图像；以及图像拾取模式切换步骤，在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像。当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成步骤组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。

还应注意，上述组件的任意结合以及在方法、装置、系统、计算机程序、数据结构、记录介质等之间变换的本发明的各种表示可有效地作为本发明的模式。

【本发明的有益效果】

利用本发明，可以容易地使用双侧相机生成合成图像。

附图说明

【图1】

图1(a)和1(b)是用于全景图像拾取的便携终端的外观图。

【图2】

图2是示出便携终端的倾斜的视图。

【图3】

图3(a)和3(b)是示出便携终端的方位(orientation)的视图。

【图4】

图4(a)至4(d)是示出当使用便携终端的后侧相机拾取全景图像时的图像拾取方向的视图。

【图5】

图5(a)和5(b)是示出相机的方位角θ和相机的仰角(elevation angle)φ的视图。

【图6】

图6(a)至6(c)是示出当便携终端的后侧相机的初始位置在方位角θ的方向时所拾取的全景图像的视图。

【图7】

图7(a)至7(c)是示出当后侧相机的仰角φ＝60度时所拾取的全景图像的视图。

【图8A】

图8A是示出将多个图像彼此连接以生成全景图像的方法的视图。

【图8B】

图8B是示出将多个图像彼此连接以生成全景图像的另一法的视图。

【图9】

图9是全景图像生成装置的功能框图。

【图10】

图10是示出全景图像的图像拾取过程的流程图。

【图11】

图11是示出图10的图像拾取时机判定处理的详细过程的流程图。

【图12】

图12(a)至12(c)是示出图像拾取导引(guide)部分的全景图像拾取导引的视图。

【图13】

图13(a)和13(b)是示出分量图像和全景图像的示例的视图。

【图14】

图14是示出图像拾取期间的全景图像的视图。

【图15】

图15是示出全景图像拾取的图像拾取顺序的导引的示例的视图。

【图16】

图16是透视(see-through)型头戴式显示器的示意图。

【图17】

图17(a)和17(b)是示出透视型HMD的显示屏幕图像的示例的视图。

【图18】

图18是根据不同实施例的全景图像生成装置的功能框图。

【图19】

图19是示出根据不同实施例的全景图像的图像拾取过程的流程图。

【图20】

图20是示出图19的自身位置估计处理的详细过程的流程图。

【图21】

图21(a)和21(b)是描绘在彼此相邻的两个分量图像之间检测到的控制点的视图。

【图22】

图22是示出其中基于控制点对准和合成两个相邻分量图像的方式的视图。

【图23】

图23是示出用于推动调整相机位置的偏移的导引的示例的视图。

【图24】

图24是根据另一不同实施例的全景图像生成装置的功能框图。

【图25】

图25是示出根据另一不同实施例的全景图像的图像拾取过程的流程图。

【图26】

图26(a)至26(c)是示出对其设置了关注区域的拾取的图像的格式的示例的视图。

【图27】

图27(a)至27(f)是示出由用户在触摸面板上设置关注区域的方法的视图。

【图28】

图28是示出设置到α平面或者专用于与全景图像重叠的层上的关注区域的视图。

【图29】

图29是根据又一不同实施例的全景图像生成装置的功能框图。

【图30】

图30(a)至30(c)是示出便携终端的前侧相机和后侧相机之间的布置和视差的视图。

【图31】

图31(a)是示出由后侧相机拾取的圆柱形图像的视图，图31b)是示出由前侧相机拾取的圆柱形图像的视图。

【图32】

图32(a)是示出由后侧相机拾取的后侧全景图像的视图，图32(b)是示出由前侧相机拾取的前侧全景图像的视图。

【图33】

图33是示出一种状态的视图，在该状态中，由后侧相机拾取的后侧全景图像和由前侧相机拾取的前侧全景图像彼此连接。

【图34】

图34是示出由前侧相机拾取的前侧全景图像和由后侧相机拾取的后侧全景图像的示例的视图。

【图35】

图35是示出当前侧全景图像和后侧全景图像之间的一致性很低时的导引的示例的视图。

【图36】

图36是示出根据再一不同实施例的全景图像的图像拾取过程的流程图。

【图37】

图37是示出图36的双侧相机的全景图像拾取处理的详细过程的流程图。

【图38】

图38是示出一种便携终端的视图，在该便携终端中，并入了具有在位置和方向上彼此不同的光轴的两个相机。

【图39】

图39是示出一种便携终端的视图，在该便携终端中，并入了具有在位置上彼此不同的光轴的三个相机。

【图40】

图40是示出一种便携终端的视图，在该便携终端中，并入了具有在方向上彼此不同的光轴的三个相机。

【图41】

图41(a)和41b)是示出一种便携终端的视图，在该便携终端中，并入了具有不同于彼此的性质的两个相机。

【图42】

图42(a)至42(c)是示出并入在便携终端中的相机的数量和方向的变型的视图。

【图43】

图43是示出一种便携终端的视图，在该便携终端中，并入了四个相机。

【图44】

图44(a)和44(b)是示出一种便携终端的视图，在该便携终端中，并入了可以调整其方向的可移动相机。

具体实施方式

(实施例1)

图1(a)和1(b)是用于全景图像拾取的便携终端200的外观图。便携终端200包括相机210和212以及显示器240，并且可以执行各种类型的应用。便携终端200可具有通信功能。

图1(a)描绘了便携终端200的前面。前侧(前)相机210和显示器240设置在便携终端200的前面上。例如，用户可以使用前侧相机210拾取自己的面部图像，并在显示器240上显示所拾取的图像或将所拾取的图像作为运动画面或静止画面发送给通信伙伴。显示器240可以包括触摸面板。用户可以在观看显示器240的屏幕图像的同时，直接用手指触摸触摸面板以将操作输入到显示器240的屏幕。

图1(b)描绘了便携终端200的后面。后侧(后)相机212设置在便携终端200的后面上。例如，用户可以使用后侧相机212拾取景色或朋友的图像，并在显示器240上显示所拾取的图像或将所拾取的图像作为运动画面或静止画面发送给通信伙伴。也可以在便携终端200的后面上设置触摸面板。因此，用户可以拿着便携终端200，并在观看便携终端200的前面上的显示器240的同时，利用手指触摸便携终端200的后面上的触摸面板以输入预定的操作。

应注意，便携终端200的前侧相机210是可选项，并且可以仅提供后侧相机212。

便携终端200包括三轴陀螺(角速度)传感器、三轴加速度传感器和三轴地磁传感器中的至少一个，并可以检测便携终端200相对于三个轴的倾斜以获取姿势信息。此外，该三轴地磁传感器可以检测相对于三个轴的地磁向量以获取方位信息。便携终端200可以进一步包括GPS(全球定位系统)接收器作为可选项，以便它可以从GPS获取位置信息。此外，便携终端200可包括用于无线通信的收发器(transmitter-receiver)，以从无线基站获取位置信息。

虽然这里描述便携终端200作为用于全景图像拾取的便携设备的一个示例，但用于全景图像拾取的便携设备可以是包括三轴陀螺传感器、三轴加速度传感器和三轴地磁传感器中的至少一种、并且可以拾取静止画面或运动画面的数码相机。可替换地，用于全景图像拾取的便携设备可以是游戏机或便携电话机。

图2是示出便携终端200的倾斜的图。如果便携终端200的显示面被放置在XZ平面上，并且垂直于显示面的方向被定义为Y轴，则便携终端200绕X轴的旋转是倾翻(tilting)；绕Y轴的旋转是转动(rolling)；并且绕Z轴的旋转是摇翻(panning)。便携终端200具有并入在其中的三轴陀螺传感器、三轴加速度传感器和三轴地磁传感器中的至少一种，并且可以通过检测便携终端200的倾翻、转动和摇翻来检测便携终端200相对于三个轴的倾斜。因此，能够获得当由用户拿着便携终端200时的便携终端200的姿势信息。也可以通过陀螺传感器和/或加速度传感器检测便携终端200的移动方向或移动速度。

图3(a)和3(b)是示出便携终端200的方位的图。在便携终端200中并入有三轴地磁传感器，并可以如图3(a)所描绘的那样，检测具有三轴分量的地磁向量F。由于三轴陀螺传感器和/或三轴加速度传感器如上所述那样并入在便携终端200中，因此也可以检测重力向量V。

图3(b)是示出根据地磁向量F和重力向量V确定方位向量H的方法的图。如果地磁向量F被投影到垂直于重力向量V的水平平面260，则可以获得方位向量H。方位向量H是地磁的水平分量，并提供绝对方位。以这种方式，无论便携终端200具有那种倾斜，都可以使用由三轴陀螺传感器和/或三轴加速度传感器检测到的重力向量V以及由三轴地磁传感器检测到的地磁向量F检测北、南、东、西的绝对方位。

此外，如果在便携终端200中并入有GPS传感器，那么也可以获得如纬度和经度的位置信息。

如果使用便携终端200的姿势信息和方位信息，则当便携终端200的倾斜连续变化时由便携终端200的相机所拾取的图像可彼此缝合(缝上)以生成天球全景图像。该缝合方法可以类似于摇翻-倾翻(pan-tilt)相机生成天球全景图像的方法。如果使用来自三轴陀螺传感器和/或三轴加速度传感器的姿势信息，则可以获得相机的摇翻角(pan angle)和倾翻角。此外，如果使用来自三轴地磁传感器的方位信息，则相机的摇翻角可以与绝对方位角相关联。这使得有可能在即使诸如摇翻-倾翻相机这样的昂贵设备不可得时，也能由便携终端200的相机进行全景图像拾取。

图4(a)至4(d)是示出当便携终端200的后侧相机212被用于拾取全景图像时的图像拾取方向的图。也可以使用便携终端200的前侧相机210拾取全景图像，并且根据需要，也可以使用前侧相机210和后侧相机212两者拾取全景图像。然而，为了简化描述，对在其中使用后侧相机212拾取全景图像的情况进行描述。

如图4(d)所示，用户将自由地倾翻便携终端200以通过后侧相机212拾取图像。如果便携终端200绕Z轴旋转，则相机的摇翻角变化；如果便携终端200绕X轴旋转，则相机的倾翻角变化；并且如果便携终端200绕Y轴旋转，则相机的转动角变化。这里，Z轴是垂直轴(在重力的方向上的轴)。

图4(a)是便携终端200的俯视图。便携终端200的后侧相机212的初始方向(Y轴方向)被定义为0度的摇翻角。后侧相机212的摇翻角可以绕Z轴任意改变(作为示例，在从-180度到+180度的范围内)。

图4(b)是便携终端200的前立面视图。用户水平地保持便携终端200的水平延长的侧面的状态被定义为0度的转动角。后侧相机212的转动角可以绕Y轴任意改变(作为示例，在从-180度到+180度的范围内)。

图4(c)是便携终端200的侧立面视图。垂直于地面地保持便携终端200的后面的状态被定义为0度的倾翻角。后侧相机212的倾翻角可以绕X轴任意改变(作为示例，在从-90度到+90度的范围内)。

为了提供与由图4(d)的便携终端200的后侧相机212拾取的全景图像的图像拾取方位有关的信息，必须记录在图像拾取时便携终端200的后侧相机212被定向到哪个方位。为此，使用并入在便携终端200中的三轴陀螺传感器和/或三轴加速度传感器以及三轴地磁传感器。

图5(a)是示出便携终端200的后侧相机212的方位角θ的图，图5(b)是示出便携终端200的后侧相机212的仰角的图。图5(a)是便携终端200的俯视图，后侧相机212在图像拾取的初始位置被定向到从正北向东偏移方位角θ的方向220。该角度对应于0度的摇翻角。换句话说，摇翻角的基准方向220的方位角是θ。当拾取全景图像时，作为示例，在摇翻角相对于方位角θ的基准方向220在-180度到+180度的范围内连续变化的同时，拾取对象的全景图像。

图5(b)是便携终端200的侧立面视图，并且仰角是在以下情况下的角度：当后侧相机212绕X轴的旋转时，0度的倾翻方向(即相对于Y轴方向的向上方向)被定义为正方向。由于通常将后侧相机212设置到水平位置来实现图像拾取，因此仰角是0度。然而，为了拾取天球全景图像，有必要通过连续地倾翻相机以改变仰角来连续地拾取对象的图像。

图6(a)至6(c)是示出当便携终端200的后侧相机212的初始位置在方位角θ的方向时所拾取的全景图像的图。

如在图6(a)的俯视图中所描绘的那样，初始位置的后侧相机212被定向到方位角θ的方向220，并且如在图6(b)的侧立面视图中所描绘的那样，后侧相机212的仰角是0度。当仰角保持0度，后侧相机212的摇翻角相对于基准方向220在-180度到+180度的范围内连续变化时，拾取仰角度的全向全景图像。图6(c)描绘了以这种方式拾取的全景图像300。全景图像300的中心是处于0度的摇翻角处，全景图像300的左半部是当摇翻角从0度到-180度连续变化时拾取的图像，全景图像300的右半部分是当摇翻角从0度到+180度连续变化时拾取的图像。

由于全景图像300的0度摇翻角的中心位置从正北向东偏移方位角θ，所以北(N)、南(S)、东(E)、西(W)的位置如虚线所示。仅当在全景图像300具有0度摇翻角的中心位置的方位角θ作为与图像拾取方位有关的信息时，可以通过考虑方位角θ的偏移进行计算来确定北(N)、南(S)、东(E)、西(W)的像素位置。可替换地，代替方位角θ，可以使用北(N)、南(S)、东(E)、西(W)的像素位置的坐标值作为与图像拾取方向有关的信息。

为了获得天球的全景图像，有必要通过连续地改变后侧相机212的仰角来实现图像拾取。例如，如果假定后侧相机212的视角是60度，则如果后侧相机212向上和向下倾翻±60度，原则上可以得到天球的全景图像，并且在这种状态下，连续地在-180度到+180度的范围内改变摇翻角，实现类似的图像拾取。

图7(a)至7(c)是示出当后侧相机212的仰角是60度时拾取的全景图像的图。如在图7(a)的俯视图中所描绘的那样，初始位置的后侧相机212被定向到方位角θ的方向220，并且如在图7(b)的侧立面视图中所描绘的那样，后侧相机212的仰角是60度。当后侧相机212的仰角保持60度，后侧相机212的摇翻角相对于基准方向220在-180度到+180度的范围内连续变化时，拾取这种如图7(c)所描绘的仰角度的全景图像302。

类似地，当后侧相机212的仰角保持-60度，摇翻角在-180度到+180度的范围内连续变化时，拾取仰角度的全景图像。如果组合仰角 度、60度、-60度的全景图像，则可以得到天球全景图像。然而，在实际的合并中，为了在视角的边界区域将图像粘在一起时校正源于透镜失真的非对准，经常采用这样一种拾取图像的方法，使得在边界附近的图像部分彼此重叠。

以这种方式获得的天球全景图像具有方位角和对其添加的仰角的信息，并且可以基于该信息关于全景图像的任意像素指定方位和仰角。此外，由GPS测得的经度和纬度信息可以作为图像拾取地点的位置信息而被添加到全景图像。作为示例，可以在符合被称为Exif(可交换图像文件格式)的用于图像文件的标准的情况下记录要添加到全景信息的附加信息。可以将图像拾取地点的地名记录成文件名的一部分，并记录图像拾取日期和时间，图像拾取地点的纬度和经度、高度、方位角等可以被记录为Exif格式的数据。应注意，由于目前在Exif格式中没有定义仰角，所以它被记录为扩展数据。

图8A和8B是示出通过连接多个图像生成全景图像的方法的图。

在图8A的示例中，当后侧相机212连续倾翻(或摇翻)时拾取的七个图像341到347首先被圆柱状地(cylindrically)映射，然后被彼此连接以生成圆柱形(cylindrical)图像340。当图像被彼此连接时，在图像边界附近的图像部分彼此重叠。

如果后侧相机212连续地摇翻(或倾翻)以拾取图像，则如图8B所描绘的那样，在摇翻方向(或倾翻方向)上获得多个如图8A所描绘的圆柱形图像。如果合成圆柱形图像340a至340f，使得在图像边界附近的图像部分彼此重叠，则最终获得全向全景图像360。

图9是全景图像生成装置100的功能框图。全景图像生成装置100的一些或所有功能组件可以由便携终端200的硬件、软件或硬件和软件的组合来并入。一些功能组件可以并入在服务器中，而一些功能组件并入在客户端中，使得它们被合并作为在其间插入有网络的服务器-客户端系统。

三轴陀螺传感器62在X轴、Y轴和Z轴三个方向上检测便携终端200的角速度，并将检测到的角速度提供给姿势检测单元60。三轴加速度传感器64在X轴、Y轴和Z轴三个方向上检测便携终端200的加速度，并将检测到的加速度提供给姿势检测单元60。姿势检测单元60使用三轴陀螺传感器62和/或三轴加速度传感器64的检测结果，以检测便携终端200的倾斜的三轴分量，即，倾翻角、转动角和摇翻角。姿势检测单元60将检测到的便携终端200的倾翻角、转动角和摇翻角作为姿势信息提供给摇翻角-仰角计算单元70。

尽管便携终端200可以仅并入三轴陀螺传感器62和三轴加速度传感器64中的一个，但如果并入了这两者，则可以因为它们弥补了缺点而改善姿势信息的检测准确度。虽然三轴陀螺传感器62也可以在移动期间进行测量，但它具有连续累积漂移(drift)误差的缺点。虽然三轴加速度传感器64能够在它处于静止状态时根据重力加速度检测姿势角度，但在其移动期间会出现错误。

因此，例如，姿势检测单元60执行三轴陀螺传感器62和三轴加速度传感器64的输出的加权平均，以提高检测准确度。当计算加权平均时，在移动期间，三轴陀螺传感器62的检测分量的权重相对于三轴加速度传感器64的检测分量增加。另一方面，当三轴陀螺传感器62和三轴加速度传感器64的被视为基本上处于静止状态时，三轴加速度传感器64的检测分量的权重相对于三轴陀螺传感器62的检测分量的权重增加。因此，在静止状态下，三轴陀螺传感器62的偏离漂移由三轴加速度传感器64的输出校正，但在移动期间，依赖于三轴陀螺传感器62的输出而非三轴加速度传感器64的输出，由此可以检测到更高精度的姿势信息。

作为另一种方法，姿势检测单元60也可以使用三轴地磁传感器68的检测结果来检测便携终端200的倾斜的三轴分量。如果三轴地磁传感器68跟踪地磁向量以检测便携终端200绕X轴、Y轴和Z轴的旋转，则可以检测便携终端200的倾斜的三轴分量，即，倾翻角、转动角和摇翻角。如果并入在便携终端200中的三轴地磁传感器68是倾斜的，则所检测的地磁向量的方向改变。如果观察点不变化很大，则由于地磁向量被定向到固定的方向，所以可以检测便携终端200的姿势自它的初始位置的变化。如果附加地使用三轴加速度传感器64，则由于可以检测到垂直方向，因此还可以检测到初始姿势。

如果测量每单位时间由三轴地磁传感器68检测出的三维地磁向量的旋转角度，则可以确定角速度。因此，三轴地磁传感器68可以用来代替陀螺传感器。这被称为磁陀螺功能。此外，如果确定自初始位置的变化角度，则由于可以检测到倾斜，所以该三轴地磁传感器68可以用作三轴姿势传感器。然而，当地磁向量与摇翻轴或倾翻轴重合时，则不能确定绕该轴的旋转角度。

如果三轴陀螺传感器62或三轴加速度传感器64与三轴地磁传感器68结合使用，则可以高精度地测量方位和姿势两者。

如上所述，姿势检测单元60可通过三轴陀螺传感器62自身、三轴加速度传感器64自身、三轴地磁传感器68自身、三轴陀螺传感器62和三轴加速度传感器64的结合、三轴地磁传感器68和三轴陀螺传感器62的结合、三轴地磁传感器68和三轴加速度传感器64的结合、三轴陀螺传感器62、三轴加速度传感器64和三轴地磁传感器68的结合中的任一种确定便携终端200的倾斜的三轴分量。

三轴地磁传感器68检测在X轴、Y轴和Z轴方向上的地磁向量的分量，并将检测到的分量提供给方位检测单元66。方位检测单元66基于三轴陀螺传感器62或者三轴加速度传感器64检测到的重力向量和三轴地磁传感器68检测到的地磁向量确定作为地磁向量的水平分量的方位向量。然后，方位检测单元66将方位向量的分量作为方位信息提供给摇翻角-仰角计算单元70。

摇翻角-仰角计算单元70基于从姿势检测单元60向其提供的便携终端200的姿势信息，确定表示便携终端200的相机的图像拾取方向的摇翻角和仰角，并将所确定的摇翻角和仰角提供给分量图像生成单元20。如果从方位检测单元66提供方位信息，则摇翻角-仰角计算单元70可以将相机的摇翻角与绝对方位相关联。

GPS接收器74从GPS接收纬度和经度、高度和时间信息，并将接收到的信息提供给位置检测单元72。位置检测单元72将纬度和经度信息提供给分量图像生成单元20。GPS接收器74的并入是可选的。

图像拾取单元10控制前侧相机210和/或后侧相机212以拾取对象的图像，并将所拾取的图像记录在帧存储器12中。

图像拾取时机判定单元14判定图像拾取单元10的适当图像拾取时机，并为图像拾取单元10指示释放快门的时机。图像拾取时机判定单元14基于三轴陀螺传感器62和/或三轴加速度传感器64的传感器输出，判定是否存在相机的移动。此外，图像拾取时机判定单元14检测由图像拾取单元10拾取的运动画面的帧间差别并判定是否存在正在移动的对象。

图像拾取时机判定单元14在自动图像拾取模式的情况下指示图像拾取单元10在判定相机表现出无运动和不存在正在移动的对象的时刻拾取图像。在半自动图像拾取模式的情况下，图像拾取时机判定单元14省略移动体的检测而指示图像拾取单元10在判定相机表现无运动的时刻拾取图像。在手动图像拾取模式的情况下，图像拾取时机判定单元14允许用户释放快门，而不向图像拾取单元10指示图像拾取时机。

分量图像生成单元20将从摇翻角-仰角计算单元70向其提供的相机的摇翻角(或绝对方位角)和仰角与存储在帧存储器12中的拾取图像相关联地作为分量图像存储在分量图像存储单元22中。如果从位置检测单元72提供位置信息，则该分量图像生成单元20还将该位置信息与所拾取的图像相关联。

全景图像生成单元30缝合存储在分量图像存储单元22中的多个分量图像以合成全景图像，并将该全景图像存储在全景图像存储单元32中。

显示单元40在全景图像拾取时从分量图像存储单元22读取在合成为全景图像之前的多个拾取的分量图像，并在显示器240上显示读出的分量图像。因此，用户可以在显示器240上确认，仍有尚未拾取图像的区域以完成全景图像。

另一方面，显示单元40从全景图像存储单元32中读取合成的全景图像，并在显示器240上显示该全景图像。通信单元80将完成的全景图像发送给通信伙伴或将完成的全景图像上传到服务器。

非图像拾取区域判定单元24基于存储在分量图像存储单元22中的所拾取的分量图像的摇翻角和仰角的信息，判定不足以完成全景图像的分量图像的区域。非图像拾取区域判定单元24将指定了邻近于最近拾取的分量图像的、尚未拾取的分量图像的区域的信息提供给用户接口单元50的图像拾取导引部分52。

用户接口单元50的图像拾取导引部分52生成用于指导用户在由非图像拾取区域判定单元24指定的非拾取分量图像的区域中依次拾取图像的导引并导致显示单元40显示该导引。

图10是示出全景图像的图像拾取过程的流程图。

图像拾取时机判定单元14执行图像拾取时机判定处理(S10)。图像拾取单元10在由图像拾取时机判定单元14指定的图像拾取时机或由用户指定的图像拾取时机执行图像拾取，并将所拾取的图像记录到帧存储器12中(S12)。

姿势检测单元60获取便携终端200的姿势信息，即，倾翻角、转动角和摇翻角(S14)。

分量图像生成单元20将便携终端200的姿势信息与所拾取的图像相关联地作为分量图像存储在分量图像存储单元22中(S16)。便携终端200的姿势信息可以被转换成后侧相机212的摇翻角和仰角并与所拾取的图像相关联。在这两种情况下，如果缝合多个分量图像，则可以合成全景图像。可以基于便携终端200的姿势信息或后侧相机212的摇翻角和仰角的信息来连接分量图像。

非图像拾取区域判定单元24根据姿势信息或存储在分量图像存储单元22中的多个所拾取的分量图像的摇翻角和仰角的信息判定是否仍存在在尚未拾取图像并且不足以完成最终的全景图像的区域(S18)。如果没有尚未拾取图像的区域，则图像拾取结束(S18为“否”)。

如果仍然存在尚未拾取图像的区域(S18为“是”)，则图像拾取导引部分52导致在屏幕上显示箭头标记或发出音频导引以指导用户，使得接下来拾取尚未被拾取的、并且邻近于最近被拾取的分量图像的分量图像(S20)。

图11是示出图像拾取时机判定单元14在步骤S10的图像拾取时机判定处理的详细过程的流程图。

判定图像拾取模式是自动、半自动和手动模式中的哪一种(S30)。如果图像拾取模式是手动图像拾取模式，则用户将释放快门以将图像拾取时机指示给图像拾取单元10(S40)。

如果图像拾取模式是自动图像拾取模式，则基于三轴陀螺传感器62和三轴加速度传感器64的输出检测相机的运动(S32)。在此，“相机的运动”包括当图像拾取角度改变时相机的颤动或相机抖动。如果三轴陀螺传感器62检测到的倾斜数据的时间变化小于阈值TA，并且此外，三轴加速度传感器64检测到的倾斜数据的时间变化小于阈值TB，则判定没有相机的运动(S32为“否”)，处理前进到步骤S34。在任何其它情况下，判定有相机的运动(S32为“是”)，并且等待相机的运动消失。

然后，执行移动体检测(S34)。如果帧之间的绝对差小于阈值TC，则判定图像中未捕获到正在移动的对象(S34为“否”)，并且图像拾取时机判定单元14将这个时间点作为图像拾取时机指示给图像拾取单元10(S38)。如果帧之间的绝对差超过阈值TC(S34为“是”)，则重复步骤S32的相机的运动检测和步骤S34的移动体检测。

步骤S34中的移动体检测处理优选地被配置成使得尽管允许诸如正在远方行走的人的移动体，但不允许附近视野中的移动体。这是因为，如果移动体在附近的视野中，那么这将导致全景图像的合成中的不便。因此，当根据帧间差别检测出运动的区域大于预定尺寸时，可以判定捕获到了移动体，但在任何其它情况下，可以判定没有捕获到移动体。

如果检测到移动体，则可向用户寻求执行图像拾取的许可。例如，显示或通过声音输出任一消息，例如，“某物在移动。如果要在这种情况下继续进行图像拾取，那么请按下确定按钮。”，并且如果用户发出图像拾取指令，则即使检测到移动体，也可执行图像拾取。如果用户不允许图像拾取，则在等待到不再检测到移动体之后执行图像拾取。

当图像拾取模式是半自动图像拾取模式时，图像拾取时机判定单元14在步骤S32执行相机的运动检测，但跳过步骤S34的移动体检测。图像拾取时机判定单元14将被判定没有相机的运动的时间点作为图像拾取时机指示给图像拾取单元10(S38)。

图12(a)至12(c)是示出图像拾取导引部分52的全景图像拾取导引的图。

如图8A和8B所示，全景图像360由扇区分量图像互相重叠而形成。然而，这里，整个天球被按照相机的视角简单地划分成网格状单元(cell)，并且为了简化描述，分量图像由这些单元所表示。

图12(a)示出了一种方法，其中当摇翻角在约-180度到约+180度的范围内连续变化而保持相机仰角固定的同时，执行分量图像的拾取，改变仰角，重复该方法以拾取全天球的图像。在该图像拾取方法中，由于三轴陀螺传感器62的偏离漂移累积，所以误差在图像拾取方向上累积。

与此相反，图12(b)示出了另一种方法，其中，当仰角在约-90度到约+90度的范围内连续变化而保持摇翻角固定的同时，执行分量图像的拾取，改变摇翻角，重复该方法以拾取全天球的图像。如箭头标记所示，在某一摇翻角处仰角从约-90度改变为约90度而拾取分量图像之后，在下一摇翻角，在仰角从约-90度连续改变为约90度的同时拾取分量图像。通过该方法，在摇翻角的转向处可以保证图像拾取区域的连续性。如果以图12(b)的箭头标记的顺序执行图像拾取，则由于摇翻角仅旋转一周，所以不累积三轴陀螺传感器62的漂移误差，并且可以检测到准确的图像拾取方向。

如图12(c)的箭头标记所示，在同时使用前侧相机210和后侧相机212的情况下，当前侧相机210在仰角连续地从约-90度改变到约90度的同时拾取分量图像时，后侧相机212可以在仰角连续地从约-90度改变到约90度时以180度不同的摇翻角拾取分量图像。

图13(a)和13(b)是示出分量图像和全景图像的示例的图。同样地在这里，假定分量图像是网格状单元而给出描述。图13(a)描绘了网格状分量图像的示例。图13(b)描绘了通过缝合分量图像而合成的全景图像的示例。

图14是示出图像拾取期间的全景图像的图。显示了已经拾取的分量图像，并且空白网格是尚未拾取的分量图像的区域。作为下一个要被拾取的分量图像，从不包括所拾取的图像的区域内选择邻近于最近拾取的分量图像270的分量图像的区域271。由于优选拾取分量图像的顺序是使得如图12(b)所示的那样，在仰角连续地改变而摇翻角保持固定的情况下拾取分量图像，所以分量图像的图像拾取顺序的导引是诸如箭头标记所示的那样。

图15示出了全景图像拾取的图像拾取顺序的导引的示例。在显示器240的屏幕的右下区域，显示了当前正在被拾取的图14的全景图像，并且通过箭头标记表示下一要被拾取的分量图像的区域。因此，用户可以辨别目前全景图像的图像拾取到达了哪个点。

在显示器240的屏幕的左侧区域中，目前正由相机拾取的图像272被显示并扮演取景器的角色。通过大箭头标记273表示下一要拾取的区域。自动地或是手动地指定图像拾取时机。在图像拾取结束后，用户将在箭头标记的方向上摇翻或倾翻相机以进入下一分量图像的图像拾取。

基于三轴陀螺传感器62和/或三轴加速度传感器64对移动方向和移动速度的检测结果，在屏幕上显示类似“请在箭头标记的方向慢慢移动相机”的消息。该消息可以由语音输出。如果相机的移动速度过高，则该消息或箭头标记可以在颜色上进行改变以警告。另一方面，如果相机的位置移动，则相机的旋转中心偏移并导致错误。当通过在后述的实施例2的描述中所描述的自身位置估计检测相机位置的变化时，显示如同“相机的旋转中心已经偏移！”这样的警告消息。

图16是透视型头戴式显示器(HMD)250的示意图。这是一个应用示例，其中在图9中所描绘的功能配置被安装在透视型HMD250中。透视型HMD250包括相机、三轴陀螺传感器和/或三轴加速度传感器、三轴地磁传感器和显示器252。用户将像眼镜那样戴上透视型HMD250，并在观看可以穿过显示器252看到的外界和在显示器252上显示的图像的同时执行全景图像拾取。

图17(a)和17(b)是示出透视型HMD250的显示器252的屏幕图像的示例的图。如图17(a)所示，由实线表示的图像拾取区域254位于显示器252的中心，图像拾取区域254的图像被拾取并作为与相机的摇翻角和仰角相关联的分量图像进行存储。用虚线表示的导引区域256是要拾取下一图像的区域。向左指向的箭头标记258被显示在屏幕上，使得用户可以向左转动头部，并面向导引区域256的方向。

图17(b)描绘了当用户将头部转向左侧时显示器252的屏幕图像的示例。由实线表示的图像拾取区域254和由虚线表示的导引区域256位于屏幕中心。用户将移动头部，使得在显示器252上表示的实线的四边形(图像拾取区域254)和虚线的四边形(导引区域256)可以互相重合。当导引区域256和图像拾取区域254几乎彼此重叠时，自动执行图像拾取并获得分量图像。多个已经拾取的分量图像可以并置(juxtaposed)关系显示在显示器252的角落，使得用户能够掌握全景图像的图像拾取已进展到何种程度。

如上所述，利用本实施例的全景图像生成装置，通过使用三轴陀螺传感器和/或三轴加速度传感器缝合拾取的图像，可以简单地合成全景图像。如果附加地使用三轴地磁传感器，则绝对方位可以与全景图像相关联。因此，即使不使用具有相机平台的昂贵摇翻-倾翻相机，也可以简单地通过具有相机的便携终端200以低成本拾取全景图像。

由于现有的全景图像合成方法使用图像匹配，所以当在缝合时图像特征点不能彼此相关联时，难以合成全景图像。尤其是，在对象在图像中不包括特征点，如天空或白色的墙壁，并且不允许关联的情况下，通过图像匹配的缝合是不可能的。在这方面，利用本实施例的全景图像生成装置，即使图像不具有特征点，也由于来自三轴陀螺传感器和/或三轴加速度传感器的相机的摇翻角和仰角可以与拾取的图像相关联，而可以准确地合成天球全景图像。

然而，由于在三轴陀螺传感器和/或三轴加速度传感器的姿势检测中包含误差，所以当最终要合成全景图像时，如果附加地应用图像匹配，则可以生成高画面质量的全景图像。

此外，根据现有的通过图像匹配的全景合成，由于需要时间用于图像处理，所以难以在执行图像拾取的同时实时地判定全景图像的非图像拾取区域。在这方面，利用本实施例的全景图像生成装置，即使不应用图像匹配，也由于可以基于从三轴陀螺传感器和/或三轴加速度传感器获得的姿势信息执行所拾取图像的缝合，而可能实时地检测非图像拾取区域和指导下一图像拾取区域。也可以指导用户，使得用户可以基于三轴陀螺传感器和/或三维加速度传感器检测到的移动速度缓慢地移动便携终端200。

传统上，如果试图在便携终端的相机或类似物正被摇翻和/或倾翻时拾取全景图像，则难以从相机的运动或旋转轴的偏移生成准确的全景图像。然而，利用本实施例的全景图像生成装置，由于通过三轴陀螺传感器和/或三轴加速度传感器检测相机的运动，并且当没有相机的运动时自动释放快门以拾取图像，所以即使在由便携终端200拾取的全景图像中也可以抑制相机的运动的不良影响。此外，如果还附加地执行移动体检测，并且在没有检测到移动体的时刻执行图像拾取，则有可能获得不包括移动人体和物体的拾取图像以生成全景图像。

(实施例2)

图18是根据实施例2的全景图像生成装置100的功能框图。实施例2的全景图像生成装置100除了上述实施例1的全景图像生成装置100的组件1之外还包括特征点提取单元82、自身位置估计单元84和相机位置偏移判定单元86，并具有估计便携终端200的相机位置以使用户调整相机位置的偏移的功能。其它组件和功能与实施例1的全景图像生成装置100的组件和功能是相同的，因此，在此省略对它们的描述。

特征点提取单元82提取存储在分量图像存储单元22中的多个分量图像中相邻的并且摇翻角或倾翻角彼此不同的分量图像之间的特征点，以检测用于将相邻分量图像彼此相关联的控制点。特征点提取单元82将相邻分量图像之间彼此相关联的特征点的信息提供给自身位置估计单元84。此外，特征点提取单元82将检测到的控制点提供给全景图像生成单元30。控制点是相邻分量图像之间彼此相关联的特征点中的全部或一些。

图21(a)和21(b)是描绘在两个相邻分量图像401和402之间检测到的控制点的图。这里，检测到九个控制点。

图22是示出其中基于控制点将两个相邻分量图像401和402彼此对准和组合的方式的图。全景图像生成单元30相对于分量图像401旋转分量图像402以将它们组合起来，使得两个图像的控制点(由图22中的圆形标记所示)在相邻分量图像401和402的重叠区域中彼此尽可能重合。

自身位置估计单元84基于有关两个相邻分量图像的、这些图像的特征点的二维坐标的信息，同时估计这些特征点的三维坐标和相机位置的坐标，在所述相机位置处拾取各个分量图像。因为当拾取两个分量图像时的相机位置彼此偏移，所以这两个分量图像是来自不同视点的视差图像。因此，这两个分量图像包括视差形式的深度信息，并且通过求解满足每个特征点的联立方程，可同时确定特征点的三维坐标和分量图像的可视点的三维坐标(相机位置)。作为基于多个其可视点位置彼此不同的视差图像来同时确定对象的三维位置信息和可视点位置的方法之一，被称为SLAM(同步定位和映射)的技术是可用的。

SLAM是基于从传感器获得的信息同时进行自身位置估计和环境映射的技术，并被应用到自主移动机器人等中。作为示例，自身位置估计单元84使用公知的SLAM技术估计对象的特征点的三维位置和相机的三维位置。然而，也可使用一些其它的自身位置估计技术。例如，在下面的论文中介绍了SLAM：2003年ICCV中Andrew J.Davison的《Real-TimeSimultaneous Localisation and Mapping with a Single Camera》。

自身位置估计单元84将通过估计得到的对象的特征点的三维坐标值和相机位置的三维坐标值提供给分量图像生成单元20。分量图像生成单元20将便携终端200的姿势信息、对象的特征点的三维位置信息和相机位置的三维位置信息以与分量图像具有关联关系地存储在分量图像存储单元22中。

由于分量图像包括对象的三维位置信息，所以如果全景图像生成单元30组合多个分量图像来合成全景图像，则获得具有对象的三维位置信息的三维全景图像。如果所述三维全景图像在三维坐标系上扩展，则能够生成该对象的简单三维模型。此外，由于获得了对象的深度信息，也有可能生成立体的全景图像。

相机位置偏移判定单元86判定由自身位置估计单元84估计的相机位置是否从第一位置(原点)偏移。如果相机位置偏移，则准确的合成全景图像不被获得。图像拾取导引部分52基于由自身位置估计单元84估计的相机位置的三维坐标值导致在显示器上显示相机位置的运动轨迹，以便用户能够在全景图像拾取的时刻直观地识别出相机位置。此外，如果相机位置偏移判定单元86判定相机位置偏移，则图像拾取导引部分52指导用户调整相机位置或指示用户再次尝试图像拾取。

然而，即使相机位置只偏移了一点，如果校正分量图像使得相机位置返回到原点，也能够合成全景图像。因此，当全景图像生成单元30组合分量图像时，它使用与分量图像相关联的特征点的三维位置信息和相机位置的三维位置信息来调整分量图像的特征点的三维坐标值，使得自原点的相机位置的偏移可以接近零，从而校正分量图像。然后，全景图像生成单元30组合校正的分量图像以生成全景图像。

图19是示出根据实施例2的全景图像生成装置100的全景图像的图像拾取过程的流程图。在图19的步骤S10、S12、S14、S18和S20的处理与在图10中描绘的根据实施例1的全景图像生成装置100在步骤S10、S12、S14、S18和S20的处理相同，在此省略对它们的描述。

在步骤14获取便携终端200的姿势信息(即，倾翻角、转动角和摇翻角)之后，在步骤S15，该信息被用来执行自身位置估计处理。通过自身位置估计处理获得便携终端200的相机的位置信息，并根据情况需要执行相机位置的调整。此外，通过自身位置估计处理获得对象的特征点的三维位置信息。

在步骤S17，分量图像生成单元20将便携终端200的姿势信息、对象的特征点的三维位置信息和相机位置的三维位置信息与所拾取的图像相关联地作为分量图像存储在分量图像存储单元22中。

图20是示出图19的步骤S15的自身位置估计处理的详细过程的流程图。

特征点提取单元82在两个相邻分量图像的重叠区域中提取其图像被拾取的对象的特征点，并且执行它们的匹配(S50)。自身位置估计单元84使用SLAM来估计拾取每个分量图像的相机位置的三维坐标值和对象的特征点的三维坐标值(S52)。

相机位置偏移判定单元86判定在图像拾取时的相机位置是否从第一位置偏移超过预定阈值(S54)。如果相机位置的偏移保持在阈值之内(S54为“否”)，则自身位置估计处理结束。这里，可以允许用户输入指令，指示要拾取远视野的图像和近视野的图像中的哪一个，并且用于相机位置的偏移判定的阈值可根据要拾取远视野的图像还是近视野的图像而被改变。在远视野的图像拾取的情况下，相机位置的偏移可允许范围相较于近视野的图像拾取中的范围更大。因此，对于远视野的图像拾取，阈值被设置得比用于近视野的图像拾取的阈值更高。

如果检测到相机位置的偏移超过预定阈值(S54为“是”)，则相机位置偏移判定单元86指示图像拾取导引部分52来调整相机位置。图像拾取导引部分52或者指示用户校正相机位置或者无效已经拾取的分量图像的部分或全部并指示用户再次尝试图像拾取(S56)。此后，处理返回到S10。

图23是示出用于促使用户调整相机位置的偏移的导引的示例的图。图像拾取导引部分52在显示器的屏幕的部分上三维地显示全景图像拾取时的相机位置。图像拾取导引部分52将第一相机位置410a设置至原点，并在三维坐标系中显示相机位置的历史410b、410c和410d。

用户可以查看当前的相机位置或在显示器上显示的相机位置的移动轨迹以确认相机位置是否从所述第一位置偏移。除了在显示单元上图形显示相机的三维位置和便携终端200的姿势信息，还可以通过语言或文本呈现相机位置的运动方向。可替换地，便携终端200可以颤动以向用户通知相机位置偏移或偏移超过可允许范围。

在该三维坐标系中，以原点为中心的内侧球400对应于用于相机位置的偏移的第一阈值Th1，并且以原点为中心的外侧球402对应于用于相机位置的偏移的第二阈值Th2(>Th1)。第一阈值Th1是可允许偏移量的上限，在该上限之内可以缝合分量图像以生成全景图像而不进行校正。第二阈值Th2是可允许偏移量的上限，在该上限之内，如果校正了分量图像，则可以缝合校正后的分量图像以生成全景图像。

如果在图像拾取开始时的相机位置由X0表示，并且第n个分量图像的图像拾取时的相机位置由Xn表示，则当|Xn-X0|<Th1时，在该相机位置拾取分量图像。这里，|Xn-X0|表示从图像拾取开始时的相机位置X0到第n个分量图像的图像拾取时的相机位置Xn的距离。如果参照图23来描述这种情况，则当目前的相机位置在内侧球400之内时，在该相机位置拾取分量图像，并且不发出相机位置的校正指令。

当|Xn-X0|≥Th1且|Xn-X0|<Th2时，由于可以通过校正来合成全景图像，因此在该相机位置拾取分量图像。然而，向用户发出相机位置偏移的通知以促使用户校正相机位置。关于图23，当目前的相机位置是在内侧球400和外侧球402之间时，在该相机位置拾取分量图像，但发出相机位置的校正指令。此时，全景图像生成单元30基于相机位置的偏移校正分量图像，然后组合校正的分量图像来生成全景图像。

当|Xn-X0|≥Th2时，由于即使执行校正也不再能够合成全景图像，因此不在该相机位置执行图像拾取，并促使用户移动相机位置。然后，如果相机位置回到可以进行图像拾取的范围内，则开始图像拾取。即使经过了预定的时段，如果相机位置没有回到可以进行图像拾取的区域内，也取消在那之前的全景图像拾取，并且指示用户再次尝试全景图像拾取。

用于定义在其中可以进行图像拾取的范围的阈值Th1和Th2优选地响应于从视点到对象的距离而可变。可以从通过自身位置估计单元84估计的对象的特征点的三维坐标值和相机位置的三维坐标值确定从视点到对象的距离。如果对象是远视野，则即使相机位置的偏移较大，图像上的对象的位置偏移也不大，因此，当合成全景图像时的误差较小。然而，如果对象是近视野，则由于相机位置的少偏移引起图像上的对象的大位置偏移，所以合成全景图像时的误差较大。因此，当对象是远视野时的阈值Th1和Th2可以设置得大于当对象是近视野时的阈值Th1和Th2。相机位置偏移判定单元86可以响应于从相机位置到对象的距离调整阈值Th1和Th2。

同时，在上述说明中，通过SLAM估计相机位置，可以使用由GPS接收器74检测到的位置信息来获取相机位置。

如上所述，利用本实施例的全景图像生成装置，可以使用诸如SLAM的技术估计相机位置和其图像被拾取的对象的三维位置，并通知用户相机位置的偏移。在响应于到对象的距离判定相机位置的偏移是否在可允许的范围内以及相机位置的偏移是否超过可允许范围的情况下，可以促使用户移动相机位置。

即使三轴陀螺传感器62或三轴加速度传感器64能够检测便携终端200的姿势，也难以检测相机位置的偏移。在这方面，利用本实施例，可以使用以下事实同时估计相机位置和对象的三维位置：如果相机位置偏移，则在所拾取的分量图像之间出现视差。因此，可以检测相机位置的偏移，并促使用户调整相机位置，或基于相机位置的偏移校正图像。

(实施例3)

图24是根据实施例3的全景图像生成装置100的功能框图。本实施例的全景图像生成装置100具有设置全景图像拾取期间感兴趣区域的功能。利用相同的附图标记表示与实施例1的全景图像生成装置100的组件所共同的组件，并且在此省略对它们的描述。

POI/ROI设置单元42包括感兴趣区域设置部分44、感兴趣程度设置部分46和标签设置部分48。POI/ROI设置单元42对于由图像拾取单元10拾取的图像设置兴趣点POI(兴趣点)或感兴趣区域ROI(感兴趣区域)，将感兴趣程度和标签赋予感兴趣区域，并将包括感兴趣区域的坐标信息、感兴趣程度和标签信息的感兴趣区域信息提供给分量图像生成单元20。该分量图像生成单元20将感兴趣区域信息以与所拾取的图像具有关联关系地存储在分量图像存储单元22中。

感兴趣区域设置部分44将通过图像拾取单元10的相机操作者检测部分90指定的区域或者通过用户接口单元50的触摸面板输入部分56指定的区域设置为感兴趣区域。感兴趣程度设置部分46将通过图像拾取单元10的面部表情判定部分92指定的感兴趣程度设置为通过感兴趣区域设置部分44设置的感兴趣区域的感兴趣程度。标签设置部分48将通过用户接口单元50的语音识别部分54指定的文本设置为通过感兴趣区域设置部分44设置的感兴趣区域的标签。

POI/ROI处理单元58从分量图像存储单元22中读出分量图像，并从全景图像存储单元32中读出合成的全景图像。然后，POI/ROI处理单元58对于设置到分量图像或全景图像的感兴趣区域执行图像处理，如加重、模糊、缩放或改变画面质量。在对感兴趣区域设置了感兴趣程度的情况下，执行按照感兴趣程度的图像处理。例如，响应于感兴趣程度改变加重程度或改变画面质量。

此外，POI/ROI处理单元58在处理全景图像时可保护感兴趣区域。例如，当诸如飞船的人造物体或人要被组合成全景图像时，POI/ROI处理单元58通过将人造物体布置在感兴趣区域的后面或通过不将人造物体布置在感兴趣区域中以使得感兴趣区域可以不被这种人造物体所隐藏来保护感兴趣区域。

显示单元40显示在其中通过POI/ROI处理单元58对感兴趣区域执行图像处理的分量图像或全景图像。此外，当显示单元40显示全景图像时，它可以滚动显示该全景图像，以使得感兴趣区域可以来到显示器240的屏幕中心。

此外，当显示单元40将显示图像从一个全景图像改变到另一个全景图像时，它可以滚动显示所述切换之后的全景图像，以使得所述切换之后的感兴趣区域可以来到显示器240的屏幕中心。

具体地，假定表示诸如建筑物的特定物体的标记被设置到第一全景图像的特定方位，并且全景查看器被配置成使得，如果选择了该标记，则显示图像切换到包含该特定物体的第二全景图像。而且在第二全景图像上，特定的物体被频繁地设置到感兴趣区域。因此，在切换全景图像时，如果控制切换使得感兴趣区域总是来到屏幕中心，则在切换目标的全景图像上，也可以从开始观看由该标记指定的物体。例如，如果大阪城被包括在第一全景图像中并且标记被设置到大阪城，那么，即使选择了该标记以将显示切换到第二全景图像，也能够在第二全景图像上看到大阪城。由于全景图像是在宽范围内拾取的景物图像，所以如果切换全景图像，则有时忘记方向。但是，如果优选在切换后的全景图像上显示感兴趣区域，则能够避免如上面刚刚描述的这样的问题。

在对全景图像设置了多个感兴趣区域/兴趣点的情况下，当滚动显示全景图像时，例如，可以以自由区域和矩形区域的优先顺序显示感兴趣区域。可替换地，可以以区域大小的优先顺序或者以感兴趣程度的优先顺序显示感兴趣区域。可替换地，可以优先于兴趣点显示感兴趣区域。此外，当指定第一全景图像的标记以将显示图像切换到与该标记相关联的第二全景图像时，可以优选地以从更接近第一全景图像的标记的方向的感兴趣区域/兴趣点起的顺序显示感兴趣区域/兴趣点。

图像拾取单元10包括相机操作者检测部分90和面部表情判定部分92。

相机操作者检测部分90判定由图像拾取单元10拾取的图像中是否捕获了相机操作者，并且，如果捕获了相机操作者，将用于指定在其中捕获了相机操作者的区域的信息提供给POI/ROI设置部分42的感兴趣区域设置部分44。相机操作者检测部分90可以通过将在所拾取图像中的以大尺寸捕获的人视作相机操作者来检测相机操作者。感兴趣区域设置部分44将在其中捕获了相机操作者的区域设置为感兴趣区域。POI/ROI处理单元58执行用于模糊在其中捕获了相机操作者的区域的处理或利用周围的纹理来填充该区域以擦除在其中捕获了相机操作者的区域。

在全景图像拾取中，当摇翻便携终端200以拾取图像时会频繁地捕获相机操作者。此外，当在通过便携终端200的后侧相机212拾取前方图像的同时，使用前侧相机210来同时在以180度不同的相对侧上拾取图像时，相机操作者会频繁地被前侧相机210捕获。在这种情况下，通过检测在其中捕获了相机操作者的区域并将该区域设置为感兴趣区域，可以从全景图像中擦除不想要的相机操作者的图像。可替换地，当有意捕获相机操作者时，可以将在其中捕获了相机操作者的区域设置为感兴趣区域，使得当该POI/ROI处理单元58执行用于强调感兴趣区域的图像处理时，或者当显示单元40显示全景图像时，可以调整全景图像的显示位置，使得感兴趣区域可以显示在显示单元的中心。

面部表情判定部分92判定在通过后侧相机212进行全景图像拾取期间其图像由前侧相机210拾取的相机操作者的面部表情。公知的面部表情识别技术可以被用于面部表情的判定。如果判定在全景图像拾取时该相机操作者具有该相机操作者微笑或凝视对象这样的肯定的面部表情，则面部表情判定部分92响应于该面部表情确定感兴趣程度的值，例如，从0到100，并将该感兴趣程度提供给POI/ROI设置单元42的感兴趣程度设置部分46。当感兴趣区域设置部分44已经设置了感兴趣区域时，感兴趣程度设置部分46将从面部表情判定部分92向其提供的感兴趣程度设置到该感兴趣区域。然而，当尚未设置感兴趣区域时，感兴趣程度设置部分46将整个拾取的图像或在所拾取的图像的中心附近的对象视为感兴趣区域，并设置感兴趣程度。POI/ROI处理单元58按照所拾取的图像的感兴趣区域的感兴趣程度执行处理。例如，随着感兴趣程度增加而提升画面质量。

用户接口单元50包括语音识别部分54和触摸面板输入部分56，并支持用户对所拾取的图像设置感兴趣区域或设置标签。

语音识别部分54从内置于便携终端200的麦克风获取全景图像拾取期间用户的语音，通过语音识别处理将该语音转换为文本，并将该文本提供给标签设置部分48。标签设置部分48将该文本设置针对感兴趣区域的标签。可以在保持语音为原样而不转换成文本的同时，对感兴趣区域设置标签。可以响应于音量的大小设置感兴趣程度。如果没有设置感兴趣区域，则整个拾取的图像或在所拾取图像的中心附近的对象被视为感兴趣区域，并且对该感兴趣区域设置标签。因此，用户可以对在全景图像拾取期间用户所感兴趣的对象添加诸如名称的标签信息。

触摸面板输入部分56在设置在显示器240上的触摸面板上接收来自用户的用于指定所拾取的图像的感兴趣区域的信息，并将该用于指定感兴趣区域的信息提供给感兴趣区域设置部分44。

图25是示出根据实施例3的全景图像生成装置100对全景图像的图像拾取过程的流程图。

图像拾取时机判定单元14执行图像拾取时机判定处理(S60)。图像拾取单元10在由图像拾取时机判定单元14指定的图像拾取时机或由用户指定的图像时机拾取图像，并将拾取的图像提供给帧存储器12(S62)。步骤S60和S62中的处理分别与图10中描绘的实施例1中的全景图像生成装置100的步骤S10和S12中的处理是相同的。

触摸面板输入单元56检测是否存在从用户到在其上显示所拾取的图像的显示器240的触摸面板的、指定感兴趣区域的输入(S64)。如果存在指定感兴趣区域的触摸面板输入(S64为“是”)，则感兴趣区域设置部分44对所拾取的图像设置感兴趣区域(S66)。如果不存在指定感兴趣区域的触摸面板输入(S64为“否”)，则处理前进到步骤S68。

面部表情判定部分92判定在前侧相机210所拾取的图像中捕获的相机操作者的面部表情(S68)。如果面部表情是类似笑脸的肯定的表情(S68为“是”)，则感兴趣程度设置部分46响应于该面部表情的肯定程度对感兴趣区域设置感兴趣程度(S70)。如果尚未设置感兴趣区域，则面部表情判定部分92将例如位于所拾取图像中心的物体或在图像拾取图像中比任何其它物体占据更大的区域的物体设置为感兴趣区域，然后对该感兴趣区域设置感兴趣程度。如果面部表情不是类似笑脸的肯定的表情(S68为“否”)，处理前进到步骤S72。

语音识别部分54判定是否存在图像拾取期间来自用户的语音输入(S72)。如果存在语音输入(S72为“是”)，则语音识别部分54通过语音识别处理将输入的语音转换为文本，并且标签设置部分48将该文本作为标签设置给感兴趣区域(S74)。如果尚未设置感兴趣区域，则语音识别部分54将例如位于拾取的图像中心的物体或在拾取图像中比任何其它物体占据更大的区域的物体设置为感兴趣区域，并对该感兴趣区域设置标签。如果没有语音输入(S72为“否”)，则处理前进到步骤S76。

姿势检测单元60获取便携终端200的姿势信息，即，倾翻角、转动角和摇翻角(S76)。分量图像生成单元20将便携终端200的姿势信息和通过POI/ROI设置单元42设置的感兴趣区域信息与拾取的图像相关联地作为分量图像存储在分量图像存储单元22中(S78)。

图26(a)至26(c)是示出对其设置了感兴趣区域的拾取图像的格式的示例的图。

兴趣点或矩形感兴趣区域的信息被记录在图26(a)中作为示例描述的被称为KML(Keyhole标记语言)文件的地理信息标签数据文件中。附图标记450描述相机的摇翻角、倾翻角和转动角的信息。附图标记452描述图像尺寸。附图标记454描述图像的方向是横向格式还是纵向格式。

附图标记456描述用于指定矩形感兴趣区域的信息，并指定所述感兴趣区域的中心点坐标和图像尺寸。在这里，指定了感兴趣区域的中心坐标(200，250)以及图像的宽度为21，高度为15。图26(b)描绘了由附图标记456所描述的感兴趣区域。

当指定了兴趣点时，如附图标记458所示，指定兴趣点的坐标并将图像尺寸指定为零。这里，指定了兴趣点坐标(100，150)以及图像的宽度为0，高度为0。图26(c)描绘了由附图标记458所描述的兴趣点。

附图标记460描述从GPS接收器74获得的维度和经度信息。附图标记462描述图像拾取日期和时间。

如果感兴趣区域不是矩形区域，而是一个自由区域，则由于不能通过坐标指定感兴趣区域，所以掩蔽图像(mask image)被设置在α平面或专用于与全景图像重叠的层中。

图27(a)至27(f)是示出用户在触摸面板上设置感兴趣区域的方法的图。

由于在全景图像拾取中，如图27(a)所描绘的那样，拾取较宽范围上的景色图像，因此不容易从合成的全景图像识别出用户对哪一个对象感兴趣。因此，使得用户在全景图像拾取期间在触摸面板上指定在显示器240上显示的拾取的图像中的感兴趣区域，如图27(b)所描绘。

图27(c)示出一个示例，其中通过敲击或双击(附图标记430)物体来将触摸面板上的所拾取图像中的物体设置为感兴趣区域。此时，包括该物体的区域被自动地从拾取的图像中提取，并被设置为感兴趣区域。

图27(d)示出一个示例，其中如附图标记432所示，包围物体以指定感兴趣区域。接近由附图标记432表示的自由曲线多边形434被设置为感兴趣区域，或者围绕多边形434的矩形区域436被设置为感兴趣区域。

图27(e)示出一个示例，其中通过如附图标记438所示将斜线放置在物体中来设置感兴趣区域。对角线为该斜线的矩形区域440被设置为感兴趣区域。

图27(f)示出一个示例，其中如参考符号442a和442b所示通过利用两个手指挤压(pinch)物体来设置感兴趣区域。具有与连接两个手指的挤压起点的线段相一致的对角线的矩形区域444被设置为感兴趣区域。

图28是示出设置到α平面或专用于与全景图像重叠的层上的感兴趣区域的图。当在拾取的图像上通过由附图标记470表示的自由曲线指定感兴趣区域时，所述感兴趣区域被设置为α平面或通过附图标记474表示的专用层上的掩蔽区域472。可以利用二进制值记录感兴趣程度，使得1为在掩蔽区域中，0为在非掩蔽区域中。此外，在α平面的情况下，也可以根据掩蔽区域的α值以多个值记录感兴趣程度。

利用本实施例的全景图像生成装置，可以在全景图像拾取期间设置感兴趣区域。与其中对焦感兴趣对象以释放快门的普通图像拾取不同，在全景图像拾取中，拾取宽范围内的对象的图像，因此，常常不知道用户是对这些对象中的哪一个感兴趣以执行图像拾取。在这方面，在本实施例中，由于在全景图像拾取期间指定感兴趣区域，所以可以掌握用户在合成的全景图像中感兴趣的区域。此外，可以省略用于在合成之后的全景图像中设置感兴趣区域的劳力。此外，尽管在合成后的全景图像的情况下无法在不滚动屏幕图像的情况下显示用户想要感兴趣的区域，但在图像拾取期间，可以在当前拾取的图像上简单地指定感兴趣区域。此外，可以响应于用户在图像拾取期间的面部表情，自动地将用户感兴趣的物体设置为感兴趣区域，并将通过语音的感兴趣程度或标签信息与该感兴趣区域相关联。

(实施例4)

图29是根据实施例4的全景图像生成装置100的功能框图。本实施例的全景图像生成装置100具有使用便携终端200的前侧相机210和后侧相机212两者拾取全景图像的功能。与以上参照图24描述的实施例3的具有感兴趣区域设置功能的全景图像生成装置100的组件共同的那些组件由相同的附图标记表示，并且在此省略对它们的重复描述。

在本实施例中，作为用于全景图像拾取的模式，以下三种模式是可用的。

(1)“双侧全景图像拾取模式”，其中通过前侧相机210拾取的一半圆周的全景图像和通过后侧相机212拾取的另一半圆周的全景图像被彼此连接以拾取整个圆周的全景图像。

(2)“具有POI/ROI的全景图像拾取模式”，其中由后侧相机212拾取全景图像，同时前侧相机210被用于拾取相机操作者的面部图像以设置兴趣点或感兴趣区域。

(3)“单侧全景图像拾取模式”，其中通过前侧相机210和后侧相机212中的每一个拾取整个圆周的全景图像。在这种情况下，获得两个整周全景图像。然而，在图像拾取之后，用户将确定是将通过相机之一(具体地，通过以很大程度的可能性捕获了相机操作者的前侧相机210)拾取的整周全景图像丢弃还是将这两个整周全景图像用作立体全景图像或作为近视野/远视野的全景图像。

图像拾取模式切换单元94执行到上述全景图像拾取模式之一的切换。用户可以在设置屏幕图像等上手动地设置全景图像拾取模式，使得图像拾取模式切换单元94执行切换到用户设置的图像拾取模式。可替换地，图像拾取模式切换单元94可以响应于全景图像的图像拾取状况自动地执行切换到适当的全景图像拾取模式。

可替换地，可以以下面的方式来执行图像拾取模式之间的切换。具体地，在图像拾取的开始时间点，前侧相机210和后侧相机212中的每一个拾取全景图像，而不区分(1)的双侧全景图像拾取模式和(3)的单侧全景图像拾取模式。然后，在完成半周图像拾取的时间点，在通过前侧相机210拾取的半周前侧全景图像和通过后侧相机212拾取的半周后侧全景图像之间的图像边界上的一致性较好的情况下，图像拾取模式被确定为(1)的双侧全景图像拾取模式，但是在一致性不好的情况下，图像拾取模式被确定为(3)的单侧全景图像拾取模式。该一致性不好的情况是在前侧全景图像中无意地捕获了相机操作者(没有设置感兴趣区域的物体)的情况，其中前侧相机210和后侧相机212之间的水平视差导致前侧全景图像和后侧全景图像之间的视差的另一种情况，或类似的情况。

图像拾取模式切换单元94通知图像拾取单元10和全景图像生成单元30如上所述设置的全景图像模式。图像拾取单元10按照指定的全景图像拾取模式使用前侧相机210和后侧相机212拾取对象的图像。全景图像生成单元30组合图像拾取单元10按照指定的全景图像拾取模式所拾取的分量图像以生成全景图像。

当图像拾取模式是双侧全景图像拾取模式时，全景图像生成单元30将通过组合后侧相机212所拾取的后侧分量图像而得到的半周后侧全景图像和通过组合前侧相机210所拾取的前侧分量图像而得到的以180度不同的相对侧上的半周前侧全景图像彼此连接，以生成整周全景图像。

当图像拾取模式是单侧全景图像拾取模式时，全景图像生成单元30丢弃前侧相机210所拾取的整周前侧分量图像，并组合后侧相机212所拾取的整周后侧分量图像以生成整周全景图像。虽然这是因为在由前侧相机210所拾取的图像中频繁地无意捕获相机操作者，但是根据图像拾取状况，可以丢弃后侧相机212所拾取的后侧分量图像而组合前侧相机210所拾取的前侧分量图像以生成整周全景图像。可替换地，全景图像生成单元30可以在不丢弃由相机之一所拾取的分量图像的情况下，从由两个相机拾取的分量图像合成整周全景图像，并使用该整周全景图像作为立体全景图像或近视野/远视野的全景图像。

在便携终端200被摇翻半周以允许前侧相机210和后侧相机212中的每一个拾取半周的全景图像之后，当将前侧相机210拾取的前侧全景图像和后侧相机212拾取的后侧全景图像彼此连接以生成整周全景图像时，图像相关性判定单元96计算连接边界附近的区域中的前侧全景图像和后侧全景图像之间的相关性，并判定两个图像之间是否具有固定的一致性。

如果前侧全景图像和后侧全景图像具有等于或大于预定阈值的相关性，则该图像相关性判定单元96通知图象拾取模式切换单元94和图像拾取导引部分52该前侧全景图像和后侧全景图像之间具有一致性。然而，如果前侧全景图像和后侧全景图像具有小于预定阈值的相关性，则该图像相关性判定单元96通知图象拾取模式切换单元94和图像拾取导引部分52该前侧全景图像和后侧全景图像之间不具有一致性。

如果该前侧全景图像和后侧全景图像之间具有一致性，则图像拾取模式切换单元94将全景图像拾取模式设置到双侧全景图像拾取模式。然而，如果该前侧全景图像和后侧全景图像之间不具有一致性，则图像拾取模式切换单元94将全景图像拾取模式设置到单侧全景图像拾取模式。

如果该前侧全景图像和后侧全景图像之间具有一致性，则用户接口单元50的图像拾取导引部分52通知用户该全景图像拾取通过将便携终端200摇翻半周而完成。此外，当该前侧全景图像和后侧全景图像在它们具有一致性时，通过对话等指引用户，使得在另一个半周上执行摇翻以执行整周全景图像拾取。

图像拾取单元10的相机操作者检测部分90检测在前侧相机210拾取的图像中是否捕获了相机操作者，并且，如果捕获了相机操作者，则将该事实通知给用户接口单元50的相机操作者图像拾取许可部分57。相机操作者图像拾取许可部分57显示诸如“你的面部被捕获。可以吗？”的对话，并允许用户发出关于该用户是否许可前侧相机210对用户本人的面部进行图像拾取的指令。如果用户许可对其面部进行图像拾取，则图像拾取模式切换单元94将全景图像拾取模式设置到具有POI/ROI的全景图像拾取模式，并且直接执行通过前侧相机210的图像拾取。如果用户不许可对其面部进行图像拾取，则丢弃在其中捕获了相机操作者的图像，并且在不再捕获相机操作者的时间点，重新开始通过前侧相机210的图像拾取。当POI/ROI设置部分42如同以上在实施例3的描述中所描述的设置感兴趣区域或设置感兴趣程度时，使用其中前侧相机210捕获了相机操作者的图像。

图30(a)至30(c)是示出便携终端200的前侧相机210和后侧相机212之间的布置和视差的图。

如果前侧相机210和后侧相机212如图30(a)所描绘的那样被布置于在水平方向上不同于彼此的位置处，则这两个相机之间具有水平视差(视差)HP。如果前侧相机210和后侧相机212还被布置于在垂直方向上不同于彼此的位置处，则这两个相机之间具有垂直视差VP。这里，为了便于描述，假定垂直视差VP是零或很小，使得可以忽略它而重视水平视差HP。

假定前侧相机210和后侧相机212各自具有如图30(b)所描绘的75度的水平视角。由于前侧相机210和后侧相机212之间具有水平视差HP，所以在通过前侧相机210拾取的前侧全景图像和通过后侧相机212拾取的后侧全景图像之间发生由于视差的偏移。具体地，当拾取近视野的图像时，不能忽略在前侧全景图像和后侧全景图像之间出现的由于视差的偏移。

然而，当拾取远视野的图像时，可以忽略在通过前侧相机210拾取的前侧全景图像和通过后侧相机212拾取的后侧全景图像之间出现的由于视差的偏移。图30(c)描绘了当可以忽略由于视差的偏移时前侧相机210和后侧相机212的布置和它们之间的视角。当可以忽略由于视差的偏移时，可以将前侧相机210和后侧相机212视为它们被布置在如图30(c)所示的水平方向上的相同位置。如果假设两个相机的水平视角都是75度，则，如果根据计算90度-(75度/2)＝52.5度的结果，如图30(c)虚线所示，便携终端200被向左和向右旋转了52.5度，则前侧相机210可以拾取半周的180度的前侧全景图像，而后侧相机212可以拾取半周的180度的平面全景图像。因此，如果该半周的前侧全景图像和该半周的后侧全景图像彼此连接，则可以得到整周全景图像。利用这样的诸如52.5度的旋转角度，用户可以在观看作为取景器的显示器240的同时执行全景图像拾取。

当要拾取近视野的图像时，由于前侧相机210的前侧全景图像和后侧相机212的后侧全景图像之间具有由于视差的偏移，所以即使将半周的前侧全景图像和另半周的后侧全景图像彼此连接，也不能得到足够的一致性，并且可能无法生成准确的整周全景图像。因此，当要拾取近视野的图像时，执行另一半周的旋转，使得通过前侧相机210和后侧相机212中的每一个拾取整周全景图像。在这种情况下，由于得到彼此之间具有视差的两个整周全景图像，所以它们可被用作立体全景图像以显示三维全景图像。另外，由于获得了深度信息，所以也可以生成对象的三维模式。

在近视野图像拾取的情况下，图像拾取导引部分52可以促使用户执行整周图像拾取以使得前侧相机210和后侧相机212中的每一个能够拾取整周全景图像。然而，在远视野图像拾取的情况下，图像拾取导引部分52可以在前侧相机210和后侧相机212中的每一个拾取半周的全景图像的时间点通知用户完成了整周全景图像拾取。用户可以指定要拾取近视野的图像还是远视野的图像。例如，可以自动地设置图像拾取，使得当相机被设置为广角侧图像拾取时，它被设置为近视野图像拾取，但是当相机被设置为远距侧图像拾取时，它被设置为远视野图像拾取。

图31(a)是示出由后侧相机212拾取的圆柱形图像340a至340f的图。虽然它们与以上关于图8B描述的图像类似，但这里假设，如果组合图像340a至340f，则得到如图32(a)所描绘的半周的后侧全景图像。图31(b)是示出由前侧相机210拾取的圆柱形图像350a至350f的图。如果组合图像350a至350f，则得到如图32(b)所描绘的半周的前侧全景图像。

图32(a)是示出由后侧相机212拾取的后侧全景图像的图，图32(b)是示出由前侧相机210拾取的前侧全景图像的图。图33是示出一种状态的图，其中由后侧相机212拾取的后侧全景图像和由前侧相机210拾取的前侧全景图像彼此连接。在所述后侧全景图像和所述前侧全景图像彼此重叠的连接的边界附近的区域370a至370d中，图像相关性判定单元96计算前侧全景图像和后侧全景图像之间的相关性。当相关性高时，即，当具有彼此一致或接近的像素值的像素数量很大时，在两个图像彼此重叠的区域中，图像相关性判定单元96判定该两个图像具有固定的一致性。然而，当两个图像相关性较低时，即，当具有彼此一致或接近的像素值的像素数量较小时，在其重叠区域中，图像相关性判定单元96判定该两个图像之间不具有一致性。

图34是示出由前侧相机210拾取的前侧全景图像382和由后侧相机212拾取的后侧全景图像380的示例的图。在前侧全景图像382中较大地捕获到相机操作者，并且在边界附近的区域370d中(前侧全景图像382和后侧全景图像380沿着该区域370d彼此连接)，捕获到了该相机操作者的手。因此，这两个图像之间的相关性较低。在这种情况下，图像相关性判定单元96判定前侧全景图像382和后侧全景图像380之间的相关性是低的。因此，图像拾取模式切换单元94将全景图像拾取模式切换到其中仅通过后侧相机212执行全景图像拾取的单侧全景图像拾取模式，并且图像拾取导引部分52指导用户进一步摇翻相机半周以拾取整周的后侧全景图像。

图35是示出前侧全景图像382和后侧全景图像380之间的一致性较低时的导引的示例的图。图像相关性判定单元96在前侧全景图像382和后侧全景图像380各自被拾取了半周的时间点判定前侧全景图像382和后侧全景图像380之间不具有固定的一致性，然后图像拾取导引部分52使得屏幕显示对话386“请进一步旋转半周”并通过箭头标记384指示图像拾取方向。因此，当用户拾取半周的后侧全景图像380时，用户不停止图像拾取，而是可以进一步摇翻后侧相机212半周，以便拾取用于整个圆周的后侧全景图像。

图36是示出根据实施例4的全景图像生成装置100的全景图像的图像拾取过程的流程图。

相机操作者检测单元90检测相机操作者本身是否被捕获在前侧相机210所拾取的图像中(S80)。如果相机操作者被捕获(S80为“是”)，则相机操作者图像拾取许可部分57通过显示对话(dialog)或通过输出声音询问用户是否应拾取该用户自身的图像(S82)。如果用户许可该用户本身的图像拾取(S82为“是”)，则图像拾取模式切换单元94将全景图像拾取模式设置到具有POI/ROI的全景图像拾取模式(S84)，然后执行具有POI/ROI的全景图像拾取(S86)。步骤S86的具有POI/ROI的全景图像拾取处理与以上参照图25描述的实施例3的全景图像的图像拾取过程类似。具体地，用户的面部表情的图像被前侧相机210拾取，并且基于该面部表情设置感兴趣区域和感兴趣程度。此外，通过后侧相机212执行全景图像拾取以生成具有POI/ROI的全景图像。

如果在步骤S82用户不许可该用户本身的图像拾取(S82为“否”)，则当在前侧相机210所拾取的图像中仍捕获到相机操作者时中断全景图像拾取(S88为“否”)。当等待到不再捕获到相机操作者之后(S88为“是”)，执行通过双侧相机的全景图像拾取处理(S90)。

此外，当在步骤S80，在通过前侧相机210拾取的图像中没有检测到相机操作者时(S80为“否”)，开始通过双侧相机的全景图像拾取处理(S90)。

图37是示出图36的步骤S90的通过双侧相机进行全景图像拾取处理的详细过程的流程图。

在通过双侧相机的全景图像拾取处理中，在开始图像拾取的时间点，除非在全景图像拾取模式被手动设置的情况下，全景图像拾取模式是双侧全景图像拾取模式还是单侧全景图像拾取模式不被确定。在完成半周的全景图像拾取并且确定了半周的前侧全景图像和半周的后侧全景图像之间的一致性之前，全景图像拾取模式要被确定为双侧全景图像拾取模式和单侧全景图像拾取模式中的哪一个是未知的。

分量图像拾取处理(S110)执行图像拾取时机判定处理(S10)、图像拾取(S12)、姿势信息获取处理(S14)和以上参照图10描述的实施例1的用于将姿势信息与所拾取的图像相关联的处理(S16)。

如果未完成通过前侧相机210和后侧相机212的半周全景图像拾取(S112为“否”)，则处理返回到步骤S110以重复分量图像拾取处理。

如果完成了通过前侧相机210和后侧相机212的半周全景图像拾取(S112为“是”)，则图像相关性判定单元96判定通过前侧相机210拾取的半周的前侧分量图像和通过后侧相机212拾取的半周的后侧分量图像之间的、在这两个图像沿其彼此连接的边界的附近的重叠区域中的相关性程度(S114)。如果该重叠区域的相关性程度等于或高于预定阈值(S114为“是”)，则图像拾取模式切换单元94将全景图像拾取模式设置到双侧全景图像拾取模式(S117)并且全景图像生成单元30组合半周的前侧分量图像和半周的后侧分量图像以生成整周的全景图像(S118)。如果该重叠区域的相关性程度低于预定的阈值(S114为“否”)，则图像拾取模式切换单元94将全景图像拾取模式设置到单侧全景图像拾取模式(S115)并且图像拾取导引部分52指导用户进一步执行半周的图像拾取(S116)。此后，处理前进到步骤S120的分量图像拾取处理。

步骤S120的分量图像拾取处理与步骤S110的分量图像拾取处理是相同的。如果未完成通过前侧相机210和后侧相机212的整周全景图像拾取(S122为“否”)，则处理返回到步骤S110以重复分量图像拾取处理。

如果完成了通过前侧相机210和后侧相机212的整周全景图像拾取(S122为“是”)，则向用户发出关于是否丢弃整周的前侧分量图像的询问(S124)。例如，如果用户被捕获在前侧分量图像中，则丢弃前侧分量图像。当要丢弃整周的前侧分量图像时(S124为“是”)，全景图像生成单元30从整周的后侧分量图像合成整周的全景图像(S126)。

如果不丢弃整周的前侧分量图像(S124为“否”)，则全景图像生成单元30从整周的前侧分量图像合成整周前侧全景图像(S128)并从整周的后侧分量图像合成整周后侧全景图像(S130)。在这种情况下，整周前侧全景图像和整周后侧全景图像被用于获得立体的全景图像。此外，整周前侧全景图像可被用作近视野的全景图像，而整周后侧全景图像被用作远视野的全景图像。可替换地，如果前侧相机210和后侧相机212的缩放比彼此不同，则也可以得到不同缩放比的两张全景图像。

利用本实施例的全景图像生成装置，可以使用便携终端200的前侧相机210和后侧相机212两者执行全景图像拾取。在两个相机的安装位置彼此偏移的情况下，在通过这些相机拾取的全景图像之间出现视差，因此，可以获取立体全景图像。也可以通过前侧相机210拾取近视野全景图像和通过后侧相机212拾取远视野全景图像。

此外，如果利用双侧相机，那么，即使便携终端200不旋转360度，也可以仅通过相对于相机的水平角度θ将便携终端200旋转90度-θ/2来拾取整周的全景图像。因此，便于在便携终端200的显示器被视为取景器时简单地执行整周全景图像拾取。

在上述示例中，描述了在便携终端200中并入了前侧相机210和后侧相机212的情况下的全景图像拾取，但也可以在便携终端200中并入三个或更多的相机。此外，多个相机的光轴的位置可以在水平或垂直方向上不同，并且所述多个相机的光轴的方向可以彼此不同。光轴方向之间的差并不限于彼此相差180度的相反方向之间的差。在下文中，例举内置于便携终端200的相机的变型。

图38是示出一种便携终端200的图，其中并入了具有在位置和方向上彼此不同的光轴的两个相机。在图30(b)中，前侧相机210和后侧相机212的光轴的位置在水平方向上彼此不同，而图38中的前侧相机210和后侧相机212不仅在光轴位置上彼此不同，而且在光轴方向上也彼此不同，前侧相机210被倾斜地定向。

图39是示出一种便携终端200的图，其中并入了具有在位置上彼此不同的光轴的三个相机。两个后侧相机212a和212b以及一个前侧相机210被并入在便携终端200中。三个相机212a、212b和210的光轴的位置彼此不同。可以通过两个后侧相机212a和212b拾取立体全景图像。

图40是示出一种便携终端200的图，其中并入了具有在方向上彼此不同的光轴的三个相机。便携终端200具有这样的形状，例如，圆柱形，并且在其前表面上具有显示器240。当俯视便携终端200时，三个相机211a、211b和211c基本均匀地布置在一个圆周上。三个相机211a、211b和211c的光轴的方位彼此不同。通过旋转便携终端200可以拾取整周的全景图像。

图41(a)和41b)是示出一种便携终端200的图，其中并入了具有不同于彼此的性能的两个相机。在图41(a)中，前侧相机210的水平视角是50度，而后侧相机212的水平视角为120度。以这种方式，可以在便携终端200中并入多个具有彼此不同的视角的相机。

在图41(b)中，前相机210具有VGA分辨率和60fps(帧每秒)的帧速率，而后侧相机212具有1200万像素的分辨率和15fps的帧速率。前侧相机210具有低分辨率，但其具有高帧速率，并且在移动体的图像拾取中是有利的。后侧相机212具有高分辨率时，但其具有低的帧速率，并且不适合于移动体的图像拾取。然而，后侧相机212在静止体的图像拾取中是有利的。以这种方式，可以在便携终端200中并入多个在诸如分辨率或帧速率的性能上不同的相机。

图42(a)至42(c)是示出安装在便携终端200上的相机的数量和方向的变型的图。图42(a)描绘了一个示例，其中相机211c安装在便携终端200的前面上，另一相机211a安装在便携终端200的后面上，又一相机211d安装在便携终端200的左侧面上，再一相机211b安装在便携终端200的右侧面上。图42(b)描绘了一个示例，其中相机211a安装在便携终端200的后面上，另一相机211c安装在便携终端200的左侧面上，又一相机211b安装在便携终端200的右侧面上。图42(c)描绘了一个示例，其中相机211a安装在便携终端200的后面上，另一相机211b安装在便携终端200的右侧面上。虽然这里给出了便携终端200的示例的描述，但这些相机也可以是车载相机。尤其是，在车载相机的情况下，相机的方位除了向前和向后的方位之外还可以被设置为向左和向右的方位。

图43是示出一种便携终端200的图，其中并入了四个相机。相机211c安装在便携终端200的前面上，另一相机211a安装在便携终端200的后表面上，又一相机211d安装在便携终端200的左侧面上，再一相机211b安装在便携终端200的右侧面上。由于相机具有足够大的水平视角，所以即使不在摇翻方向上旋转便携终端200，也可以通过四个相机211a至211d拾取全向全景图像。然而，在不能在倾翻方向上执行全向图像拾取的情况下，可以通过在倾翻方向上旋转便携终端200来拾取天球的全景图像。

图44(a)和44(b)是示出一种便携终端200的图，其中并入了可以调整其方位的可移动相机。在图44(a)中，安装在便携终端200的后面上的相机211a是固定相机，而安装在便携终端200的右侧面上的另一相机211b是可移动照相机并且具有可手动地或自动地调整的方位。在图44(b)中，安装在便携终端200的后面上的第一相机211a是固定相机，而第二相机211b是可移动相机，其方位可以向前和向后反向。因此，如果相机211b的方位被方向，则相机211b可以用作后侧相机，也可以用作前侧相机。可以通过便携终端200自动检测可移动相机的方位。

以上描述的便携终端200中并入的相机的变型是绝对示例性的，并且相机的各种其它组合可以是可用的。

通过以这种方式并入至少在它们之间的位置和光轴的方位中的一个上不同的多个相机，组合使用这些相机拾取的图像以合成全向全景图像。

图像拾取模式切换单元94在复眼全景图像拾取模式和单眼全景图像拾取模式之间切换全景图像拾取模式，在复眼全景图像拾取模式中拾取通过连接由并入在便携终端200中的多个相机拾取的全景图像而形成的一个“复眼全景图像”，在单眼全景图像拾取模式中使用多个相机中的每一个拾取“单眼全景图像”。

当全景图像拾取模式是复眼全景图像拾取模式时，全景图像生成单元30组合通过所述相机拾取的多个分量图像以生成单眼全景图像，然后将这些相机的单眼全景图像彼此连接以生成复眼全景图像。在单眼全景图像拾取模式的情况下，全景图像生成单元30组合通过每个相机拾取的多个分量图像以生成单眼全景图像，然后组合这些相机的单眼全景图像以生成和输出立体全景图像或在距离感上彼此不同的多个全景图像，如近视野的全景图像和远视野的全景图像。

图像相关性判定单元96在各相机的单眼全景图像彼此连接的边界区域中判定要彼此连接的单眼全景图像之间的相关性程度。当相关性程度等于或高于预定阈值时，全景图像生成单元30将各相机的单眼全景图像彼此连接以生成复眼全景图像。虽然并入在便携终端200中的多个相机在它们仍处于各自地固定的位置的情况不能执行全向全景图像拾取，但如果在摇翻方向或倾翻方向上旋转它们，则在其中可以执行相机的图像拾取的视场变得彼此重叠。通过评估在重叠区域中要彼此连接的单眼全景图像之间的相关性，可以判定各相机的单眼全景图像是否可以通过缝合处理彼此连接、各相机的单眼全景图像是否应作为彼此分离的图像输出或者是否应丢弃相机之一的图像。

以上已经结合其实施例描述了本发明。实施例是示例性的，并且本领域技术人员应认识到，对于实施例的组件和/或处理的组合的各种修改是可能的，并且这样的修改包含在本发明的范围内。

尽管已经采用天球全景图像作为全景图像的示例描述了实施例，但全景图像不必是天球全景图像，也可以是通过组合在图像拾取方向连续改变时通过相机拾取的多个图像而形成的图像。

应注意，本说明书中的“全景图像”不限于狭义上的“全景”图像，即，横向格式或竖向格式的图像、360度的全视野图像等等，而仅仅是其目标是宽范围的图像。此外，尽管在实施例的描述中，示例中全景图像被生成为合成图像，要输出的合成图像不必是所谓的全景图像，但本发明也可应用于合成图像是任意尺寸的普通图像的情况。可替换地，要输出的合成图像可以是其中具有彼此不同的分辨率的多个图像被分级的图像。可以配置这种分级的图像，使得如果扩展如果图像的某些区域，则扩展的区域被替换为更高分辨率的图像。

[附图标记列表]

10图像拾取单元，12帧存储器，14图像拾取时机判定单元，20分量图像生成单元，22分量图像存储单元，24非图像拾取区域判定单元，30全景图像生成单元，32全景图像存储单元，40显示单元，42POI/ROI设置单元，44感兴趣区域设置部分44，46感兴趣程度设置部分46，48标签设置部分48，50用户接口单元，52图像拾取导引部分，54语音识别部分，56触摸面板输入部分，57相机操作者图像拾取许可部分57，58POI/ROI处理单元，60姿势检测单元，62三轴陀螺传感器，64三轴加速度传感器，66方位检测单元，68三轴地磁传感器，70摇翻角-仰角计算单元，72位置检测单元，74GPS接收器，80通信单元，82特征点提取单元，84自身位置估计单元，86相机位置偏移判定单元，90相机操作者检测部分，92面部表情判定部分，94图像拾取模式切换单元，96图像相关性判定单元，100全景图像生成装置，200便携终端，210前侧相机，212后侧相机，240显示单元。

[工业应用]

本发明可以用于生成合成图像的技术。

Claims (11)

1.一种图像生成装置，包括：

分量图像生成单元，被配置为生成分量图像，其中便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；

合成图像生成单元，被配置为组合其中所述便携设备的姿势不同的、由相同相机获得的多个分量图像以生成合成图像；以及

图像拾取模式切换单元，被配置为在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像；

当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成单元组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。

2.根据权利要求1所述的图像生成装置，其中，当所述图像拾取模式是所述单眼合成图像拾取模式时，所述合成图像生成单元组合通过每个所述相机拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像组合为立体合成图像并作为立体合成图像输出，或者组合为提供不同距离感的多个合成图像并作为这些合成图像输出。

3.根据权利要求1或2所述的图像生成装置，进一步包括：

图像相关性判定单元，被配置为判定在各相机的单眼合成图像彼此连接的边界区域中的、要彼此连接的单眼合成图像之间的相关性程度；

当所述相关性程度等于或高于预定阈值时，所述合成图像生成单元将各相机的单眼合成图像彼此连接以生成复眼合成图像。

4.根据权利要求1或2所述的图像生成装置，进一步包括：

相机操作者检测部分，被配置为检测在前侧相机拾取的图像中对相机操作者的捕获；

相机操作者图像拾取许可部分，被配置向用户为发出关于是否许可对相机操作者的捕获的询问；以及

感兴趣区域设置部分，被配置为当许可对相机操作者的捕获时，基于某一相机拾取的相机操作者的面部表情的图像，对于由不同的相机拾取的图像设置感兴趣区域；

所述分量图像生成单元生成分量图像，其中所述便携设备的姿势信息以及通过所述感兴趣区域设置部分设置的感兴趣区域信息与使用该不同的相机拾取的图像相关联。

5.根据权利要求1所述的图像生成装置，其中内置于所述便携设备并且具有在位置和方位中的至少一个上不同于彼此的光轴的多个相机是设置在相机操作者侧上的前侧相机和设置在相机操作者的相对侧上的后侧相机；

所述图像拾取模式切换单元在双侧合成图像拾取模式和单侧合成图像拾取模式之间切换图像拾取模式，在所述双侧合成图像拾取模式中，将通过所述前侧相机拾取的半周的合成图像和通过所述后侧相机拾取的半周的合成图像彼此连接以拾取整周的合成图像，在所述单侧合成图像拾取模式中，通过所述前侧相机和所述后侧相机中的每一个拾取整周的合成图像；并且

当所述图像拾取模式是双侧合成图像拾取模式时，所述合成图像生成单元组合由所述前侧相机拾取的多个前侧分量图像以生成半周的前侧合成图像，组合由所述后侧相机拾取的多个后侧分量图像以生成半周的后侧合成图像，然后将所述半周的前侧合成图像和所述半周的后侧合成图像彼此连接以生成整周的合成图像。

6.根据权利要求5所述的图像生成装置，其中，当所述图像拾取模式是所述单侧合成图像拾取模式时，所述合成图像生成单元丢弃由所述前侧相机拾取的多个前侧分量图像并组合由所述后侧相机拾取的多个后侧分量图像以生成整周的后侧合成图像。

7.根据权利要求5所述的图像生成装置，其中，当所述图像拾取模式是所述单侧合成图像拾取模式时，所述合成图像生成单元组合由所述前侧相机拾取的多个前侧分量图像以生成整周的前侧合成图像，组合由所述后侧相机拾取的多个后侧分量图像以生成整周的后侧合成图像，并且将所述整周的前侧合成图像和所述整周的后侧合成图像组合为立体合成图像并作为立体合成图像输出，或者组合为近视野和远视野的合成图像并作为近视野和远视野的合成图像输出。

8.根据权利要求5至7中任一项所述的图像生成装置，进一步包括：

图像相关性判定单元，被配置为判定在所述半周的前侧合成图像和所述半周的后侧合成图像彼此连接的边界区域中的、所述半周的前侧合成图像和所述半周的后侧合成图像之间的相关性程度；

当所述相关性程度等于或高于预定阈值时，所述合成图像生成单元将所述半周的前侧合成图像和所述半周的后侧合成图像彼此连接以生成整周的合成图像。

9.根据权利要求8所述的图像生成装置，进一步包括：

图像拾取导引部分，被配置为当所述相关性程度低于所述预定阈值时指导用户执行另一半周的图像拾取。

10.根据权利要求5至7中任一项所述的图像生成装置，进一步包括：

相机操作者检测部分，被配置为检测在所述前侧相机拾取的图像中对相机操作者的捕获；

相机操作者图像拾取许可部分，被配置向用户发出关于是否许可对所述相机操作者的捕获的询问；以及

感兴趣区域设置部分，被配置为当许可对所述相机操作者的捕获时，基于通过所述前侧相机拾取的相机操作者的面部表情的图像，对由所述后侧相机拾取的图像设置感兴趣区域；

所述分量图像生成单元生成分量图像，其中所述便携设备的姿势信息以及通过所述感兴趣区域设置部分设置的感兴趣区域信息与使用所述后侧相机拾取的图像相关联。

11.一种图像生成方法，包括：

分量图像生成步骤，生成分量图像，其中，便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；

合成图像生成步骤，组合其中所述便携设备的姿势不同的、由相同相机获得的多个分量图像以生成合成图像；以及

图像拾取模式切换步骤，在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像；

当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成步骤组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。