CN105744180A - 图像生成装置、电子设备及图像生成方法 - Google Patents

Abstract

本发明涉及一种图像生成装置、电子设备及图像生成方法。图像生成装置(1)将依次输入的输入图像接合来生成合成图像。差分值算出部(15)使用基准图像的像素值、及图像的一部分与基准图像重合的对象图像的像素值，算出表示基准图像与对象图像的相对关系的差分值。接缝决定部(16)使用由差分值算出部(15)所算出的差分值，决定用以将基准图像与对象图像合成的接缝。而且，图像合成部(18)基于由接缝决定部(16)所决定的接缝，对基准图像与对象图像进行合成而生成合成图像。本发明在将输入图像依次接合来生成合成图像时，通过决定恰当的接缝来对输入图像进行合成而获得优质的合成图像。

Description

图像生成装置、电子设备及图像生成方法

技术领域

本发明涉及一种生成广角的合成图像的图像生成装置、电子设备及图像生成方法。

背景技术

一直以来，作为图像生成装置，已知有将依次输入的输入图像接合而生成一张广角的合成图像、即全景图像(panoramicimage)的装置(例如专利文献1)。

[现有技术文献]

[专利文献]

[专利文献1]日本专利特开平11-73492号公报

[发明要解决的课题]

在如专利文献1所揭示的现有的图像生成装置中，通过依次输入所拍摄到的摄影图像，对这些输入图像进行位置对准并接合，而生成一张广角的合成图像。但是，现有的图像生成装置存在难以呈完全看不到接缝的状态地(无接缝地(seamless))对多个输入图像进行合成的问题。

另外，现有的图像生成装置存在以下问题：由于未必是以一定不在存在作为对象的被摄物(以下称为“对象被摄物”)的区域产生接缝的方式来进行位置对准，因此若是以在存在对象被摄物的区域产生接缝的方式进行位置对准，则有会生成对象被摄物的一部分变成双重或者缺失的、在对象被摄物的图像部分产生了错乱的合成图像的问题。

发明内容

本发明是鉴于如上所述的课题而成的，其目的在于：在将输入图像依次接合来生成合成图像时，通过决定恰当的接缝来对输入图像进行合成而获得优质的合成图像。

[解决问题的技术手段]

为了解决所述课题而采用以下的手段。再者，为了进行参考，在括号内附注后述的具体实施方式的说明及附图中所使用的符号，但本发明的构成要素并不限定于所述附注的内容。

本发明第1形态是一种图像生成装置(图像生成装置1)，其将依次输入的输入图像接合来生成合成图像，所述图像生成装置包括：

相对值算出单元(差分值算出部15)，使用第1输入图像(基准图像)的像素值、及图像的一部分与所述第1输入图像重合的第2输入图像(对象图像)的像素值，算出表示所述第1输入图像与所述第2输入图像的相对关系的相对值(像素值的差分值、像素值的比)；

接缝决定单元(接缝决定部16)，使用由所述相对值算出单元所算出的相对值，决定用以将所述第1输入图像与所述第2输入图像合成的接缝；以及

图像合成单元(图像合成部18)，基于由所述接缝决定单元所决定的接缝，对所述第1输入图像与所述第2输入图像进行合成而生成所述合成图像。

另外，作为另一形态，可构成一种图像生成方法，其将依次输入的输入图像接合来生成合成图像，所述图像生成方法包括：

使用第1输入图像(基准图像)的像素值、及图像的一部分与所述第1输入图像重合的第2输入图像(对象图像)的像素值，算出表示所述第1输入图像与所述第2输入图像的相对关系的相对值(像素值的差分值、像素值的比)；

使用所算出的所述相对值，决定用以将所述第1输入图像与所述第2输入图像合成的接缝；以及

基于所决定的所述接缝，对所述第1输入图像与所述第2输入图像进行合成而生成所述合成图像。

进而，作为又一形态，可构成一种程序(图像生成程序811)，其用以在计算机上将依次输入的输入图像接合来生成合成图像，且所述程序用以使所述计算机执行以下步骤：

相对值算出步骤(图像生成处理的A5)，使用第1输入图像(基准图像)的像素值、及图像的一部分与所述第1输入图像重合的第2输入图像(对象图像)的像素值，算出表示所述第1输入图像与所述第2输入图像的相对关系的相对值(像素值的差分值、像素值的比值)；

接缝决定步骤(图像生成处理的A11)，使用所算出的所述相对值，决定用以将所述第1输入图像与所述第2输入图像合成的接缝；以及

图像合成步骤(图像生成处理的A21)，基于所决定的所述接缝，对所述第1输入图像与所述第2输入图像进行合成而生成所述合成图像。

根据所述第1形态等，可根据表示第1输入图像与第2输入图像的相对关系的相对值，而把握第1输入图像与第2输入图像之间的背景或被摄物的相对位置关系的变化。因此，通过使用所述相对值，能够决定用以将第1输入图像与第2输入图像在恰当的位置合成的接缝。结果，通过图像合成，可获得优质的合成图像。

另外，作为第2形态，可构成一种图像生成装置，其为根据第1形态的图像生成装置，其中：

所述接缝决定单元对于将由所述相对值算出单元所算出的相对值设为像素值的相对值图像(差分图像、比值图像)，进行用以将存在作为对象的被摄物的图像区域、即对象被摄物区域、与其以外的图像区域、即非对象被摄物区域分离的指定的分离处理(面孔检测处理、最小成本像素集合探索处理、图切(graphcut)处理)，从而决定所述接缝。

根据所述第2形态，通过对相对值图像进行用以将对象被摄物区域与非对象被摄物区域分离的指定的分离处理，可决定能够将对象被摄物区域与非对象被摄物区域分离而对第1输入图像与第2输入图像进行合成的接缝。结果，通过图像合成而生成的合成图像成为未在对象被摄物区域中产生错乱的优质的合成图像。

再者，作为另一形态，可构成一种图像生成装置，其为根据第2形态的图像生成装置，其中：

所述分离处理包括自所述输入图像检测对象被摄物的对象被摄物检测处理(面孔检测处理等)，

所述接缝决定单元使用所述相对值图像与所述对象被摄物检测处理的处理结果来决定所述接缝。

根据所述另一形态，通过自输入图像检测对象被摄物，并使用相对值图像与对象被摄物的检测结果来决定接缝，而能够不在对象被摄物区域产生接缝，可生成未在对象被摄物区域中产生错乱的优质的合成图像。

另外，作为第3形态，可构成一种图像生成装置，其为根据第2形态的图像生成装置，其中：

所述接缝决定单元进行像素集合探索处理(最小成本像素集合探索处理)作为所述分离处理，从而决定所述接缝，所述像素集合探索处理是探索评价值(合计成本值)满足能够将所述对象被摄物区域与所述非对象被摄物区域分离的指定的可分离条件的像素的集合，所述评价值是基于所述相对值图像(差分图像)中自作为接缝的起点的像素(起点像素)起至作为接缝的终点的像素(终点像素)为止的各像素的相对值所算出的评价值。

根据所述第3形态，通过像素集合探索处理，可简单且恰当地决定用以将第1输入图像与第2输入图像在恰当的位置接合的接缝。

另外，作为第4形态，可构成一种图像生成装置，其为根据第2形态或第3形态的图像生成装置，其中：

所述接缝决定单元在如下的制约条件下进行所述分离处理，从而决定所述接缝，所述制约条件对在所述相对值图像的指定的接缝产生限制区域(存在指定的物体的区域)产生接缝加以限制。

根据所述第4形态，能够以避开相对值图像中的指定的接缝产生限制区域来决定接缝的方式进行制约。因此，例如可通过将接缝产生限制区域设为对象被摄物的图像区域而在目标对象物以外的部分产生接缝。

另外，作为第5形态，可构成一种图像生成装置，其为根据第4形态的图像生成装置，其还包括：

像素值修正单元(图像生成装置1的处理部)，将所述相对值图像的所述接缝产生限制区域中所含的像素的像素值修正为基于所述制约条件的指定的像素值(比不含于接缝产生限制区域的像素的最大差分值大的值：例如最大灰度值)，所述接缝决定单元对像素值已由所述像素值修正单元修正的相对值图像进行所述分离处理，从而决定所述接缝。

根据所述第5形态，在将相对值图像的接缝产生限制区域中所含的像素的像素值修正为基于制约条件的指定的像素值的基础上，进行分离处理，由此可避开接缝产生限制区域而准确地决定接缝。

另外，作为第6形态，可构成一种图像生成装置，其为根据第4形态或第5形态的图像生成装置，其还包括：

面孔检测单元(图像生成装置1的处理部)，自所述输入图像检测面孔，

所述接缝决定单元在将所述相对值图像中与由所述面孔检测单元所检测出的面孔对应的区域设为所述接缝产生限制区域的所述制约条件下，进行所述分离处理，从而决定所述接缝。

根据所述第6形态，可避开面孔而决定接缝。结果，可不在面孔的部分产生接缝，在最终所生成的合成图像中，可防止在面孔的部分产生错乱。

另外，作为第7形态，可构成一种图像生成装置，其为根据第4形态至第6形态的任一形态的图像生成装置，其中：

所述接缝决定单元具有接缝再决定单元(接缝决定部16)，接缝再决定单元在与当初决定接缝时的所述制约条件不同的制约条件下，再次决定所述接缝；

所述图像合成单元具有图像再合成单元(图像合成部18)，图像再合成单元基于由所述接缝再决定单元所再次决定的接缝，对所述第1输入图像与所述第2输入图像进行合成而再次生成所述合成图像。

根据所述第7形态，在当初所决定的接缝并不恰当的情况下，通过在不同的制约条件下再次决定接缝，而可产生与当初所决定的接缝不同的接缝，从而再次生成合成图像。

另外，作为第8形态，可构成一种图像生成装置，其为根据第1形态至第7形态的任一形态的图像生成装置，其还包括：

位置对准单元(位置对准部14)，基于所述第1输入图像的特征点与所述第2输入图像的特征点的对应关系，对所述第1输入图像与所述第2输入图像进行位置对准，

所述图像合成单元基于由所述位置对准单元而得的位置对准的结果、与由所述接缝决定单元所决定的接缝，对所述第1输入图像与所述第2输入图像进行合成。

根据所述第8形态，通过以第1输入图像与第2输入图像的位置对准结果、与所决定的接缝为依据，而可恰当地对第1输入图像与第2输入图像进行合成。

另外，作为第9形态，可构成一种电子设备(智能手机(smartphone)2、数字照相机、平板化终端(tabletterminal)、个人数字助理(PersonalDigitalAssistant，PDA)、个人计算机(personalcomputer)等)，其包括：

根据第1形态至第8形态的任一形态的图像生成装置(图像生成装置1)；

显示单元(显示部300)；以及

显示控制单元(显示控制部190)，使由所述图像合成单元所生成的合成图像显示于所述显示单元。

根据所述第9形态，用户可在电子设备中阅览由根据第1形态至第8形态的任一形态的图像生成装置所生成的合成图像。

另外，作为第10形态，可构成一种电子设备，其为根据第9形态的电子设备，其中：

所述显示控制单元使由所述接缝决定单元所决定的接缝重叠显示于所述合成图像(图24(B))。

根据所述第10形态，用户可确认第1输入图像与第2输入图像是在哪一位置接合。

另外，作为第11形态，可构成一种电子设备(智能手机2、数字照相机、平板化终端、PDA、个人计算机等)，其包括：

根据第4形态至第7形态的任一形态的图像生成装置(图像生成装置1)；

操作单元(操作部200、触摸屏250)；

显示单元(显示部300)；以及

显示控制单元(显示控制部190)，使所述输入图像显示于所述显示单元，

所述接缝决定单元在将显示于所述显示单元的输入图像中的、与由对所述操作单元进行的用户操作而所指定的指定区域(包含用户进行点击操作的点击位置的区域)对应的所述相对值图像的区域设为所述接缝产生限制区域的所述制约条件下，决定所述接缝。

根据所述第11形态，可显示输入图像而由用户指定不希望产生接缝的区域。而且，可在通过用户操作而所指定的区域以外的部分产生接缝。

另外，作为第12形态，可构成一种电子设备(智能手机2、数字照相机、平板化终端、PDA、个人计算机等)，其包括：

根据第7形态的图像生成装置(图像生成装置1)；

操作单元(操作部200、触摸屏250)；

显示单元(显示部300)；以及

显示控制单元(显示控制部190)，使由所述图像合成单元所生成的合成图像显示于所述显示单元，

所述显示控制单元使由所述接缝决定单元所决定的接缝重叠显示于所述合成图像(图24(B))，

所述接缝再决定单元在通过对所述操作单元进行用户操作而所指定的指定区域(用户进行点击操作的点击位置)中含有所述接缝的情况下，在将与所述指定区域对应的所述相对值图像的区域设为所述接缝产生限制区域的所述制约条件下，再次决定所述接缝(图24(E))，

所述显示控制单元使由所述图像再合成单元所再次生成的合成图像显示于所述显示单元(图24(F))。

根据所述第12形态，使接缝重叠显示于合成图像，由此，用户可确认第1输入图像与第2输入图像是在哪一位置接合。并且，在所显示的合成图像并非所期望的合成图像的情况下，用户可指定接缝的部分而再次决定接缝，并对使用所再次决定的接缝而生成的合成图像进行确认。

另外，作为第13形态，可构成一种电子设备，其为根据第10形态或第12形态的电子设备，其中：

所述显示控制单元使所述接缝以能够与所述合成图像加以区别的显示形态(带有特定的颜色而显示、以粗线显示、闪烁显示)显示于所述显示单元。

根据所述第13形态，可使得用户看一眼便可把握重叠显示于合成图像上的接缝。

另外，作为第14形态，可构成一种电子设备(智能手机2、数字照相机、平板化终端、PDA、个人计算机等)，其包括：

根据第1形态至第8形态的任一形态的图像生成装置(图像生成装置1)；

显示单元(显示部300)；

摄像单元(摄像部500)；

显示控制单元(显示控制部190)，使将摄像对象成像的所述摄像单元进行摄像的待机状态的画面、即摄像待机画面显示于所述显示单元；

面孔检测单元(处理部100)，自成像于所述摄像待机画面的图像检测面孔；以及

告知单元(显示部300、声音输出部400)，在由所述面孔检测单元所检测出的面孔包含于所述摄像待机画面的端部指定范围的情况下，进行指定的提醒注意告知，

所述图像生成装置将由所述摄像单元所拍摄到的摄影图像作为所述输入图像，而生成所述合成图像。

根据所述第14形态，在面孔成像于摄像待机画面的端部的情况下，进行指定的提醒注意告知，由此，可在由用户进行拍摄前，提醒用户拍摄恰当的图像。

另外，作为第15形态，可构成一种电子设备，其为根据第14形态的电子设备，其中：

作为所述提醒注意告知，所述告知单元进行以下中的至少任一种告知：(1)提醒用户以面孔离开画面的端部的方式调整本装置或面孔的位置的告知；(2)提醒用户使面孔靠近画面的中央部的告知；(3)提醒用户拍摄至少一张面孔不位于画面的端部的图像的告知。

根据所述第15形态，可在由用户进行拍摄前，以面孔离开画面的端部的方式移动本装置、或以调整面孔的位置的方式提醒用户、或以使面孔靠近画面的中央部的方式提醒用户、或以拍摄至少一张面孔不位于画面的端部的图像的方式提醒用户。结果，可确实地防止在面孔的部分产生接缝。

附图说明

图1是表示图像生成装置的功能构成的一例的方块图。

图2是说明广角全景合成图像的概要图。

图3是说明对象图像的合成时的变形的概要图。

图4(A)～图4(C)是说明基准图像与对象图像的位置对准的概要图。

图5(A)～图5(B)是基于照相机转动而说明对象图像的合成时的变形的概要图。

图6是说明基准图像与对象图像的对应点的概要图。

图7(A)～图7(C)是说明基准图像与对象图像的位置对准的详情的概要图。

图8是说明多个图像的位置对准的概要图。

图9是说明基准图像的选择条件的概要图。

图10是说明同时推测多个图像的活动的情况的概要图。

图11(A)～图11(B)是说明基准图像彼此的位置对准的概要图。

图12是说明差分图像生成的原理的概要图。

图13(A)～图13(C)是说明像素集合探索处理的概要图。

图14(A)～图14(C)是说明接缝产生限制区域的设定的原理的概要图。

图15是说明将描绘对象图像描绘于合成平面的原理的概要图。

图16是说明在合成平面投影描绘对象图像的原理的概要图。

图17是表示图像生成处理的流程的一例的流程图。

图18是表示图像位置对准处理的流程的一例的流程图。

图19是表示接缝决定处理的流程的一例的流程图。

图20是表示智能手机的功能构成的一例的流程图。

图21是表示照相机模式处理的流程的一例的流程图。

图22是表示第2照相机模式处理的流程的一例的流程图。

图23是表示第2的接缝决定处理的流程的一例的流程图。

图24(A)～图24(F)是表示显示于智能手机的显示部的全景图像的一例的图。

图25是表示第3照相机模式处理的流程的一例的流程图。

图26是表示记录媒体的一例的图。

[符号的说明]

1：图像生成装置

2：智能手机

9：存储卡

10：输入部

11：基准图像选择部

12：匹配部

13：变换行列推测部

14：位置对准部

15：差分值算出部

16：接缝决定部

17：制约条件设定部

18：图像合成部

20：照相机

25：输入完成图像存储器

100：处理部

110：基准图像选择部

120：匹配部

130：变换行列推测部

140：位置对准部

150：差分值算出部

160：接缝决定部

170：制约条件设定部

180：图像合成部

190：显示控制部

200：操作部

250：触摸屏

300：显示部

400：声音输出部

500：摄像部

600：通信部

700：时脉部

800：存储部

810：照相机模式处理程序

811：图像生成程序

830：输入完成图像数据库

850：输入图像用缓冲器

870：输出图像用缓冲器

910：卡槽

920：读写卡

A1、A3、A5、A7、A9、A11、A13、A15、A17、A19、A21、A23、A25、B1、B3、B5、B7、B9、B11、B13、C1、C3、C5、C7、C9、C11、E10、E15、E20、E25、E30、E35、E40、E45、E50、E55、E60、E90、F10、F15、F20、F25、F30、F35、F40、F45、G6、G7、G8、H10、H15、H20、H25、H30、H35：步骤

C0～C13：中心

Ic：对象图像

Id：差分图像

Ip1：过去的对象图像

Ir、Ir0、Ir1：基准图像

It：合成图像

Itr：临时基准图像

P1～P7：像素

Re1～Re13：链路

Sp：合成平面

S0、S1：摄像面

J：接缝

Rid：像元

Rin：内侧区域

Rm：修正区域

Rout：外侧区域

具体实施方式

以下，参照附图来对应用本发明的优选实施形态的一例进行说明。再者，附图的说明中对同一要素附上同一符号，有时省略重复的说明。另外，附图的尺寸比率未必与所说明的物体一致。另外，能够应用本发明的形态当然并不限定于以下说明的实施形态。

[1.图像生成装置]

本实施形态的图像生成装置是在每次输入时将依次输入的输入图像拼接而逐步生成一张合成图像的装置，例如，可在将连续拍摄到的多个图像实时(realtime)地接合而生成一张比摄影图像更广角的全景图像的情况下适宜采用。

例如，能够使智能手机等携带电话机、数字照相机、平板化终端、PDA(PersonalDigitalAssistant)等有资源限制的移动终端具备本实施形态的图像生成装置，但并不限定于这些，例如也可使通常的计算机系统具备本实施形态的图像生成装置。

[1-1.构成及原理]

图1是表示本实施形态的图像生成装置1的功能构成的一例的方块图。

图像生成装置1包括：输入部10、基准图像选择部11、匹配(matching)部12、变换行列推测部13、位置对准部14、差分值算出部15、接缝决定部16、制约条件设定部17、及图像合成部18。这些是图像生成装置1的处理部(处理装置)所具有的功能部(功能块)，处理部构成为具有中央处理器(CentralProcessingUnit，CPU)或数字信号处理器(DigitalSignalProcessor，DSP)等处理器(processor)或专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)等集成电路。

图像生成装置1具有将所拍摄到的摄影图像依次拼接而生成广角的全景合成图像的功能。例如，如图2所示，在照相机20的拍摄方向如箭头K所示般变化的情况下，将依次输入的图像进行拼接，在合成平面Sp上依次描绘合成图像。例如若此次所输入的图像为Ic，将图像Ic与目前为止的合成图像It合成而生成一张合成图像。

输入部10具有输入由照相机20所拍摄到的图像(以下称为“摄影图像”)的功能。输入部10例如具有在每次拍摄时将摄影图像输入的功能。

输入部10将最初所输入的图像保存于第1临时存储区域(以下称为“输出图像用缓冲器(buffer)”)。另外，输入部10将下次以后连续输入的图像保存于第2临时存储区域(以下称为“输入图像用缓冲器”)。

再者，若在第2临时存储区域保存图像，则进行所述图像的定位并且判断所述图像是否为描绘对象，在判断为描绘对象的图像的情况下，通过合成而将存储于第1临时存储区域的输出图像更新并覆盖保存。下文中，将存储于第1临时存储区域的图像作为合成图像It、将存储于第2临时存储区域的图像作为对象图像Ic(输入图像)而进行说明。

基准图像选择部11具有选择位置对准用的基准图像Ir的功能。所谓基准图像Ir，是指成为对象图像Ic的位置对准的基准的图像。例如，基准图像选择部11构成为：能够参照存储有与输入完成图像相关的信息的输入完成图像存储器25。输入完成图像是先于对象图像Ic而由输入部10所输入的图像，一个或多个图像构成输入完成图像。即，若将第n次的对象图像Ic设为Ic(n-1)，则输入完成图像为Ic(n-2)、Ic(n-3)……Ic0。基准图像选择部11在输入完成图像为一张的情况下，将所述图像Ic1选为对象图像Ic2的基准图像Ir0。以后，除满足指定条件的情况外，基准图像选择部11不变更所述基准图像。

指定条件例如可预先定为：基准图像Ir与对象图像Ic(n)的距离偏离规定值以上的情况。此时，基准图像选择部11将对象图像Ic(n)选为下次的新的对象图像Ic(n+1)的基准图像Ir(k)，并将与对象图像Ic(n)相关的信息保存于输入完成图像存储器25。所谓与对象图像Ic(n)相关的信息，例如可仅为由后述的匹配部12所导出的特征点的像素值及位置信息。如此，通过对记录于输入完成图像存储器25的信息加以限制，而与保存基准图像Ir本身的情况相比，可削减所使用的存储器容量。

基准图像选择部11在输入有对象图像Ic(n+1)时，参照输入完成图像存储器25而选择对象图像Ic(n)作为基准图像Ir(k)。以上，基准图像选择部11针对每一对象图像Ic而选择一个基准图像Ir。

再者，在满足指定条件的情况下，基准图像选择部11也可针对对象图像Ic(n)而还选择临时基准图像。临时基准图像是选自输入完成图像中的图像，且为临时的基准图像。关于临时基准图像的选择处理的详情，将在下文叙述。

基准图像选择部11将与基准图像Ir相关的图像信息(至少包含特征点的像素信息及位置信息的信息)输出至匹配部12。

匹配部12获取基准图像Ir与对象图像Ic的对应关系。匹配部12获取与基准图像Ir的特征点及对象图像Ic的特征点相关的信息。匹配部12例如基于特征点的像素值而获取基准图像Ir与对象图像Ic的对应关系。作为匹配方法，可使用块匹配(blockmatching)法或梯度法等公知的方法。

再者，匹配部12也可在将基准图像Ir及对象图像Ic多重分辨率化的基础上进行匹配。例如，匹配部12分别阶段性地变更基准图像Ir及对象图像Ic的分辨率，而生成分辨率不同的多个图像。而且，匹配部12也可在分辨率最小的图像间获取特征点的平行移动量，而在分辨率更大的图像间进行特征点的像素(pixcel)单位的匹配。此时，可实现处理的高速化及运算成本的降低。

匹配部12获取已算出基准图像Ir与对象图像Ic的对应关系的成对的特征点的位置信息(坐标信息)。即，匹配部12成对地获取基准图像Ir所具有的特征点的位置信息、及与所述特征点对应的对象图像Ic的特征点的位置信息。此时，为了进行后述的位置对准处理，匹配部12获取多个成对的特征点。

匹配部12将所获取的成对的特征点输出至变换行列推测部13。再者，如上文所述，在基准图像选择部11将所述对象图像Ic追加为下次以后的基准图像Ir的情况下，匹配部12将对象图像Ic的特征点的像素值及位置信息输出至基准图像选择部11。

变换行列推测部13基于自匹配部12所输出的基准图像Ir与对象图像Ic的对应关系，而推测使基准图像Ir的坐标系与对象图像Ic的坐标系对应的变换式即变换行列。

位置对准部14使用由变换行列推测部13所推测的变换行列而进行基准图像Ir与对象图像Ic的位置对准。

图4(A)～图4(C)是说明基准图像Ir与对象图像Ic的位置对准的概要的概要图。

如图4(A)所示，在仅输入有第1张图像的情况下，将所述图像选为基准图像Ir0。而且，在输入有第2张图像(对象图像Ic)的情况下，位置对准部14以基准图像Ir0的位置为基准而进行对象图像Ic的位置对准。

此处，所谓位置对准，是指如图4(B)所示，决定基准图像Ir0的指定点(此处为中心C0)、与对象图像Ic的指定点(此处为中心C1)的相对位置。位置对准部14探索由匹配部12所获取的成对的特征点相互间最吻合的位置。而且，如图4(C)所示，在完成了基准图像Ir0与对象图像Ic的位置对准的情况下，记录相互间位置关系已形成链路(link)(链路Rel)这一内容。

再者，如上文所述，在通过位置对准部14而完成位置对准，且基准图像Ir0与对象图像Ic的相对距离为规定值以上的情况下，需要基准图像选择部11将所述对象图像Ic追加为下次以后的基准图像Ir1，因此，匹配部12将对象图像Ic的特征点的像素值及位置信息输出至基准图像选择部11。

图5(A)～图5(B)是说明照相机20的转动所成的摄像面的概要图。

如图5(A)～图5(B)所示，若将转动前的照相机20的摄像面设为S0，将转动后的照相机20的摄像面设为S1，则摄像面S0与摄像面S1并不存在于同一平面内。因此，通过平行移动而使成对的特征点吻合的位置与本来的重合位置不同。即，在进行位置对准的情况下，需要考虑照相机的活动而以基准图像Ir的特征点的位置与对象图像Ic的特征点的位置在同一三维坐标系上一致的方式进行位置对准。

就所述理由而言，变换行列推测部13推测使基准图像Ir0的三维坐标系与对象图像Ic的三维坐标系一致的变换行列。

图6是用以说明变换行列的生成的原理的图。

如图6所示，若将基准图像Ir0的特征点的坐标设为(x₀，y₀，1)，将与所述特征点对应的对象图像Ic的特征点的坐标设为(x₁，y₁，1)，则变换行列推测部13对(x₀，y₀，1)与(x₁，y₁，1)一致的变换行列加以推测。

此处，照相机的自由度为6自由度，即，照相机的活动(向xy方向的平行移动、向z方向的移动所致的扩大缩小)为3自由度、照相机的转动(向x方向、y方向的图像的畸变(梯形)及z轴上的图像的转动)为3自由度。若考虑卷帘式快门(rollingshutter)畸变(焦平面(focalplane)畸变)，添加关于其剪切、纵横比的2自由度而近似为8自由度，则以下式(1)来表示。

$\left(\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_1& b_1& c_1\\ d_1& e_1& f_1\\ g_1& h_1& 1\end{array}\right)\·\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)...\left(1\right)$

所述变换行列(变换式)的参数a1～h1是与所述8自由度相关的参数。变换行列推测部13通过利用最优化方法的收敛运算而求出多个成对的特征点可满足所述关系的变换行列参数。具体而言，以包含基准图像Ir的特征点的位置(x₀，y₀，1)与将对象图像Ic的特征点的位置(x₁，y₁，1)变换后的位置的差分的目标函数成为最小值的方式进行收敛运算。最优化方法可应用牛顿法(Newton′smethod)或高斯-牛顿法(Gauss-Newtonmethod)等公知的方法。

此处，变换行列推测部13具有以下功能：设定为基准图像Ir与对象图像Ic之间的活动仅为照相机20的转动运动，将照相机20的活动限定为3自由度，并使用成对的特征点的位置信息来推测变换式。例如，如图6所示，若将照相机20的的摄像位置设为原点，则照相机的自由度仅限定于X轴、Y轴、Z轴的转动。若将各轴的参数设为(β，α，γ)，则变换行列R可如下式(2)般来表示。

$\begin{array}{c}R=R_z\·R_x\·R_y\\ =\left(\begin{array}{ccc}\cos \left(\mathrm{\γ}\right)& -sin\left(\mathrm{\γ}\right)& 0\\ \sin \left(\mathrm{\γ}\right)& \cos \left(\mathrm{\γ}\right)& 0\\ 0& 0& 1\end{array}\right)\·\left(\begin{array}{ccc}1& 0& 0\\ 0& cos\left(\mathrm{\β}\right)& -sin\left(\mathrm{\β}\right)\\ 0& sin\left(\mathrm{\β}\right)& \cos \left(\mathrm{\β}\right)\end{array}\right)\·\left(\begin{array}{ccc}cos\left(\mathrm{\α}\right)& 0& sin\left(\mathrm{\α}\right)\\ 0& 1& 0\\ -sin\left(\mathrm{\α}\right)& 0& cos\left(\mathrm{\α}\right)\end{array}\right)\end{array}...\left(2\right)$

即，基准图像Ir的特征点的位置(x₀，y₀，1)、与对象图像Ic的特征点的位置(x₁，y₁，1)可使用变换行列R而如下式(3)般对应。

$\left(\begin{array}{c}{x}_0-c_x\\ y_0-c_y\\ F\end{array}\right)\≅R\·\left(\begin{array}{c}{x}_1-c_x\\ y_1-c_y\\ F\end{array}\right)...\left(3\right)$

此处，(c_x，c_y)是将基准图像Ir及对象图像Ic的图像尺寸设为相同的情况下的各自的中心坐标。另外，“F”是指焦距。再者，焦距F也可应用自照相机20的规格信息获得的值。

如式(1)般，在使用考虑到缩小成分的变换行列，并且进而优先使误差变小而进行收敛运算的情况下，将图像缩小的情况下误差相对变小，因此有缩小成分的程度变大的变换行列成为解的倾向。此时，每进行逐次合成误差便会累积，结果无法成为优质的全景图像。与此相对，如式(2)所示，通过将变换行列R仅限定于转动成分，而当利用最优化方法进行收敛运算时不考虑缩小成分，因此可避免误差的累积，从而生成优质的全景图像。

再者，作为高斯-牛顿法等最优化方法的收敛运算的初始值，也可采用上次的对象图像Ic的变换行列。此时，收敛运算容易更早地收敛，因此可提高算出速度。

变换行列推测部13通过所述处理而推测变换行列R，将所推测的变换行列R输出至位置对准部14。

在本实施形态中，变换行列推测部13在对式(3)进行收敛运算而推测变换行列R时，将特征点的二维坐标投影于三维空间Sc的球面，并使用所投影的坐标的对应关系而推测变换行列R。

图7(A)～图7(C)是说明基准图像Ir与对象图像Ic的位置对准的详情的概要图。

如图7(A)、图7(B)所示，变换行列推测部13将二维坐标系的基准图像Ir的特征点的位置(x₀，y₀，1)与二维坐标系的对象图像Ic的特征点的位置(x₁，y₁，1)透视射影于三维空间Sc的球面。若将(x_n-c_x)设为矢量x_n、将(y_n-c_y)设为矢量y_n、将投影后的坐标设为(X_n，Y_n，Z_n)，则关于坐标(x₁，y₁，F)，例如是以下式(4)进行透视射影。

$\left(\begin{array}{c}{X}_1\\ Y_1\\ Z_1\end{array}\right)=\frac{1}{\sqrt{{{\hat{x}}_1}^2+{{\hat{y}}_1}^2+F^2}}\left(\begin{array}{c}{\hat{x}}_1\\ {\hat{y}}_1\\ F\end{array}\right)...\left(4\right)$

另外，利用变换行列R进行变换后的坐标点可如下式(5)般表示。

$\left(\begin{array}{c}R\left(X_1\right)\\ R\left(Y_1\right)\\ R\left(Z_1\right)\end{array}\right)=R\·\left(\begin{array}{c}{X}_1\\ Y_1\\ Z_1\end{array}\right)...\left(5\right)$

因此，收敛运算的目标函数包含下式(6)的差分r。

r_x＝R(X₁)-X₀

r_y＝R(Y₁)-Y₀…(6)

r_z＝R(Z₁)-Z₀

再者，在假定对象图像Ic与基准图像Ir的距离近的情况下，可省略式(4)的变换。此时，所述差分r成为不含除法的形式，因此无需考虑除法的有效数字减少。因此，例如在通过利用高斯-牛顿法等的最优化处理而对目标函数进行收敛运算时，可容易地进行运算。由此，在投影于三维空间的球面而进行算出的情况下，能够降低运算成本。

变换行列推测部13通过所述处理而推测变换行列R。而且，位置对准部14使用所推测的变换行列R而进行基准图像Ir与对象图像Ic的位置对准。更具体而言，位置对准部14对基准图像选择部11所选择的基准图像Ir与所输入的对象图像Ic逐次进行位置对准，如图7(C)般，在基准图像Ir的中心C0与对象图像Ic的中心C1之间生成链路Re1。

图8是表示进行8张输入图像间的位置对准的链路的一例的图。

如图8所示，8张输入图像的中心C0～中心C7之间形成链路(链路Re1～链路Re7)。通过重复进行基准图像选择部11选择基准图像Ir、位置对准部14形成链路的动作，而如图8所示，可使图像一面进行位置对准一面接合。

另外，由于变换行列推测部13是投影于球面而推测变换行列R，且位置对准部14对基准图像与对象图像进行位置对准，因此，在进行二维平面与球面的坐标变换时，例如可考虑图3中的(A)～(H)所示的8自由度的图像变形。换言之，位置对准部14通过在球面上进行定位，而在后述的图像合成部18自球面投影于平面时，可进行图3中的(A)～(H)所示的图像变形。

再者，基准图像选择部11不限于选择基准图像Ir，也可选择临时基准图像Itr。

图9是说明基准图像Ir及临时基准图像Itr的概要图。

首先，如图9中的(A)所示，在输入有图像的情况下，所述图像成为下次以后的基准图像Ir。其次，假定如图9中的(B)所示，输入有偏离基准图像Ir固定值以上的对象图像Ic。此时，如图9中的(C)所示，将对象图像Ic设为下次以后的临时的基准图像即临时基准图像Itr。临时基准图像Itr是不作为历史记录而保存的临时的基准图像。

其次，假定如图9中的(D)所示，输入有偏离临时基准图像Itr的对象图像Ic，且如图9中的(E)所示，输入有偏离临时基准图像Itr固定值以上的对象图像Ic。此时，如图9中的(F)、图9中的(G)所示，放弃至此次为止的临时基准图像Itr，而将对象图像Ic设为下次以后的临时的基准图像即临时基准图像Itr。

其次，假定如图9中的(H)所示，输入有不仅偏离临时基准图像Itr而且也偏离基准图像Ir固定值以上的对象图像Ic。此时，如图9中的(I)所示，放弃至此次为止的临时基准图像Itr，而将对象图像Ic设为下次以后的基准图像Ir。此处，将至此次为止的基准图像即第1次的基准图像设为Ir0，将下次以后的基准图像设为Ir1。将与基准图像Ir0、基准图像Ir1相关的信息保存以用于位置对准。

其次，假定如图9中的(J)所示，输入有也偏离基准图像Ir1固定值以上的对象图像Ic。此时，与图中9的(C)同样地，如图9中的(K)所示，将对象图像Ic设为下次以后的临时的基准图像即临时基准图像Itr。

其次，假定如图9中的(L)所示，输入有比临时基准图像Itr更靠近基准图像Ir0的对象图像Ic。此时，放弃至此次为止的临时基准图像Itr，而将下次以后的基准图像设为基准图像Ir0。如此，通过预先保持基准图像的信息，而即便在照相机20返回至原来的位置的情况下，也能够以过去的基准图像为基准而对对象图像进行位置对准。另外，通过使用临时基准图像Itr与基准图像Ir，而可使需要预先进行记录的数据为最小限度。

另外，在多个图像重叠的情况下，变换行列推测部13也可同时对多个图像间的活动进行推测。例如，如图10所示，设定为存在与基准图像Ir及对象图像Ic重叠的图像(过去的对象图像Ip1)。设定为基准图像Ir与过去的对象图像Ip1已定位的状态、即已经导出变换行列R₁。而且，将基准图像Ir的特征点的坐标设为(x₀，y₀，1)、将过去的对象图像Ip1的特征点的坐标设为(x₁，y₁，1)、将对象图像Ic的特征点的坐标设为(x₂，y₂，1)。

此处，在导出使基准图像Ir的坐标系与对象图像Ic的坐标系对应的变换行列R₂时，以下式(7)来设定所给出的条件。

$\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)=R_1\·\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)$

$\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)=R_2\·\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right)...\left(7\right)$

$R_1\·\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=R_2\·\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right)$

通过式(7)将变换式R₁与变换式R₂相关联。变换行列推测部13通过利用最优化方法的收敛运算而同时推测可满足所述式(7)的R₁、R₂。此时，可避免使与基准图像Ir及过去的对象图像Ip1的成对的特征点相关的信息无用。另外，通过在多个图像间同时进行推测，而与链路串联地连接的情况相比，可抑制误差的累积。

另外，变换行列推测部13在对象图像Ic也靠近过去的基准图像Ir的情况下，不仅与现在的基准图像Ir，而且还与过去的基准图像Ir进行位置对准。例如，如图11(A)所示，13张输入图像的中心C0～中心C13之间形成链路(链路Re1～链路Re13)。图像中心为C13的对象图像Ic13与图像中心为C12的基准图像Ir12间连结有链路Re13，而决定相对位置。

此处，变换行列推测部13在如图11(B)所示，对象图像Ic13也靠近图像中心C1的过去的基准图像Ir1的情况下，进行基准图像Ir1与对象图像Ic13的位置对准。由此，在基准图像Ir1与对象图像1c13之间连结有链路Re14。即，可使用对象图像Ic13来进行基准图像Ir1与基准图像Ir12的位置对准。如此，通过使用对象图像Ic来实现基准图像Ir彼此的位置对准，而能够进行本来重叠少的基准图像Ir彼此的定位。

另外，位置对准部14也可进行整体位置的调整。所谓整体位置的调整，是指对描绘对象的图像(输出用图像缓冲器中所标出的图像)整体的位置关系进行调整。例如，在基准图像Ir间连结有新的链路的时机、或者通过执行多个图像的活动的同时推测而将多个过去的变换行列更新的时机，对所有的描绘对象图像的整体位置进行微调整。即，再次运算所有的描绘对象图像的变换行列R。

整体位置并非使用由匹配部12所输出的特征点来进行整体的位置对准，而是以位置对准所得的结果为依据，自图像随机抽取或自指定位置抽取图像间的对应点，并基于所抽取的点的位置信息而进行整体的位置对准。此时，无需保持过去的成对的特征点，因此可削减存储器使用量。

差分值算出部15算出基准图像Ir的像素值与对象图像Ic的像素值的差分值，作为表示通过位置对准部14而进行了位置对准的基准图像Ir与对象图像Ic的相对关系的相对值。

图12是说明差分值算出的原理的概要图。

在所述图中例示有：将在图像的右端身体的一部分未完整地显现的人物成像而得的基准图像Ir、及在完整地呈现所述人物的身体的状态下成像于图像的右部的对象图像Ic。为了简化说明，而以基准图像Ir与对象图像Ic为相同尺寸的图像、并且相对于将照相机20作为基准的水平方向未产生偏移的两张图像的形式进行说明。

差分值算出部15在将基准图像Ir与对象图像Ic重合的状态下算出基准图像Ir的各像素的像素值与对象图像Ic的对应的像素的像素值的差分值。以下，将以所算出的差分值为像素值的图像作为差分图像Id进行说明。若由差分值算出部15算出差分值，则如图12的下部所示，生成强调人物的轮廓的差分图像Id。但是，在图12中，为了易于理解，而以二值图像来表示差分图像，但实际上，能够以灰度(grayscale)图像来表示差分图像。即，可由将差分值“0”设为黑、将差分值“255”设为白的256灰度的灰度值来表示差分图像Id。

接缝决定部16使用位置对准部14的位置对准结果、与由差分值算出部15所生成的差分图像Id的差分值，来决定用以将基准图像Ir与对象图像Ic合成的接缝。具体而言，接缝决定部16对将由差分值算出单元所算出的差分值作为像素值的差分图像，进行将存在对象被摄物的图像区域(以下称为“对象被摄物区域”)、与其以外的图像区域(以下称为“非对象被摄物区域”)分离的指定的分离处理，从而决定所述接缝。对象被摄物区域是存在作为对象被摄物的对象物的图像区域，因此，也可称为物体区域。

此处，为了决定接缝，需要在最初设定差分图像中作为接缝的起点的像素(以下称为“起点像素”)、与作为接缝的终点的像素(以下称为“终点像素”)。为了将基准图像Ir与对象图像Ic接合，而需要在经位置对准的状态下，在基准图像Ir与对象图像Ic重合的区域(以下称为“重合区域”)内产生接缝，并以所述接缝为界限而对基准图像Ir与对象图像Ic进行合成。

因此，例如，自构成重合区域的外缘的像素中选择两个像素，并特定与这些像素对应的基准图像Ir上的两个像素。而且，只要将与所特定的两个像素对应的差分图像Id上的像素设定为起点像素及终点像素即可。优选的是，特定重合区域的四角的像素中、与位于作为合成对象的对象图像Ic侧的两个像素对应的基准图像Ir上的两个像素，并将与所特定的两个像素对应的差分图像Id上的像素设定为起点像素及终点像素即可。

图13(A)～图13(C)是说明决定接缝的原理的概要图。

在图13(A)中示出图12中获得的差分图像Id。另外，在图右部示出对图12所示的基准图像Ir与对象图像Ic进行位置对准的状态，对基准图像Ir与对象图像Ic的重合区域标出影线。

此处，举以下情况为例进行说明：选择标有影线的重合区域的四角的像素中、位于作为合成对象的对象图像Ic侧的基准图像Ir上的右上角及右下角的两个像素，并将与这两个像素对应的差分图像Id上的像素、即差分图像Id的右上角及右下角的像素分别设定为起点像素及终点像素。

接缝决定部16进行最小成本像素集合探索处理作为对象被摄物区域与非对象被摄物区域的分离处理，而探索成为接缝的像素的集合，所述最小成本像素集合探索处理是探索作为自所设定的起点像素起至终点像素为止的各像素的差分值的合计值而算出的合计成本值为最小的像素的集合。合计成本值相当于基于各像素的相对值而算出的评价值，合计成本值为最小相当于能够将对象被摄物区域与非对象被摄物区域分离的指定的可分离条件。

进行具体说明。在图13(B)中，着眼于差分图像中由右上的虚线包围的区域中的7个像素，并示出将其放大的图。由虚线包围的区域中所含的一个矩形表示一个像素，各个矩形内所示的值表示此像素的差分值。方便起见，对起点像素附上符号P1，对其他的6个像素附上符号P2～P7。另外，将以带箭头的线将各像素连接而可自起点像素P1探寻的各路径中所算出的成本值图示于带箭头的线的上下左右的方块内。

对可利用带箭头的线而自起点像素起依序进行探寻的像素的差分值加上至此为止所算出的成本值，而将成本值更新并存储成本值的最小值与至此为止的路径中所含的像素。而且，算出至终点像素为止的成本值的合计值即合计成本值作为评价值，并将所述合计成本值为最小的像素的集合决定为接缝。

作为一例，考虑将起点像素P1的差分值设为“3”、将像素P2的差分值设为“9”、将像素P3的差分值设为“15”、将像素P4的差分值设为“12”、将像素P5的差分值设为“10”、将像素P6的差分值设为“5”、将像素P7的差分值设为“18”的自起点像素P1起至像素P6为止的路径。

(1)P1→P2→P3→P6的路径

P1→P2的合计成本值成为“3+9＝12”，P1→P2→P3的合计成本值成为“12+15＝27”。而且，P1→P2→P3→P6的合计成本值成为“27+5＝32”。

(2)P1→P2→P5→P6的路径

P1→P2的合计成本值成为“3+9＝12”，P1→P2→P5的合计成本值成为“12+10＝22”。而且，P1→P2→P5→P6的合计成本值成为“22+5＝27”。

(3)P1→P4→P5→P6的路径

同样地，P1→P4的合计成本值成为“3+12＝15”，P1→P4→P5的合计成本值成为“15+10＝25”。而且，P1→P4→P5→P6的合计成本值成为“25+5＝30”。

再者，在通过像素P7的路径中，P7的像素值为“18”，通过P7的路径中，无论哪一路径，均比所述任一路径的合计成本值大，因此通过P7到达P6的路径的合计成本值不会成为最小。

所述三条路径中，合计成本值最小的是(2)的P1→P2→P5→P6的路径。因此，在考虑自起点像素P1起至像素P6为止的路径的情况下，由P1→P2→P5→P6组成的像素的集合成为合计成本值最小的像素的集合。

如上所述，预先算出通过自起点像素起至终点像素为止的各像素的路径的合计成本值，并存储所通过的像素，最终将合计成本值为最小的自起点像素起至终点像素的像素的集合决定为接缝。通过以所述方式决定接缝，从而决定例如图13(C)中以白色的实线所示般的接缝。

在图13(A)的差分图像Id中，检测出作为对象被摄物(对象物)的人物的轮廓。基准图像Ir与对象图像Ic中人物的位置不同，因此在作为对象被摄物的人物的轮廓的部分，基准图像Ir与对象图像Ic的差分值变大。在最小成本像素集合探索处理中，以探寻差分值小的像素的方式决定接缝，因此以避开作为对象被摄物的人物的方式决定接缝。即，通过最小成本像素集合探索处理，可决定能够将对象被摄物区域与非对象被摄物区域分离的接缝。

制约条件设定部17对接缝决定部16决定接缝时的制约条件进行设定。制约条件设定部17设定如下制约条件，所述制约条件对在限制接缝的产生的指定的接缝产生限制区域产生接缝加以限制。

在基准图像Ir与对象图像Ic中也可存在除作为对象被摄物的人物以外的各种物体。因此，通过最小成本像素集合探索处理，未必是以避开人物的轮廓的方式决定接缝。

尤其成为问题的是产生如通过人物的面孔的一部分的接缝的情况。当产生如通过人物的面孔的接缝时，通过以所述接缝为界限而对基准图像Ir与对象图像Ic进行合成，在最终生成的合成图像中产生如下问题：人物的面孔变成双重，或人物的面孔的一部分发生间断，或人物的面孔的一部分缺失等。因此，在本实施形态中，将包含人物的面孔的指定区域作为接缝产生限制区域，并设定对在所述指定区域产生接缝加以限制的制约条件。

在本实施形态中，为物体检测处理的一例，进行对人物的面孔进行检测的面孔检测处理。具体而言，使用利用维奥拉-琼斯(Viola-Jones)法或哈尔(Haar-like)特征量的面孔检测法等公知的方法，自基准图像Ir及对象图像Ic检测人物的面孔。而且，在差分图像Id中，将与包含由面孔检测处理所检测出的面孔的指定区域对应的差分值图像的区域设定为接缝产生限制区域，对包含于所述接缝产生限制区域的所有像素的差分值进行修正。

图14(A)～图14(C)是用以对接缝产生限制区域的设定原理进行说明的图。

在图14(A)～图14(C)中示出差分图像Ir中的一部分区域，并示出在所述一部分区域中包含人物的面孔的状态。一个矩形表示像素，椭圆表示人物的面孔，椭圆的轮廓表示人物的面孔的轮廓。另外，在图14(A)～图14(C)的各图中，由标有影线的像素构成的区域成为接缝产生限制区域。

此时，如图14(A)所示，在面孔检测处理中，在基于人物的眼睛或鼻子、口等的特征，将面孔的中心部分的矩形区域作为人物的面孔而进行检测的情况下，将进行检测的矩形区域设定为接缝产生限制区域。

另外，如图14(B)所示，在由面孔检测处理对人物的面孔的轮廓进行检测的情况下，将包括含检测出的面孔的轮廓的人物的面孔整体的最小尺寸的矩形区域设定为接缝产生限制区域。

在本实施形态中，将如上所述设定的接缝产生限制区域中所含的各像素的差分值修正为基于制约条件的规定像素值。只要将规定像素值设定为比接缝产生限制区域中所不含的像素中差分值成为最大的像素的差分值(以下，称为“最大差分值”)大的值即可。在最优选的例子中，只要将以灰度表示差分图像时的灰度值的最大值即“255”作为规定像素值即可。

构成接缝产生限制区域的像素中，设定比最大差分值大的规定像素值。因此，在通过构成接缝产生限制区域的像素的路径中，相比于通过其他像素的路径，合计成本值更大，因此求出未通过接缝产生限制区域般的像素的集合来作为接缝。

再者，除图14(B)所示的接缝产生限制区域的设定方法以外，例如也可如图14(C)所示，将包括含人物的面孔的轮廓的面孔整体的区域设定为接缝产生限制区域。即，在图14(B)中，也可将位于表示面孔的轮廓的像素的外侧的像素自接缝产生限制区域排除在外。此时，容许将位于表示面孔的轮廓的像素的外侧的像素作为构成接缝的一部分的像素，因此可使能够成为接缝的像素的范围扩大。

另外，在输入图像中存在多个人物的面孔的情况下，通过面孔检测处理而对各个人物的面孔进行检测。而且，将存在有各个人物的面孔的区域设定为接缝产生限制区域，从而决定接缝。

图像合成部18使用由变换行列推测部13所推测出的变换行列，将由位置对准部14在三维空间的球面上进行了位置对准的图像Id投影于作为二维平面的合成平面Sp上。当自球面朝合成平面Sp投影时，例如发生如图3中的(A)～(H)所示的图像变形。而且，将其图像作为一张合成图像而记录至输出图像用缓冲器。

图15是用以说明图像Id的描绘的原理的概要图。

外侧所示的实线的矩形为平面Sp。另外，以虚线表示进行了位置对准的基准图像Ir与对象图像Ic，由这些进行了位置对准的基准图像Ir及对象图像Ic构成的图像成为图像Id。

图像合成部18针对在图像Id的基准图像Ir与对象图像Ic重合的重叠区域中，以接缝J为基准而位于对象图像Ic侧的区域(以下，称为“内侧区域”)Rin，而将对象图像Ic的像素值描绘于合成平面Sp。另外，对于重叠区域中的以接缝J为基准而位于基准图像Ir侧的区域(以下，称为“外侧区域”)Rout，将基准图像Ir的像素值与对象图像Ic的像素值进行α混合(alphablend)，从而将所述经α混合的像素值描绘于合成平面Sp。

α混合为利用系数(α值)来将两个图像合成的方法。具体而言，针对外侧区域Rout中所含的像素，对对象图像Ic的像素值设定权重α，对基准图像Ir的像素值设定权重(1-α)，从而对对象图像Ic的像素值与基准图像Ir的像素值进行加权平均。

此时，理想的是以在靠近接缝J的区域中使对象图像Ic的像素值反应大且在外侧区域Rout的端部的区域中使基准图像Ir的像素值反应大的方式进行α混合。因此，优选的是，在接缝J的像素中，将权重α设为作为最大值的“1”，随着自接缝J的区域不断接近外侧区域Rout的端部，阶段性地减小权重α，在外侧区域Rout的端部的像素中，将权重α设为作为最小值的“0”，从而进行α混合。

另外，如图16所示，将合成平面Sp分割成格子状。此时，图像合成部18考虑到图3中的(A)～(H)所示的图像变形，而仅描绘在投影于合成平面Sp的图像Id中包含四角的像元(cell)(例如图16的Rid)。以所述方式描绘的图像成为最终生成的合成图像。

[1-2.处理]

图17是表示由图像生成装置1执行的图像生成处理的流程的一例的流程图。再者，考虑到说明理解的容易性，将对象图像Ic设为第2个以后的输入图像。

最初，输入部10执行图像输入处理(A1)。具体而言，输入部10自照相机20输入对象图像Ic。继而，位置对准部14执行图像位置对准处理(A3)。

图18是表示图像位置对准处理的流程的一例的流程图。

最初，基准图像选择部11自输入完成图像中选择基准图像Ir(B1)。而且，基于匹配部12及变换行列推测部13的推测结果，位置对准部14进行基准图像Ir与对象图像Ic的位置对准(B3)。

继而，位置对准部14判定过去(或其他)的基准图像Ir与对象图像Ic能否进行比较(B5)。具体而言，在基准图像Ir的中心位置与对象图像Ic的中心位置之间的距离为指定值以下(或未满指定值)的情况下，判定为基准图像Ir与对象图像Ic能够进行比较。而且，在判定为能够进行比较的情况下(B5；是)，位置对准部14进行过去的基准图像Ir与对象图像Ic的位置对准(B7)。

继而，为了调整整体位置，位置对准部14将再描绘标记(flag)设为“ON”(B9)。然后，基准图像选择部11判定对象图像Ic与过去的基准图像Ir之间的距离是否为指定值以上(B11)。而且，在判定为距离为指定值以上的情况下(B11；是)，基准图像选择部11为了使对象图像Ic成为下次以后的基准图像Ir而将其记录至基准图像表(list)(B13)。所谓基准图像表，是指用以参照记录有基准图像的特征点的像素值及坐标的数据的表。当B13的步骤结束时，结束图像位置对准处理。

另一方面，在B5中判定为不能与其他基准图像进行比较的情况下(B5；否)，移行至基准图像选择部11判定对象图像Ic与过去的基准图像Ir的距离的处理(B11)。另外，在B11中判定为距离并非为指定值以上的情况下(B11；否)，结束图像位置对准处理。

返回至图像生成处理，进行图像位置对准处理后，差分值算出部15执行算出基准图像Ir的像素值与对象图像Ic的像素值的差分值的差分值算出处理。

继而，接缝决定部16判定是否将面孔检测标记设定为“ON”(A7)，若判定为设定为“ON”(A7；是)，则进行自对象图像Ic检测人物的面孔的面孔检测处理(A9)。

继而，接缝决定部16基于由差分值算出处理所算出的差分值来执行决定接缝的接缝决定处理(A11)。

图19是表示接缝决定处理的流程的一例的流程图。

最初，接缝决定部16设定起点像素及终点像素(C1)。起点像素及终点像素的设定方法如上所述。

继而，接缝决定部16判定是否将面孔检测标记设定为“ON”(C3)，若判定为设定为“ON”(C3；是)，则设定包含由面孔检测处理所检测出的人物的面孔的接缝产生限制区域(C5)。而且，接缝决定部16进行对所设定的接缝产生限制区域中所含的像素的差分值进行修正的修正处理(C7)。

继而，接缝决定部16进行最小成本像素集合探索处理(C9)。而且，接缝决定部16将基准图像及对象图像关联并存储由最小成本像素集合探索处理所探索出的像素集合(接缝)(C11)。而且，接缝决定部16结束接缝决定处理。

返回至图像生成处理，进行接缝决定处理后，图像合成部18判定是否将A1中所输入的对象图像Ic追加为描绘用图像(A13)。例如，图像合成部18构成为能够参照描绘用图像表，所述描绘用图像表能够参照应描绘的图像的图像信息，在与所述表中所记载的图像中的位置最近的图像的距离为指定值以上的情况下，将A1中所输入的对象图像Ic追加至描绘用图像。若判定为将对象图像Ic追加至描绘用图像(A13；是)，则图像合成部18将所述对象图像Ic追加至描绘用图像表，从而保存对象图像Ic(A15)。

继而，图像合成部18判定是否将再描绘标记设定为“ON”(A17)。而且，若判定为设定为“ON”(A17；是)，则执行描绘位置的再计算处理(A19)。在所述再计算处理中，位置对准部14进行整体位置对准的处理。此时，位置对准部14使用由变换行列推测部13所更新的变换行列，对所有的描绘用图像的位置进行调整。

在A17中判定为再描绘标记为“OFF”的情况下(A17；否)，或在A19后，图像合成部18进行生成合成图像的合成图像生成处理(A21)。

具体而言，根据描绘用图像表特定应描绘的图像，将其自三维空间的球面投影于二维平面。此时，基于由接缝决定处理所决定的接缝，相当于图15的Rin的接缝的内侧区域中所含的像素对所对应的像元分配对象图像Ic的像素值而进行描绘，相当于图15的Rout的接缝的外侧区域中所含的像素对所对应的像元分配对基准图像Ir的像素值与对象图像Ic的像素值进行了α混合而得的像素值而进行描绘。

继而，输入部10判定图像的输入是否结束(A23)，若判定为输入仍未结束(A23；否)，则返回处理至A1。另一方面，若判定为图像的输入结束(A23；是)，则图像合成部18保存最终的合成图像(A25)。而且，结束图像生成处理。

[1-3.作用效果]

图像生成装置1将依次输入的输入图像接合来生成合成图像。差分值算出部15使用基准图像的像素值、及图像的一部分与基准图像重合的对象图像的像素值，算出表示基准图像与对象图像的相对关系的差分值。接缝决定部16使用由差分值算出部15所算出的差分值，决定用以将基准图像与对象图像合成的接缝。而且，图像合成部18基于由接缝决定部16所决定的接缝，对基准图像与对象图像进行合成来生成合成图像。

根据基准图像与对象图像的差分值，可把握基准图像与对象图像之间的背景或被摄物的相对位置关系的变化。因此，通过使用基准图像与对象图像的差分值，能够决定用以在恰当的位置对基准图像与对象图像进行合成的接缝。结果，通过图像合成，可获得优质的合成图像。

具体而言，图像合成部18对于将由差分值算出部15所算出的差分值设为像素值的差分图像，进行用以将存在对象被摄物的图像区域、即对象被摄物区域、与其以外的图像区域、即非对象被摄物区域分离的指定的分离处理，从而决定接缝。由此，将对象被摄物区域与非对象被摄物区域分离，从而可决定能够将基准图像与对象图像合成的接缝。结果，通过图像合成所生成的合成图像成为在对象被摄物区域未产生错乱的优质的合成图像。

[1-4.变形例]

所述图像生成装置1是表示本发明的图像生成装置的一例，本发明的图像生成装置并不限于图像生成装置1，在不变更各权利要求所记载的主旨的范围内，可对实施形态的图像生成装置进行变形，或应用于其他实施形态。

例如，在所述实施形态中，对照相机20连续拍摄静止图像的例子进行了说明，但照相机20也可拍摄动态图像。此时，输入部10也可具有自拍摄到的动态图像抽取连续的图像的功能。另外，输入部10所输入的图像也可为自另外的设备经由网络而发送的图像。

另外，在所述实施形态中，对由照相机20所拍摄到的图像的大小相同进行了说明，所拍摄的图像的大小在每次拍摄时可为不同的大小。

另外，在所述实施形态中，对图像生成装置1包括输入部10、基准图像选择部11、匹配部12、变换行列推测部13、位置对准部14、差分值算出部15、接缝决定部16、制约条件设定部17及图像合成部18的构成进行了说明，但根据所要求的性能，可适宜变更这些构成。

进而，在所述实施形态中，对将图像以图3中的(A)～(H)所示的8自由度进行变形的情况进行了说明，但并不限于8自由度，例如也可以图3中的(A)～(F)所示的6自由度进行变形。

[2.第1实施例]

继而，作为包括所述图像生成装置1的电子设备的一例，对智能手机2的实施例进行说明。但是，可应用本发明的实施例当然并不限定于以下说明的实施例。

[2-1.功能构成]

图20是表示智能手机2的功能构成的一例的方块图。

智能手机2包括：处理部100、操作部200、显示部300、声音输出部400、摄像部500、通信部600、时脉部700及存储部800。

处理部100是根据存储于存储部800的系统程序等各种程序而总括地控制智能手机2的各部分或进行图像处理中的各种处理的处理装置，构成为具有CPU或DSP等处理器或ASIC等集成电路。

处理部100具有基准图像选择部110、匹配部120、变换行列推测部130、位置对准部140、差分值算出部150、接缝决定部160、制约条件设定部170、图像合成部180及显示控制部190来作为主要的功能部。这些功能部与图1的图像生成装置1所包括的功能部分别对应。

操作部200具有操作按钮或操作开关、鼠标等用户用以对智能手机2进行各种操作输入的输入装置而构成。另外，操作部200具有与显示部300一体地构成的触摸屏250，所述触摸屏250作为用户与智能手机2之间的输入界面而发挥功能。自操作部200，将根据用户操作的操作信号输出至处理部100。

显示部300是具有液晶显示器(LiquidCrystalDisplay，LCD)等而构成的显示装置，进行基于自处理部100输出的显示信号的各种显示。显示部300与触摸屏250一体地构成而形成触摸屏(touchscreen)。显示部300中显示摄影图像或修正图像等各种图像。

声音输出部400是具有扬声器等而构成的声音输出装置，进行基于自处理部100输出的声音输出信号的各种声音输出。

摄像部500是构成为能够对任意景物(scene)的图像进行拍摄的摄像装置，具有电荷耦合器件(ChargeCoupledDevice，CCD)影像传感器或互补金属氧化物半导体(ComplementaryMetalOxideSemiconductor，CMOS)影像传感器等摄像元件而构成。摄像部500将光信号转变为电信号，从而将经数字化的摄影图像的数据输出至处理部100。

通信部600是用以将装置内部所利用的信息在与外部的信息处理装置之间发送和接收的通信装置。作为通信部600的通信方式，能够应用如下各种方式：经由依据指定的通信标准的电缆而进行有线连接的形式、经由被称为克莱德(cradle)的充电器与兼用的中间装置而连接的形式、利用近距离无线通信而进行无线连接的形式等。

时脉部700为智能手机2的内部时脉，例如具有水晶振动器及作为振荡电路的水晶振荡器而构成。时脉部700的计时时刻随时输出至处理部100。

存储部800是具有只读存储器(Read-onlyMemory，ROM)或电可擦可编程只读存储器(ElectricallyErasableProgrammableRead-onlyMemory，EEPROM)、快闪存储器、随机存储器(RandomAccessMemory，RAM)等易失性或非易失性的存储器、或硬磁盘装置等而构成的存储装置。存储部800存储有处理部100用以对智能手机2进行控制的系统程序或用以进行各种图像处理的程序或数据。

在本实施形态中，存储部800中存储有照相机模式处理程序810，其通过处理部100而读出，并以照相机模式处理的方式执行。照相机模式处理程序810包含将作为图像生成处理执行的图像生成程序811作为子程序。

另外，存储部800中包含：输入完成图像数据库830，存储有自摄像部500输入至处理部100的摄影图像的图像信息来作为输入完成图像，输入图像用缓冲器850，暂时存储有依次输入的摄影图像，及输出图像用缓冲器870，存储有最终生成的合成图像。

[2-2.处理]

图21是表示处理部100根据存储于存储部800的照相机模式处理程序810而执行的照相机模式处理的流程的一例的流程图。所述照相机模式处理是通过由用户启动照相机的应用程序(application)而执行的处理。

最初，处理部100判定由用户经由操作部200而选择的模式是否为全景图像生成模式(E10)。全景图像生成模式为以下模式：用户自某一地点拍摄多张不同方位的图像，将这些摄影图像接合来生成一张广角的静止图像、即全景图像。所述全景图像生成模式为优选用于自己拍摄或集体拍摄的模式。

若判定为全景图像生成模式(E10；是)，则处理部100判定是否完成由用户对人物的面孔进行检测的面孔检测设定(E15)，若判定为完成(E15；是)，则将面孔检测标记设定为“ON”(E20)。另一方面，若判定为未完成(E15；否)，则将面孔检测标记设定为“OFF”(E25)。

继而，处理部100根据用户对操作部200的摄影操作，来进行使摄像部500拍摄一张图像的摄像处理(E30)。再者，此处省略详细的步骤，当执行摄影时，使将摄影对象(摄影景物)成像的摄像的待机状态的画面、即摄像待机画面(取景(finder)画面)显示于显示部300，在所述摄像待机画面的显示中由用户完成摄影操作的情况下，进行摄像处理。通过用户以手拿智能手机2的状态而使摄影方向变化，摄影对象(摄影景物)发生变化。伴随于此，成像至摄像待机画面的图像也发生变化。当利用摄像部500的摄像结束时，显示控制部190使所拍摄到的摄影图像显示于显示部300(E35)。

继而，处理部100判定用户经由操作部200而是否完成生成全景图像的执行操作(E40)，在判定为未完成的情况下(E40；否)，返回至E30，根据对操作部200的用户的摄影操作，来进行使摄像部500再次拍摄一张图像的摄像处理。

另一方面，若判定为由用户完成生成全景图像的执行操作(E40；是)，则处理部100根据存储于存储部800的图像生成程序811来执行图像生成处理(E45)。图像生成处理如图17所示。

继而，显示控制部190将图像生成处理中所生成的合成图像设为全景图像而显示控制于显示部300(E50)。然后，判定是否完成由用户结束全景图像生成模式的操作(E55)，若判定为未完成(E55；否)，则返回处理至E15。

另一方面，若在E10中判定为未选择全景图像生成模式(E10；否)，则处理部100进行通常摄影模式处理(E60)。在通常摄影模式处理中，处理部100根据对操作部200的用户的摄影操作来使摄像部500进行一张图像的拍摄，将由摄像部500所拍摄到的摄影图像存储于存储部800，从而显示于显示部300。

在E55中判定为完成将全景图像生成模式结束的操作的情况下(E55；是)，或在E60后，处理部100判定是否完成由用户结束照相机模式的操作(E90)，若判定为未完成结束的操作(E90；否)，则返回处理至E10。另一方面，若判定为完成结束的操作(E90；是)，则结束照相机模式处理。

[2-3.作用效果]

在作为用户所持有的电子设备的一例的智能手机2中，在启动照相机模式的情况下，由处理部100执行照相机模式处理。在照相机模式处理中，在选择全景图像生成模式的情况下，基于所述实施形态中所说明的图像生成的原理来合成广角的合成图像、即全景图像，将其显示于显示部300。由此，用户能够在智能手机2中阅览所生成的全景图像。

[3.第2实施例]

第2实施例为如下实施例，在所述智能手机2的实施例中，在全景图像生成模式中所生成的全景图像的输出错乱的情况下，用户使全景图像再次生成。

[3-1.处理]

图22是表示智能手机2的处理部100代替图21的照相机模式处理而所执行的第2照相机模式处理的流程的一例的流程图。再者，对于与照相机模式处理相同的步骤标注相同的符号，省略再次的说明。

在E50中进行使全景显示于显示部300的控制后，处理部100判定用户是否选择对全景图像进行修正的图像修正模式(F10)。而且，若判定为选择(F10；是)，则显示控制部190使图像生成处理的接缝决定处理中所决定的接缝重叠显示于显示部300的显示中的全景图像(F15)。全景图像为使多个输入图像接合而生成的图像，因此对所接合的输入图像的各个组合，使这些输入图像接合的接缝显示于全景图像的对应的位置。

全景图像为彩色的图像，由各种颜色的要素构成。另外，在全景图像中，除对象被摄物以外，混合存在有各种物体(建筑物或交通工具、道路、草木等)。因此，在以单纯黑色的线将接缝重叠显示于全景图像的情况下，有时用户难以识别接缝。

因此，在合成图像修正模式中，例如使将全景图像变换为灰度的图像而成者显示于显示部300，通过以蓝色或绿色、红色等鲜艳的颜色来使接缝重叠显示于所述以灰度表示的全景图像，可强调显示接缝。由此，能够使用户看一眼便可把握接缝产生于全景图像的哪一位置。

另外，在将接缝重叠显示于彩色的全景图像的情况下，例如可以特定颜色(例如白色或黑色)的粗线来强调显示接缝，或使接缝闪烁显示等。即，只要以能够使用户准确地识别出接缝的显示形态来使接缝显示即可，接缝的显示形态并不限于所述的显示形态。

继而，处理部100判定是否完成对触摸屏250的点击操作(F20)，若判定为完成(F20；是)，则判定在点击位置是否包含接缝的像素(F25)。而且，若判定为包含(F25；是)，则处理部100设定包含点击位置的指定的修正区域，并使其重叠显示于全景图像(F30)。

点击操作利用用户的手指进行，因此点击位置具有固定的面积。此时，可将由在点击位置所包含的所有像素组成的区域设定为修正区域，也可将比点击位置小且由包含接缝的像素的指定的形状(例如椭圆形)所包围的区域设定为修正区域。

继而，处理部100将修正标记设定为“ON”(F35)。而且，处理部100返回处理至E45，再次进行图像生成处理。即，处理部100进行接缝的再决定、及基于再决定的接缝的合成图像的再生成。在此种情况下的图像生成处理中，代替图19的接缝决定处理而执行第2接缝决定处理。

图23是表示第2接缝决定处理的流程的一例的流程图。再者，对于与接缝决定处理相同的步骤标注相同的符号，省略再次的说明。

在C3中判定为面孔检测标记为“OFF”的情况下(C3；否)，或在C5后，接缝决定部160判定是否将修正标记设定为“ON”(G6)，若判定为设定为“ON”(G6；是)，则将与由差分值算出处理所生成的差分图像中所设定的修正区域对应的区域设定为接缝产生限制区域(G7)。

继而，接缝决定部160进行将由C5及G7中所设定的接缝产生限制区域的差分值加以修正的差分值修正处理(G8)。而且，接缝决定部160将处理移至C9。

返回至第2照相机模式处理，若在F20中判定为未完成点击操作(F20；否)，则处理部100判定是否完成由用户结束图像修正模式的操作(F45)，若判定为未完成(F45；否)，则返回处理至F20。另一方面，若判定为完成结束图像修正模式的操作(F45；是)，则处理部100将处理移至E55。

另外，若在F25中判定为在点击位置不包含接缝的像素(F25；否)，则处理部100进行向用户告知错误的错误告知处理(F40)。具体而言，使提醒用户对接缝的显示部分进行点击的显示消息(message)显示于显示部300。而且，处理部100将处理移至F45。

[3-2.显示画面]

图24(A)～图24(F)是表示第2照相机模式处理中显示于智能手机2的显示部300的显示画面及用户操作的一例的图。

在图24(A)中图示全景图像显示于智能手机2的显示部300的状态(E50)。但是，此处为了进行简单说明，仅图示一条接缝。通过用户未将面孔检测处理设为“ON”(E15；否→E25)，在作为对象被摄物的人物的面孔的部分未设定接缝产生限制区域而在图像生成处理中进行接缝决定处理(E45)，结果，人物的面孔的显示因合成而错乱。

看见此状的用户将图像修正模式设为“ON”(F10；是)。由此，如图24(B)所示，使接缝重叠显示于图24(A)的全景图像(F15)。如图24(C)所示，用户用手指点击面孔上所存在的接缝的部分(F20；是→F25；是)。由此，例如设定包含点击位置的椭圆形状的修正区域Rm(F30)，如图24(D)所示，使修正区域Rm重叠显示于全景图像(F30)。

此处，如图24(E)所示，可使所再次决定的接缝以用户可确认的方式显示于画面上。在图24(E)中，将图24(B)中人物的面孔上所存在的接缝的部分移动至椭圆形状的修正区域Rm的外侧，以直观地获知进行了反映用户的目的的接缝的修正的方式来显示于画面上。另外，也可使用彼此能够识别般的颜色或线而将修正前的接缝与修正后的接缝这两者显示于画面上，从而用户可确认两者的不同。通过所述方式，用户能够把握所再次决定的接缝相对于当初所决定的接缝如何变化，从而能够提高方便性。

然后，根据用户的指示全景图像的再生成的指示操作来再次进行图像生成处理(F35→E45)，使用所再次决定的接缝位置来再次生成合成图像。而且，如图24(F)所示，将所再次生成的合成图像作为全景图像而显示于显示部300(E50)。在图24(F)中，显示有图24(A)中人物的面孔的显示因合成而错乱的面孔的部分经恰当地修正的全景图像。

[4.第3实施例]

第3实施例为如下实施例，在所述智能手机2的实施例中，当用户进行拍摄时，成像于摄像待机画面的图像中包含人物的面孔且所述面孔的位置位于画面的端部的情况下，进行指定的提醒注意。所述是因为当以面孔位于画面的端部的状态进行拍摄时，有可能产生如下问题。

(1)有损图像的美观。

(2)位于画面的端部的面孔有可能无法通过面孔检测处理而进行检测。此时，无法将与由面孔检测处理进行检测的面孔对应的区域设定为接缝产生限制区域，因此有可能产生面孔上所存在的接缝，从而面孔的显示因合成而错乱。

(3)当在摄影图像的任一图像中不存在显示有位于画面的端部的人物的面孔整体的图像时，成为处于所述画面的端部的状态的面孔的图像信息只能用于其后的处理中。结果，在所述图像生成处理中以面孔检测处理的结果为依据来决定接缝的情况下，有可能产生面孔上所存在的接缝，从而面孔的显示因合成而错乱。

就所述理由而言，在判定为用户以面孔位于画面的端部的状态拍摄图像的情况下，必须以显示有所述面孔的整体的状态拍摄图像，或者拍摄至少一张另外显示有所述面孔的整体的图像。因此，在进行拍摄之前，提醒用户以面孔离开画面的端部的方式，将智能手机2(照相机)或面孔的位置固定在恰当地位置来进行拍摄。

图25是表示智能手机2的处理部100代替图20的照相机模式处理而所执行的第3照相机模式处理的流程的一例的流程图。再者，对于与照相机模式处理相同的步骤标注相同的符号，省略再次的说明。

在E20或E25后，显示控制部190开始使摄像待机画面显示于显示部300的处理(H10)。而且，处理部100根据成像至摄像待机画面的图像而进行对人物的面孔进行检测的面孔检测处理(H15)。

继而，处理部100判定是否由面孔检测处理对人物的面孔进行检测(H20)，若判定为进行检测(H20；是)，则判定所检测出的面孔是否包含于画面的端部的指定范围(H25)。而且，若判定为包含(H25；是)，则处理部100进行提醒注意告知处理(H30)。在提醒注意告知处理中，在摄像待机画面进行提醒用户注意人物的面孔位于画面的端部的处理。

具体而言，例如使以下显示消息显示于显示部300的显示中的摄像待机画面，所述显示消息为提醒用户以面孔离开画面的端部的方式调整智能手机2(照相机)或面孔的位置的显示消息、提醒用户使面孔靠近画面中央部的显示消息及提醒用户拍摄至少一张面孔不位于画面的端部的图像的显示消息。

再者，可使所述显示消息中的任一个显示消息显示，也可使多个显示消息显示。即，作为提醒注意告知，只要进行以下告知中的至少任一种告知即可：(1)提醒用户以面孔离开画面的端部的方式调整本装置或面孔的位置的告知；(2)提醒用户使面孔靠近画面的中央部的告知；(3)提醒用户拍摄至少一张面孔不位于画面的端部的图像的告知。

另外，所述显示消息可在摄像待机画面上进行弹出(pop-up)显示等，从而用户可确认到显示消息，也可将摄像待机画面的显示暂时中断，替换成其他画面而进行显示等，从而用户可确认到显示消息。

另外，作为提醒注意告知，也可使与所述显示消息相同的声音消息自声音输出部400进行声音输出。即，在本实施形态中，可使显示部300或声音输出部400作为进行提醒注意告知的告知单元而发挥功能。

在H20中判定为未检测到人物的面孔的情况下(H20；否)，或在H25中判定为面孔未包含在画面的端部指定范围的情况下(H25；否)，处理部100将处理移至H35。

在H30后，处理部100判定用户是否完成摄影操作(H35)，若判定为完成(H35；是)，则将处理移至E30～E40。若在E40中判定为用户未完成图像生成执行操作(E40；否)，则处理部100返回处理至H15。

[5.变形例]

能够应用本发明的实施例并不限定于所述实施例，当然能够在不脱离本发明的主旨的范围内适宜进行变更。以下对变形例进行说明，对于与所述实施例相同的构成标注相同的符号，省略再次的说明。

[5-1.电子设备]

图像生成装置1可包括于智能手机或照相机、数字照相机、平板化终端、PDA、个人计算机等电子设备中。若为包括摄像部的电子设备，则能够使本发明的图像生成装置1包括于各种电子设备中。

另外，用户也能够使智能手机2中显示于显示部300的合成图像显示于其他电子设备(信息处理装置)的显示部。具体而言，例如用户将手边的智能手机2与个人计算机进行通信连接。而且，用户将显示于智能手机2的显示部300的合成图像传输至个人计算机。个人计算机使自智能手机2传输的合成图像显示于显示器，从而用户在个人计算机的显示画面阅览合成图像。

再者，此时，可将由智能手机2拍摄到的摄影图像的图像数据式发送至个人计算机，代替智能手机2而由个人计算机生成合成图像，并使其显示于个人计算机的显示器。此时，智能手机及个人电脑成为本发明的图像生成装置1。

[5-2.像素区域]

在所述实施形态中，对如下情况进行了说明，所述情况为以像素为单位来算出差分值，并进行使用所述以像素为单位所算出的差分值的分离处理(例如最小成本像素集合探索处理)，从而决定接缝。但是，未必一定使用以像素为单位所算出的差分值，也可以由2个以上的像素构成的像素区域为单位来算出差分值，使用所述以像素区域为单位所算出的差分值而进行分离处理，从而决定接缝。例如，也可将构成图像的像素划分成格子状的区域，将所述经划分的各区域作为像素区域而进行与所述实施形态相同的处理，从而决定接缝。

此时的像素区域例如可为10×10或20×20等正方形的区域，也可为10×20或20×10等长方形的区域。

另外，像素区域的大小可基于输入图像的大小而适宜设定变更。例如，可在输入图像的尺寸的1％～10％的范围内决定各像素区域的大小，从而分别对像素区域进行处理。

[5-3.相对值]

在所述实施形态中对将算出像素值的差分值作为表示基准图像与对象图像的相对关系的相对值的情况进行了说明，但也可代替所述情况，算出像素值的比来作为相对值。此时，只要基于作为相对值的所算出的像素值的比，利用与所述实施形态相同的方法来决定接缝即可。

[5-4.分离处理]

[5-4-1.利用图切的分离处理]

在所述实施形态中，进行最小成本像素集合探索处理作为分离处理，从而决定接缝，除此以外，也可进行利用图切的分离处理(以下，称为“图切处理”)，从而决定接缝。所谓图切处理，是指用以将图的顶点分割为2个部分集合的方法。图像处理中，图切是以自输入图像中抽取特定的区域的区域抽取或自输入图像分离为前景区域与背景区域等目的而使用。

具体而言，最初定义有向图G＝(V、E)。V为节点(节点的集合)，E为边缘(边缘的集合)。另外，在节点V中，设定表示流动产生的场合的源点s与表示流动抵达的场合的汇点t。在边缘E中，设定被称为成本的权重，从而求出将作为自源点s起至汇点t为止的路径中所存在的边缘的成本的总和而表示的切容量设为最小的s-t切(最小切)。

在将图切处理应用于本发明的接缝的决定的情况下，将基准图像与对象图像的差分图像的各像素设为节点V，将连接邻接的像素的线设为边缘E。另外，在基准图像与对象图像不产生图像的重叠的区域设定源点s及汇点t。具体而言，能够基于基准图像来进行描绘，但在无法基于对象图像进行描绘的图像区域内设定源点s，从而能够基于对象图像来进行描绘，在无法基于基准图像进行描绘的图像区域内设定汇点t。另外，在能够以基准图像与对象图像这两者的图像进行描绘的图像区域内设定未设定的节点V。在各边缘E中基于邻接的节点V的像素值来设定成本。

而且，将切容量设为评价值，例如通过最大流最小切的算法来求出将所述切容量设为最小的s-t切，由此将差分图像分割为2个区域。而且，将位于所述经分割的2个区域的界限的像素的集合决定为接缝。

[5-4-2.利用对象被摄物检测的分离处理]

作为其他分离处理，可进行自输入图像检测对象被摄物的对象被摄物检测处理，使用差分图像与对象被摄物检测处理的处理结果，从而决定接缝。

具体而言，作为对象被摄物检测处理，进行自输入图像检测人物的面孔的面孔检测处理或检测人物的身体的部分(例如手或脚、躯体)的身体检测处理。而且，在差分图像中，将除与由面孔检测处理或身体检测处理所检测出的人物的面孔或身体对应的图像区域以外的图像区域设定为接缝产生对象区域，从而在所设定的接缝产生对象区域内使接缝产生。

例如，可将接缝产生对象区域作为对象，进行所述最小成本像素集合探索处理或图切处理，从而决定接缝。另外，也可将接缝产生对象区域作为对象，进行使近似于直线或曲线(例如二维曲线)的接缝图案匹配的匹配处理，从而决定接缝。

再者，由对象被摄物检测处理进行检测的对象被摄物可以为人物，也可以为动物。另外，可将存在于摄影景物中的各种物体(例如建筑物或交通工具)作为对象被摄物而进行检测。

[5-5.接缝产生限制区域]

在所述实施形态中，作为物体检测处理的一例，进行检测人物的面孔的面孔检测处理，将包含所检测出的人物的面孔的区域设定为接缝产生限制区域，从而决定接缝。但并不限于人物的面孔，可进行检测动物的面孔的面孔检测处理，将包含所检测出的动物的面孔的区域设定为接缝产生限制区域，从而决定接缝。另外，并不限于面孔，也可进行检测人或动物的身体的部分(例如手或脚、躯体)的身体检测处理，将检测出的身体的部分设定为接缝产生限制区域，从而决定接缝。

另外，作为其他物体检测处理，可进行检测摄影景物中所存在的各种物体(例如建筑物或交通工具)的处理，将包含以所述方式进行检测的物体的区域设定为接缝产生限制区域，从而决定接缝。

另外，在智能手机2的实施例中，用户能够进行对触摸屏250的利用手指的全面涂抹操作，可将由用户进行了全面涂抹的区域设定为接缝产生限制区域，从而决定接缝。

[5-6.记录媒体]

在所述实施形态中，将图像生成中的各种程序或数据存储于图像生成装置1的存储部或智能手机2的存储部800中，通过处理部读出这些程序并加以执行，从而实现所述的各实施形态中的图像处理。此时，各装置的存储部除ROM或EEPROM、快闪存储器、硬磁盘、RAM等内部存储装置以外，可具有存储卡(安全数字存储卡(SecureDigitalMemoryCard，SD卡))或紧凑式闪存(CompactFlash)(注册商标)卡、存储棒(MemoryStick)、通用串行总线(UniversalSerialBus，USB)存储器、光盘(CD-RW)、磁光盘(Magneto-opticaldisc，MO)等记录媒体(记录媒体(storagemedia)、外部存储装置)，也可将所述各种程序或数据存储于这些记录媒体上。

图26是表示此时的记录媒体的一例的图。

在智能手机2中设置有用以供存储卡9插入的卡槽910，且设置有对插入至卡槽910的存储卡9中所存储的信息进行读取或用以将信息写入至存储卡9中的读写卡(cardreader/writer，R/W)920。读写卡920根据处理部100的控制而进行将记录于存储部800中的程序或数据写入至存储卡9中的动作。通过将记录于存储卡9中的程序或数据在智能手机2以外的外部装置(例如个人计算机)中进行读取，从而构成为能够在所述外部装置中实现所述实施形态的合成图像的生成。

Claims (16)

1.一种图像生成装置，将依次输入的输入图像接合来生成合成图像，所述图像生成装置包括：

相对值算出单元，使用第1输入图像的像素值、及图像的一部分与所述第1输入图像重合的第2输入图像的像素值，算出表示所述第1输入图像与所述第2输入图像的相对关系的相对值；

接缝决定单元，使用由所述相对值算出单元所算出的相对值，决定用以将所述第1输入图像与所述第2输入图像合成的接缝；以及

图像合成单元，基于由所述接缝决定单元所决定的接缝，对所述第1输入图像与所述第2输入图像进行合成而生成所述合成图像。

2.根据权利要求1所述的图像生成装置，其中：

所述接缝决定单元对于将由所述相对值算出单元所算出的相对值设为像素值的相对值图像，进行用以将存在作为对象的被摄物的图像区域、即对象被摄物区域与其以外的图像区域、即非对象被摄物区域分离的指定的分离处理，从而决定所述接缝。

3.根据权利要求2所述的图像生成装置，其中：

所述接缝决定单元进行像素集合探索处理作为所述分离处理，从而决定所述接缝，所述像素集合探索处理是探索评价值满足能够将所述对象被摄物区域与所述非对象被摄物区域分离的指定的可分离条件的像素的集合，所述评价值是基于所述相对值图像中自作为所述接缝的起点的像素起至作为所述接缝的终点的像素为止的各像素的相对值所算出的。

4.根据权利要求2所述的图像生成装置，其中：

所述接缝决定单元在如下的制约条件下进行所述分离处理，从而决定所述接缝，所述制约条件对在所述相对值图像的指定的接缝产生限制区域产生所述接缝加以限制。

5.根据权利要求4所述的图像生成装置，还包括：

像素值修正单元，将所述相对值图像的所述接缝产生限制区域中所含的像素的像素值修正为基于所述制约条件的指定的像素值，

所述接缝决定单元对像素值已由所述像素值修正单元修正的所述相对值图像进行所述分离处理，从而决定所述接缝。

6.根据权利要求4所述的图像生成装置，还包括：

面孔检测单元，自所述输入图像检测面孔，

所述接缝决定单元在将所述相对值图像中与由所述面孔检测单元所检测出的面孔对应的区域设为所述接缝产生限制区域的所述制约条件下，进行所述分离处理，从而决定所述接缝。

7.根据权利要求4所述的图像生成装置，其中：

所述接缝决定单元具有接缝再决定单元，所述接缝再决定单元在与当初决定接缝时的所述制约条件不同的制约条件下，再次决定所述接缝，

所述图像合成单元具有图像再合成单元，所述图像再合成单元基于由所述接缝再决定单元所再次决定的接缝，对所述第1输入图像与所述第2输入图像进行合成而再次生成所述合成图像。

8.根据权利要求1所述的图像生成装置，还包括：

位置对准单元，基于所述第1输入图像的特征点与所述第2输入图像的特征点的对应关系，对所述第1输入图像与所述第2输入图像进行位置对准，

所述图像合成单元基于由所述位置对准单元而得的位置对准的结果、与由所述接缝决定单元所决定的所述接缝，对所述第1输入图像与所述第2输入图像进行合成。

9.一种电子设备，包括：

根据权利要求1所述的图像生成装置；

显示单元；以及

显示控制单元，使由所述图像合成单元所生成的合成图像显示于所述显示单元。

10.根据权利要求9所述的电子设备，其中：

所述显示控制单元使由所述接缝决定单元所决定的所述接缝重叠显示于所述合成图像。

11.根据权利要求10所述的电子设备，其中：

所述显示控制单元使所述接缝以能够与所述合成图像加以区别的显示形态显示于所述显示单元。

12.一种电子设备，包括：

根据权利要求4所述的图像生成装置；

操作单元；

显示单元；以及

显示控制单元，使所述输入图像显示于所述显示单元，

所述接缝决定单元在将显示于所述显示单元的输入图像中的、与由对所述操作单元进行的用户操作而所指定的指定区域对应的所述相对值图像的区域设为所述接缝产生限制区域的所述制约条件下，决定所述接缝。

13.一种电子设备，包括：

根据权利要求7所述的图像生成装置；

操作单元；

显示单元；以及

显示控制单元，使由所述图像合成单元所生成的合成图像显示于所述显示单元，

所述显示控制单元使由所述接缝决定单元所决定的所述接缝重叠显示于所述合成图像，

所述接缝再决定单元在由对所述操作单元进行用户操作而所指定的指定区域中含有所述接缝的情况下，在将与所述指定区域对应的所述相对值图像的区域设为所述接缝产生限制区域的所述制约条件下，再次决定所述接缝，

所述显示控制单元使由所述图像再合成单元所再次生成的合成图像显示于所述显示单元。

14.一种电子设备，包括：

根据权利要求1所述的图像生成装置；

显示单元；

摄像单元；

显示控制单元，使将摄像对象成像的所述摄像单元进行摄像的待机状态的画面、即摄像待机画面显示于所述显示单元；

面孔检测单元，自成像于所述摄像待机画面的图像检测面孔；以及

告知单元，在由所述面孔检测单元所检测出的面孔包含于所述摄像待机画面的端部指定范围的情况下，进行指定的提醒注意告知，

所述图像生成装置将由所述摄像单元所拍摄到的摄影图像作为所述输入图像，而生成所述合成图像。

15.根据权利要求14所述的电子设备，其中：

作为所述提醒注意告知，所述告知单元进行以下中的至少任一种告知：(1)提醒用户以面孔离开画面的端部的方式调整本装置或面孔的位置的告知；(2)提醒用户使面孔靠近画面的中央部的告知；(3)提醒用户拍摄至少一张面孔不位于画面的端部的图像的告知。

16.一种图像生成方法，将依次输入的输入图像接合来生成合成图像，所述图像生成方法包括：

使用第1输入图像的像素值、及图像的一部分与所述第1输入图像重合的第2输入图像的像素值，算出表示所述第1输入图像与所述第2输入图像的相对关系的相对值；

使用所算出的所述相对值，决定用以将所述第1输入图像与所述第2输入图像合成的接缝；以及

基于所决定的所述接缝，对所述第1输入图像与所述第2输入图像进行合成而生成所述合成图像。