CN103197825A

CN103197825A - 图像处理装置、显示控制方法和程序

Info

Publication number: CN103197825A
Application number: CN2012104319784A
Authority: CN
Inventors: 梨子田辰志; 历本纯一
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-11-09
Filing date: 2012-11-02
Publication date: 2013-07-10
Anticipated expiration: 2032-11-02
Also published as: CN103197825B; US8942510B2; US20130301925A1; JP2013101242A

Abstract

本发明提供一种图像处理装置，包括：输入图像获取部，获取输入图像;过去图像获取部，获取输入图像中的被摄体的过去图像;模式选择部，利用输入图像从多个模式中选择多个模式之一，所述多个模式包括第一模式和第二模式，在第一模式中，输入图像中的被摄体与过去图像中的被摄体交叠，在第二模式中，过去图像中的被摄体与输入图像中的被摄体并排布置;以及显示控制部，按照由模式选择部所选择的模式在输入图像上叠加过去图像。

Description

图像处理装置、显示控制方法和程序

技术领域

本公开涉及一种图像处理装置、显示控制方法和程序。

背景技术

在现有技术中，执行记录每天变化的物体的状态作为图像。如果比较在不同的时间点拍摄的图像，则变得容易确定目标物体外观上的改变。例如，个人的健康状况的改变或生物的成长过程可以通过每日记录的图像确定。

日本专利申请公开No.JP-A-2009053328公开了一种图像显示装置，其周期地拍摄用户的脸部图像并且在当前的脸部图像附近像镜像图像一样显示过去的脸部图像，从而当前的脸部图像与过去的脸部图像并排布置。同时，图像显示装置输出根据这些脸部图像之间的差异分析的关于用户的健康状况的消息。

发明内容

然而，在上述日本专利申请公开No.JP-A-2009-053328中描述的技术被设计为允许装置根据脸部图像之间的比较自动地执行分析。不提供允许用户指定怎样比较图像的用户界面。为了用户可见地并且适当地确定目标物体（用户自身或另一个被摄体）的变化，需要用户能够容易地并且灵活地切换待比较的图像的显示格式。

为解决上述问题，根据本公开的技术提供允许用户容易地并且灵活地切换待比较的图像的显示格式的用户界面。

根据本公开，提供一种图像处理装置，包括：输入图像获取部，获取输入图像;过去图像获取部，获取输入图像中的被摄体的过去图像;模式选择部，利用输入图像从多个模式中选择多个模式之一，所述多个模式包括第一模式和第二模式，在第一模式中，输入图像中的被摄体与过去图像中的被摄体交叠，在第二模式中，过去图像中的被摄体与输入图像中的被摄体并排布置;以及显示控制部，按照由模式选择部所选择的模式在输入图像上叠加过去图像。

此外，根据本公开，提供一种显示控制方法，用于控制图像处理装置中的图像的显示，所述显示控制方法包括：获取输入图像;获取输入图像中的被摄体的过去图像;利用输入图像从多个模式中选择多个模式之一，所述多个模式包括第一模式和第二模式，在第一模式中，输入图像中的被摄体与过去图像中的被摄体交叠，在第二模式中，过去图像中的被摄体与输入图像中的被摄体并排布置;以及按照由模式选择部所选择的模式在输入图像上叠加过去图像。

此外，根据本公开，提供一种程序，包括命令计算机充当以下部件的指令：输入图像获取部，获取输入图像;过去图像获取部，获取输入图像中的被摄体的过去图像;模式选择部，利用输入图像从多个模式中选择多个模式之一，所述多个模式包括第一模式和第二模式，在第一模式中，输入图像中的被摄体与过去图像中的被摄体交叠，在第二模式中，过去图像中的被摄体与输入图像中的被摄体并排布置;以及显示控制部，按照由模式选择部所选择的模式在输入图像上叠加过去图像。

利用根据本公开的技术，用户可以容易地并且灵活地切换待比较的图像的显示格式。

附图说明

图1是根据本公开的实施例的图像处理装置的概述的第一说明图；

图2是根据本公开的实施例的图像处理装置的概述的第二说明图；

图3是显示根据实施例的图像处理装置的硬件配置的示例的框图；

图4是显示根据实施例的图像处理装置的逻辑功能的配置的第一示例的框图；

图5A是图解显示模式的第一示例的说明图；

图5B是图解显示模式的第二示例说明图；

图5C是图解显示模式的第三示例的说明图；

图6是图解切换显示模式的运动示例的说明图

图7A是图解切换显示模式的第一方案的说明图；

图7B是图解切换显示模式的第二方案的说明图；

图7C是图解切换显示模式的第三方案的说明图；

图7D是图解切换显示模式的第四方案的说明图；

图8是图解被摄体位置与过去图像被拍摄的日期与时间相关联的示例的说明图；

图9是显示根据实施例的显示控制处理的流程的示例的流程图；

图10是显示图9所示的过去图像叠加处理的详细流程的示例的流程图；

图11是图解应用示例的概述的说明图；

图12A是图解应用示例中的显示模式的第一示例的说明图；

图12B是图解应用示例中的显示模式的第二示例的说明图；

图12C是图解应用示例中的显示模式的第三示例的说明图；以及

图13是图解应用示例中切换显示模式的操作示例的说明图。

具体实施方式

下面，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件利用相同的附图标记表示，省略这些结构元件的重复说明

将以下列顺序进行说明。

1.图像处理装置的概述

2.图形显示装置的配置示例

2-1.硬件配置

2-2.功能配置

3.处理的流程

4.应用示例

5.结论

1.图像处理装置的概述

图1和图2是根据本公开的实施例的图像处理装置的概述的说明图。参考图1，显示用户Ua拥有的图像处理装置100。图像处理装置100具有作为内部照相机的成像部102和显示部110。当用户Ua将成像部102的透镜指向自身时，成像部102拍摄用户Ua的图像并且拍摄的图像显示在显示部110上。图1显示的图像Im01是图像处理装置100拍摄的图像的示例。作为被摄体的用户Ua的脸部处于图像Im01中。图像处理装置100获取这类拍摄的图像作为输入图像。图像处理装置100获取的输入图像在图像处理装置100的内部或外部数据库（DB）中被累积作为过去图像。然后，图像处理装置100按照各种显示模式显示输入图像和累积的过去图像，其将在稍后说明。

图1显示移动终端作为图像处理装置100的示例。然而，图像处理装置100不局限于这些示例。图像处理装置100可以是例如平板个人计算机、膝上型个人计算机、智能电话、个人数字助理（PDA）、数字式摄像机或终端设备（例如游戏终端）。在图2显示的示例中，图像处理装置100是包括成像部102和显示部110的装置并且作用类似具有镜子的化妆台。例如，这些装置可以是信息处理装置，例如桌上型个人计算机或数字电视装置。

2.图像处理装置的配置示例

接下来，将详细说明图1和图2所示的图像处理装置100的配置示例。

2-1.硬件配置

图3是显示根据实施例的图像处理装置100的硬件配置的示例的框图。参考图3，图像处理装置100具有成像部102、传感器部104、输入部106、存储部108、显示部110、通信部112、总线116和控制部118。

（1）成像部

成像部102是拍摄图像的照相机模块。成像部102通过利用成像元件拍摄被摄体的图像产生拍摄的图像，成像元件例如电荷耦合器件（CCD）、互补金属氧化物半导体（CMOS）等等。在图1和图2所示的示例中，通过成像部102拍摄的图像的被摄体是图像处理装置100的用户。另一方面，在稍后说明的应用示例中，通过成像部102拍摄的图像的被摄体不是图像处理装置100的用户。成像部102不必要必须是图像处理装置100的一部分。例如，无线地或通过线缆连接到图像处理装置100的成像装置可以用作成像部102。

（2）传感器部

传感器部104是帮助通过图像处理装置100执行的处理的传感器模块。例如，传感器部104可以包括定位传感器，例如全球定位系统（GPS）传感器或基于无线电信号的强度的无线定位传感器。此外，传感器部104可以包括三轴加速度传感器和陀螺仪传感器。

（3）输入部

输入部106是由用户使用来操作图像处理装置100或输入信息到图像处理装置100中的输入设备。输入部106可以包括例如检测用户对显示部110的屏幕的接触的接触式传感器。代替接触式传感器（或除接触式传感器之外），输入部106可以包括指向装置，例如鼠标或接触垫。此外，输入部106可以包括其他类型的输入设备，例如键盘、小键盘、按钮、开关或遥控器。

（4）存储部

存储部108由存储介质形成，并且存储由图像处理装置100使用来执行处理的程序和数据，存储介质例如半导体存储器或硬盘。存储在存储部108中的数据能够包括例如通过成像部102产生的拍摄的图像数据、通过传感器部104产生的传感器数据和累积在数据库中的过去图像数据。注意，在本说明书中说明的程序和数据的部分或全部可以从外部数据源（例如数据服务器、网络存储器或外部连接的存储器）获取，而不存储在存储部108中。

（5）显示部

显示部110是由液晶显示屏（LCD）、有机发光二极管（OLED）、阴极射线管（CRT）等等形成的显示模块。显示部110可用于显示通过在输入图像上叠加过去图像产生的输出图像。注意，显示部110也不必要必须是图像处理装置100的一部分。例如，无线地或通过线缆连接到图像处理装置100的显示装置可以用作显示部110。

（6）通信部

通信部112是传递图像处理装置100和其他装置之间的通信的通信接口。通信部112支持给定的无线通信协议或有线通信协议，并且建立与其他装置的通信连接。

（7）总线

总线116将成像部102、传感器部104、输入部106、存储部108、显示部110、通信部112和控制部118互相连接。

（8）控制部

控制部118对应于处理器，例如中央处理器（CPU）或数字信号处理器（DSP）。控制部118执行存储在存储部108或其他存储介质中的程序，从而操作图像处理装置100的各种功能，其将在稍后说明。

2-2.功能配置

图4是显示通过图3所示的图像处理装置100的存储部108和控制部118实现的逻辑功能的配置的示例的框图。参考图4，图像处理装置100包括输入图像获取部120、识别部130、累积控制部140、图像DB150、过去图像获取部160、显示控制部170、运动检测部180和模式选择部190。

（1）输入图像获取部

输入图像获取部120获取通过成像部102产生的拍摄图像作为输入图像。在图1和图2所示的示例中，用户Ua的脸部图像处于通过输入图像获取部120获取的输入图像中。输入图像可以是静止图像或形成运动图像的帧中的每一个。输入图像获取部120输出获取的输入图像到识别部130、累积控制部140、显示控制部170和运动检测部180。

（2）识别部

识别部130识别从输入图像获取部120输入的输入图像中的被摄体。识别部130可以通过利用例如基于已知的图象识别技术的识别算法识别输入图像中的被摄体。代替这，识别部130可以识别登录到图像处理装置100的用户是被摄体。此外，识别部130可以通过允许用户经由输入部106输入诸如被摄体的标识符的识别信息识别被摄体。当被摄体的识别成功时，识别部130输出被摄体的识别信息（例如，诸如用户ID的标识符）到累积控制部140和过去图像获取部160。

注意，当使用被限制从而仅单个用户处于输入图像中作为被摄体时，可以省略识别部130的识别处理。

（3）累积控制部/图像DB

累积控制部140控制过去图像在图像DB150中的累积。图像DB150是累积在过去拍摄的被摄体的一个或多个过去图像的数据库。例如，每一次过去了预定时间段（例如，一天或一星期），累积控制部140可以在图像DB150中存储从输入图像获取部120输入的输入图像作为过去图像。代替这，按照来自用户经由输入部106的命令，累积控制部140可以在图像DB150中存储输入图像作为过去图像。例如，累积控制部140在图像DB150中与从识别部130输入的被摄体识别信息和指示拍摄过去图像的日期与时间的日期和时间信息相关联地存储过去图像。

（4）过去图像获取部

过去图像获取部160从图像DB150获取输入图像中的被摄体的过去图像。例如，从存储在图像DB150中的多个过去图像中，过去图像获取部160可以获取与从识别部130输入的被摄体的识别信息相关联的过去图像。从同样的被摄体的多个过去图像中，过去图像获取部160可以有选择地仅仅获取在预定的日期与时间（例如，当前日期和时间的一天以前、一星期以前、一月以前、或一年以前）拍摄的过去图像。过去图像获取部160输出按照这样的方式获取的过去图像到显示控制部170。

注意，代替获取在过去拍摄的被摄体的过去图像，过去图像获取部160可以基于过去存储的或在其之后指定的被摄体的图像和过去属性，动态地产生表示被摄体在过去的估计外观的过去图像。例如，当被摄体是人时，可以使用当前的和过去的数据之间的差异，根据在当前输入图像中的被摄体的外观，例如体型数据（诸如人的高度和重量）、年龄数据、或健康相关资料（诸如血压或疲劳程度）估计在过去的被摄体的外观。

（5）显示控制部

显示控制部170根据模式选择部190（将在稍后描述）选择的显示模式，通过在输入图像上叠加通过过去图像获取部160获取的过去图像，产生输出图像。然后，显示控制部170在显示部110的显示器上显示产生的输出图像。

在本实施例中，过去图像的显示模式是图5A到图5C中例示的三种显示模式M1、M2和M3中的一种。第一显示模式M1是在过去图像中的被摄体与输入图像中的被摄体交叠的模式。在本说明书中第一显示模式M1称为“交叠”模式。第二显示模式M2是在过去图像中的被摄体与输入图像中的被摄体并排布置的模式。在本说明书中，第二显示模式M2称为“平行（并排）”模式。第三显示模式M3是通过过去图像获取部160获取的多个过去图像的列表叠加在输入图像上的模式。在本说明书中，第三显示模式M3称为“列表”模式。

图5A是图解显示模式的第一示例的交叠模式。参考图5A，示出以交叠模式显示的输出图像Im11。输出图像Im11是通过在2011年9月15日拍摄的输入图像上叠加作为2011年8月15日拍摄的过去图像P01到P03中的一个的过去图像P02产生的图像。具有短发型的用户Ua处于输入图像中。具有长发型的用户Ua处于过去图像P02中。在交叠模式中，当前的被摄体和过去的被摄体交叠并且以这样的方式显示。因此，对于用户来说容易观察当前的和过去的被摄体之间外观上的细节差异。例如，可以通过在输出图像之内基本上匹配当前的和过去的被摄体的互相对应的特征点位置实现交叠模式。被摄体的特征点位置可以是例如人（或动物）的眼、嘴、肩或腰等等的位置，或可以是除了人之外的被摄体的边缘上的任何位置。

图5B是图解显示模式的第二示例的平行方式的说明图。参考图5B，示出以平行方式显示的输出图像Im12。输出图像Im12可以是通过在2011年9月15日拍摄的输入图像上叠加2011年8月15日拍摄的过去图像产生的图像。在平行方式中，在输出图像之内以平行方式布置当前的和过去的被摄体，如图5B所示。因此，用户可以在比较显示的两个被摄体时更清楚可视地识别各个被摄体。例如，通过布置这些被摄体使得在它们之间具有间隔可以实现平行方式，以便当前的和过去的被摄体的令人注目的部分（例如，人的脸部）彼此不交叠。可以移动在过去图像中的被摄体以跟随当前的被摄体，同时维持上述帧到帧的间隔，或在被显示一次之后不必要必须跟随当前的被摄体。

图5C是图解显示模式的第三示例的列表模式的说明图。参考图5C，示出以列表方式显示的输出图像Im13。尺寸减小的过去图像P01到P03在输出图像Im13的下部作为列表显示。在列表模式中，显示控制部170可以根据用户Ua的运动卷起过去图像的列表。例如，显示控制部170可以响应于用户Ua向左方向的运动向右卷起过去图像的列表，由此可以重新显示比过去图像P01更旧的过去图像。以类似方式，显示控制部170可以响应于用户Ua向右方向的运动向左卷起过去图像的列表。过去图像的卷起量可以根据被摄体的速度动态地改变。注意，过去图像的列表不局限于图5C所示的示例，并且可以叠加在输出图像内的任何位置上。

显示控制部170可以根据选择的模式改变待显示的过去图像的透明度。例如，在交叠模式中，叠加的过去图像的透明度可以设置为相对较高，以便彼此交叠的两个被摄体可以被足够可视地识别。在平行方式中，过去图像叠加在输入图像中没有被摄体的区域上。因此，过去图像的透明度可以设置为相对低。在列表模式中，过去图像的透明度可以设置为中间值。

此外，在交叠模式和平行方式中，显示控制部170可以根据输入图像中被摄体的尺寸、亮度或色调，分别改变待显示的过去图像的被摄体的尺寸、亮度和色调。例如，当输入图像中的被摄体的尺寸比在过去图像中的被摄体的尺寸大时，可以对应于尺寸比例放大过去图像。当输入图像中的被摄体比在过去图像中的被摄体更明亮时，可以调整过去图像的亮度以便在过去图像中的被摄体变得更明亮。通过这样做，改变图像拍摄条件的影响可以被消除，从而可以更适当地比较被摄体。

在本实施例中，可以根据输入图像中的被摄体的运动执行显示模式的切换。图6是图解切换显示模式的运动示例的说明图。参考图6，描述能被用作触发器以在三种显示模式中的各对之间切换的被摄体的运动示例。例如，从列表模式或平行方式切换到交叠模式的触发器可以是被摄体移动得更接近显示的过去图像的一个的运动或被摄体拉近显示的过去图像的一个。从交叠模式切换到平行方式的触发器可能是就像抖去交叠的过去图像的被摄体的超过预定速度的运动（例如，身体或头的摆动）。从列表模式切换到平行方式的触发器可以是被摄体似乎将显示的过去图像的一个传递到被摄体不存在的区域的运动。从交叠模式或平行方式切换到列表模式的触发器可以是被摄体运动到屏幕的边缘部分。被摄体的这些运动通过运动检测部180检测,其将在接下来说明。

注意，切换图6所示的显示模式的运动仅仅是示例。换句话说，可以使用被摄体的其他类型的运动作为触发器执行显示模式的切换。此外，经由输入部106检测的用户输入（例如，接触、击打或预定按钮的压下）可以补充地用作切换显示模式的操作。

（6）运动检测部

运动检测部180检测从输入图像获取部120输入的输入图像中的被摄体的运动。例如，运动检测部180根据已知的技术，例如背景差异提取或肤色区域提取，提取输入图像中的被摄体区域。接下来，运动检测部180确定从一系列输入图像提取的被摄体区域的运动是否与被定义为切换显示模式的触发器的多个运动中的一个匹配。当运动检测部180检测到被定义为切换显示模式的触发器的运动时，运动检测部180将检测到的运动的一种以及（必要时）由运动指定的过去图像的标识符输出到模式选择部190。以下，将参考图7A到图7D说明切换显示模式的示例性四种方案。

图7A是图解切换显示模式的第一方案的说明图。用户Ub处于图7A中例示的输出图像Im21中，并且过去图像P11到P13以列表模式显示在输出图像Im21的下部。在输出图像Im22中，用户Ub移动其头以更接近过去图像P12。运动检测部180可以检测用户Ub的这类运动作为切换到交叠模式的触发器。

图7B是图解切换显示模式的第二方案的说明图。用户Ub处于图7B中例示的输出图像Im31中，并且过去图像P12以平行模式显示在用户Ub附近。在输出图像Im32中，用户Ub进行使用其手向着用户Ub拉过去图像P12的运动。运动检测部180可以检测用户Ub的这类运动作为切换到交叠模式的触发器。

图7C是图解切换显示模式的第三方案的说明图。用户Ub处于图7C中例示的输出图像Im41中，并且过去图像P12以交叠模式显示从而过去图像P12与用户Ub交叠。在输出图像Im42中，用户Ub进行摇摆其头的运动。运动检测部180可以检测用户Ub的这类运动作为从交叠模式切换到平行模式的触发器。

图7D是图解切换显示模式的第四方案的说明图。用户Ub处于图7D中例示的输出图像Im51中，并且过去图像P12以交叠模式显示从而过去图像P12与用户Ub交叠。在输出图像Im52中，用户Ub移动到屏幕的边缘部分。运动检测部180可以检测用户Ub的这类运动作为切换到列表模式的触发器。

（7）模式选择部

模式选择部190根据运动检测部180使用输入图像检测的被摄体的运动从包括上述三种显示模式的多个显示模式中选择显示模式。例如，如图7A所示，当检测到被摄体移动得更接近以列表模式或平行模式显示的过去图像的一个的运动时，模式选择部190可以选择交叠模式。此外，如图7B所示，当检测到作为被摄体的用户拉近以列表模式或平行模式显示的过去图像的运动时，模式选择部190可以选择交叠模式。此外，如图7C所示，当在以交叠模式显示过去图像的情况下检测到被摄体超过预定速度的运动时，模式选择部190可以选择平行模式。此外，如图7D所示，当在以交叠模式或平行模式显示过去图像的情况下检测到被摄体移动到屏幕的边缘部分的运动时，模式选择部190可以选择列表模式。模式选择部190将以这样的方式选择的显示模式的标识符输出到显示控制部170。然后，显示控制部170根据模式选择部190选择的模式在输入图像上叠加指定的过去图像或过去图像的列表。

注意，在交叠模式中，显示控制部170可以根据输入图像内被摄体的位置改变叠加在输入图像上的过去图像。更具体地说，当选择交叠模式时，显示控制部170可以根据输入图像内被摄体的位置在输入图像上叠加在不同的时间拍摄的过去图像。例如，输入图像内水平方向上的被摄体位置可以与拍摄过去图像的日期与时间相关联。

图8是图解被摄体位置与拍摄过去图像的日期与时间相关联的示例的说明图。表示输入图像Im6内水平方向上的被摄体位置的坐标轴被显示在图8的下部。坐标轴与表示拍摄每个过去图像的日期与时间的时间轴相关联。例如，当被摄体位于输入图像Im6内的位置H1时，较旧的过去图像P11可以叠加在输入图像Im6上，当被摄体位于位置H2时，较新的过去图像P12可以叠加在输入图像Im6上。用这样的方式，被摄体位置与拍摄过去图像的日期与时间相关联。结果，用户可以仅仅通过向左或向右移动而自由地改变过去图像，从而可以比较用户的当前图像和在各时间点的过去图像。

3.处理的流程

图9是显示根据本实施例的图像处理装置100的显示控制处理的流程的示例的流程图。

参考图9，首先，输入图像获取部120获取通过成像部102产生的拍摄图像作为输入图像（步骤S102）。然后，当已经通过过去图像获取部160获取过去图像（步骤S104）时，可以跳过从步骤S106到步骤S110的处理。

当还没有获取过去图像时，识别部130识别从输入图像获取部120输入的输入图像中的被摄体（步骤S106）。接下来，过去图像获取部160从图像DB150获取通过拍摄识别部130识别的被摄体在过去获得的过去图像（步骤S108）。在初始状态，模式选择部190选择预先设置的指定显示模式（例如列表模式）（步骤S110）。

接下来，运动检测部180检测输入图像获取部120获取的输入图像中的被摄体的运动（步骤S112）。接下来，模式选择部190确定运动检测部180已经检测到对应于显示模式的切换的运动（步骤S114）。当已经检测到对应于显示模式的切换的运动时，模式选择部190选择切换之后的显示模式（步骤S116）。然后，根据模式选择部190选择的模式，显示控制部170执行图10中例示的过去图像叠加处理（步骤S120）。

图10是在图9所示的步骤S120中的过去图像叠加处理的详细流程的示例的流程图。

图10所示的处理根据当前选择的显示模式出现分支。例如，当选择交叠模式时，处理前进到步骤S126（S122）。当选择平行模式时，处理前进到步骤S132（S124）。当选择列表模式时，处理前进到步骤S138。

当选择交叠模式时，首先，显示控制部170识别待显示的过去图像（步骤S126）。例如，这里识别的过去图像可以是由被摄体的运动指定的过去图像，例如图7A或图7B所示的。替代地，如图8所示的示例中的，可以识别在根据输入图像内的被摄体位置确定的日期与时间拍摄的过去图像，作为待显示的过去图像。接下来，显示控制部170调整识别的过去图像的显示属性（步骤S128）。例如，显示控制部170可以增加过去图像的透明度，以便彼此交叠的两个被摄体可以被足够可视地识别。此外，显示控制部170可以根据输入图像中被摄体的尺寸、亮度或色调，分别改变待显示的过去图像的被摄体的尺寸、亮度和色调。然后，显示控制部170在输入图像上叠加显示属性已经被调整的过去图像，从而输入图像中的被摄体和过去图像中的被摄体彼此交叠（步骤S130）。

当选择平行模式时，首先，显示控制部170识别待显示的过去图像（步骤S132）。以与交叠模式的情况类似的方式，这里识别的过去图像可以是由被摄体的运动指定的过去图像。接下来，显示控制部170调整识别的过去图像的显示属性（步骤S134）。例如，显示控制部170可以将过去图像的透明度设置为比交叠模式中的低。此外，显示控制部170可以根据输入图像中被摄体的尺寸、亮度或色调，分别改变待显示的过去图像的被摄体的尺寸、亮度和色调。然后，显示控制部170在输入图像上叠加显示属性已经被调整的过去图像，从而输入图像中的被摄体和过去图像中的被摄体以平行方式布置（步骤S136）。

当选择列表模式时，首先，显示控制部170调整待以列表布置的多个过去图像的显示属性（步骤S138）。例如，显示控制部170可以减小每个过去图像的尺寸。然后，显示控制部170按图像拍摄日期与时间的顺序以列表布置多个过去图像，并且在输入图像上叠加列表（步骤S140）。

4.应用示例

上述图像处理装置100向用户提供简单并且灵活的用户界面，用于切换显示模式以比较当前图像和过去图像。在上述示例中，主要地，图像处理装置100的用户自身的图像是比较对象。然而，图像处理装置100的配置甚至适用其他被摄体是比较对象的情况。在本节中给定这，将参考图11到图13说明这样的应用示例。

图11是图解应用示例的概述的说明图。参考图11，示出用户Uc拥有的图像处理装置100。图像处理装置100是成像装置。图像处理装置100可以是例如数字照相机或具有照相机模块的智能电话等等。图像处理装置100的输入部106包括图11所示的按钮106a、按钮106b。按钮106a是释放按钮106a并且接受用户的图像拍摄操作。如后面所说明的，按钮106b能被用户使用来操作显示模式。在图11所示的示例中，图像处理装置100的成像部102的透镜指向被摄体B1。背景存在于被摄体B1后。

此外，在本应用示例中，过去图像的显示模式可以包括交叠模式、平行模式和列表模式。此外，不在输入图像上叠加过去图像并且输入图像按照原样在显示器上显示的正常模式可以存在。

图12A是图解在本应用示例中的交叠模式的说明图。参考图12A，示出以交叠模式显示的输出图像Im7。输出图像Im7是通过在2011年9月15日拍摄的输入图像上叠加作为2011年6月15日拍摄的过去图像P21到P23中的一个的过去图像P21产生的图像。三个月以前的被摄体B1处于过去图像P21中。成长更多的被摄体B1处于输入图像中。在交叠模式中，这两个被摄体被交叠并显示。

图12B是图解在本应用示例中的平行模式的说明图。参考图12B，示出以平行方式显示的输出图像Im8。输出图像Im8也是通过类似于在图12A所示的输入图像上叠加过去图像P21产生的图像。然而，注意，代替交叠，并排布置分别在输入图像和过去图像P21中的被摄体。当用户在根据交叠模式显示过去图像的情况下改变视角时可以选择这类平行模式。

图12C是图解在本应用示例中的列表模式的说明图。参考图12C，示出以列表模式显示的输出图像Im91。输出图像Im91包括在一定程度上减小尺寸的输入图像Im92和过去图像P21到P23的列表。在本应用示例中，列表模式可以用作提供指定屏幕的模式，其允许用户指定待叠加在输入图像上的过去图像。

图13是图解在本应用示例中切换显示模式的操作示例的说明图。图13图解在四种显示模式之间的转换的示例，四种显示模式包括除交叠模式、平行模式和列表模式之外的正常模式。在四种显示模式之中，规定显示模式是例如输入图像按照原样显示在显示器上的正常模式。当在正常模式中检测到经由输入部106的预定用户输入时，显示模式切换到列表模式。如果在列表模式中指定过去图像的一个，模式选择部190搜索指定过去图像的背景与输入图像的背景匹配的位置。然后，当可以找到背景互相匹配的位置时，模式选择部190选择交叠模式。然后，当通过用户改变视角被摄体在输入图像之内移动时，模式选择部190选择平行模式。注意，在平行模式中在输入图像之内叠加的过去图像的位置不根据在交叠模式中叠加过去图像的位置而改变。在选择交叠模式或平行模式的状态中，如果检测到经由输入部106的预定用户输入，显示模式切换到正常模式。

在图13所示的示例中，可以通过使用预定按钮的压下作为触发器执行到交叠模式的切换。在这种情况下，模式选择部190可以响应于按钮106b的压下通过执行在过去图像和输入图像之间的匹配选择交叠模式。此外，当用户改变视角同时压下按钮106b时，模式选择部190可以选择平行模式。另一方面，当按钮106b被释放时，显示模式回到正常模式。

注意，在图像处理装置100具有如在本应用示例中的图像拍摄功能的情况下，如果在根据交叠模式或平行模式显示过去图像的状态下接受图像拍摄操作，可以获取通过在输入图像上叠加过去图像产生的图像作为拍摄图像并且存储。这允许用户在稍后通过参考存储图像比较两个被摄体。

5.结论

以上参考图1到图13详细说明根据实施例的图像处理装置100和图像处理装置100的应用示例。根据上述实施例，输入图像用于执行在多个过去图像显示模式之间切换，多个过去图像显示模式包括被摄体彼此交叠的交叠模式和被摄体并排布置的平行模式。因此，用户可以容易地并且灵活地切换比较的两个图像的显示格式。可以响应于输入图像中的被摄体的运动执行显示模式的选择。换句话说，作为比较对象的被摄体的运动本身被用作切换显示模式的触发器。因此，用户可以切换显示格式，而不必关注与被摄体无关的输入装置。

例如，切换到交叠模式的触发器可以是检测被摄体移动得更接近过去图像的一个的运动或检测被摄体拉近过去图像的一个的运动。此外，从交叠模式切换到平行模式的触发器可以是检测类似于抖开交叠的过去图像的运动。这些运动是过用户直观地识别并且用户可以容易地记住它们。从而，根据上述配置，可以进一步改善切换显示模式的用户界面的可用性。

注意，通过在本说明书中说明的每个装置执行的一系列控制处理可以通过使用软件、硬件以及软件和硬件的结合的任何一种实现。例如，在每个装置的内部或外部设置的存储介质中预先存储形成软件的程序。然后，例如，当被执行时，每个程序被读到随机存取存储器（RAM）中并且通过例如CPU的处理器执行。

本领域技术人员应该理解，取决于设计要求及其他因素，各种修改、组合、子组合和变更可以发生，只要它们在所附权利要求或其等同物的范围内。

另外，本技术也可以如下配置。

（1）一种图像处理装置包括：

输入图像获取部，获取输入图像；

过去图像获取部，获取输入图像中的被摄体的过去图像;

模式选择部，利用输入图像从多个模式中选择多个模式之一，所述多个模式包括第一模式和第二模式，在第一模式中，输入图像中的被摄体与过去图像中的被摄体交叠，在第二模式中，过去图像中的被摄体与输入图像中的被摄体并排布置;以及

显示控制部，按照由模式选择部所选择的模式在输入图像上叠加过去图像。

（2）根据（1）所述的图像处理装置，

其中，模式选择部响应于在输入图像中的被摄体的运动选择多个模式之一。

（3）根据（2）所述的图像处理装置，

其中，在检测到被摄体移动得更接近根据与第一模式不同的模式显示的过去图像的运动时，模式选择部选择第一模式。

（4）根据（2）所述的图像处理装置，

其中，被摄体是图像处理装置的用户，以及

其中，在检测到用户拉近根据与第一模式不同的模式显示的过去图像的运动时，模式选择部选择第一模式。

（5）根据（2）所述的图像处理装置，

其中，当在根据第一模式显示过去图像时检测到被摄体的运动超过预定速度时，模式选择部选择第二模式。

（6）根据（1）到（5）中任何一项所述的图像处理装置，

其中，过去图像获取部获取在不同时间拍摄的多个过去图像，以及

其中，当第一模式被选择时，根据在输入图像内被摄体的位置，显示控制部在输入图像上叠加在不同时间拍摄的多个过去图像之一。

（7）根据（1）到（6）中任何一项所述的图像处理装置，

其中，所述多个模式进一步包括第三模式，在第三模式中，过去图像获取部获取的多个过去图像的列表被叠加在输入图像上。

（8）根据（7）所述的图像处理装置，

其中，当检测到在根据第一模式和第二模式之一显示过去图像的情况下被摄体移动到屏幕的边缘部分时，模式选择部选择第三模式。

（9）根据（2）所述的图像处理装置，

其中，当作为在根据第一模式显示过去图像的状态的角度改变的结果被摄体移动时，模式选择部选择第二模式。

（10）根据（1）到（9）中任何一项所述的图像处理装置，

其中，根据由模式选择部所选择的模式，显示控制部改变待显示的过去图像的透明度。

（11）根据（1）到（10）中任何一项所述的图像处理装置，

其中，根据输入图像中被摄体的尺寸、亮度和色调中的一个，显示控制部相应改变待显示的过去图像的被摄体的尺寸、亮度和色调的一个。

（12）根据（1）到（11）中任何一项所述的图像处理装置，

其中，图像处理装置是成像装置，该成像装置包括拍摄输入图像的成像部和接受用户的图像拍摄操作的输入部，以及

其中，当在根据第一模式和第二模式之一显示过去图像的状态下接受图像拍摄操作时，获取通过在输入图像上叠加过去图像产生的图像，作为拍摄图像。

（13）一种显示控制方法，用于控制图像处理装置中的图像的显示，所述显示控制方法包括：

获取输入图像;

获取输入图像中的被摄体的过去图像;

利用输入图像从多个模式中选择多个模式之一，所述多个模式包括第一模式和第二模式，在第一模式中，输入图像中的被摄体与过去图像中的被摄体交叠，在第二模式中，过去图像中的被摄体与输入图像中的被摄体并排布置;以及

按照由模式选择部所选择的模式在输入图像上叠加过去图像。

（14）一种程序，包括命令计算机充当以下部件的指令：

输入图像获取部，获取输入图像;

过去图像获取部，获取输入图像中的被摄体的过去图像;

本公开包含与2011年11月9日提交到日本专利局的日本优先权专利申请JP 2011-245301中公开的主题相关的主题，其全文通过引用并入本文。

Claims

1.一种图像处理装置，包括：

输入图像获取部，获取输入图像;

过去图像获取部，获取输入图像中的被摄体的过去图像;

2.根据权利要求1所述的图像处理装置，

3.根据权利要求2所述的图像处理装置，

4.根据权利要求2所述的图像处理装置，

其中，被摄体是图像处理装置的用户，以及

5.根据权利要求2所述的图像处理装置，

6.根据权利要求1所述的图像处理装置，

7.根据权利要求1所述的图像处理装置，

8.根据权利要求7所述的图像处理装置，

9.根据权利要求2所述的图像处理装置，

10.根据权利要求1所述的图像处理装置，

11.根据权利要求1所述的图像处理装置，

12.根据权利要求1所述的图像处理装置，

13.一种显示控制方法，用于控制图像处理装置中的图像的显示，所述显示控制方法包括：

获取输入图像;

获取输入图像中的被摄体的过去图像;

14.一种程序，包括命令计算机充当以下部件的指令：

输入图像获取部，获取输入图像;

过去图像获取部，获取输入图像中的被摄体的过去图像;