CN102656548A - 显示控制装置、显示控制方法和程序 - Google Patents

Abstract

提供了显示控制装置、显示控制方法和程序，其使能利用作为动作推移图像的经历了合成处理的帧图像实现各种播放显示。在该记录介质中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的各个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，在该运动图像显示中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上，每个记录帧图像数据是可播放的。根据对诸如触摸面板之类的操作输入单元的操作，判定一系列记录帧图像数据之中要播放的帧位置并且执行所判定的帧位置的记录帧图像数据的播放。从而，可容易观看动作推移图像之中用户希望观看的场景。

Description

显示控制装置、显示控制方法和程序

技术领域

本发明涉及显示控制装置、显示控制方法和程序，具体涉及用于显示表现被摄体的动作推移(motion transition)的图像的技术。

背景技术

如图34中所示的“动作推移图像”例如用于确认体育运动中的形态等等。

对于动作推移图像，执行动作的人或物体(运动被摄体，movingsubject)在空间上排列的特性时间(关键帧)被剪出，从而促进对动作的推移的理解。这具有如下特征，即，即使运动被摄体在空间上没有移动，却也生成示出在空间上移动的运动被摄体的图像。一般地，这是通过描绘图片来实现的，但也可通过手工切出并排列照片来实现。

引文列表

专利文献

PTL 1：日本专利No.3449993

PTL 2：日本未实审专利申请公布No.2004-180259

PTL 3：日本未实审专利申请公布No.2007-259477

PTL 4：日本未实审专利申请公布No.2002-359777

发明内容

技术问题

传统上，在自动生成这种动作推移图像的情况下，从多个帧中取得要处理的关键帧的图像，这多个帧是从利用相机等等连续拍摄的视频相机的视频获得的。作为处理对象的关键帧的部分被利用此技术剪出并且排列等等。

然而，对于传统的动作推移图像，有这样一个问题，即难以同时实现宽广的动作范围和对动作推移的充分表现。

例如，图34是利用从通过利用视频相机拍摄执行高尔夫挥杆的人而获得的运动图像数据取得的关键帧FK1到FK20来生成动作推移图像的示例。

为了像此图34那样将许多个关键帧图像合成为一个合成图像，在排列关键帧图像时每个剪出宽度wa当然必须较窄。

从而，不能覆盖运动被摄体的动作范围，并且切掉了想要的运动被摄体的一部分。例如，从图34中的图像可以看出，在挥杆过程中的某些定时，图像中缺失了高尔夫球杆的尖端部分等等。这不仅在视觉上是不合需要的，而且在考虑形态查看等等的用途时也是不合适的。

现在，为了使得运动被摄体(例如执行挥杆的人和高尔夫球杆)的一部分不缺失，剪出宽度需要更宽。

如具有剪出宽度wb的图35中所示，这是从每个关键帧图像的剪出宽度更宽的示例，在此情况下，可排列为一个图像的关键帧图像的数目更小。例如，图35示出了通过从图34中的20个关键帧图像FK1至FK20中提取8个关键帧图像FK1、FK4、FK7、FK10、FK11、FK14、FK17和FK20而生成的动作推移图像。

在此情况下，可以防止每个关键帧图像缺失运动被摄体(执行挥杆的人和高尔夫球杆)的一部分。然而，由于可排列在一个图像上的关键帧的数目减少了，所以动作推移图像不容易表示平滑的动作。也就是说，不能以充分精细的方式表现动作推移以便查看形态等等。

从图34和图35中的示例可以看出，加宽剪出宽度以覆盖运动被摄体的整个动作范围减少了在所生成的最终图像内存在的关键帧的数目，从而缺乏对动作推移的表现。缩窄剪出宽度增加了关键帧的数目，使得可以时间上精细的方式表现运动被摄体，但不能覆盖运动被摄体的动作范围，因此想要的运动被摄体的一部分被不合需要地切掉。

另外，虽然这种动作推移图像原本是通过简单地排列多个关键帧以产生表现动作推移的静止图像而获得的合成图像，但也需要实现具有更高视觉效果的类似运动图像的动作推移图像。

在已生成和记录了这样的动作推移图像的情况下，最好能够以用户易于理解而且具有良好可操作性的方式在拍摄后播放和确认该动作推移图像。

从而，本发明的一个目的是，在记录利用许多个帧图像实现充分的动作表现的合成图像数据作为动作推移图像的情况下，实现利用简单操作对该动作推移图像的多样播放作为对其的播放。

解决问题的方案

根据本发明的一种显示控制装置包括：播放处理单元，被配置为从记录介质执行播放处理，其中在该记录介质中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的各个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，在该运动图像显示中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上；以及显示控制单元，被配置为根据用户指令判定该一系列记录帧图像数据之中要播放的帧位置，使得播放处理单元执行所判定的帧位置的记录帧图像数据的播放并且执行对所播放的记录帧图像数据的显示控制。

在此情况下，根据作为用户指令而检测到的拖动操作(draggingoperation)(例如用手指在触摸面板上描摹的操作)，显示控制单元使得播放处理单元执行从当前正被执行播放输出的记录帧图像数据的帧位置的记录帧图像数据到前方或后方的帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制。

例如，显示控制单元根据作为用户指令而检测到的每单位时间的拖动操作量和拖动操作方向，判定作为开始帧位置前方或后方的帧位置的结束帧位置，使得播放处理单元顺次执行从开始帧位置到结束帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制，其中开始帧位置是当前正被执行播放输出的记录帧图像数据的帧位置。

另外，根据作为用户指令而检测到的拂动操作(flicking operation)(例如，用手指在触摸面板上拂动的操作)，显示控制单元使得播放处理单元执行从当前正被执行播放输出的记录帧图像数据的帧位置的记录帧图像数据到前方或后方的帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制。

例如，显示控制单元根据作为用户指令而检测到的拂动操作速度和拂动操作方向，判定作为开始帧位置前方或后方的帧位置的结束帧位置，使得播放处理单元顺次执行从开始帧位置到结束帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制，其中开始帧位置是当前正被执行播放输出的记录帧图像数据的帧位置。

另外，根据作为用户指令而检测到的指点操作(pointing operation)(例如触摸该触摸面板上的某个位置的操作)，显示控制单元使得播放处理单元执行从当前正被执行播放输出的记录帧图像数据的帧位置的记录帧图像数据到前方或后方的帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制。

例如，显示控制单元根据作为用户指令而检测到的指点操作位置，判定作为开始帧位置前方或后方的帧位置的结束帧位置，使得播放处理单元顺次执行从开始帧位置到结束帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制，其中开始帧位置是当前正被执行播放输出的记录帧图像数据的帧位置。

根据本发明的一种显示控制方法包括：在从记录介质读出并播放显示某个记录帧图像数据期间检测对播放显示的用户指令的步骤，其中在该记录介质中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的各个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，在该运动图像显示中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上；以及根据检测到的操作输入判定该一系列记录帧图像数据之中要播放的帧位置并且执行对所判定的帧位置的记录帧图像数据的显示控制的步骤。

根据本发明的程序是用于使得计算处理装置执行以上步骤的程序。

在本发明中，要播放的记录介质的存在是先决条件。在该记录介质中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的各个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，在该运动图像显示中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上。

这里使用的每个合成图像数据的含义如下。

首先，这里使用的原始帧图像数据指的是以下之一：构成运动图像的每个帧、例如连续成像的静止图像的各个图像，等等。也就是说，其广泛地指构成一个图像的图像数据。

在对这样输入的多个帧图像数据执行图像合成处理以生成动作推移图像时，对于帧图像数据执行处理以分离图像内的运动被摄体层和背景层。在帧图像数据被输入的每个时间点，所输入的最新的帧图像数据被合成到在该时间点已经存在的合成图像数据。此时，通过缩短每个帧的宽度可以排列许多个运动被摄体图像，但在此情况下仍会有最新的帧图像数据的运动被摄体和先前的帧图像数据的运动被摄体重叠的部分。从而，执行层图像合成处理，以使得所输入的最新帧图像数据的运动被摄体层被给予第一优先级，并且根据上次以前的图像合成处理的运动被摄体层被给予第二优先级。从而，在运动被摄体的部分被重叠在先前帧的运动被摄体上的状态中生成了合成图像。

这样生成的合成图像数据作为一系列记录帧图像数据被记录在记录介质中。

在播放时，每个合成图像数据(记录帧图像数据)被作为运动图像的每个帧播放并显示，从而可以执行可用来知道合成过程的运动图像显示、合成处理的某个阶段的静止图像显示，等等。另外，此时，处理拖动操作、拂动操作、指点操作等等，从而使得能够容易地向用户呈现在合成过程的每个状态中用户希望观看的场景。

另外，从另一方面的根据本发明的显示控制装置是一种被配置为控制显示画面的显示内容的显示控制装置，该显示控制装置包括：控制信号生成单元，被配置为生成控制信号，以便控制显示内容，以使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域上，并且使得在每个分割显示区域中显示的表示该同一运动被摄体的图像是按与该同一运动被摄体的时间序列相对应的顺序来布置的，并且以便执行显示控制以使得，在根据用户指令或动态播放处理显示包括表示与显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容时，以维持与该同一运动被摄体的时间序列相应的顺序的状态，将包括在该不同的时间的同一运动被摄体的同一运动被摄体的各个图像显示在每个分割显示区域中；以及控制信号输出单元，被配置为输出控制信号以控制显示画面的显示内容。

从另一方面的根据本发明的显示控制方法是如下的一种显示控制方法：其控制显示画面的显示内容，以便控制该显示内容，以使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域上，并且使得在每个分割显示区域中显示的表示该同一运动被摄体的图像是按与该同一运动被摄体的时间序列相对应的顺序来布置的，并且执行显示控制以使得，在根据用户指令或动态播放处理显示包括表示与显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容时，以维持与该同一运动被摄体的时间序列相应的顺序的状态，将包括在该不同的时间的同一运动被摄体的同一运动被摄体的各个图像显示在每个分割显示区域中。

根据本发明的另一方面的程序是用于使得计算处理装置执行以上步骤的程序。

在此情况下，这里所使用的使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域上的显示内容指的是排列了许多个运动被摄体的显示。

以上显示内容被控制以使得在每个分割显示区域中显示的表示同一运动被摄体的图像是按与该同一运动被摄体的时间序列相对应的顺序布置的。例如，例如作为同一个人等等的同一运动被摄体的每个时间点的状态(高尔夫挥杆的过程的每个状态)的图像被按时间序列顺序排列地显示在显示屏上。

另外，在根据用户指令或动态播放处理显示包括表示与显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容时，执行显示控制以使得以保持该同一运动被摄体的与时间序列相应的顺序的状态，将包括在该不同的时间的同一运动被摄体的同一运动被摄体的各个图像显示在每个分割显示区域中。也就是说，在显示与显示状态不同的时间点的同一运动被摄体之时，是在保持该同一运动被摄体的与时间序列相应的顺序的状态中在每个分割显示区域中执行显示的。

本发明的有利效果

根据本发明，通过播放作为动作推移图像的每个状态的合成图像数据，使得能够动态显示合成图像的过程，并且通过对于用户来说容易的操作就能够提供合成过程中用户希望观看的状态的播放图像。

特别地，通过在播放时将运动图像的时间轴上的位置与根据触摸面板等等的空间轴上的位置相关联，使能了更直观的操作。

附图说明

图1是包括根据本发明的显示控制装置的根据实施例的图像处理装置的框图。

图2是根据实施例的动作推移图像的生成处理的说明图。

图3是根据实施例的层分离处理的说明图。

图4是根据实施例的对输入图像设定区域的示例的说明图。

图5是根据实施例的推移动作有效区域和剩余背景区域的说明图。

图6是根据实施例的动作推移运动图像的说明图。

图7是根据实施例的动作推移运动图像的说明图。

图8是根据实施例的动作推移运动图像的说明图。

图9是根据实施例的动作推移运动图像的说明图。

图10是根据实施例的动作推移运动图像的说明图。

图11是根据实施例的动作推移运动图像的说明图。

图12是根据实施例的动作推移运动图像的说明图。

图13是根据实施例的动作推移运动图像的说明图。

图14是根据实施例的动作推移运动图像的说明图。

图15是根据实施例的动作推移运动图像的最终帧的说明图。

图16是根据实施例的合成图像生成和记录处理示例的流程图。

图17是根据实施例的进程判定(process determining)处理的流程图。

图18是根据实施例的用于合成处理的图像数据的说明图。

图19是根据实施例的进程P2和P3的说明图。

图20是根据实施例的进程P4的说明图。

图21是根据实施例的进程P5的说明图。

图22是根据实施例的进程P6的说明图。

图23是根据实施例的记录/显示的图像帧的说明图。

图24是根据实施例的拖动操作的说明图。

图25是根据实施例的拖动操作的说明图。

图26是根据实施例的拖动操作的说明图。

图27是根据实施例的拖动操作的说明图。

图28是根据实施例的拖动操作的各情况的说明图。

图29是根据实施例的与拖动操作相对应的处理的流程图。

图30是根据实施例的拂动操作的说明图。

图31是根据实施例的与拂动操作相对应的处理的流程图。

图32是根据实施例的指点操作的说明图。

图33是根据实施例的与指点操作相对应的处理的流程图。

图34是传统的合成图像的说明图。

图35是传统的合成图像的说明图。

具体实施方式

将按以下顺序描述本发明的实施例。

[1.图像处理装置的配置]

[2.生成/记录动作推移图像的处理示例]

[3.动作推移图像的播放显示的处理示例]

<3-1：拖动操作>

<3-2：拂动操作>

<3-3：指点操作>

<3-4：其他操作>

[4.显示处理]

[5.程序]

[1.图像处理装置的配置]

图1示出了根据实施例的图像处理装置1的配置示例。

图像处理装置1是执行作为动作推移图像的图像合成处理的装置，并且还具有作为图像记录/播放单元40的执行动作推移图像的记录/播放和显示的装置单元(显示控制装置单元)。

作为根据本示例的图像处理装置1的配置，图1示出了输入图像选择单元2、层处理单元3、图像输出单元4、合成图像更新/保持单元5、图像输入单元10、运动被摄体信息生成单元11、运动被摄体信息输入单元12以及图像记录/播放单元40。

这些部件不一定限于同一壳体内的配置构件。具体地，图像输入单元10、运动被摄体信息生成单元11、运动被摄体信息输入单元12和输出装置40可被设想为单独的配置构件。另外，可以作出一种布置，其中只提供运动被摄体信息生成单元11和运动被摄体信息输入单元12中的一个。

另外，当然可以设想其他记录/播放/显示设备用于图像记录/播放单元40。

另外，输入图像选择单元2、层处理单元3、图像输出单元4和合成图像更新/保持单元5可各自被配置为硬件块，但也可实现为在诸如微计算机之类的计算处理装置中由软件程序实现的功能块。

此图像处理装置1可设在例如成像装置(视频相机等等)或视频播放装置内，或者可被配置为独立的图像处理专用装置。另外，这可配置成在个人计算机等等中执行通过软件和硬件之间的合作实现的图像处理功能。

图像输入单元10执行对作为要生成的动作推移图像(静止图像或运动图像)的基础的帧图像数据群组的输入。

帧图像数据是以下之一：构成运动图像的每个帧，或者例如连续拍摄的静止图像的每个个体图像，等等。也就是说，我们将使用术语“帧图像数据”来广泛地意指构成一个图像的图像数据。

如果图像处理装置1被安装在成像装置上，则图像输入单元10将相当于透镜系统、感光器件和执行图像信号处理以获得成像的图像信号的一系列成像系统构件。

另外，如果要取入利用外部成像装置获得的成像图像，则图像输入单元10可以是从外部装置传送/发送/下载等等的图像信号的接收处理系统。例如，可以设想对于广播波的调谐器单元、诸如USB(通用串行总线)接口等等的外部装置接口单元或者还有线缆或无线网络通信单元等等。

另外，在诸如成像图像数据等等之类的图像信号被记录在诸如存储卡(固态存储器)、光盘等等之类的记录介质中的情况下，图像输入单元10被实现为对这些记录介质执行播放的播放系统构件或播放程序。

取决于图像输入单元10，作为运动图像的每个帧图像数据和通过静止图像的连续拍摄等等获得的多个帧图像数据被输入，并且图像输入单元10将这些帧图像数据提供给输入图像选择单元2和运动被摄体信息生成单元11。

注意，图像输入单元10可执行预处理。执行到处理所必要的形式的适当转换，例如将接收到的运动图像文件展开成个体帧，将接收到的隔行图像转换成逐行图像，等等。另外，可以执行放大/缩小。

运动被摄体信息生成单元11使用从图像输入单元10接收的原始图像群组(帧图像数据群组)或其他外部信息(深度信息等等)来生成运动被摄体信息。

运动被摄体信息是可以用来区分至少一个输入帧图像数据的哪个部分是运动被摄体并且哪个部分是背景的信息。

运动被摄体信息生成单元11生成与输入的每个帧图像数据相对应的运动被摄体信息，并且将其提供给输入图像选择单元2。

运动被摄体信息可被表现为运动被摄体图像，并且在此情况下以像素值的形式来表现像素是运动被摄体还是背景。另外，可以有通过表达式或向量来表现表示此被摄体的位置的信息的情况。

在存在多个运动被摄体的情况下，运动被摄体信息生成单元11除了分离运动被摄体和背景以外，还可分离每个运动被摄体，并且根据深度来分离。在此情况下，在将运动被摄体信息表示为图像的情况下，将会有表示每个像素在哪个深度的多值图像(或多通道图像)，而不是指示是运动被摄体还是背景的二值图像。

另外，不一定要在根据本示例的图像处理装置1的装置内执行运动被摄体信息的生成，而是也可接收由另一装置或程序生成的运动被摄体信息。运动被摄体信息输入单元12表示从外部接收关于在图像输入单元10处输入的每个帧图像数据的运动被摄体信息的构件。运动被摄体信息输入单元12从外部输入与每个输入的帧图像数据相对应的运动被摄体信息，并将其提供给输入图像选择单元2。

注意，因此，提供运动被摄体信息生成单元11和运动被摄体信息输入单元12中的至少一个就足够了。然而，注意，可以先后使用在运动被摄体信息生成单元11处生成的运动被摄体信息和在运动被摄体信息输入单元12处接收的运动被摄体信息，并且从这个角度来看，提供运动被摄体信息生成单元11和运动被摄体信息输入单元12两者也是有用的。

输入图像选择单元2对于从图像输入单元10顺次提供来的帧图像数据执行用于生成动作推移图像的处理。也就是说，选择在层处理单元3处的合成处理中有必要使用的图像数据，并且将图像的适当组合输出到层处理单元3。另外，输入图像选择单元2向层处理单元3输出与输出到层处理单元3的帧图像数据相对应的运动被摄体信息，以及合成处理所必要的信息，例如用于合成的坐标信息等等。

在图1中，在输入图像选择单元2内示出了关键帧判定单元21和坐标计算单元22。关键帧判定单元21执行关键帧判定处理，并且基于此执行对要输出到层处理单元3的帧图像数据的选择。另外，坐标计算单元22执行用于合成处理的坐标计算。

作为充当动作推移图像的最终输出图像(在运动图像的情况下是最终帧图像)，关键帧是作为动作推移的路径的同一静止图像中剩余的时间轴不同的多个图像。例如，一般可以预期每适当单位时间等间隔成像的帧将会是时间上连续的帧图像数据群组中的关键帧，但时间不必是等间隔的，而是可被改变到适合于从视觉上识别成像对象的动作推移的间隔。

关键帧判定单元21执行处理以从从图像输入单元10顺次提供来的帧图像数据中选择作为关键帧的帧图像数据。

在生成动作推移运动图像的情况下，输入的全帧图像数据被提供到层处理单元3，但在层处理单元3处关于成像合成对其的处理取决于是否是关键帧而有所不同。

图2示出了关键帧。图2中的(a)示意性地示出了输入到输入图像选择单元2的图像数据。让我们假定例如这是运动数据，并且图中的F1、F2、F3、……各自例示一个帧图像数据。

输入图像选择单元2从作为运动图像的这种时间上连续的帧中选择关键帧。作为一个示例，在每五个帧被取为关键帧的情况下，由圆圈标示的帧F1、F6、F11、F16、F21、……是关键帧。图2中的(b)以形状示出了这些关键帧的图像内容。

在生成动作推移运动图像的情况下，除了关键帧以外的帧图像数据(例如F2、F3等等)也用于合成处理。

然而，注意，在合成的过程中，在保留关键帧的同时，对迄今的合成图像数据合成新的帧图像数据。

在图2中的(c)中，示出了动作推移运动图像的最终帧的图像的示例，其中，通过将新的帧图像数据合成到仅保留关键帧的合成图像数据，在最终帧处几乎等间隔地排列了关键帧的图像的图像内容。稍后将描述细节。

层处理单元3包括层分离单元31、层加工单元32和层合成单元33，并且执行动作推移图像的生成处理。

层分离单元31利用运动被摄体信息分离输入到其中的帧图像数据的层。层是从一个帧图像数据中分离出的运动被摄体部分和背景部分等等中的每一个。层分离单元31例如基于运动被摄体信息分离用于执行层合成的相关范围以使得输入图像和先前关键帧图像被分离成背景和运动被摄体，并且生成每层的图像。在存在多个运动被摄体并且可查明其深度的情况下，执行到如下数目的层的分离：该数目等于个体运动被摄体的数目+背景的数目。

图3中的(a)示出了输入图像(一个特定的帧图像数据)和关于该帧图像数据的运动被摄体信息。

如上所述，输入图像选择单元2把从图像输入单元10顺次提供来的帧图像数据F1、F2、F3……输出到层处理单元3。

另外，从运动被摄体信息生成单元11或运动被摄体信息输入单元12向输入图像选择单元2与每个帧图像数据相对应的运动被摄体信息。在向层处理单元3提供帧图像数据时，输入图像选择单元2也把与帧图像数据相对应的运动被摄体信息提供给层处理单元3。

在图3中的(a)中的上排和下排示出的是以这种方式提供给层处理单元3的帧图像数据及其运动被摄体信息。这里，运动被摄体信息是以二值表示的。也就是说，这是这样的信息：其中，作为运动被摄体的像素是“1”，并且作为除运动被摄体以外的背景的像素是“0”，等等。图3中的(a)中的下排的露白部分表示“1”，即运动被摄体，而黑部分表示“0”，即背景。

层分离单元31利用这种运动被摄体信息将输入帧图像数据分离成层。

图3中的(b)示出了分离后的运动被摄体层和背景层。图3中的(b)中的上排的运动被摄体层是这样的图像：其中，切出了图3中的(a)中的输入图像的运动被摄体部分(即，只有运动被摄体信息＝“1”的像素)。

另外，图3中的(b)中的下排的背景层是这样的图像：其中，切出了图3中的(a)中的输入图像的背景部分(即，只有运动被摄体信息＝“0”的像素)。

注意，设想将会有多个运动被摄体的情况，可以使用三个值以上的多值运动被摄体信息。在此情况下，运动被摄体信息生成单元11或运动被摄体信息输入单元12生成(或获得)根据多个运动被摄体的深度(在图像的深度方向上的前后关系)而具有不同值的运动被摄体信息。

在这种情况下，层分离单元31可分离成如下数目的层：该数目等于运动被摄体的数目+背景的数目。

层加工单元32执行加工，例如分离出的层的剪辑、放大/缩小、坐标移动，等等。也就是说，对分离出的每一层执行各种类型的处理，以将其加工成能够合成的形式。层加工单元32执行的处理经常是诸如“放大/缩小”、“旋转”、“平行移动”等等之类的几何计算，但也包括诸如增强运动部分之类的图像处理。放大/缩小是取决于关键帧的数目、输出图像的大小等等来决定的。

层加工单元32对经历了层分离的每一层执行各种类型的处理，以将其加工成能够被合成的形式，但动作推移图像一般不以输入帧图像数据的整个区域作为对象，而是以一部分被剪出的形式执行的。

另外，运动被摄体有效的范围和在最终图像中保留背景的区域也是不同的。

作为输入帧图像数据的图像的宽度和高度为(Wimg，Himg)，推移动作有效区域的宽度和高度为(Wmov，Hmov)，并且剩余背景区域的宽度和高度为(Wback，Hback)，可以设想例如图4中的(a)、(b)和(c)中所示的区域形式。注意，图4中的(a)、(b)和(c)各自是示例，并不限于此。

图4中的(a)、(b)和(c)中所示的推移动作有效区域是剪出主运动被摄体的范围。另外，剩余背景区域是在合成处理中用作背景图像的区域。

推移动作有效区域的值(Wmov，Hmov)和剩余背景区域的值(Wback，Hback)可具有相同的宽度或相同的高度，这取决于被摄体的推移方向，即在表现动作推移图像时图像在时间上行进的方向。

如稍后利用图6至图15所述的动作推移图像中所示，在运动被摄体图像的在水平方向上的推移运动的情况下，高度(Hmov，Hback)经常优选是与原始帧图像数据的高度(Himg)相同的值，就像图4中的(b)中的示例中那样。

另外，在运动被摄体图像在垂直方向上运动的情况下，宽度(Wmov，Wback)经常优选是与原始帧图像数据的宽度(Wimg)相同的值，就像图4中的(c)中的示例中那样。

在例如像体育运动中的形态查看等等那样运动被摄体是站立的人的情况下，经常发生水平推移，而在对象是柔道寝技等等的情况下，其是垂直推移的可能性较大。从而，推移的方向和伴随的图像的大小强烈取决于成像的对象。

图5示出了关于图4中的(b)中的示例，对实际帧图像数据设定推移动作有效区域和剩余背景区域的示例。

图5中的(a)是原始输入帧图像数据，并且我们将假定帧图像数据的大小是VGA(640×480)。我们将假定推移动作有效区域和剩余背景区域的中心与作为输入图像的帧图像数据的中心匹配。

我们将假定，如图5中的(b)中所示，推移动作有效区域是宽度Wmov＝320，高度Hmov＝480的区域。

我们将假定，如图5中的(c)中所示，剩余背景区域是宽度Wback＝160，高度Hback＝480的区域。

当然，这只是一个示例，而在实践中只要以根据被摄体的大小和动作合适的设定剪出要用于合成处理的图像即可。

层合成单元33利用经加工的层和来自前次以前的合成图像执行合成处理。也就是说，要输出的图像是基于经层加工单元32加工的图像、来自前次以前的合成图像、运动被摄体信息等等来合成的。这里使用的合成是基于运动被摄体信息执行对在输出图像中反映哪个层的像素的判定，并且生成输出图像。虽然可从单层的像素中进行选择，但可以有混合并输出多层的像素的情况。

至于层合成单元33进行的处理，根据帧图像数据的输入，执行图像合成处理以生成合成图像数据。此时，对在输入帧图像数据的时间点已经存在的合成图像数据的部分区域执行层图像合成处理。在此情况下，最新的输入帧图像数据的运动被摄体层具有第一优先级，并且与来自前次以前的合成图像有关的帧图像数据的运动被摄体层具有第二优先级。

稍后将描述具体的处理示例。

图像输出单元4把在层处理单元3合成的合成图像输出到图像记录/播放单元40。

这里使用的图像记录/播放单元40是以示例形式示出的执行到记录介质的记录操作、播放操作和显示操作的构件。

图像输出单元4把对于帧图像数据的每次输入在层处理单元3处生成的合成图像数据顺次输出到图像记录/播放单元40，作为要被记录在记录介质中的记录用帧图像数据。

另外，图像输出单元4把对于帧图像数据的每次输入在层处理单元3处生成的合成图像数据顺次输出到图像记录/播放单元40，以作为动作推移运动图像显示在显示单元45上。

注意，根据系统形式可以设想除图像记录/播放单元40以外的图像输出单元4对合成图像数据的各种具体输出目的地，例如输出到另外的显示装置、输出到另外的记录装置、网络输出，等等。

另外，在根据此次的合成处理的帧图像数据是关键帧的情况下，图像输出单元4将其输出到合成图像更新/保持单元5并且执行更新/存储以便使得来自此的合成图像数据能够在执行下次处理时被用作前次的已经存在的合成图像数据。另一方面，在根据此次的合成处理的帧图像数据不是关键帧的情况下，此次的合成图像数据不被输出到合成图像更新/保持单元5，因为在执行下次处理时其不会被用作前次的已经存在的合成图像数据。

合成图像更新/保持单元5保持在动作推移图像的生成处理中的每个时间点的合成图像数据。

例如，在生成动作推移图像时，在每个时间点从图像输出单元4输出的合成图像被更新并保持。例如，合成处理过程中必要的过去的合成图像数据被更新并保持，作为来自上次的、上上次的数据，等等。另外，生成每个合成图像时的关键帧的信息、关键帧的运动被摄体信息等等也被记录并保持。

图像记录/播放单元40包括用户界面控制单元(UI控制单元)41、记录/播放处理单元42、记录介质驱动单元43、显示驱动器44、显示单元45以及触摸面板46。

UI控制单元41例如是由微计算机形成的。UI控制单元41控制图像记录/播放单元40内的部件，并且执行对从图像输出单元4提供来的合成图像数据到记录介质的记录操作，并且也执行对其的显示操作。另外，执行从记录介质的播放操作和所播放的合成显示数据的显示操作。

注意，作为从图像输出单元4提供到图像记录/播放单元40以记录在记录介质中的合成图像数据的每个帧图像数据也将被称为“记录帧图像数据”，以与输入图像选择单元2输入的原始帧图像数据相区分。

例如，在UI控制单元41的控制下，记录/播放处理单元42执行用于记录该记录帧图像数据的处理，例如压缩处理、附加纠错码、对记录数据格式的编码，等等。另外，记录/播放处理单元42控制记录介质驱动单元43以对记录介质执行记录驱动。

另外，在UI控制单元41的控制下，记录/播放处理单元42从记录介质执行对记录帧图像数据的播放处理。也就是说，记录介质驱动单元43被控制以从记录介质执行数据读出。读出的记录帧图像数据经历预定的解码处理、纠错处理等等，并且形成运动图像的每个帧的记录帧图像数据被播放。记录帧图像数据随后被提供到显示驱动器44以便显示播放。

记录介质驱动单元43是执行对记录介质的记录/播放驱动的构件。可以设想各种类型的记录介质，例如光盘、磁盘、全息盘、具有内置的固态存储器的存储卡、硬盘、固态存储器，等等。

在使用光盘的情况下，例如，记录介质驱动单元43被形成为具有光学头、主轴机构、伺服机构等等的盘驱动单元。也就是说，只要这是根据要采用的记录介质来执行信息的写/读的构件即可。

显示单元45是诸如液晶面板、有机EL面板等等之类的显示装置。

在UI控制单元41的控制下，显示驱动器44在显示单元45上执行视频显示。

当在上述层处理单元3处执行合成处理时，此显示驱动器44执行用于在显示单元45上显示从图像输出单元4提供来的合成图像数据的处理。

另外，在通过上述记录/播放处理单元42和记录介质驱动单元43执行播放的情况下，执行处理以在显示单元45上显示所播放的记录帧图像数据。

触摸面板46是在显示单元45的画面上形成的，并且被提供用于用户操作。根据显示单元45上的显示内容，用户可利用触摸面板46执行后述的操作(拖动操作、拂动操作、指点操作等等)。

触摸面板46处的操作信息(诸如用户的触摸位置等等之类的信息)被提供给UI控制单元41。UI控制单元41根据诸如触摸位置等等之类的操作信息和当时的显示内容执行对记录/播放处理单元42必要的播放操作。

[2.生成/记录动作推移图像的处理示例]

将描述主要由这样的图像处理装置1的输入图像选择单元2、层处理单元3、图像输出单元4和合成图像更新/保持单元5执行的生成动作推移图像的处理的示例。

这里，将给出例如图6至图15中的生成动作推移图像的情况作为示例，并且将利用图16至图22来描述更具体的处理示例。

首先，将描述在根据本示例的图像处理装置1处生成的动作推移运动图像。

从如上所述输入的帧图像数据中选择关键帧，但除关键帧以外的帧被用于合成处理。然而，注意，作为与新的帧图像数据合成的对象的已经存在的合成图像数据是其中只反映了关键帧的图像。

在以下图6至图15的示例中，我们将假定已像图2中的(a)那样选择了关键帧。

图6示出了输入第一帧图像数据(例如关键帧)F1时的合成图像数据。注意，在图6至图15中，用(K)标示被作为关键帧的帧图像数据。

接下来，图7示出了输入不是关键帧的第二帧图像数据F2时的合成图像数据(以下，不是关键帧的帧图像数据将被称为“非关键帧”)。在此情况下，非关键帧F2被合成在相对于关键帧F1偏移了预定量的像素区域中。注意，对于运动被摄体重叠的部分，最新的帧的运动被摄体图像总是被给予优先。

合成是利用输入帧图像数据被合成在已经存在的合成图像数据上的技术执行的。在合成此非关键帧F2的时间点已经存在的合成图像数据是例如图6中的合成图像数据。

接下来，图8示出了在输入了第三非关键帧F3时的合成图像数据。在此情况下，非关键帧F3被合成在相对于图7中的非关键帧F2偏移了预定量的像素区域中。

这里的合成是利用如上所述的输入帧图像数据被合成在已经存在的合成图像数据上的技术执行的，但输入非关键帧时的合成图像数据不被用作已经存在的合成图像数据。

从而，输入非关键帧F3时的已经存在的合成图像数据也仍是图6中的合成图像数据。

也就是说，在合成时不使用来自上次的非关键帧F2，并且在该时间点对已经存在的合成图像数据合成非关键帧F3，因此获得如图中所示的在帧图像数据F1和F3中表现运动被摄体的图像。

虽然在图中没有示出，但以相同的方式在输入第四非关键帧F4时生成关键帧F1+非关键帧F4的合成图像数据，并且以相同的方式在输入第五非关键帧F5时生成关键帧F1+非关键帧F5的合成图像数据。也就是说，在任一情况下，对在该时间点已经存在的合成图像数据合成输入的帧图像数据。

在输入关键帧F6时也是这样，即对已经存在的合成图像数据执行合成。

图9是在输入第二关键帧F6时的合成图像数据，并且对已经存在的合成图像数据(在此情况下只有关键帧F1)合成关键帧F6。

然而，注意，在此时间点，此图9中的合成图像数据也被保存作为已经存在的合成图像数据。

用于合成的已经存在的合成图像数据不仅限于刚才输入关键帧时的合成图像数据(来自上次的合成图像数据)，而是还可使用其之前的关键帧输入时的合成图像数据(来自上上次的合成图像数据)。

例如，在后述的具体处理示例中，使用来自上次的合成图像数据和来自上上次的合成图像数据，因此这里也将使用来自上次的合成图像数据和来自上上次的合成图像数据进行描述。

注意，使用已经存在的合成图像数据是为了在合成层时在对每个像素有优先顺序的情况下合成，因此从这个角度来看，回溯使用合成图像数据的范围可取决于运动被摄体有多少重叠来设定。例如，可以设想使用来自上上上次的合成图像数据、来自上上上上次的合成图像数据等等的示例。

在生成图9中的合成图像数据之后，来自上次的合成图像数据(图9中的合成图像数据)和来自上上次的合成图像数据(图6中的合成图像数据)被保持在合成图像更新/保持单元5中，作为已经存在的合成图像数据并且用于随后的合成处理。

接下来，图10示出在输入了非关键帧F7时的合成图像数据。在此情况下，非关键帧F7的图像也被合成到已经存在的合成图像数据，从而生成关键帧F1和F6和非关键帧F7的合成图像，如图中所示。

另外，图11示出在输入了非关键帧F8时的合成图像数据。在此情况下，非关键帧F8的图像也被合成到已经存在的合成图像数据，从而生成关键帧F1和F6和非关键帧F8的合成图像，如图中所示。

对于随后输入的非关键帧F9和F10，也是如此。

图12是输入第三关键帧F11时的合成图像数据，其中关键帧F6被合成到已经存在的合成图像数据。

然而，注意，在此时间点，此图12中的合成图像数据也被保存为已经存在的合成图像数据。另外，在此时间点，来自上次的合成图像数据被更新到图12中的合成图像，并且来自上上次的合成图像数据被更新到图9中的合成图像，作为已经存在的合成图像数据，并被保持。

如图6至图12中所示，对于输入的帧图像数据(关键帧和非关键帧)顺次执行合成处理，并且在每个时间点获得例如各图中所示的合成图像数据。这些合成图像数据各自被作为构成运动图像的一个帧输出。另外，以后每次有帧图像数据输入时利用运动图像输出处理以相同的方式生成合成图像数据，就像图13、图14、图15等等那样。

也就是说，在保留每个关键帧的运动被摄体图像的同时，合成包括非关键帧在内的每个帧中的被摄体图像，并且在每个时间点输出合成图像数据。

从而，输出表现诸如高尔夫挥杆等等之类的动作推移的运动图像，即动作推移图像。

将以用于生成动作推移图像的这种处理为例，利用图16及其后的图描述生成动作推移运动图像的处理的示例。

图16示出了在生成动作推移运动图像时输入图像选择单元2、层处理单元3、图像输出单元4和合成图像更新/保持单元5执行的处理。

步骤F101至F105是输入图像选择单元2的处理。

如上所述，从图像输入单元10向输入图像选择单元2提供时间上连续的帧图像数据。

在步骤F102中，每次这样提供一个帧图像数据时，输入图像选择单元2就执行处理以获取帧图像数据并从运动被摄体信息生成单元11(或运动被摄体信息输入单元12)获取与该帧图像数据相对应的运动被摄体信息。

注意，步骤F101中的判定是关于对用于生成动作推移运动图像的一系列帧图像数据的获取(即从图像输入单元10的提供)是否结束的判定。也就是说，流程从步骤F101前进到F102，直到要被反映为动作推移运动图像的预定数目的帧图像数据的输入完成为止。

当在步骤F102中获取了帧图像数据和运动被摄体信息时，在步骤F103中，输入图像选择单元2选择是否将此帧图像数据作为关键帧。在例如像图2那样执行关键帧选择的情况下，每五个帧，例如第1个、第6个、第11个、……被作为关键帧。

注意，如上所述，关键帧不一定必须是等间隔设定的。例如，在诸如图6至图15中所示的高尔夫挥杆的图像的情况下，采用一种技术，其中在击球瞬间的前后以精细的间隔设定关键帧。

在对输入帧图像数据执行关键帧判定后，在步骤F104中，输入图像选择单元2获取在该时间点已经存在的来自上次的合成图像数据和来自上上次的合成图像数据。

注意，直到对于被设定为第一关键帧的帧图像数据执行合成处理为止，既不存在来自上次的合成图像数据，也不存在来自上上次的合成图像数据。另外，直到对于被设定为第二关键帧的帧图像数据执行合成处理为止，不存在来自上上次的合成图像数据。如果在步骤F104的时间点在合成图像更新/保持单元5中保存有来自上次的合成图像数据和来自上上次的合成图像数据，则在此处理中获取它们。

在步骤F105中，输入图像选择单元2执行用于计算在合成图像中用来反映来自此次的帧图像数据(关键帧或非关键帧)的像素位置的坐标计算处理。也就是说，这是对于在最终合成图像的大小(动作推移运动图像的大小)中装入来自此次的帧图像数据的像素范围的计算处理。

输入图像选择单元2向层处理单元3输出在此步骤F105中计算出的坐标、来自此次的帧图像数据的运动被摄体信息、来自前次的合成图像数据和来自上上次的合成图像数据。

层处理单元3在步骤F106中执行进程判定处理。

进程判定是判定要对每个像素(或者每列，又或者每行)执行哪类合成处理进程以便执行高效的合成处理的处理。

注意，在像图6至图15中那样生成其中被摄体图像在水平方向上推移的动作推移运动图像的情况下，可以每像素或每列执行进程判定处理。另一方面，虽然在图中没有示出，但在生成其中被摄体图像在垂直方向上推移的动作推移运动图像的情况下，可以每像素或每行执行进程判定处理。将结合图6至图15中的示例基于对每列执行进程判定的示例来进行描述。

图17示出了在步骤F106中执行的进程判定处理。

在本示例中，来自此次的帧图像数据、来自上次的合成图像数据和来自上上次的合成图像数据被用于合成处理。在使用两个已经存在的合成图像数据的情况下，要判定的进程的数目将是6个(进程P1至P6)。在要使用的合成图像数据增加的情况下，例如来自上上上次的合成图像数据等等，则进程的数目将增加。

另外，在合成处理中，使用来自上次的合成图像数据中包括的上次的关键帧的范围的信息和运动被摄体信息，以及来自上上次的合成图像数据中包括的上上次的关键帧的范围的信息和运动被摄体信息。它们附随着来自上次的合成图像数据和来自上上次的合成图像数据被保存在合成图像更新/保持单元5中，并且可在上述步骤F102中被读出。

图17中的进程判定处理是对关注的每列(如上所述有行的情况)执行的。

对其执行进程判定的每列例如在图13中的时间点是A1至A7的范围中的每列。

进程判定是以此范围中的每列像素(在图13的情况下是合成图像数据中的上排的一个像素列)作为关注列来执行的。

首先，在步骤F201中，层处理单元3取一列作为关注列，并且获得其像素位置(合成图像数据内的坐标位置)。

在步骤F202中，然后对于关注列的位置是否在来自上次的合成图像数据的范围内作出判定。来自上次的合成图像数据的范围是图13中的区域A3至区域A7的范围。

在关注列不在来自上次的合成图像数据的范围内的情况下，层处理单元3前进到步骤F203，并且对于关注列是否在此次的推移动作有效区域内作出判定。此次的推移动作有效区域是此次输入的帧图像数据(关键帧或非关键帧)的推移动作有效区域(参见图5中的(b))，并且是图13中的A2区域至A5区域的范围。

在步骤F203中，在判定关注列不在此次的推移动作有效区域内的情况下，层处理单元3判定对有关关注列应用进程P1。这是关注列在图13中的A1区域内的情况。

另外，在步骤F203中判定关注列在此次的推移动作有效区域内的情况下，层处理单元3判定对有关关注列应用进程P2。这是关注列在图13中的A2区域内的情况。

另外，在步骤F202中判定关注列在来自上次的合成图像数据的范围内的情况下，层处理单元3使流程前进到步骤F204，并且对于关注列是否在此次的推移动作有效区域作出判定。在步骤F204中，在判定关注列不在此次的推移动作有效区域内的情况下，层处理单元3判定对有关关注列应用进程P3。这是关注列在图13中的A6和A7区域内的情况。

另外，在步骤F204中判定关注列在此次的推移动作有效区域内的情况下，层处理单元3前进到步骤F205，并且判定关注列是否在后区域范围内。后区域范围是如图5中的(b)所指示的推移动作有效区域中的如下区域：该区域未被包括在图5中的(c)中的剩余背景区域中，并且相对于动作推移图像的前进方向A(在从左到右移动的情况下)在后侧。注意，在动作推移从右向左前进的情况下，这是推移动作有效区域内的右侧的区域。另外，在图像是动作推移从上到下移动的情况下，这是推移动作有效区域内的上侧的区域。

在图13中的示例中，A5区域内的列被判定为在后区域内。

在步骤F205中，在判定关注列落在后区域中的情况下，层处理单元3判定对有关关注列应用进程P4。这是关注列在图13中的A5区域内的情况。

在步骤F205中，在判定这不是后区域的情况下，层处理单元3使流程前进到步骤F206，并且判定关注列是否在来自上上次的合成图像数据的区域内。来自上上次的合成图像数据内的范围是图13中的A4区域至A7区域的范围。

在判定关注列不在来自上上次的合成图像数据的范围内的情况下，层处理单元3判定对有关关注列应用进程P5。这是关注列在图13中的A3区域内的情况。

在步骤F206中判定关注列在来自上上次的合成图像数据的范围内的情况下，层处理单元3判定对有关关注列应用进程P6。这是关注列在图13中的A6区域内的情况。

每次在图16的步骤F106中对作为关注列的一个特定列执行以上图17中的进程判定时，层处理单元3就在步骤F107中执行合成处理。步骤F107是根据进程判定结果执行有关关注列的像素的合成作为合成结果图像的处理，并且根据需要执行层分离/加工/合成。

然后，虽然稍后将描述步骤F108和F109，但步骤F106至F109的处理被重复，直到在步骤F110中判定对于此次输入的当前帧图像数据的处理已结束为止。也就是说，在以列为单位执行进程判定处理的情况下，重复此直到对于所有列执行了进程判定和合成处理为止。

将分别描述根据进程判定结果对关注列的合成处理。

首先，用于合成处理的图像数据在图18中示出。

图18中的(a)示出了在步骤F102中此次输入的输入图像(帧图像数据)的推移动作有效区域。

图18中的(b)示出了在此时间点已经存在的来自上次的合成图像数据。

图18中的(c)示出了在此时间点已经存在的来自上上次的合成图像数据。

注意，这些是在图13中的时间点的输入图像、来自上次的合成图像数据和来自上上次的合成图像数据的示例。

进程P1是不执行描绘的处理。

从而，在关注列被判定为进程P1的情况下，在步骤F107中，不执行特定的合成处理来将像素反映在合成结果中。

对其应用进程P1的列是图13中的A1区域中的列，从而在A1区域中什么也不描绘。

进程P2是从来自此次的帧图像数据的推移动作有效区域拷贝像素数据的处理。

对于其应用进程P2的列是图13中的A2区域中的列。此A2区域成为其中没有与来自上次的合成图像数据(和来自上上次的合成图像数据)的重叠的区域。从而，可以不加改变地反映来自此次的输入图像的像素。

与A2区域相对应的像素如图19中的(a)中所指示是输入图像中的推移动作有效区域中由阴影指示的每个列中的像素。

这些列中的每一列的像素被不加改变地拷贝作为图13中的A2区域的像素。

进程P3是从来自上次的合成图像数据拷贝像素数据的处理。

对于其应用进程P3的列是图13中的A6区域和A7区域中的列。这些A6区域和A7区域成为其中此次输入的帧图像数据与推移动作有效区域没有重叠的区域。从而，可以不加改变地反映来自上次的合成图像数据的像素。

与A6区域和A7区域相对应的像素如图19中的(b)中所指示是来自上次的合成图像数据中由阴影指示的每个列中的像素。

来自上次的合成图像数据的每个列的像素被不加改变地拷贝作为图13中的A6区域和A7区域的像素。

进程P4是来自此次的帧图像数据的运动被摄体图像(运动被摄体层)的像素数据被拷贝到来自上次的合成图像数据上的处理。

对于其应用进程P4的列是图13中的A5区域中的列。此A5区域成为此次输入的帧图像数据的后区域。此区域是以如下方式显示的：使得只有此次的帧图像数据的运动被摄体被重叠在来自上次的合成图像数据上显示。

输入图像的运动被摄体图像在图20中的上排示出。这成为在对于输入帧图像数据执行了利用图3描述的层分离之后的运动被摄体层。也就是说，层处理单元3通过层分离单元31的功能利用运动被摄体信息执行此次输入的帧图像数据的层分离，从而生成图中所示的只有运动被摄体的图像(没有背景的图像)。

在此图20中的运动被摄体图像中，阴影部分对应于后区域。在落在此后区域中的每个列的像素中，只有构成运动被摄体图像的像素被转写到图20中的下排所示的与来自上次的合成图像数据的A5区域相对应的部分(阴影部分)。

从而，作为图13中的A5区域的合成图像数据，反映了如下状态：其中，来自此次的帧图像数据的后区域的运动被摄体像素被转写到了来自上次的合成图像数据上。

进程P5是合成此次输入的帧图像数据的运动被摄体图像、来自上次的关键帧的运动被摄体图像和此次输入的帧图像数据的背景图像这三层的处理。

对于其应用进程P5的列是图13中的A3区域中的列。此A3区域是此次输入的帧图像数据的推移动作有效区域和来自上次的合成图像数据重叠的部分。从而，按图21中所示的优先顺序合成三层。

图21中的(a)示出了输入图像中的运动被摄体图像(运动被摄体层)。另外，图21中的(c)示出了输入图像中的背景图像(剩余背景层)。

与上述进程P4的情况相同，层处理单元3通过层分离单元31的功能执行图3中描述的对输入帧图像数据的层分离，从而获得运动被摄体图像和背景图像。

另外，图21中的(b)示出了在生成来自上次的合成图像数据时的关键帧，即来自上次的关键帧的运动被摄体图像(运动被摄体层)。注意，来自上次的关键帧图像被包括在来自上次的合成图像数据中，但对来自上次的关键帧的运动被摄体图像的提取可利用与来自上次的关键帧相对应的运动被摄体信息来提取。

在此图21中的(a)、(b)和(c)中，与图13中的合成后的图像上的A3区域相对应的部分由阴影指示。

在进程P5的合成处理中，此图21中的(a)、(b)和(c)中的阴影部分中的列的像素经历其中输入图像的运动被摄体图像具有第一优先级、来自前次的关键帧的运动被摄体图像具有第二优先级并且输入图像的背景图像具有第三优先级的层合成。

也就是说，图21中的(a)的阴影部分中的构成运动被摄体的像素被给予最高优先级。对于除了图21中的(a)的阴影部分中的构成运动被摄体的像素以外的部分，如果在图21中的(b)中的阴影部分中有构成运动被摄体的像素，则这些像素被应用。对于除了这些以外的像素部分，应用图21中的(c)的构成背景图像的像素。

然后，作为图13中的A3区域的合成图像数据，反映合成了这三层的像素的状态。

进程P6是合成此次输入的帧图像数据的运动被摄体图像、来自上次的关键帧的运动被摄体图像、来自上上次的合成图像数据的运动被摄体图像和此次输入的帧图像数据的背景图像这四层的处理。

对于其应用进程P6的列是图13中的A4区域中的列。此A4区域是此次输入的帧图像数据的推移动作有效区域和来自上次的合成图像数据以及来自上上次的合成图像数据重叠的部分。从而，按图22中所示的优先顺序合成这四层。

图22中的(a)示出了输入图像中的运动被摄体图像(运动被摄体层)。另外，图22中的(d)示出了输入图像中的背景图像(剩余背景层)。

另外，图22中的(b)示出了在生成来自上次的合成图像数据时的关键帧，即来自上次的关键帧的运动被摄体图像(运动被摄体层)。

另外，图22中的(c)示出了在生成来自上上次的合成图像数据时的关键帧，即来自上上次的关键帧的运动被摄体图像(运动被摄体层)。

与上述进程P4的情况相同，层处理单元3通过层分离单元31的功能执行图3中描述的对输入帧图像数据的层分离，从而获得运动被摄体图像和背景图像。另外，分别利用运动被摄体信息从来自上次的关键帧图像的动作推移运动图像和来自上上次的关键帧图像的动作推移运动图像中提取来自上次的合成图像数据和来自上上次的合成图像数据。

在此图22中的(a)、(b)、(c)和(d)中，与图13中的合成后的图像上的A4区域相对应的部分由阴影指示。

在进程P6的合成处理中，图22中的(a)、(b)、(c)和(d)中的阴影部分中的列的像素经历其中输入图像的运动被摄体图像具有第一优先级、来自前次的关键帧的运动被摄体图像具有第二优先级、来自上上次的关键帧的运动被摄体图像具有第三优先级并且输入图像的背景图像具有第四优先级的层合成。

也就是说，图22中的(a)的阴影部分中的构成运动被摄体的像素被给予最高优先级。对于除了图22中的(a)的阴影部分中的构成运动被摄体的像素以外的部分，如果在图22中的(b)中的阴影部分中有构成运动图像的像素，则这些像素被应用。另外，如果在图22中的(a)(b)的阴影部分中有不存在构成运动被摄体的像素的部分，并且在图22中的(c)中的阴影部分中有构成运动图像的像素，则这些像素被应用。对于除了这些以外的像素部分，应用图22中的(d)的构成背景图像的像素。

然后，作为图13中的A4区域的合成图像数据，反映合成了这四层的像素的状态。

如上所述执行进程P1至P6的合成处理。

在图16中的步骤F107中，根据步骤F106的进程判定结果，执行以上进程P1至P6之一作为对关注列的处理。

注意，步骤F106至F109的处理可以像素为单位而不是以列为单位重复。

在对要经历合成处理的所有列(所有像素)执行了任何一个进程的处理的时点，例如如图13中所示的合成图像数据完成。

在该时点，图16中的处理从步骤F110前进到F111。

在步骤F111中，层处理单元3将合成图像数据提供给图像输出单元4。图像输出单元4把提供来的合成图像数据作为构成动作推移运动图像的一帧输出到图像记录/播放单元40。

注意，根据合成处理所需要的时间或者来自图像输入单元10的帧图像数据的输入间隔等等，或者根据要表现缓慢推移的运动图像等等，图像输出单元4可连续输出一个合成图像数据作为构成动作推移运动图像的多个帧。

在步骤F112中，处理取决于此次处理的帧图像数据是否是关键帧而分支。也就是说，根据步骤F103中的判定结果分支处理。

在此次处理的帧图像数据是关键帧的情况下，在步骤F113中执行处理以将此次生成的合成图像数据保存在合成图像更新/保持单元5中，以在随后的处理中用作来自上次的合成图像数据。

合成图像更新/保持单元5把在该时间点保持的来自上次的合成图像数据作为来自上上次的合成图像数据，并且把此次从图像输出单元4新提供来的合成图像数据保持为来自上次的合成图像数据。注意，关键帧的运动被摄体信息等等也与其一起被存储。

流程随后返回到步骤F101，并且转到对下一帧图像数据的处理。

在对帧图像数据的每次输入重复以上步骤F101至F113的处理的过程中，例如图6至图15中所示的动作推移运动图像被输出。

也就是说，图像记录/播放单元40通过在步骤F111中由图像输出单元4输出合成图像数据来执行记录处理和显示处理。

首先，每次输入帧图像数据并执行图像合成时，在步骤F111中，就像图像记录/播放单元40的显示驱动器44输出合成图像数据作为构成运动图像的一帧。

显示驱动器44把这个合成图像数据作为运动图像的一帧显示在显示单元45上。结果，例如图6至图15中所示的动作推移运动图像被输出到显示单元45以便显示。

也就是说，合成处理的过程被原样显示。

另外，通过步骤F111中的输出记录每个合成图像数据。

也就是说，来自图像输出单元4的合成图像数据被作为记录帧图像数据提供给记录/播放处理单元42。

记录/播放处理单元42把这些记录帧图像数据中的每一个作为构成动作推移运动图像的每个帧来处理，并且控制记录介质驱动单元43的操作以作为一系列运动图像数据记录在记录介质中。

将描述图23中的通过记录/播放处理单元42的处理记录在记录介质中的记录帧图像数据。

图23中的(a)示意性地示出了输入到输入图像选择单元2的原始帧图像数据F1、F2、……。

在上述处理中，在输入帧F1、F2、F3……中的每一个的时间点，对于每一个执行合成处理，并且生成图23中的(b)中所示的每个合成图像数据(rF1、rF2……)。

图23中的这个(b)中的每个合成图像数据例如是如图6至图15中所示的图像数据的一帧。

此合成图像数据被作为记录帧图像数据rF1、rF2、rF3……记录在记录介质中。从而，保存了形成作为动作推移运动图像的一系列运动图像的每个帧。

注意，从图23中的这个(b)可以看出，不仅合成关键帧时的合成图像数据、而且合成非关键帧时的合成图像数据也作为记录帧图像数据之一被记录。

在步骤F101中判定对所有帧的获取已结束的情况下，处理前进到步骤F114，合成处理结束，并且图像输出单元4结束合成图像数据的输出。或者，显示单元45例如可继续最终帧的合成图像数据的输出，如图15中那样。也就是说，显示单元14上的状态是图6至图15的动作推移运动图像完成并且图15中的最终图像被维持的状态。

另外，在该时间点，迄今为止的所有合成图像数据处于已作为记录帧图像数据被记录在记录介质中的状态。

根据以上处理，在动作推移图像的自动生成中，既可以实现通过放大可操作范围对运动被摄体的准确表现，又可以实现通过排列许多个运动被摄体对时间方向上的动作推移的详细表现。

特别地，层合成准确地表现了每个运动被摄体图像，而不会丢失例如高尔夫球杆的尖端等等，而且可以排列许多个运动被摄体图像，并且可按时间上精细的间隔表现动作推移。

从而，可以容易且非常好理解地确认一个人自己的体育运动形态、野生动物的复杂运动、实验室中的自然现象，等等。另外，不需要诸如剪切和粘贴图像数据之类的手工劳动，因此用户负担极轻，而这是非常有用的。

另外，动作推移图像可被生成并输出以供显示。此动作推移运动图像将每个时间点的合成图像数据作为运动图像输出，因此视频效果很高，并且其中很好理解地捕捉了动作的推移。

另外，通过将每个时间点的合成图像数据作为用于动作推移运动图像的记录帧图像数据记录在记录介质中，以后某个时点可通过播放来动态显示图像合成过程，因此合成的个体图像之间的关联可按易于理解的方式被传达给用户。

特别地，例如在后述的拖动操作、拂动操作和指点操作的后述示例中，可以利用用户直观好理解的操作来执行动作推移运动图像的播放和每个动作阶段的图像的播放。

另外，在上述生成处理示例中，通过基于进程判定来执行合成处理而实现了高效的处理。也就是说，涉及三层和四层的层合成的进程P5和P6中的合成处理是具有相对较大的处理负担的处理，但这些只在必要的像素区域执行。另外，层合成中不必要的区域可以用简单的拷贝处理来应对，例如进程P1、P2、P3等等。从而，可以使处理更高效并且可以减轻处理负担。

将对于图16中的步骤F108和步骤F109中的处理进行描述。

步骤F109中的拷贝处理是例如在图14中的时间点将上排最末的运动被摄体拷贝为下排的第一运动被摄体的处理。

如图14中所示，合成图像数据的上排的右边缘(在从左向右移动的情况下)的预定范围被设定为下排拷贝范围。

层处理单元3随后执行进程判定，并且在步骤F108中判定被合成到合成图像数据的每列(或每个像素)是否落在下排拷贝范围(即上排的最后区域)内。在其落在下排拷贝范围内的情况下，在步骤F109中，该列的像素被拷贝到下排的相应位置。

通过执行此处理，当在上排合成下排拷贝范围的图像时，同时在下排合成相同的图像，如图14中所示。

在动作推移运动图像的显示中，对于图14中的上排的最后运动被摄体和下排的第一运动被摄体，同时显示相同的图像。

通过执行这种处理，下排拷贝范围处的运动被摄体被准确地表现，而没有部分中断。也就是说，取决于被摄体的状态，上排的最后图像的位置可中断，但即使是这样的被摄体在下排也被适当地显示。另外，从而，上排的动作推移和下排的动作推移以易于从视觉上理解的方式推移。

注意，这样的步骤F108和F109的处理是仅在像图6至图15中的示例中那样在画面上显示多排动作推移图像的情况下必要的处理。

例如，可以执行所有都被排列在水平方向上(不构成两排或多排)作为水平延长的图像的合成处理，而在此情况下步骤F108和F109的处理是不必要的。

执行以上处理的根据本实施例的图像处理装置1只要能够获取由能够对连续的静止图像或运动图像成像的成像装置成像的多个帧图像数据即可。例如，其可被内置到成像装置中，或者可被内置到播放所成像的多个帧图像数据的播放装置中。另外，其可被内置到执行多个成像的帧图像数据的接收/传送输入的装置中。

从而，其可被广泛地应用到例如蜂窝电话、PDA(个人数字助理)、个人计算机、视频播放器、视频编辑器，等等。

[3.动作推移图像的播放显示的处理示例]

<3-1：拖动操作>

如上所述，构成动作推移图像的合成图像数据(记录帧图像数据)在合成处理时被记录在记录介质中。

通过播放和显示此记录介质中记录的记录帧图像数据，即使在合成处理已结束的时点，用户也可以任意地将动作推移图像作为运动图像来观看。

也就是说，在从未示出的操作单元或者根据显示内容从触摸面板46的用户播放操作指令对动作推移图像的播放的情况下，UI控制单元41指令记录/播放处理单元42执行播放处理。

于是，记录/播放处理单元42使得已记录在记录介质中的如图23中的(b)中所示的记录帧图像数据rF1、rF2……被读出到记录介质驱动单元43，并且播放处理被执行并被提供给显示驱动器44。

显示驱动器44在显示单元45上顺次显示每个所提供的记录帧图像数据rF1、rF2……。

从而，例如图6至图15中所示的动作推移运动图像被显示在显示单元45上。

因此，用户不仅可以观看例如图15中的作为动作推移图像的静止图像，而且可以观看作为运动图像的图6至图15的任意时点的诸如挥杆形态之类的图像。

在本示例中，用户不仅能够播放这种动作推移运动图像，而且能够观看用户希望观看的状态的图像。

例如，在播放图6至图15中的动作推移运动图像的情况下，UI控制单元41将一系列记录帧图像数据rF1、rF2……作为运动图像播放，然后继续图15中的最终帧的记录帧图像数据rF(z)的显示输出。

现在，例如图15中的最终帧的记录帧图像数据rF(z)是其中以大体等间隔排列了仅关键帧的图像。

也会有这样的情况，其中用户会想要查看关键帧与关键帧之间(即非关键帧图像)。

从而，本示例使得用户能够通过利用触摸面板46的用户操作来容易地观看希望观看的阶段的图像。

首先，作为该操作技术，将描述拖动操作。

图24示出了显示最终帧的记录帧图像数据rF93的状态。

注意，此记录帧图像数据rF93是如图中所示已合成了作为原始帧图像数据的关键帧F1、F6、F11……F93的合成图像数据。就上述的合成处理而言，这是由于在输入原始帧图像数据F93的时间点的帧F93与已经存在的合成图像数据(关键帧F1至F88的合成图像)的合成处理而得到的。

这个合成图像数据作为记录帧图像数据rF93被记录在记录介质中。

此图24示出了如下状态，即，例如，用户已播放了动作推移运动图像，并且在运动图像播放完成之后，作为最终帧的此记录帧图像数据rF93被继续输出显示。

现在，我们将假定由虚线框指示的区域AN是所显示的之中最新的帧图像数据F93的区域。

注意，此情况下的“最新的帧图像数据”指的是在合成前的显示中的原始帧图像数据之中的在时间轴上最后的帧图像数据。这里，正显示的播放图像不过是作为合成图像数据的记录帧图像数据rF93，但“最新的帧图像数据”的区域AN是从原始帧图像数据F93布置了运动被摄体和背景图像的区域。

作为一个示例，最新的帧图像数据的区域AN例如可以是图13的情况中的此次的帧的推移动作有效区域(A2至A5)的范围。或者，运动被摄体主要位于其中的A3和A4的区域的范围可被设定为此区域。

此时，作为对触摸面板46的操作，让我们假定用户执行了从区域AN内向左方向用手指在显示画面上描摹的拖动操作drk。

结果，如图25中所示，所播放的图像根据拖动操作drk而变化。也就是说，与拖动操作的结束位置相对应的播放图像被输出。

在此示例中，如果我们假定拖动操作的结束位置是与原始帧图像数据F58相对应的位置，则直到原始帧图像数据F58被合成时的合成图像数据(记录帧图像数据rF58)被播放。

也就是说，根据该拖动操作，从记录帧图像数据rF93的继续输出状态到记录帧图像数据rF92→rF91→rF90→……，在时间轴上按反方向播放帧。所谓的反播放画面是根据手指的按压位置移动来执行的。如果用户停止拖动操作的位置是例如与记录帧图像数据rF58相对应的位置，则此反播放停止在图25中的状态，并且记录帧图像数据rF58的输出被维持。也就是说，显示是静止图像状态。

让我们假定用户随后在图25中的显示上从该显示状态中的最新帧图像数据区域进一步执行了拖动操作。如图26中所示，原始帧图像数据F58的区域于是成为最新帧图像数据的区域AN。

让我们假定在此区域AN内施加手指并且只向右一点执行拖动操作drk。

如果我们假定该拖动操作的结束位置是与原始帧图像数据F59相对应的位置，则像图27中那样，作为在原始帧图像数据F59输入时的合成图像数据的记录帧图像数据rF59被播放。也就是说，这将是运动图像在向前方向上前进一帧的播放。

用户例如像此图24至图27中那样可通过拖动操作容易地播放来自动作推移图像的用户希望观看的阶段的图像。

也就是说，在拖动操作期间，可根据用手指描摹的速度观看在向前方向或反方向上播放的运动图像，并且当拖动操作结束时，可观看与该结束位置相对应的静止图像。

注意，以上示例中的原始帧图像数据F58和F59是非关键帧。如利用图23所描述，不仅关键帧输入时的合成图像数据、而且非关键帧输入时的合成图像数据也被无区别地记录为构成一系列运动图像的记录帧图像数据。从而，在播放时，原始帧图像数据是否是关键帧是无关的。

换言之，不区别关键帧或非关键帧地记录合成图像数据使得用户能够任意观看所有原始帧图像数据的每个状态的图像。

在图28中总结根据拖动操作的显示变化。

如图28中的(a)中所示，用户在显示屏上从最新帧图像数据的区域AN内向右执行拖动操作drk，从而作为该操作的结果，直到与该拖动操作的结束位置相对应的帧被播放显示。在画面上，这在视觉上被识别为运动被摄体的图像被展开的视觉表示。

如图28中的(b)中所示，用户在显示屏上从最新帧图像数据的区域AN内向左执行拖动操作drk，从而作为该操作的结果，直到与该拖动操作的结束位置相对应的帧被反向播放显示。在画面上，这在视觉上被识别为运动被摄体的图像被叠起的视觉表示。

另一方面，图28中的(c)示出了用户在显示屏上除最新帧图像数据的区域AN内以外的部分执行拖动操作drk的情况。在此情况下，一个可设想的示例是认为该拖动操作无效，不改变显示屏上的播放图像。

当然，即使在这种情况下，也可设想一种处理示例，其中例如执行直到拖动操作的结束位置为止的每个记录帧图像数据的播放。

将描述作为根据例如以上所述的拖动操作的播放处理示例的处理。

我们将假定以下所述的处理是UI控制单元41根据触摸面板46处的输入来控制记录/播放处理单元42等等的处理。

UI控制单元41根据由触摸面板41检测到的拖动操作，执行从当前正播放并输出的记录帧图像数据的帧位置向前或向后的帧位置处的记录帧图像数据的播放。

注意，如下理解显示屏上的位置(触摸面板上的位置)和帧位置之间的关联。

将在假设动作推移图像如图28中所示全都在水平方向上排列在一排、而不是如图24中所示显示成2排的情况下进行描述。

在此情况下，我们将考虑作为显示单元45的画面上(触摸面板46上)的水平方向坐标的x坐标。

我们将假定，对于一系列原始帧图像数据，第n帧Fn的x坐标是

x＝fx(n)。

另外，我们将假定将其逆变换函数是

N＝Fx(x)。

通过使用触摸面板64上的x坐标，以及帧号码n的函数，可根据拖动操作的移动量来判定要播放的记录帧图像数据。

现在，从对图23的描述可以理解，与原始帧图像数据“F1”的位置相对应的要播放的记录帧图像数据是“rF1”。以相同的方式，与原始帧图像数据“F2”的位置相对应的要播放的记录帧图像数据是“rF2”。这对于随后的帧也成立。

以上函数是如下推理的。

例如，我们将假定图23中的(c)中的记录帧图像数据rF4对应于原始帧图像数据F4，并且原始帧图像数据F4的记录帧图像数据rF4内的描绘位置的x坐标值＝w。

在此情况下，由于x坐标值＝w，并且帧号码n＝4，所以以下成立：

w＝fx(4)

4＝Fx(w)

这样获得的帧号码“4”是原始帧图像数据F4的帧号码，并且这指示作为要播放的帧号码的记录帧图像数据rF4。

另外，在如图24中的上下两排的动作推移运动图像的情况下，可利用垂直方向y坐标来执行函数处理，但如果我们假定x坐标作为从上排到下排的延续而不变地继续，则可原样应用以上函数。例如，这是如下的情况：即，上排具有0至n的x坐标，并且下排具有n+1至m的x坐标，从而设定了0至m的x坐标。在此情况下，触摸面板46上的y坐标只需要用于判定是上排还是下排。

图29示出了作为拖动操作对应处理，UI控制单元41的处理示例。

在当播放某个记录帧图像数据rFm时检测到通过触摸面板46进行的操作的情况下，在步骤F401中，UI控制单元41首先获得作为拖动开始位置的x坐标值x1。也就是说，用户首先触摸到触摸面板46的位置被作为拖动开始位置，并且其x坐标值被检测。

在步骤F402中，UI控制单元41判定拖动开始位置x1是否在该时间点显示的内容中的最新帧图像数据的区域AN内。

如图28中的(c)中所示，在拖动开始位置x1不在区域AN的范围内的情况下，此拖动操作被认为无效，因此在此情况下图29的拖动操作对应处理从步骤F402结束。

另一方面，在拖动开始位置x1在区域AN内的情况下，步骤F403至F405的处理被执行。

在步骤F403中，UI控制单元41获得拖动经过位置x2。也就是说，作为用户通过从拖动开始位置x1移动手指而移动到的触摸面板按压位置的此时间点的触摸位置的x坐标值。

在步骤F404中，UI控制单元41执行对要描绘的帧位置的计算。

执行对Δx＝x2-x1的计算，作为此情况下的拖动移动量Δx。

注意，在像图28中的(a)中那样执行向右方向的拖动操作的情况下，拖动移动量Δx是正值，而在像图28中的(b)中那样执行向左方向的拖动操作的情况下，拖动移动量Δx是负值。(动作推移从左向右行进并且x坐标值对于画面左边缘为0并且以正值向右行进的情况)

也就是说，拖动移动量Δx的正/负表示拖动的方向，并且此情况下的拖动移动量Δx是随着拖动移动量表示拖动方向的值。

然后，通过n＝Fx(x1+Δx)的函数计算拨获得帧号码n。

直到帧号码n的记录帧图像数据rFn是根据该单位时间的拖动操作要播放的帧。

从而，在步骤F405中，UI控制单元41控制记录/播放处理单元42和显示驱动器44执行帧描绘。

也就是说，播放从在开始拖动的时点正显示的某个记录帧图像数据rFm直到帧号码n的记录帧图像数据rFn。

在此情况下，如果rFm＜rFn，则记录/播放处理单元42执行按记录帧图像数据rFm→rF(m+1)→rF(m+2)……rFN的顺序从记录介质读出每个记录帧图像数据的处理，并且将其提供给显示驱动器44。显示驱动器44在显示单元45上顺次显示所提供的记录帧图像数据rFm至rFN。

从而，执行例如图28中的(a)中所示的显示。

另外，如果rFm＞rFn，则记录/播放处理单元42执行按记录帧图像数据rFm →rF(m-1)→rF(m-2)……rFN的顺序从记录介质读出每个记录帧图像数据的处理，并且将其提供给显示驱动器44。显示驱动器44在显示单元45上顺次显示所提供的记录帧图像数据rFm至rFN。

从而，执行例如图28中的(b)中所示的显示。

在步骤F406中，UI控制单元41判定用户是否松开了手指，即拖动操作是否结束。

在拖动操作已结束的情况下，处理结束。在此情况下，UI控制单元41指令记录/播放处理单元42和显示驱动器44之后继续输出在结束拖动操作的时点的帧图像数据rFn。

另一方面，在拖动操作继续的情况下，在步骤F407中，x2的值被代入到x1中。也就是说，该时间点的经过位置x2被视为下一单位时间的拖动开始位置x1。流程再次返回到步骤F403并且以相同的方式执行步骤F403至F405的处理。从而，执行与仍然继续的拖动操作相对应的播放。

通过每个单位时间执行步骤F403至F405的处理，根据作为拖动操作的用户手指的继续运动，图像例如像图28中的(a)和(b)中那样被展开和叠起。

也就是说，UI控制单元41检测每个单位时间由触摸面板41检测到的拖动操作量和拖动操作方向。如果我们假定当前正播放并输出的记录帧图像数据的帧位置是开始帧位置，那么就判定作为从该开始帧位置向前或向后的帧位置的结束帧位置。然后顺次播放从开始帧位置到结束帧位置的每个记录帧图像数据。

由于这样的拖动对应处理，播放了作为动作推移图像的每个状态的合成图像数据，从而使得能够动态显示图像的合成过程，而且通过对于用户来说容易的操作就能够提供合成过程中用户希望观看的阶段的播放图像。

特别地，通过将运动图像的时间轴上的位置和根据触摸面板的空间轴上的位置相关联，可以实现更直观的操作。

注意，可以作出一种布置，其中，不进行图29中的步骤F402的判定，并且即使是区域AN外的拖动操作也不被认为无效，并且根据拖动操作量和方向执行以上播放处理。在此情况下，可以设想拖动开始位置x1为该时间点的区域AN的位置。

<3-2：拂动操作>

接下来，作为另一操作的示例，将描述拂动操作。

拂动操作是用户用手指在触摸面板46上拂动的操作。

图30示出了根据拂动操作的播放形式。

让我们假定，如图30中的(a)中所示，用户在显示屏上从最新帧图像数据的区域AN内向右执行拂动操作。也就是说，如图30中的(b)中所示在区域AN内向右拂动。

在此情况下，作为该操作的结果，直到与该拂动操作相对应的预定帧被播放显示。在画面上，这在视觉上被识别为运动被摄体的图像被展开的视觉表示。

另外，如图30中的(c)中所示，在用户在显示屏上从最新帧图像数据的区域AN内向左执行拂动操作的情况下，从而，作为该操作的结果，直到与该拂动操作的结束位置相对应的帧被反向播放显示。在画面上，这在视觉上被识别为运动被摄体的图像被叠起的视觉表示。

现在，虽然在图中没有示出，但在用户在显示屏上除最新帧图像数据的区域AN内以外的部分执行拂动操作的情况下，一个可设想的示例是认为该拂动操作无效，不改变显示屏上的播放图像。

当然，即使在这种情况下，也可设想一种处理示例，其中根据拂动操作执行每个记录帧图像数据的播放。

UI控制单元41这样根据由触摸面板46检测到的拂动操作执行从当前正显示并输出的记录帧图像数据的帧位置向前或向后的帧位置处的记录帧图像数据的播放。

图31示出了UI控制单元41进行的拂动操作对应处理的示例。

在当播放某个记录帧图像数据rFm时检测到通过触摸面板46进行的操作的情况下，在步骤F501中，UI控制单元41首先获得作为拂动操作位置的x坐标值x1。也就是说，用户首先触摸到触摸面板46的位置被作为拂动操作位置，并且其x坐标值被检测。

在步骤F502中，UI控制单元41判定拂动操作位置x1是否在该时间点显示的内容中的最新帧图像数据的区域AN内。

在拂动操作位置x1不在区域AN的范围内的情况下，此拂动操作被认为无效，因此在此情况下图31的拂动操作对应处理从步骤F502结束。

另一方面，在拂动操作位置x1在区域AN内的情况下，流程前进到步骤F503。

在步骤F503中，UI控制单元41获得拂动速度vd。例如，在执行拂动操作时，根据某个单位时间中按压位置的x坐标的微小变化量来计算拂动速度vd。

注意，在拂动方向是向右方向的情况下(图30中的(a)的情况)，拂动速度vd是正值。另外，在拂动方向是向左方向的情况下(图30中的(c)的情况)，拂动速度vd是负值。

接下来，在步骤F504中，UI控制单元41根据拂动速度vd计算位置变化距离Δx。这里使用的这个位置变化距离Δx对应于要播放的帧的数目。

例如，帧的数目与拂动速度vd的绝对值相关联。设定一线性函数或非线性函数，使得拂动速度越快，位置变化距离Δx就对应于越多数目的帧。

也就是说，当用户用手指迅速拂动时，播放许多帧，而当用户用手指缓慢拂动时，播放较少的帧。

在向右方向迅速拂动的情况下，位置变化距离Δx的值是正的而且是较大的值。

在向右方向缓慢拂动的情况下，位置变化距离Δx的值是正的而且是较小的值。

在向左方向迅速拂动的情况下，位置变化距离Δx的值是负的而且是具有较大绝对值的值。

在向左方向缓慢拂动的情况下，位置变化距离Δx的值是负的而且是具有较小绝对值的值。

在步骤F505中，UI控制单元41通过n＝Fx(x1+Δx)的函数计算获得帧号码n。

直到具有帧号码n的记录帧图像数据rFn是根据此次的拂动操作要播放的帧。

从而，在步骤F506中，UI控制单元41控制记录/播放处理单元42和显示驱动器44执行帧描绘。

也就是说，从当前正显示的某个记录帧图像数据rFm直到帧号码n的记录帧图像数据rFn被播放。

在此情况下，如果rFm＜rFn，则记录/播放处理单元42执行按记录帧图像数据rFm→rF(m+1)→rF(m+2)……rFN的顺序从记录介质读出每个记录帧图像数据的处理，并且将其提供给显示驱动器44。显示驱动器44在显示单元45上顺次显示所提供的记录帧图像数据rFm至rFN。

从而，执行例如图30中的(a)中所示的显示。

另外，如果rFm＞rFn，则记录/播放处理单元42执行按记录帧图像数据rFm →rF(m-1)→rF(m-2)……rFN的顺序从记录介质读出每个记录帧图像数据的处理，并且将其提供给显示驱动器44。显示驱动器44在显示单元45上顺次显示所提供的记录帧图像数据rFm至rFN。

从而，执行例如图30中的(c)中所示的显示。

UI控制单元41这样结束根据一个拂动操作的处理。

注意，此后，UI控制单元41指令记录/播放处理单元42和显示驱动器44继续输出在结束了根据拂动操作的播放的时点的帧图像数据rFn。

通过以这种方式执行拂动操作对应处理，根据用户拂动操作，图像例如像图30中的(a)(c)中那样被展开和叠起。

也就是说，UI控制单元41检测由触摸面板41检测到的拂动操作速度和拂动操作方向。如果我们假定当前正播放并输出的记录帧图像数据的帧位置是开始帧位置，那么就判定作为从该开始帧位置向前或向后的帧位置的结束帧位置。然后顺次播放从开始帧位置到结束帧位置的每个记录帧图像数据。

由于这样的拂动对应处理，播放了作为动作推移图像的每个状态的合成图像数据，从而使得能够动态显示图像的合成过程，而且通过对于用户来说容易且直观的操作就能够提供合成过程中用户希望观看的阶段的播放图像。

注意，可以作出一种布置，其中，不进行图31中的步骤F502的判定，并且即使是区域AN外的拂动操作也不被认为无效，并且根据拖动操作速度和方向执行以上播放处理。在此情况下，可以设想拂动操作位置x1为在该时间点的区域AN的位置。

或者，在拂动操作的情况中，可以设想如下处理，其中使用始终恒定的位置变化距离Δx，而不管拂动速度如何。

例如，一个示例是每次拂动操作总是让播放前进10帧。

<3-3：指点操作>

另外，作为另一操作的示例，将描述指点操作。

指点操作是用户用手指触摸该触摸面板46上的某个位置以指定它的操作。

图32示出了根据指点操作的播放形式。

让我们假定，如图32中的(a)中所示，用户触摸显示屏上的某个位置。我们将假定，例如，该时间点的显示内容是什么也没显示的位置。在此情况下，作为该操作的结果，播放显示直到与该指点操作相对应的帧。在画面上，这在视觉上被识别为运动被摄体的图像被展开的视觉表示。

另外，如图32中的(c)中所示，在用户在显示屏上的某个帧图像数据的位置处执行指点操作的情况下，作为该操作的结果，直到与该指点操作相对应的帧被反向播放显示。在画面上，这在视觉上被识别为运动被摄体的图像被叠起的视觉表示。

UI控制单元41这样根据由触摸面板46检测到的指点操作执行从当前正显示并输出的记录帧图像数据的帧位置向前或向后的帧位置处的记录帧图像数据的播放。

图33示出了UI控制单元41进行的指点操作对应处理的示例。

在当播放某个记录帧图像数据rFm时检测到通过触摸面板46进行的操作的情况下，在步骤F601中，UI控制单元41获得作为指点操作位置的x坐标值xp。也就是说，用户触摸到触摸面板46的位置的x坐标值被检测。

在步骤F602中，UI控制单元41利用指点操作位置xp，执行作为函数计算的n＝Fx(xp)，并且获得与指点操作位置xp相对应的帧号码。

直到具有帧号码n的记录帧图像数据rFn是根据此次的指点操作要播放的帧。

从而，在步骤F603中，UI控制单元41控制记录/播放处理单元42和显示驱动器44执行帧描绘。

也就是说，从当前正显示的某个记录帧图像数据rFm直到帧号码n的记录帧图像数据rFn被播放。

在此情况下，如果rFm＜rFn，则记录/播放处理单元42执行按记录帧图像数据rFm→rF(m+1)→rF(m+2)……rFN的顺序从记录介质读出每个记录帧图像数据的处理，并且将其提供给显示驱动器44。显示驱动器44在显示单元45上顺次显示所提供的记录帧图像数据rFm至rFN。

从而，执行例如图32中的(a)中所示的显示。

另外，如果rFm＞rFn，则记录/播放处理单元42执行按记录帧图像数据rFm→rF(m-1)→rF(m-2)……rFN的顺序从记录介质读出每个记录帧图像数据的处理，并且将其提供给显示驱动器44。显示驱动器44在显示单元45上顺次显示所提供的记录帧图像数据rFm至rFN。

从而，执行例如图32中的(b)中所示的显示。

UI控制单元41这样结束根据一个指点操作的处理。

注意，此后，UI控制单元41指令记录/播放处理单元42和显示驱动器44继续输出在结束了根据指点操作的播放的时点的帧图像数据rFn。

通过以这种方式执行指点操作对应处理，根据用户指点操作，图像例如像图32中的(a)(b)中那样被展开和叠起。

也就是说，根据由触摸面板41检测到的指点操作位置xp，如果当前正播放并输出的记录帧图像数据的帧位置是开始帧位置，则UI控制单元41判定作为从该开始帧位置向前或向后的帧位置的结束帧位置。从开始帧位置到结束帧位置的每个记录帧图像数据随后被顺次播放。

由于这样的指点对应处理，播放了作为动作推移图像的每个状态的合成图像数据，从而使得能够动态显示图像的合成过程，而且通过对于用户来说容易且直观的操作就能够提供合成过程中用户希望观看的阶段的播放图像。

注意，也可设想如下的处理。

在指点操作位置xp是当前最新的帧图像数据的AN位置后方的x坐标值(即像图32中的(a)中那样的没有图像显示的区域)的情况下，执行预定数目的帧的前向播放。另一方面，在指点操作位置xp是如图32中的(b)中所示的当前最新的帧图像数据的AN位置前方的x坐标值(即与具有小号码的帧图像数据相对应的位置)的情况下，执行预定数目的帧的反向播放。也就是说，这是只指定前向/后向、而播放帧数目固定的处理示例。

<3-4：其他操作>

虽然以上已描述了拖动操作、拂动操作和指点操作的示例，但可设想各种其他操作。

例如，作为拖放操作，使手指松开的位置为放下位置。可以设想，在该放下位置，执行与拖动开始位置到放下位置相对应的记录帧图像数据的运动图像播放。

另外，在上述拖动操作、拂动操作和指点操作的示例中，执行由这些操作指定的区间中的多个帧的运动图像播放，但也可疏化这些区间中的帧以执行间断的运动图像播放。

或者，取代运动图像播放，可以设想一种布置，其中，与拖动结束位置或指点操作位置相对应的记录帧图像数据被突然显示为静止图像。

另外，可以设想一种布置，其中，通过两个指点操作指定两个位置，并且对于与这些位置之间相对应的每个帧执行运动图像播放。

另外，由于是在水平方向上排列的动作推移图像的示例，所以在以上处理示例中使用了x坐标值，但在动作推移图像被垂直排列的图像中，这当然可被替换为y坐标值。

另外，在以上示例中描述了利用触摸面板46执行操作，但也可通过除触摸面板以外的操作输入装置来执行操作。

例如，可以设想利用鼠标执行拖动操作、拂动操作和指点操作。

另外，可以设想利用摇控器的操作。例如，通过使用具有点击按钮、角速度传感器、加速度传感器等等的遥控器，拖动操作、拂动操作和指点操作可通过例如在画面上移动指针来容易地执行。另外，通过设有能够检测画面上的光输入位置的坐标的检测单元，可以利用将光投在画面上的激光指点器来执行操作。

[4.作为显示控制装置的其他视角的配置]

在以上实施例中，图像记录/播放单元40和UI控制单元41可被理解为是以下(A)、(B)和(C)的配置的显示控制装置。

(A)一种显示控制装置，其控制具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的显示内容，以使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在每个分割显示区域上。

(B)控制显示内容，以使得在每个分割显示区域中显示的表示同一运动被摄体的图像是按与该同一运动被摄体的时间序列相对应的顺序来布置的。

(C)包括一显示控制单元，其执行显示控制以使得，在根据用户指令或动态播放处理包括表示在与显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容的时间，包括在该不同时间的同一运动被摄体在内的同一运动被摄体的每个图像在维持与该同一运动被摄体的时间序列相应的顺序的状态中被显示在每个分割显示区域中。

在此情况下，具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域例如是如图24中所示的与每个帧图像数据的显示区域相对应的区域。

被同时显示在每个分割显示区域上的通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像例如指的是如图24至图27中所示的其中排列了许多个运动被摄体的显示。

然后，控制显示内容，以使得在每个分割显示区域中显示的表示同一运动被摄体的图像是按与该同一运动被摄体的时间序列相对应的顺序布置的。例如，像图24至图27的每一幅那样，作为同一人等等的同一运动被摄体在每个时间点的状态(例如高尔夫挥杆的过程中的每个状态)的图像被按时间序列顺序在显示屏上排列显示。

另外，在根据用户指令或动态播放处理包括表示在与显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容的时间指的是在执行上述拖动操作、拂动操作、指点操作等等的时间。另外，动态播放处理指的是不限于用户指令播放运动图像和伪运动图像的各种情况。

此时，执行显示控制，以使得包括在该不同时间的同一运动被摄体在内的同一运动被摄体的每个图像在维持与该同一运动被摄体的时间序列相应的顺序的状态中被显示在每个分割显示区域中。也就是说，当显示在与正显示的状态不同的时间点的同一运动被摄体时，在维持与每个运动被摄体图像的时间序列相应的顺序的状态中在每个分割显示区域执行显示。这例如是比如将显示内容从图24改变到图25的情况。

以上是以上述实施例为例对以上(A)、(B)和(C)的配置的描述，但在这种配置的情况下，显示的对象不限于作为合成图像数据的记录帧图像数据。

也就是说，这可应用到把按时间序列排列的同一运动被摄体中的每个时间点的图像分割到画面上，并且按时间序列顺序排列并显示，而不管图像的来源如何。

[5.程序]

虽然以上实施例是作为图像处理装置1描述的，但根据本发明的显示控制装置可以是执行动作推移图像的播放显示的专用装置，并且也可应用到执行图像显示处理的各种类型的装置。例如，可以设想成像装置、家庭或商业用图像记录/播放装置、游戏装置、视频编辑装置等等。

另外，当然可以设想利用通用个人计算机或另外的信息处理装置来实现显示控制装置。

例如，通过提供例如使得计算处理装置执行与如图29、图31和图33中的各种操作相对应的处理的程序作为图像显示处理应用软件，利用个人计算机等等可以实现适当的图像显示处理。

也就是说，实现图像处理装置1的显示处理的程序是使得计算处理装置执行以下步骤的程序。

也就是说，一种记录介质，其中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的每个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，其中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上。

然后使得执行的是在某个记录帧图像数据的读出和播放显示期间检测对播放显示的用户指令的步骤，以及根据用户指令判定该一系列记录帧图像数据之中要播放的帧位置、使得播放处理单元执行对所判定的帧位置的记录帧图像数据的播放并且执行对所播放的记录帧图像数据的显示控制的步骤。

另外，例如实现UI控制单元41的显示处理的程序是使得计算处理装置执行以下步骤的程序。

也就是说，该程序控制显示内容，以使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域上。另外，控制显示内容，以使得在每个分割显示区域中显示的表示同一运动被摄体的图像是按与该同一运动被摄体的时间序列相对应的顺序来布置的。另外，执行显示控制以使得，在根据用户指令或动态播放处理包括表示在与显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容的时间，包括在该不同时间的同一运动被摄体在内的同一运动被摄体的每个图像在维持与该同一运动被摄体的时间序列相应的顺序的状态中被显示在每个分割显示区域中。

由于例如这样的程序，本发明可容易地实现在个人计算机、蜂窝电话、PDA(个人数字助理)和其他各种使用图像数据的信息处理装置中。

注意，这些程序可被预先记录在内置到诸如个人计算机之类的装置中的作为记录介质的HDD、具有CPU的微计算机中的ROM或闪存等等中。

或者，它们可被临时或永久存储(记录)在诸如柔性盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD、蓝光盘、磁盘、半导体存储器、存储卡等等之类的可移除存储介质中。这种可移除记录介质可作为所谓的封装软件来提供。

另外，程序可被从可移除记录介质安装到个人计算机等等中，或者可被从下载站点经由诸如LAN(局域网)、因特网等等之类的网络下载。

标号列表

Claims (13)

1.一种显示控制装置，包括：

播放处理单元，被配置为从记录介质执行播放处理，其中在该记录介质中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的各个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，在该运动图像显示中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上；以及

显示控制单元，被配置为根据用户指令判定所述一系列记录帧图像数据之中要播放的帧位置，使得所述播放处理单元执行所判定的帧位置的记录帧图像数据的播放并且执行对所播放的记录帧图像数据的显示控制。

2.根据权利要求1所述的显示控制装置，其中，根据作为所述用户指令而检测到的拖动操作，所述显示控制单元使得所述播放处理单元执行从当前正被执行播放输出的记录帧图像数据的帧位置的记录帧图像数据到前方或后方的帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制。

3.根据权利要求2所述的显示控制装置，其中，所述显示控制单元根据作为所述用户指令而检测到的每单位时间的拖动操作量和拖动操作方向，判定作为开始帧位置前方或后方的帧位置的结束帧位置，使得所述播放处理单元顺次执行从所述开始帧位置到所述结束帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制，其中所述开始帧位置是当前正被执行播放输出的记录帧图像数据的帧位置。

4.根据权利要求1所述的显示控制装置，其中，根据作为所述用户指令而检测到的拂动操作，所述显示控制单元使得所述播放处理单元执行从当前正被执行播放输出的记录帧图像数据的帧位置的记录帧图像数据到前方或后方的帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制。

5.根据权利要求4所述的显示控制装置，其中，所述显示控制单元根据作为所述用户指令而检测到的拂动操作速度和拂动操作方向，判定作为开始帧位置前方或后方的帧位置的结束帧位置，使得所述播放处理单元顺次执行从所述开始帧位置到所述结束帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制，其中所述开始帧位置是当前正被执行播放输出的记录帧图像数据的帧位置。

6.根据权利要求1所述的显示控制装置，其中，根据作为所述用户指令而检测到的指点操作，所述显示控制单元使得所述播放处理单元执行从当前正被执行播放输出的记录帧图像数据的帧位置的记录帧图像数据到前方或后方的帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制。

7.根据权利要求6所述的显示控制装置，其中，所述显示控制单元根据作为所述用户指令而检测到的指点操作位置，判定作为开始帧位置前方或后方的帧位置的结束帧位置，使得所述播放处理单元顺次执行从所述开始帧位置到所述结束帧位置的记录帧图像数据的播放，并且执行对所播放的记录帧图像数据的显示控制，其中所述开始帧位置是当前正被执行播放输出的记录帧图像数据的帧位置。

8.根据权利要求1所述的显示控制装置，还包括：

对被配置为执行所述记录帧图像数据的播放输出的显示单元设置的触摸面板单元，用于所述用户指令的输入。

9.一种显示控制方法，包括：

在从记录介质读出并播放显示某个记录帧图像数据期间检测对播放显示的用户指令的步骤，其中在该记录介质中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的各个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，在该运动图像显示中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上；以及

根据检测到的用户指令判定所述一系列记录帧图像数据之中要播放的帧位置、执行所判定的帧位置的记录帧图像数据的播放并且执行对所播放的记录帧图像数据的显示控制的步骤。

10.一种程序，使得计算处理装置执行：

在从记录介质读出并播放显示某个记录帧图像数据期间检测对播放显示的用户指令的步骤，其中在该记录介质中记录了通过对于帧图像数据的每次输入顺次执行图像合成处理而生成的各个合成图像数据作为一系列记录帧图像数据，每个合成图像数据是能够运动图像显示的，在该运动图像显示中每个帧图像数据中的运动被摄体图像被顺次放置以排列在预定方向上；以及

根据检测到的用户指令判定所述一系列记录帧图像数据之中要播放的帧位置、执行所判定的帧位置的记录帧图像数据的播放并且执行对所播放的记录帧图像数据的显示控制的步骤。

11.一种被配置为控制显示画面的显示内容的显示控制装置，所述显示控制装置包括：

控制信号生成单元，被配置为生成控制信号，以便控制所述显示内容，以使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域上，并且使得在每个所述分割显示区域中显示的表示所述同一运动被摄体的图像是按与所述同一运动被摄体的时间序列相对应的顺序来布置的，并且以便执行显示控制以使得，在根据用户指令或动态播放处理显示包括表示与所述显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容时，以维持与该同一运动被摄体的时间序列相应的顺序的状态，将包括在所述不同的时间的同一运动被摄体的同一运动被摄体的各个图像显示在每个所述分割显示区域中；以及

控制信号输出单元，被配置为输出所述控制信号以控制所述显示画面的显示内容。

12.一种被配置为控制显示画面的显示内容的显示控制方法，该方法：

控制所述显示内容，以使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域上，并且使得在每个所述分割显示区域中显示的表示所述同一运动被摄体的图像是按与所述同一运动被摄体的时间序列相对应的顺序来布置的，并且

执行显示控制以使得，在根据用户指令或动态播放处理显示包括表示与所述显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容时，以维持与该同一运动被摄体的时间序列相应的顺序的状态，将包括在所述不同的时间的同一运动被摄体的同一运动被摄体的各个图像显示在每个所述分割显示区域中。

13.一种控制显示画面的显示内容的程序，所述程序使得计算处理装置执行显示控制以：

控制所述显示内容，以使得通过对同一运动被摄体连续成像而获得的表示在相互不同的时间的该同一运动被摄体的图像被同时显示在具有预设数目的区域并且具有按预定顺序布置的分割显示区域的显示画面的每个分割显示区域上，并且使得在每个所述分割显示区域中显示的表示所述同一运动被摄体的图像是按与所述同一运动被摄体的时间序列相对应的顺序来布置的，并且

执行显示控制以使得，在根据用户指令或动态播放处理显示包括表示与所述显示画面上显示的显示内容不同的时间的同一运动被摄体的图像的显示内容时，以维持与该同一运动被摄体的时间序列相应的顺序的状态，将包括在所述不同的时间的同一运动被摄体的同一运动被摄体的各个图像显示在每个所述分割显示区域中。

Images