CN101321271B

CN101321271B - 信息处理设备和信息处理方法

Info

Publication number: CN101321271B
Application number: CN200810110639XA
Authority: CN
Inventors: 秋定浩和; 山田洋佑
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-06-08
Filing date: 2008-06-06
Publication date: 2010-12-29
Anticipated expiration: 2028-06-06
Also published as: US20080304706A1; JP2008306604A; CN101321271A; US8437508B2; JP4933354B2

Abstract

本发明提供了一种信息处理设备和信息处理方法。该信息处理设备包括：获得单元，其获得设置在监视空间中的摄像设备拍摄的视频数据、关于移动物体在所述监视空间中的位置的位置信息、以及关于所述移动物体在所述视频数据中的拍摄时间段的存在信息；以及显示处理单元，其基于所述位置信息，处理所述移动物体在所述监视空间中的轨迹的显示，所述显示处理单元处理所述轨迹的显示，使得基于所述存在信息，所述轨迹的对应于所述拍摄时间段的部分可以与所述轨迹的其它部分相区分。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及一种用于再现视频数据的信息处理设备和信息处理方法。

背景技术

已知安装在要监视的位置(监视空间)的照相机拍摄视频数据并且将视频数据记录到硬盘等记录装置的监视系统。通过该监视系统，用户可以再现并浏览所记录的在任何时间点拍摄的视频数据的各个部分。

然而，当所记录的视频数据的量(换句话说，记录时间)大时，用户难以选择并再现所希望的一部分视频数据。例如，当监视例如人、动物等特定移动物体时，用户需要搜索拍摄到该移动物体的视频数据的时间段(物体存在的时间范围，或者换句话说，移动物体进入/离开的视频数据的时刻(IN点/OUT点))。然而，当视频数据具有长的记录时间时，需要大量劳动以求得特定移动物体的IN/0UT点。

作为该问题的解决方案，例如，日本特开2005-218014号公报提供了一种监视系统，其中在拍摄的监视空间的运动图像内识别移动体，然后在表示该监视空间的图中显示识别出的移动体。日本特开2005-218014号公报还公开了一种通过点击移动体来再现过去所存储的视频的方法。针对这种系统，公开了如下方法：在图上作为范围指定位置，搜索进入该范围的移动体的所存储的视频；此外，显示拍摄所存储的视频的时刻的时间分布。

另外，例如，日本特开2006-74822号公报提供了一种监视系统，其中对多个监视对象附加包含识别信息的标识以识别该监视对象，监视装置的多个拍摄设备拍摄该监视对象。日本特开2006-74822号公报还公开了基于监视对象的标识在拍摄的图像内识别监视对象、然后向预先分配的终端广播该监视对象的方法。该系统使得可以即使在存在未拍摄到该监视对象的时间段的情况下，通过基于使用标识检测到的监视对象的位置信息显示监视对象的轨迹，来确定监视对象的大概位置。

此外，日本特开平7-160856号公报公开了如下方法：在拍摄移动物体的图像时，轨迹获取设备检测并存储移动物体的位置信息，当再现所存储的存在该移动物体的视频时，同时还再现该移动物体的轨迹。

最后，日本特开2003-158710号公报公开了如下方法：显示通过条形图使在所存储的视频内在每个时间点是否存在每个视频对象可视化的时间行，使得可以有效地搜索并编辑存在视频对象的视频。

然而，日本特开2005-218014号公报的监视系统被设计为搜索并回放进入作为范围所指定的位置的移动体的所存储的视频，而不显示特定移动体在监视空间内的轨迹。因此，该系统存在如下问题：无法以容易看到的方式确认特定移动体的拍摄历史(过去的多个拍摄时间段)，从而难以从该多个拍摄时间段中指定拍摄时间段并且回放过去存储的视频。

同时，虽然日本特开2006-74822号公报的监视系统被设计为识别监视对象，检测其位置并广播拍摄该监视对象时所拍摄的视频，但是该系统不包括用于检查监视期间拍摄的视频内的监视对象的拍摄历史的列表的部件。此外，虽然在存在未拍摄到监视对象的时间段的情况下该系统基于位置信息显示该监视对象的轨迹，该轨迹仅仅是附加信息。因此，使用该系统，不能基于监视对象的当前位置和移动路径等信息来检查拍摄历史的列表、从该列表中指定所希望的拍摄时间段并且从中再现所存储的视频等等。

日本特开平7-160856号公报的轨迹获取设备识别监视对象并检测其位置，但是不以任何方式考虑监视对象在拍摄的视频内的拍摄时间段。由于该原因，不能在与视频同时再现的轨迹上检查或者指定存在移动物体的时间段。

此外，虽然日本特开2003-158710号公报的编辑系统获取在所存储的视频中存在每个物体的时刻，然后可以将这些时刻用于搜索视频，但是该编辑系统不以任何方式考虑存在物体的位置。

如到目前为止所描述的，传统的监视系统无法基于特定移动物体的位置、该移动物体经过的路径等等，以容易看到的方式显示在存储的视频内存在该移动物体的时间段。传统的监视系统也不提供可以用来容易地指定所希望的拍摄时间段的GUI(图形用户界面，graphical user interface)。首先，传统的监视系统不提供用户可以直观地使用的GUI，该GUI不仅以容易看到的方式显示特定移动物体在移动物体的轨迹上的拍摄时间段，通过该GUI还可以容易地从显示的拍摄时间段中指定所希望的拍摄时间段，并且再现并显示所存储的视频。

发明内容

考虑到这样的情况，本发明的特征在于提供一种技术，使得用户可以容易地获知视频数据中移动物体的轨迹和拍摄时间段，指定所希望的拍摄时间段，并且再现指定的拍摄时间段的视频。

根据本发明的一个方面，提供一种信息处理设备，包括：获得单元，其获得设置在监视空间中的摄像设备拍摄的视频数据、关于移动物体在所述监视空间中的位置的位置信息、以及关于所述移动物体在所述视频数据中的拍摄时间段的存在信息；以及显示处理单元，其基于所述位置信息，处理所述移动物体在所述监视空间中的轨迹的显示，所述显示处理单元处理所述轨迹的显示，使得基于所述存在信息，所述轨迹的对应于所述拍摄时间段的部分可以与所述轨迹的其它部分相区分。

根据本发明的另一方面，提供一种信息处理方法，包括如下步骤：获得设置在监视空间中的摄像设备拍摄的视频数据、关于移动物体在所述监视空间中的位置的位置信息、以及关于所述移动物体在所述视频数据中的拍摄时间段的存在信息；以及基于所述位置信息，显示所述移动物体在所述监视空间中的轨迹，并且显示所述轨迹，使得基于所述存在信息，所述轨迹的对应于所述拍摄时间段的部分可以与所述轨迹的其它部分相区分。

通过以下参考附图对示例性实施例的说明，本发明的其它特征将变得明显。

附图说明

图1A是示出根据本发明第一实施例的一种类型的监视系统的示意图。

图1B是示出根据本发明第二实施例的一种类型的监视系统的示意图。

图1C是示出根据本发明第三实施例的一种类型的监视系统的示意图。

图2A是示出根据本发明第一实施例的照相机控制服务器的配置的功能框图。

图2B是示出根据本发明第二实施例的照相机控制服务器的配置的功能框图。

图2C是示出根据本发明第三实施例的照相机控制服务器的配置的功能框图。

图2D是示出根据本发明第一至第三实施例的视频存储服务器的配置的功能框图。

图2E是示出根据本发明第一至第三实施例的客户机的配置的功能框图。

图3A是示出根据本发明第一至第二实施例的视频存储服务器存储在外部存储装置中的信息的图。

图3B是示出根据本发明第三实施例的视频存储服务器存储在外部存储装置中的信息的图。

图4是示出客户机执行的处理的主例程的流程图。

图5A是示出根据本发明第一实施例的主例程中的事件处理的流程的流程图。

图5B是示出根据本发明第一实施例的GUI绘制处理例程中的处理的流程的流程图。

图5C是示出根据本发明第一实施例的移动物体图标处理例程中的处理的流程的流程图。

图5D是示出根据本发明第一实施例的移动物体时间图处理例程中的处理的流程的流程图。

图5E是示出根据本发明第一实施例的拍摄时间段处理例程中的处理的流程的流程图。

图5F是示出根据本发明第一实施例的再现位置指针处理例程中的处理的流程的流程图。

图5G是示出根据本发明第一实施例的播放/暂停/停止处理例程中的处理的流程的流程图。

图5H是示出根据本发明第一实施例的视频显示线程中的处理的流程的流程图。

图6A-1和6A-2是示出根据本发明第二实施例的主例程中的事件处理的流程的流程图。

图6B是示出根据本发明第二实施例的GUI绘制处理例程中的处理的流程的流程图。

图6C是示出根据本发明第二实施例的照相机图标处理例程中的处理的流程的流程图。

图6D是示出根据本发明第二实施例的移动物体图标处理例程中的处理的流程的流程图。

图6E是示出根据本发明第二实施例的拍摄时间段处理例程中的处理的流程的流程图。

图6F是示出根据本发明第二实施例的缩小静止图像例程中的处理的流程的流程图。

图6G是示出根据本发明第二实施例的选择部分区间处理例程中的处理的流程的流程图。

图6H是示出根据本发明第二实施例的编辑视频再现/存储按钮处理例程中的处理的流程的流程图。

图6I是示出根据本发明第二实施例的区域指定处理例程中的处理的流程的流程图。

图6J是示出根据本发明第二实施例的视频显示线程中的处理的流程的流程图。

图7是利用监视空间的平面图和侧面图示出照相机装置的方向和视角与其视野范围之间的关系的图。

图8A是示出根据本发明第一实施例的客户机为了绘制监视画面而使用的GUI绘制数据的图。

图8B是示出根据本发明第二实施例的客户机为了绘制监视画面而使用的GUI绘制数据的图。

图8C是示出根据本发明第二实施例的客户机为了绘制监视画面而使用的视频相关数据的图。

图9A示出根据本发明第一实施例的紧接在客户机启动用于显示监视画面的应用程序之后在显示装置中显示的监视画面的概略图。

图9B示出根据本发明第二实施例的紧接在客户机启动用于显示监视画面的应用程序之后在显示装置中显示的监视画面的概略图。

图9C示出根据本发明第三实施例的紧接在客户机启动用于显示监视画面的应用程序之后在显示装置中显示的监视画面的概略图。

图10A示出根据本发明第一实施例的选择了移动物体图标时的监视画面的概略图。

图10B示出根据本发明第二实施例的选择了移动物体图标时的监视画面中的监视空间图的放大概略图。

图10C示出根据本发明第三实施例的选择了移动物体图标时的监视画面的概略图。

图11A示出根据本发明第一实施例的选择了播放按钮时的监视画面的概略图。

图11B示出根据本发明第二实施例的针对照相机装置拍摄的所选择的移动物体选择了拍摄时间段线时的监视空间图和编辑视频播放列表的放大概略图。

图11C示出根据本发明第三实施例的按照照相机装置显示图10C所示的拍摄时间段线的监视画面的概略图。

图12A示出根据本发明第一实施例的在轨迹上选择了拍摄时间段时的监视画面的概略图。

图12B示出根据本发明第二实施例的在移动物体的轨迹上选择的拍摄时间段线的长度短时的监视空间图和编辑视频播放列表的放大概略图。

图12C示出根据本发明第三实施例的在轨迹的拍摄时间段线内选择了再现时间段时的监视画面的概略图。

图13A示出根据本发明第一实施例的选择了播放按钮时的监视画面的概略图。

图13B是用户在图10B所示的监视空间图中选择了所希望的区域的状态的概略图。

图14A示出根据本发明第一实施例的沿着拍摄时间段线拖动了再现位置指针时的监视画面的概略图。

图14B是示出在(自动或者手动)指定了预定部分区间的状态下用户在监视空间图内选择了所希望的区域的状况的图。

图15是根据本发明第一实施例的变形例的在监视空间的全景图像中在轨迹上选择了拍摄时间段线时的监视画面的概略图。

图16是示出由照相机控制服务器执行的处理的流程的流程图。

图17是示出由视频存储服务器执行的处理的流程的流程图。

图18A是示出根据本发明第一实施例的用于更新拍摄时间段表的处理的流程的细节的流程图。

图18B是示出根据本发明第二和第三实施例的用于更新拍摄时间段表的处理的流程的细节的流程图。

图19A是示出根据本发明第一实施例的拍摄时间段表的配置的例子的图。

图19B是示出根据本发明第二和第三实施例的拍摄时间段表的配置的例子的图。

具体实施方式

现在将参考附图描述本发明的优选实施例。下面描述的每个实施例将有助于理解从概括到更具体的各种概念。

应当指出，权利要求限定本发明的技术范围，下面描述的每个实施例不限制本发明的技术范围。另外，在实施例中描述的特征的全部组合并不都是实现本发明所必需的。

在详细描述实施例之前，下面简要地讨论每个实施例的概念。然而，应当指出，这里提供的讨论仅仅旨在帮助对实施例中的每个的理解，下面描述的实际实施例不限于在这些讨论中提供的细节。

以下实施例中的每个涉及包括照相机控制服务器、视频存储服务器、客户机和监视空间的监视系统。客户机是根据本发明的一种类型的信息处理设备。

在第一实施例中，在监视空间中安装单个照相机装置，该照相机装置拍摄该监视空间的视频。对要监视的移动物体(例如，人或者动物)附加IC标签，安装在监视空间中的位置检测设备(IC标签读取器/写入器)检测IC标签的位置。因此，照相机控制服务器可以获得监视空间的视频数据和移动物体中的每个的位置信息。例如，客户机显示例如图10A所示的监视画面。因此，用户可以容易地获知每个移动物体的轨迹和拍摄时间段。此外，用户可以容易地选择并再现/显示所希望的拍摄时间段。虽然在第一实施例中仅描述了安装单个照相机装置，应当指出，也可以安装多个照相机装置。

在第二实施例中，在监视空间中安装两个照相机装置，这些照相机装置拍摄监视空间的视频。因此，之后阅读第二实施例将进一步使可以在第一实施例中安装多个照相机装置的事实清楚。第二实施例的目的是使得用户可以更容易地编辑存储在监视系统中的视频数据。因此，在第二实施例中，对监视画面增加了编辑视频播放列表，这可以通过比较第一实施例的图10A和第二实施例的图9B清楚地看出。此外，如从图11B可以理解的，通过选择所希望的拍摄时间段并在编辑视频播放列表中插入(登记)该拍摄时间段，用户可以容易地编辑视频数据。此外，在第二实施例中，在其拍摄时间段附近显示以给定间隔从视频数据提取的代表图像。这使得用户可以在获得对视频数据的内容的大概了解之后编辑该视频数据。此外，使用引出线来显示代表图像使得即使当拍摄时间段短时，也可以抑制代表图像的可视性的降低。

在第三实施例中，移动物体不具有如第一实施例中的情况下的IC标签等用于位置检测的物品。相反，照相机装置可以利用例如自动焦点检测功能根据视频数据检测每个移动物体的位置。

虽然以下实施例讨论监视系统，但是例如即使当仅关注客户机和由该客户机呈现的监视画面(例如，如图10A所示)时，也可以获得与上述相同的效果(例如，容易地获知每个移动物体的轨迹和拍摄时间段)。因此，例如，客户机获得在监视空间中获取的各种类型的信息，例如视频数据、位置信息等等，并基于该信息向用户呈现监视画面。当仅仅关注客户机时，如何在监视空间中获得该视频数据、位置信息等等不太重要。

通过协作运行的硬件和软件来实现在监视空间中获取视频数据、位置信息等等、客户机显示监视画面等。在以下实施例中还将描述硬件和软件协作运行的方式。当然，即使没有对以下处理提供明确的描述，本领域技术人员也能够容易地理解，例如，作为图2E所示的客户机的CPU执行存储在外部存储装置中的应用程序的结果，可以在显示装置中显示画面。本发明的重点不单是在显示装置中显示画面，而是要显示哪种画面(监视画面)以获得上述效果。因此，以下实施例详细地描述监视画面的配置。

第一实施例

监视系统10a

图1A是示出根据本发明第一实施例的一种类型的监视系统10a的示意图。使用监视系统10a，单个照相机装置4拍摄多个移动物体7(要监视的对象)。

数字1表示照相机控制服务器，其将照相机装置4输出的视频数据和控制信息(与照相机的方位等有关的信息)以及移动物体位置检测设备6输出的移动物体7中的每个的位置信息发送到视频存储服务器2。下文中，将包括前述视频数据、控制信息和位置信息的数据称为“监视数据”。应当指出，虽然在图1A所示的例子中，照相机装置4是连接到照相机控制服务器1的外部设备，但是这两个装置可以被配置为一个集成的单元。

数字2表示视频存储服务器，其存储从照相机控制服务器1接收到的监视数据。视频存储服务器2还基于控制信息和位置信息，顺序判断在照相机装置4的视野范围9内是否存在移动物体7中的每个。然后，视频存储服务器2求得图像数据中的移动物体7中的每个的拍摄时间段(换句话说，存在物体的时间范围)，并且将关于拍摄时间段的该信息(下文中称为“存在信息”)添加到监视数据。

应当指出，稍后参考示出视频存储服务器2执行的处理的流程图(图17)来讨论在用于确定视野范围9和存在信息的处理中使用的算法。该确定处理可以由照相机控制服务器1，而不是由视频存储服务器2来执行。

数字3表示客户机，其基于从视频存储服务器2获取的监视数据，在显示装置247(参见图2E)中显示包括移动物体7中的每个的轨迹12、拍摄时间段等的监视画面。如果选择了在监视画面中显示的拍摄时间段中的一个，则客户机3还从视频存储服务器2获取与所选择的拍摄时间段相对应的视频数据，并再现/显示该视频数据。

数字4表示照相机装置，其拍摄监视空间11的视频，并将产生的视频数据发送到照相机控制服务器1。虽然在本实施例中描述的照相机装置4是可以控制视轴的方向、变焦等的摇摄/俯仰/变焦照相机，但是不旨在将照相机装置4限制于这种类型的照相机。例如，可以替代地使用具有固定变焦的照相机。

数字6表示位置检测设备，其检测附加到监视空间11中的至少一个(该数量由“Nobj”表示)监视对象(即移动物体7)的标签(例如，IC标签8)。位置检测设备6获取IC标签8的空间位置坐标或者Pi(xi，yi，zi)(其中i＝0、……、Nobj-1)作为位置信息。然后，将获取的位置信息发送到照相机控制服务器1。例如，可以使用非接触类型的IC标签读取器/写入器作为位置检测设备6。应当指出，例如，能够以如下方式确定Pi(xi，yi，zi)的各个元素或者x、y、z。例如，可以考虑将图1A所示的监视空间11中的照相机装置4的位置作为原点的坐标系(具有xyz坐标轴)。然后，用将监视空间11的(平面)水平长度、垂直长度和高度取作1时得到的比值(0至1.0范围内的数值)表示x、y和z。

应当指出，虽然在本实施例中使用有源或者无源类型的IC标签来检测移动物体7的位置，但是也可以使用PHS、GPS或者其它这种系统。此外，可以使用在视频数据内识别移动物体7的图像识别处理来检测移动物体7的位置。

数字5表示网络，在本实施例中，其是TCP/IP网络。网络5是例如因特网、内联网等的网络。同时，不旨在将通信协议限制于TCP/IP，还可以使用例如IPX/ISX、AppleTalk

等的协议。此外，可以使用例如有线LAN、无线LAN等的任意介质来传输数据，只要该介质符合要使用的协议即可。

照相机控制服务器1

图2A是示出根据本发明第一实施例的照相机控制服务器1的配置的功能框图。照相机控制服务器1包括CPU 201、RAM202、ROM 211和通信单元203。照相机控制服务器1还包括：输入单元204，用于输入照相机控制服务器1进行操作所需的数据；以及外部存储装置205，用于存储处理所需的数据。照相机控制服务器1还包括：视频输入单元206，用于输入照相机装置4拍摄的视频数据；以及外部装置信号交换单元207，用于将控制信号等发送到外部装置(例如，照相机装置4和位置检测设备6等)/从该外部装置接收控制信号等。此外，照相机控制服务器1包括：位置数据输入单元208，用于输入位置检测设备6输出的位置坐标数据；以及视频输出单元209，其将视频输出到显示装置210。最后，照相机控制服务器1包括用于将所描述的构成部件彼此连接的总线212。

RAM 202是能够指定并读取/写入随机地址的半导体存储器。将照相机控制服务器1使用的应用程序加载到RAM 202中。RAM 202还临时存储CPU 201执行的处理所需的数据等，并且按照需要将该数据输出到总线212。

ROM 211是存储CPU 201执行的处理所需的控制程序的只读存储器。在预定定时将需要的控制程序输出到总线212。

CPU 201通过执行加载到RAM 202中的应用程序、存储在ROM 211中的控制程序等来控制整个照相机控制服务器1。

通信单元203对从照相机控制服务器1输出的数据和输入到照相机控制服务器1的数据进行协议转换等。这使得照相机控制服务器1可以经由网络5与视频存储服务器2和客户机3进行数据通信。

输入单元204包括键盘、鼠标等。将由照相机控制服务器1的用户操作输入单元204输入的数据经由总线212输出到CPU201等。

外部存储装置205存储CPU 201执行的处理所需的数据。

向视频输入单元206输入由照相机装置4拍摄并产生的例如MPEG格式的数字视频数据、符合例如NTSC或者PAL标准的模拟视频数据等。

外部装置信号交换单元207与照相机装置4、位置检测设备6和其它这种外部装置交换关于照相机装置4的摇摄、俯仰和变焦的信息、关于照相机装置4的焦点和光圈的信息等。外部装置信号交换单元207还交换位置检测间隔等设置信息、包括各种类型的状态信息的控制信息等。

向位置数据输入单元208输入位置检测设备6在某一恒定定时输出的移动物体7中的每个的位置信息(三维数据Pi(xi，yi，zi)，其中i＝0、……、Nobj-1)。

最后，视频输出单元209输出用于在显示装置210中显示照相机控制服务器1的操作画面等的数据，显示装置210由液晶显示器等构成。

视频存储服务器2

图2D是示出根据本发明第一实施例的视频存储服务器2的配置的功能框图。图2D所示的视频存储服务器2包括CPU 221、RAM 222、ROM 229和通信单元223。视频存储服务器2还包括：输入单元224，用于输入视频存储服务器2进行操作所需的数据；以及外部存储装置225，用于存储处理所需的数据。视频存储服务器2还包括：拍摄时间段判断单元228，用于确定移动物体7中的每个的拍摄时间段；以及视频输出单元226，其将视频输出到显示装置227。最后，视频存储服务器2包括用于将所描述的构成部件彼此连接的总线230。

RAM 222是能够指定并读取/写入随机地址的半导体存储器。将视频存储服务器2使用的应用程序加载到RAM 222中。RAM 222还临时存储CPU 221执行的处理所需的数据等，并且按照需要将该数据输出到总线230。

ROM 229是存储CPU 221执行的处理所需的控制程序的只读存储器。在预定定时将需要的控制程序输出到总线230。

CPU 221通过执行加载到RAM 222中的应用程序、存储在ROM 229中的控制程序等来控制整个视频存储服务器2。

通信单元223对从视频存储服务器2输出的数据和输入到视频存储服务器2的数据进行协议转换等。这使得视频存储服务器2可以经由网络5与照相机控制服务器1和客户机3进行数据通信。

输入单元224包括键盘、鼠标等。将由视频存储服务器2的用户操作输入单元224输入的数据经由总线230输出到CPU 221等。

外部存储装置225存储CPU 221执行的处理所需的数据。

视频输出单元226输出用于在显示装置227中显示视频存储服务器2的操作画面等的数据，显示装置227由液晶显示器等构成。

最后，拍摄时间段判断单元228基于照相机装置4的控制信息和移动物体7的位置信息，求得照相机装置4拍摄的视频数据中的移动物体7中的每个的拍摄时间段(存在物体的时间范围)。

客户机3

图2E是示出根据本发明第一实施例的客户机3的配置的功能框图。客户机3包括CPU 241、RAM 242、ROM 248和通信单元243。客户机3还包括输入单元244、外部存储装置246、视频输出单元245、GUI绘制单元250和用于将所描述的构成部件彼此连接的总线249。

RAM 242是能够指定并读取/写入随机地址的半导体存储器。将客户机3使用的应用程序加载到RAM 242中。RAM 242还临时存储CPU 241执行的处理所需的数据等，并且按照需要将该数据输出到总线249。

ROM 248是存储CPU 241执行的处理所需的控制程序的只读存储器。在预定定时将需要的控制程序输出到总线249。

CPU 241通过执行加载到RAM 242中的应用程序、存储在ROM 248中的控制程序等来控制整个客户机3。

通信单元243对从客户机3输出的数据和输入到客户机3的数据进行协议转换等。这使得客户机3可以经由网络5与照相机控制服务器1和视频存储服务器2进行数据通信。

输入单元244包括键盘、鼠标等。将由客户机3的用户操作输入单元244输入的数据经由总线249输出到CPU 241等。

外部存储装置246存储CPU 241执行的处理所需的数据。

视频输出单元245输出用于在显示装置247中显示客户机3的操作画面(包括监视画面)等的数据，显示装置247由液晶显示器等构成。

最后，GUI绘制单元250执行用于显示例如用户用来通过监视系统10a进行监视的监视画面等GUI的各种处理。

照相机控制服务器1的处理

图16是示出由照相机控制服务器1执行的处理的流程的流程图。由图2A所示的功能块执行在该流程图中示出的各种处理，在用户经由通信单元203、输入单元204等输入开始进行处理的命令时，该流程图的总处理开始。

在S1601中，CPU 201执行各种初始化处理。具体地，例如，CPU 201将照相机控制服务器1的应用程序加载到RAM 202中。然后，CPU 201初始化程序内的各种变量、通信路径、照相机装置4、位置检测设备6等。此时，建立了与视频存储服务器2、客户机3等进行通信的路径，并且完成了各种装置的操作准备。

在S1602中，CPU 201判断是否要结束照相机控制服务器1的处理。“处理结束”是指例如用户经由通信单元203、输入单元204等输入了结束该处理的命令的状况。如果要结束该处理，则该过程进行到S1607，如果不结束该处理(即继续)，则该过程进行到S1603。

在步骤S1603中，如果从输入单元204、(经由通信单元203)客户机3等接收到照相机控制命令，则CPU 201根据接收到的照相机控制命令经由外部装置信号交换单元207控制照相机装置4。以下是照相机控制命令的例子：

-摇摄、俯仰、变焦命令；以及

-焦点/光圈调节命令。

在S1604中，CPU 201从位置检测设备6接收移动物体7的位置信息。下文中将详细描述该处理。首先，位置检测设备6以恒定间隔检测位于监视空间11中的数量为Nobj的移动物体7所持有的IC标签8的空间位置坐标Pi(xi，yi，zi)(其中i＝0、……、Nobj-1)。然后，位置检测设备6将检测到的坐标Pi(xi，yi，zi)输出到照相机控制服务器1。CPU 201经由位置数据输入单元208接收这些坐标并将其存储在RAM 202中。

在S1605中，CPU 201经由视频输入单元206接收照相机装置4输出的视频数据，对其添加由时间生成单元(未示出)生成的时间戳ts，并将该视频数据发送到视频存储服务器2。

在S1606中，CPU 201将包括照相机装置4的当前控制信息、在S1604中接收到的位置信息和时间戳ts的数据集发送到视频存储服务器2。这里，控制信息包括以下内容：

-摇摄、俯仰和变焦信息；以及

-焦点/光圈信息。

此外，例如，将该数据集表示为[(摇摄、俯仰、变焦信息)，(焦点/光圈信息)，Pi(xi，yi，zi)，ts](i＝0、……、Nobj-1)。

然后，该过程返回S1602，重复相同的处理，直到判断为要结束该处理为止。如果在S1602中判断为要结束该处理，则该过程进行到S1607，其中CPU 201执行断开与视频存储服务器2、客户机3的通信路径等后处理。之后，该处理结束。

接下来，参考图7详细描述摇摄、俯仰和变焦信息。图7是利用监视空间11的平面图701和侧面图711示出照相机装置4的方向和视角与其视野范围之间的关系的图。

关于摇摄和俯仰的信息对应于分别由附图标记703和713表示的方向矢量。同时，关于变焦的信息对应于分别由附图标记704和714表示的水平方向上的视角α和垂直方向上的视角β。因此，照相机装置4的视野范围9是由附图标记705和715表示的空间。在图7所示的例子中，在存在于监视空间11中的四个移动物体7中，移动物体B和C在照相机装置4的视野范围9内，而移动物体A和D在照相机装置4的视野范围9外。

还应当指出，虽然在图7中未示出，关于变焦的信息还表示相对照相机装置4的距离和视野范围9之间的关系。例如，当关于变焦的信息表示照相机装置4正在放大远处的物体时，即使靠近照相机装置4的物品在由附图标记705和715表示的空间内，这些物品也将落在视野范围9外。

视频存储服务器2存储的信息

图3A是示出根据本发明第一实施例的视频存储服务器2存储在外部存储装置225中的信息的图。

在外部存储装置225中存储以下信息作为存储视频信息301：

-视频ID(可以使用与稍后描述的照相机ID相同的ID。这在

下文中也称为“cid”)；以及

-视频数据(包括时间戳ts(时间信息)的实际数字视频数据)。

虽然在本实施例中仅使用一个照相机装置4，但是在使用多个照相机装置4的情况下，针对照相机装置中的每个记录所描述的信息。

在外部存储装置225中记录以下信息作为照相机信息302：

-照相机ID；

-摇摄、俯仰和变焦信息(包括时间戳ts的时间系列信息)；

-焦点/光圈信息(包括时间戳ts的时间系列信息)；以及

-位置信息(区间编号、安装位置/方向等)。

在外部存储装置225中记录以下信息作为位置信息303：

-IC标签读取器/写入器ID(在本实施例中假设只有一个IC标签读取器/写入器)；

-位置信息(区间编号、安装位置/方向等)；

-IC标签ID(0到Nobj-1)；

-检测位置信息Pti(xi，yi，zi，ts)(位置检测设备6输出的每个IC标签8的三维位置坐标。包括时间戳ts的时间系列信息)；

以及

-存在标记ef(i，cid，ts)(针对每个照相机)(表示坐标Pti是否在照相机装置的视野范围内的标记。包括时间戳ts的时间系列信息)。

在本实施例中，仅使用了单个照相机装置4，因此仅针对该单个照相机装置4记录存在标记ef(i，cid，ts)。然而，如果使用多个照相机装置，则针对照相机装置中的每个记录存在标记ef(i，cid，ts)。在本实施例中，仅使用了单个照相机装置4，因此存在标记不需要包括cid，并且可以替代地简单为ef(i，ts)。这同样也应用于下面描述的拍摄时间段表ETab(i，cid)等。

在外部存储装置225中记录以下信息作为移动物体信息304：

-移动物体ID；

-带有的IC标签ID；

-拍摄时间段表ETab(i，cid)(针对每个照相机)；

-拍摄次数信息(针对每个照相机)；

-总拍摄时间(针对每个照相机)；以及

-个体信息(名称、缩略图等)。

在本实施例中，仅使用了单个照相机装置4，因此仅针对该单个照相机装置4各自记录拍摄时间段表ETab(i，cid)、拍摄次数信息和总拍摄时间。然而，如果使用多个照相机装置，则针对照相机装置中的每个记录这些信息。

在外部存储装置225中记录以下信息作为监视空间信息305：

-区间ID；

-形状/大小信息(监视空间11的三维形状数据和大小信息)；

以及

-个体信息(名称、缩略图等)。

视频存储服务器2执行的处理

图17是示出由视频存储服务器2执行的处理的流程的流程图。由图2D所示的功能块执行在该流程图中示出的各种处理。在用户经由通信单元223、输入单元224等输入开始进行处理的命令时，图17的流程图所示的处理开始。

在S1701中，CPU 221执行各种初始化处理。具体地，例如，CPU 221将视频存储服务器2的应用程序加载到RAM 222中。然后，CPU 221初始化程序内的变量、通信路径等。此时，建立了与照相机控制服务器1、客户机3等进行通信的路径。应当指出，当初始化变量时，将作为代入每个移动物体7的先前时刻的存在标记的变量的变量PreExist(i)(其中i＝0、……、Nobj-1)初始化为0(假)。

在S1702中，CPU 221判断是否要结束视频存储服务器2执行的处理。“处理结束”是指例如用户经由通信单元223、输入单元224等输入了结束该处理的命令的状况。如果要结束该处理，则该过程进行到S1706，如果不结束该处理(即继续)，则该过程进行到S1703。

在S1703中，CPU 221经由通信单元223接收照相机控制服务器1发送的视频数据(包括时间戳ts)，并将该视频数据作为存储视频信息301记录在外部存储装置225中的预定位置。

在S1704中，CPU 221经由通信单元223接收照相机控制服务器1发送的数据集(参见图16中的S1606)并将该数据集存储在RAM 222中。然后，CPU 221将包括在该数据集中的摇摄、俯仰和变焦信息、焦点/光圈信息和时间戳ts作为照相机信息302记录在外部存储装置225中的预定位置。类似地，将Pti(xi，yi，zi，ts)或者空间位置坐标Pi(xi，yi，zi)和时间戳ts的对作为位置信息303存储在外部存储装置225中的预定位置。这里，再次，i＝0、……、Nobj-1。

在S1705中，CPU 221使用RAM 222中的摇摄、俯仰和变焦信息(包括时间戳ts)和Pti(xi，yi，zi，ts)更新每个移动物体7的拍摄时间段表ETab(i，cid)。这里，i＝0、……、Nobj-1。拍摄时间段表ETab(i，cid)存储视频数据中的每个移动物体7的拍摄时间段。每一行中的IN点(拍摄开始时间)和OUT点(拍摄结束时间)表示拍摄时间段，在图19A中示出其例子。

然后，该过程返回S1702，重复相同的处理，直到判断为要结束该处理为止。如果在S1702中判断为要结束该处理，则该过程进行到S1706，其中CPU 221执行断开与照相机控制服务器1、客户机3的通信路径等后处理。之后，该处理结束。

参考图18A和7详细描述更新拍摄时间段表ETab(i，cid)的处理。图18A是示出根据本发明第一实施例的用于更新拍摄时间段表ETab(i，cid)的处理的流程的细节的流程图。拍摄时间段判断单元228根据来自CPU 221的指令执行在该流程图中示出的每个处理。

在S1801中，拍摄时间段判断单元228将“0”代入变量i。

在S1802中，拍摄时间段判断单元228判断变量i是否大于或者等于Nobj。如果判断结果是“真”，则该处理结束。如果判断结果是“假”，则该处理进行到S1803。

在S1803中，拍摄时间段判断单元228判断第i移动物体的位置Pti(xi，yi，zi，ts)是否落入基于同一时间ts的摇摄、俯仰和变焦信息得到的照相机装置4的视野范围(参见图7)内。如果该位置落入该视野范围内，则该过程进行到S1804，如果该位置没有落入该视野范围内，则该过程进行到S1809。

在S1804中，拍摄时间段判断单元228将表示移动物体存在于视野范围内的值1(真)代入存在标记ef(i，ts)。

在S1805中，拍摄时间段判断单元228判断PreExist(i)是否等于1(即PreExist(i)是否为真)。如果PreExist(i)为真，则该过程进行到S1807，如果PreExist(i)为假，则该过程进行到S1806。

在S1806中，拍摄时间段判断单元228在第i移动物体的拍摄时间段表ETab(i，cid)中创建新行，并将时间戳ts值添加到该行的IN点和OUT点列。

然而，在S1807中，拍摄时间段判断单元228将时间戳ts值代入第i移动物体的拍摄时间段表ETab(i，cid)中表示最新拍摄时间段的行的OUT点列中(即重写并更新值)。

在S1808中，拍摄时间段判断单元228将1(真)代入PreExist(i)。

如果S1803中的判断结果是假，则在S1809中，拍摄时间段判断单元228将表示移动物体没有在视野范围内的值0(假)代入存在标记ef(i，ts)。

然后，在S1810中，拍摄时间段判断单元228将0(假)代入PreExist(i)。

在S1811中，拍摄时间段判断单元228将i的值增加1。

然后，该过程返回S1802，重复相同的处理，直到判断为变量i大于或等于Nobj为止。

监视画面

下文中，参考图9A至14A描述在客户机3的显示装置247中显示的监视空间11的监视画面。

在以下描述中，假设当用户正浏览监视画面时(当正进行监视时)，照相机装置4继续拍摄视频(即照相机控制服务器1持续获取监视数据，并经由视频存储服务器2将其发送到客户机3)。然而，根据本实施例，即使在照相机装置4停止拍摄视频之后，用户也可以使用监视画面的配置和其绘制技术来确认已存储在视频存储服务器2中的监视数据。

紧接在启动之后

图9A示出紧接在客户机3启动用于显示监视画面的应用程序之后在显示装置247中显示的监视画面900的概略图。

监视画面900包括监视空间图901、时间图902和再现窗口903。此外，在显示装置247中显示鼠标指针904，用户可以使用其对监视画面900提供各种指令。换句话说，客户机3设置有基于监视空间信息显示监视空间11的平面图(当然，如稍后所描述的，不限于平面图)的监视空间显示单元。

监视空间图901是俯瞰整个(或者部分)监视空间11的图。在本实施例中，监视空间图901示出从上方观看监视空间11的平面图。

数字905是表示存在于监视空间11中的作为人、动物或者物体的移动物体7的位置的移动物体图标。可以通过包含在图标中央的移动物体ID(例如，“A”、“B”等)来识别每个移动物体7。在图9A中，显示七个移动物体图标905。此外，在移动物体图标905中的每个附近显示表示移动物体7中的每个的特征的缩略图906。例如，可以通过GUI绘制单元250从视频数据中提取特定帧并且生成包含在该帧中的移动物体7的缩小图像来获得缩略图906。每个移动物体图标905和缩略图906与其移动物体7一前一后移动通过监视空间11。

数字907表示对应于照相机装置4的照相机图标，908表示照相机装置4的方向，909表示照相机装置4的视野范围。如果照相机装置4的摇摄、俯仰或者变焦改变，则方向908和视野范围909跟随其发生变化。

时间图902在时间轴上显示每个移动物体7的拍摄时间段。在时间图902中单独的行上显示存在于监视空间11中的每个移动物体7的过去的拍摄时间段。此外，在时间图902的底部设置滚动条910。滚动条910随着时间的过去自动向左滚动，并且滑动以使得能够浏览没有出现在画面内的区域。换句话说，客户机3包括时间轴显示单元。

数字911表示存在线，该存在线表示在监视空间11内存在移动物体7的时间(这是图中的细黑线)。

同时，数字912表示与存在线911重叠的粗线，其表示移动物体7的拍摄时间段。数字913表示当前时间。通过例如改变线的颜色，以使得可以与过去的拍摄时间段区别的方式显示当前时间913处的拍摄时间段(在图9A中，在当前时间913处正在拍摄移动物体B、C和G)。

还在时间图902中针对移动物体7中的每个显示移动物体ID、缩略图、分类再现按钮(稍后讨论)、拍摄次数、总拍摄时间等。

在再现窗口903中显示存储在视频存储服务器2中的过去的视频或者实况视频(来自当前时间的视频)(在图9A中，正在显示实况视频)。在当前时间，移动物体B、C和G存在于实况视频中，在每个移动物体附近(例如，在附加到每个移动物体的IC标签附近)显示移动物体ID 914。

以这种方式，在监视画面900中显示各种信息，用户可以利用该监视画面900来容易地确认存在于监视空间11中的每个移动物体7的移动、当前实况视频和每个移动物体7的拍摄时间段的列表。

当选择了移动物体图标时

图10A示出选择了移动物体图标时的监视画面900的概略图。在图10A中，对与图9A中的部件相同的部件给予相同的附图标记，这里省略其说明。

这里，假设使用鼠标指针904选择了特定移动物体(图10A中，移动物体A)的移动物体图标905(当然，也可以选择多个移动物体)。

数字1001表示与所选择的移动物体图标905相对应的移动物体的位置的轨迹。当显示轨迹1001时，在相应的移动物体图标905的位置随着时间变化时，其长度逐渐增大，跟踪该移动物体图标905的位置。换句话说，客户机3包括移动物体选择单元和轨迹显示单元。例如，在监视空间的平面图(对应于监视空间图901)上显示轨迹。

数字1002、1003和1004表示重叠并显示在轨迹1001上的移动物体A的拍摄时间段线。在图10A中，对每个拍摄时间段线自动分配不同的颜色，在时间表902中对移动物体A的拍摄时间段线分配相同的颜色。虽然将拍摄时间段线描述为“重叠并显示在轨迹1001上”，但是这基本上意为以使得能够将对应于拍摄时间段的轨迹1001的部分与轨迹1001的其它部分相区分的方式显示这些部分。换句话说，不旨在将拍摄时间段线的显示格式限制为这里给出的具体例子。

图10A所示的画面处于分类再现(连续再现)模式。因此，分别在所描述的三个拍摄时间段线中的第一拍摄时间段线1002的IN点和最后拍摄时间段线1004的OUT点处显示文字“开始”和“结束”。此外，还显示连接这三个拍摄时间段线的虚线。

按钮1005用来再现、暂停或者停止视频。如图10A所示，当在所选择的移动物体图标905附近显示按钮1005时，按钮1005用作用于控制分类再现(连续再现)的按钮。

数字1006是表示视频数据中的当前再现位置的再现位置指针。在图10A中，再现位置指针停止在第一拍摄时间段的IN点的位置(即“开始”位置)。换句话说，客户机3包括指针显示单元。

以使得可以将对应于所选择的移动物体A的行与其它行相区分的形式在时间表902中显示对应于所选择的移动物体A的行。此外，还可以通过使用鼠标指针904在时间表902中指定所希望的移动物体的行来进行移动物体的选择。当在时间表902中选择了特定移动物体时，以使得可以与其它移动物体图标905相区分的方式在监视空间图901上显示相应的移动物体图标905，还显示轨迹1001、按钮1005等。换句话说，在监视空间图901中选择移动物体反映在时间表902中，反之亦然。

将分配给监视空间图901中的拍摄时间段线的相同颜色分配给在时间表902中选择的移动物体的行上的相应的拍摄时间段线。此外，与轨迹1001相同，在时间表902中分别在三个拍摄时间段线的第一IN点和最后OUT点处显示文字“开始”和“结束”。此外，还显示连接这三个拍摄时间段线的虚线。

在时间表902中，分类再现按钮也是有效的(可以选择)。

再现位置指针1007对应于再现位置指针1006。在图10A中，再现位置指针停止在第一拍摄时间段的IN点的位置(即“开始”位置)。

在这种状态下，在再现窗口903中显示视频数据中由再现位置指针1007(或者1006)的位置表示的帧(静止图像)(在图10A中，移动物体A、C和F存在于该帧中)。

因此，针对拍摄位置和拍摄时间两者，用户可以高效率地确认所选择的移动物体的多个拍摄时间段。

当选择了播放按钮时

图11A示出选择了播放按钮时的监视画面900的概略图。播放按钮包含在所选择的移动物体图标附近的按钮1005中，或者包含在时间表902中的分类再现按钮中。在图11A中，对与图10A中的部件相同的部件给予相同的附图标记，这里省略其说明。

当选择(点击)了播放按钮时，分别位于监视空间图901和时间表902中的IN点位置(“开始”位置)的再现位置指针1006和1007同时开始沿着其各自的拍摄时间段线移动。

然后，在到达第一拍摄时间段线的OUT点时，再现位置指针1006和1007从第二拍摄时间段线的IN点移动到该线的OUT点，最后从第三拍摄时间段线的IN点移动到该线的OUT点(“结束”位置)，之后最终停止。以这种方式，再现位置指针1006和1007以连续(无缝)的方式自动移动通过三个拍摄时间段。

在这两个再现位置指针1006和1007正在移动时，在再现窗口903中依次显示再现位置指针1006和1007所在的帧(在图11A中，存在移动物体A、C和F)。

因此，用户可以容易地观看自动连续播放(即通过分类再现来再现)示出所选择的移动物体A的三个拍摄时间段的视频(运动图像)。

当选择了拍摄时间段时

图12A示出在轨迹上1001选择了拍摄时间段时的监视画面900的概略图。在图12A中，对与图10A中的部件相同的部件给予相同的附图标记，这里省略其说明。

这里，假设使用鼠标指针904在所选择的移动物体A的轨迹1001上或者在时间表902中选择了例如拍摄时间段1004的单个拍摄时间段线。在这种情况下，在监视空间图901和时间表902中在与所选择的拍摄时间段线1004相对应的位置显示按钮1005和1201。再现位置指针1006和1007也移动到相应的位置。这时，在时间表902中，分类再现按钮处于无效状态。还分别在拍摄时间段线1004和1202的IN点和OUT点的位置处显示文字“开始”和“结束”。

在这种状态下，在再现窗口903中显示由再现位置指针1006和1007的位置表示的帧(静止图像)(在图12A中，移动物体A和C存在于该帧中)。换句话说，客户机3包括：第一选择单元；以及第一再现显示单元，其根据第一选择单元进行的拍摄时间段的选择来再现视频。

因此，针对拍摄位置和拍摄时间两者，用户可以容易地选择并指定移动物体的任意拍摄时间段。换句话说，客户机3包括：第二选择单元，其在时间表902中的时间轴上选择拍摄时间段；以及第二再现显示单元，其根据第二选择单元进行的拍摄时间段的选择来再现视频。

在选择了拍摄时间段之后选择了播放按钮时

图13A示出选择(点击)了播放按钮时的监视画面900的概略图。当选择了包含在按钮1005和1201中的任意一个中的播放按钮时，位于拍摄时间段线1004和1202的IN点位置(“开始”位置)处的两个再现位置指针1006和1007开始移动。

当再现位置指针1006和1007到达拍摄时间段线1004和1202的OUT点(“结束”位置)时，停止再现。在两个再现位置指针1006和1007移动的同时，从视频存储服务器2中读出再现位置指针1006和1007所在的帧，并且在再现窗口903中依次显示该帧(在图13A中，存在移动物体A、C、D和F)。

因此，用户可以容易地观看示出所选择的移动物体A的所希望的拍摄时间段的视频(运动图像)。

应当指出，客户机3还可以再现并显示与在不按下播放按钮的情况下选择拍摄时间段时所选择的拍摄时间段相对应的视频数据。

当拖动再现位置指针时

图14A示出沿着拍摄时间段线拖动再现位置指针时的监视画面900的概略图。

用鼠标指针904(在时间上)向前/向后拖动所选择的拍摄时间段线1004或者1202中的再现位置指针1006或者1007。因此，再现位置指针1006和1007沿着拍摄时间段线1004和1202滑动。在该滑动过程中，从视频存储服务器2中读出再现位置指针1006和1007所在的帧，并且在再现窗口903中显示该帧(在图14A中，存在移动物体A、C、D和F)。换句话说，客户机3包括指针移动单元。

以这种方式，用户可以容易地指定和确认特定移动物体的拍摄时间段中所希望的时间的帧。

GUI(监视画面)绘制数据

图8A是示出客户机3为了绘制监视画面而使用的GUI绘制数据的图。应当指出，通过客户机3接收来自视频存储服务器的监视数据并使用任意方法处理接收到的监视数据来生成图8A所示的GUI绘制数据801。

GUI绘制数据801包括移动物体数量Nobj、移动物体绘制数据Obj(i)、视频类型、自动再现标记、再现对象移动物体ID和再现位置指针变量tp。

移动物体绘制数据Obj(i)802中的每个保存每个移动物体的绘制数据，因此包括移动物体ID、选择标记、位置信息表PTab(i)803和再现时间段表STab(i)804。

“视频类型”是表示视频是实况视频还是存储的视频的标记，并为0(对于实况视频)或者1(对于存储的视频)。

自动再现标记是表示要自动再现还是手动再现视频的标记，并为0(对于自动再现)或者1(对于手动再现)。

再现对象移动物体ID保存要再现的移动对象的ID(0至Nobj-1中的一个)。

再现时间指针tp保存表示当前再现时间的时间信息。

移动物体ID保存每个移动对象的索引值(0至Nobj-1中的一个)。

选择标记表示是否选择了该选择标记所属的移动物体，并为0(未选择)或者1(选择)。

将从视频存储服务器2中读出的、并包括时间戳ts的三维坐标数据Pti(xi，yi，zi，ts)和存在标记ef(i，cid，ts)存储在位置信息表PTab(i)803中。

将再现标记列添加到从视频存储服务器2中读出的每个移动物体的拍摄时间段表ETab(i，cid)的表存储在再现时间段表S Tab(i)804中。应当指出，再现标记是表示是否再现该线表示的时间段中的视频的标记，并为0(再现)或者1(不再现)。

客户机3执行的处理

图4和图5A至5H均示出客户机3执行的处理。

主例程

图4是示出客户机3执行的处理的主例程的流程图。在用户经由输入单元244等输入启动用于显示监视画面900的应用程序的命令时，该流程图所示的处理开始。

在S401中，CPU 241执行各种初始化处理。具体地，例如，CPU 241将客户机3的监视画面的应用程序加载到RAM 242中。然后，CPU 241初始化程序内的包括前述GUI绘制数据801的各种变量、通信路径等。此时，建立了与照相机控制服务器1、视频存储服务器2等进行通信的路径。

在S402中，CPU 241初始化并显示GUI(监视画面900)。通过显示GUI，在客户机3的显示装置247中显示以GUI开始的各种信息。

在S403中，CPU 241启动视频显示线程(图5H)。视频显示线程通过在显示装置247中显示正拍摄的视频或者从视频存储服务器2下载的指定时间的监视数据，并使参考时间前进，来实现监视画面900中的显示的运动图像再现。应当指出，客户机3可以预先获取(例如，在S401中)存储的监视数据。此外，视频显示线程还可以获取随着时间的经过而最新存储的监视数据。

在S404中，CPU 241等待事件发生，然后基于发生的事件执行处理(稍后参考图5A至5G讨论这些处理)。换句话说，用于显示监视画面900的应用程序的架构主要是事件驱动的。如果发生用于结束该应用程序的事件，并在S404中进行了处理，则该处理进行到S405。

在S405中，CPU 241结束视频显示线程。

在S406中，CPU 241执行断开与照相机控制服务器1、视频存储服务器2的通信路径等后处理。之后，该处理结束。

主例程中的事件处理

图5A是示出主例程中的事件处理的流程的流程图。可以根据应用程序通过客户机3的CPU 241和GUI绘制单元250执行的操作来实现图5A至5H中的每个步骤。

在S5101中，CPU 241等待事件发生。线程结束、计时器事件、鼠标移动、鼠标拖动、鼠标点击等是可能发生的事件的例子。

如果在S5101中发生了线程结束事件，则该过程进行到S5102，其中CPU 241结束事件处理并返回图4的S405。

如果在S5101中发生了计时器事件，则该过程进行到S5103。“计时器事件”是指在没有任何特定动作发生的情况下以给定间隔(例如，每0.5秒)自动发生的事件。

如果在S5101中发生了鼠标移动事件，则该过程进行到S5104。然后，在S5105中，CPU 241更新鼠标指针904(参见图9A)的坐标(下文中称为“鼠标坐标”)。例如，将鼠标坐标存储在RAM 242中。

如果在S5101中发生了鼠标拖动事件，则该过程进行到S5106。然后，在S5107中，CPU 241以与S5105中相同的方式更新鼠标坐标。如果在S5108中鼠标坐标在再现位置指针1006、1007等上(参见图10A)，则在S5109中CPU 241调用再现位置指针处理例程(图5F)。如果在S5108中鼠标坐标不在再现位置指针1006、1007等上，则该过程进行到S5119。

如果在S5101中发生了鼠标点击事件，则该过程进行到S5110。之后，执行用于判断点击了GUI提供的哪个GUI对象(例如，图9A所示的移动物体图标905等)的处理(S5111、S5113、S5115和S5117)。

如果点击了移动物体图标，则在S5112中CPU 241调用移动物体图标处理例程(图5C)。

如果点击了拍摄时间段线，则在S5114中CPU 241调用拍摄时间段处理例程(图5E)。

如果点击了再现位置指针，则在S5116中CPU 241调用再现位置指针处理例程(图5F)。

如果点击了播放/暂停/停止按钮(例如，包含在图10A所示的按钮1005中的按钮)，则在S5118中CPU 241调用播放/暂停/停止处理例程(图5G)。

最后，虽然在图中未示出，如果在时间图902中点击了对应于预定移动物体的行，则CPU 241调用移动物体时间表处理例程(图5D)。

因此，因为视频显示线程是事件驱动的，所以与事件影响哪个物体一起判断鼠标指针904的行为，并根据判断的结果执行处理。

在用于计时器事件、鼠标移动事件和鼠标拖动事件的处理之后，在S5119中CPU 241显示鼠标指针904。

在S5119之后，或者在用于鼠标点击事件的处理结束之后，在S5120中CPU 241调用GUI绘制处理例程(图5B)。

然后，该过程返回S5101，重复相同的处理，直到结束事件发生为止。

GUI绘制处理例程

图5B是示出GUI绘制处理例程中的处理的流程的流程图。

在S5201中，清除画面。

在S5202中，通过与视频存储服务器2进行通信来加载监视空间信息305，在S5203中，基于包含在监视空间信息305中的形状数据在监视空间图901中绘制监视画面900。

在S5204中，通过与视频存储服务器2进行通信来加载照相机信息302；在S5205中，显示照相机图标，在S5206中，显示照相机的视野范围。

在S5207中，通过与视频存储服务器2进行通信来加载所需要的移动物体信息304和位置信息303内的数据，并将其存储在GUI绘制数据801中的移动物体绘制数据Obj(i)802内的合适位置。更具体地：

-将(移动物体信息304内的)拍摄时间段表ETab(i，cid)存储在(Obj(i)802内的)再现时间段表STab(i)804中；以及

-将(位置信息303内的)检测位置信息Pti(xi，yi，zi，ts)和存在标记ef(i，cid，ts)存储在(Obj(i)802内的)位置信息表PTab(i)803中。

在S5208中，基于位置信息表PTab(i)803在监视空间图901上显示每个移动物体图标。

在S5209中，通过例如用直线连接PTab(i)803中的位置坐标中的每个，来在图上绘制Obj(i)802中的选择标记为1的移动物体的轨迹1001。

在S5210中，针对选择标记为1的每个移动物体，通过用粗线连接在位置信息表PTab(i)803的存在标记列中具有连续的1的部分的位置坐标，来在轨迹1001上叠加并绘制移动物体的多个拍摄时间段。然而，对粗线的每个连续区段分配不同的颜色。

在S5211中，基于PTab(i)803，针对每个移动物体在时间表902上绘制存在线911。

S5212中，基于STab(i)804，在存在线911上(例如，用黑色)作为粗线绘制移动物体的(多个)拍摄时间段。然而，应当指出，这时对时间表902中表示选择标记为1的移动物体的拍摄时间段的粗线分配与在S5210中绘制的在轨迹1001上绘制的拍摄时间段的粗线相同的颜色。

在S5213中，通过与视频存储服务器2进行通信来获取(GUI绘制数据801内的)再现时间指针变量tp当前指向的视频帧。

如果在S5214中存在选择标记当前为1的移动物体，则在由(GUI绘制数据801内的)再现对象移动物体ID表示的图上的移动物体的轨迹内由tp表示的合适的位置处绘制再现位置指针。

在S5215中，在移动物体的轨迹上的合适的位置显示播放/暂停/停止按钮。

移动物体图标处理例程

图5C是示出移动物体图标处理例程中的处理的流程的流程图。

在S5301中，将选择标记设置为1(表示选择了该移动物体)，并将所选择的移动物体的ID设置为再现对象移动物体1D。

在S5302中，将视频类型设置为1(表示存储的视频)。

在S5303中，将自动再现模式设置为1(表示要自动再现该视频)。

在S5304中，将1代入由STab(再现对象移动物体ID)804表示的表的全部行中的再现标记。

在S5305中，将再现时间指针变量tp设置为在S5304中检查的用于再现的行中的第一IN点的时间信息。

移动物体时间表处理例程

图5D是示出移动物体时间图处理例程中的处理的流程的流程图。

由于图5D中的步骤的处理与图5C中的步骤的处理相同，因此对其应用相同的附图标记，并且省略其说明。

拍摄时间段处理例程

图5E是示出拍摄时间段处理例程中的处理的流程的流程图。应当指出，以下描述假设点击了在移动物体的轨迹或者时间表上显示的拍摄时间段(表示为对象^th的拍摄时间段)。

在S5501中，将视频类型设置为1(表示存储的视频)。

在S5502中，将自动再现模式设置为1(表示要自动再现该视频)。

在S5503中，在STab(再现对象移动物体ID)804表示的表中，将1代入表示为对象^th的再现标记，而将0代入其它再现标记。

在S5504中，将再现时间指针变量tp设置为在S5503中检查的用于再现的行中的第一IN点的时间信息。

再现位置指针处理例程

图5F是示出再现位置指针处理例程中的处理的流程的流程图。

在S5601中，将视频类型设置为1(表示存储的视频)。

在S5602中，将自动再现模式设置为0(表示要手动再现该视频)。

在S5603中，根据再现位置指针在轨迹或者时间表上的位置，通过适当地增大/减小再现时间指针变量tp的值来更新再现时间指针变量tp的值。

播放/暂停/停止处理例程

图5G是示出播放/暂停/停止处理例程中的处理的流程的流程图。

在S5701中，判断按下的按钮的类型，在S5702中，响应于按下的按钮，控制视频显示线程的启动/终止。

这种处理使得用户可以随意再现和停止视频。

视频显示线程

图5H是示出视频显示线程中的处理的流程的流程图。与主线程(主例程)并行地处理视频显示线程。

在S5801中，根据GUI绘制数据801中的视频类型是0(实况数据)还是1(存储的数据)，该过程进行到S5802或者S5804。

在S5802中，从视频存储服务器2中读出当前时间的视频帧，然后在S5803中显示读出的视频帧。

然而，在S5804中，从视频存储服务器2中读出由再现时间指针变量tp表示的视频帧，然后在S5805中显示读出的视频帧。

然后，根据自动再现模式是1(自动再现)还是0(手动再现)，该过程在S5806中分支，如果自动再现模式是1，则该过程进行到S5807，如果自动再现模式是0，则该过程返回S5801。

在S5807中，基于STab(再现对象移动物体ID)804中的表信息和tp，判断包含在该表信息中的要再现的时间段的再现是否到了结尾；如果到了结尾，则该过程返回S5801，如果没有到结尾，则该过程进行到S5808。

在S5808中，tp表示的时间前进预定量，之后，在S5809中，根据tp表示的时间，分别改变在画面中的移动物体的轨迹和时间表上绘制再现位置指针的位置。

之后，重复该处理，由此显示视频(运动图像)。

之后，视频显示线程不确定地进行循环。通过主线程控制该线程的启动、停止和暂停。这使得可以播放、停止和暂停视频。

变形例1-1

在第一实施例中，示出从上方看到的监视空间11的平面图用作监视空间图901，但是本实施例不旨在局限于此。例如，可以使用合成监视空间11的视野范围内的图像的监视空间11的全景图像作为监视空间图，并可以在监视空间全景图像上叠加并显示例如移动物体的图标、轨迹和拍摄时间段等信息。

下文中，参考图15给出关于第一实施例的变形例1-1的说明。

图15示出在监视空间11的全景图像中的轨迹上选择了拍摄时间段线时的监视画面的概略图。在图15中，对与图10A和12A中的部件相同的部件给予相同的附图标记，这里省略其说明。

数字1500表示在显示装置247中显示的监视画面。

如第一实施例中，数字1501表示俯瞰整个(或者部分)监视空间11的图；然而，在本变形例中，该图是合成照相机装置4在监视空间11中的可视范围内的图像的全景图像。

虽然监视空间全景图像1501与监视空间图901类似，但是对监视空间全景图像1501添加了表示照相机装置4当前拍摄的拍摄帧1502的矩形，并在监视空间全景图像1501中显示该矩形。

所选择的移动物体A的轨迹1001的显示等其它方面与监视空间图901相同。

因此，与代替监视空间图901使用监视空间全景图像1501时类似，针对在拍摄期间移动物体移动的路径以及拍摄移动物体时的时间两者，用户可以高效率地确认移动物体的拍摄时间段。用户还可以容易地指定任意拍摄时间段并再现来自该时间段的存储的视频。

此外，代替监视空间图901，可以使用三维CG图(三维监视空间图)(未示出)。然而，应当指出，“三维监视空间图”是指如下内容：通过对这样的图像应用透视投影变换方法等计算得到的监视空间的三维图像，在该图像中，从虚拟视点观看布置在三维虚拟空间中的监视空间的三维形状模型(其例子有包含在视频存储服务器2中的监视空间信息305中的形状/大小信息)。

基于从实际监视空间获取的移动物体的位置信息、拍摄历史信息等，在三维监视空间图上的合适的位置绘制移动物体的图标、轨迹和拍摄历史。然后，通过进行透视变换(移动视点、转动、摇摄、俯仰、变焦)来改变观看位置、方向等。在执行上述操作时，通过在三维图上指定所希望的特定移动物体的拍摄时间段并再现存储的视频，可以获得与以上描述的相同的效果。在这种情况下，在随意改变观看该空间的方向时，可以观察到移动物体的轨迹和叠加在这些轨迹上的拍摄时间段，这使得可以从各个角度清楚地检查拍摄移动物体时的移动物体的移动的路径。

最后，虽然在第一实施例中在轨迹和时间图上显示的拍摄时间段线的厚度是恒定的，但是可以根据例如拍摄移动物体时照相机和移动物体之间的距离(换句话说，相对于画面的比值)来改变例如厚度、亮度等线的属性。这样做的优点在于，可以基于线的属性(例如厚度、亮度等)准确地确定可以清楚地看到移动物体的拍摄时间段中的时间，这使得更容易指定拍摄时间段。

根据到目前为止所描述的本发明，客户机3基于监视数据在显示装置247中显示例如图9A所示的监视画面900。

因此，能够以容易观看的形式容易地确认每个移动物体的拍摄时间段、以及拍摄期间的移动路径(轨迹)和拍摄时间。此外，可以容易地指定所希望的拍摄时间段并再现该拍摄时间段的存储的视频。

第二实施例

第二实施例与第一实施例的不同之处在于，在监视空间中安装了两个照相机装置。还将监视画面配置为可以容易地编辑视频数据。

在视频编辑领域中，通常将通过指定视频剪辑的IN点(再现开始点)和OUT点(再现结束点)来提取视频的需要的部分同时省去视频的不需要的部分的处理称为“剪裁”。与此相对，将提取静止图像数据的部分区域的处理称为“修剪”。因此，本实施例中的术语“剪裁”的例子应当理解为是指在视频编辑的情况下的剪裁处理。

监视系统10b

图1B是示出根据本发明第二实施例的一种类型的监视系统10b的示意图。在图1B中，对与第一实施例的部件(参见图1A)相同的构成部件给予相同的附图标记，这里省略其说明。

与第一实施例的系统不同，监视系统10b设置有多个照相机装置(在本实施例中是两个，照相机装置4a和4b)。因此，还存在分别对应于照相机装置4a和4b的视野范围9a和9b。照相机装置4a和4b的配置与图1A所示的照相机装置4的配置相同。

同时，当在监视画面中选择了拍摄时间段时，客户机3获取要再现和显示的视频数据的代表视频帧(参见第一实施例)，根据其生成缩小静止图像，并且在监视画面中显示该图像。

照相机控制服务器1

图2B是示出根据本发明第二实施例的照相机控制服务器1的配置的功能框图。在图2B中，对与第一实施例的部件(参见图2A)相同的构成部件给予相同的附图标记，这里省略其说明。虽然照相机控制服务器1本身的配置与第一实施例相同，但是与第一实施例不同，两个照相机装置4a和4b连接到视频输入单元206和外部装置信号交换单元207。

视频存储服务器2

视频存储服务器2的配置与第一实施例的配置(参见图2D)相同。然而，因为在第二实施例中有两个照相机装置4a和4b，因此拍摄时间段判断单元228求得照相机装置4a和4b两者拍摄的视频数据的拍摄时间段。

客户机3

客户机3的配置也与第一实施例的配置(参见图2E)相同。然而，在第二实施例中，GUI绘制单元250绘制的GUI是用于监视系统10b(参见图1B)的GUI。

照相机控制服务器1的处理

照相机控制服务器1执行的处理也与第一实施例的处理(参见图16和7)相同。然而，因为有两个照相机装置4a和4b，因此改变该处理，使得例如针对照相机装置4a和4b中的每个处理视频数据。

视频存储服务器2存储的信息

在第二实施例中视频存储服务器2存储在外部存储装置225中的信息与第一实施例中的信息相同(参见图3A)。然而，因为在第二实施例中使用两个照相机装置4a和4b，因此针对照相机装置4a和4b中的每个记录在第一实施例中描述的存储视频信息301、存在标记ef(i，cid，ts)等。

视频存储服务器2执行的处理

视频存储服务器2执行的处理与第一实施例的处理相同(参见图17)。然而，因为在第二实施例中使用两个照相机装置4a和4b，因此拍摄时间段表ETab(i，cid)的配置与第一实施例的配置不同，并且被构建为例如如图19B所示。拍摄时间段判断单元228执行的用于更新拍摄时间段表ETab(i，cid)的处理也不同。下文中，这将参考图18B进行说明。在图18B中，对执行与第一实施例中相同的处理的步骤给予相同的附图标记，这里省略其说明。

在S1821中，拍摄时间段判断单元228将“0”代入变量cid。

在S1822中，拍摄时间段判断单元228判断变量cid是否大于或者等于Ncam(其中Ncam是照相机装置的数量)。如果判断结果是“真”，则该处理结束。然而，如果判断结果是“假”，则该处理进行到S1801。换句话说，在本实施例中，将与在第一实施例中参考图18A描述的处理相同的处理重复与所存在的照相机装置的数量相同的次数。

在S1823中，拍摄时间段判断单元228初始化PreExist，或者换句话说，将0代入PreExist(i)(其中i＝0、……、Nobj-1)。

在S1824中，拍摄时间段判断单元228将cid的值增加1，然后该过程返回S1822。换句话说，虽然在第一实施例中当S1802的判断结果是真时处理结束，但是在第二实施例中，对全部照相机装置重复该处理。

监视画面

下文中，参考图9B至12B描述在客户机3的显示装置247中显示的监视空间11的监视画面。

在以下描述中，假设当用户浏览监视画面时(当进行监视时)，照相机装置4a和4b继续拍摄视频(即照相机控制服务器1持续获取监视数据，并经由视频存储服务器2将其发送到客户机3)。然而，根据本实施例，即使在照相机装置4a和4b停止拍摄视频之后，用户也可以使用监视画面的配置和其绘制技术来确认已存储在视频存储服务器2中的监视数据。

紧接在启动之后

图9B示出紧接在客户机3启动用于显示监视画面的应用程序之后在显示装置247中显示的监视画面900的概略图。在图9B中，对与第一实施例(图9A)的部件相同的部件给予相同的附图标记，这里省略其说明。

因为在第二实施例中使用两个照相机装置4a和4b，因此显示对应于各个照相机装置的两个照相机图标907a和907b、两个方向908a和908b以及两个视野范围909a和909b。

此外，针对各个照相机装置，还在时间表902中显示存在线911a和911b以及拍摄时间段线912a和912b。然而，可以通过点击图标915并将其中包含的符号从“-”改变为“+”来合并并显示照相机装置的行(例如，参见移动物体C的行)。换句话说，从图9B可以看出，以使得不仅可以在时间轴上彼此区分移动物体还可以在时间轴上识别出哪个照相机装置拍摄了每个拍摄时间段的方式，在时间表902中显示拍摄时间段。

在第二实施例中，当前时间913处的拍摄时间段线被显示为比其它拍摄时间段线厚，这使得可以区分前者和后者。

在监视空间图901中还显示所选择的移动物体(在图9B中，移动物体A和B)移动的轨迹。

此外，监视画面900包括：编辑视频播放列表916，用于编辑在监视空间图901中指定的拍摄时间段中的视频；以及按钮917，用于播放/停止/保存编辑视频等。换句话说，根据第二实施例的客户机3包括播放列表显示单元。

最后，在再现窗口903中显示所选择的照相机当前拍摄的视频。

当选择了移动物体图标时

图10B示出选择了移动物体图标时的监视画面900中的监视空间图901的放大概略图。在图10B中，对与图9A和9B中的部件相同的部件给予相同的附图标记，这里省略其说明。

在图10B中，假设同时选择了两个照相机图标907a和907b。可以以这种方式选择多个照相机图标。同时，在选择了图标A和B时，显示移动物体图标A和B，以可与其它移动物体图标区分。因此，还可以以这种方式选择多个移动物体图标。

作为例子，以下说明关注移动物体图标B。

数字1008是所选择的移动物体图标B的轨迹。当显示轨迹1008时，在所选择的移动物体图标B的位置随着时间变化时其长度逐渐增大，跟踪该移动物体图标B的位置。

(沿着轨迹1008的实线)在轨迹1008两侧显示辅助线1009和1010。辅助线1009和1010分别表示移动物体B相对于照相机图标907a(照相机装置4a)和照相机图标907b(照相机装置4b)的拍摄时间段。拍摄时间段线1011和1012表示照相机装置4a拍摄移动物体B的拍摄时间段。同时，拍摄时间段线1013和1014表示照相机装置4b拍摄移动物体B的拍摄时间段。换句话说，当假设轨迹包括辅助线时，以可以识别出哪个照相机装置拍摄拍摄时间段中的每个的方式显示轨迹。

应当指出，在图10B中，拍摄时间段显示方法是“分开的”(即移动物体图标上的“-”标志)，因此在分开的辅助线上显示拍摄时间段。然而，在用鼠标指针904选择“-”标志并将其改变为“+”标志时，可以将拍摄时间段显示方法改变为“合并的”，将多个照相机装置拍摄的拍摄时间段合并到一起，并在单个线上进行显示(未示出)。

以这种方式，根据本实施例，可以同时在移动物体的轨迹上显示多个照相机装置拍摄该移动物体的拍摄时间段。

当选择了拍摄时间段时

图11B示出针对照相机装置4b拍摄的所选择的移动物体B选择了拍摄时间段线1011时的监视空间图901和编辑视频播放列表916的放大概略图。然而，与图10B相同，假设照相机装置4a和4b以及移动物体A和B处于选择的状态。在图11B中，对与图10B中的部件相同的部件给予相同的附图标记，这里省略其说明。

数字1111表示以预定间隔从所选择的拍摄时间段中提取的代表视频帧的缩小静止图像。应当指出，如图11B所示，缩小静止图像1111中的每个被布置为在合适的位置与所选择的拍摄时间段的轨迹重叠(当拍摄代表视频帧时与移动物体的位置相关联)。换句话说，客户机3包括图像显示单元。

数字1112和1113表示鼠标指针904从缩小静止图像1111中选择的IN点(再现开始点)和OUT点(再现结束点)处的图像(换句话说，客户机3包括图像选择单元)。如图11B所示，所选择的缩小静止图像1112和1113分别设置有“IN”和“OUT”标志。然而，虽然在图11B中作为单个集合处理在单个拍摄时间段中指定的IN点和OUT点的图像，但是还可以在单个拍摄时间段中指定IN点和OUT点的多个集合。

因此，能够以直观的方式获知所选择的移动物体的拍摄时间段线中的视频的内容，还可以确认拍摄位置。另外，在观看所选择的拍摄时间段的视频的总体内容的同时选择IN点和OUT点处的图像使得容易进行剪裁。

如箭头1114所示，可以使用鼠标指针904拖动以这种方式指定的部分区间(用缩小静止图像1112和1113示出的IN点和OUT点指定的区间)并将其放在编辑视频播放列表916内的任意位置。这使得可以编辑视频数据。这里，如果一次全部在特定位置插入了多个部分区间，则以例如从最早的拍摄开始时间开始的顺序在播放列表内排列这些部分区间。这时，可以删除这些部分区间中彼此重叠的部分等，然后进行排列。

可以使用按钮917在再现窗口903中再现完整的视频内容、将其转换为预定视频数据格式、以及保存在外部存储装置246等中。

图12B示出在移动物体的轨迹上选择的拍摄时间段线的长度短时的监视空间图901和编辑视频播放列表916的放大概略图。应当指出，与图11B相同，假设照相机装置4a和4b以及移动物体A和B处于选择的状态。在图12B中，对与图10B中的部件相同的部件给予相同的附图标记，这里省略其说明。

数字1203和1204表示分别在移动物体A和B的轨迹上选择的两个拍摄时间段线。

数字1205和1206表示从拍摄时间段线1203和1204放射出的描绘的多个引出线。然而，虽然引出线的端点以与拍摄时间段线的形状类似的形状散开，但是本发明不旨在局限于此，可以将端点绘制为排列在直线上。

数字1207表示排列在引出线1205的端点上的、以预定间隔从拍摄时间段线1203(其对应于照相机装置4a)表示的视频的一部分中提取的代表视频帧的一组缩小静止图像。同时，数字1208表示排列在引出线1206的端点上的、以预定间隔从拍摄时间段线1204(其对应于照相机装置4b)表示的视频的一部分中提取的代表视频帧的一组缩小静止图像。换句话说，客户机3包括显示引出线的引出线显示单元，该引出线将缩小静止图像连接到在拍摄对应于该缩小静止图像的代表视频帧时的移动物体的位置。显示缩小静止图像以使其彼此不重叠。

缩小静止图像1209和1210分别表示从引出线1205的端点处的缩小静止图像组1207中选择的IN点(再现开始点)和OUT点(再现结束点)。应当指出，所选择的缩小静止图像1209和1210分别设置有“IN”标志和“OUT”标志。另一方面，缩小静止图像1211和1212分别表示从引出线1206的端点处的缩小静止图像组1208中选择的IN点(再现开始点)和OUT点(再现结束点)。此外，虽然在图12B中作为单个集合处理在单个拍摄时间段线中指定的IN点和OUT点，但是还可以在单个拍摄时间段线中指定IN点和OUT点的多个集合。

因此，使用引出线以放射的方式显示缩小静止图像，从而即使所选择的移动物体的拍摄时间段线短，也可以在确认拍摄位置之后以直观的方式获知该拍摄时间段中的视频的内容。另外，在观看所选择的拍摄时间段的视频的总体内容的同时选择IN点和OUT点使得容易进行剪裁。应当指出，利用引出线的上述剪裁方法不旨在局限于如上所述的拍摄时间段线短的情况；当多个拍摄时间段线在窄的区间中聚集在一起时，这种方法也有用。

可以使用鼠标指针904将如上指定的部分区间的两个集合(即由缩小静止图像1209和1210定义的部分区间和由缩小静止图像1211和1212定义的部分区间)插入到编辑视频播放列表916中。更具体地，如图12B中的箭头1213和1214所示，可以通过拖动/放下将部分区间的集合插入到编辑视频播放列表916的任意位置。这里，如果一次全部在特定位置插入了多个部分区间，则以例如从最早的拍摄开始时间开始的顺序排列这些部分区间。这时，可以删除这些部分区间中彼此重叠的部分等，然后进行排列。

可以使用按钮917在再现窗口903中再现在该编辑处理的结尾处完成的视频内容、将其转换为预定视频数据格式、以及保存在外部存储装置246中等。

GUI(监视画面)绘制数据

图8B是示出客户机3为了绘制监视画面而使用的GUI绘制数据的图。应当指出，通过客户机3接收来自视频存储服务器的监视数据并使用任意方法处理接收到的监视数据来产生图8B所示的GUI绘制数据811。

GUI绘制数据811包括照相机数量Ncam、照相机绘制数据Cam(i)812、移动物体数量Nobj和移动物体绘制数据Obj(i)813。

照相机绘制数据Cam(i)812保存每个照相机的绘制数据，包括照相机编号(cid)、选择标记和照相机位置信息Pc。

将照相机中的每个的ID(在本实施例中是1和2，分别表示照相机装置4a和4b)存储在照相机编号中。

选择标记表示是否选择了该选择标记所属的照相机，并为0(未选择)或者1(选择)。

将监视空间11中的每个照相机的三维位置坐标(xc，yc，zc)存储在照相机位置信息Pc中。

移动物体绘制数据Obj(i)813中的每个保存每个移动物体的绘制数据，因此包括移动物体ID、选择标记、位置信息表PTab(i)814和再现时间段表Etab’(i，cid)815。应当指出，除了具有添加的选择标记列之外，ETab’(i，cid)815与从视频存储服务器2中的移动物体信息304中读出的ETab(i，cid)表相同。

移动物体ID保存每个移动对象的ID(0至Nobj-1中的一个)。

将从视频存储服务器2中读出的并包括时间戳ts的每个照相机的三维坐标数据Pti(xi，yi，zi，ts)和存在标记ef(i，cid，ts)存储在位置信息表PTab(i)814中。

视频相关数据

图8C是示出客户机3为了绘制监视画面而使用的视频相关数据的图。应当指出，通过客户机3接收来自视频存储服务器的监视数据并使用任意方法处理接收到的监视数据来生成图8C所示的视频相关数据821。

视频相关数据821包括视频通道、当前时间tc、部分区间表PL-S、再现位置指针变量tp_S、编辑视频表PL-E和再现位置指针变量tp_E。

视频通道保存关于显示哪个视频源的信息。保存C1或者C2的视频通道表示要显示来自照相机1和2(照相机装置4a和4b)的实况视频。然而，在要显示存储的视频的情况下，视频通道保存S或者E；S和E分别表示要再现部分区间表PL-S和编辑视频表PL-E。

部分区间表PL-S 822保存关于要再现一个或多个选择的部分区间的顺序的信息。

再现位置指针tp_S表示PL-S 822中的再现位置。

编辑视频表PL-E 823保存客户机3的监视画面900中的编辑视频播放列表916的信息。

再现位置指针tp_E表示PL-E 823中的再现位置。

客户机3执行的处理

图4和6A-1至6J均示出客户机3执行的处理。在图6A-1和6A-2中，对执行与图5A中相同的处理的步骤给予相同的附图标记，省略其说明。

主例程

主例程与第一实施例中的主例程相同，因此省略其说明(参见图4)。

主例程中的事件处理

图6A-1和6A-2是示出主例程中的事件处理的流程的流程图。可以根据应用程序通过客户机3的CPU 241和GUI绘制单元250执行的操作来实现图6A-1至6J中的每个步骤。

第二实施例对在第一实施例中描述的事件类型添加了鼠标释放事件。鼠标拖动事件和鼠标点击事件所涉及的处理也与第一实施例不同。

如果在S5101中发生了鼠标拖动事件，则该过程经过S5106和S5107，进行到S6113。在S6113中，CPU 241调用选择部分区间处理例程(图6G)，在S6114中，CPU 241调用区域指定处理例程(图6I)，之后该过程进行到S5119。

如果在S5101中发生了鼠标点击事件，则该过程进行到S5110。之后，执行用于确定点击了GUI提供的哪个GUI对象(例如，图9B所示的移动物体图标905等)的处理(S6101、S5111、S5113、S6103、S6105和S6107)。

如果点击了照相机图标，则在S6102中CPU 241调用照相机图标处理例程(图6C)。

如果点击了移动物体图标，则在S5112中CPU 241调用移动物体图标处理例程(图6D)。

如果点击了拍摄时间段线，则在S5114中CPU 241调用拍摄时间段处理例程(图6E)。

如果点击了缩小静止图像，则在S6103中CPU 241调用缩小静止图像处理例程(图6F)。

如果点击了选择的部分区间，则在S6106中CPU 241调用选择部分区间处理例程(图6G)。

如果点击了编辑视频再现/存储按钮，则在S6108中CPU 241调用编辑视频再现/存储按钮处理例程(图6H)。

如果事件不是上述事件中的一个，则在S6109中CPU 241调用区域指定处理例程(图6I)。

如果在S5101中出现了鼠标释放事件，则该过程进行到S6110。CPU 241在S6111中调用选择部分区间处理例程(图6G)，在S6112中调用区域指定处理例程(图6I)，之后该过程进行到S5119。

因此，因为视频显示线程是事件驱动的，所以与事件影响哪个物体一起判断鼠标指针904的行为，根据判断的结果执行处理。

GUI绘制处理例程

图6B是示出GUI绘制处理例程中的处理的流程的流程图。在图6B中，对执行与图5B中相同的处理的步骤给予相同的附图标记，省略其说明。

在S6201中，通过与视频存储服务器2进行通信来加载照相机信息302，并将其存储在照相机绘制数据Cam(i)812内的合适位置。在S6202中，显示多个照相机图标，在S6203中，显示照相机的视野范围。

在S6204中，用粗线连接位置信息表PTab(i)814中照相机的存在标记连续为1的部分的位置坐标。这是针对选择标记为1的移动物体进行的。这使得可以在轨迹上显示每个照相机拍摄的拍摄时间段，使得可以区分这些拍摄时间段。换句话说，例如，如图10B所示，使用PTab(i，cid)814，在表示选择的移动物体的轨迹的实线两侧设置用于显示照相机装置4a和4b的拍摄时间段的细线，在这些细线上叠加每个照相机拍摄的拍摄时间段。

在S6205中，如果存在将1代入了拍摄时间段表ETab’(i，cid)815中的选择标记的拍摄时间段，则在拍摄时间段线的轨迹上叠加并显示以预定间隔从存储的视频中获取的代表视频帧的缩小静止图像(参见图11B)。当然，可以从基于移动物体的移动量的间隔、给定时间间隔、在视频中出现变化点的间隔(可以使用任意算法)等中适当地选择该“预定间隔”。

在S6206中，如果存在将2代入了拍摄时间段表ETab’(i，cid)815中的选择标记的拍摄时间段，则选择以预定间隔从存储的视频中获取的代表视频帧。之后，从该拍摄时间段开始放射状地绘制数量与代表视频帧的数量相等的引出线。然后，在引出线的端点上排列并显示代表视频帧的缩小静止图像(参见图12B)。

在S6207中，可以考虑如下情况：在排列在拍摄时间段线上的缩小静止图像中指定了IN点(拍摄开始时间)或者OUT点(拍摄结束时间)。在这种情况下，对该图像设置IN点标志或者OUT点标志(参见图11B)。

在S6208中，基于视频相关数据821中的编辑视频表PL-E，在GUI窗口中显示编辑视频播放列表(参见图9B)。

在S6209中，显示再现位置指针。

照相机图标处理例程

图6C是示出照相机图标处理例程中的处理的流程的流程图。

在S6301中，将照相机绘制数据Cam(i)812中的选择标记设置为1(表示选择了该选择标记所属的照相机)(或者如果已经选择了该照相机，则将该标记设置为0)。

移动物体图标处理例程

图6D是示出移动物体图标处理例程中的处理的流程的流程图。

在S6401中，将移动物体绘制数据Obj(i)813中的选择标记设置为1(表示选择了该选择标记所属的移动物体)(或者如果已经选择了该移动物体，则将该标记设置为0)。

拍摄时间段处理例程

图6E是示出拍摄时间段处理例程中的处理的流程的流程图。

在S6501中，分析拍摄时间段部分中的轨迹的形状/大小，并判断轨迹是长还是短(或者判断轨迹是否在窄的区间中聚集在一起)。

在前者的情况下，在S6502中将1(拍摄时间段上显示)代入拍摄时间段表Etab’(i，cid)815中点击的拍摄时间段的选择标记。另一方面，在后者的情况下，在S6502中将2(引出线的端点上显示)代入该选择标记。

缩小静止图像处理例程

图6F是示出缩小静止图像例程中的处理的流程的流程图。

在S6601中，如果还未设置IN点，则在点击的缩小静止图像处设置IN点(再现开始点)。

在S6602中，如果已经设置了IN点，则在点击的缩小静止图像处设置OUT点(再现结束点)。

通过该IN-OUT点设置在拍摄时间段内指定部分区间。

应当指出，虽然在本实施例中作为单个集合处理在单个拍摄时间段中指定的IN-OUT点对，但是还可以在拍摄时间段线中指定用于IN-OUT点的多个缩小静止图像集合，从而指定多个部分区间。

在视频相关数据821的部分区间表822中适当地设置如上所述指定的一个或多个部分区间。应当指出，可以通过按下播放/停止按钮在再现窗口903中以连续的方式再现部分区间表822的内容。

选择部分区间处理例程

图6G是示出选择部分区间处理例程中的处理的流程的流程图。

在S6701中，判断发生的事件的类型是鼠标点击、鼠标拖动还是鼠标释放。

在S6702中执行用于鼠标点击事件的处理。换句话说，将一个或多个选择的部分区间设置为“插入对象”，初始化在鼠标拖动时的显示中使用的区域数据。

在S6703中执行用于鼠标拖动事件的处理。换句话说，基于拖动之后鼠标的位置适当地更新区域数据。

在S6704中执行用于鼠标释放事件的处理。首先，如果在编辑视频播放列表916上释放了鼠标，则以适当的顺序在释放的位置处插入一个或多个部分区间，之后取消“插入对象”设置。这时，将该一个或多个部分区间的信息插入到视频相关数据821的编辑视频表823中的合适的行。同时，如果鼠标释放发生在编辑视频播放列表916以外的位置，则取消“插入对象”设置，而不对编辑视频播放列表916进行更新。

编辑视频再现/存储按钮处理例程

图6H是示出编辑视频再现/存储按钮处理例程中的处理的流程的流程图。

在S6801中，识别出按下了按钮。

在S6802中，如果识别出按下的按钮是播放按钮，则从编辑视频表823中读出当前编辑视频播放列表916表示的内容，并且在再现窗口903中进行再现/显示(然而，如果按下了停止按钮，则停止当前正在再现的视频)。

在S6803中，如果识别出按下的按钮是保存按钮，则基于当前编辑视频播放列表916，从来自每个照相机的存储的视频复制需要的部分；然后，将复制的部分合并到单个合适的视频格式的视频数据中。然后，将因此生成的视频数据文件存储在外部存储装置246内的合适位置。

区域指定处理例程

稍后，在变形例2-1中讨论该例程。

视频显示线程

图6J是示出视频显示线程中的处理的流程的流程图。与主线程(主例程)并行地处理视频显示线程。

在S6951中，基于视频相关数据821中的当前视频通道，该过程分支。换句话说，如果视频通道是实况视频(即C1或者C2)，则该过程进行到S6952，而如果视频通道是存储的视频(即S或者E)，则该过程进行到S6954。

C1和C2分别表示照相机设备4a和4b拍摄的实况视频。在这种情况下，在S6952中，从视频存储服务器2中读出当前时间tc处照相机装置4a或者照相机装置4b的视频帧。然后，在S6953中，在再现窗口903中显示读出的视频帧。

同时，S和E表示存储的视频。在这种情况下，在S6954中，从视频存储服务器2中读出部分区间表PL-S(或者编辑视频表PL-E)中的再现时间指针变量tp_S(或者tp_E)表示的位置处的视频帧。然后，在S6955中，在再现窗口903中显示读出的视频帧。

然后，在S6956中，基于当前tp_S(或者tp_E)，判断视频是否再现到部分区间表PL-S(或者编辑视频表PL-E)的结尾。如果视频已经再现到结尾，则该过程进行到S6951，而如果该视频还未再现到结尾，则该过程进行到S6957。

然后，在S6957中，使tp_S(或者tp_E)表示的时间前进预定量，之后，该过程返回S6951。

之后，重复该处理，由此显示视频(运动图像)。

在本实施例中，在这些拍摄时间段部分的轨迹上排列以预定间隔从每个移动物体的拍摄时间段的存储的视频中选择的代表视频帧的缩小静止图像。然而，应当指出，当进行剪裁时，在希望更详细地确认拍摄时间段的存储的视频的内容时等，可以采取以下动作。

首先，使用鼠标等从排列的缩小静止图像中单独地选择两个相邻的图像。然后，以更精细的间隔从位于对应于选择的缩小静止图像的两个代表视频帧之间的存储的视频中选择多个视频帧；然后，在先前选择的缩小静止图像附近排列所选择的视频帧。此外，可以从排列在拍摄时间段上的缩小静止图像和用于详细显示的缩小静止图像两者中选择IN点和OUT点图像，然后可以进行剪裁。

变形例2-1

在第二实施例中，用户指定要从视频数据中提取的部分区间。然而，在变形例2-1，用户在监视空间图901内选择所希望的区域，并且基于位于所选择的区域内的轨迹自动指定部分区间。这减少了用户指定部分区间所需的劳动力。用于确定要自动指定的部分区间的标准可以是任意标准。例如，可以将包含在用户选择的区域中的全部拍摄时间段作为部分区间，或者可选地，还可以仅指定一部分拍摄时间段作为部分区间，下文中给出其说明。

图13B是示出用户选择了所希望的区域的状态的图10B的监视空间图901的概略图。与图10B相同，在图13B中，假设照相机装置4a和4b以及移动物体A和B处于选择的状态。

数字1301表示通过鼠标指针904选择的监视空间图901的区域。应当指出，虽然在图13B中选择的区域是矩形的，但是选择的形状不旨在局限于此；例如，在选择时可以使用圆(卵)形状、多边形形状、手画的形状或者其它任意形状。

数字1302和1303、数字1304和1305是分配给区域1301内的、从照相机装置4a和4b对移动物体A拍摄的拍摄时间段中自动提取的拍摄时间段的IN-OUT点对。例如，通过CPU 241执行用于监视画面900的应用程序来实现拍摄时间段的提取。在本实施例中，CPU 241指定照相机装置4a和4b同时拍摄的拍摄时间段。

类似地，1306和1307、数字1308和1309是分配给区域1301内的、从照相机装置4a和4b对移动物体B拍摄的拍摄时间段中自动提取的拍摄时间段的IN-OUT点对。

上述处理的结果是，在指定移动物体和多个照相机装置之后，可以容易地执行对在监视空间图901中任意指定的区域内的、全部指定的照相机装置同时拍摄的拍摄时间段的剪裁。

如箭头1310所示，使用鼠标指针904可以将以这种方式自动指定的部分区间的四个集合拖动、放下并插入到编辑视频播放列表916中的任意位置。因此，如果一次全部在特定位置插入了多个部分区间，则以例如从最早的拍摄开始时间开始的顺序在播放列表内排列这些部分区间。这时，可以删除这些部分区间中彼此重叠的部分等，然后进行排列。

可以通过按下按钮917在再现窗口903中再现/停止在该编辑处理的结尾处完成的视频内容、将其转换为合适的视频数据格式、以及保存在外部存储装置246中等。

在图13B中，在指定多个移动物体和多个照相机装置之后，自动执行对在监视空间图901中指定的任意区域内的拍摄时间段的剪裁。然而，本实施例不旨在局限于这种方案。例如，可以指定单个照相机装置，并可以基于该照相机装置拍摄的拍摄时间段自动执行剪裁。

在图13B中，在未指定部分区间的状态下在监视空间图901中选择区域1301。然而，图14B示出在(自动或者手动)指定了预定部分区间的状态下用户在监视空间图901内选择了所希望的区域的状况。与图10B相同，在图14B中，假设照相机装置4a和4b以及移动物体A和B处于选择的状态。

数字1402和1403表示使用任意方法(自动或者手动)指定的部分区间(IN-OUT点对)。

数字1401表示通过鼠标指针904指定的监视空间图901的区域。应当指出，虽然在图14B中指定的区域是矩形的，但是选择的形状不旨在局限于此；例如，可以使用圆(卵)形状、多边形形状、手画的形状或者其它任意形状。

数字1404和1405、数字1406和1407以及数字1408和1409表示在区域1401内自动指定的部分区间。这些部分区间是在与首先在移动物体A或者B的拍摄时间段中指定的部分区间(用1402和1403来表示)相同的时间段期间拍摄的拍摄时间段。应当指出，在图14B中，没有在与首先在移动物体B的拍摄时间段中指定的区间相同的时间段期间拍摄的部分。由于该原因，仅自动剪裁移动物体A的拍摄时间段。

上述处理的结果是，在指定移动物体和多个照相机装置之后，可以容易地执行对在与首先指定的部分区间相同的时间段期间拍摄的、监视空间图901中任意指定的区域内的拍摄时间段的剪裁。

如箭头1410所示，使用鼠标指针904可以将以这种方式自动指定的部分区间的三个集合拖动、放下并插入到编辑视频播放列表916中的任意位置。因此，如果一次全部在特定位置插入了多个部分区间，则以例如从最早的拍摄开始时间开始的顺序在播放列表内排列这些部分区间。这时，可以删除这些部分区间中彼此重叠的部分等，然后进行排列。

通过图6I所示的区域指定处理例程执行上述参考图13B和14B描述的指定区域1301和1401的处理。下文中，描述该区域指定处理例程。

在S6901中，判断发生的事件的类型是鼠标点击、鼠标拖动还是鼠标释放。

在S6902中，执行用于鼠标点击事件的处理。换句话说，在点击的位置处设置第一组坐标(基准坐标)。

在S6903中，执行用于鼠标拖动事件的处理。换句话说，针对鼠标的位置坐标设置表示矩形区域的第二组坐标。

在S6904中，执行用于鼠标释放事件的处理。换句话说，首先，在释放位置处设置第二组坐标，并将由第一和第二组坐标形成的矩形区域作为要进行自动剪裁的区域。之后，根据是否首先使用任意方法指定了一个或多个部分区间(设置有IN-OUT点的区间)来执行(下面描述的)不同的自动剪裁处理。

当没有指定部分区间时

从要进行自动剪裁的上述区域中从由拍摄移动物体的一个或多个照相机装置拍摄的过去的拍摄时间段中自动提取在相同的时间段中拍摄的部分。然后，对提取的部分自动设置IN-OUT点，之后执行剪裁(参见图13B)。然而，这时执行的处理不旨在局限于这种方法。例如，可以自动提取某个照相机装置拍摄的全部拍摄时间段，并且可以对提取的部分自动进行剪裁。

当指定了部分区间时

从要进行自动剪裁的上述区域中从由拍摄移动物体的一个或多个照相机装置拍摄的过去的拍摄时间段中自动提取在与首先指定的部分区间相同的时间段中拍摄的全部部分。然后，对提取的部分自动设置IN-OUT点，之后执行剪裁(参见图14B)。

在视频相关数据821的部分区间表822中适当地设置如上所述自动指定的一个或多个部分区间。应当指出，可以通过按下按钮917中的播放按钮在再现窗口903中以连续的方式再现部分区间表822的内容，这使得可以确认其内容。

变形例2-2

在第二实施例和变形例2-1中，在监视空间图901中显示移动物体在其轨迹上的全部过去的拍摄时间段的情况下，执行剪裁；然而，剪裁方法不旨在局限于此。例如，可以指定一个或多个任意的过去的时间段(从开始时间到结束时间)，之后在监视空间图901中仅显示包含在该一个或多个时间段中的轨迹和拍摄时间段，并且仅对所显示的拍摄时间段进行剪裁。这样做使得可以在指定了时间段的情况下对移动物体的的轨迹进行剪裁。

根据到目前为止所描述的本实施例，客户机3基于监视数据，在显示装置247中显示例如图9B所示的监视画面900。

这使得可以更容易地编辑视频数据。

第三实施例

监视系统10c

第三实施例与第一和第二实施例的不同之处在于，不对移动物体附加用于进行位置检测的物品(例如，IC标签)。因此，不需要事先执行对要监视的移动物体附加IC标签的操作，这使得能够以更灵活的方式使用监视系统。

图1C是示出根据本发明第三实施例的一种类型的监视系统10c的示意图。在图1C中，对与在第一实施例和第二实施例中描述的部件(参见图1A和1B)相同的构成部件给予相同的附图标记，这里省略其说明。

监视系统10c与第一和第二实施例的不同之处在于，其不包括位置检测设备6或者IC标签8。在本实施例中，包含在照相机控制服务器1中的位置数据处理单元213(参见图2C)使用例如在日本特开2000-224457号公报中所公开的技术，来求得移动物体7的位置信息。

照相机控制服务器1

图2C是示出根据本发明第三实施例的照相机控制服务器1的配置的功能框图。在图2C中，对与第二实施例中的部件(参见图2B)相同的构成部件给予相同的附图标记，这里省略其说明。

照相机控制服务器1包括位置数据处理单元213，位置数据处理单元213求得由照相机装置4a和4b识别出的移动物体7在监视空间11中的位置信息。位置数据处理单元213还向位置数据输入单元208输入位置信息，这与第二实施例不同。

视频存储服务器2

视频存储服务器2的配置与第一实施例的配置(参见图2D)相同。然而，因为在第三实施例中有两个照相机装置4a和4b，因此拍摄时间段判断单元228求得照相机装置4a和4b两者拍摄的视频数据的拍摄时间段。

客户机3

客户机3的配置也与第一实施例的配置(参见图2E)相同。然而，在第三实施例中，GUI绘制单元250绘制的GUI是用于监视系统10c(参见图1C)的GUI。

照相机控制服务器1的处理

在本实施例中，在检测移动物体7的位置信息时，不使用IC标签。因此，照相机装置4a和4b设置有例如AF功能，在S1604中，使用例如在日本特开2000-224457号公报中公开的自动焦点检测功能，来检测移动物体7的空间位置坐标。可选地，可以使用三个或者更多个照相机装置，在沿根据各个摇摄角的拍摄方向延伸的直线交于一点的情况下，取这些线的交点作为空间位置坐标，而在这些线不交于一点的情况下，取三个交点的中心作为空间位置坐标。

视频存储服务器2存储的信息

图3B是示出根据本发明第三实施例的视频存储服务器2存储在外部存储装置225中的信息的图。除了位置信息303之外，第三实施例中的视频存储服务器2存储在外部存储装置225中的信息与第二实施例中的信息相同。

在本实施例中，在检测位置信息时不使用IC标签。由于该原因，记录以下信息作为位置信息303：

-移动物体ID(0到Nobj-1)；

-检测位置信息Pti(xi，yi，zi，ts)(位置数据处理单元213输出的每个移动物体7的三维位置坐标。包括时间戳ts的时间系列信息)；以及

视频存储服务器2执行的处理

视频存储服务器2执行的处理与第一实施例的处理(参见图17)相同。此外，拍摄时间段表ETab(i，cid)的配置与第二实施例的配置(参见图19B)相同，并且拍摄时间段判断单元228执行的用于更新拍摄时间段表ETab(i，cid)的处理也与第二实施例中的处理(参见图18B)相同。

监视画面

下文中，参考图9C至12C描述在客户机3的显示装置247中显示的监视空间11的监视画面。

紧接在启动之后

图9C示出紧接在客户机3启动用于显示监视画面的应用程序之后在显示装置247中显示的监视画面900的概略图。在图9C中，对与第一和第二实施例的部件(参见图9A和9B)相同的部件给予相同的附图标记，这里省略其说明。

如上所述，在第三实施例中，由(设置有例如AF功能的)照相机装置4a和4b获取每个移动物体7的位置信息，因此无法在拍摄时间段外获取位置信息。因此，虽然显示拍摄时间段线912，但是不显示存在线911。

此外，显示对应于所选择的照相机装置的视野范围(在图9C中，视野范围909a)以使其可以与视野范围909b相区分。

当选择了移动物体图标时

图10C示出选择了移动物体图标时的监视画面900的概略图。在图10C中，对与图9A中的部件相同的部件给予相同的附图标记，这里省略其说明。

虽然在图10C中仅选择了移动物体B，但是也可以选择多个移动物体。以使得能够与其它线相区分的方式在时间表902中显示对应于所选择的移动物体的线。此外，还可以通过使用鼠标指针904在时间表902中指定所希望的移动物体的线来进行移动物体的选择，并将监视空间图901中移动物体的选择反映在时间表902中，反之亦然。

数字1015表示与所选择的移动物体图标一起显示的移动物体的轨迹(应当指出，不显示拍摄时间段外的轨迹的部分)。当显示轨迹1015时，在所选择的移动物体图标的位置随着时间变化时其长度逐渐增大，跟踪该移动物体图标的位置。数字1019表示辅助线，该辅助线连接在拍摄期间移动物体退出视野范围909a和909b的情况下出现的轨迹1015的断开部分。

数字1016、1017和1018表示照相机装置4a和4b拍摄的并叠加/显示在轨迹1015上的移动物体B的拍摄时间段线。拍摄时间段线1016、1017和1018分别对应于时间表902中的拍摄时间段线1020、1021和1022。虽然假设对各个拍摄时间段线自动分配不同的颜色，但是这从图10C中省略。对监视空间图901和时间表902中彼此对应的拍摄时间段线分配相同的颜色。例如，以相同的红色显示监视空间图901中的拍摄时间段线1018和时间表902中的拍摄时间段线1022。使用相同的标记，以相同的蓝色显示监视空间图901中的拍摄时间段线1017和时间表902中的拍摄时间段线1021。最后，以相同的绿色显示监视空间图901中的拍摄时间段线1016和时间表902中的拍摄时间段线1020。

如果选择了多个移动物体，则针对每个移动物体以相同的颜色显示拍摄时间段线。例如，如果选择了移动物体B和移动物体C，则在监视空间图901和时间表902中以红色显示移动物体B的拍摄时间段线，而在监视空间图901和时间表902中以蓝色显示移动物体C的拍摄时间段线。

当选择了移动物体B时，激活按钮1023。按钮1023对应于时间表902中移动物体B的分类再现按钮。稍后，参考图12C描述分类再现。

数字1024和1025是表示视频数据中的当前再现位置的再现位置指针。在图10C中，再现位置指针1024和1025表示在选择了移动物体B的时间点在拍摄时间段中的最后位置。

在这种状态下，在再现窗口903中显示与再现位置指针1024和1025的位置相对应的帧(静止图像)(在图10C中，移动物体A、B和D存在于该帧中)。

因此，用户可以针对拍摄位置和拍摄时间二者高效率地确认所选择的移动物体的多个拍摄时间段。

按照照相机装置的拍摄时间段

图11C示出按照照相机装置显示图10C所示的拍摄时间段线的监视画面的概略图。在图11C中，对与图10C中的部件相同的部件给予相同的附图标记，这里省略其说明。

当使用鼠标指针904选择了监视空间图901中移动物体B的移动物体图标1121附近的按钮1122(或者时间表902中的按钮1123)时，按钮1122和1123从“+”标志变为“-”标志。然后，按照照相机显示拍摄时间段线。

用分配给照相机装置4a的颜色(例如，灰色)填充照相机装置4a的视野范围909a，还在监视空间图901中用相同的颜色对照相机装置4a拍摄的移动物体B的拍摄时间段线1124、1125和1126进行着色。还在时间表902中用相同的颜色对拍摄时间段线1127、1128和1129进行着色。

同时，用分配给照相机装置4b的颜色(例如，黑色)填充照相机装置4b的视野范围909b，还在监视空间图901中用相同的颜色对照相机装置4b拍摄的移动物体B的拍摄时间段线1130、1131和1132进行着色。还在时间表902中用相同的颜色对拍摄时间段线1133、1134和1135进行着色。

应当指出，选择按钮1122或者1123再次使状态返回到图10C所示的状态。

当选择了再现时间段时

图12C示出在轨迹1015上的拍摄时间段线中选择了再现时间段时的监视画面900的概略图。在图12C中，对与图10C中的部件相同的部件给予相同的附图标记，这里省略其说明。

假设使用鼠标指针904在所选择的移动物体B的轨迹1015上或者在时间表902中选择了单个拍摄时间段线(在图12C中，拍摄时间段线1017或者1021)。当进行了该选择时，再现位置指针1024和1025从图10C所示的位置移动到图12C所示的位置。

当用鼠标指针904选择了拍摄时间段线1017或者1021并按原样拖动时，选择跨越到拖动停止的位置的部分作为再现时间段。然后，在再现窗口903中显示与在拖动期间再现位置指针1024和1025通过的位置相对应的帧。

如果双击并选择了拍摄时间段线1017或者1021，则再现位置指针1024和1025移动到双击的位置，此外，选择双击的整个拍摄时间段作为再现时间段。

例如，用交叉阴影线强调并显示所选择的再现时间段。在图12C中，强调并显示通过拖动选择的拍摄时间段线1017和1021的各个部分。此外，在再现窗口903中显示视频中由再现位置指针1024和1025的位置表示的帧(静止图像)(在图12C中，移动物体A、B和D存在于该帧中)。

因此，针对拍摄位置和拍摄时间二者，用户可以在监视空间图901内容易地选择并指定任意移动物体的任意拍摄时间段中的再现时间段。还可以通过使用这种指定方法依次指定拍摄时间段，来指定多个拍摄时间段作为再现时间段。还可以使用相同的方法指定时间表902中的拍摄时间段线作为再现时间段。

如果在选择了单个或者多个再现时间段的状态下选择了分类再现按钮，连续从视频存储服务器中读出所选择的再现时间段的视频并再现。在再现过程中，再现位置指针1024和1025根据再现进程，也沿着监视空间图901和时间表902中的再现时间段移动。

GUI(监视画面)绘制数据

虽然GUI绘制数据的配置与第一实施例的配置(参见图8A)相同，但是可以根据使用的两个照相机装置4a、4b适当改变GUI绘制数据。

客户机3执行的处理

客户机3执行的处理与第一实施例中的处理相同，因此这里省略其说明(参见图4和图5A至5H)。然而，可以根据使用的两个照相机装置4a、4b适当改变该处理。通过参考如上所述的图9C、10C、11C、12C以及伴随这些图的说明，本领域技术人员可以容易地理解这种改变的细节。

如到目前为止所说明的，根据本实施例，不需要对移动物体附加用于进行位置检测的物品(例如，IC标签)。

因此，不需要事先执行对要监视的移动物体附加IC标签的操作，这使得能够以更灵活的方式使用监视系统。

其它实施例

可以通过对计算机系统或者设备提供存储有实现上述功能的软件的程序代码的存储介质来实现在以上实施例中描述的处理。通过使用系统或者设备的计算机(或者CPU或者MPU)读取存储在存储介质中的程序代码并执行该程序代码，可以实现上述实施例的功能。在这种情况下，从存储介质读取的程序代码实现根据实施例的功能，存储有该程序代码的存储介质构成本发明。可以使用软盘、硬盘、光盘、磁光盘等存储介质来提供程序代码。此外，可以使用CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。

此外，不仅仅通过执行计算机读取的程序代码来实现根据上述实施例的功能。本发明还包括如下情况：在计算机上工作的OS(操作系统)等根据程序代码的指令执行部分或者全部处理，并实现根据上述实施例的功能。

此外，可以将从存储介质中读取的程序代码写入插入计算机的功能扩展卡或者设置在连接到计算机的功能扩展单元中的存储器中。之后，包含在该功能扩展卡或者单元中的CPU等可以根据程序代码的指令执行部分或者全部处理，并实现根据上述实施例的功能。

虽然参考示例性实施例描述了本发明，但是应当理解，本发明不限于公开的示例性实施例。所附权利要求的范围符合最宽的解释，以覆盖全部这种修改以及等同结构和功能。

Claims

1.一种信息处理设备，包括：

获得单元，其获得设置在监视空间中的摄像设备拍摄的视频数据、关于移动物体在所述监视空间中的位置的位置信息、以及关于所述移动物体存在于由所述摄像设备拍摄的所述视频数据中的存在时间段的存在信息；以及

显示处理单元，其基于所述位置信息，处理所述移动物体在所述监视空间中的轨迹的显示，所述显示处理单元处理所述轨迹的显示，使得基于所述存在信息，所述轨迹的对应于所述存在时间段的部分的显示不同于所述轨迹的未对应于所述存在时间段的部分的显示。

2.根据权利要求1所述的信息处理设备，其特征在于，还包括：

移动物体选择单元，其选择移动物体，

其中，所述显示处理单元仅处理所述移动物体选择单元选择的移动物体的轨迹的显示。

3.根据权利要求1所述的信息处理设备，其特征在于，还包括：

第一选择单元，其在所述轨迹中选择存在时间段，

其中，所述显示处理单元再现所述视频数据中与所述第一选择单元选择的所述存在时间段相对应的部分。

4.根据权利要求3所述的信息处理设备，其特征在于，所述显示处理单元处理表示拍摄所述视频数据时所述移动物体在所述轨迹中的位置的指针的显示。

5.根据权利要求4所述的信息处理设备，其特征在于，还包括：

指针移动单元，其沿着所述轨迹移动所述指针，

其中，所述显示处理单元再现所述视频数据中在所述移动物体存在于所述监视空间中与所述指针移动单元所移动的所述指针表示的位置相对应的位置时所拍摄的部分。

6.根据权利要求1所述的信息处理设备，其特征在于，所述显示处理单元处理所述轨迹的显示，使得能够识别拍摄所述存在时间段的所述摄像设备。

7.根据权利要求1所述的信息处理设备，其特征在于：

所述显示处理单元基于所述存在信息，处理所述移动物体的存在时间段在时间轴上的显示，以及

所述显示处理单元再现所述视频数据中与在所述时间轴上选择的所述存在时间段相对应的部分。

8.根据权利要求7所述的信息处理设备，其特征在于，所述显示处理单元处理所述存在时间段在所述时间轴上的显示，使得能够彼此区分移动物体，并且使得能够识别拍摄所述存在时间段的所述摄像设备。

9.根据权利要求3所述的信息处理设备，其特征在于，还包括：

提取单元，其以预定间隔从所述视频数据中与所述第一选择单元选择的所述存在时间段相对应的部分提取代表视频帧，

其中，所述显示处理单元以与拍摄所述代表视频帧时所述移动物体在所述轨迹中的位置相关联的方式，处理基于所述代表视频帧的图像的显示。

10.根据权利要求9所述的信息处理设备，其特征在于：

所述显示处理单元处理引出线的显示，所述引出线用于将基于所述代表视频帧的图像连接到拍摄所述代表视频帧时所述移动物体在所述轨迹中的位置，以及

所述显示处理单元处理基于所述代表视频帧的图像的显示，使得不彼此重叠。

11.一种信息处理方法，包括如下步骤：

获得设置在监视空间中的摄像设备拍摄的视频数据、关于移动物体在所述监视空间中的位置的位置信息、以及关于所述移动物体存在于由所述摄像设备拍摄的所述视频数据中的存在时间段的存在信息；以及

基于所述位置信息，显示所述移动物体在所述监视空间中的轨迹，并且显示所述轨迹，使得基于所述存在信息，所述轨迹的对应于所述存在时间段的部分的显示不同于所述轨迹的未对应于所述存在时间段的部分的显示。

12.根据权利要求11所述的信息处理方法，其特征在于，还包括如下步骤：

选择步骤，用于在所述轨迹中选择存在时间段；以及

再现所述视频数据中与在所述选择步骤中选择的所述存在时间段相对应的部分。