CN1186279A - 图像显示单元、图像显示系统和运动图像检索系统 - Google Patents

Abstract

一种基于多场景回放的运动图像检索用图像显示单元。该图像显示单元包含:用来缩小图像数据的图像缩小装置;用来组合缩小的图像数据以生成组合图像的图像组合装置;用来显示所述组合图像的图像显示装置;以及负责回放图像数据的同时多场景回放装置。其中所述图像缩小装置将待回放的所述图像数据以帧为单位缩小,所述图像组合装置将所述图像数据同一帧的缩小图像数据组合起来,而所述同时多场景回放装置回放组合的图像。

Description

图像显示单元、图像显示系统和运动图像检索系统

本发明涉及计算机图像显示和运动图像检索，特别是涉及基于多场景回放的图像显示和运动图像检索。

作为已有技术，在日本未审查专利No.5-19731中揭示了一种通用同时多场景回放方法。如图33所示，基于这种技术的同时多场景回放方法的图像显示单元的特点在于：译码帧确定装置3301，该装置根据回放时同时显示的运动图像数据量确定译码级别；目标帧译码装置3302，该装置根据译码帧确定装置3301确定的译码级别对图像数据进行译码；以及分别回放每批译码图像数据的运动图像回放装置3303。

此外，在日本未审查专利No.2-113790中揭示了一种运动图像检索方法。按照这种检索方法，如图34所示，提供：典型场景提取装置3401，该装置将表示待检索图像特征的部分运动图像信息作为场景提取出来；菜单图像生成装置3402，该装置将这些场景排列在时间轴上作为菜单图像编辑；以及菜单图像回放装置3403，该装置回放待检索的菜单图像，当观看菜单图像时完成与检索对象一致的图像的检索。

此外，在日本未审查专利No.5-81348中还揭示了一种运动图像检索系统作为从累积的运动图像数据中选择符合用途的数据的方法。图35为示意框图，它示出了日本未审查专利No.5-81348中所揭示的运动图像检索系统的布局。在该运动图像检索系统中，缩小的图像生成部分3502根据所有或部分运动图像数据帧生成显示用的图像数据作为运动图像并进一步从每批运动图像数据的一部分生成表示每批运动图像数据的缩小静止图像。静止图像显示单元3504根据运动图像数据在位图显示单元3506的屏幕上排列和显示代表性的图像，与此同时场景选取装置3507在位图显示器上选取代表性的图像从而由运动显示单元3505在位图显示器3506上依次连续显示由选取的代表性图像表示的运动图像数据的运动图像显示数据。

但是在已有技术中，对于同时多场景回放的情况，通常控制若干缩小场景分别被分配至通过划分显示器屏幕而限定的区域内，因此对于这种分配(与回放的运动图像数量对应)有必要实行译码之类的控制。此外，对于通过网络实现的同时多场景回放，需要确保网络带宽满足回放运动图像数据的需要，并且对于在终端内实现的同时多场景回放，所消耗系统资源的数量对应于待回放运动图像的数量。

而且对于运动图像数据的检索，由于检索对象一般是勾画运动图像特征的一组图像，所以可以借助于类似的图像进行检索，这导致检索效率变差和处理时间延长。

还有一个问题是，为了从若干终端中指定检索条件和在同时回放各终端之间若干不同的运动图像，除了终端和网络的负担以外，服务器的负担将以正比于终端数量的比率增加，从而难以在若干终端上平滑地回放运动图像。

而且在已有的方法中，为了从作为检索对象的运动图像数据中寻找到定向场景，需要回放和检查预先生成的整个运动图像显示图像数据，而这种检索需要花费巨大的时间和精力。

因此本发明的一个目标是消除因对待回放运动图像译码引起的控制麻烦并在这种同时多场景回放过程中充分利用网络带宽和系统资源。

本发明另一个目标是在根据静止图像检索运动图像数据时，既加快检索过程又避免漏检。

本发明进一步的目标是提供一种图像检索系统，它能够在若干终端处利用平滑运动数据回放符合多个终端中每一个指定的检索条件的一系列运动图像数据。

本发明的进一步目标是提供一种运动图像回放系统，它能够从运动图像数据中快速而简单地检索出符合要求的场景。

为了解决上述难题，本发明的第一方面是将若干待回放的运动图像数据以帧为单位缩小并进行组合或合成从而生成一幅待回放的运动图像。当同时回放多场景下若干运动图像数据时，可以避免因译码若干待回放运动图像而引起的控制麻烦。而且例如在通过网络传送这种组合图像时，正向提供的数据流数量减少，从而可以充分利用网络的带宽，并且减少计算机终端在回放上消耗的系统资源。

本发明的第二方面是，对于利用关键图像检索运动图像数据的情况，关键图像不再与运动图像数据内所有的帧进行比较而是与运动图像数据每个场景的代表性帧进行比较。因此当利用静止图像作为关键图像对运动图像数据进行检索时，由于经过检索的帧数据量减少，所以加快了检索处理过程。

本发明的第三方面是，对于利用关键图像检索运动图像数据的情况，除了将关键图像与运动图像数据每个场景的代表性帧进行比较以外，还将经过比较确定为一致的场景代表新帧指定为新的关键图像，并利用新指定的关键图像进行检索，从而避免了检索遗漏。因此利用静止图像作为关键图像来检索运动图像数据的情况，在数量上增加了作为关键图像的静止图像，从而避免了检索遗漏。

本发明的第四方面是，在服务器一侧将若干待回放的运动图像数据以帧为单位缩小并进行组合从而生成一幅运动图像，并且经过组合的图像在终端一侧回放。因此当同时回放多场景下若干运动图像数据时，正向提供的数据流数量减少，从而可以充分利用发送和接收组合图像的网络的带宽，并且减少计算机终端在回放上消耗的系统资源。

本发明的第五方面是，运动图像检索服务器提取若干符合检索条件的运动图像数据，并根据图像缩小装置从运动图像存储装置中提取的运动图像数据生成缩小的图像，进一步利用图像组合装置将缩小的图像组合起来并放入组合图像存储装置中。而且还通过组合图像发送控制装置向终端发送组合图像存储装置存储的数据，与此同时运动图像检索终端显示接收到的组合图像。即使在将符合检索条件的若干运动图像数据同时显示于屏幕上时，由于在运动图像检索服务器中检索和组合的运动图像数据通过网络接收并回放，所以诸如存储器和磁盘之类的系统资源和网络上的负担能够满足同时显示一批运动图像数据的要求。

本发明的第六方面是，对生成组合图像所花费时间进行计算以根据服务器的负担调整所组合的图像数据的帧间隔，由此根据服务器的负担向运动图像检索终端发送平滑的运动图像。

本发明的第七方面是，在运动图像检索服务器中，组合图像发送控制装置将生成的组合图像帧数与送往运动图像检索终端的组合图像帧数进行比较，并在组合图像发送数等于组合数时，在如下的一种状态下不断重复发送所生成的组合图像，此时发送(发出)帧数处于头部位置而组合运动图像数据随时间不断累积直到发送数等于生成数，从而可以在运动图像检索终端处平滑回放运动图像数据。

本发明的第八方面是，计算生成以预期时间回放的组合图像所需的时间，并在生成余下的组合图像所需时间小于回放预期时间时开始发送组合图像。在此基础上，无需等到生成以预期时间回放的组合运动图像数据之后而只需经过一个短暂的等待时间就可开始回放符合检索条件的若干运动图像数据。

本发明的第九方面是，在使任意指定的运动图像数据交错其回放开始时间的状态下对提取的图像数据进行缩小以生成随时间排布的组合图像，并且组合图像显示于运动图像检索终端处。因此可以更精确地检索选定的运动图像数据并更快地发现定向场景。

根据本发明，提供了一种图像显示单元，它包含：用来缩小图像数据的图像缩小装置；用来组合缩小的图像数据以生成组合图像的图像组合装置；用来显示组合图像的图像显示装置；以及负责回放图像数据的同时多场景回放装置，其中图像缩小装置将待回放的图像数据以帧为单位缩小，图像组合装置将图像数据同一帧的缩小图像数据组合起来，而同时多场景回放装置回放组合的图像。

图像缩小装置包括：用来以任意像素为单位对图像进行划分以形成宏块的宏块形成装置；用来完成每个宏块正交变换的正交变换装置；用来从经过正交变换的宏块中提取对应最低频率项的像素的像素提取装置；以及用来组合由像素提取装置提取的像素的像素组合装置。

而且根据本发明，提供了一种图像显示单元，它包含：用来缩小图像数据的图像缩小装置；用来组合缩小的图像数据以生成组合图像的图像组合装置；用来显示组合图像的图像显示装置；以及用来选择和回放待回放的组合图像的图像数据的装置，其中图像缩小装置将非回放图像数据和待回放图像数据以帧为单位进行缩小，图像组合装置将非回放的缩小图像数据和待回放的缩小图像数据以帧为单位组合起来，而选择图像回放装置选择并回放组合的图像数据。

而且根据本发明，提供了一种图像显示单元，它包含：用来输入用作检索关键的关键图像的关键图像输入装置；利用关键图像检索运动图像数据的运动图像检索装置；用来缩小检索到的运动图像数据的图像缩小装置；用来将缩小图像数据组合为组合图像的图像组合装置；以及用来显示组合图像的图像显示装置。

运动图像检索装置包括：用来检测被检索图像数据切割点的切割点检测装置；用来在一个场景内提取任一帧的的提取装置；以及用来将提取的帧与关键图像进行比较的图像比较判断装置。

运动图像检索装置进一步包括关键图像指定装置，用来根据图像比较判断装置的结果将与关键图像一致的帧最新指定为关键图像，而图像比较判断装置采用新指定的关键图像重新进行比较。另一方面，运动图像检索装置进一步包括根据图像比较判断装置的比较结果最新指定某一帧为关键图像的关键图像指定装置，在包括与首先提及的关键图像一致的帧在内的场景的所有帧中，该帧与首先提及的关键图像最为相似，而图像比较判断装置采用新指定的关键图像重新进行比较。运动图像检索装置进一步包括图像相似性输出装置，它用来输出在图像比较判断装置中比较的帧与关键图像之间的相似性从而由关键图像指定装置指定具有最大相似性的帧。

而且根据本发明，提供了包含用来生成和发送经过缩小和组合的场景的运动图像检索服务器和接收并回放经过缩小和组合的场景的运动图像检索终端，服务器和终端通过网络互相连接起来，服务器包括：用来存储被检索的运动图像数据的运动图像存储装置；利用运动图像数据生成缩小图像的图像缩小装置；利用缩小图像生成组合图像的图像组合装置；用来控制组合图像生成的组合图像生成控制装置；用来存储组合图像上数据的组合图像存储装置；用来控制存储在组合图像存储装置内的组合图像数据向终端的发送的组合图像发送控制装置；以及用来控制与终端通信的通信装置，而终端包括：用来控制与服务器通信的的通信装置；以及将服务器内生成的组合图像数据显示出来的组合图像回放装置，其中服务器对若干运动图像数据进行缩小和组合以生成组合图像数据并通过网络发送生成的组合图像数据，与此同时终端接收生成的组合图像数据并将其作为运动图像回放。

根据本发明，提供了包含用来检索运动图像的运动图像检索服务器和用来向运动图像服务器提出运动图像检索请求的运动图像检索终端的运动图像检索系统，服务器和终端通过网络互相连接起来，运动图像服务器包括：用来存储被检索的运动图像数据的运动图像存储装置；对存储在运动图像存储装置中的运动图像数据进行检索的运动图像检索装置；用来从满足由运动图像检索装置检索获得的检索条件的运动图像数据以每帧的频率提取图像数据的图像提取装置；根据运动图像提取装置提取的图像数据生成缩小图像的图像缩小装置；根据缩小图像生成组合图像的图像组合装置；用来控制组合图像生成的组合图像生成控制装置；用来存储组合图像上数据的组合图像存储装置；用来控制存储在组合图像存储装置内的组合图像数据向运动图像检索终端的发送的组合图像发送控制装置；以及用来控制与终端通信的通信装置，而运动图像检索终端包括：输入运动图像数据检索条件的检索条件输入装置；用来控制与运动图像检索服务器通信的的通信装置；以及将运动图像检索服务器内生成的组合图像数据显示出来的组合图像回放装置，其中运动图像检索服务器对若干符合检索条件的运动图像数据进行缩小和组合以生成组合图像数据并通过网络发送生成的组合图像数据，与此同时运动图像检索终端接收生成的组合图像数据并将其作为运动图像回放。

运动图像检索服务器提供有组合图像压缩装置，用来压缩图像组合装置生成的组合图像数据并将压缩的图像数据存储在组合图像存储装置内，与此同时运动图像检索终端配备有组合图像扩展装置，用来扩展通过通信装置接收到的组合图像数据并进一步向组合图像回放装置输出经过扩展的组合图像数据，从而使压缩数据用于组合图像数据的存储和运动图像检索服务器与运动图像检索终端之间的通信。

运动图像检索服务器提供有帧间隔设定装置，用来根据给定帧数的组合图像数据所需生成时间设定运动图像检索装置产生运动图像数据所需的帧间隔，从而根据帧间隔设定装置设定的帧间隔改变图像提取装置中满足检索条件的若干运动图像数据的提取帧间隔。而且组合图像发送控制装置包括：用来存储图像组合装置生成的一定帧数的组合图像的写入帧存储装置；用来根据写入帧存储装置中存储的写入帧数控制组合图像发送开始的发送开始控制装置；用来存储从运动图像检索服务器向运动图像检索终端发送的组合图像帧数的发送帧存储装置；用来将存储在写入帧存储装置中的生成的组合图像帧数与从运动图像检索服务器向运动图像检索终端发送并存储在发送帧存储装置中的组合图像帧数进行比较以确定下一发送帧数的帧比较装置；以及用来从组合图像存储装置中读取由帧比较装置设定的对应发送帧数的组合图像并进一步向通信装置输出的组合图像发送装置，其中组合图像发送控制装置将所生成的组合图像的帧数与向运动图像检索终端发送的组合图像帧数进行比较，并且在向运动图像检索终端发送的组合图像帧数等于或大于所生成组合图像帧数时将下一发送的帧数设定为头部并且重复所生成组合图像的回放。

另一方面，组合图像发送控制装置包括：用来存储由图像组合装置生成的组合图像帧数的写入帧存储装置；用来根据存储在写入帧存储装置中的帧数以及帧数写入时间计算组合图像生成速度的组合图像生成速度计算装置；用来根据由组合图像生成速度计算装置获得的组合图像生成速度以及回放预期时间控制发送开始的发送开始控制装置；用来存储组合运动图像数据的回放预期时间的回放预期时间存储装置；用来存储从运动图像检索服务器向运动图像检索终端发送的组合图像帧数的发送帧存储装置；用来将存储在写入帧存储装置中的生成的组合图像帧数与从运动图像检索服务器向运动图像检索终端发送并存储在发送帧存储装置中的组合图像帧数进行比较以设定下一发送帧数的帧比较装置；以及用来从组合图像存储装置中读取由帧比较装置设定的对应发送帧数的组合图像并进一步向通信装置输出的组合图像发送装置，其中写入帧存储装置和组合图像生成速度计算装置计算与回放预期时间对应的组合图像所需的生成时间，并且在生成余下的组合图像所需时间小于回放预期时间时开始发送组合图像。

运动图像检索终端还提供有图像选择装置，用来从通过缩小和组合符合检索条件的若干运动图像数据而生成的组合运动图像中选择所需的运动图像数据，与此同时运动图像检索服务器配备有用来存储组合图像除数的场景除数存储装置和用来在这样一种状态下从运动图像存储装置中提取图像的时间划分提取装置，在该状态下所指定的运动图像数据回放时间是交错的，并且运动图像检索服务器对图像数据进行缩小，该图像数据通过对图像选择装置以时间为单位指定的任意运动图像数据以存储在场景除数存储装置中的除数进行划分并加以提取获得，还将缩小的图像数据按照时间顺序排列以生成组合图像。

而且，根据本发明，提供了运动图像检索系统，它包含用于检索运动图像的运动图像检索服务器和用于向运动图像检索服务器提出运动图像检索请求的运动图像检索终端，运动图像检索服务器和运动图像检索终端通过网络互相连接起来，运动图像检索服务器包括：用来存储被检索的运动图像数据的运动图像存储装置；对存储在运动图像存储装置中的运动图像数据进行检索的运动图像检索装置；用来在这样一种状态下从运动图像存储装置中提取图像的时间划分提取装置，在该状态下所指定的运动图像数据回放开始时间是交错的；根据运动图像提取装置提取的图像数据生成缩小图像的图像缩小装置；根据缩小图像生成组合图像的图像组合装置；用来控制组合图像生成的组合图像生成控制装置；用来存储组合图像上数据的组合图像存储装置；用来控制存储在组合图像存储装置内的组合图像数据向运动图像检索终端的发送的组合图像发送控制装置；以及用来控制与终端通信的通信装置，而运动图像检索终端包括：输入运动图像数据检索条件的检索条件输入装置；用来控制与运动图像检索服务器通信的的通信装置；以及将运动图像检索服务器内生成的组合图像数据显示出来的组合图像回放装置，其中时间划分提取装置提取存储在运动图像存储装置内的运动图像数据，而图像组合装置按照时间顺序排列符合检索条件的运动图像数据和在这样一种状态下的运动图像数据，在该状态下符合检索条件的运动图像数据的开始时间是交错的，从而生成组合图像。

通过以下结合附图对较佳实施例的详细描述可以更容易地理解本发明的目标和特征。

图1为按照本发明第一实施例的图像显示单元的布局示意图；

图2A为按照本发明的图像数据显示过程流程图；

图2B为按照本发明第一实施例的同时多场景回放处理流程图；

图3为按照本发明第二实施例的图像显示单元的布局示意图；

图4为按照本发明第二实施例的选择图像回放处理流程图；

图5为按照本发明第三实施例的图像缩小装置示意图；

图6为按照本发明第三实施例的图像缩小装置所执行操作的流程图；

图7为按照本发明第四实施例的图像显示单元的示意图；

图8为本发明第四实施例所执行操作的流程图；

图9表示本发明第五实施例的运动图像检索装置的布局；

图10为图9的运动图像检索装置所执行操作的流程图；

图11表示按照本发明第六实施例的运动图像检索装置的布局；

图12为图11的运动图像检索装置所执行操作的流程图；

图13表示按照本发明第七实施例的运动图像检索装置的布局；

图14为图13的运动图像检索装置所执行操作的流程图；

图15表示按照本发明第八实施例的运动图像检索系统的布局；

图16为本发明第八实施例的运动图像检索服务器进行多运动图像组合处理的流程图；

图17为本发明第八实施例的图像组合示例的示意图；

图18为本发明第八实施例的组合图像发送控制装置操作的流程图；

图19表示本发明第九实施例的运动图像检索系统；

图20为本发明第九实施例的多运动图像组合处理的流程图；

图21为按照本发明第十实施例的运动图像检索服务器的组合图像发送控制装置的布局；

图22为本发明第十实施例的组合图像发送控制处理的流程图；

图23表示本发明第十实施例的组合图像回放状态；

图24表示本发明第十一实施例的运动图像检索服务器的组合图像发送控制装置的布局；

图25为本发明第十一实施例的图像组合处理流程图；

图26为本发明第十一实施例的发送开始检查处理流程图；

图27为本发明第十一实施例的运动图像发送处理流程图；

图28表示按照本发明第十二实施例的运动图像检索系统的布局；

图29为第十二实施例的组合图像生成处理流程图；

图30为本发明第十二实施例的缩小图像放置示例的示意图；

图31表示按照本发明第十三实施例的运动图像检索系统的布局；

图32为本发明第十三实施例的缩小图像放置示例的示意图；

图33为基于已有技术的图像显示单元布局示意图；

图34为基于已有技术的运动图像检索装置布局的示意图；以及

图35为基于已有技术的运动图像检索系统布局的示意图。

以下借助附图1-32描述本发明的实施例。

(第一实施例)

图1为按照本发明第一实施例的图像显示单元的布局示意图。在图1中，标号101代表用来缩小图像数据的图像缩小装置，标号102表示用来组合经图像缩小装置101缩小的图像的图像组合装置，标号103表示用来显示由图像组合装置102组合的图像的图像显示装置，标号104表示用来同时回放图像的同时多场景回放装置，该图像的获得方式为所有由图像组合装置102组合并由图像显示装置103显示的图像在图像缩小装置101内以帧为单位缩小并在图像组合装置102中以帧为组合。

图2A和2B为按照本实施例的图像显示单元执行操作的流程图。以下借助图1以及流程图2A和2B描述操作。在图2A和2B中，操作开始于步骤201以获得待显示为列表的图像数据数，随后在步骤202中根据获得的图像数据数计算缩小比率。而且在步骤203中，开始阶段数(i)设定为零，而在步骤205中，图像缩小装置101以步骤202计算的的缩小比率对图像数据进行缩小直到开始步骤数(i)等于作为列表显示的图像数据数(步骤204)，每次缩小之后，在步骤206开始步骤数(i)增加1。开始步骤的“开始”标志着每个宏块正交变换的开始，而“步骤”指的是被划分宏块的正交变换步骤。当开始步骤数(i)等于作为列表显示的图像数据数时(步骤204)，在步骤207中，图像组合装置102将经过缩小的所有图像数据组合起来并在步骤208中由图像显示装置103显示在图像组合装置102内组合的图像。

如果接收到回放与来自用户的组合图像对应的所有运动图像数据的要求或请求(步骤209和210)，则操作转入步骤211以获得运动图像数据帧数(m)，该运动图像的帧数是所有经过回放的运动图像中帧数最大的，随后的步骤212将开始步骤数(i)设定为零，并且直到开始步骤数(i)等于帧数最大的运动图像数据的帧数(m)(步骤213)，执行步骤214以检查所有运动图像数据中是否有帧数不等于开始步骤数(i)的。如果存在这样的情况(由步骤214确认)，则操作转入步骤215以将帧数与开始步骤数(i)不等的运动图像数据的最后一帧设定为第i帧。此后，在步骤216中图像缩小装置101以步骤202中计算的缩小比率缩小所有运动图像数据的第i帧，并在步骤217中由图像组合装置102组合所有运动图像数据第i帧的图像，而在步骤218中，图像显示装置103在与第i帧组合图像同步的状态下显示前述组合图像，随后的步骤219将开始步骤数(i)增加1。

此后操作流程返回步骤213，进行相同的操作直到i＝m。另一方面，如果步骤210的判断是“否”，则结束操作。

如上所述，按照本实施例，对于同时回放所有经过缩小、组合并显示的图像的情形，即使就帧数较小的图像而言其帧数不同，在回放最后一帧之后，相同的最后一帧不断被回放从而使同时多场景回放并处理为一批运动图像数据的回放。因此可以省略麻烦的控制，例如在回放一侧与所回放运动图像数对应的译码。此外，对于通过网络传送组合图像或者其它的情形，在通过网络回放多批运动图像数据过程中，可以缩小数据流的数量，并在相同的终端上减少系统资源的消耗，从而可以有效利用系统资源，因此具有很好的实用效果。

(第二实施例)

图3为按照本发明第二实施例的图像显示单元布局的示意图。在图3中，标号301表示用来缩小图像数据的图像缩小装置，标号302表示用来组合由图像缩小装置301缩小的图像的图像组合装置，标号303表示用来显示由图像组合装置302组合的图像的图像显示装置，标号304表示用来从图像显示装置303显示的图像中选择回放图像的回放图像选择装置，而标号305表示用来同时回放由回放图像选择装置304指定的图像的同时选择图像回放装置。

图4为同时选择图像回放装置305执行操作的流程图。以下借助图3、图2A和图4来描述该操作。与上述第一实施例的情形一样，一部分操作如图2A所述。在图2A和4中，如果用户要求是一个选择场景回放要求(步骤209，401)，则在步骤402，开始步骤数(i)设定为零，并且随后执行步骤403以获得对应运动图像数据的待回放运动图像数据的信息，用户在上述组合图像中进行选择，随后在步骤404根据步骤403获得的信息确定矩形回放范围。而且步骤405随后获取待回放运动数据中的最大帧数的运动图像数据的帧数(m)。直到开始步骤数(i)等于帧数最大的运动图像数据的帧数(m)(步骤406)，在步骤407，检查是否有帧数与开始步骤数(i)不等的运动图像数据回放。如有则随后的步骤408将帧数小于开始步骤数(i)的运动图像数据的最后帧设定为第i帧(i：开始步骤数)。接着，执行步骤409来检查是否还有应该而未回放的运动图像数据。如果存在这种情况(判断为“是”)，则在步骤410，在非回放运动图像数据中，最初显示的帧上的数据(帧数)被设定为开始步骤数(i)，并且在步骤411中，图像缩小装置301以步骤202中计算的缩小比率缩小所有运动图像的数据的第i帧，而在步骤412中，图像组合装置302将所有经过缩小的运动图像数据的第i帧图像组合起来，并且在步骤413中，图像显示装置303在与第i帧组合图像同步的状态下显示组合图像。随后，在步骤414中开始步骤数(i)增加1，并且在开始步骤数(i)等于最大帧数的运动图像数据的帧数(m)时结束操作。当步骤410的应答为“否”时也结束操作。

如上所述，按照本实施例，在缩小、组合和显示所有图像的情况下，选择的图像包括同时回放的图像从而使选择的图像形成矩形结构并进行回放，对于被选择以外的图像，它们被重复回放第一帧，并且以同样的方式，对帧数较小的被选择图像而言，即使在回放之后，它们也被重复回放第一帧，即除了所有被缩小、组合和显示的图像以外，也可以选择一部分，因此除了效果以外，还可以精简无用的数据量，则可以获得很好的实用效果。

(第三实施例)

图5为本实施例的图像缩小装置101的图像缩小装置内部布局示意图。在图5中，标号501代表用来以任意像素为单位划分图像数据的宏块形成装置，标号502表示用来完成由宏块形成装置形成的每个宏块的正交变换的正交变换装置，标号503表示用来提取第一最小频率(最低频率)项的像素提取装置，而标号504表示用来组合由像素提取装置503提取的像素的像素组合装置。

图6为按照本发明第三实施例的图像缩小装置101执行操作的流程图。以下借助图5和图6描述该操作。在图6中，在步骤601中，宏块形成装置501将图像数据按照缩小率划分为宏块，随后在步骤602将开始步骤数(i)设定为零。如果开始步骤数(i)因为步骤601的划分而小于宏块数(步骤603)，则进入步骤604从而由正交变换装置502完成宏块的的正交变换，并执行步骤605从而在步骤604的正交变换之后由像素提取装置503提取第一低频项的像素。此后，执行步骤606使开始步骤数(i)增加1。当开始步骤数(i)由于步骤601划分的宏块数而等于宏块数时(步骤603)，在步骤607图像组合装置504组合提取的像素以产生缩小的图像。

如上所述，按照本实施例，缩小的图像可以通过改变宏块数任意产生，从而可以方便地产生任意的缩小图像，则在实践中取得了很好的效果。

(第四实施例)

图7为按照本发明第四实施例的图像显示单元布局实例的示意图。在图7中，标号701代表用来输入检索运动图像用的关键图像的关键图像输入装置，标号702表示用来通过与关键图像进行比较检索运动图像数据的运动图像检索装置，标号703表示用来缩小作为检索结果的图像数据的图像缩小装置，标号704表示用来组合经过图像缩小装置703缩小的图像的图像组合装置，标号705表示用来显示由图像组合装置704组合的图像的图像显示装置。

图8为按照本发明第四实施例的图像显示单元执行操作的流程图。以下借助图7和图8描述该操作。在图8中，在步骤801中，作为检索条件的关键图像通过关键图像输入装置701输入，并且在步骤802中运动图像检索装置702根据输入的关键图像检索运动图像数据。当步骤802的判断表明存在与关键图像一致的运动图像时(步骤803)，在步骤804中，图像缩小装置703缩小一致的运动图像数据的代表帧。而且在步骤805中，图像组合装置704对所有缩小的代表性帧进行组合，并且在步骤806中图像显示单元705显示由图像组合装置704组合的图像。

如上所述，按照本实施例，由于检索结果作为静止图像的数据列表显示，所以可以容易地缩小检索结果范围，这在实践中取得了很好的效果。

(第五实施例)

图9为上述第四实施例的运动图像检索装置702内部布局的示意图。在图9中，标号901表示用来检测作为转变点的切割点或者运动图像数据场景之间的变换的切割点检测装置，标号902表示用来提取运动图像数据内每个场景代表性帧的帧提取装置，标号903表示用来输入作为检索条件的关键图像的关键图像输入装置，而标号904表示用来将关键图像与每批运动图像数据的代表性帧进行比较以输出一致的运动图像数据的代表性帧的图像比较判断装置。

图10为图7中运动图像检索装置702执行操作的流程图。以下借助图8、9和10描述该操作。在图10中，在步骤1001中，切割点检测装置901检测作为检索对象的运动图像数据的切割点，并在步骤1002中，帧提取装置902提取根据两个连续切割点经过计算或获得的场景代表性帧。而且在步骤1003中，关键图像输入装置903输入关键图像，在此基础上根据步骤1003中输入的关键图像检索由帧提取装置902提取的代表性帧。随后的步骤与图8中步骤803以及随后的步骤一样。

如上所述，按照本实施例，由于关键图像与运动图像数据场景的代表性帧的比较可以避免关键图像与运动图像数据所有帧的比较，所以可以加快检索速度，则在实践中获得了很好的效果。

(第六实施例)

图11为按照本发明第六实施例的运动图像检索装置702的内部布局另一实例。在图11中，运动图像检索装置由用来检测来自作为运动图像数据场景变化的切割点的切割点检测装置1101、用来提取运动图像数据内每个场景的代表性帧的帧提取装置1102、用来输入作为检索条件的关键图像的关键图像输入装置1103、用来将关键图像与每批运动图像数据每个场景的代表性帧进行比较以输出与关键图像一致的运动图像数据的代表性帧的图像比较判断装置1104、以及用来将比较中一致的帧指定为关键图像的关键图像指定装置1105。

图12为图7运动图像检索装置702执行操作的流程图。以下借助图11、8和12描述该操作。在图12中，在步骤1201中，切割点检测装置1101检测作为检索对象的运动图像数据的切割点，并在步骤1202中，帧提取装置1102提取根据两个相邻切割点所定义场景的代表性帧。而且在步骤1203中，关键图像输入装置1103输入关键图像。而且在步骤1204中，根据步骤1203输入的关键图像检索由帧提取装置1102提取的运动图像的每个场景的代表性帧。如果存在一致的代表性帧(步骤1205)，则在步骤1206关键图像指定装置105将与关键图像一致的所有代表性帧指定为关键图像，从而在步骤1207用新指定的关键图像再次检索代表性帧。以下步骤与图8中步骤803以及随后的步骤一样。

如上所述，按照本实施例，由于另外提供了关键图像指定装置用以将一致的帧指定为关键图像，所以增加了检索关键的图像数，因此避免了检索遗漏。这在实践中取得了很好的效果。

(第七实施例)

图13为按照本发明第七实施例的图像检索装置内部布局的进一步实例。在图13中，图像检索装置由用来检测作为运动图像数据变化的切割点的切割点检测装置1301、用来提取运动图像数据内每个场景的代表性帧的帧提取装置1302、用来输入作为检索条件的关键图像的关键图像输入装置1303、用来将关键图像与每批运动图像数据每个场景的代表性帧进行比较以输出与关键图像一致的运动图像数据的代表性帧的图像比较判断装置1304、用来从根据图像比较判断装置1304获得的所有包括一致帧的场景帧中选择最相似帧并输出最相似帧的图像相似性输出装置1305以及用来将图像相似性输出装置1305输出的最相似帧指定为关键图像的关键图像指定装置1306。

图14为按照第七实施例的运动图像检索装置执行操作的流程图。以下借助图13、8和14描述该操作。在图14中，在步骤1401中，切割点检测装置1301检测作为检索对象的运动图像数据的切割点，并在步骤1402中，帧提取装置1302提取根据两个相邻切割点计算所得场景的代表性帧。而且在步骤1403中，关键图像输入装置1303输入关键图像。而且在步骤1404中，根据步骤1403输入的关键图像检索由帧提取装置1302提取的运动图像的每个场景的代表性帧。如果存在一致的代表性帧(步骤1405)，则在步骤1406帧提取装置1302提取所有包括一致性代表帧的场景的帧，并且在步骤1407中，图像相似性输出装置1305将关键图像与所有提取的帧进行比较并且关键图像指定装置1306将最相似的帧指定为关键图像。因此在步骤1408中，代表性帧利用新指定的关键图像再次进行检索。以下步骤与图8中步骤803以及随后的步骤一样。

如上所述，按照本实施例，由于进一步提供了图像相似性输出装置以输出从根据图像比较判断装置1304获得的所有包括一致帧的场景帧中选择的最相似帧，并且作为新的检索关键比初始关键图像更相似，所以提高了检索结果的精度。这在实践中取得了很好的效果。

(第八实施例)

图15为按照本发明的第八实施例的运动图像检索系统布局实例的示意图，在这里运动图像检索服务器1500和运动图像检索终端1520通过网络1530连接起来。

运动图像检索服务器包括用来检索符合检索条件的运动图像数据的运动图像检索装置1501、用来存储作为检索对象的运动图像数据的运动图像存储装置1502、用来控制组合图像一系列生成处理的组合图像生成控制装置1503、用来从符合运动图像检索装置1501获得的检索条件的运动图像数据中以每帧的频率提取图像的图像提取装置1504、用来缩小运动图像数据的图像缩小装置1505、用来规则放置缩小图像以将它们组合成场景的图像组合装置1506、用来存储组合图像的组合图像存储装置1507、用来输出有关所生成组合图像的信息(例如帧数)和提出检索请求的终端的标识的组合图像发送控制装置1508以及用来控制与终端的通信的通信装置1509。

另一方面，运动图像检索终端1520由用来输入检索条件(例如关键词)的检索条件输入装置1521、用开控制于运动图像检索服务器1500通信的通信装置1522以及用来显示作为检索结果的组合图像数据的组合图像回放装置1523。

图16为按照本实施例的运动图像检索系统的运动图像检索服务器1500多运动图像组合处理的流程图。以下借助图15和16描述该操作。

首先运动图像检索装置1501从运动图像存储装置1502存储的运动图像数据中检索符合检索条件的运动图像数据(步骤1601)，并花费最长的时间获得符合检索条件的运动图像数据的数据帧数和输出至组合图像生成控制装置1503(步骤1602)，并且进一步将读取的帧数(i)初始化为零和输出符合检索条件的运动图像数据的标识和向图像提取装置1504指示的组合图像生成开始的信息(步骤1603)。

其次，图像提取装置1504从由运动图像检索装置1501获得的符合检索条件的每批运动图像数据中提取第i帧图像(i：读取的帧数)(步骤1604)。

接着，图像缩小装置1505以预先设定的任意的缩小速率对图像提取装置1504中提取的运动图像数据的第i帧图像数据进行缩小(步骤1605)。就该缩小比率而言，例如如果是在4(长)×4(宽)下进行组合，则每条边缩小为1/4。虽然缩小比率设定为1/4，但是即使数据按照同时显示的运动图像数据数以任意的缩小比率沿垂直或水平方向缩小，显然也不会影响其它的操作。

接着图像组合装置1506放置由图像缩小装置1505缩小的帧图像从而使不致互相交叠，因此组合成一幅图像(步骤1606)。图17为图像组合装置1506场景组合实例的示意图。虽然为描述起见缩小的图像按照图17所示放置，但是只要缩小图像排列成不相交叠，也可以沿垂直方向规则地排列或者以其它方式排列。

而且图像组合装置1506使得生成的第i帧组合图像存储在组合图像存储装置1507中(步骤1607)，并且进一步输出存储的位置，例如写入组合图像存储装置1507的组合图像文件的名字和地址、帧数(i)和向组合发送控制装置1508发出检索请求的终端的标识(步骤1608)。

而且读取帧数(i)增加1并且操作进入下一帧(步骤1609)。当读取帧数(i)仍然小于由运动图像检索装置1501获得的符合检索条件的运动图像数据最大最大运动图像数据的帧数时，重复执行步骤1604-1609，因此从经过缩小和组合的符合检索条件的运动图像数据生成组合图像数据(步骤1610中的“是”判断)。

另一方面，如果读取帧数(i)大于由运动图像检索装置1501获得的符合检索条件的运动图像数据最大帧数时，结束组合图像数据的生成(步骤1610中的“否”)。(同样当二者相等时，执行的操作与读取帧数(i)超过最长的运动图像数据帧数一样)。

按照上述操作，通过在每个终端处组合多批符合检索条件的运动图像数据生成运动图像，并且在加入标识(例如存储在发出检索请求的每个终端内的地址和文件名)之后，将最终的组合图像存储在运动图像检索服务器1500的组合图像存储装置1507中。

其次，参见图18，以下描述组合图像发送控制装置1508对发出检索请求的终端执行组合图像发送控制时操作的流程图。

组合图像发送控制装置1508接收输出的指示存储位置的标识(例如写入组合图像存储装置1507内的组合图像文件名和地址)、所生成组合图像的帧数(i)以及从图像组合装置1506发出检索请求的终端的标识(步骤1801)。当所生成组合图像的帧数(i)大于任意值(步骤1802中的判断“是”)时，发送帧数(j)初始化为零(步骤(1803)，并且随后开始向发出检索请求的终端发送组合图像。

而且组合图像发送控制装置1508生成与存储在组合图像存储装置1507内的组合图像的发送帧数(j)对应的图像(步骤1804)，并且进一步输出生成的组合图像数据和向通信装置1509发出检索请求的终端的标识(步骤1805)。

而且发送帧数(j)增加1并且操作转入下一帧(步骤1806)。不断重复步骤1804-1806直到发送帧数(j)大于生成的组合图像的帧数(i)(步骤1807中的判断“是”)。

通信装置1509向对应组合图像发送控制装置1508输出的终端标识的运动图像检索终端发送组合运动图像数据。

在上述操作下，经过组合图像发送控制装置1508的控制，组合运动图像数据发送至运动图像检索终端1520，它由上述标识确定并输入检索条件。

另一方面，在运动图像检索终端1520中，通信装置1522接收来自运动图像检索服务器1500的组合运动图像数据，与此同时组合图像回放装置1523显示接收的组合运动图像数据。

按照在本实施例中由用户输入检索条件而服务器一侧生成并发送作为检索结果的组合图像，但是如果这种检索不是特别需要，则在这种系统中图15的运动图像检索装置1501和检索条件输入装置1521也不是特别有用。

在这种情况下，除了上述布局以外，进一步压缩并发送作为检索结果的组合图像并且在接收一侧扩展和显示其内容也是合适的。此时的压缩和扩展方法没有特别的限制。

如上所述，按照本实施例，在同时显示作为检索对象的多运动图像的情况下，在运动图像检索服务器1500中多幅运动图像经过缩小并组合生成一幅运动图像，而在运动图像检索终端1520中，只回放一幅组合的运动图像，结果是使网络上流动的数据量和终端一侧待处理的数据量压缩到一幅组合运动图像所需的数量。因此极大地减少了网络或终端的负担。此外，对于多个运动图像数据的同时通信，运动图像检索服务器1520和运动图像检索终端1520通过通信速度较低的网络连接起来，或者如果运动图像检索终端的处理能力不足以同时回放多批运动图像数据，则可以同时在一个终端上回放作为检索结果的多批运动图像数据。此外如果在压缩组合图像之后完成发送和接收，则可以显著地降低通信负担。这在实践中取得了很好的效果。

(第九实施例)

图19为按照本发明第九实施例的运动图像检索系统布局实例的示意图。在该运动图像检索系统中，除了提供与第八实施例对应的布局以外，运动图像检索服务器1900配备有用来设定取自存储在运动图像存储装置1902中运动图像数据之间间隔的帧间隔控制装置1909。

图20为按照本实施例的运动图像检索服务器1900中运动图像组合处理操作的流程图。

首先运动图像检索装置1901从存储在运动图像存储装置1902内的运动图像数据中检索符合检索条件的运动图像(步骤2001)，并花费最长的时间获得符合检索条件的运动图像数据的数据帧数和输出至组合图像生成控制装置1903(步骤2002)，并且进一步将读取的帧数(i)初始化为零和输出符合检索条件的运动图像数据的标识和向图像提取装置1904指示的组合图像生成开始的信息(步骤2003)。

其次，图像提取装置1904从由运动图像检索装置1901获得的符合检索条件的运动图像数据中提取第i帧图像(步骤2004)。

图像缩小装置1905以预先设定的任意的缩小比率对图像提取装置1904中提取的运动图像数据的第i帧图像数据进行缩小(步骤2005)。

接着图像组合装置1906放置由图像缩小装置1905缩小的帧图像使之没有互相交叠，因此组合成一幅图像(步骤2006)。此外图像组合装置1906向组合图像存储装置1907输出所生成的第i帧组合图像(步骤2007)，并且进一步输出存储的位置，例如写入组合图像存储装置1907的组合图像的文件名和地址、帧数(i)和向组合图像发送控制装置1908发出检索请求的终端的标识(步骤2008)。进而将帧数(i)输出至帧间隔控制装置1909(步骤2009)。

帧间隔控制装置1909存储图像组合装置1906输出的帧数和成对的上述帧数接收时间，并根据帧数(i)和前面任意帧数的帧数(i-n)接收时间获得生成任意帧数(n)的组合图像所需的时间(步骤2010)，并且进一步获得生成一幅组合图像所需的时间并根据每秒初始运动图像数据的帧数计算帧之间的读取省略(跳跃)间隔(r)(步骤2011)。

虽然在本实施例中，记录下帧数和完成上述帧数的帧组合所需时间以计算生成组合图像所需的时间而无论何时生成组合图像，但是也可以以完成任意数量的组合图像(例如2)的间隔执行步骤2010和2011以计算和改变帧间隔。

而且组合图像生成控制装置1903以帧间隔(r)为单位增加读取帧数(i)并且操作转入下一帧(步骤2012)。当读取帧数(i)与最长的运动图像帧数不等时，不断执行步骤2004-2012以缩小和组合符合检索条件的运动图像数据(在步骤2013中的判断“是”)。

另一方面，如果读取帧数(i)大于最长运动图像的帧数，则结束组合图像的生成(步骤2013中的判断“否”)。

如上所述，按照本实施例，如果服务器的负荷因为从多个终端接收检索请求而增加，或者如果服务器中的图像组合处理速度较低，则由于在合适调整帧间隔并提供所生成运动图像的同时组合运动图像，所以在运动图像检索服务器一侧被实时组合的运动图像可以在没有被经常中断的情况下在运动图像检索终端一侧回放。这在实践中取得了很好的效果。

(第十实施例)

图21为按照本发明第十实施例的运动图像检索系统中运动图像检索服务器的组合图像发送控制装置的示意框图，它详细示出了按照上述第八实施例的运动图像检索服务器的组合图像发送控制装置的布局。在图21中，组合图像发送控制装置由用来存储图像组合装置1506输出的写入帧数(i)的写入帧存储装置2101、用来控制生成组合图像向终端发送的开始和结束的发送开始控制装置2102、用来存储发送帧数(j)的发送帧存储装置2103、用来将存储在写入帧存储装置2101内的写入帧数(i)与发送帧存储装置2103中存储的发送帧数(j)进行比较以设定下一提供的帧数的帧比较装置2104以及用来从组合图像存储装置1507读取对应帧比较装置2104设定的发送帧数(j)的组合图像并向通信装置1509发送读取的发送帧数(j)的组合图像。

图22为按照本实施例的组合图像发送控制装置1508的组合图像发送控制处理操作的流程图。

首先，写入帧存储装置2101存储图像组合装置1506输出的组合图像的写入帧数(i)。当上述写入帧数(i)大于预先设定的任意帧数时发送开始控制装置2102将头帧设定为发送帧数(j)并向帧比较装置2104发出开始发送组合图像的指示(步骤2201)。

其次帧比较装置2104将发送帧数(j)与写入帧数(i)比较。如果发送帧数(j)小于写入帧数(i)(步骤2002中的判断“是”)，则将下一发送帧数设定为j+1并向组合图像发送装置2105和发送帧数存储装置2103输出上述发送帧数(步骤2003)。

与此相反，如果发送帧数(j)大于写入帧数(i)(步骤2002中的判断“否”)，则将下一发送帧数设定为头帧并向组合图像发送装置2105和发送帧数存储装置2103输出上述发送帧数(步骤2004)。

虽然上述描述针对的是发送所有帧的情况，但是如果以n帧间隔发送组合图像，则下一发送帧数被设定为j+n+1。而且当下一发送帧数(j+n+1)大于写入帧数(i)时下一发送帧设定为0头帧数。

接着组合图像发送装置2105获得发送帧数在帧比较装置2104经过设定的组合图像并输出至通信装置1509(步骤2205)。不断执行上述步骤2202-2205直到发送开始控制装置2102向帧比较装置2104发出停止发送组合图像的通知(步骤2106中的判断“是”)。

作为停止发送组合图像的方法，可以是这样一种方法，发送开始控制装置2102判断是否完成了组合运动图像数据初始数据中数量最大的组合图像的生成并和写入帧数(i)是否等于发送帧数(j)，或者通过通信装置1509接收运动图像检索终端发出的组合图像停止发送请求。在本实施例中，如果以各种方式停止组合图像的发送，则从步骤2202到步骤2205的处理不受影响。

图23为本实施例中组合运动图像数据回放状态的示意图。如图23所示，当完成直到组合图像数据生成结束的回放时，从头帧开始的回放重新进行，从而导致组合运动图像数据不断在生成大多数组合图像的状态下回放。

如上所述，按照本实施例，在组合图像发送控制装置中，写入帧与发送帧进行比较，并且如果发送帧数等于或大于写入帧数时，下一发送帧数设定为零并且从头开始不断回放运动图像。因此由于在大多数运动图像组合到情况下不断回放组合图像，所以不断回放同一场景从而逐渐增加新生成的组合图像，这样容易找到定向场景。此外由于组合图像数据的发送和检索终端的回放可以开始于组合运动图像数据完成生成之前，所以缩短了开始回放符合检索条件的多运动图像数据的等待时间，这在实践中取得了很好的效果。

(第十一实施例)

图24为按照本发明第十一实施例的运动图像检索系统运动图像检索服务器的组合图像发送控制装置的布局实例的示意图，具体而言，它是上述第八实施例中组合图像发送控制装置另一实例的示意框图。在图24中，组合图像发送控制装置(1508)由用来存储从图像组合装置1506输出的写入帧数(i)的写入帧存储装置2401、用来计算图像组合装置104中组合图像生成速度的组合图像生成速度计算装置2402、用来存储被检索组合运动图像数据回放预期时间的回放预期时间存储装置2403以及用来根据存储在组合图像生成速度计算装置中的组合图像生成速度和存储在回放预期时间存储装置2403中的回放预期时间控制在生成中的组合图像发送开始的发送开始控制装置2404。而且其中还包括用来存储发送帧数(j)的发送帧存储装置2405、用来将存储在写入帧存储装置2401中的写入帧数(i)与发送帧数存储装置2405中的发送帧数(j)进行比较以设定所提供的帧数的帧比较装置2406以及用来从组合存储装置1507中读取帧比较装置2406设定发送帧数(j)的组合图像以向通信装置1509发送帧数(j)的组合图像的组合图像发送装置2407。

图25为按照本实施例的运动图像检索系统的图像组合处理流程图。以下将借助图24和25描述该操作。

图像组合装置1506存储作为检索的组合图像数据回放预期时间(存储在回放预期时间存储装置2403)的符合检索条件的最长的运动图像数据的时间，它由运动图像检索装置1501获得(步骤2501)。

接着，当写入帧数(i)(与帧数对应的时间)小于回放预期时间时，重复执行以下处理(步骤2502)。即，图像组合装置1506使写入帧数(i)和花费时间匹配直到写入从0-i的帧并存储在写入帧存储装置2401为止(步骤2503)，并使组合图像具有组合图像存储装置1507中的写入帧数(i)(步骤2504)。

如果组合图像发送还没有开始(步骤2505中的判断“否”)，则执行发送开始检查处理(步骤2506)。

不断重复执行上述步骤2503-2506直到写入帧数大于回放预期时间帧，由此生成长度与回放预期时间对应的组合图像数据。

图26为发送开始检查处理的流程图。以下借助图24和26描述组合图像发送开始检查处理。

组合图像生成速度计算装置2402根据存储在写入帧存储装置2401中的写入帧数(i)和写入第i帧所需的时间获得生成组合图像所需的时间(步骤2601)。

发送开始控制装置2404根据组合图像生成速度计算装置2402计算的组合图像生成时间和回放预期时间存储装置2403存储的回放预期时间计算与回放预期时间对应的组合图像生成所需的时间(步骤2602)。

而且发送开始控制装置2404根据写入帧存储装置2401中存储的写入帧数(i)和对应回放预期时间的计算得到的组合图像生成所需时间计算生成对应余下的回放预期时间的组合图像所需的时间(步骤2603)。

当对应余下的回放预期时间的图像生成所需时间小于回放预期时间时(步骤2603中的判断“是”)，则向帧比较装置2406输出运动图像数据的发送开始指令(步骤2604)。

图27为帧比较装置2406中运动图像发送处理的流程图。以下借助图24和27描述运动图像发送处理。

帧比较装置2406接收发送开始控制装置2404输出的发送开始指令并初始化发送帧数(j)(步骤2701)。

此外，帧比较装置2406在发送帧存储装置2405存储的发送帧数小于存储在写入帧存储装置2401中的写入帧数(i)时向组合图像发送装置2407输出发送帧数(j)(步骤2702中的判断“是”)(步骤2703)。而且发送帧数增加1(步骤2704)，并且在发送帧数(j)小于写入帧数(i)时不断执行步骤2702-2704(步骤2702中的判断“是”)。

根据帧比较装置2406输出的发送帧数，组合图像发送装置2407向运动图像检索终端1520提供具有上述存储在组合图像存储装置1507内的帧数的组合图像数据。

如上所述，按照该实施例，根据运动图像检索的回放预期时间和组合图像生成速度计算长度对应回放预期时间的被检索组合运动图像所需生成时间，并在经过一段给定时间后开始组合图像的发送，从而直到完成与检索的运动图像的回放预期时间对应的检索组合运动图像数据的回放才完成所有检索组合运动图像数据的生成。由此可以经过较短的等待时间而无需等到完成对应回放预期时间的组合运动图像数据生成之后才开始回放符合检索条件的多批运动图像数据，这在实践中取得了很好的效果。

(第十二实施例)

图28为按照本发明第十二实施例的运动图像检索系统布局实例的示意图。在本实施例中，运动图像检索系统具有按照第八实施例的布局，并且运动图像检索终端2820提供有用来从符合检索条件的组合图像中挑选所需运动图像数据的图像选择装置2824，而运动图像检索服务器2800配备有用来存储组合图像回放装置2823中待回放组合图像场景除数的场景除数存储装置2811和用来从运动图像存储装置2802中提取运动图像数据的时间划分提取装置2810，该运动图像数据利用运动图像检索终端2820的图像选择装置2824选择并且回放开始时间是交错的。

首先描述运动图像检索终端2820的图像选择装置2824的运动图像选择方法。在运动图像检索终端2820中，利用图像选择装置2824，用户从组合图像回放装置2823回放的组合图像装置中选择所需的数据。选择方法可以是利用鼠标之类的定位设备在组合图像场景上指定一块区域或者在构成组合图像的运动图像数据上在指示单独信息的列表中选择运动图像。在本实施例中，对于选择方法没有限制。

由运动图像检索终端2820的图像选择装置2824选定的运动图像数据的标识通过网络2830发送至运动图像检索服务器2800并随后移交给时间划分提取装置2810。

图29为图像缩小装置2805、图像组合装置2806和时间划分提取装置2810中图像组合处理的流程图，这里图像从选择的运动图像数据中逐渐地以交错状态提取并组合。

时间划分提取装置2810获得由运动图像检索终端2820的图像选择装置2824选定的运动图像数据的长度并计算符合存储在场景除数存储装置2811中的场景除数的时间间隔(步骤2901)。不断重复以下的处理直到完成长度为计算的时间间隔的组合图像的生成。

时间划分提取装置2810从存储在运动图像存储装置2802中的选择的运动图像数据按照场景除数提取出现在计算的时间间隔的帧图像数据并按照时间顺序向图像缩小装置2805输出(步骤2902)。

图像缩小装置2805对以符合时间划分提取装置2810输出的场景除数的时间间隔提取的图像数据进行缩小并按照时间顺序向图像组合装置2806输出(步骤2903)。

如图30所示，图像组合装置2806按照时间划分提取装置2810中的提取时间对在回放时间交错的状态下提取和缩小的图像进行排列以组合成一幅图像，并将组合图像存储在组合图像存储装置2807中(步骤2904)。

接着组合图像生成控制装置2803检查生成的组合图像长度是否等于计算的时间间隔(步骤2905)。如果未达到计算的时间间隔(步骤2905中的判断“是”)，则向图像提取装置2804发出提取下一帧图像的指令(步骤2906)。在上述方式中，通过缩小和组合在使回放开始时间以时间划分提取装置2810中划分的时间交错的状态下提取的图像数据生成了帧数对应时间间隔的组合图像，随后存储在运动图像检索服务器2800的组合图像存储装置2807中。

存储在组合图像存储装置2807中的组合运动图像数据在运动图像检索服务器2800的组合图像发送控制装置2808的控制下被发送至运动图像检索终端2820处并随后在运动图像检索终端2820的组合图像显示装置2823上显示。

如上所述，按照本实施例，除了第八实施例的处理以外，根据运动图像检索终端2820的图像选择装置2824中指定的所需运动图像数据，通过运动图像数据的缩小和组合生成了组合运动图像数据，这里回放开始时间按照时间划分提取装置2810中运动图像数据长度交错，并且在组合图像显示装置2823中显示生成的组合图像。因此选定的运动图像数据的内容更加清晰，并且可以进行定向场景的快速检索，这在实践中取得了较好的效果。

(第十三实施例)

图31为按照本发明第十三实施例的运动图像检索系统的布局示意框图。以下仅仅描述与第十二实施例的差别。在图31中，在由运动图像检索装置3101获得的符合检索条件的的运动图像数据中，时间划分提取装置3104在回放开始时间交错的状态从运动图像存储装置3102中提取运动图像数据，并且图像缩小装置3105缩小提取的运动图像数据，与此同时，如图32所示，运动图像组合装置3106垂直排列从符合检索条件中提取和缩小的运动图像数据并进一步水平排列在回放开始时间交错的状态下提取并缩小的图像数据，由此生成组合的图像。生成的组合图像在运动图像检索终端3120的组合图像回放装置3123中生成。因此运动图像数据可以划分得更精细并可以同时看到，从而可以在短时间内看到所有符合检索条件的运动图像数据并快速找到定向场景，这在实践中取得了很好的效果。

如上所述，本发明具有如下的优点。

对于同时回放所有多场景显示的运动图像数据的情况，借助各运动图像的同一帧缩小、组合和回放了待回放的运动图像数据，从而可以将它们处理成一批运动图像数据，使得对于同时回放多场景运动图像数据，可以避免因译码所回放的运动图像引起的控制麻烦。此外，当通过网络传送该组合图像时，可以减少网络资源和系统资源的消耗。

对于同时回放多场景显示运动图像数据一部分的情况，就待回放的运动图像数据而言，各运动图像数据以帧为单位缩小。另一方面，就未回放的运动图像数据而言，缩小了回放显示的帧数据。待回放的回放图像和未回放的缩小图像经过组合和回放，消除了无用数据。

而且对于采用静止图像作为关键的运动图像数据检索，运动图像数据的每个场景的代表帧图像与关键图像进行比较，从而加快了检索处理速度。

而且对于采用静止图像作为关键的运动图像数据检索，与关键图像一致的帧被新指定为关键图像从而用新指定的关键图像再次检索，由此避免了检测遗漏。

对于采用静止图像作为关键的运动图像数据检索，运动图像数据的每个场景的代表帧图像与关键图像进行比较，并且在包括与运动图像一致的帧的场景内与关键图像最相似的帧被新指定为关键图像从而再次用新指定的关键图像进行检索，从而提供了检索精度。

在服务器一侧，多批待回放运动图像数据以每帧的速率缩小并组合以生成在终端侧回放的运动图像。因此对于同时回放多场景的多批运动图像数据，减少了提供的数据流量，从而有效利用了组合图像发送和接收所需的网络带宽。此外可以减少计算机终端为完成回放所消耗的系统资源。

而且，运动图像检索服务器执行符合检索条件的多批运动图像数据的提取、缩小、组合和发送，与此同时运动图像检索终端接收并显示组合图像。因此即使在屏幕上同时显示符合检索条件的多批运动图像数据，由于终端通过网络接收运动图像检索服务器缩小和组合的运动图像数据，所以可以减少与运动图像数据对应的系统资源(例如存储器和磁盘)以及网络的负担。

而且运动图像检索服务器配备有用来根据生成给定帧数的组合图像所需时间设定运动图像检索装置提取运动图像数据所需时间的帧间隔的帧间隔设定装置，而且根据帧间隔设定装置设定的帧间隔改变符合检索条件的多批运动图像数据缩小和组合形成的组合图像的帧间隔，从而可以根据服务器的负担情况平滑地向运动图像检索终端发送运动图像。

而且在图像检索服务器的组合图像发送控制装置中，生成的组合图像的帧数与向运动图像检索终端发送的组合图像帧数进行比较，并且当向运动图像检索终端发送的组合图像的帧数等于或大于所生成组合图像的帧数，接着从头帧开始执行发送并重复回放生成的组合图像，因此可以不用等到所有组合运动图像数据都完成生成之后才回放符合检索条件的运动图像数据。此外，通过在组合大部分运动图像的情况下重复回放可以重复回放同一场景并且逐渐加入新生成的组合图像，因此可以容易地找到定向场景。

而且在运动图像检索服务器的组合图像发送控制装置中，写入帧存储装置和组合图像生成速度计算装置计算生成对应回放预期时间的组合图像所需生成时间，并且在生成余下的组合图像所需时间小于回放预期时间时，开始发送组合图像，从而导致在经过较短的等待时间而无需等到完成对应于回放预期时间的组合运动图像数据生成之后才回放多批符合检索条件的运动图像数据。

而且提供了时间划分提取装置以在指定的运动图像数据的回放开始时间交错的状态下从运动图像存储装置中提取图像，并且将图像选择装置指定的任意的运动图像数据以时间为单位划分，并且将回放开始时间交错状态下提取的图像数据缩小并沿随生成组合图像的时间排列，从而可以更精细地检索选择的运动图像数据并快速检索定向场景。

应该指出的是，本发明的范围和精神由后面所附权利要求限定。

Claims (17)

1.一种图像显示单元，其特征在于包含：

用来缩小图像数据的图像缩小装置；

用来组合缩小的图像数据以生成组合图像的图像组合装置；

用来显示所述组合图像的图像显示装置；以及

负责回放图像数据的同时多场景回放装置，

其中所述图像缩小装置将待回放的所述图像数据以帧为单位缩小，所述图像组合装置将所述图像数据同一帧的缩小图像数据组合起来，而所述同时多场景回放装置回放组合的图像。

2.如权利要求1所述的图像显示单元，其特征在于所述图像缩小装置包括：

用来以任意像素为单位对图像进行划分以形成宏块的宏块形成装置；

用来完成每个所述宏块正交变换的正交变换装置；

用来从经过所述正交变换的所述宏块中提取对应最低频率项的像素的像素提取装置；以及

用来组合由所述像素提取装置提取的所述像素的像素组合装置。

3.一种图像显示单元，其特征在于包含：

用来缩小图像数据的图像缩小装置；

用来组合缩小的图像数据以生成组合图像的图像组合装置；

用来显示所述组合图像的图像显示装置；以及

用来选择和回放待回放的所述组合图像的图像数据的选择图像回放装置，

其中所述图像缩小装置将非回放的所述图像数据和待回放的所述图像数据以帧为单位进行缩小，所述图像组合装置将非回放的缩小图像数据和待回放的缩小图像数据以帧为单位组合起来，而选择图像回放装置选择并回放组合的图像数据。

4.一种图像显示单元，其特征在于包含：

用来输入用作检索关键的关键图像的关键图像输入装置；

利用所述关键图像检索运动图像数据的运动图像检索装置；

用来缩小所述检索到的运动图像数据的图像缩小装置；

用来将缩小图像数据组合为组合图像的图像组合装置；以及

用来显示所述组合图像的图像显示装置。

5.如权利要求4所述的图像显示单元，其特征在于所述运动图像检索装置包括：

用来检测被检索的所述图像数据切割点的切割点检测装置；

用来在一个场景内提取任一帧的帧提取装置；以及

用来将提取的帧与所述关键图像进行比较的图像比较判断装置。

6.如权利要求5所述的图像显示单元，其特征在于所述运动图像检索装置进一步包括关键图像指定装置，用来根据所述图像比较判断装置的结果将与所述关键图像一致的帧最新指定为关键图像，而所述图像比较判断装置采用新指定的关键图像重新进行比较。

7.如权利要求5所述的图像显示单元，其特征在于所述运动图像检索装置进一步包括根据所述图像比较判断装置的结果最新指定某一帧为关键图像的关键图像指定装置，在包括与首先提及的关键图像一致的帧在内的场景的所有帧中，该帧与首先提及的关键图像最为相似，而所述图像比较判断装置采用新指定的关键图像重新进行比较。

8.如权利要求6所述的图像显示单元，其特征在于所述运动图像检索装置进一步包括图像相似性输出装置，它用来输出在图像比较判断装置中比较的帧与关键图像之间的相似性从而由关键图像指定装置指定具有最大相似性的帧。

9.如权利要求7所述的图像显示单元，其特征在于所述运动图像检索装置进一步包括图像相似性输出装置，它用来输出在图像比较判断装置中比较的帧与关键图像之间的相似性从而由关键图像指定装置指定具有最大相似性的帧。

10.一种图像显示系统，其特征在于包含用来生成和发送经过缩小和组合的场景的运动图像检索服务器和接收并回放经过缩小和组合的场景的运动图像检索终端，服务器和终端通过网络互相连接起来，

所述服务器包括：

用来存储被检索的运动图像数据的运动图像存储装置；

利用所述运动图像数据生成缩小图像的图像缩小装置；

利用所述缩小图像生成组合图像的图像组合装置；

用来控制所述组合图像生成的组合图像生成控制装置；

用来存储组合图像上数据的组合图像存储装置；

用来控制存储在组合图像存储装置内的组合图像数据向终端的发送的组合图像发送控制装置；以及

用来控制与终端通信的通信装置，

而终端包括：

用来控制与服务器通信的的通信装置；以及

将服务器内生成的组合图像数据显示出来的组合图像回放装置，

其中服务器对若干运动图像数据进行缩小和组合以生成组合图像数据并通过网络发送生成的组合图像数据，与此同时终端接收生成的组合图像数据并将其作为运动图像回放。

11.一种运动图像检索系统，其特征在于包含用来检索运动图像的运动图像检索系统和用来向运动图像服务器提出运动图像检索请求的运动图像检索终端，服务器和终端通过网络互相连接起来，

所述运动图像服务器包括：

用来存储被检索的运动图像数据的运动图像存储装置；

对存储在运动图像存储装置中的运动图像数据进行检索的运动图像检索装置；

用来从满足由运动图像检索装置检索获得的检索条件的运动图像数据以每帧的频率提取图像数据的图像提取装置；

根据运动图像提取装置提取的图像数据生成缩小图像的图像缩小装置；

根据缩小图像生成组合图像的图像组合装置；

用来控制组合图像生成的组合图像生成控制装置；

用来存储组合图像上数据的组合图像存储装置；

用来控制存储在组合图像存储装置内的组合图像数据向运动图像检索终端的发送的组合图像发送控制装置；以及

用来控制与运动图像检索终端通信的通信装置，

而运动图像检索终端包括：

输入运动图像数据检索条件的检索条件输入装置；

用来控制与运动图像检索服务器通信的的通信装置；以及

将运动图像检索服务器内生成的组合图像数据显示出来的组合图像回放装置，

其中运动图像检索服务器对若干符合检索条件的运动图像数据进行缩小和组合以生成组合图像数据并通过网络发送生成的组合图像数据，与此同时运动图像检索终端接收生成的组合图像数据并将其作为运动图像回放。

12.如权利要求11所述的运动图像检索系统，其特征在于所述运动图像检索服务器提供有组合图像压缩装置，用来压缩图像组合装置生成的组合图像数据并将压缩的图像数据存储在组合图像存储装置内，而所述运动图像检索终端配备有组合图像扩展装置，用来扩展通过通信装置接收到的组合图像数据并进一步向组合图像回放装置输出经过扩展的组合图像数据，从而使压缩数据用于组合图像数据的存储和运动图像检索服务器与运动图像检索终端之间的通信。

13.如权利要求11所述的运动图像检索系统，其特征在于所述运动图像检索服务器提供有帧间隔设定装置，用来根据给定帧数的组合图像数据所需生成时间设定运动图像检索装置产生运动图像数据所需的帧间隔，从而根据帧间隔设定装置设定的帧间隔改变图像提取装置中满足检索条件的若干运动图像数据的提取帧间隔。

14.权利要求11所述的运动图像检索系统，其特征在于所述组合图像发送控制装置包括：

用来存储图像组合装置生成的一定帧数的组合图像的写入帧存储装置；

用来根据写入帧存储装置中存储的写入帧数控制组合图像发送开始的发送开始控制装置；

用来存储从运动图像检索服务器向运动图像检索终端发送的组合图像帧数的发送帧存储装置；

用来将存储在写入帧存储装置中的生成的组合图像帧数与从运动图像检索服务器向运动图像检索终端发送并存储在发送帧存储装置中的组合图像帧数进行比较以确定下一发送帧数的帧比较装置；以及

用来从组合图像存储装置中读取由帧比较装置设定的对应发送帧数的组合图像并进一步向通信装置输出的组合图像发送装置，

其中组合图像发送控制装置将所生成的组合图像的帧数与向运动图像检索终端发送的组合图像帧数进行比较，并且在向运动图像检索终端发送的组合图像帧数等于或大于所生成组合图像帧数时将下一发送的帧数设定为头部并且重复所生成组合图像的回放。

15.如权利要求11所述的运动图像检索系统，其特征在于所述组合图像发送控制装置包括：

用来存储由图像组合装置生成的组合图像帧数的写入帧存储装置；

用来根据存储在写入帧存储装置中的帧数以及帧数写入时间计算组合图像生成速度的组合图像生成速度计算装置；

用来根据由组合图像生成速度计算装置获得的组合图像生成速度以及回放预期时间控制发送开始的发送开始控制装置；

用来存储组合运动图像数据的回放预期时间的回放预期时间存储装置；

用来存储从运动图像检索服务器向运动图像检索终端发送的组合图像帧数的发送帧存储装置；

用来将存储在写入帧存储装置中的生成的组合图像帧数与从运动图像检索服务器向运动图像检索终端发送并存储在发送帧存储装置中的组合图像帧数进行比较以确定下一发送帧数的帧比较装置；以及

用来从组合图像存储装置中读取由帧比较装置设定的对应发送帧数的组合图像并进一步向通信装置输出的组合图像发送装置，

其中写入帧存储装置和组合图像生成速度计算装置计算与回放预期时间对应的组合图像所需的生成时间，并且在生成余下的组合图像所需时间小于回放预期时间时开始发送组合图像。

16.如权利要求11所述的运动图像检索系统，其特征在于所述运动图像检索终端提供有图像选择装置，用来从通过缩小和组合符合检索条件的若干运动图像数据而生成的组合运动图像中选择所需的运动图像数据，与此同时运动图像检索服务器配备有用来存储组合图像除数的场景除数存储装置和用来在这样一种状态下从运动图像存储装置中提取图像的时间划分提取装置，在该状态下所指定的运动图像数据回放时间是交错的，并且运动图像检索服务器对图像数据进行缩小，该图像数据通过对图像选择装置以时间为单位指定的任意运动图像数据以存储在场景除数存储装置中的除数进行划分并加以提取获得，还将缩小的图像数据按照时间顺序排列以生成组合图像。

17.一种运动图像检索系统，其特征在于包含用于检索运动图像的运动图像检索服务器和用于向运动图像检索服务器提出运动图像检索请求的运动图像检索终端，运动图像检索服务器和运动图像检索终端通过网络互相连接起来，

所述运动图像检索服务器包括：

用来存储被检索的运动图像数据的运动图像存储装置；

对存储在运动图像存储装置中的运动图像数据进行检索的运动图像检索装置；

用来在这样一种状态下从运动图像存储装置中提取图像的时间划分提取装置，在该状态下所指定的运动图像数据回放开始时间是交错的；

根据运动图像提取装置提取的图像数据生成缩小图像的图像缩小装置；

用来根据缩小图像生成组合图像的图像组合装置；

用来控制组合图像生成的组合图像生成控制装置；

用来存储组合图像上数据的组合图像存储装置；

用来控制存储在组合图像存储装置内的组合图像数据向运动图像检索终端的发送的组合图像发送控制装置；以及

用来控制与运动图像检索终端通信的通信装置，

而所述运动图像检索终端包括：

输入运动图像数据检索条件的检索条件输入装置；

用来控制与运动图像检索服务器通信的的通信装置；以及

将运动图像检索服务器内生成的组合图像数据显示出来的组合图像回放装置，

其中时间划分提取装置提取存储在运动图像存储装置内的运动图像数据，而图像组合装置按照时间顺序排列符合检索条件的运动图像数据和在这样一种状态下的简化图像数据，在该状态下符合检索条件的运动图像数据的开始时间是交错的，从而生成组合图像。

Images