CN102194238A - 运动物体检测装置、运动物体检测方法和程序 - Google Patents
运动物体检测装置、运动物体检测方法和程序 Download PDFInfo
- Publication number
- CN102194238A CN102194238A CN2011100591101A CN201110059110A CN102194238A CN 102194238 A CN102194238 A CN 102194238A CN 2011100591101 A CN2011100591101 A CN 2011100591101A CN 201110059110 A CN201110059110 A CN 201110059110A CN 102194238 A CN102194238 A CN 102194238A
- Authority
- CN
- China
- Prior art keywords
- moving object
- image
- unique point
- treatment facility
- detect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
在此公开了一种运动物体检测装置,其具有多个运动物体检测处理设备,所述运动物体检测处理设备配置为基于通过利用当前图像和过去图像计算的运动矢量检测运动物体,其中所述运动物体检测处理设备设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地操作,以便检测所述运动物体。
Description
技术领域
本发明涉及运动物体检测装置、运动物体检测方法和运动物体检测程序。具体地,本发明涉及能够以与运动物体和装置之间的位置距离以及运动物体的运动速度无关的稳定方式检测运动物体的运动物体检测装置,本发明涉及由该装置采用的运动物体检测方法并涉及实现该方法的运动物体检测程序。
背景技术
已知的监控相机的侵入检测系统检测运动物体。例如,根据日本专利公开No.2007-102556中公开的技术,拍摄的图像数据分为多个区域块。此外,对于图像区域块的平滑图像数据,检测状态改变的存在(或者不存在)。当前检测到的状态改变存在/不存在块的图(map)与之前检测到的状态改变存在/不存在块的图比较,并且计数伴随状态改变存在块的运动的差别生成块的数目。如果伴随状态改变存在块的运动的差别生成块的数目大于预先确定的值,则确定已经检测到运动。
此外,根据日本专利公开No.2006-107457中公开的技术,存储过去拍摄的多个图像的数据作为参考图像数据。然后,作为过去拍摄的图像的存储数据的参考图像数据与当前拍摄的图像数据比较,以便检测每个像素或每个小区域的差别。随后,基于检测到的差别的邻接(或者出现性(appearability))检测图像数据中的运动物体。
发明内容
顺便提及,如果如由伴随状态改变存在块的运动的差别生成块的数目大于预先确定的值的事实表明确定已经检测到运动,则担心的是由于运动物体和运动物体检测装置之间的长位置距离,运动检测的精度劣化。也就是说,由于运动物体和运动物体检测装置之间的长位置距离,在拍摄的图像上运动物体的图像的尺寸小。因此,由于运动物体和运动物体检测装置之间的长位置距离,差别生成块的数目不增加,使得可能没有检测到运动。
此外,同样对于将参考图像数据与当前拍摄的图像数据比较以便检测每个像素或每个小区域的差别、并且随后基于检测到的差别的邻接(和/或出现性)检测图像数据中的运动物体的情况,检测到的差别的邻接(和/或出现性)根据运动物体和运动物体检测装置之间的位置距离是短还是长而变化很大。因此,担心运动物体检测的精度根据运动物体和运动物体检测装置之间的位置距离是短还是长而变化很大。
因此,本发明的目的是提供一种能够以与运动物体和装置之间的位置距离以及运动物体的运动速度无关的稳定方式检测运动物体的运动物体检测装置,提供由该装置采用的运动物体检测方法并且提供实现该方法的运动物体检测程序。
根据本发明的第一实施例,提供一种运动物体检测装置,其具有多个运动物体检测处理设备,所述运动物体检测处理设备配置为基于通过利用当前图像和过去图像计算的运动矢量检测运动物体。为了运动物体检测装置检测运动物体,所述运动物体检测处理设备设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地操作。
每个运动物体检测处理设备从多个指定位置选择具有等于或大于预先确定的值的运动距离的位置,并且取选择的位置为特征点。然后,执行跟踪处理以便确定所述特征点随着时间的经过已经运动到的点。从跟踪处理的结果,通过利用预先确定的确定标准确定不需要的特征点为要删除的特征点,该预先确定的确定标准是所述特征点的运动方向、所述特征点的运动速度、所述特征点的位置和跟踪时段的至少一个。然后,剩余特征点用作用于确定是否已经检测到运动物体的基础。
此外,在各运动物体检测处理设备的任何特定一个中,同样基于为由各运动物体检测处理设备中的其它运动物体检测处理设备执行的运动物体检测处理设置的信息设置运动矢量的搜索区域。以此方式,可能减少由所述特定运动物体检测处理设备冗余地检测由另一运动物体检测处理设备检测的所述运动物体的情况的数目。
根据本发明的第二实施例,提供一种用于具有多个运动物体检测处理设备的运动物体检测装置的运动物体检测方法。所述运动物体检测方法具有每个要由所述运动物体检测处理设备之一执行的运动物体检测步骤,用于基于通过利用当前图像和过去图像计算的运动矢量检测运动物体。为了运动物体检测装置检测运动物体,所述运动物体检测处理设备设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地执行它们的各个运动物体检测步骤。
根据本发明的第三实施例,提供一种由计算机运行的运动物体检测程序,作为用于驱动计算机用作多个运动物体检测功能部件的程序,所述运动物体检测功能部件用于基于通过利用当前图像和过去图像计算的运动矢量检测运动物体。为了由运动物体检测程序驱动的计算机检测运动物体,所述运动物体检测功能部件设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地操作。
要注意,根据本发明实施例的运动物体检测程序以可以由通用计算机系统读取的计算机可读形式提供,该通用计算机系统典型地能够运行多种程序代码以用作运动物体检测装置。运动物体检测程序通常预先存储在要提供到通用计算机系统的可移除记录介质中,通用计算机系统在下文中也简称为计算机系统。可移除记录介质的典型示例是光盘、磁盘和半导体存储器。作为替代,运动物体检测程序通过如网络的通信介质从在下载站点的程序提供者下载到通用计算机系统。通过以计算机可读形式将运动物体检测程序提供到通用计算机系统,通用计算机系统能够运行程序以便执行各种处理。
根据本发明,在运动物体检测装置中采用的多个运动物体检测处理设备基于通过利用当前图像和过去图像计算的运动矢量检测运动物体。为了运动物体检测装置检测运动物体,所述运动物体检测处理设备设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地操作。因此,运动物体检测处理设备能够以与运动物体和装置之间的位置距离以及运动物体的运动速度无关的稳定方式检测运动物体。
附图说明
图1是示出设计为运动物体检测装置的图像拍摄装置的配置的功能框图;
图2是示出设计为与作为运动物体检测装置的摄像头部分协同运行的图像处理装置的配置的功能框图;
图3是示出运动物体检测部分的配置的框图;
图4是示出运动物体检测处理单元的配置的框图;
图5A和5B是在描述用作用于计算运动矢量的方法的模板匹配方法时要参照的多个说明图;
图6是在描述通过采用模板匹配方法执行的操作时要参照的说明图;
图7A到7E是对于图像中包括运动物体的情况示出典型的特征点的多个图;
图8A和8B是示出特征点的典型跟踪状态的多个图;
图9A到9C是在描述要删除的特征点时要参照的多个说明图;
图10A和10B是在描述运动物体和运动物体检测装置之间的位置距离是短位置距离的情况时要参照的多个说明图;
图11A和11B是在描述运动物体和运动物体检测装置之间的位置距离是中等位置距离的情况时要参照的多个说明图;
图12A到12C是在描述运动物体和运动物体检测装置之间的位置距离是长位置距离的情况时要参照的多个说明图;
图13是示出作为另一运动物体检测部分的运动物体检测部分的配置的框图;
图14A和14B是在描述使用示出运动矢量的搜索区域的信息的情况时要参照的多个说明图;以及
图15是示出计算机系统的典型配置的框图。
具体实施方式
说明本发明的实施例如下。根据本发明的运动物体检测装置提供有用于检测运动物体的多个运动物体检测处理设备。运动物体检测处理设备设为以当前和过去图像的分辨率、当前和过去图像之间的时间间隔和运动矢量的搜索区域的至少一个相互不同地操作,使得以与运动物体和装置之间的位置距离以及运动物体的运动速度无关的稳定方式检测运动物体。要注意,按照如下安排的章节描述实施例。
1:第一实施例
1-1:运动物体检测装置的配置
1-2:运动物体检测方法
2:第二实施例
2-1:运动物体检测部分的其它配置
2-2:运动物体检测方法
3:用于执行用于运动物体检测的软件处理的配置
1:第一实施例
1-1:运动物体检测装置的配置
图1是示出设计为运动物体检测装置的图像拍摄装置10的配置的功能框图。图像拍摄装置10采用图像拍摄部分11、信号处理部分12、编码处理部分13、运动物体检测部分30和传输部分40。
图像拍摄部分11配置为利用如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器的固态图像拍摄设备。图像拍摄部分11典型地拍摄监视目标区域的图像并且将表示图像的图像信号输出到信号处理部分12。
信号处理部分12对从图像拍摄部分11接收的图像信号执行各种处理。处理包括噪声消除、颜色处理和适当灰度级的压缩。
编码处理部分13通过采用预先确定的编码方法,对作为由信号处理部分12执行的处理的结果所获得的图像信号执行图像信号压缩处理。编码方法的典型示例是JPEG(联合图像专家组)方法和MPEG4(运动画面专家组阶段4)方法。编码处理部分13将作为编码处理的结果获得的编码信号输出到传输部分40。
运动物体检测部分30基于作为由信号处理部分12执行的处理的结果所获得的图像信号,执行运动物体检测处理。运动物体检测部分30将作为运动物体检测处理的结果所获得的信号输出到传输部分40。
传输部分40通过网络,将作为由运动物体检测部分30执行的运动物体检测处理的结果所获得的信号和作为由编码处理部分13执行的编码处理的结果所获得的编码信号提供到外部装置,如执行监视控制的监视控制装置。
图2是示出设计为与作为运动物体检测装置的摄像头部分协同运行的图像处理装置20的配置的功能框图。图像处理装置20采用图像输入部分21、信号处理部分22、编码处理部分23、运动物体检测部分30和传输部分40。
图像输入部分21是将图像处理装置20连接到图2中未示出的摄像头部分的接口。典型地,图像输入部分21从摄像头部分接收模拟图像信号。在此情况下,图像输入部分21执行用于将模拟图像信号转换为数字图像信号的转换处理,并且将数字图像信号输出到信号处理部分22。
信号处理部分22对从图像输入部分21接收的图像信号执行各种处理。处理包括噪声消除、颜色处理和适当灰度级的压缩。
编码处理部分23通过采用预先确定的编码方法对作为由信号处理部分22执行的处理的结果所获得的图像信号执行图像信号压缩处理。编码方法的典型示例是JPEG方法和MPEG4方法。编码处理部分23将作为编码处理的结果获得的编码信号输出到传输部分40。
运动物体检测部分30基于作为由信号处理部分22执行的处理的结果所获得的图像信号,执行运动物体检测处理。运动物体检测部分30将作为运动物体检测处理的结果所获得的信号输出到传输部分40。
传输部分40通过网络,将作为由运动物体检测部分30执行的运动物体检测处理的结果所获得的信号和作为由编码处理部分23执行的编码处理的结果所获得的编码信号提供到外部装置,如执行监视控制的监视控制装置。
图3是示出运动物体检测部分30的配置的框图。运动物体检测部分30采用分辨率转换单元31、过去图像存储单元32、坐标指定单元33、检测处理单元34和检测结果处理单元35。
分辨率转换单元31通过利用从信号处理部分12或22接收的图像信号执行分辨率转换处理,以便生成具有低分辨率图像的图像信号和具有高分辨率图像的图像信号。具体地,如果从信号处理部分12或22接收的图像信号例如是具有低分辨率图像的图像信号,则分辨率转换单元31执行分辨率转换处理以便生成具有高分辨率图像的图像信号。另一方面,如果从信号处理部分12或22接收的图像信号是具有高分辨率图像的图像信号,则分辨率转换单元31执行分辨率转换处理以便生成具有低分辨率图像的图像信号。分辨率转换单元31将具有低分辨率图像的图像信号提供到过去图像存储单元32和检测处理单元34中采用的短距离运动物体检测处理设备34S。另一方面,分辨率转换单元31将具有高分辨率图像的图像信号提供到过去图像存储单元32以及检测处理单元34中采用的中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L。
过去图像存储单元32将从分辨率转换单元31接收的图像信号存储在存储器中。过去图像存储单元32将存储器中存储的图像信号提供到短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L。由过去图像存储单元32提供到短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L的图像信号分别代表比由分辨率转换单元31提供到短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L的图像信号代表的当前图像更早拍摄的过去图像。此外,过去图像存储单元32通过删除存储器中存储的最早的过去图像信号,用从分辨率转换单元31接收的图像信号更新存储器中存储的过去图像信号。也就是说,在存储器中,过去图像存储单元32保持代表当前图像和过去图像的图像信号,该过去图像为直到代表领先由从分辨率转换单元31接收的当前图像信号所代表的当前图像预定时间段的过去图像的图像信号。在以下描述中,为了简化,作为代表过去图像的信号的在过去图像存储单元32的存储器中存储的图像信号也简称为过去图像信号,而作为代表过去图像的信号的由分辨率转换单元31输出的图像信号也简称为当前图像信号。
根据由用户执行的操作,坐标指定单元33设置要经历由检测处理单元34执行的运动物体检测处理的位置。具体地,坐标指定单元33将由用户指定的位置提供到检测处理单元34作为所谓的运动物体检测位置。
检测处理单元34具有用于通过利用当前图像和过去图像执行运动物体检测处理的多个运动物体检测处理设备。各运动物体检测处理设备具有图4所示的相同配置。各运动物体检测处理设备设为以当前和过去图像的分辨率、当前和过去图像之间的时间间隔和运动矢量的搜索区域的至少一个相互不同地操作。也就是说,故意使得各运动物体检测处理设备的运动物体检测特性相互不同,使得各运动物体检测处理设备的任一能够检测运动物体而不管运动物体检测装置和运动物体之间的位置距离。
例如,检测处理单元34采用短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L作为上述多个运动物体检测处理设备。短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L的每个通过利用过去图像存储单元32中存储的过去图像信号和由分辨率转换单元31输出的当前图像信号执行运动物体检测处理。短距离运动物体检测处理设备34S设置用于允许接近运动物体检测装置的接近运动物体被检测到的运动物体检测。长距离运动物体检测处理设备34L设置用于允许远离运动物体检测装置的远处运动物体被检测到的运动物体检测。中距离运动物体检测处理设备34M设置用于允许位于由短距离运动物体检测处理设备34S检测的接近运动物体和由长距离运动物体检测处理设备34L检测的远离运动物体之间位置的中间运动物体被检测到的运动物体检测。此外,短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L的每个在由坐标指定单元33指定的位置执行运动物体检测处理。
图4是示出运动物体检测处理设备的配置的框图。运动物体检测处理设备采用特征点检测设备341、特征点登记设备342、特征点跟踪设备343、特征点删除设备344和检测确定设备345。
特征点检测设备341执行用于检测特征点的处理,并且将检测到的特征点登记在特征点登记设备342中。具体地,特征点检测设备341计算代表在预先指定的多个位置的每个处运动距离的运动矢量。然后,特征点检测设备341检测具有等于或大于预先确定的值的运动距离的每个位置,并且将检测到的位置登记在特征点登记设备342中作为特征点。此外,如果指定位置的运动距离短于预先确定的值,则特征点检测设备341不将该指定位置登记为特征点。这是因为这完全在该指定位置是静态点的可能性的范围内。
特征点登记设备342将由特征点检测设备341检测到的特征点登记在特征点的列表上。此外,特征点登记设备342从登记的特征点的列表删除由稍后描述的特征点删除设备344指定的特征点。
特征点跟踪设备343对于特征点登记设备342中登记的特征点执行跟踪处理。跟踪处理是用于确定特征点随着时间的经过所运动到的点的处理。特征点跟踪设备343将跟踪处理的结果提供到特征点删除设备344。
基于从特征点跟踪设备343接收的跟踪结果,特征点删除设备344确定不需要的特征点作为要删除的特征点,并且删除该特征点。不需要的特征点代表不同于如人或车的运动物体的运动的运动。特征点删除设备344预先设置用于确定不需要的特征点的确定标准。特征点删除设备344将确定标准应用于由特征点跟踪设备343对于特征点执行的跟踪处理的结果,以便确定该特征点是否是代表不同于运动物体的运动的运动的不需要的特征点,并且删除该特征点。特征点删除设备344将不删除的特征点输出到检测确定设备345。具体地,基于确定标准,特征点删除设备344确定不需要的特征点作为要删除的特征点,并且删除该特征点。确定标准是特征点的运动方向、特征点的运动速度、特征点的位置和跟踪时段的至少一个。然后,特征点删除设备344将删除的不需要的特征点作为要删除的特征点通知特征点登记设备342。获知了删除的不需要的特征点,特征点登记设备342也从列表删除该特征点。
基于作为未由特征点删除设备344删除的特征点的从特征点删除设备344接收的特征点,检测确定设备345确定是否检测到运动物体。如果拍摄的图像包括运动物体,则许多特征点位于图像的运动物体部分上相互接近的位置,并且该特征点在相同方向上运动。因此,基于特征点的数目、特征点的跟踪后位置和特征点的运动的方向,检测确定设备345确定是否已经检测到运动物体。具体地,如果位于相互接近位置的特征点的数目等于或大于预先确定的阈值并且特征点已经在相同方向上运动,则检测确定设备345确定已经检测到运动物体,并且输出确定的结果到检测结果处理单元35。
回到图3,检测结果处理单元35执行集成处理以便收集从检测处理单元34中采用的多个运动物体检测处理设备接收的运动物体检测结果,将集成处理的结果输出到传输部分40。如果运动物体检测处理设备的任一个输出例如指示已经检测到运动物体的运动物体确定结果,则检测结果处理单元35输出运动物体确定结果到传输部分40作为指示已经检测到运动物体的集成处理结果。此外,检测结果处理单元35还可以添加指示哪个运动物体检测处理设备已经检测到运动物体的信息到运动物体检测结果,以便形成集成处理的结果。通过添加指示哪个运动物体检测处理设备已经检测到运动物体的信息到运动物体检测结果,可能确定检测到的运动物体和运动物体检测装置之间的位置距离是短、中或长。
1-2:运动物体检测方法
接下来,说明用于检测运动物体的运动物体检测方法如下。运动物体检测处理设备采用利用当前图像和过去图像的运动物体检测方法。根据该运动物体检测方法,在如由坐标指定单元33指定的位置的多个指定位置,运动物体检测处理单元取具有等于或大于预先确定的值的运动距离的点作为特征点。然后,运动物体检测处理单元对特征点执行跟踪处理。随后,运动物体检测处理单元进一步通过删除具有不同于如人或车的运动物体的运动的运动的特征点,对特征点执行跟踪处理。不同于如人或车的运动物体的运动的运动的典型示例是接近振动的运动和由一帧上的突然速度改变导致的运动。接近振动的运动的典型示例是树的波动。然后,运动物体检测处理单元确定多个特征点是否在相同方向运动,以便检测抗扰动的运动物体。
特征点检测设备341对于由左边指定单元33指定的多个位置的每个计算运动矢量,然后基于代表特征点的运动距离的计算的运动矢量检测特征点。
从包括模板匹配方法和梯度方法的多种方法中选择用于计算运动矢量的方法。以下描述假设采用作为抗扰动方法的模板匹配方法。
图5是在以下用作用于计算运动矢量的方法的模板匹配方法的描述中参照的多个说明图。根据模板匹配方法,剪切采用要发现其运动矢量的位置作为参照的包围图像作为模板TP。例如,在图5A的情况下,包围图像是作为包围头部的图像的由虚线围绕的图像。然后,对于剪切的模板TP已经移动到的位置,通过搜索由图5B中的点划线围绕的运动矢量搜索区域SA计算运动矢量MV。在此情况下,如果对于这样的位置搜索整个屏幕,则完全在发现类似于模板TP的另一物体的可能性的范围内。也就是说,完全在不利地发现不正确的运动矢量的可能性的范围内,或者在大运动矢量搜索区域SA的情况下,出现计算量不期望地增加的问题。为此,运动矢量搜索区域SA一般设为固定范围内,并对匹配模板TP的物体的位置搜索运动矢量搜索区域SA。
用于确定在对其搜索运动矢量的搜索区域的位置处的物体是否匹配模板TP的方法可以从多种提出的技术中选择。提出的技术包括称为SAD(绝对差的和)技术和称为标准化互相关技术的技术。SAD技术和标准化互相关技术是通常采用的典型技术。注意可能提供这样的配置,其中在模板TP本身已经转换为如直方图或频率的特征量之后,对匹配模板TP的物体的位置搜索运动矢量的搜索区域。
根据模板匹配方法,如图6所示,特征点检测设备341取将由坐标指定单元33指定的位置取为参考的图像作为模板TP,并且对于每个模板TP计算运动矢量。在该图中,由坐标指定单元33指定的位置是每个由白圈指示的位置。要注意的是,在图6所示的示例中,由坐标指定单元33指定的位置的数目是9,设置每个由虚线围绕的9个模板TP。
模板TP具有根据检测的运动物体的尺寸和运动物体的图像的分辨率确定的适当尺寸。例如,如果检测的运动物体具有小尺寸并且运动物体的图像具有低分辨率,则过大的模板TP将运动物体的图像部分的尺寸减小到非常小的尺寸。在运动物体的图像部分的尺寸减小到非常小尺寸的情况下,担心在一些情况下特征点检测设备341在模板匹配处理期间不能正确地计算运动物体的运动矢量。另一方面,如果检测的运动物体具有大尺寸并且运动物体的图像具有高分辨率,则过小的模板TP导致运动物体的特征令人不满地没有表现在模板TP中。在运动物体的特征没有表现在模板TP中的情况下,担心在一些情况下特征点检测设备341在模板匹配处理期间检测到类似于模板TP的多个图像,使得特征点检测设备341不能正确地计算运动物体的运动矢量。因此,在模板TP设为根据检测的运动物体的尺寸和运动物体的图像的分辨率确定的适当尺寸的情况下,当运动物体运动到指定位置时,特征点检测设备341能够通过执行模板匹配处理正确地计算运动物体的运动矢量。
图6是示出其中在邻接位置提供多个模板的典型情况。然而,要注意多个模板也可以提供在相互分离的位置。
对于每个模板,特征点检测设备341通过利用过去图像执行模板匹配处理,以便计算代表模板的运动距离的运动矢量。特征点检测设备341从多个指定位置选择具有模板的运动距离等于或者大于预先确定的值的位置,并且将选择的位置取为特征点,然后由特征点检测设备341将该特征点提供到特征点登记设备342以便在特征点登记设备342中登记。另一方面,如果对于指定位置设置的模板的运动距离短于预先确定的值,则该指定位置不登记为特征点。
图7是示出其中图像中包括运动物体OB的情况的典型的特征点的多个图。要注意图7示出运动物体OB从图的右手侧运动到图的左手侧的情况。此外在图7中,指定位置示出为白圈,而取为特征点的指定位置示出为黑圈。
如图7A所示,在时间t0,运动物体OB没有到达指定位置。因此,在时间t0,没有指定位置登记为特征点。然后,如图7B所示,在时间t1,运动物体OB已经到达指定位置块的右手侧的3个指定位置。在时间t1,在指定位置块的右手侧的3个指定位置的模板变为运动物体OB的图像。因此,指定位置块的右手侧的3个指定位置的每个登记为特征点。然后,如图7C所示,在时间t2,运动物体OB已经到达9个指定位置。在时间t2,在9个指定位置的模板变为运动物体OB的图像。因此,9个指定位置的每个登记为特征点。然后,如图7D所示,在时间t3,运动物体OB的图像留在指定位置块的左手侧的3个指定位置。在时间t3,在指定位置块的左手侧的3个指定位置的模板变为运动物体OB的图像。因此,指定位置块的左手侧的3个指定位置的每个登记为特征点。然后,如图7E所示,在时间t4,运动物体OB已经通过指定位置块。在时间t4,当运动物体OB不留在指定位置块时,没有指定位置登记为特征点。
如上所述,特征点检测设备341基于指定位置的运动距离将指定位置取为检测到的特征点,并且将检测到的特征点登记在特征点登记设备342中。例如,对于每帧,特征点检测设备341找到当前图像上指定位置的运动矢量作为代表指定位置的运动距离的矢量,并且执行用于基于运动矢量检测特征点的处理以及用于在特征点登记设备342中登记特征点的处理。因此,对于帧检测到的每个特征点顺序地在特征点登记设备342中登记。
特征点跟踪设备343对于在特征点登记设备342中登记的特征点通过采用模板匹配方法执行跟踪处理。也就是说,特征点跟踪设备343计算在特征点登记设备342中登记的特征点的运动矢量。图8是示出特征点的典型跟踪状态的多个图。例如,如图8A所示,对于在时间t1检测到的特征点FPa,特征点跟踪设备343对于在时间t2的位置、在时间t3的位置和在时间t3之后的位置执行跟踪处理。在图8A中,在时间t2的位置每个示出为三角标记,而在时间t3的位置每个示出为矩形标记。此外,例如,如图8B所示,对于在时间t2检测到的特征点FPb,特征点跟踪设备343对于在时间t3的位置和在时间t3之后的位置执行跟踪处理。在图8B中,在时间t3的位置每个示出为三角标记。另外,例如如未在图中所示,对于在时间t3和时间t3之后的随后时间检测到的特征点,特征点跟踪设备343以相同方式对于各位置执行跟踪处理。
特征点删除设备344将检测标准应用到由特征点跟踪设备343输出的跟踪结果,以便确定不需要的特征点为要删除的特征点,并且删除该特征点。不需要的特征点代表不同于运动物体的运动的运动。也就是说,特征点删除设备344通过利用特征点的运动方向、特征点的运动速度、特征点的位置和跟踪时段的至少一个作为检测标准,确定特征点是否为不需要的特征点。例如,特征点删除设备344基于下面说明的确定标准确定不需要的特征点,并且删除该不需要的特征点。要注意,图9是在以下要删除的特征点的描述中参照的多个说明图。
用于确定要删除的特征点的确定标准是以下的至少一个:
1:特征点是否是具有在1帧上突然改变运动速度的特征点FPD,如图9A所示
2:特征点是否是具有突然改变运动方向的特征点FPD,如图9B所示
3:特征点是否是与另一特征点分离不长于预定值的运动距离的特征点,如图9C所示
此外,例如如果为每帧检测并且登记特征点,则在特征点登记设备342中登记的特征点的数目增加,使得对于登记的特征点执行的跟踪处理量也令人不满地上升。为了解决该问题,特征点删除设备344将具有等于或长于预先确定值的跟踪时间段的特征点处理为要删除的特征点。以此方式,可能避免跟踪量令人不满意地增加。
特征点删除设备344删除确定为要删除的特征点的特征点,并且将未删除的特征点输出到检测确定设备345。此外,特征点删除设备344还请求特征点登记设备342从特征点的列表删除已经由特征点删除设备344删除的特征点。根据由特征点删除设备344进行的请求,特征点登记设备342从特征点的列表删除已经由特征点删除设备344删除的特征点。以此方式,特征点删除设备344删除确定为要删除的特征点的特征点,并且将最可能显示运动物体的特征点输出到检测确定设备345。
通过参照没有由特征点删除设备344删除的特征点的数据,检测确定设备345执行通过确定处理。也就是说,如果运动物体已经通过观察位置,则许多特征点存在于相互接近的位置,并且特征点在相同运动方向上运动。因此,如果存在于相互接近的位置的特征点的数目等于或大于预先确定的通过确定阈值并且特征点在相同运动方向上运动,则检测确定设备345确定已经检测到运动物体,并且输出指示已经检测到运动物体的事实的通过确定处理结果。要注意,因为作为最可能指示运动物体的特征点的由特征点删除设备344输出的许多特征点存在于相互接近的位置,并且特征点在多个帧上在相同运动方向上运动,所以可能提供这样的配置,其中检测确定设备345通过参照为各帧生成的数据作为特征点的数据来执行通过确定处理。
多个运动物体检测处理设备设为以当前和过去图像的分辨率、当前和过去图像的时间间隔和运动矢量的搜索区域的至少一个相互不同地操作。因此,可能根据运动物体和运动物体检测装置之间的位置距离使得运动物体检测处理设备的运动物体检测特性相互不同。
在本实施例的情况下,提供3个运动物体检测处理设备。3个运动物体检测处理设备分别是短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L,它们典型地根据如下给出的表1操作。
表1
图像分辨率 | 过去图像 | |
短距离运动物体检测处理设备 | 低分辨率 | 更近期图像 |
中距离运动物体检测处理设备 | 高分辨率 | 更近期图像 |
长距离运动物体检测处理设备 | 高分辨率 | 较远近期图像 |
短距离运动物体检测处理设备34S通过利用具有低分辨率的图像和更近期的过去图像(如典型地领先当前图像1帧的过去图像)检测运动物体。
中距离运动物体检测处理设备34M通过利用具有高于由短距离运动物体检测处理设备34S使用的图像的低分辨率的高分辨率的图像和更近期的过去图像(如典型地领先当前图像1帧的过去图像)检测运动物体。例如,中距离运动物体检测处理设备34M利用具有由短距离运动物体检测处理设备34S使用的图像的低分辨率两倍的高分辨率的图像。
长距离运动物体检测处理设备34L通过利用具有等于由中距离运动物体检测处理设备34M使用的图像的高分辨率的高分辨率的图像和较远近期的过去图像(如典型地领先当前图像5帧的过去图像)检测运动物体。
图10是在以下描述运动物体OB和运动物体检测装置之间的位置距离是短位置距离的情况时参照的多个说明图。要注意,在图10所示的情况下,实线指示当前图像上的运动物体OB,而虚线指示过去图像上的运动物体OB。图10示出通过从当前图像提取运动物体OB的运动后位置计算运动矢量的情况。要注意,以与图10相同方式绘制图11和12。
如图10A所示,如果由单点划线围绕的区域SA用作通过利用具有低分辨率图像检测运动物体OB的情况的模板匹配方法的运动矢量搜索区域SA,则运动物体检测处理设备能够计算运动物体OB的运动矢量。如图10B所示,如果作为具有与作为用于具有低分辨率图像的运动矢量搜索区域SA的图10A所示的区域SA的尺寸相同尺寸的区域的、由单点划线围绕的区域SA用作通过利用具有高分辨率图像检测运动物体OB的情况的模板匹配方法的运动矢量搜索区域SA,然而,运动物体检测处理设备不能计算运动物体OB的运动矢量。也就是说,如果使用具有高分辨率的图像,则运动物体检测处理设备不能计算运动物体OB的运动矢量,除非特征点检测设备341和/或特征点跟踪设备343提供宽运动矢量搜索区域,如由图10B所示的双点划线围绕的区域SB。因此,不可避免地花费长时间来计算运动矢量。此外,如果通过感兴趣的位置的运动物体OB和运动物体检测装置之间的位置距离是短位置距离,则与通过感兴趣的位置的运动物体OB和运动物体检测装置之间的位置距离是长位置距离的情况相比,运动物体OB的图像大。为此,通过利用具有低分辨率的图像,短距离运动物体检测处理设备34S检测与运动物体检测装置分离短位置距离的运动物体OB。
图11是在以下描述运动物体OB和运动物体检测装置之间的位置距离是中位置距离的情况时参照的多个说明图。如果通过利用如图11A所示的具有低分辨率的图像检测运动物体OB,则对于存在于中位置距离的运动物体OB,在低分辨率当前图像上的运动物体OB和在低分辨率过去图像上的运动物体OB之间的运动距离短。因此,运动物体检测处理设备难以用高精度计算运动物体OB的运动矢量。然而,如果通过利用如图11B所示的具有高分辨率的图像检测运动物体OB,则对于存在于中位置距离的运动物体OB,在高分辨率当前图像上的运动物体OB和在高分辨率过去图像上的运动物体OB之间的运动距离长于如图11A所示的具有低分辨率的每个图像的运动距离。因此,运动物体检测处理设备能够用高精度计算运动物体OB的运动矢量。为此,通过利用具有高分辨率的图像,中距离运动物体检测处理设备34M检测与运动物体检测装置分离中位置距离的运动物体OB。
图12是在以下描述运动物体OB和运动物体检测装置之间的位置距离是长位置距离的情况时参照的多个说明图。如果通过利用如图12A所示的具有低分辨率的图像检测运动物体OB,则对于存在于长位置距离的运动物体OB,在低分辨率当前图像上的运动物体OB和在低分辨率过去图像上的运动物体OB之间的运动距离短。此外,存在于长位置距离的运动物体OB的尺寸与存在于中位置距离的运动物体OB相比小。因此,运动物体检测处理设备难以用高精度计算运动物体OB的运动矢量。然而,如果通过利用如图12B所示的具有高分辨率的图像检测运动物体OB,则对于存在于长位置距离的运动物体OB,在高分辨率当前图像上的运动物体OB和在高分辨率过去图像上的运动物体OB之间的运动距离长于如图12A所示的具有低分辨率的每个图像的运动距离。然而,对于存在于长位置距离的运动物体OB,在高分辨率当前图像上的运动物体OB和在高分辨率过去图像上的运动物体OB之间的运动距离仍然短。为了解决该问题,使用较远近期图像作为过去图像,或者增加当前图像和过去图像之间的时间间隔。以此方式,对于存在于长位置距离的运动物体OB,在高分辨率当前图像上的运动物体OB和在高分辨率过去图像上的运动物体OB之间的运动距离可以升高,如图12C所示。因此,运动物体检测处理设备能够用高精度计算运动物体OB的运动矢量。为此,通过利用不但具有高分辨率的图像而且较远近期图像作为过去图像,长距离运动物体检测处理设备34L检测与运动物体检测装置分离长位置距离的运动物体OB。
如上所述,短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L对于上面说明的不同情况检测运动物体。因此,检测处理单元34能够以稳定的方式检测运动物体,而与运动物体和运动物体检测装置之间的位置距离是短、中或长位置距离无关。
此外,短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L的每个检测特征点,对于检测到的特征点执行跟踪处理,并且基于跟踪处理的结果检测运动物体。因此,运动物体检测处理设备能够以稳定方式检测运动物体。
如上所述,在第一实施例中,通过将运动物体和运动检测装置之间的位置距离分为三类(即,短、中和长位置距离),执行用于检测运动物体的处理。然而,要注意,运动物体和运动检测装置之间的位置距离、图像的分辨率和图像之间的时间间隔可以分为更多类(如4和5类)。通过增加运动物体和运动检测装置之间的位置距离、图像的分辨率和图像之间的时间间隔分类的数目,可以对于宽范围的运动物体运动的速度执行用于检测运动物体的处理。
此外,对于运动物体和运动检测装置之间的短位置距离,在图像上运动物体的运动距离长。另一方面,对于运动物体和运动检测装置之间的长位置距离,在图像上运动物体的运动距离短。因此,可能提供这样的配置,其中运动物体检测处理设备控制运动矢量的搜索区域,以便为对于运动物体和运动检测装置之间的不同位置距离提供不同的运动物体检测特性。
另外,多个运动物体检测处理设备设为以当前和过去图像的分辨率、当前和过去图像的时间间隔和运动矢量的搜索区域的至少一个相互不同地操作。因此,运动物体检测处理设备能够以稳定方式检测运动物体,而与运动物体的运动速度无关。例如,在运动物体的高运动速度的情况下,特征点令人不满意地运动超出运动矢量的搜索范围,使得运动物体检测处理设备不可避免地不能对于特征点执行跟踪处理。然而,如果缩短过去和当前图像之间的时间间隔,则特征点在运动矢量的搜索区域内运动。因此,在此情况下,运动物体检测处理设备能够基于跟踪处理的结果检测运动物体。另一方面,在运动物体的低运动速度的情况下,难以从具有低分辨率的图像用高精度计算运动矢量,因此运动物体检测处理设备不能以稳定方式登记特征点和对特征点执行跟踪处理。然而,如果使用具有高分辨率的图像,则与使用具有低分辨率的图像的情况相比,可能从具有高分辨率的图像用高精确度计算运动矢量。因此,如果使用具有高分辨率的图像,则运动物体检测处理设备能够以稳定方式登记特征点和对特征点执行跟踪处理。此外,如果加宽运动矢量的搜索区域,则运动物体检测处理设备能够检测以高运动速度运动的运动物体。也就是说,因为多个运动物体检测处理设备设为以当前和过去图像的分辨率、当前和过去图像的时间间隔和运动矢量的搜索区域的至少一个相互不同地操作,所以运动物体检测处理设备能够以稳定方式检测运动物体,而与运动物体的运动速度无关。
2:第二实施例
接下来,说明第二实施例如下。在上述运动物体检测部分30中,短距离运动物体检测处理设备34S、中距离运动物体检测处理设备34M和长距离运动物体检测处理设备34L的每个独立地检测运动物体。因此,例如,可以由中距离运动物体检测处理设备34M检测运动物体也由短距离运动物体检测处理设备34S检测。出于同样原因,可以由长距离运动物体检测处理设备34L检测运动物体也由中距离运动物体检测处理设备34M检测。结果,在一些情况下令人不满意地由多个运动物体检测处理设备执行用于检测相同运动物体的处理。为了解决该问题,在第二实施例的情况下,在运动物体检测部分30中采用的特定运动物体检测处理设备利用为由其它运动物体检测处理设备执行的运动物体检测处理设置的信息,以便减少其中由另一运动物体检测处理设备检测的运动物体冗余地由特定运动物体检测处理设备检测的情况的数目。因此,在第二实施例中采用的运动物体检测部分30能够高效检测运动物体。
2-1:运动物体检测部分的其它配置
图13是示出作为另一运动物体检测部分的运动物体检测部分30a的配置的框图。要注意,在图13所示的运动物体检测部分30a中,与图3所示的运动物体检测部分30中采用的它们的各个对应物相同的元件由相同的参考标号表示为对应物,并且省略详细说明。
在运动物体检测部分30a中采用的检测处理单元34a典型地采用短距离运动物体检测处理设备34Sa、中距离运动物体检测处理设备34Ma和长距离运动物体检测处理设备34La。短距离运动物体检测处理设备34Sa、中距离运动物体检测处理设备34Ma和长距离运动物体检测处理设备34La的每个通过利用过去图像存储单元32中存储的图像信号来代表过去图像和由信号处理部分12(或22)输出的图像信号来代表当前图像,检测运动物体。短距离运动物体检测处理设备34Sa对于运动物体检测设置这样的条件,使得短距离运动物体检测处理设备34Sa能够检测与运动物体检测装置分离短位置距离的运动物体。出于同样原因,长距离运动物体检测处理设备34La对于运动物体检测设置这样的条件,使得长距离运动物体检测处理设备34La能够检测与运动物体检测装置分离长位置距离的运动物体。以同样方式,中距离运动物体检测处理设备34Ma对于运动物体检测设置这样的条件,使得中距离运动物体检测处理设备34Ma能够检测与运动物体检测装置分离中位置距离的运动物体,该中位置距离是由短距离运动物体检测处理设备34Sa检测的运动物体的短位置距离和由长距离运动物体检测处理设备34La检测的运动物体的长位置距离之间的位置距离。
此外,短距离运动物体检测处理设备34Sa、中距离运动物体检测处理设备34Ma和长距离运动物体检测处理设备34La中的任何特定一个利用为由短距离运动物体检测处理设备34Sa、中距离运动物体检测处理设备34Ma和长距离运动物体检测处理设备34La中的其它各个执行的运动物体检测处理设置的信息,以便减少由短距离运动物体检测处理设备34Sa、中距离运动物体检测处理设备34Ma和长距离运动物体检测处理设备34La的任何其它一个检测的运动物体由短距离运动物体检测处理设备34Sa、中距离运动物体检测处理设备34Ma和长距离运动物体检测处理设备34La中该特定一个冗余地检测的情况的数目。为运动物体检测处理设置的信息典型地包括关于可检测的运动的信息、关于运动矢量搜索区域的搜索区域的信息和关于过去图像的信息。
2-2:运动物体检测方法
接下来,以下描述说明这样的情况,其中在任何特定运动物体检测处理设备中采用的特征点检测设备341利用从其它运动物体检测处理设备接收的信息作为关于可检测的运动的信息。例如,在利用具有高分辨率图像的运动物体检测处理设备和利用具有低分辨率图像的运动物体检测处理设备中,它们的图像帧速率相互相等,并且具有高分辨率图像的分辨率是具有低分辨率图像的分辨率的两倍。在此情况下,由运动物体检测处理设备执行的用于检测运动物体运动通过具有高分辨率图像上N个像素的运动距离的处理对应于由运动物体检测处理设备执行的用于检测运动物体运动通过具有低分辨率图像上N/2个像素的运动距离的处理。因此,如果利用具有高分辨率图像的运动物体检测处理设备能够检测运动物体运动通过具有高分辨率图像上直到N个像素的运动距离,则利用具有低分辨率图像的运动物体检测处理设备不将代表直到N/2个像素的运动距离的位置登记为特征点。
以此方式,可以减少在特征点登记设备342中登记的特征点的数目,使得由特征点跟踪设备343执行的处理量也减少。
此外,还可能提供这样的配置,其中利用具有低分辨率图像的运动物体检测处理设备取短于N/2像素的运动距离为标准,并且将代表长于该标准的运动距离的位置登记为特征点。在这样的配置的情况下,利用具有高分辨率图像的运动物体检测处理设备和利用具有低分辨率图像的运动物体检测处理设备两者可以冗余地执行部分运动物体检测处理。因此,运动物体检测部分30a能够以稳定方式执行运动物体检测处理。
接下来,通过参照图14,以下描述说明这样的情况,其中在任何特定运动物体检测处理设备中采用的特征点跟踪设备343利用从其它运动物体检测处理设备接收的信息作为关于运动矢量搜索区域SA的信息。例如,在利用具有高分辨率图像的运动物体检测处理设备和利用具有低分辨率图像的运动物体检测处理设备中,它们的图像帧速率相互相等,并且具有高分辨率图像的分辨率是具有低分辨率图像的分辨率的两倍。此外,利用具有高分辨率图像的运动物体检测处理设备的运动矢量搜索区域SA和利用具有低分辨率图像的运动物体检测处理设备的运动矢量搜索区域SA分别设为具有((J/2)×(K/2))像素的尺寸和(J×K)像素的尺寸。在此情况下,作为具有高分辨率图像的运动矢量搜索区域SA的图14B所示的运动矢量搜索区域SA,对应于代表作为具有低分辨率图像的运动矢量搜索区域SA的图14A所示的运动矢量搜索区域SA中包括的运动矢量搜索区域SC的阴影块。也就是说,具有中分辨率图像的运动矢量搜索区域SA可以通过从用于具有低分辨率图像的设为具有(J×K)像素的尺寸的运动矢量搜索区域SA排除运动矢量搜索区域SC来获得,该运动矢量搜索区域SC对应于用于具有高分辨率图像的设为具有((J/2)×(K/2))像素的尺寸的运动矢量搜索区域SA。因此,用于具有中分辨率图像的运动矢量搜索区域SA具有(J×K-(J/2)×(K/2))像素的尺寸。通过以此方式设置运动矢量搜索区域SA,可以减小运动矢量搜索区域SA的尺寸。因此,运动物体检测部分30a能够高速地对特征点执行跟踪处理。
此外,还可能提供这样的配置,其中利用具有低分辨率图像的运动物体检测处理设备排除具有小于运动矢量搜索区域SC的尺寸的尺寸的运动矢量搜索区域。在这样配置的情况下,利用具有高分辨率图像的运动物体检测处理设备和利用具有低分辨率图像的运动物体检测处理设备两者可以冗余地执行部分运动物体检测处理。因此,运动物体检测部分30a能够以稳定方式执行运动物体检测处理。
接下来,以下描述说明这样的情况,其中任何特定运动物体检测处理设备中采用的特征点跟踪设备343利用从其它运动物体检测处理设备接收的信息作为关于过去图像的信息。在利用更近期的过去图像的运动物体检测处理设备中,更近期的过去图像是典型地领先当前图像H帧的过去图像,而在利用较远近期的过去图像的运动物体检测处理设备中,较远近期的过去图像是典型地领先当前图像5H帧的过去图像。
在此情况下,在较远近期的过去图像的运动矢量的搜索区域设为具有(J×K)像素的尺寸的情况下,更近期的过去图像的H帧时间间隔与较远近期的过去图像的5H帧时间间隔的比率是(1/5)。如果考虑(1/5)的运动,则对于较远近期的过去图像的运动矢量的搜索区域对应于对于更近期的过去图像的具有((J/5)×(K/5))像素的尺寸的运动矢量搜索区域。因此,利用更近期的过去图像的特征点跟踪设备343要求仅仅在通过从具有(J×K)像素的尺寸的运动矢量搜索区域排除具有((J/5)×(K/5))像素的尺寸的运动矢量搜索区域所获得的运动矢量搜索区域中执行跟踪处理。也就是说,利用更近期的过去图像的特征点跟踪设备343要求仅仅在具有((J-J/5)×(K-K/5))像素的尺寸的运动矢量搜索区域中执行跟踪处理。通过以此方式设置运动矢量的搜索区域,可以减少运动矢量的搜索区域的尺寸。因此,运动物体检测部分30a能够高速地对特征点执行跟踪处理。
此外,如果利用更近期的过去图像的运动物体检测处理设备排除具有小于((J/5)×(K/5))像素的尺寸的运动矢量搜索区域,则利用更近期的过去图像的特征点跟踪设备和利用较远近期的过去图像的特征点跟踪设备两者可以冗余地执行部分运动物体检测处理。因此,运动物体检测部分30a能够以稳定方式执行运动物体检测处理。
3:用于执行用于运动物体检测的软件处理的配置
上述一系列处理可以通过硬件和/或软件的运行来执行。如果上述一系列处理通过软件的运行来执行,则构成软件的程序可以典型地从网络或可移除记录介质安装在嵌入专用硬件中的计算机、通用个人计算机中。在此情况下,计算机或个人计算机用作上述运动物体检测部分30。通用个人计算机是可以通过安装多种程序使得能够执行多种功能的个人计算机。在以下描述中,为了简化,计算机和个人计算机两者简称为计算机系统60。
图15是示出用于运行程序以便执行之前描述的各种处理的计算机系统60的典型配置的框图。在计算机系统60中,CPU(中央处理单元)实际运行程序以便执行处理,程序已经预先存储在ROM(只读存储器)62或存储部分69中。
如果要由CPU 61运行的程序已经存储在存储部分69中,则在运行之前将程序载入RAM(随机存取存储器)63中。此外,RAM 63还用于适当地存储数据。CPU 61、ROM 62和RAM 63通过总线64相互连接。
此外,CPU 61还通过总线64连接到输入/输出接口65,该输入/输出接口65连接到用户接口部分66、输入部分67、输出部分68、通信部分70、驱动器71和上述存储部分69。用户接口部分66用作具有触摸面板、键盘和麦克风的接口。输入部分67接收图像信号。输出部分68连接到显示单元等。根据从用户接口部分66接收的命令,CPU 61对于由输入部分67接收的图像信号执行处理。然后,CPU 61将处理的结果提供到输出部分68。
连接到输入/输出接口65的存储部分69典型地包括硬盘。除了要由CPU61运行的程序外,存储部分69还用于存储各种数据。通信部分70通过如网络的有线通信介质或如数字广播的无线电通信介质与外部装置通信。网络的典型示例是因特网和LAN(局域网)。
当可移除记录介质72安装在驱动器71上,驱动器71驱动可移除记录介质72,以便从可移除记录介质72获取程序或数据。如果需要,则驱动器71将程序和数据传送到ROM 62、RAM 63和/或存储部分69。
要注意,程序典型地预先存储在ROM 62和/或存储部分69中采用的硬盘中。作为替代,当可移除记录介质72安装在驱动器71上时,程序还可以从可移除记录介质72安装到存储部分69中采用的硬盘中,该驱动器71从可移除记录介质72读出要安装到硬盘中的程序。可移除记录介质72用于临时地或外部地存储(记录)程序。可移除记录介质72的典型示例是软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘和半导体存储器。作为另一替代,程序还可以通过如网络的有线通信介质或前述无线电通信介质从下载站点下载到计算机系统60。如上所述,网络的典型示例是因特网和LAN(局域网)。在计算机系统60中,通信部分70接收从下载站点下载的程序,并且典型地将程序安装到存储部分69中采用的硬盘中。
CPU 61运行程序,以便驱动计算机系统60用作用于基于已经通过利用当前和过去图像计算的运动矢量检测运动物体的多个运动物体检测处理设备。此外,运动物体检测处理设备设为以当前和过去图像的分辨率、当前和过去图像之间的时间间隔和运动矢量的搜索区域的至少一个相互不同地操作。因此,计算机系统60能够检测运动物体。
通过配置如上所述的运动物体检测处理设备,基于由输入部分67接收的图像信号和由通信部分70接收的图像信号,可以以稳定方式检测运动物体,而与运动物体和计算机系统60之间的位置距离以及运动物体的运动速度无关。
要注意,上面给出的描述不应理解为说明本发明的实施的描述限于之前说明为本发明实施例的实施例。例如,由坐标指定单元33指定的位置绝不限于如在图6所示的典型示例的情况的图像的中心部分。例如,如果检测的运动物体在水平方向运动,则由坐标指定单元33指定的位置可以是在图像的右边缘或左边缘的位置。本发明的每个实施例只是本发明的典型实施。也就是说,显而易见的是本领域的技术人员能够将本发明的每个实施例改变为任何修改版本,只要修改版本落入不背离本发明基本的范围内。换句话说,本发明的实施例每个可以改变为任何修改版本,只要修改版本落入权利要求的范围内。
根据由本发明提供的运动物体检测装置、运动物体检测方法和运动物体检测程序,多个运动物体检测处理设备基于已经通过利用当前和过去图像计算的运动矢量检测运动物体。因为运动物体检测处理设备设为以当前和过去图像的分辨率、当前和过去图像之间的时间间隔和运动矢量的搜索区域的至少一个相互不同地操作,所以运动物体检测处理设备能够检测运动物体。因此,可以使得运动物体检测处理设备的运动物体检测特性根据运动物体的运动速度以及运动物体和运动物体检测装置之间的位置距离而相互不同。结果,可能以与运动物体的运动速度以及运动物体和装置之间的位置距离无关的稳定方式检测运动物体。因此,本发明适于如监视装置和侵入检测系统的设备。
本申请包含涉及于2010年3月16日向日本专利局提交的日本优先权专利申请JP 2010-059116中公开的主题内容,在此通过引用并入其全部内容。
Claims (9)
1.一种运动物体检测装置,其具有多个运动物体检测处理设备,所述运动物体检测处理设备配置为基于通过利用当前图像和过去图像计算的运动矢量检测运动物体,其中所述运动物体检测处理设备设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地操作,以便检测所述运动物体。
2.如权利要求1所述的运动物体检测装置,其中每个所述运动物体检测处理设备包括:
特征点检测设备,配置为从多个指定位置检测具有等于或大于预先确定的值的运动距离的指定位置,并且取所述检测到的指定位置为特征点;
特征点跟踪设备,配置为执行跟踪处理,以便确定所述特征点随着时间的经过已经运动到的位置;
特征点删除设备,配置为通过利用预先设置的确定标准,从对于所述特征点执行的所述跟踪处理的结果确定不需要的特征点,并且删除所述不需要的特征点;以及
检测确定设备,配置为基于所述特征点中未删除的特征点确定是否已经检测到所述运动物体。
3.如权利要求2所述的运动物体检测装置,其中所述特征点删除设备通过利用所述特征点的运动方向、所述特征点的运动速度、所述特征点的位置和对于所述特征点执行的所述跟踪处理的时间段的至少一个,确定所述不需要的特征点。
4.如权利要求2所述的运动物体检测装置,其中所述检测确定设备基于未删除的特征点的数目、所述未删除的特征点的跟踪后位置和所述未删除的特征点的运动的方向,确定是否已经检测到所述运动物体。
5.如权利要求1所述的运动物体检测装置,其中所述运动物体检测处理设备的任何特定一个基于为由所述运动物体检测处理设备中的其它运动物体检测处理设备执行的运动物体检测处理设置的信息,设置所述运动矢量的所述搜索区域。
6.如权利要求5所述的运动物体检测装置,其中所述特定运动物体检测处理设备基于为所述运动物体检测处理设置的所述信息,调整所述运动矢量的所述搜索区域,以便减少由所述特定运动物体检测处理设备冗余地检测由任何所述其它运动物体检测处理设备检测的所述运动物体的情况的数目。
7.如权利要求1所述的运动物体检测装置,所述运动物体检测装置还具有检测结果处理部分,用于收集由所述运动物体检测处理设备产生的检测结果,并且当每个由所述运动物体检测处理设备之一产生的所述检测结果的任何一个已经确定已经检测到所述运动物体时,输出指示已经检测到所述运动物体的信号。
8.一种为多个运动物体检测处理设备提供的运动物体检测方法,所述运动物体检测方法具有多个运动物体检测步骤,每个要由所述运动物体检测处理设备之一执行,以便基于通过利用当前图像和过去图像计算的运动矢量检测运动物体,从而所述运动物体检测处理设备设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地执行所述各个运动物体检测步骤,以便检测所述运动物体。
9.一种运动物体检测程序,用于驱动计算机用作多个运动物体检测功能部件,所述运动物体检测功能部件用于基于通过利用当前图像和过去图像计算的运动矢量检测运动物体,其中所述运动物体检测功能部件设为以所述当前和过去图像的分辨率、所述当前和过去图像之间的时间间隔和所述运动矢量的搜索区域的至少一个相互不同地操作,以便检测所述运动物体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP059116/10 | 2010-03-16 | ||
JP2010059116A JP2011192141A (ja) | 2010-03-16 | 2010-03-16 | 動体検出装置と動体検出方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102194238A true CN102194238A (zh) | 2011-09-21 |
Family
ID=44602252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100591101A Pending CN102194238A (zh) | 2010-03-16 | 2011-03-11 | 运动物体检测装置、运动物体检测方法和程序 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8467575B2 (zh) |
JP (1) | JP2011192141A (zh) |
CN (1) | CN102194238A (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5644097B2 (ja) * | 2009-12-08 | 2014-12-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2012133759A (ja) * | 2010-11-29 | 2012-07-12 | Canon Inc | 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 |
JP5808282B2 (ja) * | 2012-03-23 | 2015-11-10 | 三菱電機株式会社 | 映像信号記録再生装置及び監視方法 |
TWI459170B (zh) * | 2012-10-04 | 2014-11-01 | Ind Tech Res Inst | 行進控制裝置以及具有該行進控制裝置之自動引導載具 |
JP6297822B2 (ja) * | 2013-11-19 | 2018-03-20 | ルネサスエレクトロニクス株式会社 | 検知装置、検知システム及び検知方法 |
WO2017041303A1 (en) * | 2015-09-11 | 2017-03-16 | SZ DJI Technology Co., Ltd. | Systems and methods for detecting and tracking movable objects |
JP6838278B2 (ja) * | 2016-03-28 | 2021-03-03 | セイコーエプソン株式会社 | ロボット |
US11107223B2 (en) | 2016-03-31 | 2021-08-31 | Nec Corporation | Image detection device, image detection method and storage medium storing program |
IL280983B (en) * | 2016-06-30 | 2022-07-01 | Magic Leap Inc | Estimating pose in 3d space |
JP6953818B2 (ja) * | 2016-11-14 | 2021-10-27 | 株式会社アイシン | 動作判定装置 |
CN107590469A (zh) * | 2017-09-18 | 2018-01-16 | 维沃移动通信有限公司 | 一种人脸检测方法及移动终端 |
CN107920257B (zh) * | 2017-12-01 | 2020-07-24 | 北京奇虎科技有限公司 | 视频关键点实时处理方法、装置及计算设备 |
US11068741B2 (en) * | 2017-12-28 | 2021-07-20 | Qualcomm Incorporated | Multi-resolution feature description for object recognition |
JP7158881B2 (ja) * | 2018-04-10 | 2022-10-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
US11094114B2 (en) * | 2019-02-08 | 2021-08-17 | Ursa Space Systems Inc. | Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations |
US20210124351A1 (en) * | 2019-10-25 | 2021-04-29 | Waymo Llc | Onboard cluster tracking system |
CN110992393B (zh) * | 2019-11-24 | 2023-06-30 | 思看科技(杭州)股份有限公司 | 一种基于视觉的目标运动跟踪方法 |
KR20210085256A (ko) * | 2019-12-30 | 2021-07-08 | 삼성전자주식회사 | 사용자의 위치를 제공하기 위한 전자 장치 및 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088599A (ja) * | 2002-08-28 | 2004-03-18 | Toshiba Corp | 画像監視装置と画像監視方法 |
CN1856098A (zh) * | 2005-03-16 | 2006-11-01 | 索尼株式会社 | 移动目标检测设备、方法和程序 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2008276613A (ja) * | 2007-05-01 | 2008-11-13 | Sumitomo Electric Ind Ltd | 移動体判定装置、コンピュータプログラム及び移動体判定方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3235393B2 (ja) * | 1995-03-17 | 2001-12-04 | トヨタ自動車株式会社 | 移動ベクトル抽出方法 |
JP4315138B2 (ja) | 2004-09-13 | 2009-08-19 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US7982774B2 (en) | 2004-09-13 | 2011-07-19 | Sony Corporation | Image processing apparatus and image processing method |
JP2006146551A (ja) * | 2004-11-19 | 2006-06-08 | Matsushita Electric Ind Co Ltd | ロボット |
FR2882160B1 (fr) * | 2005-02-17 | 2007-06-15 | St Microelectronics Sa | Procede de capture d'images comprenant une mesure de mouvements locaux |
JP4776324B2 (ja) | 2005-10-05 | 2011-09-21 | 三菱電機株式会社 | 監視端末装置 |
JP4970926B2 (ja) * | 2006-01-16 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4139430B1 (ja) * | 2007-04-27 | 2008-08-27 | シャープ株式会社 | 画像処理装置及び方法、画像表示装置及び方法 |
-
2010
- 2010-03-16 JP JP2010059116A patent/JP2011192141A/ja active Pending
-
2011
- 2011-02-28 US US12/932,545 patent/US8467575B2/en not_active Expired - Fee Related
- 2011-03-11 CN CN2011100591101A patent/CN102194238A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088599A (ja) * | 2002-08-28 | 2004-03-18 | Toshiba Corp | 画像監視装置と画像監視方法 |
CN1856098A (zh) * | 2005-03-16 | 2006-11-01 | 索尼株式会社 | 移动目标检测设备、方法和程序 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2008276613A (ja) * | 2007-05-01 | 2008-11-13 | Sumitomo Electric Ind Ltd | 移動体判定装置、コンピュータプログラム及び移動体判定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110228979A1 (en) | 2011-09-22 |
JP2011192141A (ja) | 2011-09-29 |
US8467575B2 (en) | 2013-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102194238A (zh) | 运动物体检测装置、运动物体检测方法和程序 | |
JP2953712B2 (ja) | 移動物体検知装置 | |
US8582822B2 (en) | Moving object detection apparatus and moving object detection method | |
JP6455113B2 (ja) | 物体追跡方法と装置 | |
US7545973B2 (en) | Image matching system using 3-dimensional object model, image matching method, and image matching program | |
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
Deng et al. | Amae: Adaptive motion-agnostic encoder for event-based object classification | |
CN108470353A (zh) | 一种目标跟踪方法、装置和存储介质 | |
Zhang et al. | Illumination-guided RGBT object detection with inter-and intra-modality fusion | |
CN112085789B (zh) | 位姿估计方法、装置、设备及介质 | |
JP4668360B2 (ja) | 移動体検出方法及び移動体検出装置 | |
CN112861808B (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
CN104077785A (zh) | 运动对象检测装置、运动对象检测方法和计算机程序 | |
JP6361775B2 (ja) | 対象姿勢特定の方法および装置 | |
CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN111428535A (zh) | 图像处理装置和方法及图像处理系统 | |
CN116503441A (zh) | 一种视频动态目标追踪方法、装置、设备及存储介质 | |
JP7196999B2 (ja) | オブジェクト検出・追跡装置、方法、およびプログラム | |
Nugroho et al. | Comparison of deep learning-based object classification methods for detecting tomato ripeness | |
CN112097772B (zh) | 机器人及其地图构建方法和装置 | |
Roopchand et al. | Bat detection and tracking toward batsman stroke recognition | |
US20230051014A1 (en) | Device and computer-implemented method for object tracking | |
KR20230111010A (ko) | 관절 예측을 위한 학습 데이터 생성 방법 및 장치 | |
JP2000011134A (ja) | 移動量検出装置及びその方法 | |
KR102687632B1 (ko) | 저 프레임 속도 영상 상의 객체를 추적하는 방법 및 이를 이용한 객체 추적 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C05 | Deemed withdrawal (patent law before 1993) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110921 |