CN101765025A - 一种监控摄像设备异常检测的系统及方法 - Google Patents

Abstract

本发明涉及视频监控系统及方法，具体涉及一种监控摄像设备异常检测的系统及方法。本发明通过运动目标检测法和/或静止目标检测法检测监控摄像设备是否发生异常，在检测到监控摄像设备异常的情况下发送报警信息到用户终端。如果运动目标占整个视频图像的比例大于或等于异常运动目标面积阈值，且该状态持续时间大于或等于异常运动目标时间阈值时，该监控摄像设备发生由运动目标引起的异常。如果静止目标占整个视频图像的比例大于或等于异常静止目标面积阈值，且该状态持续时间大于或等于异常静止目标时间阈值时，该监控摄像设备发生由静止目标引起的异常。该监控摄像设备异常检测方法比人工检测监控摄像设备更加智能，具有重要的现实意义。

Description

一种监控摄像设备异常检测的系统及方法

技术领域

本发明涉及视频监控系统及方法，尤其涉及一种基于运动目标检测和静止目标检测的监控摄像设备异常检测的系统及方法。

背景技术

监控摄像系统广泛的应用于各个监控领域，如智能交通系统等。在目前的视频监控系统中，多数监控摄像设备的位置都是预先固定好，并且在监控过程中始终保持不变。然而监控摄像设备在使用过程中，常常会遭到外界因素的破坏，如人为损坏、遮挡或移动等；同时监控摄像设备中的视频数据也可能遭到污染，比如监控到的视频数据出现大量噪声，视频画面发生剧烈抖动等。监控摄像设备被破坏或者监控数据被污染，都会影响监控摄像设备正常工作。监控摄像设备发生异常后，需要及时对监控摄像设备进行调整、修理或更换。因此，必须随时检测监控摄像设备是否正常，并将结果通告给用户尤为重要。

在传统的视频监控中，检查视频监控设备是否异常，采用的方法通常是，在用户端通过人工观察摄像头，并根据观测内容判断摄像设备是否发生异常。显而易见，人为检测监控摄像设备是否异常存在明显的缺陷和不足，不间断地观测摄像头，会导致观测人员视觉和身体疲劳。

在视频监控系统中，需要实时地检测监控摄像设备是否发生异常，以便及时地对出现异常的监控摄像设备进行修理或更换。鉴于人工检测摄像设备存在不可避免的弊端，一种智能的监控摄像异常检测系统及方法具有非常重要的现实意义和广泛的应用前景。

发明内容

本发明提供了一种能解决以上问题的监控摄像设备异常检测的系统及方法，目的是取代人工进而智能地对监控摄像设备进行异常检测。

在第一方面，本发明提供了一种监控摄像设备异常检测系统，该系统包括采集模块、异常检测模块、报警模块、参数设置模块、存储器和处理器。

采集模块获取监控摄像设备监视场景的视频图像；异常检测模块通过视频图像信息检测监控摄像设备是否发生异常；报警模块基于发生的异常情况发送报警信息到用户终端；参数设置模块设置系统参数以便判断监控摄像设备是否发生异常，系统参数包括前景阈值、异常运动目标面积阈值、异常运动目标时间阈值、异常静止目标面积阈值、异常静止目标时间阈值。

异常检测模块包括运动分析模块和/或静止目标检测模块；运动分析模块根据运动目标占整个视频图像的比例以及具有该比例的状态所持续时间，判断监控摄像设备是否发生由运动目标引起的异常；静止目标检测模块根据静止目标占整个视频图像的比例以及具有该比例的状态所持续时间，判断监控摄像设备是否发生由静止目标引起的异常。

在第二方面，本发明提供了一种监控摄像设备异常检测方法，通过运动目标检测法和/或静止目标检测法检测视频监控设备是否发生异常；如果该监控摄像设备发生异常，将报警信息发送到用户终端，终端报警。

运动目标检测法根据运动目标占整个视频图像的比例以及该状态所持续时间，判断监控摄像设备是否发生由运动目标引起的异常；静止目标检测法根据静止目标占整个视频图像的比例以及该状态所持续时间，判断监控摄像设备是否发生由静止目标引起的异常。

在本发明的一个实施例中，如果运动目标占整个视频图像的比例大于或等于系统设定的异常运动目标面积阈值，且该状态所持续的时间大于或等于系统设定的异常运动目标时间阈值，则该视频监控设备是由运动目标引起的异常。

在本发明的另一个实施例中，如果静止目标占整个视频图像的比例大于或等于系统设定的异常静止目标面积阈值，且该状态所持续的时间大于或等于系统设定的异常静止目标时间阈值，则该视频监控系统是由静止目标引起的异常。

本发明通过分析运动目标占整个视频图像的比例以及具有该比例的状态所持续时间，和/或分析静止目标占整个视频图像的比例以及具有该比例的状态所持续时间，进而判断该监控摄像设备是否发生异常。本发明的系统及方法克服了传统检测监控摄像设备的不足，在不需要任何人工的情况下，智能且实时的对监控摄像设备进行异常检测。

附图说明

下面将参照附图对本发明的具体实施方案进行更详细的说明，在附图中：

图1本发明的监控摄像设备硬件体系框图；

图2本发明的监控摄像设备异常检测流程图；

图3本发明的基于运动目标检测的流程图；

图4本发明的基于静止目标检测的流程图。

具体实施方式

为了使本发明的目的和技术方案更加清晰，以下结合附图以及实施例对本发明的监控摄像设备异常检测系统及方法进行详细说明。

图1是本发明的监控摄像设备硬件体系框图。该监控摄像设备包括采集模块110、异常检测模块120、报警模块130、参数设置模块140、存储器150以及处理器160。其中，异常检测模块120包括运动分析模块121、静止目标检测模块122和统计模块123。

采集模块110用于采集监控摄像设备周围场景的视频图像。

异常检测模块120通过其运动分析模块121分析监控摄像设备是否发生由运动目标引起的异常。静止目标检测模块122检测监控摄像设备是否发生由静止目标引起的异常。统计模块123统计在统计时间内所有视频图像像素的灰度值变化情况。

报警模块130在监控摄像设备发生异常时，将报警信息传送到用户终端。

参数设置模块140设置监控摄像设备的系统参数，以便判断监控摄像设备是否发生异常。系统参数可以包括前景阈值、异常运动目标面积阈值、异常运动目标时间阈值、异常静止目标面积阈值、异常静止目标时间阈值，具体阈值的数值可以由用户设置。

存储器150存储监控摄像设备中的程序，并且存储背景图像、当前帧图像、报警信息等。

处理器160执行存储器150中的程序，控制监控摄像设备各模块的操作，执行监控摄像设备中的算数和逻辑运算。

图2是本发明的监控摄像设备异常检测流程图。步骤210采集监控摄像设备监视场景的视频图像。步骤220根据采集到的视频图像对监控摄像设备进行异常检测，异常检测包括运动目标异常检测及静止目标异常检测。步骤230判断监控摄像设备是否异常，如果检测到该监控摄像设备发生异常，执行步骤232发送报警信息到用户终端，用户终端报警。如果没有检测到该监控摄像设备发生异常，执行步骤231即在用户终端显示采集到的当前帧图像；然后再不间断地执行该异常检测流程直到检测到该监控摄像设备发生异常。

本发明将监控摄像设备发生异常的原因分为两种，第一种通常是监控摄像设备发生剧烈抖动，或某段时间内监控摄像设备被外界物体遮挡，或视频数据出现大量噪声等。此种情况将导致监控的视频图像中出现大量的运动目标。第二种通常是摄像设备被破坏，或被移动，或被喷涂脏物质或被长期遮挡等。此种情况将导致监控的视频图像中出现大量的静止目标。

为了检测监控摄像设备是否发生异常，监控摄像设备将采集到的视频图像进行运动目标检测和静止目标检测。若发现存在大量的运动目标或者静止目标甚至布满整个视频画面时，说明监控摄像设备发生由运动目标引起的异常或者由静止目标引起的异常，发送报警信息到用户终端，以便用户终端对监控摄像设备进行处理。

下面将分别阐述本发明的运动目标检测法及静止目标检测法检测监控摄像设备是否发生异常。

图3是本发明的基于运动目标检测的流程图。步骤310采集监控摄像设备监视场景的视频图像。步骤320通过存储于存储器150中的存储矩阵的标志位判断系统是否已经背景建模。如果系统没有背景建模，执行步骤321即背景建模，再执行步骤322背景图像更新。如果系统已经背景建模，直接执行步骤322背景图像更新，进而得到更新后的背景图像。背景图像更新后继续执行步骤330通过前景检测得到运动目标，即通过采集到的当前帧图像减去背景图像并二值化，再对二值图像进行连通域分析，进而得到运动目标。再执行步骤340即计算运动目标面积并且记录该运动目标出现时间。

继续执行步骤350即判断运动目标面积是否达到异常运动目标面积阈值，且该运动目标面积达到异常运动目标面积阈值所持续时间是否达到异常运动目标时间阈值。如果该运动目标面积达到异常运动目标面积阈值，且该状态持续时间达到异常运动目标时间阈值，则说明该监控摄像设备发生由运动目标引起的异常，执行步骤360发送报警信息到用户终端，用户终端报警。如果运动目标面积没有达到异常运动目标面积阈值，或者该运动目标面积达到异常运动目标面积阈值但该状态持续时间没有达到异常运动目标时间阈值，则说明该监控摄像设备没有发生由运动目标引起的异常；然后再不间断地执行该运动目标异常检测流程直到检测到该监控摄像设备发生由运动目标引起的异常。

接下来，对该运动目标异常检测方法进行详细阐述。

步骤321背景建模的方法很多，如均值法、高斯混合模型法以及核密度估计法等等。长期静止图像灰度值不断发生改变的因素很多，通常随着时间的推移静止图像的灰度值会逐渐发生变化，比如早晨、中午、下午各个不同时间阶段阳光照射不同，因此同一物体的灰度值也不同。步骤322背景图像更新的目的是及时更新检测到的背景图像的灰度值，背景图像更新采用的方法是根据不同更新策略更新背景图像，通常采用的更新策略是移动平均值法。对监控摄像设备监视的场景进行背景建模和更新，目的是建立和维护监控场景中处于长期静止图像的灰度值。背景建模是根据一定的建模思想来得到监控场景的初始化背景图像，背景建模得到的背景图像对应的是监视场景中固定不变部分。背景更新是根据当前场景的图像，利用一定的更新方法来对初始化背景图像进行不断的修正，使之能够和当前场景中背景部分的灰度值保持一致。

背景图像更新完成后，执行步骤330即对采集到的当前帧图像进行前景检测，前景检测的目的是得到视频图像中的运动目标。前景检测采用的方法是，用当前帧图像减去背景图像并二值化，然后将运动区域中连通部分提取出来，进而得到运动目标。当前帧图像是由采集模块110采集到的监控摄像监视当前场景的图像；背景图像是存储在存储器150中且更新后的背景图像；二值化是将检测到的当前帧图像减去背景图像的灰度图像转换成二值图像。

当前帧图像减去背景图像并二值化，是用当前帧图像与背景图像相比再二值化，具体是将当前帧图像中的每个像素的灰度值与背景图像中对应位置处像素的灰度值相减，如果相减的结果大于或等于系统设定的前景阈值，在二值图像中将该像素用白色表示出来；同理，如果相减的结果小于系统设定的前景阈值，在二值图像中将该像素用黑色表示出来。所有的白色和黑色组成运动目标和静止物体的二值图像，在该二值图像中白色部分为运动区域，黑色部分为静止区域。所述提取运动区域中的连通部分是将二值图像中的白色不连通部分连通起来，进而得到当前视频图像中的运动目标以及该运动目标占据整个视频图像的比例。

正常情况下监控摄像设备距离地面存在一定的高度，监控摄像设备摄取到的视频图像范围有限，因此图像中的运动物体占据整个视频图像的比例较小，即运动物体在二值图像中的白色部分面积相对于整个监控视频图像的面积较小。因此，如果运动目标大量出现甚至布满整个视频画面并且该现象存在的时间较长时，说明该监控摄像设备发生异常，且该异常是由运动目标引起的异常，即监控摄像设备发生了由抖动或其它运动现象所引起的异常。

在基于运动目标检测法中，需要参数设置模块140设定异常运动目标面积阈值和异常运动目标时间阈值。异常运动目标面积阈值针对的是运动目标的二值图像中白色部分面积占整个二值图像面积的比例，即针对的是运动目标占整个视频图像的比例。异常运动目标时间阈值针对的是运动目标二值图像中白色部分面积占整个二值图像面积比例达到运动目标面积阈值所持续时间，即针对的是运动目标达到异常运动目标面积阈值所持续的时间。

步骤340计算运动目标面积，即计算的是运动目标二值图像中白色部分的面积，以及计算该二值图像中白色部分面积与该二值图像面积的比例，也就是计算该运动目标占整个视频图像的比例；同时记录该运动目标出现的时间。当运动目标占整个视频图像的比例大于或等于系统设定的异常运动目标面积阈值，并且该状态持续时间大于或等于系统设定的异常运动目标时间阈值时，说明该监控摄像设备发生由运动目标引起的异常。同样若运动目标占整个视频图像的比例小于系统设定的运动目标面积阈值，或运动目标占整个视频图像的比例大于或等于运动目标面积阈值但该状态持续时间小于运动目标时间阈值时，说明该监控摄像设备没有发生由运动目标引起的异常。

由静止目标引起的监控摄像设备发生异常后，背景图像会发生较大改变化，影响正常的视频监控。图4是本发明的基于静止目标检测的流程图。

步骤410采集监控摄像设备监视场景的视频图像。步骤420判断系统是否已经背景建模，如果没有背景建模执行步骤421背景建模。如果已经背景建模，执行步骤430即统计图像中每个象素的灰度值变化。再执行步骤440即提取每个像素出现频率最高的灰度值信息，并用该灰度值信息组成静止图像。继续执行步骤450即将该静止图像灰度值与背景图像灰度值相减。步骤460判断该差值是否大于或等于前景阈值。如果该差值小于前景阈值，执行步骤461即将差值小于前景阈值的静止图像组合为非静止目标，用该非静止目标对背景进行更新。如果该差值大于或等于前景阈值，执行步骤462即将该差值大于或等于前景阈值的静止图像组成静止目标。继续执行步骤470即计算静止目标面积并且记录该静止目标出现的时间。

步骤480判断该静止目标面积是否达到异常静止目标面积阈值，且该静止目标面积达到异常静止目标面积阈值持续时间是否达到异常静止目标时间阈值。如果该静止目标面积达到异常静止目标面积阈值，且该状态持续时间达到异常静止目标时间阈值，则该监控摄像设备发生由静止目标引起的异常，执行步骤482即发送报警信息到用户终端，用户终端报警。如果该静止目标面积没有达到异常静止目标面积阈值，或者该静止目标面积达到异常静止目标面积阈值但该状态持续时间没有达到异常静止目标时间阈值，则该监控摄像设备没有发生由静止目标引起的异常；继续执行步骤481即对该静止目标所处区域进行背景更新，然后再不间断地执行该静止目标异常检测流程直到检测到该监控摄像设备发生由静止目标引起的异常。

接下来，对静止目标检测方法进行详细描述。

步骤421背景建模方法如本说明书前面所述的基于运动目标检测法的背景建模方法。背景建模得到的图像，即背景图像是监控到的图像中处于长期静止的图像，如固定的草坪、石头、树木等。

步骤430统计模块123对检测到的每个像素的灰度值做统计，也就是统计像素随着时间变化其灰度值产生变化的情况，得到某个像素随时间变化的灰度值出现频率，并以该方法对采集到的该图像中所有其它像素做统计。

步骤440提取图像中所有像素出现频率最高的灰度值，组成静止图像。具体地，根据步骤430得到的该图像中某一像素随时间变化进而出现不同灰度值的次数，提取出现该灰度值次数最多的灰度值，以该方法提取其它像素的灰度值。将提取到的所有像素的灰度值组合起来，组成静止图像。

例如在某段时间内，监控摄像设备监控到的某一视频图像中某一像素的灰度值为60，另一时刻该像素的灰度值为60……，连续若干时刻该像素的灰度值都是60，又一时刻该像素的灰度值为180，还一时刻该像素的灰度值为60，又一若干连续时刻该像素的灰度值为60，则提取该像素的灰度值60，同样方法提取视频图像的所有像素出现频率最高的灰度值。需要说明的是，得到的该静止图像是统计时间内的静止图像，例如长期静止的草坪、石头、树木以及统计时间内停泊在该监控区域内的车辆等。

步骤450将统计到的静止图像灰度值与背景图像灰度值相减，步骤460判断该相减结果即该差值与前景阈值大小关系。步骤462将该差值大于或等于前景阈值的背景图像组成静止目标。步骤461将该差值小于前景阈值的背景图像组合成非静止目标，用来对背景进行更新。

下面详细阐述在二值图像中将静止目标与非静止目标表示出来的方法。

由于静止图像中所有的图像都是统计过程中静止的图像，背景图像中所有的图像也都是静止的图像，因此两者相减的结果也都是静止的，不存在运动物体。举例说明，假如统计时间内监控到的静止图像为草坪、石头、树木以及停泊在监控区域的静止车辆，背景图像为草坪、石头、树木，两者相减得到的是统计时间内停泊在监控区域的静止车辆，则静止目标为该停泊车辆。具体采用的方法是，用统计到的静止图像中每一像素的灰度值，减去背景图像中该位置处的像素灰度值。若相减的结果小于系统设定的前景阈值，则说明该像素属于如草坪等长期静止图像的像素，用黑色在二值图像中表示出来；若相减的结果大于或等于系统设定的前景阈值，则说明该像素不属于如草坪等长期静止图像的像素，而属于如停泊车辆等统计过程中出现的静止图像像素，用白色在二值图像中表示出来。因此，在该二值图像中，白色部分表示统计到的静止目标，黑色部分表示长期静止的物体。

在基于静止目标检测法中，需要参数设置模块140设定静止目标检测法的异常静止目标面积阈值和异常静止目标时间阈值。异常静止目标面积阈值针对的是静止目标的二值图像中白色部分面积占整个二值图像面积的比例，即针对的是静止目标占整个视频图像的比例。异常静止目标时间阈值针对的是静止目标二值图像中白色部分面积占整个二值图像面积比例达到静止目标面积阈值所持续时间，即针对的是静止目标达到静止目标面积阈值所持续的时间。

步骤470计算静止目标面积，即计算的是静止目标二值图像中白色部分的面积，以及计算该二值图像中白色部分面积与该二值图像面积的比例，也就是计算静止目标占整个视频图像的比例；同时记录静止目标出现的时间。当静止目标占整个视频图像的比例大于或等于系统设定的异常静止目标面积阈值，并且该状态持续时间大于或等于系统设定的异常静止目标时间阈值时，则该监控摄像设备发生由静止目标引起的异常。同样当静止目标占整个视频图像的比例小于系统设定的异常静止目标面积阈值，或静止目标占整个视频图像的比例大于或等于异常静止目标面积阈值但该状态持续时间小于异常静止目标时间阈值时，则该监控摄像设备没有发生由运动目标引起的异常。

在本发明中，需要将背景更新时间设置成大于静止目标检测时间，因为一旦背景更新完成后静止目标将成为背景图像，因此静止目标检测后无法得到静止目标，也就无法根据静止目标的面积判断监控摄像设备是否发生由静止目标引起的异常。因此，经过静止目标检测后，如果监控摄像设备没有发生由静止目标引起的异常，则再对静止目标所处区域进行背景更新，而在静止目标检测的过程中不能进行背景更新。

显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims (15)

1.一种监控摄像设备异常检测系统，其特征在于，包括：

采集模块(110)，获取监控摄像设备周围场景的视频图像；

异常检测模块(120)，通过视频图像信息检测监控摄像设备是否发生异常；

报警模块(130)，基于发生的异常情况，发送报警信息到用户终端；

其中异常检测模块(120)包括运动分析模块(121)和/或静止目标检测模块(122)；

运动分析模块(121)，根据运动目标占整个视频图像的比例以及具有该比例的状态所持续时间，判断监控摄像设备是否发生由运动目标引起的异常；

静止目标检测模块(122)，根据静止目标占整个视频图像的比例以及具有该比例的状态所持续时间，判断监控摄像设备是否发生由静止目标引起的异常。

2.如权利要求1所述的一种监控摄像设备异常检测系统，其特征在于，异常检测模块(120)包括统计模块(123)，用于统计在统计时间内视频图像所有像素的灰度值变化。

3.如权利要求1所述的一种监控摄像设备异常检测系统，其特征在于包括参数设置模块(140)，所述参数设置模块(140)设置前景阈值、异常运动目标面积阈值、异常运动目标时间阈值、异常静止目标面积阈值、异常静止目标时间阈值中的一种或多种，以便异常检测模块(120)判定监控摄像设备是否发生异常。

4.如权利要求1所述的一种监控摄像设备异常检测系统，其特征在于包括存储器(150)，存储监控摄像设备中的程序，并且存储背景图像、当前帧图像、报警信息。

5.如权利要求1所述的一种监控摄像设备异常检测系统，其特征在于，包括处理器(160)，用于执行存储器(150)中的程序，控制监控摄像设备各模块的操作，执行监控摄像设备中的算数和逻辑运算。

6.如权利要求1所述的一种监控摄像设备异常检测系统，其特征在于，如果运动目标占整个视频图像的比例大于或等于异常运动目标面积阈值，且该状态持续的时间大于或等于异常运动目标时间阈值，则该监控摄像设备发生了由运动目标引起的异常。

7.如权利要求1所述的一种监控摄像设备异常检测方法，其特征在于，如果静止目标占整个视频图像的比例大于或等于异常静止目标面积阈值，且该状态持续的时间大于或等于异常静止目标时间阈值，则该监控摄像设备发生了由静止目标引起的异常。

8.一种监控摄像设备异常检测方法，其特征在于，所述方法包括通过运动目标检测法和/或静止目标检测法，检测视频监控设备是否发生异常的步骤；以及如果该监控摄像设备发生异常，将报警信息发送到用户终端，终端报警的步骤；

其中所述运动目标检测法根据运动目标占整个视频图像的比例以及该状态持续的时间，判断监控摄像设备是否发生由运动目标引起的异常；

所述静止目标检测法根据静止目标占整个视频图像的比例以及该状态持续的时间，判断监控摄像设备是否发生由静止目标引起的异常。

9.如权利要求8所述的一种监控摄像设备异常检测方法，其特征在于，得到运动目标的步骤包括背景建模和更新以及前景检测。

10.如权利要求9所述的一种监控摄像设备异常检测方法，其特征在于包括计算前景检测得到的二值图像中运动目标面积与整个运动目标二值图像面积的比值，从而得到运动目标占整个视频图像比例的步骤。

11.如权利要求10所述的一种监控摄像设备异常检测方法，其特征在于，如果运动目标占整个视频图像的比例大于或等于异常运动目标面积阈值，且该状态持续的时间大于或等于异常运动目标时间阈值，则该监控摄像设备发生了由运动目标引起的异常。

12.如权利要求8所述的一种监控摄像设备异常检测方法，其特征在于，得到静止目标的步骤包括统计图像中所有像素的灰度值变化，提取每个像素中出现频率最高的灰度值组成静止图像，将静止图像所有像素的灰度值与背景图像所有像素的灰度值相减，将差值大于或等于前景阈值的所有像素的灰度值在静止目标二值图像中组成静止目标。

13.如权利要求12所述的一种监控摄像设备异常检测方法，其特征在于包括计算静止目标二值图像中的静止目标面积与整个静止目标二值图像面积的比值，从而得到静止目标占整个视频图像比例的步骤。

14.如权利要求13所述的一种监控摄像设备异常检测方法，其特征在于，如果静止目标占整个视频图像的比例大于或等于异常静止目标面积阈值，且该状态持续的时间大于或等于异常静止目标时间阈值，则该监控摄像设备发生了由静止目标引起的异常。

15.如权利要求8所述的一种监控摄像设备异常检测方法，其特征在于，如果该监控摄像设备没有发生由静止目标引起的异常，对静止目标所处区域进行背景更新。

Images