CN103268470B - 基于任意场景的视频对象实时统计方法 - Google Patents

Abstract

本发明公开了一种基于任意场景的视频对象实时统计方法，其首先对事先标记好的一定数量的视频场景，采用融合了帧差法和块跟踪方法的混合高斯背景建模方法提取出运动的前景像素，通过阴影检测去除阴影区域后得到较为精确的前景区域；然后采用连接成分算法，提取出每一个连通分块，计算这一分块的一些特征，对所有场景下的分块及其对应的对象数进行训练，训练后即可对任一未知场景的视频对象采用上述前景提取算法、提取每个分块的特征后实现实时视频对象数目统计。通过本发明能够实时获取公共场所视频监控下的对象数目信息，对公共安全、局部场景流量控制有很大帮助，有效地节约了人力成本，提高了监控的智能化。

Description

基于任意场景的视频对象实时统计方法

技术领域

本发明涉及了属于视频监控、模式识别和图像处理领域，特别是涉及了一种基于任意场景的视频对象实时统计方法。

背景技术

由于安全问题的逐渐突出，针对车站、广场、商店等车流、人流量大的区域进行视频监控十分必要。视频对象数量检测可以实时获取对象数量信息，对一些地区人群异常密集情形及时发出警报，或者帮助地铁、商场、道路等及时获取人流或车流信息，从而更好地引导人流、车流以保障安全。视频对象实时统计技术越来越得到重视。

目前国内外关于视频对象统计技术还存在着不少有待解决的问题：

1)前景提取不够精确，计算量大。当前的前景检测算法包括帧差法、混合高斯建模法、光流法、运动检测算法等，常常有漏检和误检，没有利用相邻帧之间的关系提高提取精度，或者是计算量大，或者是提取精度不够。计算量大则难以满足实时处理的要求，提取精度不够则又影响计数的精度。

2）对于光照强度的改变，没有很好的适应性，存在较大的误检区域以及阴影检测效果不好。在视频中光照的变化十分常见，室外场景下阳光被云朵遮挡，室内灯开关或光线被遮挡，都常常会引起较大面积的误检，对对象统计有很大影响。目前对于如地面反光、对象的投影等光照影响造成的误检没有很好的方法。

3）目前还没有对场景无关的视频对象统计系统。必须在安装摄像机后获取一定帧数的图像进行标定并且训练后，才能进行对象统计，无法随装随用，因此显得极为不便，也限制了视频对象统计的应用。

发明内容

本发明主要是针对现在市场的要求，提供了一种具有适应性强、效果好的基于任意场景的视频对象实时统计方法。

为了实现上述目的，本发明提供以下技术方案：

本发明提供了一种基于任意场景的视频对象实时统计方法，其包括：视频前景提取和视频对象数量统计，所述视频前景提取的具体步骤包括：对多个场景下的视频数据进行标记；采用高斯背景建模方法，对初始帧图像的每个像素建立混合高斯背景模型；读取每一帧的新图像，更新混合高斯背景模型中每个高斯成分的权值，均值和方差；提取前景像素；利用帧差方法，补充提取前景像素；提取出相邻两帧图像中的前景区域；对前景区域进行预处理；在前景区域中去除误检的区域；利用块跟踪方法对每个前景区域进行跟踪判断。所述视频对象数量统计的具体步骤包括：对得到的前景区域采用连接成分分析方法，提取出每个连通分块并分析前景区域的特征；对所有场景下的前景区域的特征及其对应的对象数进行训练；根据完成的视频前景，对任一新场景中的对象数进行统计。

在本发明一个较佳实施例中，所述对前景区域进行预处理的具体步骤包括：利用中值滤波法，滤去噪声点；利用形态学闭操作，填充前景区域中小的孔洞；将前景区域中被误分割开的各个部分进行连接。

在本发明一个较佳实施例中，所述在前景区域中去除误检的区域的具体步骤包括：采用RGB阴影检测和基于图像灰度相关性的检测相结合的方法去除阴影；采用基于梯度的纹理相似性判别方法排除光照改变后亮度变化的区域。

在本发明一个较佳实施例中，所述对得到的前景区域采用连接成分分析方法的具体步骤包括：对图像进行扫描，并确立每个像素的标记及等价对；对等价对进行整理；重新对图像进行标记，得到每个连通分块。

在本发明一个较佳实施例中，前景区域的特征包括加权的区域面积、加权的多个方向的梯度累计直方图、加权的canny边缘累计值、加权的周长累计值、前景分块占最小包含矩形的比例和摄像机俯视角度。

在本发明一个较佳实施例中，所述对所有场景下的前景区域的特征及其对应的对象数进行训练的具体步骤包括：对于所有场景下的分块提取的特征及其对应的对象数采用最小二乘法进行训练；获取每个特征的权重系数。

在本发明一个较佳实施例中，所述对任一新场景中的对象数进行统计的具体步骤包括：在新场景的每一帧图像中提取出每个运动对象分块；将每个分块的特征与相应的权重系数相乘，得到对应的对象数；将所有分块的对象数相加，得到当前帧的对象数。

本发明的有益效果是：本发明所述的基于任意场景的视频对象实时统计方法，避免了前景对象变粗的缺点，取得了很好的前景提取效果，可较为准确地对场景中的对象进行估计。

附图说明

图1是本发明基于任意场景的视频对象实时统计方法一较佳实施例的流程

示意图；

图2是本发明块跟踪预测说明图；

图3为本发明的图像像素权重计算的映射原理模拟图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，图1是本发明基于任意场景的视频对象实时统计方法一较佳实施例的结构示意图，图2是本发明块跟踪预测说明图；图3为本发明的图像像素权重计算的映射原理模拟图。

本发明提供了一种基于任意场景的视频对象实时统计方法，其包括：视频前景提取和视频对象数量统计，所述视频前景提取的具体步骤包括：对多个场景下的视频数据进行标记；采用高斯背景建模方法，对初始帧图像的每个像素建立混合高斯背景模型；读取每一帧的新图像，更新混合高斯背景模型中每个高斯成分的权值，均值和方差；提取前景像素；利用帧差方法，补充提取前景像素；提取出相邻两帧图像中的前景区域；对前景区域进行预处理；在前景区域中去除误检的区域；利用块跟踪方法对每个前景区域进行跟踪判断。所述视频对象数量统计的具体步骤包括：对得到的前景区域采用连接成分分析方法，提取出每个连通分块并分析前景区域的特征；对所有场景下的前景区域的特征及其对应的对象数进行训练；根据完成的视频前景，对任一新场景中的对象数进行统计。

下面通过具体实施例一对本发明做进一步阐述：

1）对已经标定的m个（m一般大于3）视频的各个帧进行前景提取：

首先前景建模阶段：混合高斯背景建模提取前景，加上帧差法前景（设定帧差阈值），其中帧差法可采用两帧差或三帧差法。经过一定帧数的建模后，背景已较为稳定，此时才开始实时前景提取及块跟踪预测，细节如下：

1.1）高斯前景提取：

采用混合的高斯背景建模方法，对初始帧图像每个像素建立混合高斯背景模型，然后对每一帧新的图像，不断更新模型中每个高斯成分的权值，均值和方差。同时与背景相差较大的像素即为前景。随着背景模型的不断更新，更新的速率逐渐下降至一个较小值，即可实时地提取出较为准确的前景像素；

对于k个高斯背景模型，第k个高斯模型在第t帧时的权重为：

为权重更新速率。

每个高斯背景模型在第t帧时的均值和方差为

为均值和方差的更新速率。

本发明采用基于混合高斯背景建模算法，计算复杂度为O(width*height)，计算量适中，适用于大量视频数据的处理。

1.2）添加帧差方法，补充前景区域：

在高斯前景建模的初始阶段，前景提取的效果不好，添加帧差方法可以极大的改善前景提取的效果。在建模稳定后亦可补充一些漏检区域，使提取的前景更加完善；

1.3）融合块跟踪方法：

在建模稳定后，对提取出的前后两帧的前景的每个分块进行块跟踪判断，若为连续分块则可不必更新高斯背景模型，可以避免因人进入视频停留而融入背景，在人离开后仍可保持有效的前景提取效果，尤其适用于车站，地铁等不断有人停留和离开的场景，把块跟踪融合入高斯背景建模如下所示：

给定区域A和B，代表A和B重叠的部分占A面积的比例

表示第t帧中的第m个分块，在第t，t+1帧之间寻找匹配的块。前一帧比例和后一帧比例分别为：

如果t帧的第m块与t+1帧的第n块匹配，需满足足够的重叠比例：

为了与融合和分割的分块进行区别，必须再满足以下条件：

本发明中取= 0.5 、 = 0.2。

然后对于匹配的分块进行下一帧的预测。

由分块A和的中心位置预测下一帧中它的位置大约为处。则下一帧对高斯混合模型进行更新时就不必更新处的像素，减少了对于估计的运动区域进入背景模型的计算量，本发明给出的块跟踪方法，巧妙的利用前后2帧的分块重叠对当前帧的位置进行预判，避免了不必要的高斯背景更新，增加了对对象进入后离开场景的适应性。

1.4）前景区域预处理:

采用中值滤波和形态学开操作对前景区域进行处理，除去噪声点和连接一些相邻的分块；

1.5）阴影检测：

由于光照的影响，提取的前景区域中常常包含大面积的阴影区域，会影响后面对象统计的效果；对于各种情形的阴影，本发明采用了RGB阴影检测及基于强度的阴影检测，较好地减除了帧差的误检前景区域同时去除了阴影， RGB模型的阴影检测算法如下：

为第k帧图像提取的前景像素在（x，y）处的像素值，为背景的像素值，上标R、G、B分别为其RGB分量，其中α, β, 为参数。

2）视频对象数量统计的具体步骤包括：

2.1）采用连接成分分析方法：

对提取的前景成分，按行逐行扫描。对每个前景像素，判断它与左边，上方，左上方，右上方有无标记值，若没有添加标记值，标记值加1，然后重复这一步骤直至前景像素全被标记完；然后再次扫描前景标记图像，找出等价的标记值，整理标记值后，把有相同标记值的区域存入同一图像保存即为每一个提取的单一分块；

2.2）对每一前景区域进行特征提取：

根据摄像头的内参、外参和图像大小，计算图像每个像素处的权重；

需要提取的特征有：加权的区域面积，加权的hognum个方向的梯度累计直方图（HOG），加权的canny边缘累计值；加权的周长累计值，前景分块占最小包含矩形的比例，摄像机俯视角度等，共k个特征。对于步骤2.2)，从前景中提取的每个不相邻的分块提取k个特征或者其中一部分特征具体计算细节如下, 其中面积的权重系数取权值，而直方图，canny边和周长的权值都要先开根号：

假设计算的图像像素权重为D(i,j) ，则对于第n个分块所提取的k个特征（以下特征为例）可以包括：

加权的区域面积：，

加权的hognum个（hognum一般取大于3）方向的梯度累计直方图（HOG）：

把像素处的梯度按0至180度均分为hognum个部分，得到：

其中 h=1,2，…, hognum.

加权的canny边缘累计值：，为第n块的canny边，加权的周长累计值： ，为第n块的canny边，前景分块占最小包含矩形的比例：

摄像机俯视角度： 由摄像机参数及图像与现实世界映射飞关系计算得到。

2.3）对一些场景的连通分块进行标定和训练：

在q个场景的视频中进行一定帧数的标定，即用标定工具人为标定训练帧中对象的数目，则每个分块可以对应一定的对象数量，从而用最小二乘法对k个特征与分块包含对象数量建立对应关系，得到每个特征的权重系数；

2.4）任一场景的对象数量统计：

由每个视频所用摄像头的内参和外参信息及所拍图像的大小，估计图像每个像素位置处的权重值和摄像头对每个像素在现实场景中的俯视角度。如图4，每个图像像素经过坐标变换可计算出其在现实场景中的坐标，在该坐标处假设有一个站立的人，用圆柱模拟，高1.7m，半径0.25m，把圆柱映射回图像中，得到其在图像中图形所占的面积，面积的倒数即那个像素的权重。俯视角度可由该点在现实世界中位置与摄像头位置连线与垂直于现实世界底部的轴线（0,0,1）的夹角计算得到。

注意，本方法不仅可以用于人数的统计，也可用于车辆、野生动物群、细胞群等对象的统计，只需要在计算图像对应权重时，对计数对象采用现实中实际大小的对象进行模拟，同样把对象投影入图像中，所得投影面积的倒数即为该位置处图像的权重。

对q个场景（每个一定帧）分别实行以上步骤后得到的所有特征值及其在标定中对应的对象数，采用最小二乘法进行拟合可得到k个权重系数，对于一个新的场景同样提取前景和计算分块的特征值后与权重系数相乘即得到每个分块估计对象数量，相加后得到每一帧所包含的对象数量。

所述对前景区域进行预处理的具体步骤包括：利用中值滤波法，滤去噪声点；利用形态学闭操作，填充前景区域中小的孔洞；将前景区域中被误分割开的各个部分进行连接。

所述在前景区域中去除误检的区域的具体步骤包括：采用RGB阴影检测和基于图像灰度相关性的检测相结合的方法去除阴影；采用基于梯度的纹理相似性判别方法排除光照改变后亮度变化的区域。

所述对得到的前景区域采用连接成分分析方法的具体步骤包括：对图像进行扫描，并确立每个像素的标记及等价对；对等价对进行整理；重新对图像进行标记，得到每个连通分块。

前景区域的特征包括加权的区域面积、加权的多个方向的梯度累计直方图、加权的canny边缘累计值、加权的周长累计值、前景分块占最小包含矩形的比例和摄像机俯视角度。

所述对所有场景下的前景区域的特征及其对应的对象数进行训练的具体步骤包括：对于所有场景下的分块提取的特征及其对应的对象数采用最小二乘法进行训练；获取每个特征的权重系数。

所述对任一新场景中的对象数进行统计的具体步骤包括：在新场景的每一帧图像中提取出每个运动对象分块；将每个分块的特征与相应的权重系数相乘，得到对应的对象数；将所有分块的对象数相加，得到当前帧的对象数。

本发明把简单的帧差法融入到高斯背景建模，在有效的阴影减除算法作用下避免了帧差法容易使检测前景对象变粗的缺点。在视频初始建模阶段，取得了很好的前景提取效果，在稳定后同样可以使前景提取更加完整。

本发明的方法对各种场景变化达到较好的适应性，对场景中光照变化，物体摇摆等情形有很强的鲁棒性，有效地节约了人力成本，提高了监控的智能化。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于任意场景的视频对象实时统计方法，其特征在于：包括视频前景提取和视频对象数量统计，所述视频前景提取的具体步骤包括：

对多个场景下的视频数据进行标记；

采用高斯背景建模方法，对初始帧图像的每个像素建立混合高斯背景模型；

读取每一帧的新图像，更新混合高斯背景模型中每个高斯成分的权值，均值和方差；

提取前景像素；

利用帧差方法，补充提取前景像素；

提取出相邻两帧图像中的前景区域；

对前景区域进行预处理；

在前景区域中去除误检的区域；

利用块跟踪方法对每个前景区域进行跟踪判断；

所述视频对象数量统计的具体步骤包括：

对得到的前景区域采用连接成分分析方法，提取出每个连通分块并分析前景区域的特征；

对所有场景下的前景区域的特征及其对应的对象数进行训练；

根据完成的视频前景，对任一新场景中的对象数进行统计；

所述对前景区域进行预处理的具体步骤包括：

利用中值滤波法，滤去噪声点；

利用形态学闭操作，填充前景区域中小的孔洞；

将前景区域中被误分割开的各个部分进行连接。

2.根据权利要求1所述的基于任意场景的视频对象实时统计方法，其特征在于，所述在前景区域中去除误检的区域的具体步骤包括：

采用RGB阴影检测和基于图像灰度相关性的检测相结合的方法去除阴影；

采用基于梯度的纹理相似性判别方法排除光照改变后亮度变化的区域。

3.根据权利要求1所述的基于任意场景的视频对象实时统计方法，其特征在于，所述对得到的前景区域采用连接成分分析方法的具体步骤包括：

对图像进行扫描，并确立每个像素的标记及等价对；

对等价对进行整理；

重新对图像进行标记，得到每个连通分块。

4.根据权利要求1所述的基于任意场景的视频对象实时统计方法，其特征在于，前景区域的特征包括加权的区域面积、加权的多个方向的梯度累计直方图、加权的canny边缘累计值、加权的周长累计值、前景分块占最小包含矩形的比例和摄像机俯视角度。

5.根据权利要求1所述的基于任意场景的视频对象实时统计方法，其特征在于，所述对所有场景下的前景区域的特征及其对应的对象数进行训练的具体步骤包括：

对于所有场景下的分块提取的特征及其对应的对象数采用最小二乘法进行训练；

获取每个特征的权重系数。

6.根据权利要求1所述的基于任意场景的视频对象实时统计方法，其特征在于，所述对任一新场景中的对象数进行统计的具体步骤包括：

在新场景的每一帧图像中提取出每个运动对象分块；

将每个分块的特征与相应的权重系数相乘，得到对应的对象数；

将所有分块的对象数相加，得到当前帧的对象数。