CN102156989B - 视频帧中车辆遮挡检测与分割方法 - Google Patents

Abstract

本发明公开了 一种视频帧中车辆遮挡检测与分割方法，首先采用减背景的方法得到运动物体，并对前景运动车辆进行去空洞处理，得到完整的前景运动车辆，构建车辆前景的统计模型，在此基础上采用加入纠错机制的统计模型判断运动团块中是否有车辆发生遮挡，在判定车辆发生遮挡的情况下，根据得到的遮挡点标定遮挡区域，采用 sobel 算子提取遮挡区域的横向边缘信息，然后将遮挡区域的边缘和前景边缘结合起来，即可得到完整的车辆分割结果。 本发明不仅考虑到方法的实时性，同时也能很好的解决不同车辆之间的遮挡、不同程度的遮挡等问题。这一技术 在车辆检测、运动车辆跟踪、汽车辅助运动和车辆行为模式分析等领域有着广阔的应用前景和发展潜力， 可以提高目标检测的实时性和准确性。

Description

视频帧中车辆遮挡检测与分割方法

技术领域

本发明涉及一种图像的检测与分割的方法，尤其涉及一种基于统计模型对视频帧中的车辆遮挡进行检测与分割的方法。

背景技术

运动物体遮挡检测与分割在运动目标检测、运动目标跟踪和运动目标行为分析等领域有着广泛的应用，运动目标遮挡检测与分割的好坏直接影响到相关功能的实现。由于运动目标本身及周边环境复杂多变，因此获得鲁棒而高效的运动目标遮挡检测与分割方法目前仍旧是计算机视觉中一个极具挑战性的研究课题。

随着经济的发展和人们生活水平的提高，机动车辆成为人们出行的首选交通工具。近几年机动车辆的急剧增加，致使大中型城市快速步入拥堵时代。车辆的大规模拥堵，必然同时带来新的问题，例如车辆之间相互遮挡的情况，给当前应用广泛的智能交通系统(Intelligent Transport System，ITS)带来新的研究课题。随着道路车辆的增加，车辆遮挡问题解决的好坏，直接关系着ITS的相关性能，例如：车辆跟踪、车牌识别、车型判定等功能。运动车辆遮挡检测与分割就是对交通视频中的运动车辆进行提取，并根据相关模型分析单个运动区域中有一个或者多个车辆，在单个运动区域有多个车辆的情况下，对多个车辆进行分割，提取完整的车辆边缘信息。

近些年来，全世界的相关研究人员提出了很多解决车辆遮挡问题的办法，这些办法总结起来基本可分为四类：特征模型、三维模型、统计模型和推理模型。视频监控对算法的实时性要求比较高，选择一个好的车辆遮挡检测与分割模型，能够更有效减少运算量，提高实时性。在常用的车辆分割方法中，传统的统计模型和特征模型仅用直线连接两辆车辆的交汇点进行分割，而不能确定遮挡车与被遮挡车辆，更不能得到完整的车辆边界信息。基于三维模型和推理模型的方法虽然准确性较好，但是三维建模和推理模型要花费大量的时间，不能够满足实时性要求。在这些模型中，统计模型方法较容易实现，但目前传统的统计模型算法实时性达不到ITS相关应用的要求，而且仅用直线连接两辆车辆的交汇点进行分割，而不能确定遮挡车与被遮挡车辆，更不能得到完整的车辆边界信息。

发明内容

本发明的目的是提供一种基于统计模型的车辆遮挡检测与分割方法，以解决传统的统计模型算法较为复杂，实时性要求不能保证，车辆不能完整分割等难题，不仅在运算速度上达到实时性的要求，同时也解决了完整分割车辆的问题，具有很强的鲁棒性。

为了达到以上目的，本发明采用的技术方案是：一种视频帧中车辆遮挡检测与分割方法，包括下列步骤：

(1) 将待检测的视频帧输入计算机，并获取该视频帧的背景图像输入计算机；

(2)对视频帧图像进行处理，采用减背景的方法得到待检测的视频帧中的前景图像，并将该前景图像二值化，得到前景图像的二值化图像；

(3)对前景图像进行去空洞处理，得到完整的二值化前景图像，其中包括至少一个运动车辆前景区域；

(4)对每一运动车辆前景区域进行车辆遮挡检测，所述遮挡检测包括：

(4a)构建运动车辆前景区域统计模型，统计该区域中的遮挡点，其方法为，设定一阈值，对待检测的运动车辆前景区域进行竖向单列统计，获得各列的前景像素点个数，求取每列与前一列的像素点个数差值，如果该差值的绝对值大于阈值，对该列与前一列中像素点个数少的列检测阶跃点，与自下往上第二个阶跃点相邻的另一列中的点为待选遮挡点，其中所述阶跃点为前景与背景变化位置处的前景点；

(4b) 如果一个运动车辆前景区域中的待选遮挡点个数≤1，则判定没有发生遮挡，结束该运动车辆前景区域的遮挡检测；否则判定发生遮挡，转入步骤4c；

(4c) 对上述获得的待选遮挡点进行纠错处理，如果某一待选遮挡点同一列的上一像素和下一像素均为前景点，则该点为遮挡点，否则跟踪前景边缘，查找离该点最近的符合4a和4c条件的点，确定为遮挡点；

(5)根据检测到的遮挡点对应至待检测视频帧，标定可能遮挡区域，采用单向sobel算子对视频帧中车辆的可能遮挡区域进行边缘检测，然后将可能遮挡区域中检测到的边缘和二值化前景图像的前景边缘结合起来，即可得到完整的车辆分割边缘，实现车辆的遮挡分割。

上述技术方案中，步骤(1)中视频帧的背景图像的获取方法为现有技术，由于本发明的检测对象为视频帧，根据情况，可以是对某一视频帧进行检测，也可以是对一系列视频帧分别进行检测，因此，背景图像的获取也可以有多种方式，例如，直接拍摄背景图像，或者，当用于处理一系列视频帧时，可以对该视频流中的一定数量的连续视频帧（例如100帧或200帧）采用常规方法进行处理，以获得背景图像，常用的处理方法包括均值法、直方图-均值法、高斯模型构建法、混合高斯背景模型等，考虑到背景提取的效果，采用直方图-均值法进行视频帧序列的背景构建为优选。

上述技术方案中，所述步骤(3)中的去空洞处理为，采用横向-竖向光栅扫描的方法对二值化前景图像中的运动前景区域进行如下操作：

假设S（i,j）为某一前景区域，大小为i×j，前景点为1，背景点为0，即对前景区域S（i,j）执行如下操作：

首先对S（i,j）区域进行单行横向扫描，如果存在{S（x,y1）=1,S（x,y2）=1;x=1,2,3……i-1,i; y1>y2}，则将S（x,y1）、S（x，y1+1）、……S（x，y2）皆置为前景点，赋值为1；

接着对S（i,j）区域进行单列竖向扫描，如果存在{S（x1,y）=1,S（x2,y）=1;y=1,2,3……j-1,j; x1>x2}，则将S（x1,y）、S（x1+1，y）、……S（x2，y）皆置为前景点，赋值为1。

上述技术方案中，所述步骤(5)中标定遮挡区域为根据检测到的遮挡点进行可能遮挡区域标定，以两个遮挡点为对角点在原视频帧的对应位置做一矩形，即可标定车辆可能遮挡区域。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

1.本发明利用加入纠错机制的统计模型提取的遮挡点具有(1)准确性较高；(2)鲁棒性较好；(3)实时性好等特点，根据遮挡点可较为准确的标定车辆的遮挡区域。

实验证明，本发明的基于统计模型的车辆遮挡检测与分割方法是可行的，针对不同车型，不同程度的车辆遮挡，都能够准确的分割车辆边缘，达到很好的车辆遮挡检测与分割效果。

本发明的实时性较好，设计的统计模型较为简洁，且有效利用车辆遮挡的相关特征，能够满足智能交通系统的相关需求。

本发明在车辆检测、运动车辆跟踪、汽车辅助运动和车辆行为模式分析等领域有着广阔的应用前景和发展潜力。统计模型具有较好的实时性，应用于上述系统中时，能够提高目标检测的效率和准确性。

附图说明

附图1本发明实施例中基于统计模型的车辆遮挡检测与分割方法的流程图； 

附图2实施例中车辆遮挡检测统计模型流程图；

附图3实施例中车辆空洞填充效果图；

附图4实施例中车辆统计模型效果图；

附图5实施例中加入纠错机制的车辆遮挡点检测效果对比图；

附图6实施例中车辆遮挡分割效果图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图及实施例对本发明作进一步描述：

实施例：图1为本发明实施的基于统计模型的车辆遮挡检测与分割的流程图，数据文件为包含运动车辆的视频文件。

方法如下：

（1）空洞填充  根据统计模型的要求，我们首先要对提取的前景运动区域进行空洞填充，由于车窗和道路颜色较为接近，因此车窗颜色和路面颜色较为接近，经过减背景得到的运动区域包含较大空洞，因此本文采用横向-竖向光栅扫描的方法对得到的运动前景区域进行操作，假设S（i,j）为某一前景区域，大小为i×j，前景点为1，背景点为0。即对前景区域S（i,j）执行如下操作：

（1）首先对S（i,j）区域进行单行横向扫描，如果存在{S（x,y1）=1,S（x,y2）=1;x=1,2,3……i-1,i; y1>y2}，则将S（x,y1）、S（x，y1+1）、……S（x，y2）皆置为前景点，赋值为1。

（2）接着对S（i,j）区域进行单列竖向扫描，如果存在{S（x1,y）=1,S（x2,y）=1;y=1,2,3……j-1,j; x1>x2}，则将S（x1,y）、S（x1+1，y）、……S（x2，y）皆置为前景点，赋值为1。

经过横向-竖向光栅扫描操作，可以将减背景操作留下的车窗空洞较好的填充，如图3所示。

（2）构建统计模型  本方基于统计的原理，对车辆的前景区域构建统计模型，统计模型的流程如图2所示。基于对车辆的前景像素进行单向统计来构建统计模型，假设有一车辆前景位于大小为m×n的矩形框K中，具体步骤如下：

【1】对前景区域进行竖向单列统计，即设有数组S(t)，

其中t=1,2,3…………,n-1,n；m,n分别为矩形框K的长、宽；K(t,1)，K(t,2)……K(t,m)为矩形框相应位置的像素值。本文假设前景点为1，背景点像素值为0。由上式可得车辆前景区域每列的前景像素个数，转向步骤【2】；

【2】求取相邻两列的像素点差值，即为求取G(x)，

如果，则认为x处为遮挡点，即为两辆车遮挡的交汇点，否则不是遮挡点。其中为判定是否为阶跃点的阈值，根据不同的情况可进行调整，转向步骤【3】；

【3】如果车辆之间发生遮挡，应该至少产生两个遮挡点。如果在一个前景区域统计得到的遮挡点<=1，则判定没有发生遮挡，结束判定，转向步骤【5】；否则认定发生遮挡，转向步骤【4】；

【4】本步骤对【3】得到的遮挡点进行纠错。由前景检测结果可知，遮挡点处在同一列的上一像素和下一像素应该都为前景点，根据这一特点，判定检测到的遮挡点是否为真正的遮挡点，如果所有的遮挡点都是真正的遮挡点，则结束判定，转向步骤【5】，否则认定不是真正的遮挡点，并跟踪前景边缘，查找离此点最近的，且符合条件的点为真遮挡点。

【5】判定结束，转向步骤【1】判定下一个运动区域。

（3）遮挡点检测  由图4可以看出，在车辆发生遮挡时，竖向前景点个数会有阶跃性的增加，因此本方法根据这一特点，判断出来车辆的遮挡点所在位置。在遮挡情况比较简单时，可以直接从统计图中找到阶跃点，即为遮挡点。而图5中当不进行纠错时，对二值化前景图像进行统计得到的结果为错误的分割线b，在加入纠错机制以后，可以得到以分割点为端点的线段a。

（4）遮挡分割  在检测出车辆遮挡的情况下，同时检测出两辆车的遮挡点。以两个遮挡点连线为矩形的对角线做一矩形，即可在视频帧图像中大致标定遮挡区域所在。对视频帧中遮挡区域采用边缘提取算法，得到遮挡区域的分割线。由经验可知，车辆的遮挡区域一般为其中一个车辆的车顶，因此遮挡区域大多为车顶，所以可以排除车窗的干扰。为了进一步排除车窗的干扰，本方法采用sobel算子提取遮挡区域的横向边缘信息，然后将遮挡区域的边缘和前景边缘结合起来，即可得到完整的车辆分割，分割效果如图6所示。

Claims (3)

1.一种视频帧中车辆遮挡检测与分割方法，其特征在于，包括下列步骤：

(1)将待检测的视频帧输入计算机，并获取该视频帧的背景图像输入计算机；

(2)对视频帧图像进行处理，采用减背景的方法得到待检测的视频帧中的前景图像，并将该前景图像二值化，得到前景图像的二值化图像；

(3)对前景图像进行去空洞处理，得到完整的二值化前景图像，其中包括至少一个运动车辆前景区域；

(4)对每一运动车辆前景区域进行车辆遮挡检测，所述遮挡检测包括：

(4a)构建运动车辆前景区域统计模型，统计该区域中的遮挡点，其方法为，设定一阈值，对待检测的运动车辆前景区域进行竖向单列统计，获得各列的前景像素点个数，求取每列与前一列的像素点个数差值，如果该差值的绝对值大于阈值，对该列与前一列中像素点个数少的列检测阶跃点，与自下往上第二个阶跃点相邻的另一列中的点为待选遮挡点，其中所述阶跃点为前景与背景变化位置处的前景点；

(4b) 如果一个运动车辆前景区域中的待选遮挡点个数≤1，则判定没有发生遮挡，结束该运动车辆前景区域的遮挡检测；否则判定发生遮挡，转入步骤4c；

(4c) 对上述获得的待选遮挡点进行纠错处理，如果某一待选遮挡点同一列的上一像素和下一像素均为前景点，则该点为遮挡点，否则跟踪前景边缘，查找离该点最近的符合以4a-4c的方式获得的待选遮挡点，确定为遮挡点；

(5)根据检测到的遮挡点对应至待检测视频帧，标定可能遮挡区域，采用单向sobel算子对视频帧中车辆的可能遮挡区域进行边缘检测，然后将可能遮挡区域中检测到的边缘和二值化前景图像的前景边缘结合起来，即可得到完整的车辆分割边缘，实现车辆的遮挡分割。

2.根据权利要求1所述视频帧中车辆遮挡检测与分割方法，其特征在于：所述步骤(3)中的去空洞处理为，采用横向-竖向光栅扫描的方法对二值化前景图像中的运动前景区域进行如下操作：

假设S（i,j）为某一前景区域，大小为i×j，前景点为1，背景点为0，即对前景区域S（i,j）执行如下操作：

首先对S（i,j）区域进行单行横向扫描，如果存在{S（x,y1）=1,S（x,y2）=1;x=1,2,3……i-1,i; y1>y2}，则将S（x,y1）、S（x，y1+1）、……S（x，y2）皆置为前景点，赋值为1；

接着对S（i,j）区域进行单列竖向扫描，如果存在{S（x1,y）=1,S（x2,y）=1;y=1,2,3……j-1,j; x1>x2}，则将S（x1,y）、S（x1+1，y）、……S（x2，y）皆置为前景点，赋值为1。

3.根据权利要求1所述视频帧中车辆遮挡检测与分割方法，其特征在于：所述步骤(5)中标定可能遮挡区域为根据检测到的遮挡点进行可能遮挡区域标定，以两个遮挡点为对角点在原视频帧的对应位置做一矩形，即可标定车辆可能遮挡区域。

Images