CN102176285B

CN102176285B - 视频流中的车辆行为模式判定方法

Info

Publication number: CN102176285B
Application number: CN 201110047854
Authority: CN
Inventors: 崔志明; 吴健; 岳恒军; 傅启明
Original assignee: JIANGSU YIHE TECHNOLOGY Co Ltd
Current assignee: Suzhou Langjietong Intelligent Technology Co ltd
Priority date: 2011-02-28
Filing date: 2011-02-28
Publication date: 2013-05-01
Anticipated expiration: 2031-02-28
Also published as: CN102176285A

Abstract

本发明公开了 一种视频流中的车辆行为模式分析方法，包括下列步骤：⑴得到交通视频背景，采用减背景法得到前景车辆运动目标；⑵采用基于预测的快速归一化互相关实现车辆跟踪，得到准确的运动轨迹；⑶设计表达车辆状态转换的有限状态自动机，将车辆的状态表达为直行、左转、右转和反向转弯四种微观状态，并将车辆的运动轨迹变换作为有限状态自动机的输入；⑷根据跟踪得到的车辆运动轨迹，结合有限状态自动机，判定车辆的行为模式。采用 本发明方法，算法的时间复杂度低，结果精确，能够准确判定车辆的行为模式，可以很好的辅助 ITS 的决策机制。

Description

视频流中的车辆行为模式判定方法

技术领域

本发明属于智能交通系统中的车辆行为模式分析与判定领域，涉及一种视频流的检测与分析方法，具体涉及一种视频流中的车辆行为模式检测与分析的方法，可用于构建智能交通系统中的车辆行为识别和交通异常检测模块。

背景技术

随着经济的发展和社会生活水平的不断提高，车辆成为人们出行必不可缺少的交通工具。汽车化社会带来的诸如交通阻塞、交通事故、能源消费和环境污染等社会问题日趋恶化，交通阻塞造成的经济损失巨大，使道路设施十分发达的美国、日本等也不得不从以往只靠供给来满足需求的思维模式转向采取供、需两方面共同管理的技术和方法来改善日益尖锐的交通问题。随着道路车辆的日益增多，交通问题也日趋严重，传统的电视监控技术往往是在交通事件发生以后才进行事后处理，而交通事故出现以后，特别是重大交通事故，往往造成严重的社会和个人经济损失，在这种形势下，传统交通监控管理系统已经不能满足当前交通管理的要求。智能交通系统（Intelligent transportation system ，ITS）是近年来在计算机网络、视频传输、图像处理、视频处理和计算机视觉的基础上发展起来的新一代交通管理系统。ITS应用在包括机场、车站客流疏导、高速公路智能调度、运营车辆调度管理等场景中，在一定程度上提高交通运输效率，缓解交通阻塞，提高路网通过能力。对车辆的有效监控能够减少交通事故，从而达到节约社会成本的目的，而车辆的行为模式分析作为交通事件检测的基础部分，分析结果的好坏，可以直接影响到交通事件检测和预测的结果。

因而，需要一种新的方法对车辆的各种信息进行分析和研究，而车辆的主要信息相对较为集中，主要表现为车辆的运行轨迹，因此，本方法主要对车辆的运动跟踪轨迹进行分析和研究，在此基础上的到准确的车辆的行为模式，为ITS的决策系统提供支持和重要辅助作用。

发明内容

本发明的目的是提供一种基于预测信息和有限状态自动机的车辆行为模式分析和判定方法，用以解决现有的交通监控系统无法准确、及时判定车辆行为模式等缺点。

为达到上述目的，本发明首先对车辆的行为模式进行了进一步的研究，发现，当车辆行驶在道路上时，其主要状态的变化可以用一些较小的微观状态进行表达。考虑到车辆在道路行驶的大多数情况，可以将车辆的行为模式表达为以下四种宏观状态：直行、左转、右转和反向转弯。在车辆状态与状态之间发生转换时，必然会有一定的影响因素发生作用，即车辆在这些影响因素的干涉下发生状态之间的转变。

基于上述车辆行为状态转换的特点，本发明考虑采用基于预测的快速归一化互相关实现对车辆的跟踪，得到准确的车辆运行轨迹，然后设计表达车辆状态转换的有限状态自动机，得到车辆状态转换的模型，从而结合跟踪得到的车辆运动轨迹和有限状态自动机，准确判断车辆的行为模式。

本发明采用的技术方案是：一种基于预测的快速归一化互相关和有限状态自动机的车辆行为模式分析方法，包括下列步骤：

⑴获取交通视频中的若干视频帧，采用减背景法得到前景运动车辆，其方法为采用直方图-均值模型构建背景模型，采用阈值法更新背景；

⑵对得到的车辆前景目标采用基于预测的快速归一化互相关方法实现跟踪，其方法为，采用快速归一化互相关实现对车辆的跟踪，并在跟踪过程中，根据得到的车辆运动轨迹，采用预测的方法改进快速归一化互相关的应用，提高车辆跟踪的速度和效率；

⑶设计表达车辆状态转变的有限状态自动机，其方法是，根据车辆的状态信息和状态转变输入信息，首先确定的车辆状态如何表达，将车辆的状态表达为直行、左转、右转、反向转弯四种微观状态；然后确定车辆状态转变的输入因素。相对车辆的这四种微观状态，将车辆的运动轨迹方向转变与否确定为判定车辆行为模式转变的有限状态自动机的输入。

⑷确定车辆的运动轨迹转弯状态，判定车辆的行为模式，其方法是，根据跟踪得到的车辆运动轨迹，得到车辆运动轨迹的偏转特征，根据不同的偏转特征，利用前面设计的有限状态自动机将这些微观信息结合起来，判断车辆是直行、左转、右转还是反向转弯等宏观状态信息，即实现车辆的行为模式分析。

上述技术方案中，所述步骤[1]中的采用直方图-均值法背景模型，是在合理的假设在一段时间内，背景的灰度变化较小，而前景的灰度变化随车辆的不同而变化较大，即使是同一辆车，不同的部位灰度也不相同。考虑到背景的灰度在小范围内变化，采用直方图-均值法构建背景模型。在跟踪过程中，采用阈值k对背景进行跟新。针对视频帧中的每个像素点，如果和背景帧中对应像素点的差值小于k，则用视频帧中的像素点更新背景帧，否则不更新背景像素点的值。

上述技术方案中，所述步骤[2]中的基于预测的快速归一化互相关方法实现跟踪，首先在得到前景车辆目标的情况下，将车辆作为模板，和下一帧视频图形进行归一化互相关匹配，得到车辆在帧中的位置，从而实现对运动车辆的跟踪。在实现跟踪的基础上，采用预测信息减小待匹配区域，假设有运动车辆在当前帧

Figure 2011100478541100002DEST_PATH_IMAGE001

中的位置为

，在前一帧图像

Figure 2011100478541100002DEST_PATH_IMAGE003

中的位置为

，则预计的运动目标待匹配区域大小为以当前运动目标区域位置为基准，下列公式计算得到待匹配区域的长和宽：

Figure 2011100478541100002DEST_PATH_IMAGE005

在公式（11）（12）中，t为运动车辆模板，

Figure 2011100478541100002DEST_PATH_IMAGE007

、

分别为模板的长度和宽度，

Figure 2011100478541100002DEST_PATH_IMAGE009

、 分别为预测区域的长度和宽度，

Figure 2011100478541100002DEST_PATH_IMAGE011

、

和

Figure 2011100478541100002DEST_PATH_IMAGE013

、

分别为运动轨迹中相邻的两点。

上述技术方案中，所述步骤[3]中表达车辆状态转变的有限状态自动机，是基于有限状态自动机理论，结合车辆的状态信息和输入信息，根据经验模型，将车辆的行为划分为直行、左转、右转、反向转弯四种宏观状态。当车辆因为个体需求，或者受交通环境，交通设施等因素的影响和制约时，会从当前状态转变为另外一种状态，否则保持原来的状态不变。

上述技术方案中，所述步骤[4]车辆行为模式分析和判断，是将车辆的连续的相邻轨迹点斜率统计作为输入，首先假设车辆的行驶方向为正前方，则车辆的状态可以分为左转、右转和反向转弯。当车辆的连续的相邻轨迹点斜率统计发生变化时分为左转和右转两种状态，车辆的反向转弯是左转和右转的延续。

所述步骤(3)中表达车辆状态转变的有限状态自动机，s1为直行状态，s2为左转状态，s3为右转状态，s4为反向转弯状态；其输入为车辆的连续的相邻轨迹点斜率统计值，以前一组两个相邻车辆轨迹点的连线为y轴的正方向确定当前两个相邻车辆轨迹点连线的斜率，对连续的n+1个相邻车辆轨迹点的斜率进行判定并统计斜率值的区域，把斜率区域分为大于0、等于0、小于0三类，分别对三类斜率值进行统计，得到对应的三个统计值，斜率大于0的个数为t1、斜率等于0的个数为t2、斜率小于0的个数为t3，t1+t2+t3=n。输入值的确定方式为：t3>5n/6时，输入为x1，车辆状态由s1转为s2，表示发生左转；t1>5n/6时，输入值为x2，车辆状态由s1转为s3，表示发生右转；n/2<t1<5n/6且n/6<t2<n/2时，输入为x3，车辆状态由s3转为s1，表示右转变直行状态；当n/6<t2<n/2且n/2<t3<5n/6时，输入为x5，车辆状态由s2转为s1，表示左转变直行状态；当x1连续出现次数> n/2或者当x2连续出现次数> n/2时，车辆状态由s2或者s3转为s4，表示反向转弯；当x1或者x2连续出现次数>n/3且<n/2时，输入为x4，车辆状态由s4转为s1，表示反向转弯变直行；当t2>5n/6时，输入为x6，车辆为直行状态s1，其中n≥30。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

1．本发明是ITS方面具有较好应用前途，车辆行为模式分析技术方面创新性强，行为模式检测准确的方法。充分利用了快速归一化互相关匹配准确，结合预测信息实现对车辆的跟踪，并总结了车辆的微观状态和促使车辆行为发生改变的因素，采用有限状态自动机理论实现对车辆的行为模式分析，能够准确的判定车辆的行为模式。

．实验证明，本发明的基于预测归一化互相关实现车辆跟踪是可行的，并且具有较高的跟踪准确度，在加入预测信息和模板实时更新技术以后，能够实现实时的车辆跟踪。

．将本发明应用于ITS中，算法的时间复杂度低，得到的车辆行为模式分析结果较为准确，可以很好地辅交通管理和交通信息预测。

附图说明

附图1实施例一中车辆行为模式分析方法流程图；

附图2实施例一中基于预测的快速归一化互相关跟踪方法流程图；

附图3实施例一中车辆跟踪效果图；

附图4实施例一中车辆状态判定有限状态自动机表达图；

附图5实施例一中车辆行为状态判定图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图及实施例对本发明作进一步描述：

实施例：图1为本发明实施的车辆行为模式分析方法的流程图，数据文件为包含运动车辆的视频文件。

方法如下：

（1）检测运动车辆采用减背景的方法来得到前景运动区域。在减背景操作以前，首先要构建背景模型。合理的假设在一段时间内，背景的灰度变化较小，而前景的灰度变化随车辆的不同而变化较大，即使是同一辆车，不同的部位灰度也不相同。考虑到背景的灰度在小范围内变化，本方法采用直方图-均值法构建背景模型。在跟踪过程中，采用阈值k对背景进行跟新。针对视频帧中的每个像素点，如果和背景帧中对应像素点的差值小于k，则用视频帧中的像素点更新背景帧，否则不更新背景像素点的值。

（2）运动物体跟踪本方法采用基于预测的快速归一化互相关实现运动物体的跟踪，其流程图如图2所示。归一化互相关（NCC），相关系数如下式:

式中 为匹配图像

和模板

之间的NCC系数，m、n为模板

的尺寸大小，

和

分别由下面两个公式计算得来：

从NCC公式可以看出，当模板和待匹配区域越相似，

越接近于1，有效解决用互相关匹配时存在的问题，但同时可以看出，在归一化互相关过程中，涉及多次乘方以及开方运算，计算量比较大，而且算法的复杂度还依赖于模板

的大小。因此本文通过采用快速归一化互相关（FNCC）的计算方法来减少传统归一化互相关函数算法的复杂度。快速归一化互相关中引入了加和表的概念，利用一下三个加和表对归一化互相关公式进行改写：

本方法采用实时更新跟踪模板的方法，用当前帧跟踪到的运动车辆区域更新跟踪模板，恰当运用运动车辆为刚性物体，相邻两帧图像中车辆外形变化率不大这一特点，完成对车辆的跟踪，车辆跟踪流程如图2所示。在初始跟踪时，采用快速归一化互相关对运动车辆进行跟踪，得到初始运动轨迹后，采用基于预测的方法对车辆进行跟踪，可以大量减小待匹配图像的面积。在跟踪过程中，可以得到跟踪目标的运动轨迹，根据运动轨迹可以预测运动目标在下一帧的位置。据此可以先将运动模板和预测区域进行快速归一化互相关，这样便可以大量减少快速归一化互相关的时间。在跟踪过程中，首先要实现对运动物体的跟踪，然后得到运动目标的运动轨迹，假设有运动车辆在当前帧 中的位置为

，在前一帧图像

中的位置为

，则预计的运动目标待匹配区域大小为以当前运动目标区域位置为基准，按照以下两个公式计算得到：

在以上两个公式中，

、

分别为预测区域的长度和宽度，

、

分别为模板的长度和宽度，

、

和

、

分别为运动轨迹中相邻的两点。在图3中分别对直行、左转、右转车辆进行跟踪实现，可以看到本方法对各种运动状况能够准确跟踪，其中，(a)是直行车辆初始图，(b)是直行车辆轨迹图，(c)是左转车辆初始图，(d)是左转车辆轨迹图，(e)是右转车辆初始图，(f)是右转车辆轨迹图。

（3）确定表达车辆行为模式的有限状态自动机：采用基于有限状态自动机的方法对车辆的行为进行表达。有限状态自动机拥有有限数量的状态，每个状态可以迁移到零个或多个状态，输入字串决定执行哪个状态的迁移。有限状态自动机是一个通过简单化假设描述复杂系统的数学模型，可以有效的支持各种复杂行为的建模。它广泛应用于通信协议、数字电路设计、词法分析、文本编辑等很多研究领域。有限状态自动机可以表示为M=（S, I, F），其具体内容如下：

有限状态集合 ，式中：

为有限状态集合中的一个状态；

有限输入集合

，式中：

为有限输入集合中的一个输入动作；

对于任意输入

，存在状态转换函数

。式中：

。

本方法根据经验模型，将车辆的行为划分为直行、左转、右转、反向转弯四种状态。当车辆因为个体需求，或者受交通环境，交通设施等因素的影响和制约时，会从当前状态转变为另外一种状态，否则保持原来的状态不变。

本方法中采用的输入变量为车辆的连续的相邻轨迹点斜率统计值，具体计算如下：

假设车辆的行驶方向为坐标轴y轴的正方向，车辆的行驶轨迹点为p ₁ ,p ₂ ,p ₃ ,p ₄ ,…………,p _n ,p _n+1 ，n=30，分别求出直线p ₁ p ₂ , p ₂ p _3 , p ₃ p _{24 ,…………，} p _n p _n+1 共30个斜率值，对连续的三十个轨迹点的斜率进行统计，假设轨迹斜率>0的个数为t1，相邻轨迹点斜率=0的点个数为t2，相邻轨迹点斜率<0的个数为t3，则可知t1+t2+t3=30。

在本方法中，车辆的转弯状态如图4所示，s1为直行状态，s2为左转状态，s3为右转状态，s4为反向转弯状态；在图中的输入有限集合中，t3>25时，输入为x1，车辆状态由s1转为s2，表示发生左转；t1>25时，输入值为x2，车辆状态由s1转为s3，表示发生右转；15<t1<25且5<t2<15时，输入为x3，车辆状态由s3转为s1，表示右转变直行状态；当5<t2<15且15<t3<25时，输入为x5，车辆状态由s2转为s1，表示左转变直行状态；当x1连续出现次数> 15或者当x2连续出现次数> 15时，车辆状态由s2或者s3转为s4，表示反向转弯；当x1或者x2连续出现次数>10且<15时，输入为x4，车辆状态由s4转为s1，表示反向转弯变直行；当t2>25时，输入为x6，车辆为直行状态s1。通过上述模型，可以将车辆路口行驶的状态表示为左转、右转、反转、直行四种微观的状态。利用运动状态之间的转换和变化，可以直接获取简单车辆行为模式，从而可以对其高层语义加以合理的解释和推理，实现车辆的运动行为分析。

（4）判定车辆的行为模式经过以上步骤，得到车辆的运动轨迹和表达车辆行为模式的有限状态自动机。将车辆的跟踪轨迹斜率变化作为输入，首先假设车辆的行驶方向为正前方，则车辆的状态可以分为左转、右转和反向转弯。当跟踪轨迹斜率发生变化时分为两种状态，左偏时车辆状态变为左转，否则为右转状态；当车辆持续转弯，运动轨迹的斜率和转弯前相同时，车辆状态转变为反向转弯。

将图3中三种跟踪的轨迹映射在三维坐标系中，其运行轨迹拟合曲线如图5所示。图5中，三条曲线分别为直行车辆运行轨迹拟合曲线、左转拟合曲线和右转拟合曲线，其中曲线的箭头代表车辆的运行方向。以车辆起始运行方向为基准，当车辆行驶发生左偏角度时，判定车辆左转，否则，如果产生右偏角度，则判定车辆右转。由图5可以看出，直行车辆的拟合曲线接近于一条直线，在运动过程中，车辆行驶方向改变不大，即运行轨迹的斜率几乎没有改变，结合本文设计的有限状态自动机，可以判定车辆为直行；由图所示的左转拟合曲线可以看出，车辆的行驶方向在转弯的时候产生了一个左偏夹角，结合有限状态自动机，将这些微观状态结合起来，可以得到车辆行驶状态发生左转；同样在右转车辆的运行轨迹中也产生一个右偏夹角，结合有限状态自动机可以判定车辆发生右转行为。

Claims

1.一种视频流中的车辆行为模式判定方法，其特征在于，包括下列步骤：

⑴获取交通视频流中的若干视频帧，输入计算机，采用减背景法得到前景运动车辆，其方法为采用直方图-均值模型构建背景模型，采用阈值法更新背景；

⑵对得到的车辆前景目标采用基于预测的快速归一化互相关方法实现跟踪，其方法为，采用快速归一化互相关实现对车辆的跟踪，并在跟踪过程中，根据得到的车辆运动轨迹，采用预测的方法改进快速归一化互相关的应用；

⑶设计表达车辆状态转变的有限状态自动机，其方法是，根据车辆的状态信息和状态转变输入信息，首先确定车辆状态的表达方法，将车辆的状态表达为直行、左转、右转、反向转弯四种状态；然后确定车辆状态转变的输入因素，相对车辆的这四种状态，将车辆的运动轨迹方向转变与否确定为判定车辆行为模式转变的有限状态自动机的输入；

⑷确定车辆的运动轨迹状态，判定车辆的行为模式，其方法是，根据跟踪得到的车辆运动轨迹，得到车辆运动轨迹的偏转特征，根据不同的偏转特征，获得有限状态自动机的输入，利用步骤(3)设计的有限状态自动机，判断车辆是直行、左转、右转还是反向转弯，实现车辆的行为模式分析；

所述步骤(2)中的基于预测的快速归一化互相关方法实现跟踪，首先在得到前景车辆目标的情况下，将车辆作为模板，和下一帧视频图形进行归一化互相关匹配，得到车辆在帧中的位置，从而实现对运动车辆的跟踪，在实现跟踪的基础上，采用预测信息减小待匹配区域，假设有运动车辆在当前帧

Figure 2011100478541100001DEST_PATH_IMAGE001

中的位置为

Figure 2011100478541100001DEST_PATH_IMAGE002

，在前一帧图像

Figure 2011100478541100001DEST_PATH_IMAGE003

中的位置为

Figure 2011100478541100001DEST_PATH_IMAGE004

，则预计的运动目标待匹配区域大小为以当前运动目标区域位置为基准，下列公式计算得到待匹配区域的长和宽：

Figure 2011100478541100001DEST_PATH_IMAGE005

Figure 2011100478541100001DEST_PATH_IMAGE006

其中，t为运动车辆模板，

Figure 2011100478541100001DEST_PATH_IMAGE007

、

分别为模板的长度和宽度，

Figure 2011100478541100001DEST_PATH_IMAGE009

、

分别为预测区域的长度和宽度，

Figure 2011100478541100001DEST_PATH_IMAGE011

、

和、

分别为运动轨迹中相邻的两点。

2.根据权利要求1所述的视频流中的车辆行为模式判定方法，其特征在于：所述步骤(3)中表达车辆状态转变的有限状态自动机，s1为直行状态，s2为左转状态，s3为右转状态，s4为反向转弯状态；其输入为车辆的连续的相邻轨迹点斜率统计值，以前一组两个相邻车辆轨迹点的连线为y轴的正方向确定当前两个相邻车辆轨迹点连线的斜率，对连续的n+1个相邻车辆轨迹点的斜率进行判定并统计斜率值的区域，把斜率区域分为大于0、等于0、小于0三类，分别对三类斜率值进行统计，得到对应的三个统计值，斜率大于0的个数为t1、斜率等于0的个数为t2、斜率小于0的个数为t3，t1+t2+t3=n；输入值的确定方式为：t3>5n/6时，输入为x1，车辆状态由s1转为s2，表示发生左转；t1>5n/6时，输入值为x2，车辆状态由s1转为s3，表示发生右转；n/2<t1<5n/6且n/6<t2<n/2时，输入为x3，车辆状态由s3转为s1，表示右转变直行状态；当n/6<t2<n/2且n/2<t3<5n/6时，输入为x5，车辆状态由s2转为s1，表示左转变直行状态；当x1连续出现次数> n/2或者当x2连续出现次数> n/2时，车辆状态由s2或者s3转为s4，表示反向转弯；当x1或者x2连续出现次数>n/3且<n/2时，输入为x4，车辆状态由s4转为s1，表示反向转弯变直行；当t2>5n/6时，输入为x6，车辆为直行状态s1，其中n≥30。