[go: up one dir, main page]

CN102034355A - 一种基于特征点匹配的车辆检测及跟踪方法 - Google Patents

一种基于特征点匹配的车辆检测及跟踪方法 Download PDF

Info

Publication number
CN102034355A
CN102034355A CN 201010609645 CN201010609645A CN102034355A CN 102034355 A CN102034355 A CN 102034355A CN 201010609645 CN201010609645 CN 201010609645 CN 201010609645 A CN201010609645 A CN 201010609645A CN 102034355 A CN102034355 A CN 102034355A
Authority
CN
China
Prior art keywords
tracks
feature
matching
track
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010609645
Other languages
English (en)
Inventor
甘智峰
丁天
赖页
邵文简
张星月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN 201010609645 priority Critical patent/CN102034355A/zh
Publication of CN102034355A publication Critical patent/CN102034355A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于特征点匹配的车辆检测及跟踪方法，针对固定视场的监控摄像机获取的视频图像，使用哈里斯算法提取出检测区域的角点，并计算出相应角点的尺度不变旋转特征描述子；对特征点按照尺度不变旋转特征描述子进行匹配，进而形成轨迹，并计算出轨迹的速度和方向等信息；对轨迹进行动态分组，对初始分组的结果进行合理性判断，确认为车辆；本发明以对轨迹的匹配跟踪，并对其进行分组，而完成对车辆的跟踪。本发明对于局部遮挡的车辆，由于它们在位置、速度、方向以及移动距离等的差异，也能很好的进行区别。

Description

一种基于特征点匹配的车辆检测及跟踪方法
技术领域
本发明属于模式识别领域，具体涉及智能交通技术领域，特别涉及一种基于特征点匹配的车辆检测及跟踪方法。
背景技术
伴随着城市化的进展和汽车的普及，世界各国的交通量急剧增加，如何管理好公路的运行与运营，保障好车辆在公路上的安全、快速的行驶，成为交通管理的重要问题。智能交通的概念应运而生，而车辆检测和跟踪已成为智能交通研究的一个热点。
目前常用的车辆检测和跟踪方法主要包括：背景差值检测法、车辆模型检测法和动态轮廓检测法。背景差值检测法是经典的运动检测方法，目前大多数车辆检测系统均是采用此类方法。它的主要思想是用当前图像减去道路背景图像，找出差值大于设定阈值的部分，再进行图像分割进而检测出场景中的车辆。实现背景差值检测关键是背景提取。得到背景存在两方面的困难：                                                
Figure 64494DEST_PATH_IMAGE001
不可能要求交通暂停来直接获取道路背景；
Figure 385754DEST_PATH_IMAGE002
背景会随着光照的变化而发生明显的变化，例如白天和黑夜道路背景是完全不同的。实时、动态地获得对道路背景的最佳描述，是背景差值检测法的关键，也是一个难点。
车辆模型检测法是美国加州大学伯克里分校Koller.D等人和英国里丁大学Baker.K，Sullivan.G 提出的一种基于三维模型的车辆检测跟踪方法。该方法需要首先设计一系列三维车辆模型，并生成它们在各种情况下对应的一维、二维模板，利用单摄像头所拍摄的图像中区域与这些模板的匹配来进行车辆的检测跟踪。这种方法最大的优势在于可以恢复出车辆的行驶轨迹和车辆模型，能够在一定程度上克服遮挡和阴影等问题。但在实际应用中，很难得到道路上可能出现的所有车辆类型的详细几何模型，所以此类方法很难运用于实际的车辆检测系统中。
动态轮廓检测的基本思想是当车辆进入摄像机检测范围时，捕捉其轮廓，以捕捉到的轮廓作为检测对象，根据运动和灰度边界进行动态更新，从而达到车辆检测跟踪的目的。如果车辆在进入检测范围时，系统正确地初始化了车辆的轮廓，那么如果该车辆在随后的行程中与其它车辆发生了局部遮挡，系统仍然能够将其检测出来。但是，如果车辆在进入检测区域时没能正确地初始化车辆轮廓，例如两辆车在进入检测区域的时候已经发生了局部遮挡并被检测为一辆车，那么系统将检测错误。在交通较为拥挤的情况下，上述情况发生概率较大。
发明内容
本发明的目的在于提出一种基于特征点匹配的车辆检测和跟踪方法。此方法对车辆局部遮挡、光照变化具有很强的鲁棒性。
本发明的技术方案为：针对固定视场的监控摄像机获取的视频图像，使用哈里斯算法提取出检测区域的角点，并计算出相应角点的尺度不变旋转特征描述子；对特征点按照尺度不变旋转特征描述子进行匹配，进而形成轨迹，并计算出轨迹的速度和方向等信息；对轨迹进行动态分组，对初始分组的结果进行合理性判断，确认为车辆。本发明以对轨迹的匹配跟踪，并对其进行分组，而完成对车辆的跟踪。
本发明的具体现步骤依次为：
1）现场场景图像获取。
以等间隔对现场视频进行采样以获得连续的现场场景图像。为保证对车辆检测和跟踪的准确性，采样间隔应小于0. 1秒（即大于10帧每秒）。
2）哈里斯角点提取
角点的检测由哈里斯算法来完成，具体步骤如下：采用哈里斯算法对待检测图像进行角点检测；
Figure 939412DEST_PATH_IMAGE002
对每个角点计算出相应的尺度不变旋转特征描述子。
哈里斯角点检测算法是在莫拉韦克算法基础上发展起来的，该算子使用一阶差分，计算简单，可以使用滑动窗口，适合矩阵运算，具有稳定、提取的角点特征均匀和可以定量提取特征点的特点。其原理是将所处理的矩形窗口w向任意方向移动微小位移(x, y)，其灰度改变量可以用自相关函数表示为：
       
Figure 26579DEST_PATH_IMAGE003
      　　　　　　　　　（1）
其中
Figure 518740DEST_PATH_IMAGE004
是（x,y）处的自相关函数的值，是图像窗口w在（u,v）处的值，
Figure 97806DEST_PATH_IMAGE006
是在(x+u,y+v)处的图像灰度，
Figure 741277DEST_PATH_IMAGE007
是在(u,v)处的图像灰度。在角点处，图像窗口的偏移将造成自相关函数的显著变化。对式（1）在象素点
Figure 419745DEST_PATH_IMAGE009
展开，局部图像灰度的自相关函数
Figure 498559DEST_PATH_IMAGE010
可近似表示成一次泰勒多项式形式：
                 
Figure 58854DEST_PATH_IMAGE011
              （2）
其中X和Y是一阶灰度梯度，可对图像求卷积求得：
Figure 564921DEST_PATH_IMAGE012
                      （3）
其中为卷积运算。
为了提高抗噪能力，对高斯窗口进行高斯平滑，选用如下的高斯窗口
Figure 788278DEST_PATH_IMAGE014
                  （4）
另外定义：
Figure 140762DEST_PATH_IMAGE015
           （5）
和矩阵：
Figure 647092DEST_PATH_IMAGE016
                                  （6）
在某一点的图像灰度自相关函数的极值曲率可以由矩阵M的特征值近似表示。如果矩阵M的两个特征值都比较大，说明在该点的图像灰度自相关函数的两个正交方向上的极值曲率均较大，所以即可认为该点为角点。
定义下式来计算角点响应函数：
Figure 147343DEST_PATH_IMAGE017
                           （7）
Figure 567961DEST_PATH_IMAGE018
表示行列式的值，
Figure 102847DEST_PATH_IMAGE019
表示矩阵的迹，k值哈里斯推荐为0.04。
                        （8）
其中、是M的两个特征值，则其响应函数可定义为：
Figure 53431DEST_PATH_IMAGE023
                        （9）
当R大于某一阈值且是邻域最大值时，当前点就是一个角点。
 
3）角点尺度不变旋转特征描述子的计算
尺度不变旋转特征由D.G.Lowe 1999年提出的，其基本思想是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。尺度不变旋转特征描述子是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。
以已提取出的角点位置为中心取8×8的窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。实际计算过程中，为了增强匹配的稳健性，Lowe建议使用4×4共16个种子点来描述，这样就可以产生128个数据，即最终形成128维的尺度不变旋转特征向量，然后再将特征向量的长度归一化，则可以进一步去除光照变化的影响。
4）轨迹的形成以及其参数的计算  
对特征点进行匹配，就可形成轨迹，进而可以计算出轨迹的速度和方向等信息。
基于尺度不变旋转特征进行图像匹配时，计算第一幅图像的每个特征点在待匹配图像的特征集中的最近邻匹配，所谓最近邻定义为特征点的描述子向量间的最小欧氏距离。在本发明中为了提高匹配的精度，采用双向匹配的方法。
尺度不变旋转特征描述子具有128维特征向量，如用穷尽搜索算法进行图像匹配，效率比较低。由于是从固定视场的监控摄像机获取的视频图像，场景变化比较缓慢，所以可以预测一个待匹配区域，只在此区域进行匹配就可以了，这可以大大的提高匹配的效率。
待匹配区域可以通过该轨迹的速度而得到，公式如下：
Figure 400098DEST_PATH_IMAGE024
                                          （10）
Figure 812625DEST_PATH_IMAGE025
                                                （11）
其中W、H是待匹配区域的宽和高，
Figure 637362DEST_PATH_IMAGE026
为该轨迹的速度，A为控制待匹配区域大小的参数。
双向匹配的基本思想是，对第一次匹配结果，反过来再匹配一次，这样可以提高匹配的准确率。对于两个特征集，求第一个特征集中的每个特征点在第二个特征集中的匹配点，即求第一个特征集中的每个特征点在第二个特征集中的最近邻与次近邻的距离比率ratio，ratio小于某个阈值的对应点认为是正确匹配，否则抛弃。基于上述第一次匹配结果，反过来求第二个特征集中已被匹配的特征点在第一个特征集中匹配点，即求已被匹配的特征点在第一个特征集中的最近邻与次近邻的距离比率ratio，ratio小于某个阈值的匹配点才认为是正确匹配。
对于匹配成功的特征点，则成为轨迹中的一个新的特征点；对于未匹配成功的特征点，将其视为一个新的轨迹。在形成轨迹之后，就可计算轨迹的速度、方向等参数了。
           速度的计算公式如下：
Figure 881261DEST_PATH_IMAGE027
                                      （12）
Figure 336513DEST_PATH_IMAGE028
                                      （13）
Figure 800118DEST_PATH_IMAGE029
                                           （14）
其中，和分别是轨迹中不同特征点的x坐标，和分别是轨迹中不同特征点的y坐标，是这两个特征点间隔的时间。
方向的计算公式如下：
Figure 426720DEST_PATH_IMAGE035
                                   （15）
其中，
Figure 223774DEST_PATH_IMAGE030
和
Figure 894927DEST_PATH_IMAGE031
分别是轨迹中不同特征点的x坐标，
Figure 68419DEST_PATH_IMAGE032
和
Figure 141418DEST_PATH_IMAGE033
分别是轨迹中不同特征点的y坐标。
5）对轨迹进行动态分组及车辆的确认
在形成轨迹，并计算出轨迹的速度、方向等属性之后，需对这些轨迹进行动态分组，最终确认车辆。采用基于图论的归一化割分割方法，将每个轨迹看做图论中的一个点，而将其与其它轨迹的联系看做是边，进而形成图G={V,E} 。图G是一个无向有权图，权值的大小表示两条轨迹的相似度。
两条轨迹之间的相似度可以通过两条轨迹之间的位置、速度、方向以及移动距离等几个方面来度量。
两轨迹位置的相似度可以通过计算两轨迹最后匹配点之间的欧式距离来表示：
Figure 171691DEST_PATH_IMAGE036
                              （16）
其中，
Figure 267823DEST_PATH_IMAGE030
和
Figure 277629DEST_PATH_IMAGE031
分别是两轨迹最后匹配的x坐标，
Figure 408396DEST_PATH_IMAGE032
和
Figure 609570DEST_PATH_IMAGE033
分别是y坐标。
两轨迹速度的相似度可以通过计算两轨迹的速度之差表示：
Figure 255315DEST_PATH_IMAGE037
                                         （17）
其中V1和V2分别是两轨迹的速度，abs为取绝对值函数。
两轨迹方向的相似度可以通过计算两轨迹方向角度之差的余弦表示：
Figure 505031DEST_PATH_IMAGE038
                                          （18）
其中
Figure 552622DEST_PATH_IMAGE039
和
Figure 426162DEST_PATH_IMAGE040
分别是两轨迹的速度，sin为正弦函数。
两轨迹移动距离的相似度可以通过计算两轨迹移动距离之差来表示：
                                          （19）
其中s1和s2分别是两轨迹的移动距离，abs为取绝对值函数。
两轨迹之间的相似度可以通过下面的公式进行计算：
                    （20）
其中w1、w2、w3、w4分别为不同距离的权重。
对轨迹之间分别计算相似度D，做为边的权重，就形成了一个图，然后采用归一化割分割方法对图进行分割。归一化割分割方法是对最小割分割方法的改进，能有效的消除分割偏向。
Figure 452390DEST_PATH_IMAGE043
               （21）
其中  
Figure 995366DEST_PATH_IMAGE044
 
Figure 207222DEST_PATH_IMAGE046
                        
Figure 465290DEST_PATH_IMAGE047
                        （22）
至此，我们已将各个轨迹进行了分组，但这些分组有些可能不是车辆，需要一些规则来进一步确认车辆，我们所使用的规则如下：
Figure 116851DEST_PATH_IMAGE001
每个分组的轨迹数不能少于一定数目；
Figure 224485DEST_PATH_IMAGE002
每个分组的轨迹在最近一段时间内，位移不能小于或者大于一定距离；
每个分组的所有轨迹的外接矩形，不能过大或者过小；
经过这些规则确认之后，就是检测出的车辆了。至此通过对轨迹进行匹配跟踪，再对轨迹进行动态分组，也就完成了车辆的检测和跟踪。
目前常用的背景差值检测法存在获取背景较困难的问题；车辆模型检测法在实际应用中，很难得到所有车辆类型的详细几何模型；动态轮廓检测法无法解决局部遮挡的问题。本发明的有益效果在于，以角点的尺度不变旋转特征描述子匹配为基础，进行车辆的检测和跟踪。由于尺度不变旋转特征描述子是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，所以本发明对光照变化具有鲁棒性。本发明对轨迹之间的相似度通过它们之间的位置、速度、方向以及移动距离等几个方面来度量，并用图论的思想对轨迹进行动态分组。对于局部遮挡的车辆，由于它们在位置、速度、方向以及移动距离等的差异，也能很好的进行区别。
附图说明
图1是本发明基于特征点匹配的车辆检测及跟踪方法的系统结构图。
图2是本发明基于特征点匹配的车辆检测及跟踪方法的操作流程图。
具体实施方式
实施实例1
       图1给出了基于特征点匹配的车辆检测及跟踪方法的构成示意图：将监控摄像机D捕捉到的道路区域C的视频图像传送到嵌入式车辆分析仪A，嵌入式车辆分析仪A利用根据本发明基于特征点匹配的车辆检测及跟踪方法的操作流程图编写的嵌入式视频图像分析程序对捕捉到的视频图像进行实时分析，对车辆进行检测和跟踪。如果检测到道路区域中存在车辆，嵌入式车辆分析仪A将车辆信息传送到后端的监控平台B；如果道路区域未检测到车辆，则返回流程的第一步重新开始循环。
       图2给出了基于特征点匹配的车辆检测及跟踪方法的程序流程图。具体步骤为：1、获取当前帧图像；2、哈里斯角点提取和角点尺度不变旋转特征描述子的计算；3、轨迹的形成以及其参数的计算；4、对轨迹进行动态分组；5、依据规则对分组结果进行判别是否为车辆；6、对车辆信息进行输出。
      本发明基于特征点匹配的车辆检测及跟踪方法的具体操作步骤如下：
（1）现场场景图像获取。
监控摄像头要求为输出标准模拟视频的CCD（Charge-coupled Device，电荷耦合元件）摄像头，且镜头是固定的，以等间隔对现场视频进行采样以获得连续的现场场景图像，采样分辨率是720×576。为保证对车辆检测和跟踪的准确性，采样间隔应小于0. 1秒（即大于10帧每秒）。
（2）哈里斯角点提取和角点尺度不变旋转特征描述子的计算
角点的检测由哈里斯算法来完成，具体步骤如下：
Figure 230804DEST_PATH_IMAGE001
采用哈里斯算法对待检测图像进行角点检测；
Figure 381163DEST_PATH_IMAGE002
对每个角点计算出相应的尺度不变旋转特征描述子。
1、哈里斯角点提取
哈里斯角点检测算法是在莫拉韦克算法基础上发展起来的，该算子使用一阶差分，计算简单，可以使用滑动窗口，适合矩阵运算，具有稳定、提取的角点特征均匀和可以定量提取特征点的特点。其原理是将所处理的矩形窗口w向任意方向移动微小位移(x, y)，其灰度改变量可以用自相关函数表示为：
            
Figure 648196DEST_PATH_IMAGE003
　　　　　　　　　（1）
其中
Figure 157017DEST_PATH_IMAGE004
是（x,y）处的自相关函数的值，
Figure 888213DEST_PATH_IMAGE005
是图像窗口w在（u,v）处的值，
Figure 147156DEST_PATH_IMAGE006
是在(x+u,y+v)处的图像灰度，
Figure 698223DEST_PATH_IMAGE007
是在(u,v)处的图像灰度。在角点处，图像窗口的偏移将造成自相关函数
Figure 700814DEST_PATH_IMAGE008
的显著变化。对式（1）在象素点
Figure 286516DEST_PATH_IMAGE009
展开，局部图像灰度的自相关函数
Figure 14563DEST_PATH_IMAGE010
可近似表示成一次泰勒多项式形式：
                 
Figure 256188DEST_PATH_IMAGE011
              （2）
其中X和Y是一阶灰度梯度，可对图像求卷积求得：
Figure 859208DEST_PATH_IMAGE012
                        （3）
其中
Figure 299417DEST_PATH_IMAGE013
为卷积运算。
为了提高抗噪能力，对高斯窗口进行高斯平滑，选用如下的高斯窗口
Figure 900162DEST_PATH_IMAGE014
                  （4）
另外定义：
Figure 425822DEST_PATH_IMAGE015
           （5）
和矩阵：
Figure 333997DEST_PATH_IMAGE016
                                  （6）
在某一点的图像灰度自相关函数的极值曲率可以由矩阵M的特征值近似表示。如果矩阵M的两个特征值都比较大，说明在该点的图像灰度自相关函数的两个正交方向上的极值曲率均较大，所以即可认为该点为角点。
定义下式来计算角点响应函数：
Figure 831974DEST_PATH_IMAGE017
                           （7）
Figure 400359DEST_PATH_IMAGE018
表示行列式的值，
Figure 678894DEST_PATH_IMAGE019
表示矩阵的迹，k值哈里斯推荐为0.04。
                        （8）
其中
Figure 976200DEST_PATH_IMAGE021
、是M的两个特征值，则其响应函数可定义为：
                        （9）
当R大于某一阈值且是邻域最大值时，当前点就是一个角点。
2、角点尺度不变旋转特征描述子的计算
以已提取出的角点位置为中心取8×8的窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。实际计算过程中，为了增强匹配的稳健性，Lowe建议使用4×4共16个种子点来描述，这样就可以产生128个数据，即最终形成128维的尺度不变旋转特征向量，然后再将特征向量的长度归一化，则可以进一步去除光照变化的影响。
（3） 轨迹的形成以及其参数的计算  
对特征点进行匹配，就可形成轨迹，进而可以计算出轨迹的速度和方向等信息。
尺度不变旋转特征描述子具有128维特征向量，如用穷尽搜索算法进行图像匹配，效率比较低。由于是从固定视场的监控摄像机获取的视频图像，场景变化比较缓慢，所以可以预测一个待匹配区域，只在此区域进行匹配就可以了，这可以大大的提高匹配的效率。
待匹配区域可以通过该轨迹的速度得到，公式如下：
Figure 403398DEST_PATH_IMAGE024
                                          （10）
Figure 672706DEST_PATH_IMAGE025
                                                （11）
其中W、H是待匹配区域的宽和高，
Figure 786155DEST_PATH_IMAGE026
为该轨迹的速度，A为控制待匹配区域大小的参数，经实验A=2效果较好。
双向匹配的基本思想是，对第一次匹配结果，反过来再匹配一次，这样可以提高匹配的准确率。对于两个特征集，求第一个特征集中的每个特征点在第二个特征集中的匹配点，即求第一个特征集中的每个特征点在第二个特征集中的最近邻与次近邻的距离比率ratio，ratio小于某个阈值的对应点认为是正确匹配，否则抛弃。基于上述第一次匹配结果，反过来求第二个特征集中已被匹配的特征点在第一个特征集中匹配点，即求已被匹配的特征点在第一个特征集中的最近邻与次近邻的距离比率ratio，ratio小于某个阈值的匹配点才认为是正确匹配。这里ratio阈值取0. 6，以找到尽可能多的匹配点。
对于匹配成功的特征点，则成为轨迹中的一个新的特征点；对于未匹配成功的特征点，将其视为一个新的轨迹。在形成轨迹之后，就可计算轨迹的速度、方向等参数了。
    速度的计算公式如下：
Figure 773703DEST_PATH_IMAGE027
                                      （12）
Figure 561792DEST_PATH_IMAGE028
                                      （13）
Figure 888869DEST_PATH_IMAGE029
                                           （14）
其中，
Figure 235536DEST_PATH_IMAGE030
和
Figure 382484DEST_PATH_IMAGE031
分别是轨迹中不同特征点的x坐标，和
Figure 716699DEST_PATH_IMAGE033
分别是轨迹中不同特征点的y坐标，
Figure 171951DEST_PATH_IMAGE034
是这两个特征点间隔的时间。
方向的计算公式如下：
Figure 635556DEST_PATH_IMAGE035
                                    （15）
其中，
Figure 201666DEST_PATH_IMAGE030
和分别是轨迹中不同特征点的x坐标，
Figure 988543DEST_PATH_IMAGE032
和
Figure 110082DEST_PATH_IMAGE033
分别是轨迹中不同特征点的y坐标。
（4） 对轨迹进行动态分组及车辆的确认
在形成轨迹，并计算出轨迹的速度、方向等属性之后，需对这些轨迹进行动态分组，最终确认车辆。采用基于图论的归一化割分割方法，将每个轨迹看做图论中的一个点，而将其与其它轨迹的联系看做是边，进而形成图G={V,E} 。图G是一个无向有权图，权值的大小表示两条轨迹的相似度。
两条轨迹之间的相似度可以通过两条轨迹之间的位置、速度、方向以及移动距离等几个方面来度量。
两轨迹位置的相似度可以通过计算两轨迹最后匹配点之间的欧式距离来表示：
Figure 542201DEST_PATH_IMAGE036
                              （16）
其中，
Figure 698376DEST_PATH_IMAGE030
和
Figure 59212DEST_PATH_IMAGE031
分别是两轨迹最后匹配的x坐标，
Figure 730365DEST_PATH_IMAGE032
和
Figure 638278DEST_PATH_IMAGE033
分别是y坐标。
两轨迹速度的相似度可以通过计算两轨迹的速度之差表示：
Figure 711276DEST_PATH_IMAGE037
                                         （17）
其中V1和V2分别是两轨迹的速度，abs为取绝对值函数。
两轨迹方向的相似度可以通过计算两轨迹方向角度之差的余弦表示：
Figure 741549DEST_PATH_IMAGE038
                                          （18）
其中
Figure 837681DEST_PATH_IMAGE039
和
Figure 113067DEST_PATH_IMAGE040
分别是两轨迹的速度，sin为正弦函数。
两轨迹移动距离的相似度可以通过计算两轨迹移动距离之差来表示：
Figure 243834DEST_PATH_IMAGE041
                                          （19）
其中s1和s2分别是两轨迹的移动距离，abs为取绝对值函数。
两轨迹之间的相似度可以通过下面的公式进行计算：
                    （20）
其中w1、w2、w3、w4分别为不同距离的权重，此处分别为0.05、0.2、0.7、0.05。
对轨迹之间分别计算相似度D，做为边的权重，就形成了一个图，然后采用归一化割分割方法对图进行分割。归一化割分割方法是对最小割分割方法的改进，能有效的消除分割偏向。
Figure 762857DEST_PATH_IMAGE043
               （21）
其中其中 
Figure 340469DEST_PATH_IMAGE044
 
                         
Figure 55026DEST_PATH_IMAGE047
                        （22）
至此，我们已将各个轨迹进行了分组，但这些分组有些可能不是车辆，需要一些规则来进一步确认车辆，我们所使用的规则如下：
每个分组的轨迹数不能少于3；
Figure 10529DEST_PATH_IMAGE002
每个分组的轨迹在最近一秒内，位移不能小于10像素或者大于400像素；
Figure 491189DEST_PATH_IMAGE048
每个分组的所有轨迹的外接矩形面积，不能大于60000像素或者小于400像素；
经过这些规则确认之后，就是检测出的车辆了。至此通过对轨迹进行匹配跟踪，再对轨迹进行动态分组，也就完成了车辆的检测和跟踪。

Claims (4)

1.一种基于特征点匹配的车辆检测及跟踪方法，其特征在于：针对固定视场的监控摄像机获取的视频图像，使用哈里斯算法提取出检测区域的角点，并计算出相应角点的尺度不变旋转特征描述子；对特征点按照尺度不变旋转特征描述子进行匹配，进而形成轨迹，并计算出轨迹的速度和方向等信息；对轨迹进行动态分组，对初始分组的结果进行合理性判断，确认为车辆；本发明以对轨迹的匹配跟踪，并对其进行分组，而完成对车辆的跟踪。
2.根据权利要求1所述的一种基于特征点匹配的车辆检测及跟踪方法，其特征在于，包括以下步骤：
1）现场场景图像获取，即以等间隔对现场视频进行采样以获得连续的现场场景图像；为保证对车辆检测和跟踪的准确性，采样间隔应小于0. 1秒，即大于10帧每秒；
2）哈里斯角点提取
将所处理的矩形窗口w向任意方向移动微小位移(x, y)，其灰度改变量可以用自相关函数表示为：
             　                                                
Figure 220286DEST_PATH_IMAGE001
　　　　　　　　（1）
其中
Figure 356869DEST_PATH_IMAGE002
是（x,y）处的自相关函数的值，
Figure 25748DEST_PATH_IMAGE003
是图像窗口w在（u,v）处的值，
Figure 956795DEST_PATH_IMAGE004
是在(x+u,y+v)处的图像灰度，
Figure 711124DEST_PATH_IMAGE005
是在(u,v)处的图像灰度；对式（1）在象素点
Figure 887284DEST_PATH_IMAGE006
展开，局部图像灰度的自相关函数可近似表示成一次泰勒多项式形式：
                               （2）
其中X和Y是一阶灰度梯度，可对图像求卷积求得：
Figure 19822DEST_PATH_IMAGE009
                      （3）
其中
Figure 232629DEST_PATH_IMAGE010
为卷积运算，T为矩阵的转置；
为了提高抗噪能力，对窗口进行高斯平滑，选用如下的高斯窗口
Figure 876100DEST_PATH_IMAGE011
                  （4）
          其中
Figure 148949DEST_PATH_IMAGE012
为标准差，该值控制着高斯模板的大小；
另外定义：
Figure 877871DEST_PATH_IMAGE013
Figure 956685DEST_PATH_IMAGE014
           （5）
和矩阵：
Figure 890881DEST_PATH_IMAGE015
                                  （6）
在某一点的图像灰度自相关函数的极值曲率由矩阵M的特征值近似表示；定义下式来计算角点响应函数：
Figure 662528DEST_PATH_IMAGE016
                           （7）
Figure 550849DEST_PATH_IMAGE017
表示行列式的值，
Figure 433355DEST_PATH_IMAGE018
表示矩阵的迹，k值为0.04；
                        （8）
其中、
Figure 104005DEST_PATH_IMAGE021
是M的两个特征值，则其响应函数可定义为：
Figure 462305DEST_PATH_IMAGE022
                        （9）
当R大于某一阈值且是邻域最大值时，当前点就是一个角点；
3）角点尺度不变旋转特征描述子的计算
以已提取出的角点为中心取8×8的窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点； 
4）轨迹的形成以及其参数的计算  
对特征点进行匹配，就可形成轨迹，进而可以计算出轨迹的速度和方向信息；
基于尺度不变旋转特征进行图像匹配时，计算第一幅图像的每个特征点在待匹配图像的特征集中的最近邻匹配，所谓最近邻定义为特征点的描述子向量间的最小欧氏距离；
为了提高匹配的精度，采用双向匹配的方法；
待匹配区域可以通过该轨迹的速度而得到，公式如下：
Figure 934874DEST_PATH_IMAGE023
                                          （10）
                                                （11）
其中W、H是待匹配区域的宽和高，
Figure 424421DEST_PATH_IMAGE025
为该轨迹的速度，A为控制待匹配区域大小的参数；
双向匹配的基本思想是，对第一次匹配结果，反过来再匹配一次，这样可以提高匹配的准确率；对于两个特征集，求第一个特征集中的每个特征点在第二个特征集中的匹配点，即求第一个特征集中的每个特征点在第二个特征集中的最近邻与次近邻的距离比率ratio，ratio小于某个阈值的对应点认为是正确匹配，否则抛弃；基于上述第一次匹配结果，反过来求第二个特征集中已被匹配的特征点在第一个特征集中匹配点，即求已被匹配的特征点在第一个特征集中的最近邻与次近邻的距离比率ratio，ratio小于某个阈值的匹配点才认为是正确匹配；
对于匹配成功的特征点，则成为轨迹中的一个新的特征点；对于未匹配成功的特征点，将其视为一个新的轨迹；
在形成轨迹之后，计算轨迹的速度、方向；
速度的计算公式如下：
Figure 586412DEST_PATH_IMAGE026
                                      （12）
Figure 647909DEST_PATH_IMAGE027
                                      （13）
Figure 932260DEST_PATH_IMAGE028
                                           （14）
其中，
Figure 282470DEST_PATH_IMAGE029
和
Figure 310469DEST_PATH_IMAGE030
分别是轨迹中不同特征点的x坐标，
Figure 429735DEST_PATH_IMAGE031
和
Figure 619408DEST_PATH_IMAGE032
分别是轨迹中不同特征点的y坐标，
Figure 955449DEST_PATH_IMAGE033
是这两个特征点间隔的时间；
方向的计算公式如下：
                                     （15）
其中，
Figure 760911DEST_PATH_IMAGE029
和
Figure 121485DEST_PATH_IMAGE030
分别是轨迹中不同特征点的x坐标，
Figure 446287DEST_PATH_IMAGE031
和
Figure 816088DEST_PATH_IMAGE032
分别是轨迹中不同特征点的y坐标；
5）对轨迹进行分组
在形成轨迹，并计算出轨迹的速度、方向之后，需对这些轨迹进行动态分组，最终确认车辆；采用基于图论的归一化割分割方法，将每个轨迹看做图论中的一个点，而将其与其它轨迹的联系看做是边，进而形成图G={V,E} ；图G是一个无向有权图，权值的大小表示两条轨迹的相似度；
两条轨迹之间的相似度可以通过两条轨迹之间的位置、速度、方向以及移动距离来度量；
两轨迹位置的相似度可以通过计算两轨迹最后匹配点之间的欧式距离来表示：
Figure 644367DEST_PATH_IMAGE035
                              （16）
其中，
Figure 441422DEST_PATH_IMAGE029
和
Figure 489406DEST_PATH_IMAGE030
分别是两轨迹最后匹配的x坐标，和
Figure 611263DEST_PATH_IMAGE032
分别是y坐标；
两轨迹速度的相似度可以通过计算两轨迹的速度之差表示：
                                         （17）
其中V1和V2分别是两轨迹的速度，abs为取绝对值函数；
两轨迹方向的相似度可以通过计算两轨迹方向角度之差的余弦表示：
Figure 613034DEST_PATH_IMAGE037
                                          （18）
其中和
Figure 127509DEST_PATH_IMAGE039
分别是两轨迹的速度，sin为正弦函数；
两轨迹移动距离的相似度可以通过计算两轨迹移动距离之差来表示：
Figure 702584DEST_PATH_IMAGE040
                                          （19）
其中s1和s2分别是两轨迹的移动距离，abs为取绝对值函数；
两轨迹之间的相似度可以通过下面的公式进行计算：
                    （20）
其中w1、w2、w3、w4分别为不同距离的权重；
对轨迹之间分别计算相似度D，作为边的权重，就形成了一个图，然后采用归一化割分割方法对图进行分割；
Figure 473411DEST_PATH_IMAGE042
                （21）
其中  
Figure 396368DEST_PATH_IMAGE043
 
Figure 706126DEST_PATH_IMAGE044
 
    
Figure 767940DEST_PATH_IMAGE046
                        （22）
式中
Figure 46868DEST_PATH_IMAGE047
表示子图G1的顶点和子图G2的顶点的边的权重之和，其中
Figure 527528DEST_PATH_IMAGE048
表示属于子图G1的顶点i，
Figure 757652DEST_PATH_IMAGE049
表示属于子图G2的顶点j；
Figure 552433DEST_PATH_IMAGE050
表示子图G2的顶点和子图G1的顶点的边的权重之和，其中表示属于子图G2的顶点i，
Figure 835964DEST_PATH_IMAGE052
表示属于子图G1的顶点j；表示子图G1中的顶点和全图G 的顶点的边的权值之和，其中
Figure 712708DEST_PATH_IMAGE054
表示属于子图G1边集E1的顶点vi ，
Figure 261501DEST_PATH_IMAGE055
表示属于全图G边集E的顶点vj；
Figure 287226DEST_PATH_IMAGE056
表示子图G2中的顶点和全图G 的顶点的边的权值之和，其中表示属于子图G2边集E2的顶点vi ，表示属于全图G边集E的顶点vj。
3.根据权利要求2所述的一种基于特征点匹配的车辆检测及跟踪方法，其特征在于，将各个轨迹进行分组后，使用以下规则来进一步确认车辆：
1）每个分组的轨迹数不能少于一定数目；
2）每个分组的轨迹在最近一段时间内，位移不能小于或者大于一定距离；
3）每个分组的所有轨迹的外接矩形，不能过大或者过小。
同时满足以上三个条件的分组，即可确认为车辆。
4.根据权利要求2所述的一种基于特征点匹配的车辆检测及跟踪方法，其特征在于，所述步骤3）中角点尺度不变旋转特征描述子的计算步骤，为了增强匹配的稳健性，使用4×4共16个种子点来描述，这样就可以产生128个数据，即最终形成128维的尺度不变旋转特征向量，然后再将特征向量的长度归一化，则可以进一步去除光照变化的影响。
CN 201010609645 2010-12-28 2010-12-28 一种基于特征点匹配的车辆检测及跟踪方法 Pending CN102034355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010609645 CN102034355A (zh) 2010-12-28 2010-12-28 一种基于特征点匹配的车辆检测及跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010609645 CN102034355A (zh) 2010-12-28 2010-12-28 一种基于特征点匹配的车辆检测及跟踪方法

Publications (1)

Publication Number Publication Date
CN102034355A true CN102034355A (zh) 2011-04-27

Family

ID=43887193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010609645 Pending CN102034355A (zh) 2010-12-28 2010-12-28 一种基于特征点匹配的车辆检测及跟踪方法

Country Status (1)

Country Link
CN (1) CN102034355A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426785A (zh) * 2011-11-18 2012-04-25 东南大学 基于轮廓和局部特征点的交通流信息感知方法及系统
CN102789642A (zh) * 2011-05-16 2012-11-21 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
CN102902962A (zh) * 2012-09-26 2013-01-30 杭州电子科技大学 一种基于尺度不变特征转换特征向量的前方车辆检测方法
CN103116986A (zh) * 2013-01-21 2013-05-22 信帧电子技术（北京）有限公司 车辆识别方法
CN103295003A (zh) * 2013-06-07 2013-09-11 北京博思廷科技有限公司 一种基于多特征融合的车辆检测方法
CN103310453A (zh) * 2013-06-17 2013-09-18 北京理工大学 一种基于子图像角点特征的快速图像配准方法
CN103854293A (zh) * 2014-02-26 2014-06-11 奇瑞汽车股份有限公司 一种基于特征点匹配的车辆跟踪方法及装置
CN104331907A (zh) * 2014-11-10 2015-02-04 东南大学 一种基于orb特征检测测量载体速度的方法
CN106295710A (zh) * 2016-08-18 2017-01-04 晶赞广告（上海）有限公司 基于非几何约束的图像局部特征匹配方法、装置及终端
CN109255796A (zh) * 2018-09-07 2019-01-22 浙江大丰实业股份有限公司 舞台设备安全解析平台
CN109525146A (zh) * 2018-10-25 2019-03-26 珠海格力电器股份有限公司 马达的控制方法、装置、驱动控制器和空调
CN110188777A (zh) * 2019-05-31 2019-08-30 余旸 一种基于数据挖掘的多周期钢轨伤损数据对齐方法
CN110490268A (zh) * 2019-08-26 2019-11-22 山东浪潮人工智能研究院有限公司 一种基于余弦相似度的改进最近邻距离比的特征匹配方法
CN111213369A (zh) * 2018-09-27 2020-05-29 深圳市大疆创新科技有限公司 控制装置、摄像装置、移动体、控制方法以及程序
CN111539995A (zh) * 2020-03-19 2020-08-14 尚特杰电力科技有限公司 一种基于特征点轨迹的多目标跟踪方法
CN111932901A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 道路车辆跟踪检测设备、方法及存储介质
CN112118535A (zh) * 2020-08-12 2020-12-22 深圳技术大学 车辆漫游区域预测方法及系统
CN115171377A (zh) * 2022-06-30 2022-10-11 武汉工程大学 一种基于深度学习的交通流参数检测分析方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251927A (zh) * 2008-04-01 2008-08-27 东南大学 基于视频技术的车辆检测与跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251927A (zh) * 2008-04-01 2008-08-27 东南大学 基于视频技术的车辆检测与跟踪方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
《 四川大学硕士学位论文,中国优秀硕士学位论文全文数据库,中国学术期刊(光盘版)电子期刊硕士学位论文全文数据库 》 20041231 杨清夙 《车辆视频检测与跟踪系统的研究与实现》 全文 1-4 , 2 *
《东北大学学报(自然科学版) 》 20080930 刘濛等 《基于多分辨率光流和多尺度角点的运动车辆跟踪》 1240-1244 第29卷, 第9期 2 *
《中国图象图形学报》 20061130 徐伟等 《基于视频图像Harris角点检测的车辆测速》 1650-1652 第11卷, 第11期 2 *
《华东交通大学硕士论文，中国优秀硕士学位论文全文数据库》 20091231 郭辉 《基于视频的车辆检测和车型识别的研究》 , 2 *
《合肥工业大学，中国优秀硕士学位论文全文数据库》 20081231 彭瑾 《基于数字图像处理的车型检测》 , 2 *
《扬州大学硕士学位论文，中国优秀硕士学位论文全文数据库,中国学术期刊(光盘版)电子期刊硕士学位论文全文数据库》 20081216 周爱军 《基于视频的车辆目标检测与跟踪技术研究》 1 , 2 *
《电脑知识与技术》 20091231 周爱军等 《基于SUSAN角点检测的动态目标识别》 6525-6526 第5卷, 第23期 2 *
《软件导刊》 20080430 刘荆桥等 《角点检测在车辆特征提取中的应用》 91-92 第7卷, 第4期 2 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789642B (zh) * 2011-05-16 2017-08-25 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
CN102789642A (zh) * 2011-05-16 2012-11-21 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
CN102426785A (zh) * 2011-11-18 2012-04-25 东南大学 基于轮廓和局部特征点的交通流信息感知方法及系统
CN102902962A (zh) * 2012-09-26 2013-01-30 杭州电子科技大学 一种基于尺度不变特征转换特征向量的前方车辆检测方法
CN102902962B (zh) * 2012-09-26 2015-08-26 杭州电子科技大学 一种基于尺度不变特征转换特征向量的前方车辆检测方法
CN103116986A (zh) * 2013-01-21 2013-05-22 信帧电子技术（北京）有限公司 车辆识别方法
CN103116986B (zh) * 2013-01-21 2014-12-10 信帧电子技术（北京）有限公司 车辆识别方法
CN103295003A (zh) * 2013-06-07 2013-09-11 北京博思廷科技有限公司 一种基于多特征融合的车辆检测方法
CN103295003B (zh) * 2013-06-07 2016-08-10 北京博思廷科技有限公司 一种基于多特征融合的车辆检测方法
CN103310453A (zh) * 2013-06-17 2013-09-18 北京理工大学 一种基于子图像角点特征的快速图像配准方法
CN103310453B (zh) * 2013-06-17 2015-12-09 北京理工大学 一种基于子图像角点特征的快速图像配准方法
CN103854293A (zh) * 2014-02-26 2014-06-11 奇瑞汽车股份有限公司 一种基于特征点匹配的车辆跟踪方法及装置
CN104331907B (zh) * 2014-11-10 2018-03-16 东南大学 一种基于orb特征检测测量载体速度的方法
CN104331907A (zh) * 2014-11-10 2015-02-04 东南大学 一种基于orb特征检测测量载体速度的方法
CN106295710A (zh) * 2016-08-18 2017-01-04 晶赞广告（上海）有限公司 基于非几何约束的图像局部特征匹配方法、装置及终端
CN106295710B (zh) * 2016-08-18 2019-06-14 晶赞广告（上海）有限公司 基于非几何约束的图像局部特征匹配方法、装置及终端
CN109255796A (zh) * 2018-09-07 2019-01-22 浙江大丰实业股份有限公司 舞台设备安全解析平台
CN109255796B (zh) * 2018-09-07 2022-01-28 浙江大丰实业股份有限公司 舞台设备安全解析平台
CN111213369B (zh) * 2018-09-27 2021-08-24 深圳市大疆创新科技有限公司 控制装置、方法、摄像装置、移动体以及计算机可读存储介质
CN111213369A (zh) * 2018-09-27 2020-05-29 深圳市大疆创新科技有限公司 控制装置、摄像装置、移动体、控制方法以及程序
CN109525146A (zh) * 2018-10-25 2019-03-26 珠海格力电器股份有限公司 马达的控制方法、装置、驱动控制器和空调
CN111932901A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 道路车辆跟踪检测设备、方法及存储介质
CN111932901B (zh) * 2019-05-13 2022-08-09 斑马智行网络(香港)有限公司 道路车辆跟踪检测设备、方法及存储介质
CN110188777A (zh) * 2019-05-31 2019-08-30 余旸 一种基于数据挖掘的多周期钢轨伤损数据对齐方法
CN110188777B (zh) * 2019-05-31 2023-08-25 东莞先知大数据有限公司 一种基于数据挖掘的多周期钢轨伤损数据对齐方法
CN110490268A (zh) * 2019-08-26 2019-11-22 山东浪潮人工智能研究院有限公司 一种基于余弦相似度的改进最近邻距离比的特征匹配方法
CN111539995A (zh) * 2020-03-19 2020-08-14 尚特杰电力科技有限公司 一种基于特征点轨迹的多目标跟踪方法
CN112118535A (zh) * 2020-08-12 2020-12-22 深圳技术大学 车辆漫游区域预测方法及系统
CN112118535B (zh) * 2020-08-12 2021-08-17 深圳技术大学 车辆漫游区域预测方法及系统
CN115171377A (zh) * 2022-06-30 2022-10-11 武汉工程大学 一种基于深度学习的交通流参数检测分析方法和装置
CN115171377B (zh) * 2022-06-30 2024-01-09 武汉工程大学 一种基于深度学习的交通流参数检测分析方法和装置

Similar Documents

Publication Publication Date Title
CN102034355A (zh) 一种基于特征点匹配的车辆检测及跟踪方法
CN111801711B (zh) 图像标注
CN103325112B (zh) 动态场景中运动目标快速检测方法
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN104183127B (zh) 交通监控视频检测方法和装置
Zhu et al. Object tracking in structured environments for video surveillance applications
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN104992453B (zh) 基于极限学习机的复杂背景下目标跟踪方法
Zhang et al. Monocular visual traffic surveillance: A review
CN101339658B (zh) 航拍交通视频的快速鲁棒配准方法
US9928426B1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
CN103996292A (zh) 一种基于角点匹配的运动车辆跟踪方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
Lashkov et al. Edge-computing-empowered vehicle tracking and speed estimation against strong image vibrations using surveillance monocular camera
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
CN110555423B (zh) 基于多维运动摄像机的航拍视频的交通参数提取方法
Lee et al. A cumulative distribution function of edge direction for road-lane detection
Revaud et al. Robust automatic monocular vehicle speed estimation for traffic surveillance
TW202504327A (zh) 偵測場景之一或多個遮蔽區域之方法及非暫態電腦可讀儲存媒體
Fangfang et al. Real-time lane detection for intelligent vehicles based on monocular vision
CN103093481A (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
Srivastava et al. Multi-lane detection robust to complex illumination variations and noise sources
CN116259001A (zh) 一种多视角融合的三维行人姿态估计与追踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110427