[go: up one dir, main page]

CN107292908A - 基于klt特征点跟踪算法的行人跟踪方法 - Google Patents

基于klt特征点跟踪算法的行人跟踪方法 Download PDF

Info

Publication number
CN107292908A
CN107292908A CN201610205854.2A CN201610205854A CN107292908A CN 107292908 A CN107292908 A CN 107292908A CN 201610205854 A CN201610205854 A CN 201610205854A CN 107292908 A CN107292908 A CN 107292908A
Authority
CN
China
Prior art keywords
pedestrian
tracking
algorithm
detection
klt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610205854.2A
Other languages
English (en)
Inventor
刘凯
王韵白
徐灵
吕宇宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI UNIVERSITY
Original Assignee
SHANGHAI UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI UNIVERSITY filed Critical SHANGHAI UNIVERSITY
Priority to CN201610205854.2A priority Critical patent/CN107292908A/zh
Publication of CN107292908A publication Critical patent/CN107292908A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于KLT特征点跟踪算法的行人跟踪方法，属于计算机视觉技术领域。因对图像几何和光学性能的形变都能保持很好地不变形；并且在Gamma归一化条件下，行人的姿态浮动范围较大，大部分细微动作并不会影响侦测效果而选用HOG和SVM的行人检测方法。然后结合KLT算法，对检测结果进行追踪；KLT是光流法的进一步发展，实时性好，且不易丢失追踪目标，非常对已有目标进行实时的追踪。本发明由于结合了侦测算法与跟踪算，很好地解决了目前很多跟踪算法摄像头固定无法移动或无法跟踪特定目标的问题；而且此方法也弥补了因HOG和SVM计算复杂度高，侦测速度慢的缺点。

Description

基于KLT特征点跟踪算法的行人跟踪方法
技术领域
本发明涉及一种基于KLT(Kanade-Lucas-Tomasi)特征点跟踪算法的行人跟踪方法，属于计算机视觉技术领域，涉及基于运动图像的计算机侦测和跟踪技术的领域。
背景技术
机器视觉在近来飞速的发展，并成为非常热门的课题之一。用摄像头捕捉视频信息，用计算机提取其中所包含的信息，然后进行分析处理并做出相应的措施，是其非常关键的部分。就目前来说，人形检测与跟踪是其中热门和极重要的应用与研究，通过对视频中行人的侦测及跟踪可以用于很多智能化设备，如机动车智能驾驶、人机互动、摄像监控等。但是目前常见的运动目标跟踪算法主要是针对相机固定的场景,跟踪的目标需要手动标记或者采用背景相减的办法提取跟踪的目标，然后再实现目标的跟踪。其并不适用于智能驾驶与人机互动等设备，而本发明系统包括行人检测与行人跟踪两部分，采用可以移动视觉传感器实现行人的检测与跟踪。
在行人识别算法中，较为流行的是Haar-like特征，它是基于Haar小波变换得到的，因其简单性常用于简单的分类器中。Edgelet特征是收集行人姿态的边缘特征，相比整体模板Edgelet更加有普遍性，通过在图像中寻找与Edgelet特征匹配的行人位置来获取检测目标。HOG(Histogram of Oriented Gradient，方向梯度直方图)特征是一种特征描述子，用梯度直方图来表示图像部分区域的特征值，并且结合SVM(Support Vector Machine，支持向量机)分类器用于图像识别中。而本发明就选用HOG和SVM的行人检测方法是因为其对图像几何和光学性能的形变都能保持很好地不变形；并且在Gamma归一化条件下，行人的姿态浮动范围较大，大部分细微动作并不会影响侦测效果，所以此算法非常适合行人检测。
目前常见的运动目标跟踪算法主要有Kalman，Meanshift，KLT等。其中Kalman滤波因其优越的跟踪性能也常被用于运动目标跟踪上，能够较为准确地预测目标的速度和位置，从而准确地估计目标运动状态，但无法胜任存在目标变形和遮挡等等场合；而Mean-Shift跟踪算法具有实时性好、鲁棒性强的优点，并且对目标的旋转、目标边缘的遮挡有一定的免疫性，但也存在目标非常容易丢失的缺点；而本发明选用的KLT算法，是光流法的进一步发展，实时性好，且不易丢失追踪目标，非常对已有目标进行实时的追踪。
发明内容
本发明的目的是针对基于HOG和SVM的行人侦测由于计算复杂，速度过慢不能用于视 频跟踪问题，提出结合KLT特征点跟踪算法来实时跟踪行人的方法。该方法利用HOG和SVM得到行人侦测结果后，对侦测点进行特征点转换，然后对特征点进行实时跟踪。此方法能在背景移动且复杂的情况下，侦测出行人并进行实时跟踪。
为达到上述目的，本发明采用如下技术方案：
一种基于KLT特征点跟踪算法的行人跟踪方法，包括以下步骤：
步骤一、建立样本库：收集用于训练SVM分类器的图像正负样本库；
步骤二、提取特征：利用HOG方向梯度算法对已建立的图像正负样本库进行批量特征提取，从而建立行人特征正负样本库；
步骤三、训练分类器：用已建立的行人特征正负样本库对SVM分类器进行有监督训练；
步骤四、获取视频：链接摄像头获取视频信息或选取真实拍摄视频信息；
步骤五、视频中行人检测：使用基于HOG和SVM的行人检测方法对视频序列进行行人检测；
步骤六、视频中行人跟踪：使用基于KLT特征点跟踪的算法对步骤五检测到的行人结果进行跟踪。
对比现有技术，本发明具有如下突出的实质性特点和显著的优点：
本发明方法利用HOG和SVM相结合的经典行人侦测算法进行侦测，优点在于此算法对于行人的姿态有一定容忍度，提高侦测正确率；利用KLT特征点跟踪算法对侦测结果进行跟踪，此方法弥补了因HOG和SVM计算复杂度高，侦测速度慢的缺点，能在视频中对侦测结果进行实时的跟踪。
附图说明
图1为本发明行人侦测的流程图。
图2为说明侦测窗口，块，细胞的包含关系图。
图3为本发明的HOG特征图例。
图4为本发明用于训练SVM分类器的正负特征样本。
图5为本发明的完整的侦测与跟踪的流程图。
图6为本发明的侦测结果与特征点转换的结果图。
图7为本发明的单目标跟踪结果图。
图8为本发明的多目标跟踪结果图。
具体实施方式
以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例和配图仅用 于说明和解释本发明，并不用于限定本发明。
为了更好地理解本发明的技术方案，下面结合附图对本发明做更详细的描述。
一种基于KLT特征点跟踪算法的行人跟踪方法，包括以下步骤：
步骤一、建立样本库：收集用于训练SVM分类器的图像正负样本库；
图像正负样本库具有以下特征：
A.正样本库中包含的图像由单个行人及背景组成；
B.负样本库中包含的图像没有任何行人；
C.正负样本库中包含的图像尺寸为8像素的倍数并且图像大小一致；
步骤二、提取特征：利用HOG方向梯度算法对已建立的图像正负样本库进行批量特征提取，从而建立行人特征正负样本库；
A.处理图像：将彩色图像处理为灰度图像，并进行归一化处理；
B.计算梯度：计算得到的灰度图像的梯度，包括大小和方向；
C.侦测窗口：产生侦测窗口，对整个图像进行划分，在图2中是到侦测窗口、块、细胞与像素之间的包含关系；
D.划分侦测窗口：侦测窗口需要被划分为相同大小的块，每一个块被划分为相同大小的细胞，细胞里面包含相同个数的像素；
E.计算特征向量：收集所有块中的特征描述子串联起来就是得到了图像的特征向量，在图3中是计算处理后的人形的HOG特征图结果；
F.建立样本库：对图像用以上步骤进行批量处理，建立正负行人特征样本库，在图4中是具体的HOG特征的正负样本图。
步骤三、训练分类器：用已建立的行人特征正负样本库对SVM分类器进行有监督训练。
在训练以前，要对行人特征正负样本库进行预处理，给正负样本标记样本标签；将正负样本库和正负样本标签都输入到SVM分类器中进行训练；最后，得到一个行人分类器。以上三个步骤为完整的图像中行人检测过程，其中训练分类器非常耗时，并且正负样本的图片数量决定了最后的侦测准确度。
步骤四、获取视频：链接摄像头获取视频信息或选取真实拍摄视频信息。
配置好输入视频图像的摄像头，或者选取适合的拍摄好的视频图像；需要注意的是视频中行人的像素大小和所训练的行人分类器的大小，视频中行人像素大小需在行人分类器大小的一定的范围内。
步骤五、视频中行人检测：使用基于HOG和SVM的行人检测方法对视频序列进行行人 检测，在图1中是一个完整的行人侦测流程图；
A.提取图片：在视频中提取图片序列；
B.侦测窗口：计算扫描窗口的HOG特征；
C.判断行人：利用SVM分类器，判断窗口中是否存在行人；
步骤六、视频中行人跟踪：使用基于KLT特征点跟踪的算法对步骤五检测到的行人进行跟踪，在图5中是在得到侦测结果后，进行结果追踪的流程图；
A、将上一步检测到的结果进行特征点的转换，在图6中为得到侦测结果后，将结果转
换为特征点的结果图；
a)对侦测结果进行提取，图片处理切割为行人大小的矩形图I；
b)得到需要转换特征点的图片后，把图片处理为灰度图片；
c)计算图I中每个像素点的空间梯度矩阵G和其最小特征值λm，其中空间梯度矩阵为
d)在整个图片中选取特征值λm中的最大值λmax；
e)只留下在图片像素中比临界值大的特征值λm；
f)只留下区域中最大的像素点(保留的像素点是在3x3的像素范围内具有最大的特征值λm的像素点)；
g)保留这些像素点的子集(任何两个像素点之间的距离都大于设定的临界距离)B、视频中侦测到行人后的每一帧都只利用KLT算法进行特征点追踪；
追踪特征点就是在图片序列中的某图I上的点u，并在图I上找到点u的位置，并不断重复在两张图片之间同一个点的位置计算。设点u＝[ux uy]T，而图I上的u'＝u+d＝[ux+dxuy+dy]，d＝[dx dy]T就是需要知道的移动距离，而可以通过定义移动距离d为 计算出这个公式，可得到移动距离d，而KLT算法就是用于解决如何计算出移动距离d的方法。
在完成上述六个步骤之后，就能在视频中侦测出人形后进行实时的行人追踪，在图7中为单目标的特征点追踪，图8中为多目标的特征点追踪。单目标与多目标的视频大小不同，背景复杂度也不同，可以明显的得到，追踪速度与视频大小成反比，与背景复杂度成正比。

Claims (1)

1.一种基于KLT特征点跟踪算法的行人跟踪方法，其特征在于，包括以下步骤：
步骤一、建立样本库：收集用于训练SVM分类器的图像正负样本库；
步骤二、提取特征：利用HOG方向梯度算法对已建立的图像正负样本库进行批量特征提取，从而建立行人特征正负样本库；
步骤三、训练分类器：用已建立的行人特征正负样本库对SVM分类器进行有监督训练；
步骤四、获取视频：链接摄像头获取视频信息或选取真实拍摄视频信息；
步骤五、视频中行人检测：使用基于HOG和SVM的行人检测方法对视频序列进行行人检测；
步骤六、视频中行人跟踪：使用基于KLT特征点跟踪的算法对步骤五检测到的行人进行跟踪。
CN201610205854.2A 2016-04-02 2016-04-02 基于klt特征点跟踪算法的行人跟踪方法 Pending CN107292908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610205854.2A CN107292908A (zh) 2016-04-02 2016-04-02 基于klt特征点跟踪算法的行人跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610205854.2A CN107292908A (zh) 2016-04-02 2016-04-02 基于klt特征点跟踪算法的行人跟踪方法

Publications (1)

Publication Number Publication Date
CN107292908A true CN107292908A (zh) 2017-10-24

Family

ID=60092832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610205854.2A Pending CN107292908A (zh) 2016-04-02 2016-04-02 基于klt特征点跟踪算法的行人跟踪方法

Country Status (1)

Country Link
CN (1) CN107292908A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503632A (zh) * 2016-10-10 2017-03-15 南京理工大学 一种基于视频分析的自动扶梯智能安全监测方法
CN106778570A (zh) * 2016-12-05 2017-05-31 清华大学深圳研究生院 一种行人实时检测与跟踪方法
CN109685060A (zh) * 2018-11-09 2019-04-26 科大讯飞股份有限公司 图像处理方法和装置
CN109862263A (zh) * 2019-01-25 2019-06-07 桂林长海发展有限责任公司 一种基于图像多维特征识别的移动目标自动跟踪方法
CN114359817A (zh) * 2022-01-14 2022-04-15 重庆泓宝科技股份有限公司 基于出入口人行识别的人流量测量方法
US11348338B2 (en) 2020-11-04 2022-05-31 Huawei Technologies Co., Ltd. Methods and systems for crowd motion summarization via tracklet based human localization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436590A (zh) * 2011-11-04 2012-05-02 康佳集团股份有限公司 一种基于在线学习的实时跟踪方法及跟踪系统
CN103699908A (zh) * 2014-01-14 2014-04-02 上海交通大学 基于联合推理的视频多目标跟踪方法
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436590A (zh) * 2011-11-04 2012-05-02 康佳集团股份有限公司 一种基于在线学习的实时跟踪方法及跟踪系统
CN103699908A (zh) * 2014-01-14 2014-04-02 上海交通大学 基于联合推理的视频多目标跟踪方法
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何鹏 等: "实时人数计数系统", 《中国图象图形学报》 *
陈慧岩: "《无人驾驶汽车概论》", 31 July 2014, 北京理工大学出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503632A (zh) * 2016-10-10 2017-03-15 南京理工大学 一种基于视频分析的自动扶梯智能安全监测方法
CN106778570A (zh) * 2016-12-05 2017-05-31 清华大学深圳研究生院 一种行人实时检测与跟踪方法
CN106778570B (zh) * 2016-12-05 2018-08-24 清华大学深圳研究生院 一种行人实时检测与跟踪方法
CN109685060A (zh) * 2018-11-09 2019-04-26 科大讯飞股份有限公司 图像处理方法和装置
CN109685060B (zh) * 2018-11-09 2021-02-05 安徽科大讯飞医疗信息技术有限公司 图像处理方法和装置
CN109862263A (zh) * 2019-01-25 2019-06-07 桂林长海发展有限责任公司 一种基于图像多维特征识别的移动目标自动跟踪方法
CN109862263B (zh) * 2019-01-25 2021-07-30 桂林长海发展有限责任公司 一种基于图像多维特征识别的移动目标自动跟踪方法
US11348338B2 (en) 2020-11-04 2022-05-31 Huawei Technologies Co., Ltd. Methods and systems for crowd motion summarization via tracklet based human localization
CN114359817A (zh) * 2022-01-14 2022-04-15 重庆泓宝科技股份有限公司 基于出入口人行识别的人流量测量方法

Similar Documents

Publication Publication Date Title
CN104601964B (zh) 非重叠视域跨摄像机室内行人目标跟踪方法及系统
CN109146911B (zh) 一种目标跟踪的方法及装置
Cao et al. Linear SVM classification using boosting HOG features for vehicle detection in low-altitude airborne videos
CN102999918B (zh) 全景视频序列图像的多目标对象跟踪系统
CN104992453B (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN107292908A (zh) 基于klt特征点跟踪算法的行人跟踪方法
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
CN102663411B (zh) 一种目标人体识别方法
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN104899559B (zh) 一种基于视频监控的快速行人检测方法
CN102521616A (zh) 基于稀疏表示的行人检测方法
CN111028263B (zh) 一种基于光流颜色聚类的运动物体分割方法及其系统
CN108416780A (zh) 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法
Nandhini et al. SIFT algorithm-based Object detection and tracking in the video image
WO2023159898A1 (zh) 一种动作识别系统、方法、装置及模型训练方法、装置、计算机设备及计算机可读存储介质
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Saif et al. Real time vision based object detection from UAV aerial images: a conceptual framework
Zhu et al. Long-distanceinfrared video pedestrian detection using deep learning and backgroundsubtraction
Varga et al. Pedestrian detection in surveillance videos based on CS-LBP feature
CN109726621B (zh) 行人检测方法、装置及设备
Yang et al. Edge-based moving object tracking algorithm for an embedded system
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN117523521A (zh) 一种基于Haar特征和改进HOG特征的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024