CN106951831B - 一种基于深度摄像机的行人检测跟踪方法 - Google Patents
一种基于深度摄像机的行人检测跟踪方法 Download PDFInfo
- Publication number
- CN106951831B CN106951831B CN201710112261.6A CN201710112261A CN106951831B CN 106951831 B CN106951831 B CN 106951831B CN 201710112261 A CN201710112261 A CN 201710112261A CN 106951831 B CN106951831 B CN 106951831B
- Authority
- CN
- China
- Prior art keywords
- image
- pedestrian
- tracking
- entering
- ist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000002776 aggregation Effects 0.000 claims abstract description 5
- 238000004220 aggregation Methods 0.000 claims abstract description 5
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 108091026890 Coding region Proteins 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度摄像机的行人检测跟踪方法，其特征在于，包括步骤：步骤101：读取视频流的一帧图像，判断是否为行人检测帧，如果是进入步骤102，否则进入步骤107；步骤102：使用聚合通道特征法做行人检测；步骤103：深度图像去噪声；步骤104：修正行人位置；步骤105：去除误检测；步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性；步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能被SKIP整除，进入步骤102，开始进行行人检测。
Description
技术领域
本发明涉及一种基于深度摄像机的行人检测跟踪算法，特别涉及应用于安防系统视频监控中行人的检测跟踪方法。
背景技术
随着深度摄像机的普及，能够实时的同步获取稳定的彩色图像和深度图像已经成为现实。行人检测是计算机领域的一个重要分支，也是智能监控系统的主体，基于深度摄像机的行人检测跟踪方法越来越成为人们的研究重点。目前已经存在很多优秀的行人检测算法，但大都存在一些不足，主要体现在：行人位置不准确，检测得到的行人框有时偏大，有时偏小；存在一定的误检测，不是行人的区域被误判为行人；行人位置不稳定，往往是由检测器造成的；运行速度慢，不能满足实时性的要求。
为了克服以上技术不足，本发明提出了一种基于深度摄像机RGB-D图像的行人检测跟踪。
发明内容
本发明的目的在于提供了一种基于深度摄像机的行人检测跟踪方法，其特征在于，包括步骤：
步骤101：读取视频流的一帧图像，并对图像的帧计数，计数为fN，每读取一帧fN加1，并判断fN能否被常量整除，如果能整除则进入步骤102，否则进入步骤107；
步骤102：使用聚合通道特征法做行人检测，其中选取YUV颜色通道+梯度幅值通道+梯度方向通道组合成聚合通道特征；检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数，PR[n]表示检测结果的第n个行人的矩形位置，然后进入步骤103；
步骤103：深度图像去噪声，先对RGB_D的D通道进行腐蚀操作，腐蚀半径为r，然后在进行膨胀操作，膨胀半径也为r，此操作可去除半径小于或等于r的噪声，并且对非噪声区域造成最少的影响，以便于更好的从深度图像中提取出行人的轮廓,然后进入步骤104；
步骤104：修正行人位置，在RGB_D的D通道找到PR[n]对应的位置，然后使用canny算子找到图像的边缘，也就是行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect，BRect即为修正后行人的位置，然后用BRect替换PR[n]，进入步骤105；
步骤105：去除误检测，在深度图像中，PR[n]默认为行人的位置，找到PR[n]的中心点center，然后以center作为漫水填充的种子点，一直向四周填充，填充的条件是相邻像素之间的深度值之差应当不低于阈值Ther_d；漫水区域的面积为m_area，计算m_area与PR[n]的面积比值，如果比值过大，或者过小则判定位置PR[n]为误检测，然后将其删除，进入步骤106；
步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性；
步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能否被所述常量整除，进入步骤102，开始进行行人检测。
优选地，步骤107的具体方法为：
步骤201：对于跟踪目标T_List[n]，以其中心为原点，将原矩形放大到原来的2倍，结果产生矩形p_rect，进入步骤202；
步骤202：提取跟踪目标T_List[n]的“指纹”f_phash，然后进入步骤203；
步骤203：以p_rect的左上角为起点，以T_List[n]的大小为大小，每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10，得到矩形的提取指纹，并找到指纹相似度最大的矩形s_rect，然后进入步骤204；
步骤204：s_rect即为跟踪结果，用p_rect更新T_List[n]。
优选地，提取步骤202中“指纹”的具体方法为：
步骤301：缩小图像尺寸，将原始图像缩放到32*32；
步骤302：简化色彩，如果是RGB图像，则将其转化为灰度图像；
步骤303：对图像进行DCT变换；
步骤304：缩小DCT图像，只保留左上角8*8的矩阵；
步骤305：计算8*8DCT图像的像素平均值；
步骤306：对于8*8DCT图像每个点的，如果像素值大于像素平均值，则将像素值大于像素平均值的像素点编码为1，否则编码为0；最终生成的编码序列即为图像的指纹。
本发明能适用于深度摄像机，行人检测的位置准确稳定，跟踪平稳，误检测少，且运行速度快，完全可以满足实时性要求。
应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：
图1示出了根据本发明的基于深度摄像机的行人检测跟踪方法的流程图；
图2示出了根据本发明的目标跟踪方法流程图；
图3示出了根据本发明的生成指纹方法流程图。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述。
图1示出了根据本发明的基于深度摄像机的行人检测跟踪方法的流程图；
步骤101：读取视频流的一帧图像，并对图像的帧计数，计数为fN，每读取一帧fN加1，并判断fN能否被常量，即SKIP整除，如果能整除则进入步骤102，否则进入步骤107。
步骤102：本发明使用聚合通道特征法做行人检测，其中选取YUV颜色通道+梯度幅值通道+梯度方向通道组合成聚合通道特征。检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数，PR[n]表示检测结果的第n个行人的矩形位置。然后进入步骤103。
步骤103：深度图像去噪声，先对RGB_D的D通道进行腐蚀操作，腐蚀半径为r，然后在进行膨胀操作，膨胀半径也为r，此操作可去除半径小于或等于r的噪声，并且对非噪声区域造成最少的影响，以便于更好的从深度图像中提取出行人的轮廓,然后进入步骤104。
步骤104：修正行人位置，在RGB_D的D通道找到PR[n]对应的位置，然后使用canny算子找到图像的边缘，也就是行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect，BRect即为修正后行人的位置，然后用BRect替换PR[n]，进入步骤105。
步骤105：去除误检测，漫水填充非常适用于深度图(RGB_D的D通道)，可充分利用深度图的最大的特征：内部连续。在深度图像中，PR[n]默认为行人的位置，找到PR[n]的中心点center，然后以center作为漫水填充的种子点，一直向四周填充，填充的条件是相邻像素之间的深度值之差应当不低于阈值Ther_d。漫水区域的面积为m_area，计算m_area与PR[n]的面积比值，如果比值过大，或者过小则判定位置PR[n]为误检测，然后将其删除，进入步骤106。
步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性。
令T_List[n]为跟踪列表，PR[n]逐个比对T_List[n]，如果PR[n]与T_List[n]的重合度达到80％，则进行相似度比对，否则把PR[n]直接加入到跟踪列表T_List[n]，作为新的跟踪目标。
对于重合度达到80％的目标，先将图像的RGB通道进行灰度化处理，生成单通道的灰度图像m_gray。从m_gray中扣取出跟踪图像列表Tm_list[n]。同时从m_gray中扣取出行人检测的结果PRm[n]。并且将Tm_list[n]和PRm[n]缩放到同一大小(m_w*m_h)。
将PRm[n]在点(x,y)及其存在的周围(x-1,y-1),(x-1,y),(x-1,y+1)，(x,y-1)，(x,y+1)，(x+1,y-1)，(x+1,y)，(x+1,y+1)的像素值，与Tm_list[i]在点(x,y)及存在的周围的像素值做差，如果其中的至少有一处的差值小于20，则记点(x,y)为相似点。依次计算点(x，y+1)…直到整幅图像遍历结束，得出PRm[n]与Tm_list[i]相似点最多的i，相似点个数为S[i]，如果S[i]小于相似度匹配阈值，则把PR[n]加入到跟踪列表。否则记为PRm[n]与Tm_list[i]为同一目标。
步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能否被SKIP整除，进入步骤102，开始进行行人检测。其详细步骤如图2，后面会有详细的描述。
图2示出了根据本发明的目标跟踪方法流程图；
步骤201：对于跟踪目标T_List[n]，以其中心为原点，将原矩形放大到原来的2倍，结果产生矩形p_rect。进入步骤202。
步骤202：提取跟踪目标T_List[n]的“指纹”f_phash，“指纹”的详细提取步骤如图3，后面会有详细的描述。然后进入步骤203。
步骤203：以p_rect的左上角为起点，以T_List[n]的大小为大小，每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10，得到的矩形提取指纹，并找到指纹相似度最大的矩形s_rect，然后进入步骤204。
步骤204：s_rect即为跟踪结果，用p_rect更新T_List[n]。
图3示出了根据本发明的生成指纹方法流程图。
步骤301：缩小图像尺寸，将原始图像缩放到32*32。
步骤302：简化色彩，如果是RGB图像，则将其转化为灰度图像。
步骤303：对图像进行DCT变换。
步骤304：缩小DCT图像，只保留左上角8*8的矩阵。
步骤305：计算8*8DCT图像的像素平均值。
步骤306：对于8*8DCT图像每个点的，如果像素值大于像素平均值，则此像素点编码为1，否则编码为0。最终生成的编码序列即为图像的指纹。
本专利能适用于深度摄像机，行人检测的位置准确稳定，跟踪平稳，误检测少，且运行速度快，完全可以满足实时性要求。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。
Claims (3)
1.一种基于深度摄像机的行人检测跟踪方法，其特征在于，包括步骤：
步骤101：读取视频流的一帧图像，并对图像的帧计数，计数为fN，每读取一帧fN加1，并判断fN能否被常量整除，如果能整除则进入步骤102，否则进入步骤107；
步骤102：使用聚合通道特征法做行人检测，其中选取YUV颜色通道、梯度幅值通道、梯度方向通道，组合成聚合通道特征；检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数，PR[n]表示检测结果的第n个行人的矩形位置，然后进入步骤103；
步骤103：深度图像去噪声，先对RGB_D的D通道进行腐蚀操作，腐蚀半径为r，然后在进行膨胀操作，膨胀半径也为r，然后进入步骤104；
步骤104：修正行人位置，在RGB_D的D通道找到PR[n]对应的位置，然后使用canny算子找到图像的边缘，即行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect，BRect即为修正后行人的位置，然后用BRect替换PR[n]，进入步骤105；
步骤105：去除误检测：在深度图像中，PR[n]默认为行人的位置，找到PR[n]的中心点center，然后以center作为漫水填充的种子点，一直向四周填充，填充的条件是相邻像素之间的深度值之差不低于阈值Ther_d；漫水区域的面积为m_area，计算m_area与PR[n]的面积比值，根据m_area与PR[n]的面积比值，判定位置PR[n]为误检测，然后将其删除，进入步骤106；
步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性；
步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能被所述常量整除，进入步骤102，开始进行行人检测，其中，T_List[n]为跟踪列表。
2.根据权利要求1所述的方法，其特征在于：步骤107的具体方法为：
步骤201：对于跟踪目标T_List[n]，以其中心为原点，将原矩形放大到原来的2倍，结果产生矩形p_rect，进入步骤202；
步骤202：提取跟踪目标T_List[n]的指纹f_phash，然后进入步骤203；
步骤203：以p_rect的左上角为起点，以T_List[n]的大小为大小，每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10，得到矩形的提取指纹，并找到指纹相似度最大的矩形s_rect，然后进入步骤204；
步骤204：s_rect即为跟踪结果，用p_rect更新T_List[n]。
3.根据权利要求2所述的方法，其特征在于：提取步骤202中指纹的具体方法为：
步骤301：缩小图像尺寸，将原始图像缩放到32*32；
步骤302：简化色彩，如果是RGB图像，则将其转化为灰度图像；
步骤303：对图像进行DCT变换；
步骤304：缩小DCT图像，只保留左上角8*8的矩阵；
步骤305：计算8*8DCT图像的像素平均值；
步骤306：对于8*8DCT图像的每个点，如果像素值大于像素平均值，则将像素值大于像素平均值的像素点编码为1，否则编码为0；最终生成的编码序列即为图像的指纹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710112261.6A CN106951831B (zh) | 2017-02-28 | 2017-02-28 | 一种基于深度摄像机的行人检测跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710112261.6A CN106951831B (zh) | 2017-02-28 | 2017-02-28 | 一种基于深度摄像机的行人检测跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106951831A CN106951831A (zh) | 2017-07-14 |
| CN106951831B true CN106951831B (zh) | 2020-07-31 |
Family
ID=59468049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710112261.6A Active CN106951831B (zh) | 2017-02-28 | 2017-02-28 | 一种基于深度摄像机的行人检测跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106951831B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107452012B (zh) * | 2017-07-28 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种行人识别方法、装置和电子设备 |
| CN109389116B (zh) * | 2017-08-14 | 2022-02-08 | 阿里巴巴（中国）有限公司 | 一种字符检测方法及装置 |
| CN114202769B (zh) * | 2021-11-03 | 2025-01-21 | 天津理工大学 | 一种基于图像曲线化调整和颜色重分布的数据增强方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006099597A3 (en) * | 2005-03-17 | 2007-11-01 | Honda Motor Co Ltd | Pose estimation based on critical point analysis |
| CN103093211A (zh) * | 2013-01-27 | 2013-05-08 | 西安电子科技大学 | 基于深度核信息图像特征的人体运动跟踪方法 |
-
2017
- 2017-02-28 CN CN201710112261.6A patent/CN106951831B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006099597A3 (en) * | 2005-03-17 | 2007-11-01 | Honda Motor Co Ltd | Pose estimation based on critical point analysis |
| CN103093211A (zh) * | 2013-01-27 | 2013-05-08 | 西安电子科技大学 | 基于深度核信息图像特征的人体运动跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 采用Kinect的移动机器人目标跟踪;张雪华;《智能系统学报》;20140228;第9卷(第1期);34-39 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106951831A (zh) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022027931A1 (zh) | 基于视频图像的运动车辆前景检测方法 | |
| Kaur et al. | An efficient approach for number plate extraction from vehicles image under image processing | |
| KR102085035B1 (ko) | 객체 인식을 위한 객체 후보영역 설정방법 및 장치 | |
| CN109033972A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN104392468A (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
| CN104835147A (zh) | 基于三维深度图数据的密集人流量实时检测方法 | |
| CN103955949A (zh) | 基于Mean-shift算法的运动目标检测方法 | |
| CN102457724B (zh) | 一种图像运动检测系统及方法 | |
| Rabiu | Vehicle detection and classification for cluttered urban intersection | |
| CN106951831B (zh) | 一种基于深度摄像机的行人检测跟踪方法 | |
| CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| CN111583341B (zh) | 云台像机移位检测方法 | |
| Angelo | A novel approach on object detection and tracking using adaptive background subtraction method | |
| CN109165592B (zh) | 一种基于pico算法的实时可旋转的人脸检测方法 | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| CN107977608B (zh) | 一种应用于公路视频图像道路区域提取的方法 | |
| CN106446832B (zh) | 一种基于视频的实时检测行人的方法 | |
| KR101298937B1 (ko) | 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 | |
| CN113657264A (zh) | 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法 | |
| CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
| Gu et al. | Robust road lane detection using extremal-region enhancement | |
| CN104537690A (zh) | 一种基于最大值-时间索引联合的运动点目标检测方法 | |
| CN111563912B (zh) | 一种行人追踪系统和方法 | |
| Malavika et al. | Moving object detection and velocity estimation using MATLAB | |
| Yang et al. | A modified method of vehicle extraction based on background subtraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |