CN105046222B - 一种基于fpga的人脸检测与跟踪方法 - Google Patents
一种基于fpga的人脸检测与跟踪方法 Download PDFInfo
- Publication number
- CN105046222B CN105046222B CN201510408497.5A CN201510408497A CN105046222B CN 105046222 B CN105046222 B CN 105046222B CN 201510408497 A CN201510408497 A CN 201510408497A CN 105046222 B CN105046222 B CN 105046222B
- Authority
- CN
- China
- Prior art keywords
- pixel
- skin
- fpga
- face
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract 5
- 238000000034 method Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims 2
- 238000006073 displacement reaction Methods 0.000 claims 1
- 230000014759 maintenance of location Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于FPGA的人脸检测与跟踪方法，首先采集视频，接着进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像，再进行空间滤波，确定肤色像素，然后进行时间滤波，得到当前帧的像素的平均值，进一步确定肤色像素，接着过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果，最后采用VGA实时显示。本发明克服了现有人脸检测的成本以及检测与跟踪的实时性问题，算法较简单，而准确性、速度和实时性都较高，系统成本较低。
Description
技术领域
本发明涉及图像处理技术领域，特别是一种基于FPGA的人脸检测与跟踪方法。
背景技术
目前，人脸的检测方法的检测对象是静态图像，而无法准确地检测并跟踪视频序列中的人脸。有的人脸检测，如果背景图像较复杂，要从其它物体中区分出人脸较困难；有的在不同的光照条件下的检测结果受很大的影响；有的在人脸被遮挡三分之一以上就难以检测出来。现有人脸检测的处理系统不像FPGA是并行处理的，因此检测和跟踪的实时性受限。
发明内容
有鉴于此，本发明的目的是提出一种基于FPGA的人脸检测与跟踪方法，克服了现有人脸检测的成本以及检测与跟踪的实时性问题。
本发明采用以下方案实现：一种基于FPGA的人脸检测与跟踪方法，具体包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素的平均值；
步骤S5：过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示。
进一步的，所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
进一步的，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
进一步的，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
进一步的，所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，进而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式改写为利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤。
较佳地，由于人的手也是肤色，利用肤色分割进行人脸检测时，需滤除人手的干扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧图像的肤色连通区域，滤除面积小于已检测出的最大肤色连通区域面积的26％的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
进一步的，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
与现有技术相比，本发明采用FPGA设备来实现人脸检测的功能，肤色阈值检测可以减小每帧图像的搜索区域；空间滤波和时间滤波提高了人脸检测并跟踪的准确性；FPGA的数据处理都是并行的。因此本发明提出的人脸检测和跟踪的算法较简单，而准确性、速度和实时性都较高，系统成本较低。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种基于FPGA的人脸检测与跟踪方法，具体包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素的平均值；
步骤S5：过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示。
在本实施例中，所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
在本实施例中，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
在本实施例中，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
在本实施例中，所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，进而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式改写为利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤。
较佳地，在本实施例中，由于人的手也是肤色，利用肤色分割进行人脸检测时，需滤除人手的干扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧图像的肤色连通区域，滤除小于上述已检测出的最大肤色连通区域26％的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
在本实施例中，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (7)
1.一种基于FPGA的人脸检测与跟踪方法，其特征在于包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素值；
步骤S5：过滤非人脸肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示；
所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素点的像素值，如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤，进而得到多个肤色连通区域。
2.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
3.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
4.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
5.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述公式还可以写为利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。
6.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S5具体为：比较步骤S4处理后的每一帧图像的各个肤色连通区域，滤除面积小于已检测出的最大肤色连通区域面积的26％的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
7.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510408497.5A CN105046222B (zh) | 2015-07-14 | 2015-07-14 | 一种基于fpga的人脸检测与跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510408497.5A CN105046222B (zh) | 2015-07-14 | 2015-07-14 | 一种基于fpga的人脸检测与跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105046222A CN105046222A (zh) | 2015-11-11 |
| CN105046222B true CN105046222B (zh) | 2018-05-04 |
Family
ID=54452751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510408497.5A Active CN105046222B (zh) | 2015-07-14 | 2015-07-14 | 一种基于fpga的人脸检测与跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105046222B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650691A (zh) * | 2016-12-30 | 2017-05-10 | 北京旷视科技有限公司 | 图像处理方法和图像处理设备 |
| CN106934354B (zh) * | 2017-02-28 | 2020-08-07 | 厦门瑞为信息技术有限公司 | 一种fpga实现人脸检测的方法 |
| CN107704829B (zh) * | 2017-10-09 | 2019-12-03 | 武汉斗鱼网络科技有限公司 | 一种人脸关键点追踪方法及应用和装置 |
| CN109993083A (zh) * | 2019-03-20 | 2019-07-09 | 吉林大学 | 一种夜间车辆识别的方法 |
| CN112132068A (zh) * | 2020-09-27 | 2020-12-25 | 深圳市梦网视讯有限公司 | 一种基于视频动态信息的年龄分析方法、系统和设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1428694A (zh) * | 2001-12-29 | 2003-07-09 | 成都银晨网讯科技有限公司 | 基于dsp的嵌入式人脸自动检测装置和方法 |
| CN104463125A (zh) * | 2014-12-11 | 2015-03-25 | 哈尔滨工程大学 | 基于dsp的人脸自动检测跟踪装置及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9268993B2 (en) * | 2013-03-13 | 2016-02-23 | Futurewei Technologies, Inc. | Real-time face detection using combinations of local and global features |
-
2015
- 2015-07-14 CN CN201510408497.5A patent/CN105046222B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1428694A (zh) * | 2001-12-29 | 2003-07-09 | 成都银晨网讯科技有限公司 | 基于dsp的嵌入式人脸自动检测装置和方法 |
| CN104463125A (zh) * | 2014-12-11 | 2015-03-25 | 哈尔滨工程大学 | 基于dsp的人脸自动检测跟踪装置及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105046222A (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105046222B (zh) | 一种基于fpga的人脸检测与跟踪方法 | |
| WO2018176938A1 (zh) | 红外光斑中心点提取方法、装置和电子设备 | |
| CN102722706B (zh) | 基于粒子滤波的红外弱小目标检测与跟踪方法及装置 | |
| CN106530271B (zh) | 一种红外图像显著性检测方法 | |
| WO2017120796A1 (zh) | 路面病害的检测方法及其装置、电子设备 | |
| CN103077521A (zh) | 一种用于视频监控的感兴趣区域提取方法 | |
| CN104268853A (zh) | 一种红外图像与可见光图像配准方法 | |
| CN104978733B (zh) | 烟雾检测方法以及装置 | |
| CN105046882B (zh) | 摔倒检测方法以及装置 | |
| CN102982537A (zh) | 一种检测场景变换的方法和系统 | |
| WO2022179251A1 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN106550221A (zh) | 监视摄像装置及其使用的区域式移动侦测方法 | |
| CN104567865B (zh) | 一种星敏感器空间粒子干扰条件下的姿态捕获方法 | |
| CN105678737A (zh) | 一种基于Radon变换的数字图像角点检测方法 | |
| Xu et al. | Denoising for dynamic vision sensor based on augmented spatiotemporal correlation | |
| CN106651923A (zh) | 一种视频图像目标检测与分割方法及系统 | |
| CN104715470B (zh) | 一种klt角点检测装置及方法 | |
| CN102663781A (zh) | 一种基于视觉的亚像素级焊缝中心提取方法 | |
| CN101807297B (zh) | 医学超声图像直线检测方法 | |
| CN112070736A (zh) | 一种结合目标检测和深度计算的物体体积视觉测量方法 | |
| CN115442544A (zh) | 基于热像素和增强时空相关性的动态视觉事件流降噪方法 | |
| CN107977983A (zh) | 一种基于改进型ViBe的鬼影和静止目标抑制方法 | |
| CN118096584B (zh) | 基于上下文感知和多尺度扩散网络的超声图像增强方法 | |
| CN107967684A (zh) | 非接触式睡眠呼吸检测方法和装置 | |
| TWI381735B (zh) | 影像監視設備之影像處理系統及其影像解析自動調適之方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |