CN110781712B - 一种基于人脸检测与识别的人头空间定位方法 - Google Patents

Abstract

本发明公开了一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度；仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值。

Description

一种基于人脸检测与识别的人头空间定位方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于人脸检测与识别的人头空间定位方法。

背景技术

在计算机视觉领域里，对人头进行空间定位对于机器人、基于手机的智能APP、智能显示器支架等应用场合都是一个不可或缺的功能要求。这种定位通常需要采用双目摄像机、深度摄像机、激光/微波雷达等技术实现，这往往会带来系统硬件成本和计算复杂度的提升。

由于深度学习技术的突飞猛进，人脸检测、对齐与识别的精度和速度已逐渐达到了实用化的要求。但常规的人脸检测和对齐都是为了检测和分割人脸，识别则用于确定身份。但实际上人脸的很多信息我们都可以加以综合利用，比如五官的一些变化及微表情可以得到此人的当前状态信息，比如用于驾驶员的疲劳检测等。

发明内容

鉴于目前存在的上述不足，本发明提供一种XX，能够通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位。

为达到上述目的，本发明的实施例采用如下技术方案：

一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：

获取图像；

采用多层级联人脸检测方法对处理后的图像进行人脸检测；

基于自编码网络进行5个面部关键特征点精确定位；

基于关键特征点分析进行人脸倾斜角度估算；

进行人脸距离和方位的计算。

依照本发明的一个方面，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测。

依照本发明的一个方面，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括以下步骤：

肤色过滤，输出为只包含肤色部分的图像；

快速LAB特征检测，选出一部分可能包含人脸的候选框；

基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；

优化的基于特征点的多层感知机结构，最终确定出人脸位置。

依照本发明的一个方面，所述基于自编码网络进行5个面部关键特征点精确定位包括以下步骤：

输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S₀；

提高输入人脸图像的分辨率，并抽取当前人脸形状S₀各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果；

基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x₀,y₀)，右眼坐标(x₁,y₁)，鼻子坐标(x₂,y₂)。

依照本发明的一个方面，所述基于关键特征点分析进行人脸倾斜角度估算包括以下步骤：

人脸倾斜角度计算与校正，根据左右眼睛的坐标计算倾斜角度B：

求出B后，对特征点坐标绕原点进行B角度的旋转，

求出左右眼及鼻子的校正后坐标(x′₁,y′₁),(x′₂,y′₂),(x′₃,y′₃)；

人头旋转角度计算，经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度，首先记变量G为：

旋转角度A与G的关系为：

A＝(G-1)*20             (4)

依照本发明的一个方面，所述进行人脸距离和方位的计算包括以下步骤：

人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d₀，则实际双眼像素间距为：

d＝d₀/CosA              (5)

设人脸离屏幕的垂直距离为L，L和d的关系应为：

L＝K/d                 (6)

其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：

人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；

进行人脸方位的确定。

依照本发明的一个方面，所述基于人脸检测与识别的人头空间定位方法还包括以下步骤：基于卷积神经网络进行人脸的性别年龄识别。

依照本发明的一个方面，所述基于卷积神经网络进行人脸的性别年龄识别包括以下步骤：

将检测到的人脸图像归一化到48*48；

采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类；

采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。

依照本发明的一个方面，所述进行人脸距离和方位的计算包括以下步骤：

人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d₀，则实际双眼像素间距为：

d＝d₀/CosA              (5)

设人脸离屏幕的垂直距离为L，L和d的关系应为：

L＝K/d                 (6)

其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：

人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；

性别年龄对距离的修正，用二个系数K_g、K_a分别表示对男女、老少的校正系数，则式(7)的修正公式为：

其中K_g对于男女分别为1.01、0.99，K_a对于成年、儿童分别为1.02、0.98；

进行人脸方位的确定。

本发明实施的优点：本发明所述的基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度。由于本方法仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，并且具有一定的定位精度，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值；将普通的摄像头连接处理主机，通过基于计算机视觉的智能处理算法实现人脸检测、对齐和性别年龄识别，并据此得到人头的距离和方位。系统不仅不易受场景光线变化、阴影、透视效应及遮挡的影响，而且设备简单，能有效提高人头空间定位的精度和实时性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所述的一种基于人脸检测与识别的人头空间定位方法示意图；

图2为本发明实施例二所述的一种基于人脸检测与识别的人头空间定位方法示意图；

图3为本发明实施例所述的提取的特征点示意图；

图4为本发明实施例二所述的基于人脸检测与识别的人头空间定位方法实现流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1、图3所示，一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：

步骤S1：获取图像；

构建图像采集与处理硬件系统，将普通的摄像头连接处理主机，主机可以是PC或任何嵌入式设备，摄像头可以是主机自带或外接的摄像头；还可通过系统的摄像头进行图像采集，摄像或者拍照，所述摄像头可以是设置在手机上的摄像头，手机上预设有本方法实现的软件程序。

步骤S2：采用多层级联人脸检测方法对处理后的图像进行人脸检测；

所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：采用多层级联快速人脸检测方法对人脸进行精确检测，先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，从而达到加快人脸检测速度的目的。具体步骤如下：

(2-1)肤色过滤，输出为只包含肤色部分的图像；

(2-2)快速LAB特征检测，选出一部分可能包含人脸的候选框；

(2-3)基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；

(2-4)优化的基于特征点的多层感知机结构，最终确定出人脸位置。

步骤S3：基于自编码网络进行5个面部关键特征点精确定位；

基于自编码网络的5个面部关键特征点精确定位，采用由粗至细的自编码网络实现，具体步骤如下：

(3-1)输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S₀。

(3-2)提高输入人脸图像的分辨率，并抽取当前人脸形状S₀(相应提升分辨率)各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。

(3-3)基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x₀,y₀)，右眼坐标(x₁,y₁)，鼻子坐标(x₂,y₂)。

步骤S4：基于关键特征点分析进行人脸倾斜角度估算；

基于关键特征点分析的人脸倾斜角度估算，从5个特征点的坐标位置估算旋转角度，具体步骤如下：

(4-1)人脸倾斜角度计算与校正。根据左右眼睛的坐标计算倾斜角度B：

求出B后，对特征点坐标绕原点进行B角度的旋转，

求出左右眼及鼻子的校正后坐标(x′₁,y′₁),(x′₂,y′₂),(x′₃,y′₃)。

(4-2)人头旋转角度计算。经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度。首先记变量G为：

旋转角度A与G的关系为：

A＝(G-1)*20                (4)

步骤S5：进行人脸距离和方位的计算。

所述进行人脸距离和方位的计算包括以下步骤：

人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d₀，则实际双眼像素间距为：

d＝d₀/CosA              (5)

设人脸离屏幕的垂直距离为L，L和d的关系应为：

L＝K/d                 (6)

其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：

人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；

进行人脸方位的确定。因为鼻尖的特征点在人脸的正中间，所以，只要知道鼻尖的坐标值，即可确定人脸在摄像头前方的具体方位。

实施例二

如图2、图3和图4所示，一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：

步骤S1：获取图像；

构建图像采集与处理硬件系统，将普通的摄像头连接处理主机，主机可以是PC或任何嵌入式设备，摄像头可以是主机自带或外接的摄像头；还可通过系统的摄像头进行图像采集，摄像或者拍照，所述摄像头可以是设置在手机上的摄像头，手机上预设有本方法实现的软件程序。

步骤S2：采用多层级联人脸检测方法对处理后的图像进行人脸检测；

所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：采用多层级联快速人脸检测方法对人脸进行精确检测，先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，从而达到加快人脸检测速度的目的。具体步骤如下：

(2-1)肤色过滤，输出为只包含肤色部分的图像；

(2-2)快速LAB特征检测，选出一部分可能包含人脸的候选框；

(2-3)基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；

(2-4)优化的基于特征点的多层感知机结构，最终确定出人脸位置。

步骤S3：基于自编码网络进行5个面部关键特征点精确定位；

基于自编码网络的5个面部关键特征点精确定位，采用由粗至细的自编码网络实现，具体步骤如下：

(3-1)输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S₀。

(3-2)提高输入人脸图像的分辨率，并抽取当前人脸形状S₀(相应提升分辨率)各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。

(3-3)基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x₀,y₀)，右眼坐标(x₁,y₁)，鼻子坐标(x₂,y₂)。

步骤S4：基于卷积神经网络进行人脸的性别年龄识别；

基于卷积神经网络的性别年龄识别，采用DeepID卷积神经网络对人脸图像进行性别和年龄识别，具体步骤如下：

(4-1)将检测到的人脸图像归一化到48*48。

(4-2)采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类。

(4-3)采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。

步骤S5：基于关键特征点分析进行人脸倾斜角度估算；

基于关键特征点分析的人脸倾斜角度估算，从5个特征点的坐标位置估算旋转角度，具体步骤如下：

(5-1)人脸倾斜角度计算与校正。根据左右眼睛的坐标计算倾斜角度B：

求出B后，对特征点坐标绕原点进行B角度的旋转，

求出左右眼及鼻子的校正后坐标(x′₁,y′₁),(x′₂,y′₂),(x′₃,y′₃)。

(5-2)人头旋转角度计算。经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度。首先记变量G为：

旋转角度A与G的关系为：

A＝(G-1)*20                (4)

步骤S6：进行人脸距离和方位的计算。

人脸距离和方位估算，其特征在于从旋转角度和双眼像素间距计算人脸离屏幕垂直距离，并用性别年龄识别结果对距离进行修正。具体步骤如下：

(6-1)人脸离屏幕垂直距离的计算。首先通过欧氏距离公式计算图像中双眼间像素距离d₀，则实际双眼像素间距为：

d＝d₀/CosA                 (5)

设人脸离屏幕的垂直距离为L，L和d的关系应为

L＝K/d                    (6)

其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：

人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K。

(6-2)性别年龄对距离的修正。由于不同人的双眼实际间距并不完全相同，理论上这个K值与不同的人有关。但据文献统计，人体双眼间距统计上大致符合正态分布，平均值在6cm左右，95％以上的间距在6cm的正负10％以内，并且男、女、成年、儿童的人群平均值与总体平均值间有个基本固定的比例关系，我们用二个系数K_g、K_a分别表示对男女、老少的校正系数，则式(7)的修正公式为：

其中K_g对于男女分别为1.01、0.99，K_a对于成年、儿童分别为1.02、0.98。

(6-3)人脸方位确定。因为鼻尖的特征点在人脸的正中间，所以，只要知道鼻尖的坐标值，即可确定人脸在摄像头前方的具体方位。

本发明实施的优点：本发明所述的基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度。由于本方法仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，并且具有一定的定位精度，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，其特征在于，所述人头空间定位方法包括以下步骤：

获取图像；

采用多层级联人脸检测方法对处理后的图像进行人脸检测，包括先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，还包括以下步骤，肤色过滤，输出为只包含肤色部分的图像，快速LAB特征检测，选出一部分可能包含人脸的候选框，基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸，优化的基于特征点的多层感知机结构，最终确定出人脸位置；

基于自编码网络进行5个面部关键特征点精确定位；

基于关键特征点分析进行人脸倾斜角度估算，包括以下步骤，

人脸倾斜角度计算与校正，根据左右眼睛的坐标计算倾斜角度B：

求出B后，对特征点坐标绕原点进行B角度的旋转，

求出左右眼及鼻子的校正后坐标(x'₁,y'₁),(x'₂,y'₂),(x'₃,y'₃)；

人头旋转角度计算，经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度，首先记变量G为：

旋转角度A与G的关系为：

A＝(G-1)*20            (4)；

进行人脸距离和方位的计算，包括以下步骤，

人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d₀，则实际双眼像素间距为：

d＝d₀/CosA               (5)设人脸离屏幕的垂直距离为L，L和d的关系应为：

L＝K/d (6)

其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：

人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；

进行人脸方位的确定。

2.根据权利要求1所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于自编码网络进行5个面部关键特征点精确定位包括以下步骤：

输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S₀；

提高输入人脸图像的分辨率，并抽取当前人脸形状S₀各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果；

基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x₀,y₀)，右眼坐标(x₁,y₁)，鼻子坐标(x₂,y₂)。

3.根据权利要求1或2所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于人脸检测与识别的人头空间定位方法还包括以下步骤：基于卷积神经网络进行人脸的性别年龄识别。

4.根据权利要求3所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于卷积神经网络进行人脸的性别年龄识别包括以下步骤：

将检测到的人脸图像归一化到48*48；

采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类；

采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。

5.根据权利要求4所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述进行人脸距离和方位的计算包括以下步骤：

人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d₀，则实际双眼像素间距为：

d＝d₀/CosA                 (5)设人脸离屏幕的垂直距离为L，L和d的关系应为：

L＝K/d                 (6)

其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：

人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；

性别年龄对距离的修正，用二个系数K_g、K_a分别表示对男女、老少的校正系数，则式(7)的修正公式为：

其中K_g对于男女分别为1.01、0.99，K_a对于成年、儿童分别为1.02、0.98；

进行人脸方位的确定。

Images