CN104134058A - 一种人脸图像处理方法 - Google Patents

Abstract

本发明提供的人脸图像处理方法包括：接收其中包括同一人的脸的第一人脸图像和第二人脸图像，所述第一人脸图像包括第一人脸部分与第一背景部分，所述第二人脸图像包括第二人脸部分与第二背景部分；将所述第一人脸图像和所述第二人脸图像保存在图像数据库中；从所述第一人脸图像中提取第一人脸部分并且从所述第二人脸图像中提取第二人脸部分；分别提取所述第一人脸部分的第一人脸特征向量和所述第二人脸部分的第二人脸特征向量；根据所述第一人脸特征向量和所述第二人脸特征向量判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。有效促进了人脸识别和检测的针对性和准确性。

Description

一种人脸图像处理方法

技术领域

本发明涉及一种人脸识别方法，特别涉及一种人脸图像处理方法。

背景技术

从上个世纪六十年代以来，随着计算机和电子技术的迅猛发展，人们开始利用计算机视觉和模式识别等技术对人脸进行研究。近年来，随着相关技术的不断发展和实际需求的口益增加，自动人脸图像分析已经引起了越来越多的关注，新的研究成果和实用系统不断涌现。

然而现有的人脸图像处理方法大多基于单张人脸图像进行处理，使得后续的识别检测不准确并且没有针对性。虽然有些方法是基于多张人脸图像进行处理，但是都是基于正面人脸进行的处理，后续检测和识别时依然存在特征不足、检测不够准确等问题。另外，现有的人脸图像处理方法中，基于整个人脸图像进行特征提取和检测，但是这样的方法不可避免地带来噪音，即背景部分可能对特征提取产生影响，同时在特征提取过程也增加了复杂度。再有，虽然现有技术针对人脸图像的处理提出了多种可行的算法，但是各个算法都独立进行，

并没有充分发挥各自的优势。

针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。因此，本发明提出了一种人脸图像处理方法，毋庸置疑，本发明的人脸图像处理方法经过适当的修改同样适于识别其他图像。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种人脸图像处理方法。通过本发明的方法解决现有技术中存在的上述缺陷。一方面，通过处理多张人脸图像加强人脸识别和检测，尤其是通过处理同一人的侧面图像和正面图像，即通过采集同一人的侧面人脸特征和正面人脸特征进行人脸识别和检测，使得成功率更高。第二方面，通过通过首先分离人脸图像中的人脸部分和背景部分，然后仅针对人脸部分进行人脸识别和检测，使得特征提取更准确，并且简化了识别和检测算法。第三方面，通过结合Mean shift算法和k-means算法，尤其是基于Mean shift算法和k-means算法创新了从人脸图像中提取人脸部分的方法，使得经过本申请的人脸图像处理后，对人脸的检测成功率更高，对人脸的识别更准确。

所述方法包括：接收其中包括同一人的脸的第一人脸图像和第二人脸图像，所述第一人脸图像包括第一人脸部分与第一背景部分，所述第二人脸图像包括第二人脸部分与第二背景部分；将所述第一人脸图像和所述第二人脸图像保存在图像数据库中；从所述第一人脸图像中提取第一人脸部分并且从所述第二人脸图像中提取第二人脸部分；分别提取所述第一人脸部分的第一人脸特征向量和所述第二人脸部分的第二人脸特征向量；根据所述第一人脸特征向量和所述第二人脸特征向量判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。

优选地，所述第一人脸图像的人脸部分是人脸的侧面图像，所述第二人脸图像的人脸部分是人脸的正面图像。

优选地，所述从所述第一人脸图像中提取第一人脸部分并且从所述第二人脸图像中提取第二人脸部分包括：利用Mean shift算法对第一人脸图像进行划分得到多个第一子图像；利用Mean shift算法对第二人脸图像进行划分得到多个第二子图像；基于所述多个第一子图像将所述第一人脸图像划分为第一人脸部分和第一背景部分；基于所述多个第二子图像将所述第二人脸图像划分为第二人脸部分和第二背景部分。

优选地，，所述基于所述多个第一子图像将所述第一人脸图像划分为第一人脸部分和第一背景部分包括：提取所述多个第一子图像的多个第一特征向量；基于所述多个第一特征向量将所述第一人脸图像划分为第一人脸部分和第一背景部分。

优选地，所述基于所述多个第二子图像将所述第二人脸图像划分为第二人脸部分和第二背景部分包括：提取所述多个第二子图像的多个第二特征向量；基于所述多个第二特征向量将所述第二人脸图像划分为第二人脸部分和第二背景部分。

优选地，所述提取所述多个第一子图像的多个第一特征向量包括：提取所述多个第一子图像中的每一个的位置特征、颜色特征和纹理特征；采用扫描线算法确定所述多个第一子图像中的每一个的位置特征、颜色特征和纹理特征所占权重；基于所述多个第一子图像中的每一个的不同权重的位置特征、颜色特征和纹理特征生成多个第一特征向量。

优选地，所述提取所述多个第二子图像的多个第二特征向量包括：提取所述多个第二子图像中的每一个的位置特征、颜色特征和纹理特征；采用扫描线算法确定所述多个第二子图像中的每一个的位置特征、颜色特征和纹理特征所占权重；基于所述多个第二子图像中的每一个的不同权重的位置特征、颜色特征和纹理特征生成多个第二特征向量。

优选地，所述基于所述第一特征向量将所述第一人脸图像划分为第一人脸部分和第一背景部分包括：建立第一邻接图，所述第一邻接图中的多个顶点与所述多个第一特征向量具有一一映射关系；在所述第一邻接图上构建第一最小生成树并计算所述第一最小生成树中的任意两个顶点之间的距离；使用核密度估计算法估计所述第一最小生成树中的每个顶点的概率密度并形成第一概率密度空间；在第一概率密度空间中进行k-mean算法以分离所述第一人脸部分和所述第一背景部分。

优选地，所述基于所述多个第二子图像将所述第二人脸侧面图像划分为第二人脸部分和第二背景部分包括：建立第二邻接图，所述第二邻接图中的多个顶点与所述多个第二特征向量具有一一映射关系；在所述第二邻接图上构建第二最小生成树并计算所述第二最小生成树中的任意两个顶点之间的距离；使用核密度估计算法估计所述第二最小生成树中的每个顶点的概率密度并形成第二概率密度空间；在第二概率密度空间中进行k-mean算法以分离所述第二人脸部分和所述第二背景部分。

优选地，所述根据所述第一人脸特征向量和所述第二人脸特征向量判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸包括：由所述第一人脸特征向量和第二人脸特征向量构建人脸特征向量V；进行所述人脸特征向量V与原始人脸特征库中存储的原始人脸特征向量之间的距离测量以及相关度测量；根据所述距离测量和相关度测量的结果判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。

附图说明

图1是根据本发明实施例的人脸图像检测方法的流程图。

具体实施方式

多种方式可以用于实施本发明，包括实施为方法，过程，装置，系统及其结合。在本说明书中，这些实施或者本发明可以采用的任何其他形式可以称为技术。一般而言，可以在本发明的范围内变更公开的方法的步骤顺序。

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的目的在于提供一种人脸图像处理方法。在人脸图像处理方法中，首先要确定人脸图像，人脸图像可以是包含人脸面部图像和背景图像的图像，其中人脸面部图像可以是多个，即在人脸图像中包括多个人脸。人脸图像也可以是经过裁剪的人脸图像，如去除大部分背景图像而使得图像主体为人脸的人脸图像。另外，人脸图像可以是具有特定统一背景并且实时进行拍照的人脸图像。在本发明优选实施例中，接收包含有人脸正面图像的人脸图像以及包含有人脸侧面图像的人脸图像。

人脸图像识别包括图像处理、图像检测等重要技术，其中大部分处理都需要基于原始图像进行，因此保存原始图像是必要的。本发明中所接收的多个人脸图像保存在图像数据库中，也可以直接保存在存储器中，包括暂存在内存中，长期保存在硬盘中，或者直接保存在SD卡、闪存卡等小型快速存储器中。

本发明的人脸图像处理方法中，首先提出了从人脸图像中提取人脸部分的方法，具体地，利用Mean shift算法对人脸图像进行划分得到多个子图像。由于Mean shift算法在图像划分中具有广泛的应用，因此本发明首先利用Meanshift算法基于收敛点进行初步划分。接着，提取所述多个子图像中的每一个的位置特征、颜色特征和纹理特征。采用扫描线算法确定所述多个子图像中的每一个的位置特征、颜色特征和纹理特征所占权重。基于所述多个子图像中的每一个的不同权重的位置特征、颜色特征和纹理特征生成多个特征向量。进一步，建立邻接图，所述邻接图中的多个顶点与所述多个特征向量具有一一映射关系。在所述邻接图上构建最小生成树并计算所述最小生成树中的任意两个顶点之间的距离。使用核密度估计算法估计所述最小生成树中的每个顶点的概率密度并形成概率密度空间。在概率密度空间中进行k-means算法以分离所述人脸图像的人脸部分和背景部分。即利用k-means算法进行聚类最终将人脸图像划分为人脸部分和背景部分。

原始人脸图像样本库或样本库中保存有事先收集的原始人脸图像样本或实验人脸图像样本，并在样本库中存储有这些样本的表达，包括上述前述的人脸图像的特征点、所述特征点的特征值、以及所述人脸是谁的脸。所有在样本库中的人脸被认为是已注册的人脸。通过将所提取的人脸图像的特征点和/或特征值与样本库中所注册的人脸图像的特征点和/或特征值进行比对，确定待识别的人脸图像是谁的脸，即是否是已注册的人脸。其中上述比对可以是直接比对、向量比对、得分比对等等。并且上述比对可以是绝对相等的比对或在误差范围内的比对。以向量比对为例，计算特征值v₁，v₂，...，v_n，并以矢量V进行表示，比较矢量V与人脸库中的人脸模型矢量，分类器根据比较结果确定是否比对成功。具体地，进行矢量V与人脸库中的人脸模型矢量之间的距离测量以及相关度测量，并根据所述距离测量和相关度测量的结果确定是否比对成功。在本发明中，提出了根据人脸图像中的人脸部分提取人脸特征向量，并根据所述人脸特征向量判断人脸所属的方法。具体包括，由人脸特征向量构建人脸特征向量V，其中人脸特征向量V中包括从人脸侧面部分中提取的人脸特征向量V1和从人脸正面部分中提取的人脸特征向量V2；进行所述人脸特征向量V与原始人脸特征库中存储的原始人脸特征向量之间的距离测量以及相关度测量；根据所述距离测量和相关度测量的结果判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。

图1是根据本发明实施例的人脸检测方法的流程图。如图1所示，实施本发明的具体步骤如下：步骤一，接收其中包括同一人的脸的第一人脸图像和第二人脸图像，所述第一人脸图像包括第一人脸部分与第一背景部分，所述第二人脸图像包括第二人脸部分与第二背景部分。其中，所述第一人脸图像的人脸部分是人脸的侧面图像，所述第二人脸图像的人脸部分是人脸的正面图像，接收包含人脸侧面图像的第一人脸图像和包含人脸正面图像的第二人脸图像，使得后续可以实现同时提取到人脸正面图像的特征向量以及人脸侧面图像的特征向量，有助于更加准确地进行后续的检测和识别。步骤二，将所述第一人脸图像和所述第二人脸图像保存在图像数据库中，其中所述图像数据库优选关系型数据库。步骤三，从所述第一人脸图像中提取第一人脸部分并且从所述第二人脸图像中提取第二人脸部分，通过提取所述第一人脸部分和第二人脸部分，使得后续的特征提取更具针对性，减少背景部分可能带来的负面影响。步骤四，分别提取所述第一人脸部分的第一人脸特征向量和所述第二人脸部分的第二人脸特征向量；也就是说，基于步骤三中所提取的第一人脸部分和第二人脸部分，进一步提取所述第一人脸部分中的第一人脸特征向量以及第二人脸部分中的第二人脸特征向量，或者说，进一步提取所述第一人脸部分中的侧面人脸特征向量以及第二人脸部分中的正面人脸特征向量。针对正面人脸特征向量可以包括眉眼鼻嘴等人脸特征的特征表达值，例如，眉眼鼻嘴等的几何特征。针对侧面人脸特征向量可以包括线形特征值，例如轮廓特征，更具体地，例如鼻尖、内眼角等的形状和凹凸特征。步骤五，根据所述第一人脸特征向量和所述第二人脸特征向量判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸，即确定人脸的所属，即确定包含有同一人的脸部图像的第一人脸图像和第二人脸图像中的人脸是谁的脸。

在本发明优选实施例中，所述从所述第一人脸图像中提取第一人脸部分并且从所述第二人脸图像中提取第二人脸部分包括：利用Mean shift算法对第一人脸图像进行划分得到多个第一子图像。利用Mean shift算法对第二人脸图像进行划分得到多个第二子图像。此处，借助于Mean shift算法通过迭代移动寻找收敛点的方法，将第一人脸图像和第二人脸图像进行初步的划分。基于所述多个第一子图像将所述第一人脸图像划分为第一人脸部分和第一背景部分。基于所述多个第二子图像将所述第二人脸图像划分为第二人脸部分和第二背景部分。此处，需要进一步基于上述初步的划分结果，即基于所述多个第一子图像和所述多个第二字图像，使用聚合算法实现将多个第一子图像中的人脸部分进行聚合以生成所述第一人脸部分，即侧面人脸部分。将多个第二子图像中的人脸部分进行聚合以生成所述第二人脸部分，即正面人脸部分。

在本发明优选实施例中，所述基于所述多个第一子图像将所述第一人脸图像划分为第一人脸部分和第一背景部分包括：提取所述多个第一子图像的多个第一特征向量。基于所述多个第一特征向量将所述第一人脸图像划分为第一人脸部分和第一背景部分。所述基于所述多个第二子图像将所述第二人脸图像划分为第二人脸部分和第二背景部分包括：提取所述多个第二子图像的多个第二特征向量。基于所述多个第二特征向量将所述第二人脸图像划分为第二人脸部分和第二背景部分。此处，所述多个第一特征向量是基于所述多个第一子图像的位置特征、颜色特征和纹理特征。所述多个第二特征向量是基于所述多个第二子图像的位置特征、颜色特征和纹理特征。

在本发明优选实施例中，所述提取所述多个第一子图像的多个第一特征向量包括：提取所述多个第一子图像中的每一个的位置特征、颜色特征和纹理特征。采用扫描线算法确定所述多个第一子图像中的每一个的位置特征、颜色特征和纹理特征所占权重。基于所述多个第一子图像中的每一个的不同权重的位置特征、颜色特征和纹理特征生成多个第一特征向量。所述提取所述多个第二子图像的多个第二特征向量包括：提取所述多个第二子图像中的每一个的位置特征、颜色特征和纹理特征。采用扫描线算法确定所述多个第二子图像中的每一个的位置特征、颜色特征和纹理特征所占权重。基于所述多个第二子图像中的每一个的不同权重的位置特征、颜色特征和纹理特征生成多个第二特征向量。此处，不仅提取了位置特征、颜色特征和纹理特征，而且计算了位置特征、颜色特征和纹理特征所占权重。利用不同权重的位置特征、颜色特征和纹理特征生成多个特征向量使得特征向量更具代表性，有利于人脸图像划分的准确实现。

在本发明优选实施例中，所述基于所述第一特征向量将所述第一人脸图像划分为第一人脸部分和第一背景部分包括：建立第一邻接图，所述第一邻接图中的多个顶点与所述多个第一特征向量具有一一映射关系。在所述第一邻接图上构建第一最小生成树并计算所述第一最小生成树中的任意两个顶点之间的距离。使用核密度估计算法估计所述第一最小生成树中的每个顶点的概率密度并形成第一概率密度空间。在第一概率密度空间中进行k-mean算法以分离所述第一人脸部分和所述第一背景部分。所述基于所述多个第二子图像将所述第二人脸侧面图像划分为第二人脸部分和第二背景部分包括：建立第二邻接图，所述第二邻接图中的多个顶点与所述多个第二特征向量具有一一映射关系。在所述第二邻接图上构建第二最小生成树并计算所述第二最小生成树中的任意两个顶点之间的距离。使用核密度估计算法估计所述第二最小生成树中的每个顶点的概率密度并形成第二概率密度空间。在第二概率密度空间中进行k-mean算法以分离所述第二人脸部分和所述第二背景部分。此处，借助于邻接图、最小生成树和密度估计算法为k-means算法做好数据准备，最终利用k-means算法的高聚合性实现将多个子图像中的人脸部分进行聚合，同时将多个子图像中的背景部分进行聚合，最终将人脸图像划分为人脸部分以及背景部分。此处，针对第一人脸图像和第二人脸图像的处理步骤是一致的。

在本发明优选实施例中，所述根据所述第一人脸特征向量和所述第二人脸特征向量判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸包括：由所述第一人脸特征向量和第二人脸特征向量构建人脸特征向量V。进行所述人脸特征向量V与原始人脸特征库中存储的原始人脸特征向量之间的距离测量以及相关度测量。根据所述距离测量和相关度测量的结果判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。此处，第一人脸特征向量包括特征值v₁₁，v₁₂，...，v_1n，其中n是大于2的整数。由上述多个特征值v₁₁，v₁₂，...，v_1n构成第一人脸特征向量V1，第二人脸特征向量包括特征值v₂₁，v₂₂，...，v_2n，其中n是大于2的整数。由上述多个特征值v₂₁，v₂₂，...，v_2n构成第二人脸特征向量V2，并由第一人脸特征向量V1和第二人脸特征向量V2构成人脸特征向量V。进行所述人脸特征向量V与原始人脸特征库中存储的原始人脸特征向量之间的距离测量以及相关度测量；根据所述距离测量和相关度测量的结果判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。

综上所述，根据本发明的人脸图像处理方法，有效促进了人脸识别和检测的针对性和准确性。

显然，本领域的技术人员应该理解，上述的本发明的各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种人脸图像处理方法，所述方法包括：

接收其中包括同一人的脸的第一人脸图像和第二人脸图像，所述第一人脸图像包括第一人脸部分与第一背景部分，所述第二人脸图像包括第二人脸部分与第二背景部分；

将所述第一人脸图像和所述第二人脸图像保存在图像数据库中；

从所述第一人脸图像中提取第一人脸部分并且从所述第二人脸图像中提取第二人脸部分；

分别提取所述第一人脸部分的第一人脸特征向量和所述第二人脸部分的第二人脸特征向量；

根据所述第一人脸特征向量和所述第二人脸特征向量判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。

2.根据权利要求1所述的人脸图像处理方法，其特征在于，所述第一人脸图像的人脸部分是人脸的侧面图像，所述第二人脸图像的人脸部分是人脸的正面图像。

3.根据权利要求1所述的人脸图像处理方法，其特征在于，所述从所述第一人脸图像中提取第一人脸部分并且从所述第二人脸图像中提取第二人脸部分包括：

利用Mean shift算法对第一人脸图像进行划分得到多个第一子图像；

利用Mean shift算法对第二人脸图像进行划分得到多个第二子图像；

基于所述多个第一子图像将所述第一人脸图像划分为第一人脸部分和第一背景部分；

基于所述多个第二子图像将所述第二人脸图像划分为第二人脸部分和第二背景部分。

4.根据权利要求3所述的人脸图像处理方法，其特征在于，所述基于所述多个第一子图像将所述第一人脸图像划分为第一人脸部分和第一背景部分包括：

提取所述多个第一子图像的多个第一特征向量；

基于所述多个第一特征向量将所述第一人脸图像划分为第一人脸部分和第一背景部分。

5.根据权利要求3所述的人脸图像处理方法，其特征在于，所述基于所述多个第二子图像将所述第二人脸图像划分为第二人脸部分和第二背景部分包括：

提取所述多个第二子图像的多个第二特征向量；

基于所述多个第二特征向量将所述第二人脸图像划分为第二人脸部分和第二背景部分。

6.根据权利要求4所述的人脸图像处理方法，其特征在于，所述提取所述多个第一子图像的多个第一特征向量包括：

提取所述多个第一子图像中的每一个的位置特征、颜色特征和纹理特征；

采用扫描线算法确定所述多个第一子图像中的每一个的位置特征、颜色特征和纹理特征所占权重；

基于所述多个第一子图像中的每一个的不同权重的位置特征、颜色特征和纹理特征生成多个第一特征向量。

7.根据权利要求5所述的人脸图像处理方法，其特征在于，所述提取所述多个第二子图像的多个第二特征向量包括：

提取所述多个第二子图像中的每一个的位置特征、颜色特征和纹理特征；

采用扫描线算法确定所述多个第二子图像中的每一个的位置特征、颜色特征和纹理特征所占权重；

基于所述多个第二子图像中的每一个的不同权重的位置特征、颜色特征和纹理特征生成多个第二特征向量。

8.根据权利要求4所述的人脸图像处理方法，其特征在于，所述基于所述第一特征向量将所述第一人脸图像划分为第一人脸部分和第一背景部分包括：

建立第一邻接图，所述第一邻接图中的多个顶点与所述多个第一特征向量具有一一映射关系；

在所述第一邻接图上构建第一最小生成树并计算所述第一最小生成树中的任意两个顶点之间的距离；

使用核密度估计算法估计所述第一最小生成树中的每个顶点的概率密度并形成第一概率密度空间；

在第一概率密度空间中进行k-mean算法以分离所述第一人脸部分和所述第一背景部分。

9.根据权利要求5所述的人脸图像处理方法，其特征在于，所述基于所述多个第二子图像将所述第二人脸侧面图像划分为第二人脸部分和第二背景部分包括：

建立第二邻接图，所述第二邻接图中的多个顶点与所述多个第二特征向量具有一一映射关系；

在所述第二邻接图上构建第二最小生成树并计算所述第二最小生成树中的任意两个顶点之间的距离；

使用核密度估计算法估计所述第二最小生成树中的每个顶点的概率密度并形成第二概率密度空间；

在第二概率密度空间中进行k-mean算法以分离所述第二人脸部分和所述第二背景部分。

10.根据权利要求1所述的人脸图像处理方法，其特征在于，所述根据所述第一人脸特征向量和所述第二人脸特征向量判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸包括：

由所述第一人脸特征向量和第二人脸特征向量构建人脸特征向量V；

进行所述人脸特征向量V与原始人脸特征库中存储的原始人脸特征向量之间的距离测量以及相关度测量；

根据所述距离测量和相关度测量的结果判断所述第一人脸图像和所述第二人脸图像中包含的脸是谁的脸。