CN112016495A - 人脸识别的方法、装置和电子设备 - Google Patents

Abstract

一种人脸识别的方法、装置和电子设备，能够提高人脸识别技术的识别率以及安全性能。该人脸识别的方法包括：获取待识别目标的彩色图像；根据图像亮度判断模型，判断该彩色图像的亮度是否适合进行人脸识别，其中该图像亮度判断模型是根据多个不同亮度的彩色图像样本训练得到的；根据判断结果，确定是否采用该待识别目标的彩色图像进行人脸识别。在本申请实施例中，根据图像亮度判断模型检测待识别目标的彩色图像中的亮度信息，防止彩色图像中亮度过强或者过暗时，造成人脸识别的误判或者无法识别的情况，从而有效提高人脸识别的速度以及准确性，以提高人脸识别技术的识别率以及安全性能。

Description

人脸识别的方法、装置和电子设备

技术领域

本申请涉及生物特征检测技术领域，并且更具体地，涉及一种人脸识别的方法、装置和电子设备。

背景技术

人脸识别(face recognition)，是基于人的脸部特征信息进行身份识别的一种生物检测识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的图像预处理、图像特征提取以及匹配与识别等一系列相关技术，通常也叫做人像识别或面部识别。随着计算机和网络技术的飞速发展，人脸识别技术已广泛地应用于智能门禁、移动终端、公共安全、娱乐、军事等诸多行业及领域。

目前的人脸识别技术大多采用彩色图像作为输入，基于彩色图像中的相关特征进行人脸识别，容易受到光强变化的影响，造成人脸识别准确性不高，且只靠彩色图像进行人脸识别，安全性能不高，照片等伪造物体同样能够识别成功。

因此，如何提高人脸识别技术的识别率以及安全性能，是一项亟待解决的技术问题。

发明内容

本申请实施例提供了一种人脸识别的方法、装置和电子设备，能够提高人脸识别技术的识别率以及安全性能。

第一方面，提供一种人脸识别的方法，包括：获取待识别目标的彩色图像；根据图像亮度判断模型，判断该彩色图像的亮度是否适合进行人脸识别，其中该图像亮度判断模型是根据多个不同亮度的彩色图像样本训练得到的；根据判断结果，确定是否采用该待识别目标的彩色图像进行人脸识别。

在本申请实施例中，根据图像亮度判断模型检测待识别目标的彩色图像中的亮度信息，以确定该彩色图像是否适合进行人脸识别，然后根据判断结果，确定是否采用该彩色图像进行人脸识别，而不是直接对待识别目标的彩色图像直接进行人脸识别，防止彩色图像中亮度过强或者过暗时，造成人脸识别的误判或者无法识别的情况，从而有效提高人脸识别的速度以及准确性，以提高用户体验。

与此同时，在本申请实施例中，不是直接通过传感器等光强感应单元对环境光的光强进行感应，以判断待识别目标的彩色图像是否进行人脸识别，而是采用图像亮度判断模型对彩色图像进行亮度分析，能够更为准确的检测彩色图像的亮度情况，在逆光等环境情况下，不只是考虑环境光的光强，也考虑彩色图像中的实际光强情况，例如，逆光情况下，环境光强强但彩色图像光强弱，更为准确的确定该彩色图像是否适合于进行人脸识别。

在一些可能的实施方式中，该根据判断结果，确定是否采用该待识别目标的彩色图像进行人脸识别，包括：若判断结果为适合，采用该待识别目标的彩色图像和该待识别目标的三维图像进行人脸识别；若判断结果为不适合，采用该待识别目标的红外图像和该待识别目标的三维图像进行人脸识别。

在一些可能的实施方式中，该对该待识别目标的彩色图像和该待识别目标的三维图像进行人脸识别，包括：对该待识别目标的彩色图像进行人脸识别得到第一人脸识别结果；对该待识别目标的三维图像进行人脸识别得到第三人脸识别结果；若该第一人脸识别结果和该第三人脸识别结果均为成功，判定该待识别目标的人脸识别结果成功；若该第一人脸识别结果和该第三人脸识别结果中至少一个为失败，判定该待识别目标的人脸识别结果失败。

在一些可能的实施方式中，该对该待识别目标的红外图像和该待识别目标的三维图像进行人脸识别，包括：对该待识别目标的红外图像进行人脸识别得到第二人脸识别结果；对该待识别目标的三维图像进行人脸识别得到第三人脸识别结果；若该第二人脸识别结果和该第三人脸识别结果均为成功，判定该待识别目标的人脸识别结果成功；若该第二人脸识别结果和该第三人脸识别结果中至少一个为失败，判定该待识别目标的人脸识别结果失败。

在本申请实施例中，在根据图像亮度判断模型，判断待识别目标的彩色图像的亮度是否适合进行人脸识别的基础之上，进一步的，在彩色图像不适合进行人脸识别的基础上，由于红外图像不会受到环境光光强的影响，采用红外图像进行人脸识别，可以防止环境光变化的影响，在环境光较强、较弱或者其他情况下，仍可以进行人脸识别且具有较高的识别率，从而使得本申请实施例的技术方案可以应用于更多的人脸识别场景。

与此同时，在采用彩色图像进行人脸识别，或者采用红外图像进行人脸识别的基础上，还获取待识别目标的三维图像，以获取人脸的三维结构特征进行活体人脸识别，防止非活体人脸(例如，用户照片等等)的攻击，从而提高人脸识别的准确性以及安全性。

在一些可能的实施方式中，该对该待识别目标的三维图像进行人脸识别得到第三人脸识别结果，包括：获取该待识别目标的点云数据；将该点云数据转换为该三维图像，该三维图像为包括该待识别目标的表面的深度和角度信息的平面图像；对该三维图像进行人脸识别得到该第三人脸识别结果。

通过本申请实施例的技术方案，将三维点云数据经过预处理，得到上述平面的三维图像，在保留待识别目标的三维信息的同时，能够简化后续的人脸识别过程，从而综合提高人脸识别的准确度以及效率。

且相比于直接利用深度图进行人脸识别，本申请实施例中的三维图像不同于深度图，其除了包括待识别目标的表面的深度信息以外，还包括待识别目标的表面的角度变化信息，即表面的弯曲程度，从而保留了待识别目标的更多三维空间特征，能够进一步提高后续人脸识别的准确度。

在一些可能的实施方式中，该将该点云数据转换为该三维图像，包括：计算该点云数据中每个点云点的正规向量；根据该每个点云点的正规向量和深度值，转换得到该三维图像，其中，该每个点云点的正规向量包括该待识别目标的表面的角度信息。

在一些可能的实施方式中，该计算该点云数据中每个点云点的正规向量，包括：将该点云数据与点云模板数据进行对齐，得到标准点云数据；对该标准点云数据进行网格化处理，得到网格化点云数据；在该网格化点云数据中，计算与每个点云点相邻的网格面的法向量的均值，得到该每个点云点的正规向量。

在一些可能的实施方式中，该根据该每个点云点的正规向量和深度值，包括：将该网格化点云数据根据深度值投影至二维坐标平面中；将该网格化点云数据中每个点云点的正规向量中X方向、Y方向上的值，以及该深度值分别作为该三维图像中每个像素的三通道的值，以转换得到该三维图像。

在一些可能的实施方式中，该对该三维图像进行人脸识别得到该第三人脸识别结果，包括：提取该三维图像中的人脸特征得到第三人脸特征向量；将该第三人脸特征向量与至少一个第三模板特征向量对比，得到该第三人脸识别结果；其中，该至少一个第三模板特征向量为目标用户的人脸三维图像对应的特征向量。

在一些可能的实施方式中，该对该待识别目标的彩色图像进行人脸识别得到第一人脸识别结果，包括：提取该彩色图像中的人脸特征得到第一人脸特征向量；将该第一人脸特征向量与至少一个第一模板特征向量对比，得到该第一人脸识别结果；其中，该至少一个第一模板特征向量为目标用户的人脸彩色图像对应的特征向量。

在一些可能的实施方式中，该提取该彩色图像中的人脸特征得到第一人脸特征向量，包括：对该彩色图像进行人脸检测，得到该彩色图像中人脸区域彩色图像；将该人脸区域彩色图像调整至目标大小，且将该人脸区域彩色图像中五官的位置调整至目标位置；对该人脸区域彩色图像提取人脸特征，得到该第一人脸特征向量。

在一些可能的实施方式中，该对该待识别目标的红外图像进行人脸识别得到第二人脸识别结果，包括：提取该红外图像中的人脸特征得到第二人脸特征向量；将该第二人脸特征向量与至少一个第二模板特征向量对比，得到该第二人脸识别结果；其中，该至少一个第二模板特征向量为目标用户的人脸红外图像对应的特征向量。

在一些可能的实施方式中，该提取该红外图像中的人脸特征得到第二人脸特征向量，包括：对该红外图像进行人脸检测，得到该红外图像中人脸区域红外图像；将该人脸区域红外图像调整至目标大小，且将该人脸区域红外图像中五官的位置调整至目标位置；对该人脸区域红外图像提取人脸特征，得到该第二人脸特征向量。

在一些可能的实施方式中，该图像亮度判断模型包括：机器学习模型或者深度学习模型。

在一些可能的实施方式中，该图像亮度判断模型为神经网络模型，该方法还包括：根据样本图像，进行神经网络训练得到该图像亮度判断模型；该样本图像包括不同光照条件下的人脸图像。

在一些可能的实施方式中，该样本图像包括正样本图像和负样本图像，该正样本图像为人脸识别结果与真实结果一致的图像，该负样本图像为人脸识别结果与真实结果不一致的图像。

第二方面，提供一种人脸识别的装置，包括：获取单元，用于获取待识别目标的彩色图像；图像亮度判断单元，用于根据图像亮度判断模型，判断该彩色图像的亮度是否适合进行人脸识别，其中该图像亮度判断模型是根据多个不同亮度的彩色图像样本训练得到的；人脸识别单元，用于根据判断结果，确定是否采用该待识别目标的彩色图像进行人脸识别。

在一些可能的实施方式中，该人脸识别单元用于：若判断结果为适合，采用该待识别目标的彩色图像和该待识别目标的三维图像进行人脸识别；若判断结果为不适合，采用该待识别目标的红外图像和该待识别目标的三维图像进行人脸识别。

在一些可能的实施方式中，该人脸识别单元用于：对该待识别目标的彩色图像进行人脸识别得到第一人脸识别结果；对该待识别目标的三维图像进行人脸识别得到第三人脸识别结果；若该第一人脸识别结果和该第三人脸识别结果均为成功，判定该待识别目标的人脸识别结果成功；若该第一人脸识别结果和该第三人脸识别结果中至少一个为失败，判定该待识别目标的人脸识别结果失败。

在一些可能的实施方式中，该人脸识别单元用于：对该待识别目标的红外图像进行人脸识别得到第二人脸识别结果；对该待识别目标的三维图像进行人脸识别得到第三人脸识别结果；若该第二人脸识别结果和该第三人脸识别结果均为成功，判定该待识别目标的人脸识别结果成功；若该第二人脸识别结果和该第三人脸识别结果中至少一个为失败，判定该待识别目标的人脸识别结果失败。

在一些可能的实施方式中，该人脸识别单元包括第三人脸识别模块，该第三人脸识别模块用于：获取该待识别目标的点云数据；将该点云数据转换为该三维图像，该三维图像为包括该待识别目标的表面的深度和角度信息的平面图像；对该三维图像进行人脸识别得到该第三人脸识别结果。

在一些可能的实施方式中，该第三人脸识别模块用于：计算该点云数据中每个点云点的正规向量；根据该每个点云点的正规向量和深度值，转换得到该三维图像，其中，该每个点云点的正规向量包括该待识别目标的表面的角度信息。

在一些可能的实施方式中，该第三人脸识别模块用于：将该点云数据与点云模板数据进行对齐，得到标准点云数据；对该标准点云数据进行网格化处理，得到网格化点云数据；在该网格化点云数据中，计算与每个点云点相邻的网格面的法向量的均值，得到该每个点云点的正规向量。

在一些可能的实施方式中，该第三人脸识别模块用于：将该网格化点云数据根据深度值投影至二维坐标平面中；将该网格化点云数据中每个点云点的正规向量中X方向、Y方向上的值，以及该深度值分别作为该三维图像中每个像素的三通道的值，以转换得到该三维图像。

在一些可能的实施方式中，该第三人脸识别模块用于：提取该三维图像中的人脸特征得到第三人脸特征向量；将该第三人脸特征向量与至少一个第三模板特征向量对比，得到该第三人脸识别结果；其中，该至少一个第二模板特征向量为目标用户的人脸三维图像对应的特征向量。

在一些可能的实施方式中，该人脸识别单元包括第一人脸识别模块，该第一人脸识别模块用于：提取该彩色图像中的人脸特征得到第一人脸特征向量；将该第一人脸特征向量与至少一个第一模板特征向量对比，得到该第一人脸识别结果；其中，该至少一个第一模板特征向量为目标用户的人脸彩色图像对应的特征向量。

在一些可能的实施方式中，该第一人脸识别模块用于：对该彩色图像进行人脸检测，得到该彩色图像中人脸区域彩色图像；将该人脸区域彩色图像调整至目标大小，且将该人脸区域彩色图像中五官的位置调整至目标位置；对该人脸区域彩色图像提取人脸特征，得到该第一人脸特征向量。

在一些可能的实施方式中，该人脸识别单元包括第二人脸识别模块，该第二人脸识别模块用于：提取该红外图像中的人脸特征得到第二人脸特征向量；将该第二人脸特征向量与至少一个第二模板特征向量对比，得到该第二人脸识别结果；其中，该至少一个第二模板特征向量为目标用户的人脸红外图像对应的特征向量。

在一些可能的实施方式中，该第二人脸识别模块用于：对该红外图像进行人脸检测，得到该红外图像中人脸区域红外图像；将该人脸区域红外图像调整至目标大小，且将该人脸区域红外图像中五官的位置调整至目标位置；对该人脸区域红外图像提取人脸特征，得到该第二人脸特征向量。

在一些可能的实施方式中，该图像亮度判断模型包括：机器学习模型或者深度学习模型。

在一些可能的实施方式中，该图像亮度判断模型为神经网络模型，图像亮度判断判断单元还用于：根据样本图像，进行神经网络训练得到该图像亮度判断模型；该样本图像包括不同光照条件下的人脸图像。

在一些可能的实施方式中，该样本图像包括正样本图像和负样本图像，该正样本图像为人脸识别结果与真实结果一致的图像，该负样本图像为人脸识别结果与真实结果不一致的图像。

第三方面，提供一种电子设备，包括：上述第二方面或者其任一可能的实施方式中的人脸识别的装置。

在一些可能的实施方式中，该电子设备还包括：彩色图像采集装置、红外图像采集装置以及点云采集装置。

第四方面，提供一种计算机可读存储介质，用于存储程序指令，该程序指令被计算机运行时，该计算机执行上述第一方面或第一方面的任一可能的实现方式中的人脸识别的方法。

第五方面，提供一种包含指令的计算机程序产品，该指令被计算机执行时使得该计算机执行上述第一方面或第一方面的任一可能的实现方式中的人脸识别的方法。

具体地，该计算机程序产品可以运行于上述第三方面的电子设备上。

附图说明

图1是本申请提供的系统架构的结构示意图。

图2是根据本申请实施例的一种基于彩色图像进行人脸识别的示意性流程框图。

图3是根据本申请实施例的一种人脸识别方法的示意性流程图。

图4是根据本申请实施例的另一种人脸识别方法的示意性流程图。

图5是根据本申请实施例的采用彩色图像进行人脸识别的示意性流程图。

图6是根据本申请实施例的第一人脸识别模块的示意性结构框图。

图7是根据本申请实施例的采用三维图像进行人脸识别的一种示意性流程图。

图8是根据本申请实施例的采用三维图像进行人脸识别的另一示意性流程图。

图9是根据本申请实施例的第三人脸识别模块的示意性结构框图。

图10是根据本申请实施例的一种人脸识别的装置的示意性结构框图。

图11是根据本申请实施例的一种人脸识别单元的示意性结构框图。

图12是本申请实施例的人脸识别装置的硬件结构示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

本申请实施例可适用于人脸识别系统，包括但不限于基于光学人脸成像的产品。该人脸识别系统可以应用于具有图像采集装置(如摄像头)的各种电子设备，该电子设备可以为个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、媒体消费设备、可穿戴设备、机顶盒、游戏机、增强现实(augmented reality，AR)AR/虚拟现实(virtual reality，VR)设备，车载终端等，本申请公开的实施例对此不做限定。

应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。

还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。

为了更好地理解本申请实施例的方案，下面先结合图1对本申请实施例可能的应用场景进行简单的介绍。

如图1所示，本申请实施例提供了一种系统架构100。在图1中，数据采集设备160用于采集训练数据。针对本申请实施例的人脸识别的方法来说，训练数据可以包括训练图像或者训练视频。

在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101。

上述目标模型/规则101能够用于实现本申请实施例的人脸识别的方法。本申请实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。

根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图1所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑等，还可以是服务器或者云端等。在图1中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备140输入的待处理视频或者待处理图像。

在一些实施方式中，该客户设备140可以与上述执行设备110为同一设备，例如，客户设备140可以与上述执行设备110均为终端设备。

在另一些实施方式中，该客户设备140可以与上述执行设备110为不同设备，例如，客户设备140为终端设备，而执行设备110为云端、服务器等设备，客户设备140可以通过任何通信机制/通信标准的通信网络与执行设备310进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。

执行设备110的计算模块111用于根据I/O接口112接收到的输入数据(如待处理图像)进行处理。在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。

最后，I/O接口112将处理结果，如上述得到的人脸识别结果返回给客户设备140，从而提供给用户。

值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。

在图1中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。

值得注意的是，图1仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。

如图1所示，根据训练设备120训练得到目标模型/规则101，该目标模型/规则101在本申请实施例中可以是神经网络，具体的，本申请实施例的神经网络可以为卷积神经网络(convolutional neuron network，CNN)、区域卷积神经网络(region CNN，RCNN)，加快区域卷积神经网络(faster RCNN)或者其它类型的神经网络等等，本申请对此不做具体限定。

在一些实施方式中，一种人脸识别方法是基于彩色图像进行人脸识别，例如可以利用上述执行设备110执行目标模型/规则对彩色图像进行处理，得到人脸识别的结果。

为了便于理解，下面结合图2，对基于彩色图像进行人脸识别的过程进行简单介绍。

如图2所示，当需要进行人脸识别时，具体人脸识别方法10如下。

S110：采集待识别目标的彩色图像。

具体地，该待识别目标可以为目标用户人脸，其它用户人脸，也可以为照片，3D模型或者任意其它物体。经过待识别目标表面反射的反射光被图像传感器210接收并转换为彩色图像。

S120：采用神经网络对彩色图像进行处理得到特征向量。

作为示例，该神经网络可以为卷积神经网络，且该神经网络中的相关参数均是通过训练之后得到的参数。

具体地，将该彩色图像输入至卷积神经网络中，通过卷积、激励、池化等步骤，将彩色图像的人脸特征提取后，得到用于表征该彩色图像中人脸特征的特征向量。

S130：根据特征向量进行人脸识别。

具体地，将上述特征向量与模板库中多个模板特征向量匹配，判断特征向量与模板特征向量的相似度是否大于预设阈值，以执行人脸识别。其中，该模板库中多个模板特征向量为根据目标用户的人脸图像形成的特征向量。

在一些情况下，若上述特征向量与多个模板特征向量中的至少一个模板特征向量的相似度大于等于预设阈值，则可以判断采集的彩色图像包括目标用户的人脸图像，人脸识别成功。

在此基础上，进一步的，可以解锁人脸识别装置所在的电子设备，也可以解锁电子设备上应用程序(application，APP)。

在另一些情况下，若上述特征向量与多个模板特征向量的相似度均小于预设阈值，则可以判断采集的彩色图像不包括目标用户的人脸图像，人脸识别失败。

在上述人脸识别方法中，通过采集人脸的彩色图像，判断彩色图像中是否包括目标用户人脸来进行人脸识别，从而对电子设备和电子设备上的应用程序进行解锁。由于在解锁过程中，人脸识别装置仅仅依据彩色图像进行人脸识别，无法识别彩色图像是否来源自活人人脸或者其他照片、视频等其他非活人人脸物体，人脸识别装置的安全性能较低，且在此过程中，彩色图像容易受到环境光的影响，在环境光光强过强或者过暗的情况下，识别效率以及识别准确率均会收到一定的影响，从而影响整个人脸识别装置的性能。

基于上述问题，本申请提出一种人脸识别方法和装置，可以提高人脸识别的安全性和准确度，从而综合提高人脸识别的性能。

图3示出了本申请实施例提出的一种人脸识别方法20的示意性流程图。可选地，该人脸识别方法20的执行主体可以为上文图1中的执行设备110。

如图3所示，该人脸识别方法20可以包括以下步骤。

S210：获取待识别目标的彩色图像。

S220：根据图像亮度判断模型，判断待识别目标的彩色图像的亮度是否适合进行人脸识别。

S230：根据判断结果，确定是否采用待识别目标的彩色图像进行人脸识别。

在本申请实施例中，待识别目标包括但不限于人脸、照片、视频、三维模型等任意物体。例如，待识别目标可以为目标用户人脸、其他用户的人脸、用户照片、贴有照片的曲面模型等等。

作为示例，在一些实施方式中，图像采集装置采集待识别目标的彩色图像后，将该彩色图像发送给执行设备中的处理单元，以进行后续的图像处理工作。可选地，该图像采集装置可以集成于该执行设备中，也可以与该执行设备分离设置。该图像采集装置包括但不限于是彩色相机、摄像机或者其他类型的图像采集装置。

在获取待识别目标的彩色图像后，执行上述步骤S220，根据图像亮度判断模型，判断待识别目标的彩色图像的亮度是否适合进行人脸识别。

具体地，在本申请实施例中，该图像亮度判断模型是根据多个不同亮度的彩色图像样本训练得到的。

可选地，该图像亮度判断模型包括但不限于是机器学习(machine learning)模型或者深度学习(deep learning)模型。

作为示例，该图像亮度判断模型可以是神经网络模型，例如，其可以是卷积神经网络模型，用于将输入图像进行二分类，以判断输入图像中的亮度是否适合于进行人脸识别。

例如，在一些实施方式中，采用卷积神经网络对彩色图像中的亮度信息进行提取得到特征向量，并对特征向量进行分类，得到该彩色图像是否适合进行人脸识别的结果。

可选地，该图像亮度判断模型可以为任意一种卷积神经网络结构，包括至少一层卷积层、激励层、池化层、和/或全连接层等结构层。其中各结构层中的参数为经过训练得到的优化参数，使得卷积神经网络输出的分类结果与样本的真实结果保持一致，提高卷积神经网络预测的准确性和鲁棒性。

为了对上述图像亮度判断模型进行神经网络训练，首先需得到大量的正样本以及负样本数据。

具体地，将待识别目标的彩色样本图像输入至一种人脸识别模块中，根据该人脸识别模块的人脸识别结果以及真实结果，确定该彩色样本图像为正样本图像或者负样本图像，并对样本图像进行标注。

其中，正样本图像为人脸识别模块的人脸识别结果与真实结果保持一致的样本图像，即人脸识别模块对样本图像的人脸识别结果为识别成功，且该样本图像中的人脸图像为目标用户的人脸图像，或者人脸识别模块对样本图像的人脸识别结果为失败，且样本图像中的人脸图像不为目标用户的人脸图像时，该样本图像为正样本图像。该正样本图像中的亮度为适合于进行人脸识别模块进行识别的亮度，或者说，该正样本图像中的亮度为目标光强范围内的亮度。

反之，负样本图像为人脸识别模块的人脸识别结果与真实结果不一致(人脸识别模块产生误判)的样本图像，即人脸识别模块对样本图像的人脸识别结果为识别成功，但该样本图像中的人脸图像不为目标用户的人脸图像，或者人脸识别模块对样本图像的人脸识别结果为失败，但样本图像中的人脸图像为目标用户的人脸图像时，该样本图像为负样本图像。该负样本图像中的亮度为不适合于进行人脸识别模块进行识别的亮度，或者说，该负样本图像中的亮度过强或者过暗，为目标光强范围之外的亮度。

将上述正样本图像以及负样本图像输入至本申请实施例的图像亮度判断模型中，进行神经网络训练，使得图像亮度判断模型的损失函数最小，得到图像亮度判断模型中的目标参数。

需要说明的是，上述正样本以及负样本确定过程中使用的人脸识别模块可以为本申请中后续人脸识别过程中使用的人脸识别模块，或者也可以是相关技术中任意一种人脸识别模块，用于判断图像中的人脸图像是否为目标用户的人脸，本申请实施例对正、负样本确定过程中使用的人脸识别模块的具体结构不做具体限定。

在本申请实施例中，根据图像亮度判断模型检测待识别目标的彩色图像中的亮度信息，以确定该彩色图像是否适合进行人脸识别，然后根据判断结果，确定是否采用该彩色图像进行人脸识别，而不是直接对待识别目标的彩色图像直接进行人脸识别，防止彩色图像中亮度过强或者过暗时，造成人脸识别的误判或者无法识别的情况，从而有效提高人脸识别的速度以及准确性，以提高用户体验。

与此同时，在本申请实施例中，不是直接通过传感器等光强感应单元对环境光的光强进行感应，以判断待识别目标的彩色图像是否进行人脸识别，而是采用图像亮度判断模型对彩色图像进行亮度分析，能够更为准确的检测彩色图像的亮度情况，在逆光等环境情况下，不只是考虑环境光的光强，也考虑彩色图像中的实际光强情况，例如，逆光情况下，环境光强强但彩色图像光强弱，更为准确的确定该彩色图像是否适合于进行人脸识别。

进一步地，图4示出了本申请实施例提出的另一种人脸识别的方法200的流程示意图。

如图4所示，上述步骤S230可以包括以下步骤。

S231：采用待识别目标的彩色图像和三维图像进行人脸识别。

S232：采用待识别目标的红外图像和三维图像进行人脸识别。

具体地，在本申请实施例中，三维图像可以为携带有待识别目标的空间信息的三维图像，例如，其可以是深度图像，基于三维点云(point cloud)形成的图像或者是其它类型的数据或者图像。采用该三维图像进行人脸识别，可以提高人脸识别的安全性能，防止照片等非二维平面物体对人脸识别的攻击。

具体地，在步骤S231中，若根据图像亮度判断模型，判断待识别目标的彩色图像的亮度适合进行人脸识别，则采用待识别目标的彩色图像进行人脸识别，此外，还获取待识别目标的三维图像，并采用待识别目标的三维图像进行人脸识别。综合彩色图像的人脸识别结果以及三维图像的人脸识别结果，共同确定最终的人脸识别结果。

在一些实施方式中，可以同时获取待识别目标的彩色图像和三维图像，若待识别目标的彩色图像的亮度适合进行人脸识别，则同步对待识别目标的彩色图像和三维图像进行人脸识别。

在另一些实施方式中，若待识别目标的彩色图像的亮度适合进行人脸识别，先对待识别目标的彩色图像进行人脸识别，若人脸识别成功，则对三维图像进行人脸识别，若人脸识别失败，则直接判定人脸识别失败，提高人脸识别效率和准确率。

具体地，在步骤S232中，若根据图像亮度判断模型，判断待识别目标的彩色图像的亮度不适合进行人脸识别，则不采用待识别目标的彩色图像进行人脸识别，而是获取待识别目标的红外图像，并采用该红外图像进行人脸识别，与此同时还采用待识别目标的三维图像进行人脸识别。综合红外图像的人脸识别结果以及三维图像的人脸识别结果，共同确定最终的人脸识别结果。

类似地，在一些实施方式中，可以同时获取待识别目标的红外图像和三维图像，若待识别目标的彩色图像的亮度不适合进行人脸识别，则同步对待识别目标的红外图像和三维图像进行人脸识别。

在另一些实施方式中，若待识别目标的彩色图像的亮度不适合进行人脸识别，先对待识别目标的红外图像进行人脸识别，若人脸识别成功，则对三维图像进行人脸识别，若人脸识别失败，则直接判定人脸识别失败，提高人脸识别效率和准确率。

在本申请实施例中，在根据图像亮度判断模型，判断待识别目标的彩色图像的亮度是否适合进行人脸识别的基础之上，进一步的，在彩色图像不适合进行人脸识别的基础上，由于红外图像不会受到环境光光强的影响，采用红外图像进行人脸识别，可以防止环境光变化的影响，在环境光较强、较弱或者其他情况下，仍可以进行人脸识别且具有较高的识别率，从而使得本申请实施例的技术方案可以应用于更多的人脸识别场景。

与此同时，在采用彩色图像进行人脸识别，或者采用红外图像进行人脸识别的基础上，还获取待识别目标的三维图像，以获取人脸的三维结构特征进行活体人脸识别，防止非活体人脸(例如，用户照片等等)的攻击，从而提高人脸识别的准确性以及安全性。

下面，结合图5至图9，说明本申请实施例中采用待识别目标的彩色图像、红外图像以及三维图像进行人脸识别的方法。

图5示出了一种采用彩色图像进行人脸识别的方法30的流程示意图。可选地，可以根据图6所示的第一人脸识别模块300，执行本申请实施例中的人脸识别的方法30。

如图5所示，该采用彩色图像进行人脸识别的方法30可以包括以下步骤。

S310：获取待识别目标的彩色图像。

具体地，该步骤S310和上述步骤S210相同，可以采用图像采集装置采集待识别目标的彩色图像。

S320：采用该彩色图像进行人脸检测(face detection)，得到彩色图像中的人脸区域。

具体地，第一人脸识别模块300可以包括第一人脸检测模块301。在一些实施方式中，该第一人脸检测模块301可以包括卷积层网络，在本步骤中，基于该卷积层网络对输入的彩色图像进行人脸检测，以得到彩色图像中的人脸区域框。

作为示例，该卷积层网络为多任务卷积神经网络(multi-task convolutionalneural network，MTCNN)，其中包括P-Net、R-Net以及O-net三个卷积网络，其中每个卷积网络均包括多层卷积层，用于提取彩色图片中的纹理特征，并最终输出如下三部分结果：

第一部分：判断该彩色图像是否包含人脸(face classification)，输出两个1×1的向量(或者可以表示为1×1×2的向量)，分别代表该彩色图像中包含人脸的概率，以及该彩色图像中不包含人脸的概率。

第二部分：人脸区域框的位置(bounding box regression)。一般地，对于一个人脸区域框，可以用四个数来表示它的位置：框左上角的横坐标、框左上角的纵坐标、框的宽度、框的高度。因此，该部分输出结果为4个1×1的向量(1×1×4的向量)，分别代表人脸区域框左上角的横坐标的相对偏移、人脸区域框左上角的纵坐标的相对偏移、人脸区域框的宽度的误差、人脸区域框的高度的误差。

第三部分：人脸的5个关键点的位置(facial landmark localization)。该5个关键点分别为：左眼的位置、右眼的位置、鼻子的位置、左嘴角的位置、右嘴角的位置。每个关键点又需要横坐标和纵坐标来表示，因此，该部分输出结果为10个1×1的向量(1×1×10的向量)。

可以理解的是，在本申请实施例中，第一人脸检测模块301除了上文举例提到的采用卷积层网络，对输入的彩色图像进行人脸检测以外，还可以采用相关的人脸检测技术中的任意深度学习模型或者机器学习模型进行人脸检测，本申请实施例对该人脸检测技术的模型不做具体限定。

S330：对该人脸区域进行人脸对齐。

可选地，第一人脸识别模块300中还包括第一人脸对齐模块302。在本步骤中，在得到彩色图像中的人脸区域框以及其中人脸的关键点位置之后，第一人脸对齐模块302用于执行人脸对齐(face alignment)操作，调整该人脸区域框的位置和大小。具体地，根据这些关键点可以使用仿射变换将人脸区域框进行统一校准，以尽量消除姿势不同带来的误差。

经过人脸对齐处理后，人脸区域框中的人脸五官位置与样本人脸区域框中的人脸五官位置基本一致，且人脸区域框的大小与样本人脸区域框的大小一致，便于执行后续的人脸识别过程。

可以理解的是，本步骤中的人脸对齐可以使用相关技术中任意一种人脸对齐的方法，本申请实施例对此不作具体限定。

S340：提取该人脸区域中的人脸特征，形成第一人脸特征向量。

可选地，第一人脸识别模块300中还包括第一人脸特征提取模块303。作为示例，该第一人脸特征提取模块303可以为深度卷积神经网络。

在本步骤中，可以采用第一人脸特征提取模块303，例如深度卷积神经网络对上述经过统一校准后的人脸区域框中的人脸区域图像提取人脸特征，形成特征向量。换言之，通过本步骤的处理，将不同的人脸区域图像转换为对应的向量，以进行人脸识别。

一般情况下，对于同一个人的两张人脸区域图像，对应的向量之间的欧几里得距离应该是比较小的。对于不同人的两张人脸区域图像，对应的向量之间的欧几里得距离应该是比较大的。

可以理解的是，本步骤中的第一人脸特征提取模块303可以为经过彩图图像样本的神经网络训练之后得到的网络模型，其中卷积层、池化层以及激励层等层结构中的相关参数为经过训练后的目标参数，本申请实施例对具体的第一人脸特征提取模块303的结构和参数不做限定。

还可以理解的是，除了本步骤中第一人脸特征提取模块303以外，第一人脸识别模块300中其它深度学习模块，例如第一人脸检测模块310也为经过训练之后得到的模型模块。

S350：根据上述第一人脸特征向量进行人脸识别(face recognition)。

作为示例，经过上述深度卷积神经网络的特征提取之后，形成1×1×N维的第一人脸特征向量，其中，N包括但限于是512。

在本步骤中，将该第一人脸特征向量与人脸模板库中的至少一个第一模板特征向量进行对比，得到第一人脸识别结果。

可选地，将该第一人脸特征向量与至少一个第一模板特征向量进行对比，得到至少一个相似度值，其中最高相似度值大于等于预设阈值，则认为采集的人脸图像与模板特征向量对应的人脸图像为同一人，第一人脸识别结果为识别成功，反之，若最高相似度值小于预设阈值，则认为采集的人脸图像与模板特征向量对应的人脸图像不为同一人，，第一人脸识别结果为识别失败。

具体地，人脸模板库中的至少一个第一模板特征向量可以为目标用户在注册时，采集的目标用户人脸的彩色图像，并经过人脸识别模块提取得到的特征向量，可选地，该人脸识别模块可以为上述第一人脸识别模块300。

可以理解的是，在注册阶段，可以采集目标用户人脸不同角度、不同环境下的多张彩色图像，并将多张彩色图像一一处理为多个第一模板特征向量以形成人脸模板库。

还可以理解的是，注册阶段对彩色图像的处理为第一模板特征向量的过程可以与上文中采用彩色图像进行人脸识别的方法30类似，差别仅在于，注册阶段的彩色图像处理过程不包括最终的特征向量对比过程。人脸识别阶段使用的网络模型可以与注册阶段使用的网络模型相同。

上文结合图5和图6说明了采用彩色图像进行人脸识别的方法30，可以理解的是，采用红外图像进行人脸识别的方法与上文采用彩色图像进行人脸识别的方法近似，差别仅在于处理的图像类别不同。

基于此，可以根据第二人脸识别模块，执行本申请实施例中的采用红外图像进行人脸识别的方法。

在一些实施方式中，利用该第二人脸识别模块提取待识别目标的红外图像中的人脸特征得到第二人脸特征向量；将该第二人脸特征向量与至少一个第二模板特征向量对比，得到第二人脸识别结果。

可选地，其中，至少一个第二模板特征向量为目标用户的人脸经过第二人脸识别模块提取得到的特征向量。

作为示例，上述利用第二人脸识别模块提取所述红外图像中的人脸特征得到第二人脸特征向量，可以包括：

对待识别目标的红外图像进行人脸检测，得到红外图像中人脸区域红外图像；

将该人脸区域红外图像调整至目标大小，且将该人脸区域红外图像中五官的位置调整至目标位置；

对该人脸区域红外图像提取人脸特征，得到上述第二人脸特征向量。

可以理解的是，在本申请实施例中，第二人脸识别模块的架构可以参考上文中第一人脸识别模块300的架构，但其中的模型参数可以为经过红外图像样本训练得到的模型参数，其与上述第一人脸识别模块300的模型参数可能不同。

具体地，本申请实施例中的人脸识别方法也可以参考上文中对彩色图像进行人脸识别的方法，相关技术方案可以参见上文相关描述，此处不再赘述。

下面结合图7和图8说明采用三维图像进行人脸识别的方法40。可选地，可以根据图9所示的第三人脸识别模块400，执行本申请实施例中的人脸识别的方法40。

如图7所示，该采用三维图像进行人脸识别的方法40可以包括以下步骤。

S410：获取待识别目标的点云数据。

S420：将该点云数据转换为三维图像，该三维图像中包括待识别目标表面的深度和/或角度信息的平面图像。

S430：对该三维图像进行人脸识别。

具体地，在本申请实施例中，通过点云采集装置采集待识别目标的点云数据后，将该点云数据发送给处理单元，从而使得该处理单元获取待识别目标的点云数据。

可选地，在本申请实施例中，三维图像为根据点云数据转换得到的图像，其中可以包括待识别目标表面的深度和/或角度信息的目标三维图像。可以理解的是，若该三维图像中仅包括待识别目标表面的深度信息，其可以理解为待识别目标的深度图像。

可选地，若该三维图像中包括待识别目标的表面的深度和角度信息，该三维图像可以为多通道图像，图像中每个像素由多个值表示，可选地，每个像素中的多个值包括待识别目标的表面的深度和角度信息。

作为示例，如图8所示，上述步骤S420中将点云数据转换为三维图像的过程可以包括以下步骤。可选地，该步骤S420可以由图9中的点云数据转换模块401执行。

首先，计算点云数据中每个点云点的正规向量。

具体地，在本申请实施例中，点云数据中每个点云点的正规向量包括待识别目标的表面的角度信息。

可选地，在一些实施方式中，计算点云数据中每个点云点的正规向量的过程如下：

S421：将该点云数据与点云模板数据进行对齐，得到标准点云数据。

具体地，点云模板数据可以为模板人脸的点云数据，将点云数据与点云模板数据进行对齐，即将点云数据中人脸五官位置与点云模板数据中人脸五官位置对齐，使得对齐后的标准点云数据中人脸五官位置处于目标位置上。通过该对齐步骤，可以消除不同人脸的不同姿态和方向带来的误差，便于执行后续的人脸识别过程。

在一些实施方式中，可以通过迭代最近点(iterative closest point，ICP)算法将待识别目标的点云数据与点云模板数据进行配准。当然，除了采用ICP算法对点云数据与点云模板数据进行配准以外，在本申请实施例中，还可以采用相关技术中的其它算法将点云数据与点云模板数据进行对齐，得到标准点云数据，本申请实施例对此不做具体限定。

S422：对该标准点云数据进行网格化处理，得到网格化点云数据。

具体地，网格主要用于计算机图形学中，有三角、四角网格等很多种。例如，三角网格即将三个点连成一个三角形平面，每个三角形平面都和其他三角形共享边。目前，计算机图形学中的网格处理绝大部分都是基于三角网格的，三角网格在图形学和三维建模中使用的非常广泛，用来模拟复杂物体的表面。

作为示例，可以采用三角化(triangulation)算法对标准点云数据进行三角化处理，得到三角网格化点云数据。其中，三角化算法包括但不限于是贪心三角化(greedyprojection triangulation)算法。

具体地，先将点云点通过法线投影到二维坐标平面内，然后对投影得到的点云做平面内的三角化，从而得到各点的拓扑连接关系。平面三角化的过程中用到了基于Delaunay三角剖分的空间区域增长算法。最后根据平面内投影点的拓扑连接关系确定各原始三维的点云点间的拓扑连接，从而得到网格化点云数据。

通过上述步骤，得到网格化点云数据后，执行：

S423：计算该网格化点云数据中，与每个点云点相邻的网格面的法向量的均值，作为每个点云点的正规向量(normal vector)。

在本步骤中，得到每个点云点的正规向量，该正规向量为一个三维向量，其包括点云点在X，Y，Z三个方向上的角度向量，可以用于描述待识别目标的表面的弯曲程度。

另外，将与每个点云点相邻的网格面的法向量的均值，作为每个点云点的正规向量，可以使得相邻点云点的正规向量的变化趋势变得平滑。

S424：根据每个点云点的正规向量和深度值，转换得到三维图像。

在一些实施方式中，将网格化点云数据根据深度值投影至二维坐标平面中，若部分平面的投影存在重叠，则选择深度值较近的面进行投影。

然后，将网格化点云数据中每个点云点的正规向量中X方向、Y方向上的值，以及每个点云点的深度值分别作为平面图像中每个像素的三通道的值，以转换得到该三维图像。

通过本申请实施例的技术方案，将三维点云数据经过预处理，得到上述平面的三维图像，在保留待识别目标的三维信息的同时，能够简化后续的人脸识别过程，从而综合提高人脸识别的准确度以及效率。

且相比于直接利用深度图进行人脸识别，本申请实施例中的三维图像不同于深度图，其除了包括待识别目标的表面的深度信息以外，还包括待识别目标的表面的角度变化信息，即表面的弯曲程度，从而保留了待识别目标的更多三维空间特征，能够进一步提高后续人脸识别的准确度。

具体地，在本申请实施例中，经过步骤S420的处理后，形成的三维图像为平面图像，步骤S430中对该三维图像进行人脸识别的方法可以与上文中图5和图6所示的采用彩色图像进行人脸识别的方法30的方法近似，差别仅在于处理的图像类型不同。

基于此，可以根据图9中第三人脸识别模块400中的第三人脸检测模块402和第三人脸特征提取模块403，执行本申请实施例中的采用三维图像进行人脸识别的方法。

在一些实施方式中，利用该第三人脸检测模块402和第三人脸特征提取模块403提取待识别目标的三维图像中的人脸特征得到第三人脸特征向量；将该第三人脸特征向量与至少一个第三模板特征向量对比，得到第三人脸识别结果。

可选地，其中，至少一个第三模板特征向量为目标用户的人脸经过上述第三人脸识别模块400提取得到的特征向量。

作为示例，上述利用第三人脸检测模块402和第三人脸特征提取模块403提取三维图像中的人脸特征得到第三人脸特征向量，可以包括：

利用第三人脸检测模块402对三维图像进行人脸检测，得到三维图像中人脸区域图像；

第三人脸特征提取模块403对该人脸区域图像提取人脸特征，得到上述第三人脸特征向量。

可以理解的是，在本申请实施例中，第三人脸检测模块402和第三人脸特征提取模块403的架构可以参考上文第一人脸识别模块300中的第一人脸检测模块301和第一人脸特征提取模块303的架构，但其中的模型参数可以为经过点云数据样本训练得到的模型参数，其与上述第一人脸识别模块300的模型参数可能不同。

具体地，本申请实施例中的人脸识别方法也可以参考上文中对彩色图像进行人脸识别的方法，相关技术方案可以参见上文相关描述，此处不再赘述。

上文结合图3至图9，详细描述了本申请中的人脸识别的方法实施例，下文结合图10至图12，详细描述本申请的人脸识别的装置实施例，应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。

图10是根据本申请实施例的人脸识别的装置200的示意性结构框图，该人脸识别的装置200对应于上述人脸识别的方法20。

如图10所示，一种人脸识别装置200包括：

获取单元210，用于获取待识别目标的彩色图像；

图像亮度判断单元220，用于根据图像亮度判断模型，判断该彩色图像的亮度是否适合进行人脸识别，其中该图像亮度判断模型是根据多个不同亮度的彩色图像样本训练得到的；

人脸识别单元230，用于根据判断结果，确定是否采用该待识别目标的彩色图像进行人脸识别。

可以理解的是，在本申请实施例中，该图像亮度判断模型可以与上文中方法实施例中提到图像亮度判断模型相同，相关技术方案可以参见上文中的相关描述。

在一些可能的实施方式中，该图像亮度判断模型包括：机器学习模型或者深度学习模型。

在一些可能的实施方式中，该图像亮度判断模型为神经网络模型，图像亮度判断判断单元还用于：

根据样本图像，进行神经网络训练得到该图像亮度判断模型；

该样本图像包括不同光照条件下的人脸图像。

在一些可能的实施方式中，该样本图像包括正样本图像和负样本图像，该正样本图像为人脸识别结果与真实结果一致的图像，该负样本图像为人脸识别结果与真实结果不一致的图像。

在一些可能的实施方式中，人脸识别单元230具体用于：

若判断结果为适合，采用该待识别目标的彩色图像和该待识别目标的三维图像进行人脸识别；

若判断结果为不适合，采用该待识别目标的红外图像和该待识别目标的三维图像进行人脸识别。

若判断结构为适合，可选地，该人脸识别单元230具体用于：

对该待识别目标的彩色图像进行人脸识别得到第一人脸识别结果；

对该待识别目标的三维图像进行人脸识别得到第三人脸识别结果；

若该第一人脸识别结果和该第三人脸识别结果均为成功，判定该待识别目标的人脸识别结果成功；

若该第一人脸识别结果和该第三人脸识别结果中至少一个为失败，判定该待识别目标的人脸识别结果失败。

若判断结构为不适合，可选地，该人脸识别单元230具体用于：

对该待识别目标的红外图像进行人脸识别得到第二人脸识别结果；

对该待识别目标的三维图像进行人脸识别得到第三人脸识别结果；

若该第二人脸识别结果和该第三人脸识别结果均为成功，判定该待识别目标的人脸识别结果成功；

若该第二人脸识别结果和该第三人脸识别结果中至少一个为失败，判定该待识别目标的人脸识别结果失败。

图11示出了根据本申请实施例的一种人脸识别单元230的示意性结构框图。如图11所示，该人脸识别单元230可以包括：第一人脸识别模块231，第二人脸识别模块232以及第三人脸识别模块233。

可以理解的是，在本申请实施例中，该第一人脸识别模块231、第二人脸识别模块232以及第三人脸识别模块233可以与上文中方法实施例中提到的第一人脸识别模块300、第二人脸识别模块以及第三人脸识别模块400相同，相关技术方案可以参见上文中的相关描述。

可选地，该第三人脸识别模块233具体用于：获取该待识别目标的点云数据；将该点云数据转换为该三维图像，该三维图像为包括该待识别目标的表面的深度和角度信息的平面图像；对该三维图像进行人脸识别得到该第三人脸识别结果。

在一些可能的实施方式中，该第三人脸识别模块233具体用于：

计算该点云数据中每个点云点的正规向量；

根据该每个点云点的正规向量和深度值，转换得到该三维图像，其中，该每个点云点的正规向量包括该待识别目标的表面的角度信息。

可选地，该第三人脸识别模块233具体用于：

将该点云数据与点云模板数据进行对齐，得到标准点云数据；

对该标准点云数据进行网格化处理，得到网格化点云数据；

在该网格化点云数据中，计算与每个点云点相邻的网格面的法向量的均值，得到该每个点云点的正规向量。

可选地，该第三人脸识别模块233用于：

将该网格化点云数据根据深度值投影至二维坐标平面中；

将该网格化点云数据中每个点云点的正规向量中X方向、Y方向上的值，以及该深度值分别作为该三维图像中每个像素的三通道的值，以转换得到该三维图像。

进一步地，该第三人脸识别模块233具体用于：

提取该三维图像中的人脸特征得到第三人脸特征向量；

将该第三人脸特征向量与至少一个第三模板特征向量对比，得到该第三人脸识别结果；

其中，该至少一个第二模板特征向量为目标用户的人脸三维图像对应的特征向量。

此外，如图11所示，在本申请实施例中，第一人脸识别模块231可以具体用于：

提取该彩色图像中的人脸特征得到第一人脸特征向量；

将该第一人脸特征向量与至少一个第一模板特征向量对比，得到该第一人脸识别结果；

其中，该至少一个第一模板特征向量为目标用户的人脸彩色图像对应的特征向量。

在一些可能的实施方式中，该第一人脸识别模块231具体用于：

对该彩色图像进行人脸检测，得到该彩色图像中人脸区域彩色图像；

将该人脸区域彩色图像调整至目标大小，且将该人脸区域彩色图像中五官的位置调整至目标位置；

对该人脸区域彩色图像提取人脸特征，得到该第一人脸特征向量。

如图11所示，在本申请实施例中，第二人脸识别模块232可以具体用于：

提取该红外图像中的人脸特征得到第二人脸特征向量；

将该第二人脸特征向量与至少一个第二模板特征向量对比，得到该第二人脸识别结果；

其中，该至少一个第二模板特征向量为目标用户的人脸红外图像对应的特征向量。

在一些可能的实施方式中，该第二人脸识别模块232用于：

对该红外图像进行人脸检测，得到该红外图像中人脸区域红外图像；

将该人脸区域红外图像调整至目标大小，且将该人脸区域红外图像中五官的位置调整至目标位置；

对该人脸区域红外图像提取人脸特征，得到该第二人脸特征向量。

图12是本申请实施例的人脸识别装置的硬件结构示意图。图12所示的人脸识别装置300(该人脸识别装置300具体可以是一种计算机设备)包括存储器310、处理器320、通信接口330以及总线340。其中，存储器310、处理器320、通信接口330通过总线340实现彼此之间的通信连接。

存储器310可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器310可以存储程序，当存储器310中存储的程序被处理器320执行时，处理器320和通信接口330用于执行本申请实施例的人脸识别的方法的各个步骤。

处理器320可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的人脸识别装置中的模块所需执行的功能，或者执行本申请方法实施例的人脸识别的方法。

处理器320还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的人脸识别的方法的各个步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320还可以是通用处理器、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmablegate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成本申请实施例的人脸识别装置中包括的模块所需执行的功能，或者执行本申请方法实施例的人脸识别的方法。

通信接口330使用例如但不限于收发器一类的收发装置，来实现装置300与其他设备或通信网络之间的通信。例如，可以通过通信接口330获取输入数据。

总线340可包括在装置300各个部件(例如，存储器310、处理器320、通信接口330)之间传送信息的通路。

应注意，尽管图12所示的装置300仅仅示出了存储器310、处理器320、通信接口340和总线340，但是在具体实现过程中，本领域的技术人员应当理解，装置300还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置300还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置300也可仅仅包括实现本申请实施例所必须的器件，而不必包括图12中所示的全部器件。

应理解，人脸识别装置300可以与上述图10中的人脸识别装置200相对应，人脸识别装置200中的图像亮度判断单元220和人脸识别单元230的功能可以由处理器320实现，获取单元210的功能可以由通信接口330实现。为避免重复，此处适当省略详细描述。

本申请实施例还提供了一种处理装置，包括处理器和接口；所述处理器，用于执行上述任一方法实施例中的人脸识别的方法。

应理解，上述处理装置可以是一个芯片。例如，该处理装置可以是现场可编程门阵列(field-programmable gate array，FPGA)，可以是专用集成芯片(applicationspecific integrated circuit，ASIC)，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(networkprocessor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logicdevice，PLD)或其他集成芯片。

本申请实施例还提供一种平台系统，其包括前述的人脸识别装置。

本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例的方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一方法实施例的方法。

本申请实施例还提供了一种电子设备，该电子设备可以包括上述申请实施例的人脸识别装置。

例如，电子设备为智能门锁、手机、电脑、门禁系统等等需要应用人脸识别的设备。所述人脸识别装置包括电子设备中用于人脸识别的软件以及硬件装置。

可选地，该电子设备中还可以包括红外图像采集装置、彩色图像采集装置以及点云采集装置中的一种或者多种。

可以理解的是，该红外图像采集装置、彩色图像采集装置以及点云采集装置可以为相关技术中任意一种采集装置，本申请实施例对此不做具体限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本说明书中使用的术语“单元”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (36)

1.一种人脸识别的方法，其特征在于，包括：

获取待识别目标的彩色图像；

根据图像亮度判断模型，判断所述彩色图像的亮度是否适合进行人脸识别，其中所述图像亮度判断模型是根据多个不同亮度的彩色图像样本训练得到的；

根据判断结果，确定是否采用所述待识别目标的彩色图像进行人脸识别。

2.根据权利要求1所述的方法，其特征在于，所述根据判断结果，确定是否采用所述待识别目标的彩色图像进行人脸识别，包括：

若判断结果为适合，采用所述待识别目标的彩色图像和所述待识别目标的三维图像进行人脸识别；

若判断结果为不适合，采用所述待识别目标的红外图像和所述待识别目标的三维图像进行人脸识别。

3.根据权利要求2所述的方法，其特征在于，所述对所述待识别目标的彩色图像和所述待识别目标的三维图像进行人脸识别，包括：

对所述待识别目标的彩色图像进行人脸识别得到第一人脸识别结果；

对所述待识别目标的三维图像进行人脸识别得到第三人脸识别结果；

若所述第一人脸识别结果和所述第三人脸识别结果均为成功，判定所述待识别目标的人脸识别结果成功；

若所述第一人脸识别结果和所述第三人脸识别结果中至少一个为失败，判定所述待识别目标的人脸识别结果失败。

4.根据权利要求2所述的方法，其特征在于，所述对所述待识别目标的红外图像和所述待识别目标的三维图像进行人脸识别，包括：

对所述待识别目标的红外图像进行人脸识别得到第二人脸识别结果；

对所述待识别目标的三维图像进行人脸识别得到第三人脸识别结果；

若所述第二人脸识别结果和所述第三人脸识别结果均为成功，判定所述待识别目标的人脸识别结果成功；

若所述第二人脸识别结果和所述第三人脸识别结果中至少一个为失败，判定所述待识别目标的人脸识别结果失败。

5.根据权利要求3或4所述的方法，其特征在于，所述对所述待识别目标的三维图像进行人脸识别得到第三人脸识别结果，包括：

获取所述待识别目标的点云数据；

将所述点云数据转换为所述三维图像，所述三维图像为包括所述待识别目标的表面的深度和角度信息的平面图像；

对所述三维图像进行人脸识别得到所述第三人脸识别结果。

6.根据权利要求5所述的方法，其特征在于，所述将所述点云数据转换为所述三维图像，包括：

计算所述点云数据中每个点云点的正规向量；

根据所述每个点云点的正规向量和深度值，转换得到所述三维图像，其中，所述每个点云点的正规向量包括所述待识别目标的表面的角度信息。

7.根据权利要求6所述的方法，其特征在于，所述计算所述点云数据中每个点云点的正规向量，包括：

将所述点云数据与点云模板数据进行对齐，得到标准点云数据；

对所述标准点云数据进行网格化处理，得到网格化点云数据；

在所述网格化点云数据中，计算与每个点云点相邻的网格面的法向量的均值，得到所述每个点云点的正规向量。

8.根据权利要求6或7所述的方法，其特征在于，所述根据所述每个点云点的正规向量和深度值，包括：

将所述网格化点云数据根据深度值投影至二维坐标平面中；

将所述网格化点云数据中每个点云点的正规向量中X方向、Y方向上的值，以及所述深度值分别作为所述三维图像中每个像素的三通道的值，以转换得到所述三维图像。

9.根据权利要求5至8中任一项所述的方法，其特征在于，所述对所述三维图像进行人脸识别得到所述第三人脸识别结果，包括：

提取所述三维图像中的人脸特征得到第三人脸特征向量；

将所述第三人脸特征向量与至少一个第三模板特征向量对比，得到所述第三人脸识别结果；

其中，所述至少一个第三模板特征向量为目标用户的人脸三维图像对应的特征向量。

10.根据权利要求3至9中任一项所述的方法，其特征在于，所述对所述待识别目标的彩色图像进行人脸识别得到第一人脸识别结果，包括：

提取所述彩色图像中的人脸特征得到第一人脸特征向量；

将所述第一人脸特征向量与至少一个第一模板特征向量对比，得到所述第一人脸识别结果；

其中，所述至少一个第一模板特征向量为目标用户的人脸彩色图像对应的特征向量。

11.根据权利要求10所述的方法，其特征在于，所述提取所述彩色图像中的人脸特征得到第一人脸特征向量，包括：

对所述彩色图像进行人脸检测，得到所述彩色图像中人脸区域彩色图像；

将所述人脸区域彩色图像调整至目标大小，且将所述人脸区域彩色图像中五官的位置调整至目标位置；

对所述人脸区域彩色图像提取人脸特征，得到所述第一人脸特征向量。

12.根据权利要求4至11中任一项所述的方法，其特征在于，所述对所述待识别目标的红外图像进行人脸识别得到第二人脸识别结果，包括：

提取所述红外图像中的人脸特征得到第二人脸特征向量；

将所述第二人脸特征向量与至少一个第二模板特征向量对比，得到所述第二人脸识别结果；

其中，所述至少一个第二模板特征向量为目标用户的人脸红外图像对应的特征向量。

13.根据权利要求12所述的方法，其特征在于，所述提取所述红外图像中的人脸特征得到第二人脸特征向量，包括：

对所述红外图像进行人脸检测，得到所述红外图像中人脸区域红外图像；

将所述人脸区域红外图像调整至目标大小，且将所述人脸区域红外图像中五官的位置调整至目标位置；

对所述人脸区域红外图像提取人脸特征，得到所述第二人脸特征向量。

14.根据权利要求1至13中任一项所述的方法，其特征在于，所述图像亮度判断模型包括：机器学习模型或者深度学习模型。

15.根据权利要求14所述的方法，其特征在于，所述图像亮度判断模型为神经网络模型，所述方法还包括：

根据样本图像，进行神经网络训练得到所述图像亮度判断模型；

所述样本图像包括不同光照条件下的人脸图像。

16.根据权利要求15所述的方法，其特征在于，所述样本图像包括正样本图像和负样本图像，所述正样本图像为人脸识别结果与真实结果一致的图像，所述负样本图像为人脸识别结果与真实结果不一致的图像。

17.一种人脸识别的装置，其特征在于，包括：

获取单元，用于获取待识别目标的彩色图像；

图像亮度判断单元，用于根据图像亮度判断模型，判断所述彩色图像的亮度是否适合进行人脸识别，其中所述图像亮度判断模型是根据多个不同亮度的彩色图像样本训练得到的；

人脸识别单元，用于根据判断结果，确定是否采用所述待识别目标的彩色图像进行人脸识别。

18.根据权利要求17所述的装置，其特征在于，所述人脸识别单元用于：

若判断结果为适合，采用所述待识别目标的彩色图像和所述待识别目标的三维图像进行人脸识别；

若判断结果为不适合，采用所述待识别目标的红外图像和所述待识别目标的三维图像进行人脸识别。

19.根据权利要求18所述的装置，其特征在于，所述人脸识别单元用于：

对所述待识别目标的彩色图像进行人脸识别得到第一人脸识别结果；

对所述待识别目标的三维图像进行人脸识别得到第三人脸识别结果；

若所述第一人脸识别结果和所述第三人脸识别结果均为成功，判定所述待识别目标的人脸识别结果成功；

若所述第一人脸识别结果和所述第三人脸识别结果中至少一个为失败，判定所述待识别目标的人脸识别结果失败。

20.根据权利要求18所述的装置，其特征在于，所述人脸识别单元用于：

对所述待识别目标的红外图像进行人脸识别得到第二人脸识别结果；

对所述待识别目标的三维图像进行人脸识别得到第三人脸识别结果；

若所述第二人脸识别结果和所述第三人脸识别结果均为成功，判定所述待识别目标的人脸识别结果成功；

若所述第二人脸识别结果和所述第三人脸识别结果中至少一个为失败，判定所述待识别目标的人脸识别结果失败。

21.根据权利要求19或20所述的装置，其特征在于，所述人脸识别单元包括第三人脸识别模块，

所述第三人脸识别模块用于：

获取所述待识别目标的点云数据；

将所述点云数据转换为所述三维图像，所述三维图像为包括所述待识别目标的表面的深度和角度信息的平面图像；

对所述三维图像进行人脸识别得到所述第三人脸识别结果。

22.根据权利要求21所述的装置，其特征在于，所述第三人脸识别模块用于：

计算所述点云数据中每个点云点的正规向量；

根据所述每个点云点的正规向量和深度值，转换得到所述三维图像，其中，所述每个点云点的正规向量包括所述待识别目标的表面的角度信息。

23.根据权利要求22所述的装置，其特征在于，所述第三人脸识别模块用于：

将所述点云数据与点云模板数据进行对齐，得到标准点云数据；

对所述标准点云数据进行网格化处理，得到网格化点云数据；

在所述网格化点云数据中，计算与每个点云点相邻的网格面的法向量的均值，得到所述每个点云点的正规向量。

24.根据权利要求22或23所述的装置，其特征在于，所述第三人脸识别模块用于：

将所述网格化点云数据根据深度值投影至二维坐标平面中；

将所述网格化点云数据中每个点云点的正规向量中X方向、Y方向上的值，以及所述深度值分别作为所述三维图像中每个像素的三通道的值，以转换得到所述三维图像。

25.根据权利要求21至24中任一项所述的装置，其特征在于，所述第三人脸识别模块用于：

提取所述三维图像中的人脸特征得到第三人脸特征向量；

将所述第三人脸特征向量与至少一个第三模板特征向量对比，得到所述第三人脸识别结果；

其中，所述至少一个第二模板特征向量为目标用户的人脸三维图像对应的特征向量。

26.根据权利要求19至25中任一项所述的装置，其特征在于，所述人脸识别单元包括第一人脸识别模块，

所述第一人脸识别模块用于：

提取所述彩色图像中的人脸特征得到第一人脸特征向量；

将所述第一人脸特征向量与至少一个第一模板特征向量对比，得到所述第一人脸识别结果；

其中，所述至少一个第一模板特征向量为目标用户的人脸彩色图像对应的特征向量。

27.根据权利要求26所述的装置，其特征在于，所述第一人脸识别模块用于：

对所述彩色图像进行人脸检测，得到所述彩色图像中人脸区域彩色图像；

将所述人脸区域彩色图像调整至目标大小，且将所述人脸区域彩色图像中五官的位置调整至目标位置；

对所述人脸区域彩色图像提取人脸特征，得到所述第一人脸特征向量。

28.根据权利要求20至27中任一项所述的装置，其特征在于，所述人脸识别单元包括第二人脸识别模块，

所述第二人脸识别模块用于：

提取所述红外图像中的人脸特征得到第二人脸特征向量；

将所述第二人脸特征向量与至少一个第二模板特征向量对比，得到所述第二人脸识别结果；

其中，所述至少一个第二模板特征向量为目标用户的人脸红外图像对应的特征向量。

29.根据权利要求28所述的装置，其特征在于，所述第二人脸识别模块用于：

对所述红外图像进行人脸检测，得到所述红外图像中人脸区域红外图像；

将所述人脸区域红外图像调整至目标大小，且将所述人脸区域红外图像中五官的位置调整至目标位置；

对所述人脸区域红外图像提取人脸特征，得到所述第二人脸特征向量。

30.根据权利要求17至29中任一项所述的装置，其特征在于，所述图像亮度判断模型包括：机器学习模型或者深度学习模型。

31.根据权利要求30所述的装置，其特征在于，所述图像亮度判断模型为神经网络模型，图像亮度判断单元还用于：

根据样本图像，进行神经网络训练得到所述图像亮度判断模型；

所述样本图像包括不同光照条件下的人脸图像。

32.根据权利要求31所述的装置，其特征在于，所述样本图像包括正样本图像和负样本图像，所述正样本图像为人脸识别结果与真实结果一致的图像，所述负样本图像为人脸识别结果与真实结果不一致的图像。

33.一种电子设备，其特征在于，包括：

如权利要求17至32中任一项所述的人脸识别的装置。

34.根据权利要求33所述的电子设备，其特征在于，所述电子设备还包括：

彩色图像采集装置、红外图像采集装置以及点云采集装置。

35.一种计算机可读存储介质，其特征在于，用于存储程序指令，所述程序指令被计算机运行时，所述计算机执行如权利要求1至16中任一项所述的人脸识别的方法。

36.一种包含指令的计算机程序产品，其特征在于，所述指令被计算机执行时使得所述计算机执行如权利要求1至16中任一项所述的人脸识别的方法。

Images