CN107480613B - 人脸识别方法、装置、移动终端和计算机可读存储介质 - Google Patents
人脸识别方法、装置、移动终端和计算机可读存储介质 Download PDFInfo
- Publication number
- CN107480613B CN107480613B CN201710642126.2A CN201710642126A CN107480613B CN 107480613 B CN107480613 B CN 107480613B CN 201710642126 A CN201710642126 A CN 201710642126A CN 107480613 B CN107480613 B CN 107480613B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- human body
- facial feature
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000001815 facial effect Effects 0.000 claims abstract description 97
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 210000000056 organ Anatomy 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 abstract description 6
- 230000036544 posture Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸识别方法、装置以及移动终端。其中方法包括：通过移动终端的投射装置和摄像头，获取目标人体的深度图像；从深度图像中提取人脸的面部特征信息；根据人脸的面部特征信息，确定深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。该方法可以通过投射装置和摄像头获取目标人体的深度图像，使得从该深度图像中提出的人脸的面部特征信息具有三维特性，相较于传统的2D人脸识别提取出的面部特征信息而言，更加能够重现实物的真实性，不会受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此，根据该具有三维特性的面部特征信息进行人脸识别，大大提高了人脸识别的精确度，提升了用户体验。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸识别方法、装置、移动终端和计算机可读存储介质。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术。
现有技术中人脸识别技术均为2D人脸识别，2D人脸识别通常是利用摄像机或摄像头采集含有人脸的二维图像，并对该二维图像中检测和跟踪人脸，进而对该检测到的人脸进行识别。
但是，目前存在的问题是：采集含有人脸的二维图像时，很容易受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此难以进行精确的人脸识别。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本发明的第一个目的在于提出一种人脸识别方法。该方法可以大大提高人脸识别的精确度，提升用户体验。
本发明的第二个目的在于提出一种人脸识别装置。
本发明的第三个目的在于提出一种移动终端。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出的人脸识别方法，包括：通过移动终端的投射装置和摄像头，获取目标人体的深度图像；从所述深度图像中提取人脸的面部特征信息；根据所述人脸的面部特征信息，确定所述深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。
根据本发明实施例的人脸识别方法，可通过移动终端的投射装置和摄像头获取目标人体的深度图像，并从该深度图像中提取人脸的面部特征信息，并根据该人脸的面部特征信息，确定深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。即通过投射装置和摄像头获取目标人体的深度图像，使得从该深度图像中提出的人脸的面部特征信息具有三维特性，相较于传统的2D人脸识别提取出的面部特征信息而言，更加能够重现实物的真实性，不会受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此，根据该具有三维特性的面部特征信息进行人脸识别，大大提高了人脸识别的精确度，提升了用户体验。
为达到上述目的，本发明第二方面实施例提出的人脸识别装置，包括：获取模块，用于通过移动终端的投射装置和摄像头，获取目标人体的深度图像；提取模块，用于从所述深度图像中提取人脸的面部特征信息；识别模块，用于根据所述人脸的面部特征信息，确定所述深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。
根据本发明实施例的人脸识别装置，可通过移动终端的投射装置和摄像头获取目标人体的深度图像，并从该深度图像中提取人脸的面部特征信息，并根据该人脸的面部特征信息，确定深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。即通过投射装置和摄像头获取目标人体的深度图像，使得从该深度图像中提出的人脸的面部特征信息具有三维特性，相较于传统的2D人脸识别提取出的面部特征信息而言，更加能够重现实物的真实性，不会受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此，根据该具有三维特性的面部特征信息进行人脸识别，大大提高了人脸识别的精确度，提升了用户体验。
为达到上述目的，本发明的第三方面实施例提出的移动终端，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本发明第一方面实施例所述的人脸识别方法。
为达到上述目的，本发明的第四方面实施例提出的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行本发明第一方面实施例所述的人脸识别方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例的人脸识别方法的流程图；
图2是根据本发明一个实施例的目标人体的深度图像的测量示例图；
图3是根据本发明一个实施例的获得目标人体的深度图像的原理示例图；
图4是根据本发明一个实施例的人脸识别装置的结构示意图；
图5是根据本发明一个具体实施例的人脸识别装置的结构示意图；
图6为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面参考附图描述本发明实施例的人脸识别方法、装置以及移动终端。
图1是根据本发明一个实施例的人脸识别方法的流程图。需要说明的是，本发明实施例的人脸识别方法可应用于本发明实施例的人脸识别装置，该人脸识别装置可被配置于移动终端。其中，在本发明的实施例中，该移动终端可以是手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备。
如图1所示，该人脸识别方法可以包括：
S110，通过移动终端的投射装置和摄像头，获取目标人体的结构光图像，并对该结构光图像进行解调以获得该目标人体的深度图像。
需要说明的是，在本发明的实施例中，该移动终端可具有投射装置和摄像头。其中，该投射装置可用于向被测物体所处的空间投射一个预设的散斑图案，其中，该散斑图案中具有多个光斑点。摄像头可用以对已投射过散斑图案的被测物体进行采集，以得到带有散斑图案的被测物体的畸变图像。
可选地，在本发明的一个实施例中，可通过移动终端的投射装置向目标人体所处的空间投射预设的散斑图案，并通过移动终端的摄像头对目标人体进行采集，得到带有散斑图案的目标人体的二维畸变图像，并利用预设公式经对二维畸变图像进行计算后得到目标人体的深度图像。
可以理解，如图2所示，光学投射装置将一个预设的散斑图案投射到目标人体所处的空间内，在被测物体(如目标人体)的表面上形成由目标人体表面形状所调制的光条的三维图像。该三维图像由处于移动终端的另一位置的摄像头探测，从而获得光条二维畸变图像。其中，光条的畸变程度取决于投射装置与摄像头之间的相对位置和目标人体表面轮廓，直观上，沿光条显示出的位移(或偏移)与目标人体表面高度成比例，扭曲表示了平面的变化，不连续显示了表面的物理间隙，当投射装置与摄像头之间的相对位置一定时，由畸变的二维图像的坐标即可重现目标人体表面的三维轮廓，即该三维轮廓即理解为目标人体的深度图像。
也就是说，可通过移动终端的投射装置向目标人体所处的空间投射一个散斑图案，该散斑图案中具有多个光斑点，该散斑图案被投射到目标人体表面上时，该散斑图案中的好多光斑点的位置由于目标人体表面的原因而发生了偏移，这样，利用预设公式根据相对于光斑点的初始位置偏移的量计算出目标人体的深度信息，该深度信息即为深度图像。
作为一种示例，上述预设公式可为：
其中，(x,y,z)为目标人体的深度图像的坐标，b为投射装置与摄像头之间的基线间距，F为摄像头的焦距，θ为投射装置向目标人体所处的空间投射预设的散斑图案时的投影角度，(x',y')为带有散斑图案的目标人体的二维畸变图像的坐标。
为了更加清楚的说明上述预设公式的原理，下面以投射的散斑图案中的一个单点为例说明，如图3所示，通过上述预设公式即可获得投射点的深度信息。也就是说，通过从已知角度投影一个激光点到目标人体上，然后用摄像头获取该点的二维畸变图像，并确定投射装置与摄像头之间相距一个基线距离b，这样，将已知投影角度、投射装置与摄像头之间的基线间距、摄像头的焦距、该单点对应的二维畸变图像的坐标，代入上述预设公式(1)即可得到该单点对应的目标人体的深度图像的坐标。由此，实现了由畸变的二维图像坐标重现物体表面的三维轮廓的目的，进而得到了目标人体的深度图像。
优选地，上述摄像头可为移动终端的前置摄像头。这样，在用户通过移动终端进行人脸认证时，可调用移动终端的投射装置和前置摄像头完成对该用户的深度图像的获取，以便后续根据获得的深度图像实现对该用户的人脸识别。
S120，从深度图像中提取人脸的面部特征信息。
也就是说，可从得到的目标人体的深度图像中提取与人脸相关的面部特征信息。作为一种示例，可从深度图像中提取目标人体的人脸的轮廓特征、人脸中各器官点的特征信息。其中，该器官点可包括嘴唇、眼睛、眉毛、鼻子、脸型、耳朵等。
可以理解，由于深度图像为一个三维图像，每个像素都可由一个三维坐标表示，所以，从该深度图像中提取出的人脸的面部特征信息也为三维数据，即该面部特征信息中的每个像素点也均由一个三维坐标表示。因此，本申请提取出的面部特征信息相较于传统的2D人脸识别提取出的面部特征信息而言，更加能够重现实物的真实性，提取的面部特征更加精确。
S130，根据人脸的面部特征信息，确定深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。
其中，上述参考面部特征信息可以是预先设定的，例如，可预先获取用户的人脸的面部特征信息，并将该面部特征信息作为参考面部特征信息并预先进行存储，以便后续进行人脸识别时，将待识别的人脸的面部特征信息与该参考面部特征信息进行比较，以检测该待识别的人脸是否为合法的。
也就是说，在从深度图像中提取出人脸的面部特征信息之后，可将该人脸的面部特征信息与参考面部特征信息进行匹配，在匹配的相似度大于或等于一定阈值时，可认定该深度图像中的人脸与参考面部特征信息对应的人脸是同一个人脸，即判定该目标人体的人脸通过认证；在匹配的相似度小于所述一定阈值时，可认定该深度图像中的人脸与参考面部特征信息对应的人脸不是同一个人脸，即判定该目标人体的人脸认证未通过。
根据本发明实施例的人脸识别方法，可通过移动终端的投射装置和摄像头获取目标人体的深度图像，并从该深度图像中提取人脸的面部特征信息，并根据该人脸的面部特征信息，确定深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。即通过投射装置和摄像头获取目标人体的深度图像，使得从该深度图像中提出的人脸的面部特征信息具有三维特性，相较于传统的2D人脸识别提取出的面部特征信息而言，更加能够重现实物的真实性，不会受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此，根据该具有三维特性的面部特征信息进行人脸识别，大大提高了人脸识别的精确度，提升了用户体验。
为了实现上述实施例，本发明还提出了一种人脸识别装置。
图4是根据本发明一个实施例的人脸识别装置的结构示意图。需要说明的是，本发明实施例的人脸识别装置可配置于移动终端。其中，在本发明的实施例中，该移动终端可以是手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备。
如图4所示，该人脸识别装置可以包括：获取模块410、提取模块420和识别模块430。
具体地，获取模块410用于通过移动终端的投射装置和摄像头，获取目标人体的结构光图像，并对该结构光图像进行解调以获得该目标人体的深度图像。需要说明的是，在本发明的实施例中，该移动终端可具有投射装置和摄像头。其中，该投射装置可用于向被测物体所处的空间投射一个预设的散斑图案，其中，该散斑图案中具有多个光斑点。摄像头可用以对已投射过散斑图案的被测物体进行采集，以得到带有散斑图案的被测物体的畸变图像。
作为一种示例，如图5所示，该获取模块410可包括：获取单元411和计算单元412。其中，获取单元411用于通过移动终端的投射装置向目标人体所处的空间投射预设的散斑图案，并通过移动终端的摄像头对目标人体进行采集，得到带有散斑图案的目标人体的二维畸变图像。计算单元412用于利用预设公式经对二维畸变图像进行计算后得到目标人体的深度图像。
可以理解，如图2所示，光学投射装置将一个预设的散斑图案投射到目标人体所处的空间内，在被测物体(如目标人体)的表面上形成由目标人体表面形状所调制的光条的三维图像。该三维图像由处于移动终端的另一位置的摄像头探测，从而获得光条二维畸变图像。其中，光条的畸变程度取决于投射装置与摄像头之间的相对位置和目标人体表面轮廓，直观上，沿光条显示出的位移(或偏移)与目标人体表面高度成比例，扭曲表示了平面的变化，不连续显示了表面的物理间隙，当投射装置与摄像头之间的相对位置一定时，由畸变的二维图像的坐标即可重现目标人体表面的三维轮廓，即该三维轮廓即理解为目标人体的深度图像。
也就是说，获取单元411可通过移动终端的投射装置向目标人体所处的空间投射一个散斑图案，该散斑图案中具有多个光斑点，该散斑图案被投射到目标人体表面上时，该散斑图案中的好多光斑点的位置由于目标人体表面的原因而发生了偏移，这样，计算单元412利用预设公式根据相对于光斑点的初始位置偏移的量计算出目标人体的深度信息，该深度信息即为深度图像。
其中，在本发明的实施例中，上述预设公式可为：
其中，(x,y,z)为目标人体的深度图像的坐标，b为投射装置与摄像头之间的基线间距，F为摄像头的焦距，θ为投射装置向目标人体所处的空间投射预设的散斑图案时的投影角度，(x',y')为带有散斑图案的目标人体的二维畸变图像的坐标。
为了更加清楚的说明上述预设公式的原理，下面以投射的散斑图案中的一个单点为例说明，如图3所示，通过上述预设公式即可获得投射点的深度信息。也就是说，通过从已知角度投影一个激光点到目标人体上，然后用摄像头获取该点的二维畸变图像，并确定投射装置与摄像头之间相距一个基线距离b，这样，将已知投影角度、投射装置与摄像头之间的基线间距、摄像头的焦距、该单点对应的二维畸变图像的坐标，代入上述预设公式(1)即可得到该单点对应的目标人体的深度图像的坐标。由此，实现了由畸变的二维图像坐标重现物体表面的三维轮廓的目的，进而得到了目标人体的深度图像。
作为一种示例，上述摄像头可为前置摄像头。这样，在用户通过移动终端进行人脸认证时，可调用移动终端的投射装置和前置摄像头完成对该用户的深度图像的获取，以便后续根据获得的深度图像实现对该用户的人脸识别。
提取模块420用于从深度图像中提取人脸的面部特征信息。也就是说，可从得到的目标人体的深度图像中提取与人脸相关的面部特征信息。作为一种示例，提取模块420可从深度图像中提取目标人体的人脸的轮廓特征、人脸中各器官点的特征信息。其中，该器官点可包括嘴唇、眼睛、眉毛、鼻子、脸型、耳朵等。
可以理解，由于深度图像为一个三维图像，每个像素都可由一个三维坐标表示，所以，从该深度图像中提取出的人脸的面部特征信息也为三维数据，即该面部特征信息中的每个像素点也均由一个三维坐标表示。因此，本申请提取出的面部特征信息相较于传统的2D人脸识别提取出的面部特征信息而言，更加能够重现实物的真实性，提取的面部特征更加精确。
识别模块430用于根据人脸的面部特征信息，确定深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。其中，上述参考面部特征信息可以是预先设定的，例如，可预先获取用户的人脸的面部特征信息，并将该面部特征信息作为参考面部特征信息并预先进行存储，以便后续进行人脸识别时，将待识别的人脸的面部特征信息与该参考面部特征信息进行比较，以检测该待识别的人脸是否为合法的。
也就是说，在提取模块420从深度图像中提取出人脸的面部特征信息之后，识别模块430可将该人脸的面部特征信息与参考面部特征信息进行匹配，在匹配的相似度大于或等于一定阈值时，可认定该深度图像中的人脸与参考面部特征信息对应的人脸是同一个人脸，即判定该目标人体的人脸通过认证；在匹配的相似度小于所述一定阈值时，可认定该深度图像中的人脸与参考面部特征信息对应的人脸不是同一个人脸，即判定该目标人体的人脸认证未通过。
根据本发明实施例的人脸识别装置，可通过移动终端的投射装置和摄像头获取目标人体的深度图像，并从该深度图像中提取人脸的面部特征信息，并根据该人脸的面部特征信息，确定深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。即通过投射装置和摄像头获取目标人体的深度图像，使得从该深度图像中提出的人脸的面部特征信息具有三维特性，相较于传统的2D人脸识别提取出的面部特征信息而言，更加能够重现实物的真实性，不会受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此，根据该具有三维特性的面部特征信息进行人脸识别，大大提高了人脸识别的精确度，提升了用户体验。
上述人脸识别装置中各个模块的划分仅用于举例说明，在其他实施例中，可将人脸识别装置按照需要划分为不同的模块，以完成上述人脸识别装置的全部或部分功能。
本发明实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以下步骤：
S110’，通过移动终端的投射装置和摄像头，获取目标人体的深度图像；
S120’，从所述深度图像中提取人脸的面部特征信息；
S130’，根据所述人脸的面部特征信息，确定所述深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。
本发明实施例还提供一种移动终端。上述移动终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图6为一个实施例中图像处理电路的示意图。如图6所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图6所示，图像处理电路包括成像设备610、ISP处理器630和控制逻辑器640。成像设备610可包括具有一个或多个透镜612、图像传感器614的摄像头和结构光投射器616。结构光投射器616将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器614捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器630，由ISP处理器630对结构光图像进行解调获取被测物的深度信息。同时，图像传感器614也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器614分别捕捉被测物的结构光图像和色彩信息。
其中，以散斑结构光为例，ISP处理器630对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。
当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器630接收到图像传感器614捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器630对图像数据进行分析以获取可用于确定和/或成像设备610的一个或多个控制参数的图像统计信息。图像传感器614可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器614可获取用图像传感器614的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器630处理的一组原始图像数据。
ISP处理器630按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器630可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器630还可从图像存储器620接收像素数据。图像存储器620可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。
当接收到原始图像数据时，ISP处理器630可进行一个或多个图像处理操作。
在ISP处理器630获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。
三维图像的图像数据可发送给图像存储器620，以便在被显示之前进行另外的处理。ISP处理器630从图像存储器620接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器660，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器630的输出还可发送给图像存储器620，且显示器660可从图像存储器620读取图像数据。在一个实施例中，图像存储器620可被配置为实现一个或多个帧缓冲器。此外，ISP处理器630的输出可发送给编码器/解码器650，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器660设备上之前解压缩。编码器/解码器650可由CPU或GPU或协处理器实现。
ISP处理器630确定的图像统计信息可发送给控制逻辑器640单元。控制逻辑器640可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备610的控制参数。
以下为运用图6中图像处理技术实现人脸识别方法的步骤：
S610’，通过移动终端的投射装置和摄像头，获取目标人体的深度图像；
S620’，从所述深度图像中提取人脸的面部特征信息；
S630’，根据所述人脸的面部特征信息，确定所述深度图像中的人脸与预设的参考面部特征信息对应的人脸是否为同一人脸。
在本发明的描述中，需要理解的是，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种人脸识别方法，其特征在于，应用于移动终端，所述移动终端包括图像处理电路，所述图像处理电路包括成像设备、图像信号处理（ISP）处理器以及控制逻辑器，所述成像设备包括一个或多个透镜、图像传感器的摄像头以及结构光投射器，所述方法包括以下步骤：
通过所述结构光投射器和摄像头，获取目标人体的结构光图像，以及所述目标人体的人脸的色彩信息；
通过所述ISP处理器解调所述结构光图像，获得所述目标人体的人脸的深度信息；
将所述色彩信息以及所述深度信息进行融合，获得所述目标人体的人脸的三维图像；
从所述三维图像中提取人脸的面部特征信息；
通过所述控制逻辑器根据所述人脸的面部特征信息，将所述面部特征信息与参考面部特征信息进行匹配，在匹配的相似度大于或等于设定阈值时，确定所述三维图像中的人脸与所述参考面部特征信息对应的人脸为同一人脸，在匹配的相似度小于所述设定阈值时，确定所述三维图像中的人脸与参考面部特征信息对应的人脸不为同一人脸。
2.如权利要求1所述的人脸识别方法，其特征在于，通过移动终端的投射装置和摄像头，获取目标人体的人脸的三维图像，包括：
通过移动终端的投射装置向目标人体所处的空间投射预设的散斑图案，并通过所述移动终端的摄像头对所述目标人体的人脸进行采集，得到带有所述散斑图案的目标人体的二维畸变图像；
利用预设公式经对所述二维畸变图像进行计算后得到所述目标人体的人脸的三维图像。
3.如权利要求2所述的人脸识别方法，其特征在于，所述预设公式为：
其中，(
)为所述目标人体的三维图像的坐标，
为所述投射装置与所述摄
像头之间的基线间距，
为所述摄像头的焦距， 
为所述投射装置向所述目标人体所处
的空间投射预设的散斑图案时的投影角度，(
)为所述带有所述散斑图案的目标人体
的二维畸变图像的坐标。
4.如权利要求1所述的人脸识别方法，其特征在于，所述从三维图像中提取人脸的面部特征信息，包括：
从所述三维图像中提取所述目标人体的人脸的轮廓特征、所述人脸中各器官点的特征信息。
5.如权利要求1所述的人脸识别方法，其特征在于，所述摄像头为前置摄像头。
6.一种人脸识别装置，其特征在于，应用于移动终端，所述移动终端包括图像处理电路，所述图像处理电路包括成像设备、图像信号处理（ISP）处理器以及控制逻辑器，所述成像设备包括一个或多个透镜、图像传感器的摄像头以及结构光投射器，包括：
获取模块，用于通过所述结构光投射器和摄像头，获取目标人体的结构光图像，以及所述目标人体的人脸的色彩信息；
提取模块，用于通过所述ISP处理器解调所述结构光图像，获得所述目标人体的人脸的深度信息；
将所述色彩信息以及所述深度信息进行融合，获得所述目标人体的人脸的三维图像；
从所述三维图像中提取人脸的面部特征信息；
识别模块，用于通过所述控制逻辑器根据所述人脸的面部特征信息，将所述面部特征信息与参考面部特征信息进行匹配，在匹配的相似度大于或等于设定阈值时，确定所述三维图像中的人脸与所述参考面部特征信息对应的人脸为同一人脸，在匹配的相似度小于所述设定阈值时，确定所述三维图像中的人脸与参考面部特征信息对应的人脸不为同一人脸。
7.如权利要求6所述的人脸识别装置，其特征在于，所述获取模块包括：
获取单元，用于通过移动终端的投射装置向目标人体所处的空间投射预设的散斑图案，并通过所述移动终端的摄像头对所述目标人体的人脸进行采集，得到带有所述散斑图案的目标人体的二维畸变图像；
计算单元，用于利用预设公式经对所述二维畸变图像进行计算后得到所述目标人体的人脸的三维图像。
8.如权利要求7所述的人脸识别装置，其特征在于，所述预设公式为：
其中，(
)为所述目标人体的三维图像的坐标，
为所述投射装置与所述摄
像头之间的基线间距，
为所述摄像头的焦距，
为所述投射装置向所述目标人体所处
的空间投射预设的散斑图案时的投影角度，(
)为所述带有所述散斑图案的目标人体
的二维畸变图像的坐标。
9.如权利要求6所述的人脸识别装置，其特征在于，所述提取模块具体用于：
从所述三维图像中提取所述目标人体的人脸的轮廓特征、所述人脸中各器官点的特征信息。
10.如权利要求6所述的人脸识别装置，其特征在于，所述摄像头为前置摄像头。
11.一种移动终端，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的人脸识别方法。
12.一种包含一个或多个计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710642126.2A CN107480613B (zh) | 2017-07-31 | 2017-07-31 | 人脸识别方法、装置、移动终端和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710642126.2A CN107480613B (zh) | 2017-07-31 | 2017-07-31 | 人脸识别方法、装置、移动终端和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107480613A CN107480613A (zh) | 2017-12-15 |
| CN107480613B true CN107480613B (zh) | 2021-03-02 |
Family
ID=60597423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710642126.2A Expired - Fee Related CN107480613B (zh) | 2017-07-31 | 2017-07-31 | 人脸识别方法、装置、移动终端和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107480613B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107845177A (zh) * | 2017-12-18 | 2018-03-27 | 信利光电股份有限公司 | 一种身份验证方法、装置、设备及计算机可读存储介质 |
| CN108415875A (zh) * | 2018-02-01 | 2018-08-17 | 深圳奥比中光科技有限公司 | 深度成像移动终端及人脸识别应用的方法 |
| CN108846310B (zh) * | 2018-04-28 | 2021-02-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN108513662A (zh) * | 2018-04-18 | 2018-09-07 | 深圳阜时科技有限公司 | 身份鉴权方法、身份鉴权装置、和电子设备 |
| CN108596145A (zh) * | 2018-05-09 | 2018-09-28 | 深圳阜时科技有限公司 | 图案投射装置、图像获取装置、人脸识别装置及电子设备 |
| CN108876708B (zh) * | 2018-05-31 | 2022-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN109145653B (zh) * | 2018-08-01 | 2021-06-25 | Oppo广东移动通信有限公司 | 数据处理方法和装置、电子设备、计算机可读存储介质 |
| CN109196520B (zh) * | 2018-08-28 | 2022-04-05 | 深圳市汇顶科技股份有限公司 | 生物特征识别装置、方法和电子设备 |
| CN109035380B (zh) * | 2018-09-11 | 2023-03-10 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN111179332B (zh) * | 2018-11-09 | 2023-12-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN109670407A (zh) * | 2018-11-26 | 2019-04-23 | 维沃移动通信有限公司 | 一种人脸识别方法及移动终端 |
| CN111241870A (zh) * | 2018-11-28 | 2020-06-05 | 深圳市帝迈生物技术有限公司 | 一种终端设备及其脸部图像的识别方法、识别系统 |
| CN109840476B (zh) * | 2018-12-29 | 2021-12-21 | 维沃移动通信有限公司 | 一种脸型检测方法及终端设备 |
| US11403884B2 (en) * | 2019-01-16 | 2022-08-02 | Shenzhen GOODIX Technology Co., Ltd. | Anti-spoofing face ID sensing |
| CN111754559A (zh) * | 2019-03-26 | 2020-10-09 | 群光电子股份有限公司 | 监控装置与监控方法 |
| CN112800819B (zh) * | 2019-11-14 | 2024-06-11 | 深圳云天励飞技术有限公司 | 一种人脸识别方法、装置及电子设备 |
| CN111597933B (zh) * | 2020-04-30 | 2023-07-14 | 合肥的卢深视科技有限公司 | 人脸识别方法和装置 |
| CN113673286B (zh) * | 2020-05-15 | 2024-04-16 | 深圳市光鉴科技有限公司 | 基于目标区域的深度重建方法、系统、设备及介质 |
| CN111598002B (zh) * | 2020-05-18 | 2023-04-07 | 北京星律动科技有限公司 | 多面部表情捕捉方法、装置、电子设备及计算机存储介质 |
| CN111696196B (zh) * | 2020-05-25 | 2023-12-08 | 合肥的卢深视科技有限公司 | 一种三维人脸模型重建方法及装置 |
| CN113850726A (zh) * | 2020-06-28 | 2021-12-28 | 华为技术有限公司 | 图像变换方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7203356B2 (en) * | 2002-04-11 | 2007-04-10 | Canesta, Inc. | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045347B (zh) * | 2010-11-30 | 2013-08-07 | 华为技术有限公司 | 协议识别方法和装置 |
| CN102622591B (zh) * | 2012-01-12 | 2013-09-25 | 北京理工大学 | 3d人体姿态捕捉模仿系统 |
| CN104680168A (zh) * | 2015-03-10 | 2015-06-03 | 无锡桑尼安科技有限公司 | 用于公路地貌识别的特征向量提取设备 |
| CN106774856B (zh) * | 2016-08-01 | 2019-08-30 | 深圳奥比中光科技有限公司 | 基于唇语的交互方法以及交互装置 |
| CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
-
2017
- 2017-07-31 CN CN201710642126.2A patent/CN107480613B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7203356B2 (en) * | 2002-04-11 | 2007-04-10 | Canesta, Inc. | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107480613A (zh) | 2017-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107480613B (zh) | 人脸识别方法、装置、移动终端和计算机可读存储介质 | |
| CN107491744B (zh) | 人体身份识别方法、装置、移动终端和存储介质 | |
| CN107564050B (zh) | 基于结构光的控制方法、装置和终端设备 | |
| CN107481317A (zh) | 人脸3d模型的面部调整方法及其装置 | |
| CN107563304A (zh) | 终端设备解锁方法及装置、终端设备 | |
| CN107509043B (zh) | 图像处理方法、装置、电子装置及计算机可读存储介质 | |
| CN107707839A (zh) | 图像处理方法及装置 | |
| CN107623817A (zh) | 视频背景处理方法、装置和移动终端 | |
| CN107392874B (zh) | 美颜处理方法、装置及移动设备 | |
| CN107464280B (zh) | 用户3d建模的匹配方法和装置 | |
| CN107895110A (zh) | 终端设备的解锁方法、装置及移动终端 | |
| CN107657652A (zh) | 图像处理方法和装置 | |
| CN107423716A (zh) | 人脸状态监控方法及装置 | |
| CN107705278B (zh) | 动态效果的添加方法和终端设备 | |
| CN107623832A (zh) | 视频背景替换方法、装置和移动终端 | |
| CN107707838A (zh) | 图像处理方法和装置 | |
| CN107742300A (zh) | 图像处理方法、装置、电子装置和计算机可读存储介质 | |
| CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
| CN107592490A (zh) | 视频背景替换方法、装置和移动终端 | |
| CN108052813A (zh) | 终端设备的解锁方法、装置及移动终端 | |
| CN107610127A (zh) | 图像处理方法、装置、电子装置和计算机可读存储介质 | |
| CN107610078A (zh) | 图像处理方法和装置 | |
| CN107613239A (zh) | 视频通信背景显示方法和装置 | |
| CN107622496A (zh) | 图像处理方法及装置 | |
| CN106991376B (zh) | 结合深度信息的侧脸验证方法及装置与电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210302 |