[go: up one dir, main page]

CN113963420B - 一种基于深度学习的三维人脸识别方法 - Google Patents

一种基于深度学习的三维人脸识别方法 Download PDF

Info

Publication number
CN113963420B
CN113963420B CN202111326034.6A CN202111326034A CN113963420B CN 113963420 B CN113963420 B CN 113963420B CN 202111326034 A CN202111326034 A CN 202111326034A CN 113963420 B CN113963420 B CN 113963420B
Authority
CN
China
Prior art keywords
face
dimensional
color
training sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111326034.6A
Other languages
English (en)
Other versions
CN113963420A (zh
Inventor
车建强
曹予飞
尹茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinxun Digital Technology Hangzhou Co ltd
Original Assignee
Xinxun Digital Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinxun Digital Technology Hangzhou Co ltd filed Critical Xinxun Digital Technology Hangzhou Co ltd
Priority to CN202111326034.6A priority Critical patent/CN113963420B/zh
Publication of CN113963420A publication Critical patent/CN113963420A/zh
Application granted granted Critical
Publication of CN113963420B publication Critical patent/CN113963420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的三维人脸识别方法，包括：构建人脸三维深度学习网络，计算每个训练样本的高频‑深度映射图，然后将每个训练样本的彩色人脸二维图像和高频‑深度映射图同时输入人脸三维深度学习网络中训练；使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待测人脸的人员信息。本发明属于信息技术领域，能充分利用人脸的深度信息来有效提高人脸识别结果的可靠性。

Description

一种基于深度学习的三维人脸识别方法
技术领域
本发明涉及一种基于深度学习的三维人脸识别方法，属于信息技术领域。
背景技术
人脸识别是指利用分析人脸视觉特征信息进行身份鉴别的计算机技术，属于非接触式识别，具有很高的隐蔽性，被广泛应用于办公场地、工地等安全系数要求较高的领域。
近年来，随着深度学习技术的发展，利用神经网络的人脸识别技术日渐成熟，相关应用也日渐落地，但由于在人脸成像过程中损失了深度信息，所有识别结果的可靠性仍有不足。
因此，如何充分利用人脸的深度信息来有效提高人脸识别结果的可靠性，已成为现有技术中亟待解决的技术问题之一。
发明内容
有鉴于此，本发明的目的是提供一种基于深度学习的三维人脸识别方法，能充分利用人脸的深度信息来有效提高人脸识别结果的可靠性。
为了达到上述目的，本发明提供了一种基于深度学习的三维人脸识别方法，包括有：
步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频-深度映射图，然后将每个训练样本的彩色人脸二维图像和高频-深度映射图同时输入人脸三维深度学习网络中进行训练；
步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；
步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待测人脸的人员信息，
计算任一训练样本X的高频-深度映射图，进一步包括有：
步骤11、对训练样本X的彩色人脸二维图像进行傅里叶频谱变换，从而获得训练样本X的频谱图；
步骤12、从训练样本X的彩色人脸二维图像上提取若干关键点，然后从训练样本X的频谱图上读取每个关键点的频谱值，并据此计算高通滤波函数的截断值D0，D0是所有关键点的频谱值的平均值；
步骤13、设定高通滤波函数，并将训练样本X的频谱图通过高通滤波函数以获得滤波后的高频图，高通滤波函数设置如下：其中，D(u，v)是训练样本X的频谱图上坐标(u，v)的频谱值，n是阶次常数，取2或者4，H(u，v)是滤波后得到的频谱值；
步骤14、将训练样本X的高频图进行反向傅里叶变换，从而获得高频彩色人脸二维图像；
步骤15、将高频彩色人脸二维图像中每个点的亮度值和阈值比对，并将高于阈值的亮度值替换成深度值，当比对完所有点后，所获得的高频彩色人脸二维图像即是训练样本X的高频-深度映射图。
与现有技术相比，本发明的有益效果是：本发明将人脸深度信息加入到神经网络的训练过程中，弥补了深度信息的缺失，从而有效提高了人脸识别结果的可靠性；本发明仅采用一个摄像头，只需要获取被测人脸的单张图像，并结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低、精度高。
附图说明
图1是本发明一种基于深度学习的三维人脸识别方法的流程图。
图2是计算任一训练样本X的高频-深度映射图的具体流程图。
图3是图1步骤三中，根据待测人脸的彩色人脸二维图像和三维点云坐标计算三维人脸特征向量的具体流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
如图1所示，本发明一种基于深度学习的三维人脸识别方法，包括有：
步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频-深度映射图，然后将每个训练样本的彩色人脸二维图像和高频-深度映射图同时输入人脸三维深度学习网络中进行训练；
步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；
步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待测人脸的人员信息。
人脸注册时，可以利用3d传感器准确记录其三维信息，并生成三维人脸特征向量，最后将注册人脸的三维人脸特征向量存入注册库中。
步骤一中人脸三维深度学习网络的具体结构构建如下：
基于tensorflow框架实现，并采用编码-解码(即encoder-decoder)结构：在encoder部分中，包含1个卷积层、7个残差层，从而可以将输入的250*250*3的人脸二维图像转变为16*16*1024的特征图；在decoder部分中，设置9个反卷积层，从而可以将特征图转变为250*250*1的三维深度图，再通过三维深度图和点云之间固定的转换关系，将三维深度图转变成三维点云输出，卷积层和反卷积层核的大小均为4，激活函数采用Softplus。这样，当输入250*250*3的彩色人脸二维图像后，人脸三维深度学习网络的输出是250*250的三维点云坐标(共62500个)。
值得一提的是，在训练人脸三维深度学习网络时，本发明可以通过计算每个训练样本的高频-深度映射图，并将每个训练样本的彩色人脸二维图像和高频-深度映射图同时输入人脸三维深度学习网络中进行训练，从而使得训练后得到的模型参数中，人脸图像中的一般特征(即人脸中比较普通、难以用来进行识别的特征)的权重降低，个性特征(即人脸中比较有个性、有助于准确识别的特征)的权重提高，显著提高人脸识别的准确性。如图2所示，计算任一训练样本X的高频-深度映射图，可以进一步包括有：
步骤11、对训练样本X的彩色人脸二维图像进行傅里叶频谱变换，从而获得训练样本X的频谱图；
步骤12、从训练样本X的彩色人脸二维图像上提取若干关键点，所述关键点可以是眉毛、眼睛、鼻子、嘴巴、面部轮廓等，然后从训练样本X的频谱图上读取每个关键点的频谱值，并据此计算高通滤波函数的截断值D0，D0是所有关键点的频谱值的平均值；
步骤13、设定高通滤波函数，并将训练样本X的频谱图通过高通滤波函数以获得滤波后的高频图，高通滤波函数设置如下：其中，D(u，v)是训练样本X的频谱图上坐标(u，v)的频谱值，n是阶次常数，取2或者4，H(u，v)是滤波后得到的频谱值；如此可以有效的除去低频信息，并获得所需要的高频信息；
步骤14、将训练样本X的高频图进行反向傅里叶变换，从而获得高频彩色人脸二维图像；
步骤15、将高频彩色人脸二维图像中每个点的亮度值和阈值比对，并将高于阈值的亮度值替换成深度值：判断每个点的亮度值是否高于阈值，如果是，则从训练样本X的三维点云中读取该点的三维坐标，并将所读取的三维坐标转化成深度值，然后将该点的亮度值替换成深度值；如果否，则继续判断下一个点，当比对完所有点后，所获得的高频彩色人脸二维图像即是训练样本X的高频-深度映射图。其中，训练样本X的三维点云可以使用深度相机采集训练样本而得到，阈值可以根据实际业务需要而设置，例如20。
如图3所示，步骤三中，根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，可以进一步包括有：
步骤31、将待测人脸的二维图像进行人脸检测、裁剪、对齐后，转化成浮点型矩阵，然后计算对应的二维图像特征向量，所述二维图像特征向量是大小为512的一维向量；
步骤32、根据待测人脸的三维点云坐标，以鼻尖为坐标原点，以双眼连线为横轴方向x，以鼻尖和嘴唇中间连线为纵轴方向y，建立笛卡尔xyz直角坐标系，从而得到人脸三维点云矩阵，然后计算对应的三维点云特征向量，所述三维点云特征向量是大小为3*512的三维向量；
步骤33、设置权重因子，将二维图像特征向量和三维点云特征向量进行融合，融合后得到的特征向量即是三维人脸特征向量，其中，二维人脸特征、x方向特征、y方向特征、z方向特征的权重因子可以分别设置为：0.5、0.17、0.17、0.16。
步骤三中，将待测人脸的三维人脸特征向量和注册库中任一已注册人脸的三维人脸特征向量进行对比，可以进一步包括有：
步骤A1、计算待测人脸的三维人脸特征向量A和已注册人脸的三维人脸特征向量B之间的余弦相似度，其计算公式可以是：其中，A·B表示向量A和B的点积，||A||2表示向量A的L2范数，||B||2表示向量B的L2范数；
步骤A2、计算待测人脸和已注册人脸的余弦距离：dist(A，B)＝1-cos(A，B)，余弦距离越大，则表示二者之间的相似性越低，并据此判断待测人脸是否是已注册人脸。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种基于深度学习的三维人脸识别方法，其特征在于，包括有：
步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频-深度映射图，然后将每个训练样本的彩色人脸二维图像和高频-深度映射图同时输入人脸三维深度学习网络中进行训练；
步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；
步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待测人脸的人员信息，
计算任一训练样本X的高频-深度映射图，进一步包括有：
步骤11、对训练样本X的彩色人脸二维图像进行傅里叶频谱变换，从而获得训练样本X的频谱图；
步骤12、从训练样本X的彩色人脸二维图像上提取若干关键点，然后从训练样本X的频谱图上读取每个关键点的频谱值，并据此计算高通滤波函数的截断值D0，D0是所有关键点的频谱值的平均值；
步骤13、设定高通滤波函数，并将训练样本X的频谱图通过高通滤波函数以获得滤波后的高频图，高通滤波函数设置如下：其中，D(u,v)是训练样本X的频谱图上坐标(u,v)的频谱值，n是阶次常数，取2或者4，H(u,v)是滤波后得到的频谱值；
步骤14、将训练样本X的高频图进行反向傅里叶变换，从而获得高频彩色人脸二维图像；
步骤15、将高频彩色人脸二维图像中每个点的亮度值和阈值比对，并将高于阈值的亮度值替换成深度值，当比对完所有点后，所获得的高频彩色人脸二维图像即是训练样本X的高频-深度映射图。
2.根据权利要求1所述的方法，其特征在于，步骤一中人脸三维深度学习网络的具体结构构建如下：
基于tensorflow框架实现，并采用编码-解码encoder-decoder结构：在encoder部分中，包含1个卷积层、7个残差层，从而将输入的250*250*3的人脸二维图像转变为16*16*1024的特征图；在decoder部分中，设置9个反卷积层，从而将特征图转变为250*250*1的三维深度图，再通过三维深度图和点云之间固定的转换关系，将三维深度图转变成三维点云输出，卷积层和反卷积层核的大小均为4，激活函数采用Softplus。
3.根据权利要求1所述的方法，其特征在于，步骤15进一步包括有：
判断每个点的亮度值是否高于阈值，如果是，则从训练样本X的三维点云中读取该点的三维坐标，并将所读取的三维坐标转化成深度值，然后将该点的亮度值替换成深度值；如果否，则继续判断下一个点。
4.根据权利要求1所述的方法，其特征在于，步骤三中，根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，进一步包括有：
步骤31、将待测人脸的彩色人脸二维图像进行人脸检测、裁剪、对齐后，转化成浮点型矩阵，然后计算对应的二维图像特征向量，所述二维图像特征向量是大小为512的一维向量；
步骤32、根据待测人脸的三维点云坐标，以鼻尖为坐标原点，以双眼连线为横轴方向x，以鼻尖和嘴唇中间连线为纵轴方向y，建立笛卡尔xyz直角坐标系，从而得到人脸三维点云矩阵，然后计算对应的三维点云特征向量，所述三维点云特征向量是大小为3*512的三维向量；
步骤33、设置权重因子，将二维图像特征向量和三维点云特征向量进行融合，融合后得到的特征向量即是三维人脸特征向量。
5.根据权利要求4所述的方法，其特征在于，步骤33中，二维人脸特征、x方向特征、y方向特征、z方向特征的权重因子分别设置为：0.5、0.17、0.17、0.16。
6.根据权利要求1所述的方法，其特征在于，步骤三中，将待测人脸的三维人脸特征向量和注册库中任一已注册人脸的三维人脸特征向量进行对比，进一步包括有：
步骤A1、计算待测人脸的三维人脸特征向量A和已注册人脸的三维人脸特征向量B之间的余弦相似度，其计算公式是：其中，A·B表示向量A和B的点积，‖A‖2表示向量A的L2范数，‖B‖2表示向量B的L2范数；
步骤A2、计算待测人脸和已注册人脸的余弦距离：dist(A,B)＝1-cos(A,B)，并据此判断待测人脸是否是已注册人脸。
CN202111326034.6A 2021-11-10 2021-11-10 一种基于深度学习的三维人脸识别方法 Active CN113963420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111326034.6A CN113963420B (zh) 2021-11-10 2021-11-10 一种基于深度学习的三维人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111326034.6A CN113963420B (zh) 2021-11-10 2021-11-10 一种基于深度学习的三维人脸识别方法

Publications (2)

Publication Number Publication Date
CN113963420A CN113963420A (zh) 2022-01-21
CN113963420B true CN113963420B (zh) 2025-01-07

Family

ID=79469931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111326034.6A Active CN113963420B (zh) 2021-11-10 2021-11-10 一种基于深度学习的三维人脸识别方法

Country Status (1)

Country Link
CN (1) CN113963420B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546835A (zh) * 2022-10-14 2022-12-30 广东华穗科技有限公司 一种基于ai的口罩佩戴检测方法和系统
CN116682181A (zh) * 2023-05-31 2023-09-01 四川新网银行股份有限公司 一种基于震动信号的活体检测方法、设备及存储介质
GB202312687D0 (en) * 2023-08-18 2023-10-04 Rewire Holding Ltd System and method
CN118172820B (zh) * 2024-04-15 2024-09-20 中国矿业大学 一种应用于点云的三维人脸识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077796A (zh) * 2013-03-28 2014-10-01 北京京东方光电科技有限公司 一种将二维图像转换为三维图像的方法和装置
CN108133459A (zh) * 2016-12-01 2018-06-08 北京大学 深度图增强方法和深度图增强装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN105956582B (zh) * 2016-06-24 2019-07-30 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
CN112966670A (zh) * 2021-04-08 2021-06-15 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN113239885A (zh) * 2021-06-04 2021-08-10 新大陆数字技术股份有限公司 一种人脸检测与识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077796A (zh) * 2013-03-28 2014-10-01 北京京东方光电科技有限公司 一种将二维图像转换为三维图像的方法和装置
CN108133459A (zh) * 2016-12-01 2018-06-08 北京大学 深度图增强方法和深度图增强装置

Also Published As

Publication number Publication date
CN113963420A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN113963420B (zh) 一种基于深度学习的三维人脸识别方法
CN109978871B (zh) 融合概率型和确定型纤维束追踪的纤维束筛选方法
CN116152697B (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN108154066B (zh) 一种基于曲率特征递归神经网络的三维目标识别方法
CN109063572A (zh) 一种基于多尺度和多卷积层特征融合的指纹活性检测方法
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
CN111639629A (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
CN104834905A (zh) 一种人脸图像识别仿真系统及方法
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
CN111127417A (zh) 一种基于sift特征匹配和改进的ssd算法的软包装卷料印刷缺陷检测方法
CN111833307A (zh) 一种风力机叶片裂纹诊断方法及装置
CN110874587A (zh) 一种人脸特征参数提取系统
WO2024255161A1 (zh) 一种人脸防伪方法、装置及存储介质
CN116893162A (zh) 基于yolo及注意力神经网络的罕见抗核抗体核型探测方法
CN114581984A (zh) 一种基于低秩注意力机制的口罩人脸识别算法
CN118570852A (zh) 一种基于深度学习的人脸衰老指数评价系统
CN118089669A (zh) 一种基于航空测绘技术的地形测绘系统及测绘方法
CN100561500C (zh) 基于受限玻尔兹曼机神经网络的人脸姿态识别方法
CN113963427B (zh) 一种快速活体检测的方法与系统
CN113870351B (zh) 基于单目视觉的室内大场景行人指纹定位方法
CN115601807A (zh) 一种适用在线考试系统的人脸识别方法及其工作方法
Arunkumar et al. Estimation of vehicle distance based on feature points using monocular vision
CN109886091A (zh) 基于带权重局部旋度模式的三维人脸表情识别方法
CN119888410A (zh) 基于数据筛选优化的多视角协同跨模态3d感知模型训练方法
CN120124032A (zh) 基于人脸图像处理的智能锁解锁方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310013 4th floor, No.398 Wensan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Xinxun Digital Technology (Hangzhou) Co.,Ltd.

Address before: 310013 4th floor, No.398 Wensan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: EB Information Technology Ltd.

GR01 Patent grant
GR01 Patent grant