CN118172820B - 一种应用于点云的三维人脸识别方法 - Google Patents
一种应用于点云的三维人脸识别方法 Download PDFInfo
- Publication number
- CN118172820B CN118172820B CN202410451210.6A CN202410451210A CN118172820B CN 118172820 B CN118172820 B CN 118172820B CN 202410451210 A CN202410451210 A CN 202410451210A CN 118172820 B CN118172820 B CN 118172820B
- Authority
- CN
- China
- Prior art keywords
- face
- point
- point cloud
- data
- method applied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 17
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 17
- 210000000887 face Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000002679 ablation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种应用于点云的三维人脸识别方法，属于三维人脸识别技术领域。该方法包括以下步骤：S1、采用3DMM进行3D人脸数据生成；S2、构建基于KPConv的人脸点云识别网络结构；S3、采用改进后的中心损失函数进行网络优化。本发明采用上述的一种应用于点云的三维人脸识别方法，提高了点云三维人脸的识别率，找到了识别效率与训练数据之间的最优关系，节约了时间成本和运算成本，突出了本方法的有效性和潜力。
Description
技术领域
本发明涉及三维人脸识别技术领域，尤其涉及一种应用于点云的三维人脸识别方法。
背景技术
三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此，在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多研究者都将研究重点投入到该领域中。其中，2010年12月29日公开的201010256907.6号中国发明专利申请提出了采用三维弯曲不变量的相关特征用来进行人脸特性描述的方法，但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用。
而2011年5月4日公开的200910197378.4号中国发明专利申请则提出了一种全自动三维人脸检测和姿势纠正的方法，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系，并据此自动地进行人脸姿势的纠正应用。该方法目的在于对三维人脸数据的姿态进行估计，属于三维人脸识别系统的数据预处理阶段。但是上述的方法往往容易因为姿态的不同导致识别效率与训练数据之间关系不一致问题，导致大姿态变化的人脸识别准确性很低。
发明内容
本发明的目的是提供一种应用于点云的三维人脸识别方法，提高了点云三维人脸的识别率，找到识别效率与训练数据之间的最优关系，节约时间成本和运算成本，突出了本方法的有效性和潜力。
为实现上述目的，本发明提供了一种应用于点云的三维人脸识别方法，包括以下步骤：
S1、采用3DMM进行3D人脸数据生成；
S2、构建基于KPConv的人脸点云识别网络结构；
S3、采用改进后的中心损失函数进行网络优化。
优选的，在步骤S1生成3D人脸数据中，以PCA为基础学习遵循高斯分布的形状、纹理、表情属性特征，具体如下所示：
其中，S表示生成的人脸，p表示一个特定的形状，由均值向量和各个主成分即特征向量的线性组合构成；是所有形状向量的平均值，αs是主成分系数，Us是特征向量矩阵，Ue是噪声特征向量矩阵，αe是噪声系数。
优选的，引入数据增强算法，提高数据的多样性，即公式(1)中的噪声表示为面部表情变化与人脸姿势变化，如下所示：
其中，p表示主成分特征向量，是平均人脸，Usα主成分形状特征矩阵，Ue为PCA基函数，β为表情系数；R为旋转矩阵，表示人脸的旋转；M缩放矩阵，表示人脸的缩放；L为位移矩阵，表示人脸的位移；G为人脸姿势的参数化函数，通过控制姿势参数γ，对人脸进行旋转、缩放和位移。
优选的，在生成人脸时，从β与γ中随机选取一个βi和γi，得到βi与γi，如下所示：
βi＝λβ-(1-λ)μ1 (3)
γi＝λγ-(1-λ)μ2 (4)
其中，λ是(0,1)；μ为之间的随机值，遵循正态分布。
优选的，在步骤S2构建人脸点云识别网络结构中，给定一组面部点云(P1，P2)，设计一个直接输入点云坐标的端到端网络，保证三维数据的旋转不变性和变换不变性，验证是否属于一个身份，网络的输出一个特征向量，采用余弦相似度来反映两个输入人脸特征向量之间属于同一主题抓取的概率。
优选的，基于KPConv的网络架构，引入一个可学习的卷积核，用来计算每个点的特征，对每个点i周围的领域集合执行卷积运算，并对每个邻域内的点j计算一个权重表示点j对点i的影响；随后，将这些邻域内的点的特征向量按照对应的权重进行加权求和，得到点i的特征向量θ，如下所示：
其中，xi表示第i个点，fθ(xi)表示第i个点的特征，sj表示第j个点的位置，θ表示特征向量，是卷积核的权重参数，Ν(xi)是第i个点的邻域集合。
优选的，在步骤S3进行网络优化中，在计算每个点云特征向量与其所属类别中心的距离时，利用特征嵌入之间的余弦相似度作为匹配分数的分类器，对不同长度的人脸特征向量做出正确的判断，如下所示：
其中，Lc表示损失函数，xi'表示更新后的点，N为点云总数，d表示计算两个向量之间的余弦距离，表示第i个样本所属类别yi的类别中心；m表示总的类别数，cj表示第j个类别的类别中心，λ表示正则化项系数。
因此，本发明采用上述一种应用于点云的三维人脸识别方法，提高了点云三维人脸的识别率，找到识别效率与训练数据之间的最优关系，节约时间成本和运算成本，突出了本方法的有效性和潜力。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明一种应用于点云的三维人脸识别方法的三维人脸点云识别框架图；
图2是本发明一种应用于点云的三维人脸识别方法的基于kpconv的三维人脸识别网络架构图；
图3是本发明一种应用于点云的三维人脸识别方法的卷积核与点云上的每个点相关联图；
图4是本发明一种应用于点云的三维人脸识别方法的基于不同训练量的对比。
具体实施方式
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。
如图1所示，本发明提出了一种应用于点云的三维人脸识别方法，首先准备训练用的合成数据，再介绍网络架构，然后讨论训练细节，具体步骤如下：
S1、采用3DMM进行3D人脸数据生成；
S2、构建基于KPConv的人脸点云识别网络结构；
S3、采用改进后的中心损失函数进行网络优化。
实施例1
S1、采用3DMM进行3D人脸数据生成；
针对3DMM面部细节表现能力差，灵活度低等问题，决定采用具有更强形变表达能力的3DMM进行3D人脸数据生成，以PCA为基础学习遵循高斯分布的形状、纹理、表情等属性特征，如下所示：
其中，S表示生成的人脸，p表示一个特定的形状，由均值向量和各个主成分即特征向量的线性组合构成；是所有形状向量的平均值，αs是主成分系数，Us是特征向量矩阵，Ue是噪声特征向量矩阵，αe是噪声系数。
根据上述特征，加入了数据增强算法(面部表情变化、人脸姿势变化)，应对实际应用中的姿态和噪声等问题，解决现有的3D人脸数据的少样本问题，提高数据的多样性，即公式(1)中的噪声表示为面部表情变化与人脸姿势变化，如下所示：
其中，p表示主成分特征向量，是平均人脸，Usα主成分形状特征矩阵，Ue为PCA基函数，β为表情系数；R为旋转矩阵，表示人脸的旋转；M缩放矩阵，表示人脸的缩放；L为位移矩阵，表示人脸的位移；G为人脸姿势的参数化函数，通过控制姿势参数γ，对人脸进行旋转、缩放和位移。
在训练样本正态分布和均值估计正确的假设下，系数α、β是独立的且具有单位方差的正态分布。通过从该分布中抽取随机样本，生成具有独特形状α和表情β的随机3D面部网格。
为了使训练数据进一步接近真实数据，提出了一种以真实数据作为主成分系数生成训练数据的指导。在真实人脸数据集FRGCv2.0子集中计算每个人脸的表情系数β与姿态参数γ。在生成人脸时，从β与γ中随机选取一个βi和γi，得到βi与γi，具体如下：
βi＝λβ-(1-λ)μ1 (3)
γi＝λγ-(1-λ)μ2 (4)
其中，λ是(0,1)；μ为之间的随机值，遵循正态分布。
将(3)(4)代入式(2)生成人脸，这样生成的人脸可以覆盖更多数据集中与真实人脸相似的表情。实验表明，该策略可以显著提高带有表情的人脸的识别率。
最终，总共为唯一身份生成了10000个独立的α，为表情生成了2000个β，为姿势生成了50个γ。人脸点云数据与其他点云数据(椅子、桌子)不同的是，人脸最明显的特征变化集中在眼睛、鼻子、嘴巴等局部区域，且这些区域会根据姿势和表情的变化而变化。根据这个特点，有提出了一种基于KPConv的网络结构来提取3D面部特征。
S2、构建基于KPConv的人脸点云识别网络结构；
与传统的基于学习的三维人脸识别方法不同，本发明是给定一组面部点云(P1，P2)，设计一个直接输入点云坐标的端到端网络，在保证三维数据的旋转不变性和变换不变性等优点的同时验证是否属于一个身份，网络的输出是一个特征向量，采用余弦相似度来反映两个输入人脸特征向量之间属于同一主题抓取的概率，如图2所示。
通过利用基于KPConv的网络架构来提高人脸识别任务的准确性。如图3所示，KPConv引入了一个可学习的卷积核，表示为一个核点，类似于一个半径可调的球形区域。该核被用来计算每个点的特征。对每个点i周围的领域集合执行卷积运算，并对每个邻域内的点j计算一个权重表示点j对点i的影响。随后，将这些邻域内的点的特征向量按照对应的权重进行加权求和，得到点i的特征向量θ，如下所示，
其中，xi表示第i个点，fθ(xi)表示第i个点的特征，sj表示第j个点的位置，θ表示特征向量，是卷积核的权重参数，Ν(xi)是第i个点的邻域集合。
S3、采用改进后的中心损失函数进行网络优化；
根据人脸数据具有较高的类内相似性和类间差异性，因此采用改进后的中心损失函数进行网络优化，具体如下：
其中，Lc表示损失函数，xi'表示更新后的点，N为点云总数，d表示计算两个向量之间的余弦距离，表示第i个样本所属类别yi的类别中心；m表示总的类别数，cj表示第j个类别的类别中心，λ表示正则化项系数。
在计算每个点云特征向量与其所属类别中心的距离时，使用余弦相似度替换原来的欧氏距离，目的是利用余弦计算2个特征向量之间的夹角，更加关注人脸数据的方向，对于不同长度的人脸特征向量能够做出正确的判断，对人脸学习更就加有效。
实施例2
1.数据集的采集
在实施例中，使用两个公共可用数据集(FRGCv2数据集和Bosphorus数据集)来测试提出的3D人脸识别网络，使用Rank-1Identification Rate。
首先，FRGCv2(Face Recognition Grand Challenge version 2.0)是一个面部识别数据集，包含466个人的每个人大约1,432张拍摄在不同的光照和表情下面部图像，有单个静态图像、视频序列和3D重建模型，以及性别、种族和年龄信息。
数据集的组成包含两部分：Gallery和Probe。Gallery部分包含着每个被试的一组正面静态图像(1-4张)，Probe部分包含着若干查询图像，每个查询图像都是一张正面图像，这些查询图像来自不同的图像组，并且与Gallery中的图像没有重叠。每个查询图像的任务是在Gallery部分中找到最相似的图像，并在Gallery部分中测量检索性能。
在实验中，使用FRGCv2数据集的一部分作为真实数据来训练网络。具体来说，随机选取其中530张人脸作为真实数据引导，另外473张人脸作为真实数据验证集。
Bosphorus是由土耳其博格阿兹奇大学计算机工程系和电子工程系联合研究开发，收集了不同人种、不同年龄、不同性别的个体的面部表情和形态信息，用于三维人脸建模和分析的数据集。包含105个个体的面部信息，每个个体均拍摄了2到4个包括微笑、张嘴、闭嘴、张眼、闭眼等面部表情和形态信息，总共包含4665张图像。数据集采集的三维面部模型具有高分辨率和丰富的面部细节信息，可以提供更准确和细致的面部分析。
2.数据预处理
在3D人脸识别的应用中，鼻尖通常被视为原点，并以此进行归一化处理。首先，使用Zhang等人脸检测和关键点定位算法，在2D图像域中检测鼻尖的位置，并确定其在图像上的像素坐标。接下来，通过将鼻尖的2D像素坐标与深度图像或3D点云对齐，将其转换为3D空间中的坐标。然后，通过将鼻尖的坐标设置为3D点云数据的坐标原点，对所有点进行坐标变换，将鼻尖的坐标设置为原点(0,0,0)。
为了解决可能存在的非面部区域的干扰，基于鼻尖建立一个半径为90mm的球体，并移除球体外的点，以确保只保留与面部相关的点云数据。最后，通过设置最近邻居的阈值去除可能存在的异常值或噪声，排除距离过远或不符合人脸形状的点。通过这些预处理步骤，能够将鼻尖作为坐标原点，处理3D人脸点云数据中的非面部区域和异常值，获得更准确和一致的数据表示。
3.消融研究
对于消融调查，评估主要集中在博斯普鲁斯数据集的准确性上，重点是由文件名约定“N_N_0”从博斯普鲁斯数据集中识别的中性扫描子集，这种方法允许快速和有效的比较。
(1)DFaceNet网络架构的有效性
在博斯普鲁斯数据集上进行了消融研究，将实验分为没有使用人脸点云识别网络和使用点云识别网络的定量结果，如表1所示。其中“Rank-1识别率”表示将查询图像与数据库中所有项目进行比较后，识别算法返回的匹配项目在所有可能匹配项目中排名第一的识别率。
在博斯普鲁斯数据集上，rank-1识别率提高了1.68，表明了使用点云识别网络的显著有效性。
表1在3DFaceNet中加入消融研究
(2)训练数据量的有效性
尽管训练数据可以视情况无限生成，但是太多的数据会导致时间资源浪费，识别效率低下，所以应该找到识别效率与训练数据之间的最优关系。经过大量的实验，确定了8000个训练样本，每个样本包含150个表情，在Bosphorus数据集上的rank-1识别率达到最优比为99.33％，如图4所示。可以看出，如果使用更大的数据量，可能会获得略高的识别率，但这通常会花费成倍的时间成本，这被认为是不必要的。
(3)与其他方法的比较
根据上述的消融研究，采用3DFaceNet网络架构，并将point+Normal的输入模态作为最终模型。在实施例中，使用最终模型与公共3D人脸数据集Bosphorus和FRGC v2上与其他方法进行比较。
如表2所示，使用FRGC v2.0数据集将本发明提出的方法与其他人脸识别算法进行比较。
表2FRGC v2.0数据集的Rank-1识别率(RR1)
所呈现的表格说明了基于深度学习的方法的一些进步已经显示出令人印象深刻的识别率。在FRGC v2.0数据集上实现了99.37％的rank-1识别率。
与需要更大数据集来获得识别率边际增益的方法相比，本发明的方法在训练中仅使用来自FRGC v2.0样本的967张脸就表现出色。尽管实际数据有限，但该方法超越了一些具体方法，强调了其有效性和潜力。
如表3所示，使用Bosphorus数据集将本发明提出的方法与其他人脸识别算法进行比较。在Bosphorus数据集上进行了额外的实验，以验证本发明所提出的方法的有效性。为Bosphorus数据集的相同子集报告识别率，以确保公平和一致的评估。
表3 Bosphorus数据集的Rank-1识别率(RR1)
| Method | Rank-1 identification rate(％) |
| Huangetal. | 97.00 |
| Liuetal. | 95.63 |
| Berrettietal. | 95.67 |
| Leietal. | 98.90 |
| Gilanietal. | 98.50 |
| Zhangetal. | 99.68 |
| Yuetal. | 99.33 |
| Ours | 99.72 |
值得注意的是，达到了99.72％的rank-1识别率。关键的区别在于本发明提出方法利用特征嵌入之间的余弦相似度作为匹配分数的分类器。
因此，本发明采用上述一种应用于点云的三维人脸识别方法，提高了点云三维人脸的识别率，找到识别效率与训练数据之间的最优关系，节约时间成本和运算成本，突出了本方法的有效性和潜力。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (6)
1.一种应用于点云的三维人脸识别方法，其特征在于，包括以下步骤：
S1、采用3DMM进行3D人脸数据生成；
S2、构建基于KPConv的人脸点云识别网络结构；
S3、根据人脸数据具有较高的类内相似性和类间差异性，采用改进后的中心损失函数进行网络优化，在计算每个点云特征向量与其所属类别中心的距离时，使用余弦相似度替换原来的欧氏距离，目的是利用余弦计算2个特征向量之间的夹角，更加关注人脸数据的方向，对于不同长度的人脸特征向量能够做出正确的判断；
步骤S3进行网络优化中，在计算每个点云特征向量与其所属类别中心的距离时，利用特征嵌入之间的余弦相似度作为匹配分数的分类器，对不同长度的人脸特征向量做出正确的判断，如下所示：
（6）
其中，L c 表示损失函数，x i '表示更新后的点，N为点云总数，d表示计算两个向量之间的余弦距离，表示第i个样本所属类别的类别中心；m表示总的类别数，表示第j个类别的类别中心，表示正则化项系数。
2.根据权利要求1所述的一种应用于点云的三维人脸识别方法，其特征在于，在步骤S1生成3D人脸数据中，以PCA为基础学习遵循高斯分布的形状、纹理、表情属性特征，具体如下所示：
（1）
其中，S表示生成的人脸，p表示一个特定的形状，由均值向量和各个主成分即特征向量的线性组合构成；是所有形状向量的平均值，是主成分系数，是特征向量矩阵，是噪声特征向量矩阵，是噪声系数。
3.根据权利要求2所述的一种应用于点云的三维人脸识别方法，其特征在于，引入数据增强算法，提高数据的多样性，即公式（1）中的噪声表示为面部表情变化与人脸姿势变化，如下所示：
（2）
其中，p表示主成分特征向量，是平均人脸，主成分形状特征矩阵，为PCA基函数，为表情系数；R为旋转矩阵，表示人脸的旋转；M缩放矩阵，表示人脸的缩放；L为位移矩阵，表示人脸的位移；G为人脸姿势的参数化函数，通过控制姿势参数，对人脸进行旋转、缩放和位移。
4.根据权利要求3所述的一种应用于点云的三维人脸识别方法，其特征在于，在生成人脸时，从β与中随机选取一个和，得到与，如下所示：
（3）
（4）
其中，λ是(0,1)；为、之间的随机值，遵循正态分布。
5.根据权利要求1所述的一种应用于点云的三维人脸识别方法，其特征在于：在步骤S2构建人脸点云识别网络结构中，给定一组面部点云，设计一个直接输入点云坐标的端到端网络，保证三维数据的旋转不变性和变换不变性，验证是否属于一个身份，网络的输出一个特征向量，采用余弦相似度来反映两个输入人脸特征向量之间属于同一主题抓取的概率。
6.根据权利要求5所述的一种应用于点云的三维人脸识别方法，其特征在于，基于KPConv的网络架构，引入一个可学习的卷积核，用来计算每个点的特征，对每个点i周围的领域集合执行卷积运算，并对每个邻域内的点j计算一个权重，表示点j对点i的影响；随后，将这些邻域内的点的特征向量按照对应的权重进行加权求和，得到点i的特征向量，如下所示：
（5）
其中，x i 表示第i个点，表示第i个点的特征，表示第j个点的位置，表示特征向量，是卷积核的权重参数，是第i个点的邻域集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410451210.6A CN118172820B (zh) | 2024-04-15 | 2024-04-15 | 一种应用于点云的三维人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410451210.6A CN118172820B (zh) | 2024-04-15 | 2024-04-15 | 一种应用于点云的三维人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118172820A CN118172820A (zh) | 2024-06-11 |
| CN118172820B true CN118172820B (zh) | 2024-09-20 |
Family
ID=91353024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410451210.6A Active CN118172820B (zh) | 2024-04-15 | 2024-04-15 | 一种应用于点云的三维人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118172820B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113963420A (zh) * | 2021-11-10 | 2022-01-21 | 杭州东信北邮信息技术有限公司 | 一种基于深度学习的三维人脸识别方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116391208A (zh) * | 2020-10-29 | 2023-07-04 | 华为技术有限公司 | 使用场景流估计的非刚性3d物体建模 |
| US12056934B2 (en) * | 2021-07-30 | 2024-08-06 | Zoox, Inc. | Three-dimensional object detection based on image data |
| CN117315736A (zh) * | 2023-05-11 | 2023-12-29 | 上海科江电子信息技术有限公司 | 一种基于数据增广结构的端到端3d人脸识别系统 |
| CN116883590A (zh) * | 2023-06-25 | 2023-10-13 | 山东金东数字创意股份有限公司 | 一种三维人脸点云优化方法、介质及系统 |
| CN117238026B (zh) * | 2023-07-10 | 2024-03-08 | 中国矿业大学 | 一种基于骨骼和图像特征的姿态重建交互行为理解方法 |
| CN116959073A (zh) * | 2023-07-25 | 2023-10-27 | 山东工商学院 | 一种方向自适应的多姿态点云人脸识别方法及系统 |
-
2024
- 2024-04-15 CN CN202410451210.6A patent/CN118172820B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113963420A (zh) * | 2021-11-10 | 2022-01-21 | 杭州东信北邮信息技术有限公司 | 一种基于深度学习的三维人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118172820A (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | Matching 2.5 D face scans to 3D models | |
| CN105447473B (zh) | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 | |
| CN109359608B (zh) | 一种基于深度学习模型的人脸识别方法 | |
| CN114842343B (zh) | 一种基于ViT的航空图像识别方法 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN114299559A (zh) | 基于轻量级融合全局与局部特征网络的指静脉识别方法 | |
| CN108875459B (zh) | 一种基于稀疏系数相似的加权稀疏表示人脸识别方法及系统 | |
| CN112560710B (zh) | 一种用于构建指静脉识别系统的方法及指静脉识别系统 | |
| CN114973307B (zh) | 生成对抗和余弦三元损失函数的指静脉识别方法及系统 | |
| Liu et al. | Finger vein recognition with superpixel-based features | |
| CN103218609A (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
| CN1828630A (zh) | 基于流形学习的人脸姿势识别方法 | |
| Lan et al. | A non-rigid registration method with application to distorted fingerprint matching | |
| CN117372463B (zh) | 一种用于电力部件图像的图像分割优化方法 | |
| CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
| CN110991326A (zh) | 基于Gabor滤波器和改进极限学习机的步态识别方法及系统 | |
| CN114550260A (zh) | 一种基于对抗数据增强的三维人脸点云识别方法 | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| CN119323780B (zh) | 一种基于双向长短时记忆网络的3d点云目标识别方法 | |
| CN109447153A (zh) | 用于非均衡数据分类的散度-激励自编码器及其分类方法 | |
| CN112241680A (zh) | 基于静脉相似图像知识迁移网络的多模态身份认证方法 | |
| Teo et al. | 2.5 D Face Recognition System using EfficientNet with Various Optimizers | |
| Reale et al. | Facial action unit analysis through 3d point cloud neural networks | |
| CN119360397A (zh) | 一种基于csp特征融合的手写数学公式识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |