[go: up one dir, main page]

CN115909452A - 人脸影像增益方法与系统 - Google Patents

人脸影像增益方法与系统 Download PDF

Info

Publication number
CN115909452A
CN115909452A CN202211445172.0A CN202211445172A CN115909452A CN 115909452 A CN115909452 A CN 115909452A CN 202211445172 A CN202211445172 A CN 202211445172A CN 115909452 A CN115909452 A CN 115909452A
Authority
CN
China
Prior art keywords
face image
face
generated
vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211445172.0A
Other languages
English (en)
Inventor
黄柏瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
Yecheng Optoelectronics Wuxi Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, Yecheng Optoelectronics Wuxi Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN202211445172.0A priority Critical patent/CN115909452A/zh
Priority to TW111145057A priority patent/TWI868522B/zh
Priority to US18/092,449 priority patent/US20240169758A1/en
Publication of CN115909452A publication Critical patent/CN115909452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种人脸影像增益方法，包括：撷取人脸影像，并判断人脸影像属于正脸方向或是侧脸方向；将人脸影像转换为特征向量；根据特征向量执行脸部属性编辑演算法以产生第一生成向量，其中第一生成向量与人脸影像对应的至少一个属性不相同；若人脸影像属于侧脸方向，根据特征向量执行人脸姿态转换演算法以产生第二生成向量，其中第二生成向量与人脸影像对应的姿态角度不相同；将第一生成向量或第二生成向量输入至生成对抗网路以输出至少一个生成人脸影像；以及将人脸影像与生成人脸影像加入至资料库中。藉此可以增加资料库中人脸影像的数量。

Description

人脸影像增益方法与系统
技术领域
本揭露是有关于一种利用生成对抗网路来增加资料库中人脸影像数量的系统与方法。
背景技术
人脸辨识与侦测已经应用在许多的场景和产品中，在建置人脸资料库时需要拍摄使用者的人脸影像，人脸影像的数量越多有利于后续的辨识、侦测等演算法。然而，一般的拍摄过程中要取得同一人的多种姿态或是有戴配件(例如眼镜)以及没有戴配件的影像，这都需要额外的成本不容易做到。
发明内容
本揭露的实施例提出一种人脸影像增益方法，适用于电脑系统。此人脸影像增益方法包括：撷取人脸影像，并判断人脸影像属于正脸方向或是侧脸方向；将人脸影像转换为特征向量；根据特征向量执行脸部属性编辑演算法以产生第一生成向量，其中第一生成向量与人脸影像对应的至少一个属性不相同；若人脸影像属于侧脸方向，根据特征向量执行人脸姿态转换演算法以产生第二生成向量，其中第二生成向量与人脸影像对应的姿态角度不相同；将第一生成向量或第二生成向量输入至生成对抗网路以输出至少一个生成人脸影像；以及将人脸影像与生成人脸影像加入至资料库中。
在一些实施例中，上述判断人脸影像属于正脸方向或是侧脸方向的步骤包括：将人脸影像沿着中心线翻转以得到翻转影像；计算人脸影像与翻转影像之间的结构相似度指标；以及若结构相似度指标小于一门槛值，判断人脸影像属于侧脸方向，否则属于正脸方向。
在一些实施例中，上述将人脸影像转换为特征向量的步骤包括：将人脸影像输入至编码器以得到初始特征向量；将初始特征向量与杂讯向量输入至生成器以得到重建影像；计算人脸影像与重建影像的损失函数；以及根据损失函数调整初始特征向量与杂讯向量并迭代多次，将损失函数的最小值所对应的初始特征向量设定为特征向量。
在一些实施例中，人脸影像增益方法还包括：根据第一分类器判断生成人脸影像是否属于人脸，若不属于人脸则删除生成人脸影像；以及根据识别器判断人脸影像与生成人脸影像是否为同一人，若不是同一人则删除生成人脸影像。
在一些实施例中，人脸影像增益方法还包括：根据第二分类器判断生成人脸影像是否具有预设的属性，若否则删除生成人脸影像。
以另一个角度来说，本揭露的实施例提出一种人脸影像增益系统，包括影像撷取装置与电脑系统。影像撷取装置用以取得人脸影像。电脑系统通讯连接至影像撷取装置，用以执行多个步骤：判断人脸影像属于正脸方向或是侧脸方向；将人脸影像转换为特征向量；根据特征向量执行脸部属性编辑演算法以产生第一生成向量，其中第一生成向量与人脸影像对应的至少一个属性不相同；若人脸影像属于侧脸方向，根据特征向量执行人脸姿态转换演算法以产生第二生成向量，其中第二生成向量与人脸影像对应的姿态角度不相同；将第一生成向量或第二生成向量输入至生成对抗网路以输出至少一个生成人脸影像；以及将人脸影像与生成人脸影像加入至资料库中。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据一实施例绘示人脸影像增益系统的示意图。
图2是根据一实施例绘示人脸影像增益方法的流程图。
图3是根据一实施例绘示判断人脸方向的示意图。
图4是根据一实施例绘示生成对抗网路的示意图。
图5是根据一实施例绘示以迭代方式产生特征向量的流程图。
图6是根据一实施例绘示脸部属性编辑演算法的示意图。
图7是根据一实施例绘示人脸姿态转换演算法的示意图。
图8是根据一实施例绘示生成人脸影像的范例。
图9是根据一实施例绘示过滤具有特定属性的人脸影像的示意图。
图10是根据一实施例绘示人脸影像增益方法的实验结果。
附图标记为：
100：人脸影像增益系统
110：影像撷取装置
120：电脑系统
130：使用者
201～208：步骤
209：资料库
310：人脸影像
311：中心线
320：翻转影像
330：步骤
401：人脸影像
402：编码器
403：生成器
404：输出影像
405：损失函数
406：判别器
501～505：步骤
610,620：座标
630：超平面
710,720：向量
802～808,812,813,1020：生成人脸影像
801,809,811,1010：人脸影像
910：超平面
921～924：座标点
具体实施方式
关于本文中所使用之「第一」、「第二」等，并非特别指次序或顺位的意思，其仅为了区别以相同技术用语描述的元件或操作。
图1是根据一实施例绘示人脸影像增益系统的示意图。请参照图1，人脸影像增益系统100包括了影像撷取装置110以及电脑系统120。影像撷取装置110可为摄影机，在一些实施例中也可以包括深度感测器、红外线感测器等等。电脑系统120可为个人电脑、伺服器、或任意具有计算能力的电子装置，电脑系统120透过任意有线或无线的手段通讯连接至影像撷取装置110。影像撷取装置110用以取得关于使用者130的人脸影像，电脑系统120用以执行一个人脸增益方法，目的是增加人脸影像的数目并储存在资料库中，以下将详细说明此方法。
图2是根据一实施例绘示人脸影像增益方法的流程图。请参照图2，在步骤201中取得人脸影像，接下来在步骤202判断人脸影像属于正脸方向或是侧脸方向。图3是根据一实施例绘示判断人脸方向的示意图。请参照图3，在此可以先将接收到的人脸影像310沿着中心线311左右翻转以得到翻转影像320。接着在步骤330计算人脸影像310与翻转影像320之间的结构相似度(structural similarity，SSIM)指标。如果属于正脸方向，则翻转后的影像与原影像应该会类似，所计算出的结构相似度指标会比较大；如果属于侧脸方向，则翻转后的影像与原影像差异较大，所计算出的结构相似度指标会比较小。因此可以设定一个临界值(例如为0.3)，如果结构相似度指标小于此门槛值则判断人脸影像310属于侧脸方向，否则属于正脸方向。在其他实施例中也可以训练一个机器学习模型或采用任意的影像处理方法来判断人脸影像310属于正脸方向或是侧脸方向，本揭露并不在此限。
请参照图2，如果属于侧脸方向，则在步骤203中将人脸影像转换为特征向量。如果属于正脸方向，则在步骤204中将人脸影像转换为特征向量。步骤203与步骤204相同，在一些实施例中也可以将步骤203与步骤204合并且在步骤202之前或之后实施，本揭露并不在此限。在此是采用一个生成对抗网路来产生特征向量，图4是根据一实施例绘示生成对抗网路的示意图。请参照图4，生成对抗网路包括了编码器(encoder，图中表示为“E”)402、生成器(generator，图中表示为“G”)403、与判别器(discriminator，图中表示为“D”)406，编码器402将人脸影像401转换为特征向量(图中表示为Z)，而生成器403根据此特征向量重建输出影像404，判别器406则用以判断输出影像404是否为真。将人脸影像401、输出影像404与判别器406的判断结果输入至损失函数405可用来训练生成器403。此生成对抗网路可参考论文Zhu,J.,Shen,Y.,Zhao,D.,&Zhou,B.(2020,August).In-domain gan inversion forreal image editing.In European conference on computer vision(pp.592-608).Springer,Cham，以下称第一参考论文，此第一参考论文也作为本揭露的参考。在一些实施例中，生成器403是由第二参考论文Karras,T.,Laine,S.,&Aila,T.(2019).A style-basedgenerator architecture for generative adversarial networks.In Proceedings ofthe IEEE/CVF conference on computer vision and pattern recognition(pp.4401-4410)所提出的生成对抗网路演算法，并以公开的人脸资料库所训练而得到的。在其他实施例中也可以采用任意合适的论文或公开文献来训练出生成器403，本揭露并不在此限。
在此是取得编码器402来产生特征向量，特别的是用迭代的方式找到最佳的特征向量。具体来说，图5是根据一实施例绘示以迭代方式产生特征向量的流程图。请参照图5，在步骤501，取得训练好的生成对抗网路与人脸影像，此生成对抗网路如上述第一参考论文所提供，人脸影像表示为向量x。在步骤502，将人脸影像x输入至编码器402以得到初始特征向量，以下表示为向量z。在步骤503，将初始特征向量z与一杂讯向量n输入至生成器403以得到重建影像，此运算表示为G(z,n)，其中G()为生成器403，杂讯向量n是由随机变数产生。在步骤504，计算人脸影像x与重建影像G(z,n)的损失函数，如以下数学式1所示。
[数学式1]
Figure BDA0003949981620000041
接下来在步骤505，根据损失函数调整初始特征向量z与杂讯向量n，在此可以用梯度下降(gradient descending)等方法来调整初始特征向量z与杂讯向量n，在其他实施例中也可以用基因演算法等来寻找初始特征向量z与杂讯向量n，本揭露并不在此限。步骤503至步骤505会迭代多次(例如100次)，每次都会计算对应的损失函数，之后可以将损失函数的最小值所对应的初始特征向量zinv设定为后续演算法使用的特征向量。图5的流程是要找到一个特征向量zinv，使得所重建出的影像与输入的人脸影像最接近，此流程相较于其他习知技术来说，由于损失函数的计算量较少，因此可以节省大量时间。
请参照图2，在步骤203与步骤204以后，都会执行步骤205，根据上述的特征向量zinv执行脸部属性编辑演算法来产生第一生成向量。步骤205可参照第三参考论文Shen,Y.,Gu,J.,Tang,X.,&Zhou,B.(2020).Interpreting the latent space of gans forsemantic face editing.In Proceedings of the IEEE/CVF conference on computervision and pattern recognition(pp.9243-9252).。图6是根据一实施例绘示脸部属性编辑演算法的示意图。请参照图6，在此是要将没有笑容的人脸影像转换为有笑容的人脸影像，上述的特征向量zinv可以表示为座标点610。此外，在收集多个有笑容的人脸影像以及没有笑容的人脸影像以后，可以转换为特征向量并执行支持向量机(support vectormachine，SVM)演算法而得到一超平面(hyperplane)630，超平面630的右侧是属于没有笑容的类别，左侧则是属于有笑容的类别。在此可以将座标点610映射至超平面630的另一侧形成座标点620，此座标点620便代表转换后的第一生成向量，根据此第一生成向量所产生的人脸影像会具有笑脸。换言之，此第一生成向量与输入的人脸影像的属性不相同，在此实施例中属性指的是有没有笑脸，但也可以是有没有戴眼镜、有没有戴口罩、有没有浏海等等，本揭露并不在此限。
请参照图2，如果人脸影像属于侧脸方向，则在步骤206中根据特征向量执行人脸姿态转换演算法以产生第二生成向量。图7是根据一实施例绘示人脸姿态转换演算法的示意图。上述产生的特征向量zinv与杂讯向量ninv可以表示为在图7中的向量710(也表示在空间中的座标点)。而向量720代表的是将人脸影像沿着中心线翻转以后再根据上述图5的流程所求得的特征向量与杂讯向量。由于经过左右翻转，因此向量710与向量720分别代表向右看与向左看，在此是要生成看向其他方向的人脸影像。举例来说，可以将向量710与向量720做权重和，对应的两个权重加起来为1，图7绘示了根据不同权重所生成的人脸影像，例如权重(1,0)代表向量710的权重为1，向量720的权重为0；权重(0,1)代表向量710的权重为0，向量720的权重为1，以此类推。权重和的结果便是所产生的第二生成向量，换言之，第二生成向量与输入的人脸影像对应的姿态角度不相同。从图7可以看出，藉由调整权重可以产生不同姿态角度的人脸影像。
值得注意的是，在图2的流程中对于正脸方向的人脸影像并不会执行人脸姿态转换演算法，这是因为正脸方向在经过翻转以后与原本的影像差异不大，执行人脸姿态转换演算法的效果有限。
在步骤207，可以将上述的第一生成向量以及/或者第二生成向量输入至对应的生成对抗网路以输出至少一张生成人脸影像，此生成对抗网路可采用上述第一至第三参考论文中任何一者所揭示的网路模型。
在步骤208，进行过滤。上述输出的生成人脸影像可能会有失败的情形，因此必须进行过滤删除不适合的人脸影像。首先可采用一个人脸分类器(又称第一分类器)，用以判断某一影像是不是包含人脸，透过此人脸分类器可以判断每一张生成人脸影像是否属于人脸，若不属于人脸则删除此生成人脸影像。此外，也可以采用一个识别器来判断输入的人脸影像与生成人脸影像是否为同一人，若不是同一人可删除此生成人脸影像。相关的范例请参照图8，人脸影像801为输入影像，人脸影像809将输入影像经过左右翻转得来，而生成人脸影像802～808是根据人脸姿态转换演算法所产生不同姿态角度的影像。由于人脸影像801、809并没有耳朵的特征，因此生成人脸影像802～808也缺乏了耳朵的特征，并没有通过人脸分类器的判断，因此必须删除生成人脸影像802～808。此外，人脸影像811是原本的影像，而生成人脸影像812、813是根据脸部属性编辑演算法所产生的影像，原本应该产生有金发的影像，但所产生的影像已经遭到破坏，经过识别器的判断与输入的人脸影像811属于不同人，因此会删除生成人脸影像812、813。上述的人脸分类器与识别器可以采用任意的机器学习模型，例如卷积神经网路，本揭露并不在此限。
在一些实施例中也可以根据生成人脸影像是否有预设的属性来进行过滤。图9是根据一实施例绘示过滤具有特定属性的人脸影像的示意图。在图9的实施例中，超平面910的右侧是没有眼镜的类别，超平面910的左侧是有眼镜的类别，在此例子中脸部属性编辑演算法是要将没有眼镜的人脸影像转换为有眼镜的人脸影像。座标点921代表的是输入的人脸影像的特征向量。座标点922代表的是将座标点921映射至超平面910的另一侧之后的生成向量，并且座标点922与超平面910之间的距离是座标点921与超平面910之间距离的5倍。类似的，座标点923与超平面910之间的距离是座标点921与超平面910之间距离的10倍；座标点924与超平面910之间的距离是座标点921与超平面910之间距离的15倍。调整与超平面910的距离可以产生不同的生成人脸影像，在此实施例当距离为5倍时眼镜的特征并不完全。在此可以采用一个第二分类器(例如眼镜分类器)来判断座标点922～924对应的生成人脸影像是否具有预设的属性(即有眼镜)，如果没有的话则删除对应的生成人脸影像。当属性为口罩时，上述的第二分类器是用来判断人脸影像中是否有口罩，以此类推。透过上述做法，可以删除座标点922所对应的生成人脸影像。
请参照图2，经过步骤208的过滤以后，可以将输入的人脸影像与剩下的生成人脸影像加入至资料库209中。在一些实施例中，使用者可能会拍摄多张人脸影像，当人脸影像的数目小于一预设值(例如5张)的时候便执行图2的方法。然而，在其他实施例中不论人脸影像的数目为多少都可以执行图2的方法。实验结果如图10所示，在此可以根据原始的人脸影像1010生成许多不同属性、不同姿态角度的生成人脸影像1020。透过上述做法，可以产生不同属性以及不同资料角度的人脸影像，增加人脸影像的数目有利于后续的应用。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。

Claims (10)

1.一种人脸影像增益方法，适用于电脑系统，其特征在于，所述人脸影像增益方法包括：撷取人脸影像，并判断所述人脸影像属于正脸方向或是侧脸方向；
将所述人脸影像转换为特征向量；
根据所述特征向量执行脸部属性编辑演算法以产生第一生成向量，其中所述第一生成向量与所述人脸影像对应的至少一个属性不相同；
若所述人脸影像属于所述侧脸方向，根据所述特征向量执行人脸姿态转换演算法以产生第二生成向量，其中所述第二生成向量与所述人脸影像对应的姿态角度不相同；
将所述第一生成向量或所述第二生成向量输入至生成对抗网路以输出至少一个生成人脸影像；以及
将所述人脸影像与所述至少一个生成人脸影像加入至资料库中。
2.如权利要求1所述的人脸影像增益方法，其特征在于，其中判断所述人脸影像属于所述正脸方向或是所述侧脸方向的步骤包括：
将所述人脸影像沿着中心线翻转以得到翻转影像；
计算所述人脸影像与所述翻转影像之间的结构相似度指标；以及
若所述结构相似度指标小于门槛值，判断所述人脸影像属于所述侧脸方向，否则属于所述正脸方向。
3.如权利要求1所述的人脸影像增益方法，其特征在于，其中将所述人脸影像转换为所述特征向量的步骤包括：
将所述人脸影像输入至编码器以得到初始特征向量；
将所述初始特征向量与杂讯向量输入至生成器以得到重建影像；
计算所述人脸影像与所述重建影像的损失函数；以及
根据所述损失函数调整所述初始特征向量与所述杂讯向量并迭代多次，将所述损失函数的最小值所对应的所述初始特征向量设定为所述特征向量。
4.如权利要求1所述的人脸影像增益方法，其特征在于，还包括：
根据第一分类器判断所述至少一个生成人脸影像是否属于人脸，若不属于人脸则删除所述至少一个生成人脸影像；以及
根据识别器判断所述人脸影像与所述至少一个生成人脸影像是否为同一人，若不是同一人则删除所述至少一个生成人脸影像。
5.如权利要求1所述的人脸影像增益方法，其特征在于，还包括：
根据第二分类器判断所述至少一个生成人脸影像是否具有预设的所述至少一个属性，若否则删除所述至少一个生成人脸影像。
6.一种人脸影像增益系统，其特征在于，包括：
影像撷取装置，用以取得人脸影像；以及
电脑系统，通讯连接至所述影像撷取装置，用以执行多个步骤：
判断所述人脸影像属于正脸方向或是侧脸方向；
将所述人脸影像转换为特征向量；
根据所述特征向量执行脸部属性编辑演算法以产生第一生成向量，其中所述第一生成向量与所述人脸影像对应的至少一个属性不相同；
若所述人脸影像属于所述侧脸方向，根据所述特征向量执行人脸姿态转换演算法以产生第二生成向量，其中所述第二生成向量与所述人脸影像对应的姿态角度不相同；
将所述第一生成向量或所述第二生成向量输入至生成对抗网路以输出至少一个生成人脸影像；以及
将所述人脸影像与所述至少一个生成人脸影像加入至资料库中。
7.如权利要求6所述的人脸影像增益系统，其特征在于，其中判断所述人脸影像属于所述正脸方向或是所述侧脸方向的步骤包括：
将所述人脸影像沿着中心线翻转以得到翻转影像；
计算所述人脸影像与所述翻转影像之间的结构相似度指标；以及
若所述结构相似度指标小于门槛值，判断所述人脸影像属于所述侧脸方向，否则属于所述正脸方向。
8.如权利要求6所述的人脸影像增益系统，其特征在于，其中将所述人脸影像转换为所述特征向量的步骤包括：
将所述人脸影像输入至编码器以得到初始特征向量；
将所述初始特征向量与杂讯向量输入至生成器以得到重建影像；
计算所述人脸影像与所述重建影像的损失函数；以及
根据所述损失函数调整所述初始特征向量与所述杂讯向量并迭代多次，将所述损失函数的最小值所对应的所述初始特征向量设定为所述特征向量。
9.如权利要求6所述的人脸影像增益系统，其特征在于，其中所述多个步骤还包括：
根据第一分类器判断所述至少一个生成人脸影像是否属于人脸，若不属于人脸则删除所述至少一个生成人脸影像；以及
根据识别器判断所述人脸影像与所述至少一个生成人脸影像是否为同一人，若不是同一人则删除所述至少一个生成人脸影像。
10.如权利要求6所述的人脸影像增益系统，其特征在于，还包括：
根据第二分类器判断所述至少一个生成人脸影像是否具有预设的所述至少一个属性，若否则删除所述至少一个生成人脸影像。
CN202211445172.0A 2022-11-18 2022-11-18 人脸影像增益方法与系统 Pending CN115909452A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211445172.0A CN115909452A (zh) 2022-11-18 2022-11-18 人脸影像增益方法与系统
TW111145057A TWI868522B (zh) 2022-11-18 2022-11-24 人臉影像增益方法與系統
US18/092,449 US20240169758A1 (en) 2022-11-18 2023-01-03 Method and system for increasing face images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211445172.0A CN115909452A (zh) 2022-11-18 2022-11-18 人脸影像增益方法与系统

Publications (1)

Publication Number Publication Date
CN115909452A true CN115909452A (zh) 2023-04-04

Family

ID=86470469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211445172.0A Pending CN115909452A (zh) 2022-11-18 2022-11-18 人脸影像增益方法与系统

Country Status (3)

Country Link
US (1) US20240169758A1 (zh)
CN (1) CN115909452A (zh)
TW (1) TWI868522B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230021676A1 (en) * 2021-07-22 2023-01-26 The Boeing Company Anomaly detection using augmented reality (ar) and artificial intelligence (ai)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197543A (zh) * 2017-12-22 2018-06-22 深圳云天励飞技术有限公司 图像过滤方法及装置、嵌入式设备和存储介质
CN114267067B (zh) * 2021-12-24 2022-11-04 合肥的卢深视科技有限公司 基于连续帧图像的人脸识别方法、电子设备及存储介质
CN115187467B (zh) * 2022-05-31 2024-07-02 北京昭衍新药研究中心股份有限公司 一种基于生成对抗网络的增强型虚拟图像数据生成方法
CN115147904B (zh) * 2022-07-15 2025-02-07 北京建筑大学 人脸识别方法、装置、处理设备及存储介质

Also Published As

Publication number Publication date
TWI868522B (zh) 2025-01-01
US20240169758A1 (en) 2024-05-23
TW202422375A (zh) 2024-06-01

Similar Documents

Publication Publication Date Title
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN112686331B (zh) 伪造图像识别模型训练方法及伪造图像识别方法
CN110796057A (zh) 行人重识别方法、装置及计算机设备
CN110543846A (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111439267B (zh) 一种舱内环境的调整方法及装置
CN109271930B (zh) 微表情识别方法、装置与存储介质
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN111611934A (zh) 一种人脸检测模型生成和人脸检测方法、装置及设备
Kishore et al. Selfie sign language recognition with convolutional neural networks
CN110895802A (zh) 一种图像处理方法及装置
CN111696196A (zh) 一种三维人脸模型重建方法及装置
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法
CN117830611A (zh) 目标检测方法、装置及电子设备
CN115909452A (zh) 人脸影像增益方法与系统
CN112102149A (zh) 基于神经网络的人物发型替换方法、装置、设备和介质
CN108921106B (zh) 一种基于capsule的人脸识别方法
CN114882537A (zh) 一种基于神经辐射场的手指新视角图像生成方法
JP7437918B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111325252A (zh) 图像处理方法、装置、设备、介质
CN116597511A (zh) 一种基于自适应融合生成多尺度时间特征的步态识别方法
CN112613411B (zh) 基于生成对抗网络的行人重识别数据集姿态数据增广方法
CN114299327A (zh) 一种基于内容特征的对抗补丁伪装生成方法
Kodandaram et al. Face recognition using truncated transform domain feature extraction.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240111

Address after: 518109, Building E4, 101, Foxconn Industrial Park, No. 2 East Ring 2nd Road, Fukang Community, Longhua Street, Longhua District, Shenzhen City, Guangdong Province (formerly Building 1, 1st Floor, G2 District), H3, H1, and H7 factories in K2 District, North Shenchao Optoelectronic Technology Park, Minqing Road, Guangdong Province

Applicant after: INTERFACE OPTOELECTRONICS (SHENZHEN) Co.,Ltd.

Applicant after: Interface Technology (Chengdu) Co., Ltd.

Applicant after: GENERAL INTERFACE SOLUTION Ltd.

Address before: No.689 Hezuo Road, West District, high tech Zone, Chengdu City, Sichuan Province

Applicant before: Interface Technology (Chengdu) Co., Ltd.

Applicant before: INTERFACE OPTOELECTRONICS (SHENZHEN) Co.,Ltd.

Applicant before: Yicheng Photoelectric (Wuxi) Co.,Ltd.

Applicant before: GENERAL INTERFACE SOLUTION Ltd.

TA01 Transfer of patent application right