CN111738930A - 人脸图像的合成方法、装置、电子设备及存储介质 - Google Patents
人脸图像的合成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111738930A CN111738930A CN202010396641.9A CN202010396641A CN111738930A CN 111738930 A CN111738930 A CN 111738930A CN 202010396641 A CN202010396641 A CN 202010396641A CN 111738930 A CN111738930 A CN 111738930A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- obstruction
- shelter
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title description 3
- 238000012937 correction Methods 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 77
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000004888 barrier function Effects 0.000 claims description 29
- 239000000463 material Substances 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 16
- 230000015572 biosynthetic process Effects 0.000 abstract description 8
- 238000003786 synthesis reaction Methods 0.000 abstract description 8
- 238000002372 labelling Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 15
- 210000003128 head Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000000903 blocking effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了人脸图像的合成方法、装置、电子设备及存储介质。该方法通过获取基础人脸图像和遮挡物模板图像；根据基础人脸图像确定第一特征信息；根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数；根据遮挡物矫正参数对遮挡物模板图像进行矫正，得到遮挡物矫正图像；对基础人脸图像和遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。本申请根据基础人脸图像的特征对遮挡物模板图像进行调整，使得遮挡物模板图像能够与基础人脸的状态保持高度一致，合成效果更好，极大程度上提高了人脸的合成图像的鲁棒性，大幅度的减少了人工直接对被遮挡物部分遮挡的图像进行标注的工作量，显著提高了工作效率，且适用性广。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及人脸图像的合成方法、装置、电子设备及存储介质。
背景技术
在某些情况下，人们面部需要佩戴一些装备，如在强烈的阳光下，人们会佩戴太阳镜，又如在传染病爆发期间，戴口罩出门已经成为了人们生活的常态。在一些场景下，如外卖业务中抽检配送骑手，地铁安检抽检乘客身份等，需要进行活体检测，而人们佩戴的装备对面部造成了一定程度的遮挡，严重影响了活体检测的自动通过率。针对上述情况，目前的常见做法是直接对部分遮挡人脸进行人工标注，但被部分遮挡的情况下，人脸的关键点无法精准确定，只能凭借标注人员的主观经验预估，且标注效率极低，平均一张图人脸需要5分钟甚至更多，无法快速得到大量的合适的数据。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的人脸图像的合成方法、装置、电子设备及存储介质。
根据本申请的一方面，提供了一种人脸图像的合成方法，该方法包括：
获取基础人脸图像和遮挡物模板图像；
根据基础人脸图像确定第一特征信息；
根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数；
根据遮挡物矫正参数对遮挡物模板图像进行矫正，得到遮挡物矫正图像；
对基础人脸图像和遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。
可选的，在上述方法中，获取基础人脸图像和遮挡物模板图像包括：
获取人脸被遮挡物部分遮挡的图像作为素材图像；
获取素材图像的人脸关键点信息作为第二特征信息；
根据人脸关键点信息从所述素材图像中分割出与遮挡物对应的子图像作为遮挡物模板图像。
可选的，在上述方法中，根据基础人脸图像确定第一特征信息包括：
获取人脸未被遮挡物遮挡的图像，作为基础人脸图像；
从所述基础人脸图像中识别出人脸关键点信息和头部姿态信息作为第一特征信息。
可选的，在上述方法中，第二特征信息包括头部姿态信息和人脸关键点信息，根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数包括：
根据基础人脸图像的第一特征信息，确定第一三维姿态矩阵；
根据遮挡物模板图像的第二特征信息，确定第二三维姿态矩阵；
根据第一三维姿态矩阵和第二三维姿态矩阵，确定姿态转换矩阵作为遮挡物矫正参数。
可选的，在上述方法中，第一特征信息和第二特征信息均包括色彩直方图，根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数包括：
根据基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图以及预设的色彩一致度值，确定色彩矫正参数，使第一色彩直方图和第二色彩直方图的色彩一致度值不小于预设的色彩一致度值。
可选的，在上述方法中，色彩矫正参数包括色调矫正参数和/或饱和度矫正参数。
可选的，在上述方法中，对基础人脸图像和遮挡物矫正图像进行融合包括：
根据遮挡物矫正图像的第二特征信息，确定遮挡物矫正图像在基础人脸图像中的位置信息；
根据位置信息，对基础人脸图像和遮挡物矫正图像进行融合。
根据本申请的另一方面，提供了一种人脸图像的合成装置，该装置包括：
获取单元，用于获取基础人脸图像和遮挡物模板图像；
信息处理单元，用于根据基础人脸图像确定第一特征信息；以及用于根据所述第一特征信息和所述遮挡物模板图像的第二特征信息，确定遮挡物矫正参数；
矫正单元，用于根据所述遮挡物矫正参数对所述遮挡物模板图像进行矫正，得到遮挡物矫正图像；
融合单元，用于对所述基础人脸图像和所述遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。
可选的，在上述装置中，获取单元，用于获取人脸被遮挡物部分遮挡的图像作为素材图像；用于获取素材图像的人脸关键点信息作为第二特征信息；以及用于根据人脸关键点信息从所述素材图像中分割出与遮挡物对应的子图像作为遮挡物模板图像。
可选的，在上述装置中，信息处理单元，用于获取人脸未被遮挡物遮挡的图像，作为基础人脸图像；以及用于从所述基础人脸图像中识别出人脸关键点信息和头部姿态信息作为第一特征信息。
可选的，在上述装置中，第二特征信息包括头部姿态信息和人脸关键点信息，信息处理单元，用于根据基础人脸图像的第一特征信息，确定第一三维姿态矩阵；用于根据遮挡物模板图像的第二特征信息，确定第二三维姿态矩阵；以及用于根据第一三维姿态矩阵和第二三维姿态矩阵，确定姿态转换矩阵作为遮挡物矫正参数。
可选的，在上述装置中，第一特征信息和第二特征信息均包括色彩直方图，信息处理单元，用于根据基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图以及预设的色彩一致度值，确定色彩矫正参数，使第一色彩直方图和第二色彩直方图的色彩一致度值不小于预设的色彩一致度值。
可选的，在上述装置中，色彩矫正参数包括色调矫正参数和/或饱和度矫正参数。
可选的，在上述装置中，融合单元，用于根据遮挡物矫正图像的第二特征信息，确定遮挡物矫正图像在基础人脸图像中的位置信息；并根据位置信息，对基础人脸图像和遮挡物矫正图像进行融合。
依据本申请的又一方面，提供了一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上任一的方法。
依据本申请的再一方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现如上任一的方法。
由上述可知，本申请的技术方案，通过获取基础人脸图像和遮挡物模板图像；根据基础人脸图像确定第一特征信息；根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数；根据遮挡物矫正参数对遮挡物模板图像进行矫正，得到遮挡物矫正图像；对基础人脸图像和遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。本申请的有益效果在于，根据基础人脸图像的特征对遮挡物模板图像进行调整，使得遮挡物模板图像能够与基础人脸的状态保持高度一致，如动作、姿态、颜色、亮度等，合成效果更好，极大程度上提高了人脸的合成图像的鲁棒性，大幅度的减少了人工直接对被遮挡物部分遮挡的图像进行标注的工作量，显著提高了工作效率，且适用性广。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的人脸图像的合成方法的流程示意图；
图2示出了根据本申请另一个实施例的人脸图像的合成方法的流程示意图；
图3示出了根据本申请一个实施例的人脸图像的合成装置的结构示意图；
图4示出了根据本申请一个实施例的电子设备的结构示意图；
图5示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请的构思在于，针对人们面部具有遮挡物的情况下，如口罩、眼镜等，利用基础人脸的姿态、色彩等特征，对遮挡物模板图像进行调整，使得遮挡物模板图像与基础人脸的状态高度一致，然后将调整后的遮挡物模板图像与基础人脸图像融合在一起，使得合成的人脸图像效果好、对人脸姿态、光照等因素鲁棒性强，可用于模型训练。
图1示出了根据本申请一个实施例的人脸图像的合成方法的流程示意图，该方法包括：
步骤S110，获取基础人脸图像和遮挡物模板图像。
本申请通过将调整后的遮挡物模板图像与基础人脸图像融合在一起，合成人脸图像。其中，基础人脸图像，在这里指图像中的人的脸部没有遮挡物，遮挡物是指能较大面积挡住人面部的外来物品，如口罩、太阳镜、眼罩、面具等。基础人脸图像的获取可为现有技术中的任意一种，如可从现有数据库中获取；也可是从网络资源中获取；或者通过影像设备录制获取。
遮挡物模板图像，是指图像中仅有遮挡物的图像，如一副口罩的图像、一个眼罩的图像。遮挡物模板图像的获取可为现有技术中的任意一种，如从网络资源中获取、也可通过拍照获取、或从现有的图像中裁剪得来。
步骤S120，根据基础人脸图像确定第一特征信息。
确定基础人脸图像的特征，作为第一特征信息，其中基础人脸图像的特征包括但不限于颜色特征、几何形状特征、边缘特征、纹理特征、空间关系特征等。
对于基础人脸图像特征的提取，可采用现有技术中的任意一种，如特征点特征提取方法、尺度不变特征转换方法(Scale-Invariant Feature Transform，SIFT)、加速稳健特征方法(Speeded-Up Robust Features，SURF)等。也可以采用本实施例推荐的检测器，即单独针对人脸特征训练一个检测器，用来检测人脸图像的特征，如可以定义人脸特征特点的关键点，包括但不限于左眼、右眼、鼻尖、左嘴角和右嘴角五个关键点，该检测器专门针对这五个关键点进行训练得到，本申请将该关键点检测器作为人脸特征提取的一种优选方式。人们不需要观察物体的每个属性就可以很快的识别出很多物体，如通常可以通过一个鼻子或嘴巴判断图像是一个人，这些直觉就可以用来建立一种表示图像大多数信息属性的方法，这些有信息量的属性，称为兴趣点(points of interest)或特征点，其是由丰富的纹理包围，基本可以重建图像。边缘(edges)和角点(corners)是两种常用的特征点类型。边是像素快速变化的分界线(boundary)，角是两条边的交集。相对于通过像素值提取特征，特征点特征提取方法大幅度降低了特征向量的维度，使计算量大量减小；在经过对图像的放缩，旋转或变换时，稳定性强；而且当图片的亮度发生统一变化时，这些特征点依然存在。
尺度不变特征转换方法相对于特征点特征提取方法，对图像的尺寸，旋转，亮度变化更不敏感。每个SIFT特征都是一个描述图片上某个区域边缘和角点的向量。SIFT还可以获取每个特征点和它周围点的综合信息。
加速稳健特征方法是另一个抽取图像特征点的方法，其特征向量对图像的尺寸，旋转，亮度变化是不变的，SURF的算法可以比SIFT更快。
上述关键点检测器，主要针对人脸显著的五个特征进行识别，计算量小，计算速度快、且精准度更高。
为了保障特征提取的精准性，本实施例推荐使用高性能的模型进行特征提取作为一种优选方案。
步骤S130，根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数。
根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数。遮挡物模板图像的第二特征信息包括但不限于遮挡物的类别、形状、颜色等。如遮挡物是口罩，第二特征信息包括但不限于口罩的颜色、大小、形状、口罩姿态等信息。
第二特征信息的获取可在获取遮挡物模板图像的过程中实现，也可在获取遮挡物模板图像后实现。如遮挡物模板图像是从现有图像中裁剪而来，则可先获取第二特征信息，然后根据第二特征信息从现有图像中裁剪遮挡物模板图像；如遮挡物模板图像是从网络资源或者现有数据库中获取的，则可对现有图像进行特征提取，从而获取第二特征信息。
基础人脸图像和遮挡物模板图像在亮度、角度等多方面存在差异，如果将遮挡物模板图像直接或只是将遮挡物模板图像作简单的仿射变换后，就贴合到基础人脸图像上，得到的图像效果不理想，如基础人脸图像是在夜间拍摄的，光线很暗，而遮挡物模板图像为日间模式，那么合成的人脸图像效果非常不理想。因此，本申请，根据基础人脸图像的第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数，并对遮挡物进行矫正，以使遮挡物在颜色、形态、亮度等多方面与基础人脸图像趋于一致，使得遮挡物能更加贴合基础人脸图像。
遮挡物矫正参数包括但不限于：颜色矫正参数、姿态矫正参数等。
步骤S140，根据遮挡物矫正参数对遮挡物模板图像进行矫正，得到遮挡物矫正图像。
在得到遮挡物矫正参数后，根据遮挡物矫正参数，对遮挡物模板图像进行矫正，如基础人脸图像中的人脸是向左偏转的，而遮挡物模板图像为口罩，是平铺且正向前方的，根据遮挡物矫正参数，对遮挡物模板图像进行矫正，得到遮挡物矫正图像，该遮挡物矫正图像中的口罩会根据人脸的脸型呈现一个弧度，且会根据基础人脸图像中的人脸向左偏转的角度，呈现一个向左的角度。
步骤S150，对基础人脸图像和遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。
在得到遮挡物矫正图像后，将基础人脸图像和遮挡物矫正图像融合，即得到人脸被遮挡物部分遮挡的合成图像。
融合方法可采用现有技术中的任意一种，如可采用但不限于小波变换图像融合，小波变换的基本思想是通过一个小波基函数对图像进行平移和伸缩操作，使图像中某些局部区域的特征得到加强，同时还具有水平、垂直和45°方向性。小波变换使其在图像融合中更加便于挖掘不同阶层上的信息，在不同尺度上增强图像的细节信息和特征信息。
小波变换图像融合的步骤可简述为：首先以低分辨率图像为参考图来对高分辨率图进行直方图匹配，以形成直方图匹配图，然后对直方图匹配图进行小波变换以形成各自的低频图像和高频细节信息，并用原始的低分辨率图像来取得小波变换后的低频图像，对替换后的图像及与之相关的细节信息进行小波逆变换，从而得到融合图像。
由图1所示的方法可以看出，本申请根据基础人脸图像的特征对遮挡物模板图像进行调整，使得遮挡物模板图像能够与基础人脸的状态保持高度一致，合成效果更好，极大程度上提高了人脸的合成图像的鲁棒性，大幅度的减少了人工直接对被遮挡物部分遮挡的图像进行标注的工作量，显著提高了工作效率，且适用性广，如在需要佩戴口罩且不便摘除的情况下，可以帮助检测模型大幅度提升戴口罩情况下的活体检测效果。
在本申请的一个实施例中，在上述方法中，获取基础人脸图像和遮挡物模板图像包括：获取人脸被遮挡物部分遮挡的图像作为素材图像；获取素材图像的人脸关键点信息作为第二特征信息；根据人脸关键点信息从所述素材图像中分割出与遮挡物对应的子图像作为遮挡物模板图像。
本实施例推荐一种遮挡物模板图像的获得方法，首先获取人脸被遮挡物部分遮挡的图像作为素材图像，人脸被遮挡物部分遮挡的图像可通过拍照获取，也可通过网络资源获取。然后对素材图像进行人脸关键点信息的提取，人脸关键点信息包括但不限于：人脸轮廓、眼镜、鼻子、嘴等，将提取到的人脸关键点信息作为第二特征信息。
需要说明的是，当人脸被遮挡物部分遮挡时，不是所有的人脸关键点都能够被直接提取出，如遮挡物为口罩时，鼻子、嘴巴被口罩遮挡，不能直接被提取，但是根据人脸、眼睛、以及口罩的凸凹、褶皱等信息，可以间接提取出鼻子、嘴巴。
然后根据人脸关键点信息从所述素材图像中，采用现有图像分割技术中的任意一种，从素材图像中，分割出与遮挡物对应的子图像作为遮挡物模板图像。如上述不能直接提取鼻子、嘴巴的情况下，则可认为遮挡物为口罩，或提前对遮挡物进行分类，然后根据提取到的所有关键点信息进行遮挡物模板图像的分割。
本实施例推荐从现有人脸被遮挡物部分遮挡的图像中分割出遮挡物模板图像，而不是采用直接的遮挡物图像作为遮挡物模板图像，被分割出遮挡物模板图像为佩戴在人脸上的状态，从光线、姿态等各个方面更加贴合人脸，使得合成效果更好。
在本申请的一个实施例中，在上述方法中，根据基础人脸图像确定第一特征信息包括：获取人脸未被遮挡物遮挡的图像，作为基础人脸图像；从所述基础人脸图像中识别出人脸关键点信息和头部姿态信息作为第一特征信息。
本申请中，基础人脸图像为人脸未被遮挡物遮挡的含人脸的图像。其中，第一特征信息可以从基础人脸图像直接识别出来，包括但不限于人脸关键点信息、头部姿态信息，人脸关键点信息包括但不限于：人脸轮廓、眼镜、鼻子、嘴等，头部姿态信息包括但不限于：向左偏转、向右偏转、抬头、低头等。
在本申请的一个实施例中，在上述方法中，第二特征信息包括头部姿态信息和人脸关键点信息，根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数包括：根据基础人脸图像的第一特征信息，确定第一三维姿态矩阵；根据遮挡物模板图像的第二特征信息，确定第二三维姿态矩阵；根据第一三维姿态矩阵和第二三维姿态矩阵，确定姿态转换矩阵作为遮挡物矫正参数。
本申请中，遮挡物矫正参数的确定可采用现有技术中的任意一种，也可使用本实施例推荐的优选方法，具体的，在第一特征信息和第二特征信息均包含头部姿态信息和人脸关键点信息的基础上，可根据第一特征信息对遮挡物模板图像进行姿态方面的矫正，使得遮挡物模板图像更加满足人脸多种姿态的情况。
首先，根据基础人脸图像的第一特征信息，确定出第一三维姿态矩阵；根据遮挡物模板图像的第二特征信息，确定第二三维姿态矩阵；然后根据第一三维姿态矩阵和第二三维姿态矩阵求解参数，即求解出一适合的三维空间变换矩阵，作为遮挡物矫正参数，以该三维空间变换矩阵对遮挡物模板图像进行缩放、平移、转动等变换操作，可以使遮挡物对人脸不同的姿态均有很好的适应能力。
求解参数的算法可采用人脸3D形变统计模型(3D morphable model，3DMM)，相对于二维模型中，二维照片的固有属性很难有效地恢复损失的人脸信息的特点，人脸3D形变统计模型更加适合多姿态的人脸识别。
人脸3D形变统计模型首先根据图像特征建立模型，由于数据量较大，往往会在建立的初步模型的基础上进行主成分分析(Principal Component Analysis，PCA)，以达到降维去噪的目的，最后进行模型匹配。模型匹配过程就是针对输入的二维图像的三维人脸建模过程，在本实施例中，表征基础人脸图像的第一特征信息的第一三维姿态矩阵，以及表征遮挡物模板图像的第二特征信息的第二三维姿态矩阵作为输入，求解出使遮挡物模板图像与基础人脸图像最为相似、匹配的三维空间变换矩阵，该三维空间变换矩阵即为求解出的遮挡物矫正参数。
本实施例中，根据基础人脸图像的姿态特征，对遮挡物模板图像进行姿态调整，使得调整后得到的遮挡物矫正图像与基础人脸图像的动作特征更加相符，合成的人脸图像效果更好。
在本申请的一个实施例中，在上述方法中，第一特征信息和第二特征信息均包括色彩直方图，根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数包括：根据基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图以及预设的色彩一致度值，确定色彩矫正参数，使第一色彩直方图和第二色彩直方图的色彩一致度值不小于预设的色彩一致度值。
本实施例推荐一种遮挡物矫正参数确定方法，在第一特征信息和第二特征信息均包括色彩直方图的前提下，根据基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图可以计算两张图像的色彩一致度值，这里预设一个色彩一致度值作为阈值，然后根据初步计算出的色彩一致度值、以及基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图，确定一矫正参数，根据该色彩矫正参数对遮挡物模板图像的第二色彩直方图进行矫正，然后再计算出基础人脸图像的第一色彩直方图以及经过初次矫正后的第二色彩直方图的色彩一致度值，以此类推，迭代计算，将每次计算得到的色彩一致度值与预设的色彩一致度值进行比较，直到第一色彩直方图和第二色彩直方图的色彩一致度值不小于预设的色彩一致度值，此时，迭代计算完成，得到的矫正参数即为色彩矫正参数。
根据本实施例得到的色彩矫正参数对遮挡物模板图像进行色彩矫正后，其与基础人脸图像在色调、明暗等方面更加接近，如基础人脸为黑暗环境中拍摄，而遮挡物在日光下获得，经过色彩矫正后，遮挡物的颜色、明暗都会变化，更加符合基础人脸图像的环境特点，使得合成图像效果更好，对光照的鲁棒性更强。
在本申请的一个实施例中，在上述方法中，色彩矫正参数包括色调矫正参数和/或饱和度矫正参数。
色调指的是一幅画中画面色彩的总体倾向，是大的色彩效果。当光线带有某种特定的色彩时，整个物体就被笼罩在这种色彩之中。因此对色调进行矫正，能够使得合成图像看起来为处于同一光源下，更加真实，如基础人脸图像在暖色光线下获得，那么对遮挡物模板图像进行色调矫正后，二者就会统一在暖色调中。
饱和度表征彩色偏离同亮度灰色的程度，可以理解为色彩的鲜艳程度，定义为彩度除以明度。因此，对饱和度进行矫正，可使得合成图像视觉效果更好，饱和度的调整，可通过明度的调整来实现，如调整明度的放缩比例和增强系数。
在本申请的一个实施例中，在上述方法中，对基础人脸图像和遮挡物矫正图像进行融合包括：根据遮挡物矫正图像的第二特征信息，确定遮挡物矫正图像在基础人脸图像中的位置信息；根据位置信息，对基础人脸图像和遮挡物矫正图像进行融合。
在将基础人脸图像和遮挡物矫正图像进行融合时，可首先确定遮挡物在基础人脸上应处于的位置，该位置的确定，可根据遮挡物矫正图像的第二特征信息，具体的，如遮挡物为口罩的情况下，在遮挡物矫正图像中，能够识别到鼻子、嘴巴等关键点的信息，根据这些信息，可与基础人脸图像中的对应的关键点对应起来，即可确定出口罩应在基础人脸上图像中的位置，然后再将基础人脸图像和遮挡物矫正图像进行融合。
本实施推荐的融合方法，图像融合效果更好，遮挡物在基础人脸图像中的位置更加准确。
图2示出了根据本申请另一个实施例的人脸图像的合成方法的流程示意图。
首先，获取基础人脸图像，从基础人脸图像中提取第一特征信息，包括：关键点信息、人脸姿态信息、色彩直方图。
获取人脸被遮挡物部分遮挡的图像作为素材图像，从素材图像中提取第二特征信息，包括：关键点信息、人脸姿态信息、色彩直方图；根据关键点信息从素材图像中分割出与遮挡物对应的子图像作为遮挡物模板图像。
根据所述第一特征信息和所述遮挡物模板图像的第二特征信息，确定遮挡物矫正参数，具体的，可以分为姿态矫正参数和色彩矫正参数。其中姿态矫正参数的确认可根据基础人脸图像的第一特征信息，确定第一三维姿态矩阵；根据遮挡物模板图像的第二特征信息，确定第二三维姿态矩阵；根据第一三维姿态矩阵和第二三维姿态矩阵，确定姿态转换矩阵即姿态矫正参数，作为遮挡物矫正参数。
色彩矫正参数根据基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图以及预设的色彩一致度值，确定色彩矫正参数，使第一色彩直方图和第二色彩直方图的色彩一致度值不小于预设的色彩一致度值。
然后，根据遮挡物矫正参数对遮挡物模板图像进行矫正，得到遮挡物矫正图像。
最后，根据遮挡物矫正图像的第二特征信息，确定遮挡物矫正图像在所述基础人脸图像中的位置信息；根据位置信息，对基础人脸图像和所述遮挡物矫正图像进行融合，即得到人脸被遮挡物部分遮挡的合成图像。
以下对本申请中提供的方法以及现有技术进行了对比，测试中，共计6951段戴口罩视频，其中detv2是加入口罩样本后训练的人脸检测算法模型，lm4是仅使用姿态鲁棒的合成口罩人脸训练得到的关键点模型，lm5是使用本申请提供的人脸图像合成方法得到的图像进行训练得到的关键点模型。从表1的测试结果可以看出，相比现有技术1和的Detv2+Im4模型，利用本申请合成得到的人脸图像数据进行模型的训练，可以帮助模型大幅度提升戴口罩情况下的活体检测效果。
表1应用现有技术和本发明提供的图像训练得到的模型的识别结果对比
图3示出了根据本申请一个实施例的人脸图像的合成装置的结构示意图，该人脸图像的合成装置300包括：
获取单元310，用于获取基础人脸图像和遮挡物模板图像。
本申请通过将调整后的遮挡物模板图像与基础人脸图像融合在一起，合成人脸图像。其中，基础人脸图像，在这里指图像中的人的脸部没有遮挡物，遮挡物是指能较大面积挡住人面部的外来物品，如口罩、太阳镜、眼罩、面具等。基础人脸图像的获取可为现有技术中的任意一种，如可从现有数据库中获取；也可是从网络资源中获取；或者通过影像设备录制获取。
遮挡物模板图像，是指图像中仅有遮挡物的图像，如一副口罩的图像、一个眼罩的图像。遮挡物模板图像的获取可为现有技术中的任意一种，如从网络资源中获取、也可通过拍照获取、或从现有的图像中裁剪得来。
信息处理单元320，用于根据基础人脸图像确定第一特征信息；以及用于根据所述第一特征信息和所述遮挡物模板图像的第二特征信息，确定遮挡物矫正参数。
确定基础人脸图像的特征，作为第一特征信息，其中基础人脸图像的特征包括但不限于颜色特征、几何形状特征、边缘特征、纹理特征、空间关系特征等。
对于基础人脸图像特征的提取，可采用现有技术中的任意一种，如特征点特征提取方法、尺度不变特征转换方法(Scale-Invariant Feature Transform，SIFT)、加速稳健特征方法(Speeded-Up Robust Features，SURF)等。
人们不需要观察物体的每个属性就可以很快的识别出很多物体，如通常可以通过一个鼻子或嘴巴判断图像是一个人，这些直觉就可以用来建立一种表示图像大多数信息属性的方法，这些有信息量的属性，称为兴趣点(points of interest)或特征点，其是由丰富的纹理包围，基本可以重建图像。边缘(edges)和角点(corners)是两种常用的特征点类型。边是像素快速变化的分界线(boundary)，角是两条边的交集。相对于通过像素值提取特征，特征点特征提取方法大幅度降低了特征向量的维度，使计算量大量减小；在经过对图像的放缩，旋转或变换时，稳定性强；而且当图片的亮度发生统一变化时，这些特征点依然存在。
尺度不变特征转换方法相对于特征点特征提取方法，对图像的尺寸，旋转，亮度变化更不敏感。每个SIFT特征都是一个描述图片上某个区域边缘和角点的向量。SIFT还可以获取每个特征点和它周围点的综合信息。
加速稳健特征方法是另一个抽取图像特征点的方法，其特征向量对图像的尺寸，旋转，亮度变化是不变的，SURF的算法可以比SIFT更快。
为了保障特征提取的精准性，本实施例推荐使用高性能的模型进行特征提取作为一种优选方案。
根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数。遮挡物模板图像的第二特征信息包括但不限于遮挡物的类别、形状、颜色等。如遮挡物是口罩，第二特征信息包括但不限于口罩的颜色、大小、形状、口罩姿态等信息。
第二特征信息的获取可在获取遮挡物模板图像的过程中实现，也可在获取遮挡物模板图像后实现。如遮挡物模板图像是从现有图像中裁剪而来，则可先获取第二特征信息，然后根据第二特征信息从现有图像中裁剪遮挡物模板图像；如遮挡物模板图像是从网络资源或者现有数据库中获取的，则可对现有图像进行特征提取，从而获取第二特征信息。
基础人脸图像和遮挡物模板图像在亮度、角度等多方面存在差异，如果将遮挡物模板图像直接或只是将遮挡物模板图像作简单的仿射变换后，就贴合到基础人脸图像上，得到的图像效果不理想，如基础人脸图像是在夜间拍摄的，光线很暗，而遮挡物模板图像为日间模式，那么合成的人脸图像效果非常不理想。因此，本申请，根据基础人脸图像的第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数，并对遮挡物进行矫正，以使遮挡物在颜色、形态、亮度等多方面与基础人脸图像趋于一致，使得遮挡物能更加贴合基础人脸图像。
遮挡物矫正参数包括但不限于：颜色矫正参数、姿态矫正参数等。
矫正单元330，用于根据所述遮挡物矫正参数对所述遮挡物模板图像进行矫正，得到遮挡物矫正图像。
在得到遮挡物矫正参数后，根据遮挡物矫正参数，对遮挡物模板图像进行矫正，如基础人脸图像中的人脸是向左偏转的，而遮挡物模板图像为口罩，是平铺且正向前方的，根据遮挡物矫正参数，对遮挡物模板图像进行矫正，得到遮挡物矫正图像，该遮挡物矫正图像中的口罩会根据人脸的脸型呈现一个弧度，且会根据基础人脸图像中的人脸向左偏转的角度，呈现一个向左的角度。
融合单元340，用于对所述基础人脸图像和所述遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。
在得到遮挡物矫正图像后，将基础人脸图像和遮挡物矫正图像融合，即得到人脸被遮挡物部分遮挡的合成图像。
融合方法可采用现有技术中的任意一种，如可采用但不限于小波变换图像融合，小波变换的基本思想是通过一个小波基函数对图像进行平移和伸缩操作，使图像中某些局部区域的特征得到加强，同时还具有水平、垂直和45°方向性。小波变换使其在图像融合中更加便于挖掘不同阶层上的信息，在不同尺度上增强图像的细节信息和特征信息。
小波变换图像融合的步骤可简述为：首先以低分辨率图像为参考图来对高分辨率图进行直方图匹配，以形成直方图匹配图，然后对直方图匹配图进行小波变换以形成各自的低频图像和高频细节信息，并用原始的低分辨率图像来取得小波变换后的低频图像，对替换后的图像及与之相关的细节信息进行小波逆变换，从而得到融合图像。
在本申请的一个实施例中，在上述装置中，获取单元310，用于获取人脸被遮挡物部分遮挡的图像作为素材图像；用于获取素材图像的人脸关键点信息作为第二特征信息；以及用于根据人脸关键点信息从所述素材图像中分割出与遮挡物对应的子图像作为遮挡物模板图像。
在本申请的一个实施例中，在上述装置中，信息处理单元320，用于获取人脸未被遮挡物遮挡的图像，作为基础人脸图像；以及用于从所述基础人脸图像中识别出人脸关键点信息和头部姿态信息作为第一特征信息。
在本申请的一个实施例中，在上述装置中，第二特征信息包括头部姿态信息和人脸关键点信息，信息处理单元320，用于根据基础人脸图像的第一特征信息，确定第一三维姿态矩阵；用于根据遮挡物模板图像的第二特征信息，确定第二三维姿态矩阵；以及用于根据第一三维姿态矩阵和第二三维姿态矩阵，确定姿态转换矩阵作为遮挡物矫正参数。
在本申请的一个实施例中，在上述装置中，第一特征信息和第二特征信息均包括色彩直方图，信息处理单元320，用于根据基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图以及预设的色彩一致度值，确定色彩矫正参数，使第一色彩直方图和第二色彩直方图的色彩一致度值不小于预设的色彩一致度值。
在本申请的一个实施例中，在上述装置中，色彩矫正参数包括色调矫正参数和/或饱和度矫正参数。
在本申请的一个实施例中，在上述装置中，融合单元340，用于根据遮挡物矫正图像的第二特征信息，确定遮挡物矫正图像在基础人脸图像中的位置信息；并根据位置信息，对基础人脸图像和遮挡物矫正图像进行融合。
由上述可知，本申请的技术方案，通过获取基础人脸图像和遮挡物模板图像；根据基础人脸图像确定第一特征信息；根据第一特征信息和遮挡物模板图像的第二特征信息，确定遮挡物矫正参数；根据遮挡物矫正参数对遮挡物模板图像进行矫正，得到遮挡物矫正图像；对基础人脸图像和遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。本申请的有益效果在于，根据基础人脸图像的特征对遮挡物模板图像进行调整，使得遮挡物模板图像能够与基础人脸的状态保持高度一致，如动作、姿态、颜色、亮度等，合成效果更好，极大程度上提高了人脸的合成图像的鲁棒性，大幅度的减少了人工直接对被遮挡物部分遮挡的图像进行标注的工作量，显著提高了工作效率，且适用性广。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的人脸图像的合成装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图4示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备400包括处理器410和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器420。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器420具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码431的存储空间430。例如，用于存储计算机可读程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码431。计算机可读程序代码431可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所述的计算机可读存储介质。图5示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质500存储有用于执行根据本申请的方法步骤的计算机可读程序代码431，可以被电子设备400的处理器410读取，当计算机可读程序代码431由电子设备400运行时，导致该电子设备400执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码431可以执行上述任一实施例中示出的方法。计算机可读程序代码431可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种人脸图像的合成方法，包括：
获取基础人脸图像和遮挡物模板图像；
根据基础人脸图像确定第一特征信息；
根据所述第一特征信息和所述遮挡物模板图像的第二特征信息，确定遮挡物矫正参数；
根据所述遮挡物矫正参数对所述遮挡物模板图像进行矫正，得到遮挡物矫正图像；
对所述基础人脸图像和所述遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。
2.根据权利要求1所述的方法，其特征在于，所述获取基础人脸图像和遮挡物模板图像包括：
获取人脸被遮挡物部分遮挡的图像作为素材图像；
获取所述素材图像的人脸关键点信息作为第二特征信息；
根据所述人脸关键点信息从所述素材图像中分割出与遮挡物对应的子图像作为遮挡物模板图像。
3.根据权利要求1所述的方法，其特征在于，所述根据基础人脸图像确定第一特征信息包括：
获取人脸未被遮挡物遮挡的图像，作为基础人脸图像；
从所述基础人脸图像中识别出人脸关键点信息和头部姿态信息作为第一特征信息。
4.根据权利要求1所述的方法，其特征在于，所述第二特征信息包括头部姿态信息和人脸关键点信息，所述根据所述第一特征信息和所述遮挡物模板图像的第二特征信息，确定遮挡物矫正参数包括：
根据所述基础人脸图像的第一特征信息，确定第一三维姿态矩阵；
根据所述遮挡物模板图像的第二特征信息，确定第二三维姿态矩阵；
根据所述第一三维姿态矩阵和第二三维姿态矩阵，确定姿态转换矩阵作为遮挡物矫正参数。
5.根据权利要求1所述的方法，其特征在于，所述第一特征信息和所述第二特征信息均包括色彩直方图，所述根据所述第一特征信息和所述遮挡物模板图像的第二特征信息，确定遮挡物矫正参数包括：
根据基础人脸图像的第一色彩直方图、遮挡物模板图像的第二色彩直方图以及预设的色彩一致度值，确定色彩矫正参数，使所述第一色彩直方图和所述第二色彩直方图的色彩一致度值不小于所述预设的色彩一致度值。
6.根据权利要求5所述的方法，其特征在于，所述色彩矫正参数包括色调矫正参数和/或饱和度矫正参数。
7.根据权利要求1所述的方法，其特征在于，所述对所述基础人脸图像和所述遮挡物矫正图像进行融合包括：
根据所述遮挡物矫正图像的第二特征信息，确定所述遮挡物矫正图像在所述基础人脸图像中的位置信息；根据所述位置信息，对所述基础人脸图像和所述遮挡物矫正图像进行融合。
8.一种人脸图像的合成装置，其特征在于，该装置包括：
获取单元，用于获取基础人脸图像和遮挡物模板图像；
信息处理单元，用于根据基础人脸图像确定第一特征信息；以及用于根据所述第一特征信息和所述遮挡物模板图像的第二特征信息，确定遮挡物矫正参数；
矫正单元，用于根据所述遮挡物矫正参数对所述遮挡物模板图像进行矫正，得到遮挡物矫正图像；
融合单元，用于对所述基础人脸图像和所述遮挡物矫正图像进行融合，得到人脸被遮挡物部分遮挡的合成图像。
9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010396641.9A CN111738930A (zh) | 2020-05-12 | 2020-05-12 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010396641.9A CN111738930A (zh) | 2020-05-12 | 2020-05-12 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111738930A true CN111738930A (zh) | 2020-10-02 |
Family
ID=72647075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010396641.9A Pending CN111738930A (zh) | 2020-05-12 | 2020-05-12 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738930A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085010A (zh) * | 2020-10-28 | 2020-12-15 | 成都信息工程大学 | 一种基于图像识别的口罩检测和部署系统及方法 |
| CN112258619A (zh) * | 2020-12-22 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法和装置 |
| CN114333026A (zh) * | 2021-12-31 | 2022-04-12 | 睿云联(厦门)网络通讯技术有限公司 | 一种提高遮挡对象识别精度的图像处理方法、装置、系统及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020579A (zh) * | 2011-09-22 | 2013-04-03 | 上海银晨智能识别科技有限公司 | 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置 |
| CN104715447A (zh) * | 2015-03-02 | 2015-06-17 | 百度在线网络技术（北京）有限公司 | 图像合成方法和装置 |
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN109035288A (zh) * | 2018-07-27 | 2018-12-18 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置、设备和存储介质 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| CN110197462A (zh) * | 2019-04-16 | 2019-09-03 | 浙江理工大学 | 一种人脸图像实时美化与纹理合成方法 |
| CN110458752A (zh) * | 2019-07-18 | 2019-11-15 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
-
2020
- 2020-05-12 CN CN202010396641.9A patent/CN111738930A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020579A (zh) * | 2011-09-22 | 2013-04-03 | 上海银晨智能识别科技有限公司 | 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置 |
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN104715447A (zh) * | 2015-03-02 | 2015-06-17 | 百度在线网络技术（北京）有限公司 | 图像合成方法和装置 |
| CN109035288A (zh) * | 2018-07-27 | 2018-12-18 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置、设备和存储介质 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| CN110197462A (zh) * | 2019-04-16 | 2019-09-03 | 浙江理工大学 | 一种人脸图像实时美化与纹理合成方法 |
| CN110458752A (zh) * | 2019-07-18 | 2019-11-15 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085010A (zh) * | 2020-10-28 | 2020-12-15 | 成都信息工程大学 | 一种基于图像识别的口罩检测和部署系统及方法 |
| CN112258619A (zh) * | 2020-12-22 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法和装置 |
| CN114333026A (zh) * | 2021-12-31 | 2022-04-12 | 睿云联(厦门)网络通讯技术有限公司 | 一种提高遮挡对象识别精度的图像处理方法、装置、系统及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN103914676B (zh) | 一种在人脸识别中使用的方法和装置 | |
| EP1260935B1 (en) | Face detection device, face pose detection device, partial image extraction device, and methods for said devices | |
| US7715596B2 (en) | Method for controlling photographs of people | |
| CN108549886A (zh) | 一种人脸活体检测方法及装置 | |
| CN105407346B (zh) | 影像分割方法 | |
| US8836777B2 (en) | Automatic detection of vertical gaze using an embedded imaging device | |
| US8411932B2 (en) | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system | |
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| CN109086718A (zh) | 活体检测方法、装置、计算机设备及存储介质 | |
| CN107507217B (zh) | 证件照的制作方法、装置及存储介质 | |
| CN102971768B (zh) | 姿势状态估计装置及姿势状态估计方法 | |
| CN106372629B (zh) | 一种活体检测方法和装置 | |
| US20180357819A1 (en) | Method for generating a set of annotated images | |
| CN108230252A (zh) | 图像处理方法、装置以及电子设备 | |
| KR20170008638A (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| KR20140033088A (ko) | 플레이어의 모습을 반영한 아바타의 생성 기법 | |
| CN110363116A (zh) | 基于gld-gan的不规则人脸矫正方法、系统及介质 | |
| CN111738930A (zh) | 人脸图像的合成方法、装置、电子设备及存储介质 | |
| CN113781421B (zh) | 基于水下的目标识别方法、装置及系统 | |
| CN111222433A (zh) | 自动人脸稽核方法、系统、设备及可读存储介质 | |
| WO2017173578A1 (zh) | 一种图像增强方法及装置 | |
| CN114119695A (zh) | 一种图像标注方法、装置及电子设备 | |
| US11704807B2 (en) | Image processing apparatus and non-transitory computer readable medium storing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201002 |