CN115393186A - 一种人脸图像超分辨率重建方法、系统、设备及介质 - Google Patents
一种人脸图像超分辨率重建方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115393186A CN115393186A CN202210867096.6A CN202210867096A CN115393186A CN 115393186 A CN115393186 A CN 115393186A CN 202210867096 A CN202210867096 A CN 202210867096A CN 115393186 A CN115393186 A CN 115393186A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- resolution
- original high
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸图像超分辨率重建方法、系统、设备及介质，涉及计算机视觉技术领域，该方法基于目标人脸图像超分辨率重建模型实现图像重建，该方法步骤包括：对待重建的低分辨率人脸图像进行浅层特征提取，得到第一浅层特征图像；对第一浅层特征图像进行深层特征提取，得到第一深层特征图像；根据第一浅层特征图像和第一深层特征图像，确定目标重建图像。本方法解决了通过现有的基于局部图像块和全局人脸统计的人脸图像超分辨率重建方法实现人脸图像超分辨率重建时全局结构不一致、局部细节丢失，导致重建效果不佳，以及现有的基于结构先验的人脸图像超分辨率重建方法实现人脸图像超分辨率重建存在生成的超分辨率人脸图像失真的问题。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种人脸图像超分辨率重建方法、系统、设备及介质。
背景技术
近年来，随着深度学习技术的快速发展，针对人脸图像的超分辨率图像方法有了更加广泛的研究。目前，现有的人脸图像超分辨率重建方法大致分为三类：基于局部图像块的人脸图像超分辨率重建方法(简称局部方法)、基于全局人脸统计的人脸图像超分辨率重建方法(简称全局方法)、基于局部图像块和全局人脸统计的人脸图像超分辨率重建方法(简称混合方法)。
其中，局部方法首先将人脸图像裁剪成大小一致的图像块，然后恢复局部图像块的纹理细节，最后将图像块融合，得到重建的超分辨率人脸图像。局部方法由于忽略了人脸图像全局结构信息，导致存在人脸轮廓不一致性的问题。由于人脸图像是一个高度结构化的对象，因此使用结构化信息实现人脸图像重建是一种较好的策略，尤其是使用稳定的全局人脸结构化信息，对下游任务如人脸检测、定位、识别是十分必要的，然而，虽然全局方法能较好地保持人脸图像的全局结构信息，但是由于人脸图像维数非常高，全局方法表达能力不足，无法对如此高维的人脸数据进行准确表示，导致该类方法重建出的超分辨率人脸图像往往与“平均脸”接近，缺乏关键的人脸特征细节信息。混合方法结合了以上两类方法来重建人脸全局轮廓信息和局部细节信息，但由于其极高的复杂性与高计算量，使得研究者们更加倾向于单独使用局部方法或者全局方法。
由于卷积神经网络(Convolutional Neural Networks，简称CNN)具有强大的局部建模能力，使得其广泛应用于人脸图像重建中。基于CNN的人脸图像超分辨率重建方法可以分为两大类：基于CNN的局部方法和基于CNN的全局方法，目前有两种主流的基于CNN的全局方法，分别为基于整体图像的人脸图像超分辨率重建方法和基于结构先验的人脸图像超分辨率重建方法。其中，基于CNN的局部方法是通过对人脸图像进行分块处理，将人脸图像划分为不同的局部区域块，利用CNN来推断出局部区域块中缺失的高频细节，然而这类方法在对图像进行分块操作时，破坏了全局人脸结构信息，不可避免地会导致图像重建的结果出现模糊的情况。基于整体图像的人脸图像超分辨率重建方法是将整个人脸图像输入到CNN中，以获取全局结构信息，然而，由于CNN的感受野有限，导致其无法处理远程依赖关系，因此这种方法不适合从输入的人脸图像中获取全局信息。基于结构先验的人脸图像超分辨率重建方法可以先利用人脸组件的位置信息和额外的人脸先验信息确定人脸结构信息，然后利用人脸超分辨率重建模型根据人脸结构信息捕获全局结构信息，再将人脸先验信息和全局结构信息融合，最后利用解码器得到超分辨率人脸图像。但由于额外的人脸先验信息需要额外的人脸检测模型，不仅增加了此类方法训练模型的成本和推理的成本和难度，同时可能会导致人脸超分辨率重建模型难以拟合，还会导致生成的超分辨率人脸图像失真。
发明内容
本发明所要解决的技术问题为：通过现有的基于局部图像块和全局人脸统计的人脸图像超分辨率重建方法实现人脸图像超分辨率重建时全局结构不一致、局部细节丢失，导致重建效果不佳，以及现有的基于结构先验的人脸图像超分辨率重建方法实现人脸图像超分辨率重建存在生成的超分辨率人脸图像失真的情况。为解决该技术问题，本发明提供了一种人脸图像超分辨率重建方法、系统、设备及介质。
本发明解决上述技术问题的技术方案如下：
一种人脸图像超分辨率重建方法，包括目标人脸图像超分辨率重建模型，所述目标人脸图像超分辨率重建模型包括依次连接的第一浅层特征提取器和第一深层特征提取器；所述方法包括以下步骤：
步骤S1：获取待重建的低分辨率人脸图像，将所述低分辨率人脸图像输入所述目标人脸图像超分辨率重建模型中；
步骤S2：通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取，得到第一浅层特征图像；
步骤S3：通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取，得到第一深层特征图像；
步骤S4：根据所述第一浅层特征图像和所述第一深层特征图像，确定所述待重建的低分辨率人脸图像对应的目标重建图像。
本发明的有益效果是：本发明的方法利用预先训练好的目标人脸图像超分辨率重建模型对待重建的低分辨率人脸图像依次进行浅层特征提取、深层特征提取、重建得到目标重建图像，计算量小且复杂性低；通过本发明的方法对人脸图像进行重建，可高效的对高分辨率人脸图像进行图像重建，即将低分辨率人脸图像重建成目标重建图像，便于对图像进行观察，相较于现有的人脸图像超分辨率重建方法，本发明的方法对人脸图像进行重建时，既保留了人脸全局结构的一致性和局部细节恢复的保真度，又保留了人脸的高频特征，避免了出现重建后得到的图像存在失真的情况。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述目标人脸图像超分辨率重建模型是基于预先构建好的初始人脸图像超分辨率重建网络训练得到的，所述目标人脸图像超分辨率重建模型的训练过程包括：
步骤A1：获取多个原始高分辨率人脸图像，多个所述原始高分辨率人脸图像组成训练集；
步骤A2：随机初始化所述初始人脸图像超分辨率重建网络的模型参数，对所述训练集中包含的各个原始高分辨率人脸图像进行编号；
步骤A3：将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中，通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第一目标重建图像，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像，计算第一损失函数值；
步骤A4：根据所述第一损失函数值，通过反向传播算法对所述初始人脸图像超分辨率重建网络的模型参数进行优化，得到优化后的人脸超分辨率重建模型；
步骤A5：将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中，通过所述初始人脸图像超分辨率重建网络加载所述优化后的人脸超分辨率重建模型，得到人脸图像超分辨率重建网络，通过所述人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第二目标重建图像，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第二目标重建图像，计算第二损失函数值；
步骤A6：根据所述第二损失函数值，通过反向传播算法对所述人脸图像超分辨率重建网络的模型参数进行优化，得到优化后的人脸超分辨率重建模型；
步骤A7：若所述第二损失函数收敛，将所述第二损失函数收敛时的优化后的人脸超分辨率重建模型确定为最佳人脸超分辨率重建模型，通过所述初始人脸图像超分辨率重建网络加载所述最佳人脸超分辨率重建模型，得到目标人脸图像超分辨率重建模型，若所述第二损失函数不收敛，重复步骤A5至步骤A6，直至所述第二损失函数值收敛。
采用上述进一步方案的有益效果是：通过上述方法进行人脸重建可以高效的得到高分辨率人脸图像，同时又能较好的保持面部结构的一致性，以及保留局部的纹理细节，从而获得更优的重建效果；且本发明通过对初次重建后得到的第一目标重建图像进行二次重建，可进一步提高对低分辨率人脸图像的重建效果，进而提升目标人脸图像超分辨率重建模型的重建性能。
进一步，所述第一深层特征提取器包括依次连接的多个传输连接块；所述步骤S3具体包括：
对于所述第一深层特征提取器中的每个所述传输连接块，所述传输连接块对输入所述传输连接块的图像进行深层特征提取，得到所述传输连接块对应的一级融合特征图像，每相邻的两个所述传输连接块中，位置在前的传输连接块对应的一级融合特征图像作为位置在后的传输连接块的输入；
对所述第一深层特征提取器中最后一个所述传输连接块对应的一级融合特征图像进行卷积处理，得到所述第一深层特征图像；
每个所述传输连接块包括全局特征提取器、局部特征提取器和聚合模块，所述全局特征提取器与所述局部特征提取器并行连接后连接所述聚合模块，所述全局特征提取器用于提取图像的全局特征信息，所述局部特征提取器用于提取图像的局部特征信息，所述聚合模块用于对图像的全局特征信息和局部特征信息进行融合；
所述对于所述第一深层特征提取器中的每个所述传输连接块，所述传输连接块对输入所述传输连接块的图像进行深层特征提取，得到所述传输连接块对应的一级融合特征图像，具体包括：
对于输入所述传输连接块的图像，通过所述全局特征提取器对所述图像进行全局特征提取，得到所述图像对应的第一全局特征图像；
对于输入所述传输连接块的图像，通过所述局部特征提取器对所述图像进行局部特征提取，得到所述图像对应的第一局部特征图像；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一全局特征图像的通道维度，得到所述图像对应的第三全局特征图像；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一局部特征图像的平面维度，得到所述图像对应的第三局部特征图像；
对于输入所述传输连接块的图像，将所述图像对应的第三全局特征图像和第三局部特征图像沿通道维度进行拼接，得到所述图像对应的第一融合特征图像；
对于输入所述传输连接块的图像，根据所述第一融合特征图像中的全局特征和局部表征，得到所述传输连接块对应的一级融合特征图像；
所述全局特征提取器包括多个结构相同的Transformer模块，各个所述Transformer模块依次连接，每个所述Transformer模块包括空间卷积自注意力层和全连接前馈层；
所述对于输入所述传输连接块的图像，通过所述全局特征提取器对所述图像进行全局特征提取，得到所述图像对应的第一全局特征图像，具体包括：
对于每个所述Transformer模块，所述Transformer模块对输入所述Transformer模块的图像进行分块处理，得到多个图像块；
对于每个所述Transformer模块，通过所述空间卷积自注意力层获取每个所述图像块的空间信息，得到所述Transformer模块对应的第一特征图；
对于每个所述Transformer模块，通过所述全连接前馈层对每个所述图像块进行非线性转换，得到所述Transformer模块对应的第二特征图；
对于每个所述Transformer模块，将所述Transformer模块对应的第一特征图和所述第二特征图进行逐元素相加，得到所述Transformer模块对应的第三特征图，每相邻的两个所述Transformer模块中，位置在前的所述Transformer模块对应的第三特征图作为位置在后的所述Transformer模块的输入；
对所述全局特征提取器中最后一个所述Transformer模块对应的第三特征图进行卷积处理，得到第一全局特征图像；
所述对于每个所述Transformer模块，通过所述空间卷积自注意力层获取每个所述图像块的空间信息，得到所述Transformer模块对应的第一特征图，具体包括：
对每个所述图像块中的每一维度嵌入编码，得到多个编码图像块；
对于每个所述编码图像块，通过预先构建的第一卷积神经网络、第二卷积神经网络、第三卷积神经网络获取所述编码图像块的空间信息，得到所述编码图像块对应的第一空间图像、第二空间图像和第三空间图像；
对于每个所述编码图像块，对所述编码图像块对应的第一空间图像、第二空间图像和第三空间图像分别进行展平处理，得到所述第一空间图像对应的查询权重矩阵、所述第二空间图像对应的键权重矩阵和所述第三空间图像对应的值权重矩阵；
对于每个所述编码图像块，对所述编码图像块对应的查询权重矩阵和键权重矩阵分别进行展平处理，得到展平后的查询权重矩阵和展平后的键权重矩阵，对所述展平后的查询权重矩阵进行重塑处理，得到所述编码图像块对应的目标查询权重矩阵，对所述展平后的键权重矩阵进行重塑处理，得到所述编码图像块对应的目标键权重矩阵；
对于每个所述编码图像块，根据所述编码图像块对应的目标查询权重矩阵和目标键权重矩阵，计算所述编码图像块对应的相似度矩阵，将所述编码图像块对应的相似度矩阵与值权重矩阵相乘，得到所述编码图像块对应的聚合特征图像；
将各个所述编码图像块对应的聚合特征图像进行折叠处理，得到输入所述Transformer模块的图像对应的第一组合特征图像；
将输入所述Transformer模块的图像与输入所述Transformer模块的图像对应的第一组合特征图像逐元素相加，得到第二组合特征图像，对所述第二组合特征图像进行归一化处理，得到所述Transformer模块对应的第一特征图；
对于每个所述Transformer模块，通过所述全连接前馈层对每个所述图像块进行非线性转换，得到所述Transformer模块对应的第二特征图，具体包括：
对于每个所述图像块，通过所述全连接前馈层对所述图像块进行非线性转换，得到所述图像块对应的第四特征图；
将各个所述图像块对应的第四特征图进行聚合处理，得到所述Transformer模块对应的第二特征图；
所述局部特征提取器包括多个结构相同的CNN模块，各个所述CNN模块依次连接；
对于输入所述传输连接块的图像，通过所述局部特征提取器对所述图像进行局部特征提取，得到所述图像对应的第一局部特征图像，具体包括：
对于每个所述CNN模块，通过所述CNN模块对输入所述CNN模块的图像进行局部特征提取，得到所述CNN模块对应的第五特征图，每相邻的两个所述CNN模块中，位置在前的所述CNN模块对应的第五特征图作为位置在后的所述CNN模块的输入；
对所述传输连接块中最后一个所述CNN模块对应的第五特征图进行卷积处理，得到所述图像对应的第一局部特征图像；
各个所述CNN模块包括多个结构相同的卷积层F，各个所述卷积层F依次连接；
对于每个所述CNN模块，通过所述CNN模块对输入所述CNN模块的图像进行局部特征提取，得到所述CNN模块对应的第五特征图，具体包括：
对于输入所述CNN模块的图像，通过所述CNN模块中的卷积层F对所述图像进行卷积处理，以提取所述图像的局部特征信息，得到所述卷积层F对应的局部特征图像A，每相邻的两个所述卷积层F中，位置在前的所述卷积层F对应的局部特征图像A作为位置在后的所述卷积层F的输入；
对所述CNN模块中最后一个所述卷积层F对应的局部特征图像A进行非线性转换，得到所述卷积层F对应的局部特征图像B；
将所述CNN模块中最后一个所述卷积层F对应的局部特征图像A和所述局部特征图像B逐元素相加，得到所述CNN模块对应的第五特征图；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一全局特征图像的通道维度，得到所述图像对应的第三全局特征图像，具体包括：
通过预先构建的卷积层P调整所述图像对应的第一全局特征图像的通道维度，使所述图像对应的第一全局特征图像的通道维度与第一局部特征图像的通道维度相等，得到所述图像对应的第三全局特征图像；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一局部特征图像的平面维度，得到所述图像对应的第三局部特征图像，具体包括：
通过预先构建的卷积层Q调整所述图像对应的第一局部特征图像的平面维度，使所述图像对应的第一局部特征图像的平面维度与第一全局特征图像的平面维度相等，得到所述图像对应的第三局部特征图像。
采用上述进一步方案的有益效果是：以并行的方式通过全局特征提取器和局部特征提取器获取图像中的全局特征和局部特征，即利用Transformer模块获取人脸全局结构信息、利用CNN模块获取人脸局部细节信息，可同时保留人脸的全局结构信息和局部细节信息，再通过聚合模块对全局特征提取器和局部特征提取器的输出进行聚合，从而保持了人脸全局结构的一致性和局部细节恢复的保真度，避免了单独使用全局特征提取器带来的局部细节丢失以及单独使用局部特征提取器带的全局结构不一致的问题。
进一步，所述步骤A3中，所述初始人脸图像超分辨率重建网络包括依次连接的第一浅层特征提取器、第一深层特征提取器、第二浅层特征提取器和第二深层特征提取器；通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第一目标重建图像，具体包括：
步骤A3.1：对于每个所述原始高分辨率人脸图像，将所述原始高分辨率人脸图像转换为所述原始高分辨率人脸图像对应的低分辨率人脸图像；
步骤A3.2：对于每个所述原始高分辨率人脸图像，通过所述第一浅层特征提取器对所述原始高分辨率人脸图像对应的低分辨率人脸图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第一浅层特征图像；
步骤A3.3：对于每个所述原始高分辨率人脸图像，通过所述第一深层特征提取器对所述原始高分辨率人脸图像对应的第一浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第一深层特征图像；
步骤A3.4：对于每个所述原始高分辨率人脸图像，根据所述原始高分辨率人脸图像对应的第一浅层特征图像和第一深层特征图像，确定所述原始高分辨率人脸图像对应的第一初始重建图像；
步骤A3.5：对于每个所述原始高分辨率人脸图像，通过所述下采样模块对所述原始高分辨率人脸图像对应的第一初始重建图像进行下采样处理，得到所述原始高分辨率人脸图像对应的下采样特征图像；
步骤A3.6：对于每个所述原始高分辨率人脸图像，通过所述第二浅层特征提取器对所述原始高分辨率人脸图像对应的下采样特征图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第二浅层特征图像；
步骤A3.7：对于每个所述原始高分辨率人脸图像，通过所述第二深层特征提取器对所述原始高分辨率人脸图像对应的第二浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第二深层特征图像；
步骤A3.8：对于每个所述原始高分辨率人脸图像，根据所述原始高分辨率人脸图像对应的第二浅层特征图像和第二深层特征图像，确定所述原始高分辨率人脸图像对应的第一目标重建图像。
采用上述进一步方案的有益效果是：得到的第一目标重建图像用于身份特征提取，计算第一损失函数值和第二损失函数值，可提高人脸图像的重建效果。
进一步，所述步骤A3.8具体包括：
通过预先构建的卷积层L对所述待重建的低分辨率人脸图像对应的第二深层特征图像进行上采样处理，得到所述待重建的低分辨率人脸图像对应的上采样特征图像；
通过预先构建的卷积层M调整所述待重建的低分辨率人脸图像对应的上采样特征图像的通道维度，使所述待重建的低分辨率人脸图像对应的上采样特征图像的通道维度与第二浅层特征图像的通道维度相等，得到所述待重建的低分辨率人脸图像对应的第三深层特征图像；
通过预先构建的卷积层N调整所述待重建的低分辨率人脸图像对应的第二浅层特征图像的平面维度，使所述待重建的低分辨率人脸图像对应的第二浅层特征图像的平面维度与上采样特征图像的平面维度相等，得到所述待重建的低分辨率人脸图像对应的第三浅层特征图像；
将所述待重建的低分辨率人脸图像对应的第三浅层特征图像和第三深层特征图像沿通道维度进行拼接，得到所述待重建的低分辨率人脸图像对应的目标融合特征图像；
通过预先构建的卷积层S学习所述待重建的低分辨率人脸图像对应的目标融合特征图像中的全局特征和局部表征，得到所述待重建的低分辨率人脸图像对应的第一目标重建图像。
采用上述进一步方案的有益效果是：采用上述双循环结构得到的低分辨率的第一目标重建图像，通过和初始送入网络的低分辨率人脸图像进行损失值计算，可以更好地提高模型的重建效果，提升模型的重建性能。
进一步，所述步骤A3中，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像，计算第一损失函数值，具体包括：
对于每个所述原始高分辨率人脸图像，对所述原始高分辨率人脸图像进行身份特征提取，得到所述原始高分辨率人脸图像对应的第一身份特征图像；
对于每个所述原始高分辨率人脸图像，对所述原始高分辨率人脸图像对应的第一初始重建图像进行身份特征提取，得到所述原始高分辨率人脸图像对应的第二身份特征图像；
根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像，计算所述第一损失函数值。
采用上述进一步方案的有益效果是：身份特征是人脸图像固有的一种内部属性特征，同一张人脸图像在不同分辨率下，其身份属性基本保持不变，本方法通过对原始高分辨率人脸图像及其对应的第一目标重建图像进行身份特征提取，使原始高分辨率人脸图像与其对应的第一目标重建图像在角度空间中的特征角度差异最小化，使原始高分辨率人脸图像对应的第一目标重建图像对特征扰动具有强鲁棒性，从而约束待重建的低分辨率人脸图像对应的初始重建图像和目标重建图像的生成，保证初始重建图像、目标重建图像均与待重建的低分辨率人脸图像具有相同的身份特征。
进一步，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像，计算所述第一损失函数值，具体包括：
根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一初始重建图像，确定重建损失值，所述重建损失值是通过第一公式确定的，所述第一公式为：
其中，Lrec表示所述重建损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，xi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第一初始重建图像，所述yi表示所述训练集中序号为i的原始高分辨率人脸图像，||·||1表示1-范数；
根据各个所述原始高分辨率人脸图像对应的低分辨率人脸图像和第一目标重建图像，确定双循环损失值，所述双循环损失值是通过第二公式确定的，所述第二公式为：
其中，Ldual表示所述双循环损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，pi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第二身份特征图像，qi表示所述训练集中序号为i的原始高分辨率人脸图像对应的低分辨率人脸图像，||·||2表示2-范数；
根据各个所述原始高分辨率人脸图像对应的第一身份特征图像和第二身份特征图像，确定身份损失值，所述身份损失值是通过第三公式确定的，所述第三公式为：
其中，Lidi表示所述身份损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，Si表示所述训练集中序号为i的原始高分辨率人脸图像对应的第一身份特征图像，Hi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第二身份特征图像，||·||2表示2-范数；
根据所述重建损失值、所述双循环损失值和所述身份损失值，确定所述第一损失函数值，所述第一损失函数值时通过第四公式确定的，所述第四公式为：
Lml＝Lrec+Ldual+αLidt
其中，Lml表示所述第一损失函数值，α为变量，用于控制所述身份损失值的权重。
采用上述进一步方案的有益效果是：第一损失函数值的计算方法与第二损失函数值的计算方法类似，根据重建损失值、双循环损失值和身份损失值计算得到第一损失函数值和第二损失函数值，以确定最佳人脸超分辨率重建模型，根据最佳人脸超分辨率重建模型，确定目标人脸图像超分辨率重建模型，以实现对高分辨率人脸图像的重建。
为解决现有技术中存在的技术问题，本发明还提供了一种人脸图像超分辨率重建系统，包括：
图像输入模块，用于获取待重建的低分辨率人脸图像，将所述低分辨率人脸图像输入所述目标人脸图像超分辨率重建模型中；
浅层特征提取模块，用于通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取，得到第一浅层特征图像；
深层特征提取模块，用于通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取，得到第一深层特征图像；
重建模块，用于根据所述第一浅层特征图像和所述第一深层特征图像，确定所述待重建的低分辨率人脸图像对应的目标重建图像。
为解决现有技术中存在的技术问题，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的人脸图像超分辨率重建方法。
为解决现有技术中存在的技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的人脸图像超分辨率重建方法。
需要说明的是，本发明中，经特征提取后得到的图像均指的是特征图。
附图说明
图1为本发明中人脸图像超分辨率重建方法的流程示意图；
图2为本发明中人脸图像超分辨率重建方法的实现原理示意图；
图3为本发明中传输连接块的结构示意图；
图4为本发明中空间卷积自注意力层的实现原理示意图；
图5为本发明的方法与现有人脸图像超分辨率重建方法对FFHQ测试数据集中的图像数据进行超分辨率重建的结果图A；
图6为本发明的方法与现有人脸图像超分辨率重建方法对FFHQ测试数据集中的图像数据进行超分辨率重建的结果图B；
图7为本发明中人脸图像超分辨率重建系统的结构示意图；
图8为本发明中电子设备的结构示意图。
具体实施方式
以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一
为解决现有技术存在的技术问题，本实施例提供的一种人脸图像超分辨率重建方法(简称IET-FSR)，如图1和图2所示，该方法包括：
一种人脸图像超分辨率重建方法，包括目标人脸图像超分辨率重建模型，所述目标人脸图像超分辨率重建模型包括依次连接的第一浅层特征提取器和第一深层特征提取器，所述方法包括以下步骤：
步骤S1：获取待重建的低分辨率人脸图像，将所述低分辨率人脸图像输入所述目标人脸图像超分辨率重建模型中；
步骤S2：通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取，得到第一浅层特征图像；
步骤S3：通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取，得到第一深层特征图像；
步骤S4：根据所述第一浅层特征图像和所述第一深层特征图像，确定所述待重建的低分辨率人脸图像对应的目标重建图像。
其中，所述目标人脸图像超分辨率重建模型是基于预先构建好的初始人脸图像超分辨率重建网络训练得到的，所述目标人脸图像超分辨率重建模型的训练过程包括：
步骤A1：获取多个原始高分辨率人脸图像，多个所述原始高分辨率人脸图像组成训练集；
步骤A2：随机初始化所述初始人脸图像超分辨率重建网络的模型参数，对所述训练集中包含的各个原始高分辨率人脸图像进行编号；
步骤A3：将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中，通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第一目标重建图像，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像，计算第一损失函数值；
步骤A4：根据所述第一损失函数值，通过反向传播算法对所述初始人脸图像超分辨率重建网络的模型参数进行优化，得到优化后的人脸超分辨率重建模型；
步骤A5：将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中，通过所述初始人脸图像超分辨率重建网络加载所述优化后的人脸超分辨率重建模型，得到人脸图像超分辨率重建网络，通过所述人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第二目标重建图像，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第二目标重建图像，计算第二损失函数值；
步骤A6：根据所述第二损失函数值，通过反向传播算法对所述人脸图像超分辨率重建网络的模型参数进行优化，得到优化后的人脸超分辨率重建模型；
步骤A7：若所述第二损失函数收敛，将所述第二损失函数收敛时的优化后的人脸超分辨率重建模型确定为最佳人脸超分辨率重建模型，通过所述初始人脸图像超分辨率重建网络加载所述最佳人脸超分辨率重建模型，得到目标人脸图像超分辨率重建模型，若所述第二损失函数不收敛，重复步骤A5至步骤A6，直至所述第二损失函数值收敛。
所述步骤A3中，所述初始人脸图像超分辨率重建网络包括依次连接的第一浅层特征提取器、第一深层特征提取器、第二浅层特征提取器和第二深层特征提取器，通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第一目标重建图像，具体包括：
步骤A3.1：对于每个所述原始高分辨率人脸图像，将所述原始高分辨率人脸图像转换为所述原始高分辨率人脸图像对应的低分辨率人脸图像；
步骤A3.2：对于每个所述原始高分辨率人脸图像，通过所述第一浅层特征提取器对所述原始高分辨率人脸图像对应的低分辨率人脸图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第一浅层特征图像；
步骤A3.3：对于每个所述原始高分辨率人脸图像，通过所述第一深层特征提取器对所述原始高分辨率人脸图像对应的第一浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第一深层特征图像；
步骤A3.4：对于每个所述原始高分辨率人脸图像，根据所述原始高分辨率人脸图像对应的第一浅层特征图像和第一深层特征图像，确定所述原始高分辨率人脸图像对应的第一初始重建图像；
步骤A3.5：对于每个所述原始高分辨率人脸图像，通过所述下采样模块对所述原始高分辨率人脸图像对应的第一初始重建图像进行下采样处理，得到所述原始高分辨率人脸图像对应的下采样特征图像；
步骤A3.6：对于每个所述原始高分辨率人脸图像，通过所述第二浅层特征提取器对所述原始高分辨率人脸图像对应的下采样特征图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第二浅层特征图像；
步骤A3.7：对于每个所述原始高分辨率人脸图像，通过所述第二深层特征提取器对所述原始高分辨率人脸图像对应的第二浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第二深层特征图像；
步骤A3.8：对于每个所述原始高分辨率人脸图像，根据所述原始高分辨率人脸图像对应的第二浅层特征图像和第二深层特征图像，确定所述原始高分辨率人脸图像对应的第一目标重建图像。
其中，本实施例中，所述下采样模块包括一个大小为3×3的卷积层K。
所述步骤A3中，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像，计算第一损失函数值，具体包括：
对于每个所述原始高分辨率人脸图像，对所述原始高分辨率人脸图像进行身份特征提取，得到所述原始高分辨率人脸图像对应的第一身份特征图像；
对于每个所述原始高分辨率人脸图像，对所述原始高分辨率人脸图像对应的第一初始重建图像进行身份特征提取，得到所述原始高分辨率人脸图像对应的第二身份特征图像；
根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像，计算所述第一损失函数值。
其中，对所述原始高分辨率人脸图像进行身份特征提取，具体包括：
通过人脸识别方法将所述原始高分辨率人脸图像映射到欧式空间，得到维度为128的特征向量；本实施例中，所述人脸识别方法选用FaceNet；
对所述特征向量进行L2正则化处理，得到所述原始高分辨率人脸图像对应的第一身份特征图像。
本发明中，对所述原始高分辨率人脸图像进行身份特征提取与对所述原始高分辨率人脸图像对应的第一初始重建图像进行身份特征提取的方法类似，类似之处不再赘述。
根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像，计算所述第一损失函数值，具体包括：
根据各个所述原始高分辨率人脸图像(即图2中的HR)以及各个所述原始高分辨率人脸图像对应的第一初始重建图像(即图2中的SR)，确定重建损失值，所述重建损失值是通过第一公式确定的，所述第一公式为：
其中，Lrec表示所述重建损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，xi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第一初始重建图像，所述yi表示所述训练集中序号为i的原始高分辨率人脸图像，||·||1表示1-范数；
根据各个所述原始高分辨率人脸图像对应的低分辨率人脸图像(即图2中的LR)和第一目标重建图像(即图2中的LR')，确定双循环损失值，所述双循环损失值是通过第二公式确定的，所述第二公式为：
其中，Ldual表示所述双循环损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，pi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第二身份特征图像，qi表示所述训练集中序号为i的原始高分辨率人脸图像对应的低分辨率人脸图像，||·||2表示2-范数；
根据各个所述原始高分辨率人脸图像对应的第一身份特征图像和第二身份特征图像，确定身份损失值，所述身份损失值是通过第三公式确定的，所述第三公式为：
其中，Lidt表示所述身份损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，Si表示所述训练集中序号为i的原始高分辨率人脸图像对应的第一身份特征图像，Hi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第二身份特征图像，||·||2表示2-范数；
根据所述重建损失值、所述双循环损失值和所述身份损失值，确定所述第一损失函数值，所述第一损失函数值时通过第四公式确定的，所述第四公式为：
Lml＝Lrec+Ldual+αLidt
其中，Lml表示所述第一损失函数值，α为变量，用于控制所述身份损失值的权重，本实施例中，α的取值为0.5。
本发明中，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像，计算第一损失函数值的方法，与根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第二目标重建图像，计算第二损失函数值的方法类似，类似之处不再赘述。
其中，所述步骤A3.1具体包括：
将所述原始高分辨率人脸图像输入至预先构建的卷积层A，通过所述卷积层A对所述原始高分辨率人脸图像进行下采样处理，得到所述原始高分辨率人脸图像对应的低分辨率人脸图像。本实施例中，所述卷积层A的大小为3×3。
其中，第一浅层特征提取器的结构与所述第二浅层特征提取器的结构相同，所述步骤S2具体包括：
通过所述第一浅层特征提取器对所述低分辨率人脸图像进行特征提取，得到所述待重建的低分辨率人脸图像对应的第一浅层特征图像，所述第一浅层特征图像包含丰富的人脸结构信息。本实施例中，所述第一浅层特征提取器包括一个大小为3×3的卷积层B。
本发明中，所述步骤S2的实现方法与所述步骤A3.2中通过所述第一浅层特征提取器对所述原始高分辨率人脸图像对应的低分辨率人脸图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第一浅层特征图像的实现方法，以及所述步骤A3.6中通过所述第二浅层特征提取器对所述原始高分辨率人脸图像对应的下采样特征图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第二浅层特征图像的实现方法类似，类似之处不再赘述。
其中，所述第一深层特征提取器的结构与所述第二深层特征提取器的结构相同，所述第一深层特征提取器、所述第二深层特征提取器各自包括依次连接的多个传输连接块(Transfer Connection Block，简称TCB)；所述步骤S3具体包括：
对于所述第一深层特征提取器中的每个所述TCB，所述TCB对输入所述TCB的图像进行深层特征提取，得到所述TCB对应的一级融合特征图像，每相邻的两个所述TCB中，位置在前的TCB对应的一级融合特征图像作为位置在后的TCB的输入；
通过预先构建的卷积层C对所述第一深层特征提取器中最后一个所述TCB对应的一级融合特征图像进行卷积处理，得到所述第一深层特征图像；本实施例中，所述卷积层C的大小为3×3；
如图3所示，每个所述TCB包括全局特征提取器、局部特征提取器和聚合模块，所述全局特征提取器与所述局部特征提取器并行连接后连接所述聚合模块，所述全局特征提取器用于提取图像的全局特征信息，所述局部特征提取器用于提取图像的局部特征信息，所述聚合模块用于对图像的全局特征信息和局部特征信息进行融合；
所述对于所述第一深层特征提取器中的每个所述TCB，所述TCB对输入所述TCB的图像进行深层特征提取，得到所述TCB对应的一级融合特征图像，具体包括：
对于输入所述TCB的图像，通过所述全局特征提取器对所述图像进行全局特征提取，得到所述图像对应的第一全局特征图像；
对于输入所述TCB的图像，通过所述局部特征提取器对所述图像进行局部特征提取，得到所述图像对应的第一局部特征图像；
对于输入所述TCB的图像，通过所述聚合模块调整所述图像对应的第一全局特征图像的通道维度，得到所述图像对应的第三全局特征图像；
对于输入所述TCB的图像，通过所述聚合模块调整所述图像对应的第一局部特征图像的平面维度，得到所述图像对应的第三局部特征图像；
对于输入所述TCB的图像，将所述图像对应的第三全局特征图像和第三局部特征图像沿通道维度进行拼接，得到所述图像对应的第一融合特征图像；
对于输入所述TCB的图像，通过预先构建的卷积层H学习所述第一融合特征图像中的全局特征和局部表征，得到所述TCB对应的一级融合特征图像；本实施例中，所述卷积层H的大小为1×1；
所述全局特征提取器包括多个结构相同的Transformer模块，各个所述Transformer模块依次连接，每个所述Transformer模块包括空间卷积自注意力层和全连接前馈层，所述空间卷积自注意力层包括一个激活函数层，所述空间卷积自注意力层用于获取输入所述Transformer模块的图像的空间信息，得到第一全局特征图像，所述全连接前馈层用于对输入所述Transformer模块的图像进行非线性转换，得到第三全局特征图像；本实施例中，各个所述TCB中包含的Transformer模块的数量为10；
所述对于输入所述TCB的图像，通过所述全局特征提取器对所述图像进行全局特征提取，得到所述图像对应的第一全局特征图像，具体包括：
对于每个所述Transformer模块，所述Transformer模块对输入所述Transformer模块的图像进行分块处理，得到多个图像块；
对于每个所述Transformer模块，通过所述空间卷积自注意力层获取每个所述图像块的空间信息，得到所述Transformer模块对应的第一特征图；
对于每个所述Transformer模块，通过所述全连接前馈层对每个所述图像块进行非线性转换，得到所述Transformer模块对应的第二特征图；
对于每个所述Transformer模块，将所述Transformer模块对应的第一特征图和所述第二特征图进行逐元素相加，得到所述Transformer模块对应的第三特征图，每相邻的两个所述Transformer模块中，位置在前的所述Transformer模块对应的第三特征图作为位置在后的所述Transformer模块的输入；
通过预先构建的卷积层D对所述全局特征提取器中最后一个所述Transformer模块对应的第三特征图进行卷积处理，得到第一全局特征图像；本实施例中，所述卷积层D的大小为1×1；
所述对于每个所述Transformer模块，通过所述空间卷积自注意力层获取每个所述图像块的空间信息，得到所述Transformer模块对应的第一特征图，如图4所示，具体包括：
对每个所述图像块中的每一维度嵌入编码(即图3中的位置信息嵌入)，得到多个编码图像块；
对于每个所述编码图像块，通过预先构建的第一卷积神经网络、第二卷积神经网络、第三卷积神经网络获取所述编码图像块的空间信息，得到所述编码图像块对应的第一空间图像、第二空间图像和第三空间图像；本实施例中，所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络的卷积核大小均为3×3，步长为1，填充为1；
对于每个所述编码图像块，对所述编码图像块对应的第一空间图像、第二空间图像和第三空间图像分别进行展平处理，得到所述第一空间图像对应的查询权重矩阵、所述第二空间图像对应的键权重矩阵和所述第三空间图像对应的值权重矩阵；
对于每个所述编码图像块，对所述编码图像块对应的查询权重矩阵和键权重矩阵分别进行展平处理，得到展平后的查询权重矩阵和展平后的键权重矩阵，对所述展平后的查询权重矩阵进行重塑处理，得到所述编码图像块对应的目标查询权重矩阵，对所述展平后的键权重矩阵进行重塑处理，得到所述编码图像块对应的目标键权重矩阵；
对于每个所述编码图像块，根据所述编码图像块对应的目标查询权重矩阵和目标键权重矩阵，计算所述编码图像块对应的相似度矩阵，将所述编码图像块对应的相似度矩阵与值权重矩阵相乘，得到所述编码图像块对应的聚合特征图像；
将各个所述编码图像块对应的聚合特征图像进行折叠处理，得到输入所述Transformer模块的图像对应的第一组合特征图像；
将输入所述Transformer模块的图像与输入所述Transformer模块的图像对应的第一组合特征图像逐元素相加，得到第二组合特征图像，通过激活函数A对所述第二组合特征图像进行归一化处理，得到所述Transformer模块对应的第一特征图；本实施例中，所述激活函数A采用ReLU函数；
对于每个所述Transformer模块，通过所述全连接前馈层对每个所述图像块进行非线性转换，得到所述Transformer模块对应的第二特征图，具体包括：
对于每个所述图像块，通过所述全连接前馈层对所述图像块进行非线性转换，得到所述图像块对应的第四特征图；
将各个所述图像块对应的第四特征图进行聚合处理，得到所述Transformer模块对应的第二特征图；
所述局部特征提取器包括多个结构相同的CNN模块，各个所述CNN模块依次连接；本实施例中，各个所述TCB中包含的CNN模块的数量为3；
对于输入所述TCB的图像，通过所述局部特征提取器对所述图像进行局部特征提取，得到所述图像对应的第一局部特征图像，具体包括：
对于每个所述CNN模块，通过所述CNN模块对输入所述CNN模块的图像进行局部特征提取，得到所述CNN模块对应的第五特征图，每相邻的两个所述CNN模块中，位置在前的所述CNN模块对应的第五特征图作为位置在后的所述CNN模块的输入；
通过预先构建的卷积层E对所述TCB中最后一个所述CNN模块对应的第五特征图进行卷积处理，得到所述图像对应的第一局部特征图像；本实施例中，所述卷积层E的大小为3×3；
各个所述CNN模块包括多个结构相同的卷积层F，各个所述卷积层F依次连接；本实施例中，所述卷积层F的大小为3×3；
对于每个所述CNN模块，通过所述CNN模块对输入所述CNN模块的图像进行局部特征提取，得到所述CNN模块对应的第五特征图，具体包括：
对于输入所述CNN模块的图像，通过所述CNN模块中的卷积层F对所述图像进行卷积处理，以提取所述图像的局部特征信息，得到所述卷积层F对应的局部特征图像A，每相邻的两个所述卷积层F中，位置在前的所述卷积层F对应的局部特征图像A作为位置在后的所述卷积层F的输入；
对所述CNN模块中最后一个所述卷积层F对应的局部特征图像A进行非线性转换，得到所述卷积层F对应的局部特征图像B；
将所述CNN模块中最后一个所述卷积层F对应的局部特征图像A和所述局部特征图像B逐元素相加，得到所述CNN模块对应的第五特征图；
对于输入所述TCB的图像，通过所述聚合模块调整所述图像对应的第一全局特征图像的通道维度，得到所述图像对应的第三全局特征图像，具体包括：
通过预先构建的卷积层P调整所述图像对应的第一全局特征图像的通道维度，使所述图像对应的第一全局特征图像的通道维度与第一局部特征图像的通道维度相等，得到所述图像对应的第三全局特征图像；本实施例中，所述卷积层P的大小为1×1；
对于输入所述TCB的图像，通过所述聚合模块调整所述图像对应的第一局部特征图像的平面维度，得到所述图像对应的第三局部特征图像，具体包括：
通过预先构建的卷积层Q调整所述图像对应的第一局部特征图像的平面维度，使所述图像对应的第一局部特征图像的平面维度与第一全局特征图像的平面维度相等，得到所述图像对应的第三局部特征图像；本实施例中，所述卷积层Q的大小为3×3。
本发明中，所述步骤S3的实现方法与所述步骤A3.3中通过所述第一深层特征提取器对所述原始高分辨率人脸图像对应的第一浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第一深层特征图像的实现方法，以及所述步骤A3.7中通过所述第二深层特征提取器对所述原始高分辨率人脸图像对应的第二浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第二深层特征图像的实现方法类似，类似之处不再赘述。
其中，所述步骤S4通过一个图像重建模块实现，所述图像重建模块包括上采样模块，本实施例中，所述上采样模块包括一个大小为3×3的卷积层J；所述步骤S4具体包括：
将所述待重建的低分辨率人脸图像对应的第一浅层特征图像和第一深层特征图像进行逐元素相加，得到第六特征图；
通过所述上采样模块对所述第六特征图进行上采样处理，得到所述待重建的低分辨率人脸图像对应的初始重建图像。
本发明中，实现所述步骤S4的方法与实现所述步骤A3.4的方法类似，类似之处不再赘述。
其中，所述步骤A3.8具体包括：
通过预先构建的卷积层L对所述原始高分辨率人脸图像对应的第二深层特征图像进行上采样处理，得到所述原始高分辨率人脸图像对应的上采样特征图像；本实施例中，所述卷积层L的大小为1×1；
通过预先构建的卷积层M调整所述原始高分辨率人脸图像对应的上采样特征图像的通道维度，使所述原始高分辨率人脸图像对应的上采样特征图像的通道维度与第二浅层特征图像的通道维度相等，得到所述原始高分辨率人脸图像对应的第三深层特征图像；本实施例中，所述卷积层M的大小为1×1；
通过预先构建的卷积层N调整所述原始高分辨率人脸图像对应的第二浅层特征图像的平面维度，使所述原始高分辨率人脸图像对应的第二浅层特征图像的平面维度与上采样特征图像的平面维度相等，得到所述原始高分辨率人脸图像对应的第三浅层特征图像；本实施例中，所述卷积层N的大小为3×3；
将所述原始高分辨率人脸图像对应的第三浅层特征图像和第三深层特征图像沿通道维度进行拼接，得到所述原始高分辨率人脸图像对应的目标融合特征图像；
通过预先构建的卷积层S学习所述原始高分辨率人脸图像对应的目标融合特征图像中的全局特征和局部表征，得到所述原始高分辨率人脸图像对应的第一目标重建图像，本实施例中，所述卷积层S的大小为1×1。
本发明中，所述初始人脸图像超分辨率重建网络的网络结构与所述人脸图像超分辨率重建网络的网络结构相同，通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第一目标重建图像的实现方法，与通过所述人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第二目标重建图像的实现方法类似，类似之处不再赘述。
仿真实验
本实验在2个Nvidia RTX 2080Ti GPU、Pytorch环境下运行，采用ADAM优化器，其参数β1＝0.9，β2＝0.999，∈＝10-8，其中，β1表示指数衰减率，β2表示指数衰减率，∈表示常数。采用两个公开的人脸图像数据集——FFHQ数据集和CelebA数据集，在FFHQ数据集和CelebA数据集中分别选择3800张人脸图像作为训练集、100张人脸图像作为测试集、100张图像作为验证集，并将在FFHQ数据集中选择的图像的大小调整为256×256，将在CelebA数据集中选择的图像的大小调整为216×176，实验挑选的比例因子为×4和×8。实验时，对所有训练样本进行数据增强，即将训练样本随机旋转90°、180°、270°，并水平翻转，以提高训练样本的复杂性，增强方法的鲁棒性；Transformer模块的个数为10，CNN模块的个数为3，训练次数为130000次，批量处理大小(即epoch)为16。
人脸重建方法的重建结果使用四个评估指标进行评估：峰值信噪比(简称PSNR)、结构相似度(简称SSIM)、学习感知图像块相似度(简称LPIPS)和平均值感知分数(简称MPS)。其中，PSNR和SSIM是标准的评估指标，广泛用于下游的视觉任务，LPIPS和MPS是衡量图像感知质量的感知指标，LPIPS的值越小，表明感知相似度越高。MPS根据SSIM和LPIPS求取，其计算公式为：MPS＝0.5×(SSIM+(1-LPIPS))。
为了验证本方法的实用性，将本方法与现有方法进行对比，现有方法包括人脸图像超分辨率算法、通用图像超分辨率算法以及基于Transformer的图像处理算法，人脸图像超分辨率算法包括DIDnet(全称为Dual-Identity constraint Dual-loop network，身份属性嵌入的双循环网络)算法、SPARNet(全称为SPatial Attention Residual Network，空间注意力残差网络)、SISN(全称为split-attention in split-attention network，分散注意网络中的分散注意)，通用图像超分辨率算法包括SRFBN(全称为super-resolutionfeedback network，超分辨率反馈网络)、NLSN(全称为Non-Local Sparse Attention，非局部稀疏的注意力)，基于Transformer的图像处理算法为IPT。
不同方法在FFHQ数据集上不同参数及其对应的值如下表1所示，表中列出了在×4和×8的比例因子下，不同方法在FFHQ测试数据集上的实验结果，根据表1可以看出，本方法在四个评估指标上的数据均优于前述的现有方法，基于CNN的方法(如SRFBN、NLSN)比基于Transformer的方法(如IPT)的重建效果要好，IPT并没有取得令人满意的结果，造成这一结果的主要原因是Transformer框架缺乏局部表征能力，从而导致局部纹理信息的丢失，而基于CNN的方法由于缺少身份属性特征，导致人脸图像的高频信息的丢失，从而使其重建效果比本方法差。
表1-不同方法在FFHQ数据集上不同参数及其对应的值
图5和图6分别为在×4、×8的比例因子下，各方法对FFHQ测试数据集中的图像数据进行超分辨率重建的结果图，图像中的方框为该图像的关键区域。根据图5可以看出，IPT的重建结果比较模糊，但是其依然可以很好地保持人脸结构的一致性，例如，在图5第三行的结果图中，SRFBN、SPARNet和NLSN的重建结果在眼睛区域造成了严重的失真，而IPT的结果却保持了更好的结构信息，说明Transformer模块可以获取全局结构信息。根据图5和图6可以看出，与现有方法相比，本方法可以通过聚合Transformer模块的全局表征能力和CNN模块的局部表征能力，同时在身份属性的约束下，可以保持面部结构的一致性，并保留局部的纹理细节，从而获得极佳的重建效果。
实施例二
基于与上述人脸图像超分辨率重建方法相同的原理，本实施例提供了一种人脸图像超分辨率重建系统，如图7所示，包括：
图像输入模块，用于获取待重建的低分辨率人脸图像，将所述低分辨率人脸图像输入所述目标人脸图像超分辨率重建模型中；
浅层特征提取模块，用于通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取，得到第一浅层特征图像；
深层特征提取模块，用于通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取，得到第一深层特征图像；
重建模块，用于根据所述第一浅层特征图像和所述第一深层特征图像，确定所述待重建的低分辨率人脸图像对应的目标重建图像。
实施例三
为解决现有技术中存在的技术问题，本实施例提供了一种电子设备，如图8所示，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例一所述的人脸图像超分辨率重建方法。
实施例四
为解决现有技术中存在的技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述的人脸图像超分辨率重建方法。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种人脸图像超分辨率重建方法，其特征在于，包括目标人脸图像超分辨率重建模型，所述目标人脸图像超分辨率重建模型包括依次连接的第一浅层特征提取器和第一深层特征提取器；所述方法包括以下步骤：
步骤S1：获取待重建的低分辨率人脸图像，将所述低分辨率人脸图像输入所述目标人脸图像超分辨率重建模型中；
步骤S2：通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取，得到第一浅层特征图像；
步骤S3：通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取，得到第一深层特征图像；
步骤S4：根据所述第一浅层特征图像和所述第一深层特征图像，确定所述待重建的低分辨率人脸图像对应的目标重建图像。
2.根据权利要求1所述的方法，其特征在于，所述目标人脸图像超分辨率重建模型是基于预先构建好的初始人脸图像超分辨率重建网络训练得到的，所述目标人脸图像超分辨率重建模型的训练过程包括：
步骤A1：获取多个原始高分辨率人脸图像，多个所述原始高分辨率人脸图像组成训练集；
步骤A2：随机初始化所述初始人脸图像超分辨率重建网络的模型参数，对所述训练集中包含的各个原始高分辨率人脸图像进行编号；
步骤A3：将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中，通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第一目标重建图像，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像，计算第一损失函数值；
步骤A4：根据所述第一损失函数值，通过反向传播算法对所述初始人脸图像超分辨率重建网络的模型参数进行优化，得到优化后的人脸超分辨率重建模型；
步骤A5：将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中，通过所述初始人脸图像超分辨率重建网络加载所述优化后的人脸超分辨率重建模型，得到人脸图像超分辨率重建网络，通过所述人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第二目标重建图像，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第二目标重建图像，计算第二损失函数值；
步骤A6：根据所述第二损失函数值，通过反向传播算法对所述人脸图像超分辨率重建网络的模型参数进行优化，得到优化后的人脸超分辨率重建模型；
步骤A7：若所述第二损失函数收敛，将所述第二损失函数收敛时的优化后的人脸超分辨率重建模型确定为最佳人脸超分辨率重建模型，通过所述初始人脸图像超分辨率重建网络加载所述最佳人脸超分辨率重建模型，得到目标人脸图像超分辨率重建模型，若所述第二损失函数不收敛，重复步骤A5至步骤A6，直至所述第二损失函数值收敛。
3.根据权利要求1所述的方法，其特征在于，所述第一深层特征提取器包括依次连接的多个传输连接块；所述步骤S3具体包括：
对于所述第一深层特征提取器中的每个所述传输连接块，所述传输连接块对输入所述传输连接块的图像进行深层特征提取，得到所述传输连接块对应的一级融合特征图像，每相邻的两个所述传输连接块中，位置在前的传输连接块对应的一级融合特征图像作为位置在后的传输连接块的输入；
对所述第一深层特征提取器中最后一个所述传输连接块对应的一级融合特征图像进行卷积处理，得到所述第一深层特征图像；
每个所述传输连接块包括全局特征提取器、局部特征提取器和聚合模块，所述全局特征提取器与所述局部特征提取器并行连接后连接所述聚合模块，所述全局特征提取器用于提取图像的全局特征信息，所述局部特征提取器用于提取图像的局部特征信息，所述聚合模块用于对图像的全局特征信息和局部特征信息进行融合；
所述对于所述第一深层特征提取器中的每个所述传输连接块，所述传输连接块对输入所述传输连接块的图像进行深层特征提取，得到所述传输连接块对应的一级融合特征图像，具体包括：
对于输入所述传输连接块的图像，通过所述全局特征提取器对所述图像进行全局特征提取，得到所述图像对应的第一全局特征图像；
对于输入所述传输连接块的图像，通过所述局部特征提取器对所述图像进行局部特征提取，得到所述图像对应的第一局部特征图像；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一全局特征图像的通道维度，得到所述图像对应的第三全局特征图像；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一局部特征图像的平面维度，得到所述图像对应的第三局部特征图像；
对于输入所述传输连接块的图像，将所述图像对应的第三全局特征图像和第三局部特征图像沿通道维度进行拼接，得到所述图像对应的第一融合特征图像；
对于输入所述传输连接块的图像，根据所述第一融合特征图像中的全局特征和局部表征，得到所述传输连接块对应的一级融合特征图像；
所述全局特征提取器包括多个结构相同的Transformer模块，各个所述Transformer模块依次连接，每个所述Transformer模块包括空间卷积自注意力层和全连接前馈层；
所述对于输入所述传输连接块的图像，通过所述全局特征提取器对所述图像进行全局特征提取，得到所述图像对应的第一全局特征图像，具体包括：
对于每个所述Transformer模块，所述Transformer模块对输入所述Transformer模块的图像进行分块处理，得到多个图像块；
对于每个所述Transformer模块，通过所述空间卷积自注意力层获取每个所述图像块的空间信息，得到所述Transformer模块对应的第一特征图；
对于每个所述Transformer模块，通过所述全连接前馈层对每个所述图像块进行非线性转换，得到所述Transformer模块对应的第二特征图；
对于每个所述Transformer模块，将所述Transformer模块对应的第一特征图和所述第二特征图进行逐元素相加，得到所述Transformer模块对应的第三特征图，每相邻的两个所述Transformer模块中，位置在前的所述Transformer模块对应的第三特征图作为位置在后的所述Transformer模块的输入；
对所述全局特征提取器中最后一个所述Transformer模块对应的第三特征图进行卷积处理，得到第一全局特征图像；
所述对于每个所述Transformer模块，通过所述空间卷积自注意力层获取每个所述图像块的空间信息，得到所述Transformer模块对应的第一特征图，具体包括：
对每个所述图像块中的每一维度嵌入编码，得到多个编码图像块；
对于每个所述编码图像块，通过预先构建的第一卷积神经网络、第二卷积神经网络、第三卷积神经网络获取所述编码图像块的空间信息，得到所述编码图像块对应的第一空间图像、第二空间图像和第三空间图像；
对于每个所述编码图像块，对所述编码图像块对应的第一空间图像、第二空间图像和第三空间图像分别进行展平处理，得到所述第一空间图像对应的查询权重矩阵、所述第二空间图像对应的键权重矩阵和所述第三空间图像对应的值权重矩阵；
对于每个所述编码图像块，对所述编码图像块对应的查询权重矩阵和键权重矩阵分别进行展平处理，得到展平后的查询权重矩阵和展平后的键权重矩阵，对所述展平后的查询权重矩阵进行重塑处理，得到所述编码图像块对应的目标查询权重矩阵，对所述展平后的键权重矩阵进行重塑处理，得到所述编码图像块对应的目标键权重矩阵；
对于每个所述编码图像块，根据所述编码图像块对应的目标查询权重矩阵和目标键权重矩阵，计算所述编码图像块对应的相似度矩阵，将所述编码图像块对应的相似度矩阵与值权重矩阵相乘，得到所述编码图像块对应的聚合特征图像；
将各个所述编码图像块对应的聚合特征图像进行折叠处理，得到输入所述Transformer模块的图像对应的第一组合特征图像；
将输入所述Transformer模块的图像与输入所述Transformer模块的图像对应的第一组合特征图像逐元素相加，得到第二组合特征图像，对所述第二组合特征图像进行归一化处理，得到所述Transformer模块对应的第一特征图；
对于每个所述Transformer模块，通过所述全连接前馈层对每个所述图像块进行非线性转换，得到所述Transformer模块对应的第二特征图，具体包括：
对于每个所述图像块，通过所述全连接前馈层对所述图像块进行非线性转换，得到所述图像块对应的第四特征图；
将各个所述图像块对应的第四特征图进行聚合处理，得到所述Transformer模块对应的第二特征图；
所述局部特征提取器包括多个结构相同的CNN模块，各个所述CNN模块依次连接；
对于输入所述传输连接块的图像，通过所述局部特征提取器对所述图像进行局部特征提取，得到所述图像对应的第一局部特征图像，具体包括：
对于每个所述CNN模块，通过所述CNN模块对输入所述CNN模块的图像进行局部特征提取，得到所述CNN模块对应的第五特征图，每相邻的两个所述CNN模块中，位置在前的所述CNN模块对应的第五特征图作为位置在后的所述CNN模块的输入；
对所述传输连接块中最后一个所述CNN模块对应的第五特征图进行卷积处理，得到所述图像对应的第一局部特征图像；
各个所述CNN模块包括多个结构相同的卷积层F，各个所述卷积层F依次连接；
对于每个所述CNN模块，通过所述CNN模块对输入所述CNN模块的图像进行局部特征提取，得到所述CNN模块对应的第五特征图，具体包括：
对于输入所述CNN模块的图像，通过所述CNN模块中的卷积层F对所述图像进行卷积处理，以提取所述图像的局部特征信息，得到所述卷积层F对应的局部特征图像A，每相邻的两个所述卷积层F中，位置在前的所述卷积层F对应的局部特征图像A作为位置在后的所述卷积层F的输入；
对所述CNN模块中最后一个所述卷积层F对应的局部特征图像A进行非线性转换，得到所述卷积层F对应的局部特征图像B；
将所述CNN模块中最后一个所述卷积层F对应的局部特征图像A和所述局部特征图像B逐元素相加，得到所述CNN模块对应的第五特征图；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一全局特征图像的通道维度，得到所述图像对应的第三全局特征图像，具体包括：
通过预先构建的卷积层P调整所述图像对应的第一全局特征图像的通道维度，使所述图像对应的第一全局特征图像的通道维度与第一局部特征图像的通道维度相等，得到所述图像对应的第三全局特征图像；
对于输入所述传输连接块的图像，通过所述聚合模块调整所述图像对应的第一局部特征图像的平面维度，得到所述图像对应的第三局部特征图像，具体包括：
通过预先构建的卷积层Q调整所述图像对应的第一局部特征图像的平面维度，使所述图像对应的第一局部特征图像的平面维度与第一全局特征图像的平面维度相等，得到所述图像对应的第三局部特征图像。
4.根据权利要求2所述的方法，其特征在于，所述步骤A3中，所述初始人脸图像超分辨率重建网络包括依次连接的第一浅层特征提取器、第一深层特征提取器、第二浅层特征提取器和第二深层特征提取器；通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建，得到各个所述原始高分辨率人脸图像对应的第一目标重建图像，具体包括：
步骤A3.1：对于每个所述原始高分辨率人脸图像，将所述原始高分辨率人脸图像转换为所述原始高分辨率人脸图像对应的低分辨率人脸图像；
步骤A3.2：对于每个所述原始高分辨率人脸图像，通过所述第一浅层特征提取器对所述原始高分辨率人脸图像对应的低分辨率人脸图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第一浅层特征图像；
步骤A3.3：对于每个所述原始高分辨率人脸图像，通过所述第一深层特征提取器对所述原始高分辨率人脸图像对应的第一浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第一深层特征图像；
步骤A3.4：对于每个所述原始高分辨率人脸图像，根据所述原始高分辨率人脸图像对应的第一浅层特征图像和第一深层特征图像，确定所述原始高分辨率人脸图像对应的第一初始重建图像；
步骤A3.5：对于每个所述原始高分辨率人脸图像，通过所述下采样模块对所述原始高分辨率人脸图像对应的第一初始重建图像进行下采样处理，得到所述原始高分辨率人脸图像对应的下采样特征图像；
步骤A3.6：对于每个所述原始高分辨率人脸图像，通过所述第二浅层特征提取器对所述原始高分辨率人脸图像对应的下采样特征图像进行浅层特征提取，得到所述原始高分辨率人脸图像对应的第二浅层特征图像；
步骤A3.7：对于每个所述原始高分辨率人脸图像，通过所述第二深层特征提取器对所述原始高分辨率人脸图像对应的第二浅层特征图像进行深层特征提取，得到所述原始高分辨率人脸图像对应的第二深层特征图像；
步骤A3.8：对于每个所述原始高分辨率人脸图像，根据所述原始高分辨率人脸图像对应的第二浅层特征图像和第二深层特征图像，确定所述原始高分辨率人脸图像对应的第一目标重建图像。
5.根据权利要求4所述的方法，其特征在于，所述步骤A3.8具体包括：
通过预先构建的卷积层L对所述原始高分辨率人脸图像对应的第二深层特征图像进行上采样处理，得到所述原始高分辨率人脸图像对应的上采样特征图像；
通过预先构建的卷积层M调整所述原始高分辨率人脸图像对应的上采样特征图像的通道维度，使所述原始高分辨率人脸图像对应的上采样特征图像的通道维度与第二浅层特征图像的通道维度相等，得到所述原始高分辨率人脸图像对应的第三深层特征图像；
通过预先构建的卷积层N调整所述原始高分辨率人脸图像对应的第二浅层特征图像的平面维度，使所述原始高分辨率人脸图像对应的第二浅层特征图像的平面维度与上采样特征图像的平面维度相等，得到所述原始高分辨率人脸图像对应的第三浅层特征图像；
将所述原始高分辨率人脸图像对应的第三浅层特征图像和第三深层特征图像沿通道维度进行拼接，得到所述原始高分辨率人脸图像对应的目标融合特征图像；
通过预先构建的卷积层S学习所述原始高分辨率人脸图像对应的目标融合特征图像中的全局特征和局部表征，得到所述原始高分辨率人脸图像对应的第一目标重建图像。
6.根据权利要求4所述的方法，其特征在于，所述步骤A3中，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像，计算第一损失函数值，具体包括：
对于每个所述原始高分辨率人脸图像，对所述原始高分辨率人脸图像进行身份特征提取，得到所述原始高分辨率人脸图像对应的第一身份特征图像；
对于每个所述原始高分辨率人脸图像，对所述原始高分辨率人脸图像对应的第一初始重建图像进行身份特征提取，得到所述原始高分辨率人脸图像对应的第二身份特征图像；
根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像，计算所述第一损失函数值。
7.根据权利要求6所述的方法，其特征在于，根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像，计算所述第一损失函数值，具体包括：
根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一初始重建图像，确定重建损失值，所述重建损失值是通过第一公式确定的，所述第一公式为：
其中，Lrec表示所述重建损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，xi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第一初始重建图像，所述yi表示所述训练集中序号为i的原始高分辨率人脸图像，||·||1表示1-范数；
根据各个所述原始高分辨率人脸图像对应的低分辨率人脸图像和第一目标重建图像，确定双循环损失值，所述双循环损失值是通过第二公式确定的，所述第二公式为：
其中，Ldual表示所述双循环损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，pi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第二身份特征图像，qi表示所述训练集中序号为i的原始高分辨率人脸图像对应的低分辨率人脸图像，||·||2表示2-范数；
根据各个所述原始高分辨率人脸图像对应的第一身份特征图像和第二身份特征图像，确定身份损失值，所述身份损失值是通过第三公式确定的，所述第三公式为：
其中，Lidt表示所述身份损失值，变量i表示所述原始高分辨率人脸图像在所述训练集中的图像序号，N表示所述训练集中的图像总数量，Si表示所述训练集中序号为i的原始高分辨率人脸图像对应的第一身份特征图像，Hi表示所述训练集中序号为i的原始高分辨率人脸图像对应的第二身份特征图像，||·||2表示2-范数；
根据所述重建损失值、所述双循环损失值和所述身份损失值，确定所述第一损失函数值，所述第一损失函数值时通过第四公式确定的，所述第四公式为：
Lml＝Lrec+Ldual+αLidt
其中，Lml表示所述第一损失函数值，α为变量，用于控制所述身份损失值的权重。
8.一种人脸图像超分辨率重建系统，其特征在于，包括：
图像输入模块，用于获取待重建的低分辨率人脸图像，将所述低分辨率人脸图像输入所述目标人脸图像超分辨率重建模型中；
浅层特征提取模块，用于通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取，得到第一浅层特征图像；
深层特征提取模块，用于通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取，得到第一深层特征图像；
重建模块，用于根据所述第一浅层特征图像和所述第一深层特征图像，确定所述待重建的低分辨率人脸图像对应的目标重建图像。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的人脸图像超分辨率重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人脸图像超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210867096.6A CN115393186A (zh) | 2022-07-22 | 2022-07-22 | 一种人脸图像超分辨率重建方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210867096.6A CN115393186A (zh) | 2022-07-22 | 2022-07-22 | 一种人脸图像超分辨率重建方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393186A true CN115393186A (zh) | 2022-11-25 |
Family
ID=84117160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210867096.6A Pending CN115393186A (zh) | 2022-07-22 | 2022-07-22 | 一种人脸图像超分辨率重建方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393186A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908205A (zh) * | 2023-02-21 | 2023-04-04 | 成都信息工程大学 | 图像修复方法、装置、电子设备和存储介质 |
| CN115953296A (zh) * | 2022-12-09 | 2023-04-11 | 中山大学·深圳 | 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统 |
| CN116188691A (zh) * | 2023-02-27 | 2023-05-30 | 云南大学 | 基于单张图片下三维人脸重建方法 |
| WO2024153156A1 (zh) * | 2023-01-17 | 2024-07-25 | 浙江华感科技有限公司 | 一种图像处理方法、装置、设备和介质 |
| CN118799189A (zh) * | 2024-09-14 | 2024-10-18 | 浙江科技大学 | 一种基于实用退化模型实现人脸超分辨率的方法 |
| CN119228653A (zh) * | 2024-12-02 | 2024-12-31 | 浙江大学 | 应用在视频监控中的人脸超分辨率重建与识别方法及系统 |
-
2022
- 2022-07-22 CN CN202210867096.6A patent/CN115393186A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953296A (zh) * | 2022-12-09 | 2023-04-11 | 中山大学·深圳 | 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统 |
| CN115953296B (zh) * | 2022-12-09 | 2024-04-05 | 中山大学·深圳 | 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统 |
| WO2024153156A1 (zh) * | 2023-01-17 | 2024-07-25 | 浙江华感科技有限公司 | 一种图像处理方法、装置、设备和介质 |
| CN115908205A (zh) * | 2023-02-21 | 2023-04-04 | 成都信息工程大学 | 图像修复方法、装置、电子设备和存储介质 |
| CN115908205B (zh) * | 2023-02-21 | 2023-05-30 | 成都信息工程大学 | 图像修复方法、装置、电子设备和存储介质 |
| CN116188691A (zh) * | 2023-02-27 | 2023-05-30 | 云南大学 | 基于单张图片下三维人脸重建方法 |
| CN116188691B (zh) * | 2023-02-27 | 2024-02-06 | 云南大学 | 基于单张图片下三维人脸重建方法 |
| CN118799189A (zh) * | 2024-09-14 | 2024-10-18 | 浙江科技大学 | 一种基于实用退化模型实现人脸超分辨率的方法 |
| CN119228653A (zh) * | 2024-12-02 | 2024-12-31 | 浙江大学 | 应用在视频监控中的人脸超分辨率重建与识别方法及系统 |
| CN119228653B (zh) * | 2024-12-02 | 2025-03-18 | 浙江大学 | 应用在视频监控中的人脸超分辨率重建与识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115393186A (zh) | 一种人脸图像超分辨率重建方法、系统、设备及介质 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN110211035B (zh) | 融合互信息的深度神经网络的图像超分辨率方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN110111251B (zh) | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 | |
| CN114972024B (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN113592715A (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
| CN114463176B (zh) | 基于改进esrgan的图像超分辨重建方法 | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| CN117576402A (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 | |
| CN113627487B (zh) | 一种基于深层注意力机制的超分辨率重建方法 | |
| CN115115523A (zh) | 一种融合CNN和Transformer的医学图像深度信息提取方法 | |
| CN115311144A (zh) | 一种基于小波域的标准流超分辨率图像重建方法 | |
| CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN117011139A (zh) | 基于深度学习的人脸超分辨率图形重建方法及系统 | |
| CN117315241A (zh) | 一种基于transformer结构的场景图像语义分割方法 | |
| CN111382845B (zh) | 一种基于自注意力机制的模板重建方法 | |
| CN113191947A (zh) | 一种图像超分辨率的方法及系统 | |
| CN118172249A (zh) | 一种遥感图像超分辨率重建方法 | |
| Shao et al. | SRWGANTV: image super-resolution through wasserstein generative adversarial networks with total variational regularization | |
| CN113793269B (zh) | 基于改进邻域嵌入与先验学习的超分辨率图像重建方法 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| CN117132466A (zh) | 基于Transformer的单图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |