CN116630152A - 图像分辨率重建方法、装置、存储介质及电子设备 - Google Patents
图像分辨率重建方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116630152A CN116630152A CN202310436642.5A CN202310436642A CN116630152A CN 116630152 A CN116630152 A CN 116630152A CN 202310436642 A CN202310436642 A CN 202310436642A CN 116630152 A CN116630152 A CN 116630152A
- Authority
- CN
- China
- Prior art keywords
- image
- reconstructed
- unit layer
- feature
- recursion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000001965 increasing effect Effects 0.000 abstract description 18
- 238000013507 mapping Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 19
- 238000011176 pooling Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像分辨率重建方法、装置、存储介质及电子设备，该图像分辨率重建方法包括：将待重建图像输入至训练完成的分辨率重建模型的递归单元层中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，再迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入，基于递归单元层迭代调用后输出的融合图像得到重建图像，通过增加递归次数来实现更高的重建图像分辨率，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像分辨率重建方法、装置、存储介质及电子设备。
背景技术
图像超分辨率(Super Resolution，SR)重建技术是利用一系列技术手段，完成从单帧或多帧(序列)低分辨率(Low Resolution，LR)图像中恢复出高分辨率(HighResolution，HR)图像的任务。超分辨率重建技术在大大降低成本的情况下，克服成像设备和远程传输设备等硬件条件限制，提供理想的高分辨率图片。
传统的图像超分辨率方法，如：插值算法、基于采样的方法以及基于统计的方法，但这些方法无法处理复杂的图像信息和结构，且重建效果有限；又如：基于字典学习的方法、基于稀疏表示的方法以及基于像素池的方法，然而，这些方法的性能又依赖于人工设计的特征和模型，并且很难提取出更接近真实图像的细节。
发明内容
本申请至少提供一种图像分辨率重建方法、图像分辨率重建装置、计算机可读存储介质以及电子设备。
本申请第一方面提供了一种图像分辨率重建方法，包括：将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像；迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入；基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像。
在一实施例中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，包括：对待重建图像进行特征提取，得到特征图；将特征图与待重建图像进行差分处理，得到残差图；基于注意力机制对残差图进行加权处理，得到加权残差图；将加权残差图与特征图进行融合处理，得到融合图像。
在一实施例中，对待重建图像进行特征提取，得到特征图，包括：对待重建图像进行下采样，得到下采样特征图；对下采样特征图进行卷积操作，得到卷积特征图；基于注意力机制对卷积特征图进行加权处理，得到加权特征图；对加权特征图进行上采样，得到特征图。
在一实施例中，递归单元层含有多个特征跨度块；对待重建图像进行特征提取，得到特征图，包括：对待重建图像进行特征提取得到初始特征图；基于每个特征跨度块分别对初始特征图分别进行跨度卷积，得到多个中间特征图；其中，每个特征跨度块的跨度卷积采用不同的空间尺度信息；拼接多个中间特征图，得到特征图。
在一实施例中，基于递归单元层迭代调用后输出的融合图像得到重建图像，包括：获取递归单元层在每次迭代调用得到的融合图像，得到递归单元层对应的输出集合；将输出集合中的每个融合图像进行融合，得到重建图像。
在一实施例中，将输出集合中的每个融合图像进行融合，得到重建图像，包括：获取输出集合中的每个融合图像对应的权重参数；基于权重参数将输出集合中的每个融合图像进行加权融合，得到重建图像。
在一实施例中，分辨率重建模型含有多个依次连接的递归单元层；基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像，包括：若检测到当前迭代调用的递归单元层满足预设迭代结束条件，则将当前迭代调用的递归单元层输出的融合图像输入至下一迭代调用的递归单元层进行图像重建；遍历每个递归单元层，基于每个递归单元层迭代调用后输出的融合图像得到重建图像。
本申请第二方面提供了一种图像分辨率重建装置，包括：输入模块，用于将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；融合模块，用于利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像；递归模块，用于迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入；结果获取模块，用于基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像。
本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述图像分辨率重建方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述图像分辨率重建方法。
上述方案，通过将待重建图像输入至训练完成的分辨率重建模型的递归单元层中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，再迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入，从而实现对图像细节的逐步恢复，基于递归单元层迭代调用后输出的融合图像得到重建图像，通过增加递归次数来实现更高的重建图像分辨率，而不需要增加网络的深度和参数量，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请的图像分辨率重建方法的一示例性实施例的实施环境示意图；
图2是本申请的图像分辨率重建方法的一示例性实施例的流程图；
图3是本申请的一示例性实施例示出的训练分辨率重建模型的流程图；
图4是本申请的一示例性实施例示出的图像分辨率重建装置的框图；
图5是本申请的一示例性实施例示出的电子设备的结构示意图；
图6是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参考图1，其示出了本申请一个实施例提供的图像分辨率重建方法的运行环境的示意图。该运行环境可以包括：终端10和服务器20。
终端10包括但不限于手机、电脑、智能音频交互设备、智能家电、车载终端、飞行器、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备等电子设备。
终端10中可以安装应用程序的客户端，应用程序可以是任何能够提供图像分辨率重建服务的应用程序。可选地，该应用程序包括但不限于视频类应用程序、购物类应用程序、内容分享类应用程序等，本申请实施例对此不作限定。另外，对于不同的应用程序来说，其对应的图像内容也会有所不同，且相应的功能也会有所不同，这都可以根据实际需求预先进行配置，本申请实施例对此不作限定。可选地，终端10中运行有上述应用程序的客户端。
服务器20用于为终端10中的应用程序的客户端提供后台服务。例如，服务器20可以是上述应用程序的后台服务器。服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，服务器20同时为多个终端10中的应用程序提供后台服务。
可选地，终端10和服务器20之间可通过网络30进行互相通信。终端10以及服务器20可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
可选地，可以是服务器20承担主要图像分辨率重建工作，终端10承担次要图像分辨率重建工作；或者，服务器20承担次要图像分辨率重建工作，终端10承担主要图像分辨率重建工作；或者，服务器20或终端10分别可以单独承担图像分辨率重建工作。
可以理解的是，在本申请的具体实施方式中，涉及到待重建图像、用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要守相关国家和地区的相关法律法规和标准。
请参考图2，其示出了本申请一个实施例提供的图像分辨率重建方法的流程图，该方法可应用于计算机设备中，该计算机设备是指具备数据计算和处理能力的电子设备，如各步骤的执行主体可以是图1所示的运行环境中的终端10或服务器20。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
下面以服务器作为具体地执行主体来对本申请实施例提出的图像分辨率重建方法进行详细介绍。
如图2所示，在一示例性的实施例中，图像分辨率重建方法至少包括步骤S210至步骤S240，详细介绍如下：
步骤S210：将待重建图像输入至训练完成的分辨率重建模型的递归单元层中。
其中，待重建图像是指需要进行超分辨率重建的低分辨率图像，该待重建图像可以是实时采集的图像，也可以是历史图像。该待重建图像需要进行超分辨率，以提升画质和清晰度。
示例性地，服务器部署有训练完成的分辨率重建模型，服务器可以直接从数据库中获取到待重建图像，将待重建图像输入至训练完成的分辨率重建模型的递归单元层中。服务器也可以获取终端上传的待重建图像，然后将待重建图像输入至训练完成的分辨率重建模型的递归单元层中。
步骤S220：利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像。
递归单元层中的特征提取网络对待重建图像进行特征提取得到特征图，并通过递归单元层中的融合网络将特征图和待重建图像进行融合输出融合图像。
可以调用特征提取网络提取待重建图像的图像特征，进而得到待重建图像的特征图，特征图包含特征提取网络从该待重建图像中提取得到的特征参数(如特征值)，其中，待重建图像的特征图表现为特征矩阵。从待重建图像中提取到的特征值代表了该待重建图像的关键特征信息，根据待重建图像中提取到的关键特征信息可生成该待重建图像的特征图。
示例性地，特征提取网络基于卷积神经网络(Convolutional Neural Network，CNN)实现，例如，特征提取网络可以包括相连的一个卷积层和一个修正线性单元ReLU(Rectified Linear Unit，ReLU)函数，该卷积层的特征深度例如可以为1×64，卷积核大小为3×3，将待重建图像输入至递归单元层的卷积层后，再经过ReLU函数的处理，可以提取出该待重建图像的一组64个特征图。应当理解的是，这里特征提取网络的组成均是用于举例说明的，本申请并不限定于此。
示例性地，可以对提取到的特征图进行特征增强，然后将特征增强后的特征图和待重建图像进行相加，以得到融合图像。
步骤S230：迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入。
重复迭代调用递归单元层，并在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入。
通过重复调用递归单元层，以通过增加递归次数来实现更高的重建图像分辨率，而不需要增加网络的深度和参数量，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。
在一些实施方式中，递归单元层相关的公式包括：
Fi＝FEM(Ki(Xi)，Wf)
Ki＝CKGM(Xi，Wi)
Xi+1＝Xi+Ki(Xi)·Fi(Xi；Wf)
其中，Xi表示第i层(第i次迭代)的输入图像，Fi表示第i层的特征增强结果，由特征增强模块FEM实现，Wf为特征增强模块的模型参数；Ki表示第i层卷积层的卷积核，由卷积核生成模块CKGM生成，Wi表示第i层卷积核生成模块的模型参数；Ki(Xi)表示使用卷积核Ki对Xi执行卷积操作，得到特征图，Fi(Xi；Wf)表示使用特征增强模块对Xi对应的特征图执行特征增强操作，得到特征增强后的特征图，再将Xi对应的特征图和特征增强后的特征图进行融合得到特征融合结果，，如使用点乘方式将特征图和特征增强后的特征图进行融合；Xi+1表示递归单元层输出的融合图像，其为第i层的输入图像Xi与特征融合结果之和，由此通过逐层递归地提取并增强特征，从而实现对图像细节的逐步恢复。
步骤S240：基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像。
重建图像是相对原始待重建图像的高分辨率图像，高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。因此，可以将本公开实施例提供的方法应用于不同的场景。
例如，在安防监控系统中，因为硬件技术的限制，摄像头拍摄画面会存在不清晰的情况，改进摄像头等硬件设备造成成本增加，可通过本申请提供的图像分辨率重建方法，对摄像头获取到的原始待重建图像进行后处理，可重构出清晰的放大了目标倍数的重建图像，提供更多的细节信息，从而为嫌犯的身份确认、逃脱路线、案件侦破等提供更多的帮助。再例如，在医学图像方面，可以通过本申请提供的图像分辨率重建方法提高医学影像的分辨率，高分辨率医疗图像有助于医生对于患者病灶的确认，加速了疾病的诊断，从而解决了医学影像不清晰而造成的对于疾病诊断的困难。再例如，在卫星图像方面，卫星图像对于地质勘探、军事侦察等方面有重要的作用，使用本申请提供的图像分辨率重建方法将卫星采集的图像进行超分辨率重构，可获得具有丰富纹理细节的卫星图像。再例如，还可以应用于相关机器视觉任务(目标的检测、跟踪与识别)的预处理过程，如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。
本申请提供的图像分辨率重建方法，通过将待重建图像输入至训练完成的分辨率重建模型的递归单元层中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，再迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入，从而实现对图像细节的逐步恢复，基于递归单元层迭代调用后输出的融合图像得到重建图像，通过增加递归次数来实现更高的重建图像分辨率，而不需要增加网络的深度和参数量，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。
在一些实施方式中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，包括：对待重建图像进行特征提取，得到特征图；将特征图与待重建图像进行差分处理，得到残差图；基于注意力机制对残差图进行加权处理，得到加权残差图；将加权残差图与特征图进行融合处理，得到融合图像。
残差图用于表征特征图与待重建图像之间的特征差异。
示例性地，将特征图与待重建图像进行差分处理，得到残差图，包括：确定该待重建图像与特征图之间的特征变化量；根据该特征变化量生成该待重建图像和该特征图之间的残差图。
其中，特征变化量是指两张图中相同的像素点或者相匹配的特征点之间存在的特征差异。
例如，确定待重建图像和特征图中相互匹配的特征点对，然后计算每个特征点对中的两个特征点之间的特征变化量，得到每对特征点对应的特征变化量，根据每对特征点对应的特征变化量生成残差图。
进一步地，基于注意力机制对残差图进行加权处理，得到加权残差图，以将加权残差图与特征图进行融合处理，得到融合图像。其中，注意力机制用于提高关键特征的权重，以使得到的加权残差图中的关键特征更加显著。然后，将加权残差图与特征图进行融合处理，以恢复待重建图像得图像细节。
在一些实施方式中，对待重建图像进行特征提取，得到特征图，包括：对待重建图像进行下采样，得到下采样特征图；对下采样特征图进行卷积操作，得到卷积特征图；基于注意力机制对卷积特征图进行加权处理，得到加权特征图；对加权特征图进行上采样，得到特征图。
本申请实施例中，分辨率重建模型的递归单元层中包括下采样网络。将待重建图像输入分辨率重建模型的递归单元层之后，由下采样网络对待重建图像进行下采样处理，得到待重建图像的下采样特征图。
其中，本申请实施例不对下采样网络的结构、大小等做限定。示例性的，下采样网络可以是步长(Stride)为s的卷积层，其中，s为大于1的正整数，如s＝2。或者，下采样网络包括串联的至少两层卷积层，任一个卷积层的步长为大于1的正整数，任两个卷积层的步长可以相同，也可以不同。或者，下采样网络通过池化的方式对待重建图像进行下采样处理，此时，下采样网络层可以是池化层。或者，下采样网络层可以是通过双线性插值等方式，对待重建图像进行下采样处理。
需要说明的是，利用下采样网络对待重建图像进行下采样处理，可以降低特征的尺度，例如，当下采样网络是步长为2的卷积层时，可以将特征的尺度降低至原来的二分之一，从而减小计算复杂度。
然后，对下采样特征图进行卷积操作，得到卷积特征图，其中，可以采用深度可分离卷积(depthwise separable convolution)网络或其他卷积网络对下采样特征图进行卷积操作，本申请对此不进行限定。
其中，深度可分离卷积将标准卷积操作分解成一个深度卷积和一个逐点卷积，可以显著减少计算量和参数量。深度卷积只使用一个卷积核处理输入特征图中的一个通道，这个卷积核的大小为(k，k，1)，其中k表示卷积核的大小，1表示只处理一个通道的特征信息。在深度卷积之后，对于每个输入通道，会得到一个深度卷积输出的特征图。在逐点卷积中，对于每个深度卷积输出的特征图，都使用一个(1，1，d)大小的卷积核进行卷积操作，其中d表示深度卷积输出的通道数，逐点卷积的目的是将深度卷积输出的特征图压缩为一个通道，从而减少计算量和参数量。
深度可分离卷积的计算量相比传统卷积有很大的优化空间，因为在深度卷积和逐点卷积中，卷积核的大小都相对较小，并且逐点卷积通常只使用一个卷积核。因此，深度可分离卷积在分辨率重建模型中可以有效地减少计算量和参数量，从而提高模型的运行速度和效率。
进一步地，再基于注意力机制对卷积特征图进行加权处理，得到加权特征图，以提高关键特征的显著性，并对加权特征图进行上采样，得到最终的特征图。其中，上采样用于增大图像的尺寸，同时通过采样的方式确定放大后的图像中像素点的像素值，例如通过双三次插值(Bicubic Interpolation)的方式来确定像素值，对加权特征图进行上采样可以是使用最近相邻插值算法(Near Neighbour Interpolation)、双线性内插法(BilinearInterpolation)、立方卷积法(Bicubic Interpolation)、反卷积(Deconvolution)等等实现，本申请对此不进行限定。
示例性地，采用自注意力机制进行特征图的加权。自注意力机制将特征图的每个位置与其他所有位置进行比较，从而生成每个位置的权重向量，进而对特征图进行加权。自注意力机制公式可以表示为：
其中，xi表示特征图中的第i个位置，n表示特征图中的位置总和，g(xi)表示该位置的特征向量，f(xi，xj)是计算xi和xj之间的相关性的函数，通常使用点积操作。该公式将每个位置xi对所有位置xj的相关性进行计算，通过归一化生成每个位置的权重，最终将加权的特征向量相加得到该位置的输出特征向量。
在使用自注意力机制时，需要对输入特征图进行三次线性变换，得到键、值、查询向量，然后通过计算相似度矩阵和softmax函数，得到每个像素点的权重向量，最后再将权重向量与值向量相乘，得到最终的自注意力特征图。
在一些实施方式中，递归单元层含有多个特征跨度块；对待重建图像进行特征提取，得到特征图，包括：对待重建图像进行特征提取得到初始特征图；基于每个特征跨度块分别对初始特征图分别进行跨度卷积，得到多个中间特征图；其中，每个特征跨度块的跨度卷积采用不同的空间尺度信息；拼接多个中间特征图，得到特征图。
特征跨度块用于增强特征图的空间感知能力，以提高超分辨率重建的效果。
示例性地，特征跨度块包括跨度卷积(Span Convolution)和通道注意力(ChannelAttention)。跨度卷积通过对特征图中的每个像素点，引入来自不同空间尺度的信息，增强特征图的空间感知能力，跨度卷积的具体实现可以采用不同的方式，如在特征图上进行多尺度卷积，或者在跨度方向上进行跳跃卷积等。通道注意力用于对特征图中的不同通道进行加权，以提高对有用信息的响应能力，抑制对无用信息的响应，通道注意力可以采用SE(Squeeze-and-Excitation)注意力或CBAM(Convolutional Block Attention Module)注意力等不同的方法来实现。
其中，通道是图像的组成部分，记录了图像的大部分信息。例如，在RGB(Red，Green，Blue)色彩模式中，图像由红色通道、绿色通道和蓝色通道叠加而成；在灰度模式中，图像仅包括一个通道。再例如，在YUV色彩模式中，图像由“Y”通道、“U”通道、“V”通道叠加而成。
接下来对特征跨度块的实现进行说明：
使用子像素卷积对初始特征图进行通道扩张：
Y＝FPSConv(X)
其中，X表示初始特征图，X∈RC×H×W，C表示初始特征图D的通道数，H和W分别表示初始特征图的高度和宽度；Y表示子像素卷积输出的通道扩张后的初始特征图，Y∈RC’×rH×rw，C’为输出通道，r为上采样的尺度因子。
使用上采样操作将通道扩张后的初始特征图恢复到原始尺寸：
Z＝FUpsample(Y)
其中，Z表示上采样后的初始特征图，Z∈RC’×H×W。
使用下采样操作对上采样后的初始特征图进行下采样，以跨越不同感受野范围，使得到的下采样的特征图的分辨率较低但感受野范围较大：
W＝FDownsmple(X)
其中，W表示下采样后的初始特征图，s为下采样的尺度因子。
将上采样后的初始特征图和下采样后的初始特征图拼接在一起，得到跨越不同感受野范围的特征图：
FFSB(X)＝Concat(Z，W)
其中，Concat表示特征图的拼接操作，FFSB表示特征跨度块的输出。
在一些实施方式中，在递归单元层之间插入一个残差注意力模块(ResidualAttention Module，RAM)，以自适应地对不同层次的特征进行加权。残差注意力模块的输入为经过递归单元层处理后的特征图，输出为加权后的特征图，其相关步骤的公式可以表示：
计算加权掩模：
其中，Fc表示第c个通道的特征图，c表示通道数，Wc表示第c个通道的权重矩阵，⊙表示逐元素相乘。
加权计算：
A＝F⊙M
其中A表示加权后的特征图，F表示原始特征图，M表示计算得到的加权掩模。
输出残差注意力：
R＝F+A
其中R表示残差注意力模块的输出，F表示原始特征图，A表示加权后的特征图。
在一些实施方式中，基于递归单元层迭代调用后输出的融合图像得到重建图像，包括：获取递归单元层在每次迭代调用得到的融合图像，得到递归单元层对应的输出集合；将输出集合中的每个融合图像进行融合，得到重建图像。
输出集合含有递归单元层在每次迭代过程中得到输出图像，将输出集合中的每个融合图像进行融合。融合方法可以是每个图像同一像素位置的值进行求和、平均等计算方式，得到重建图像中该像素位置的目标值，通过计算得到的重建图像中的每个像素位置的目标值，得到重建图像，得到一个精细度更高、更准确的重建图像。
示例性地，将输出集合中的每个融合图像进行融合，得到重建图像，包括：获取输出集合中的每个融合图像对应的权重参数；；基于权重参数将输出集合中的每个融合图像进行加权融合，得到重建图像。
通过注意力机制计算对每个融合图像对应的权重参数，以根据权重参数将输出集合中的每个融合图像进行加权融合，得到重建图像，使得到的重建图像的准确度更高，图像分辨率重建效果更好。
在一些实施方式中，分辨率重建模型由输入层、一个或多个递归块、输出层等组成，递归块由多个递归层或特征跨度块组成，递归层通过堆叠多个递归单元层实现，而递归单元层由多个递归单元组成，每个递归单元层包含的递归单元数量可以不同，而整个网络中的递归单元层的数量决定了网络的深度，通过多个递归单元层，可以实现对图像细节的逐步恢复。其中，在每个递归单元层中，递归单元的结构是相同的，但它们的网络参数可能不同。
输入层接收待重建图像作为输入，并对其进行预处理，例如对图像进行归一化、裁剪、旋转等操作，以便于后续的图像重建。
示例性地，递归块含有由多个特征跨度块组成的金字塔结构，其中每个特征跨度块都具有不同的跨度和通道注意力，以通过多级特征图金字塔的叠加，捕捉不同空间尺度下的细节信息，同时利用通道注意力来提高对有用信息的响应能力。
其中，递归块为多个时，第n级递归块的输入为上一级递归块的输出Xn-1，递归块的输出的计算公式可以为：
Xn＝Rn(Xn-1)＝f(Xn-1，W)+Xn-1
其中，Rn为第n个递归层，其表示递归层操作的函数，f(Xn-1，W)表示递归层的操作，W表示递归层的参数，Xn为该递归块的输出。
递归块的输出可以作为下一级递归块的输入，形成多级特征图金字塔，以捕捉不同空间尺度下的细节信息，同时利用通道注意力来提高对有用信息的响应能力。
其中，可以引入金字塔池化(pyramid pooling)，提高模型对于不同尺度图像的识别能力。具体步骤为：将特征图按不同比例进行分块，然后对每块内的特征进行池化操作，再将所有得到的池化结果拼接起来作为输出的特征图。
可选地，在图像分辨率重建任务中，金字塔池化用于将待重建图像的不同尺度特征进行融合，提高模型的识别能力，示例性地，实现方法如下：将待重建图像对应的原始特征图按比例分为多个块；对每个块内的特征进行池化，可以使用不同的池化方式，如最大池化、平均池化等；将所有池化结果拼接起来作为输出的特征图。
假设输入特征图的大小为H×W×C，金字塔池化将其分成N个块，每个块的大小为hi×wi，金字塔池化的公式可以为：
其中fin表示输入的原始特征图，fpool表示池化操作，，hi×wi表示第i个块的大小，[]表示拼接操作，fout表示输出的特征图。在具体实现中，可以将不同块的大小设置为等比例缩放得到的尺寸，或者按照一定的规律设置大小，如金字塔状递减等，本申请对此不进行限定。
可选地，递归层之间可以共享参数，可以在不同特征跨度块中共享相同的权重和偏置，可以减少参数数量和计算复杂度。
示例性地，分辨率重建模型中含有的多个递归单元层依次连接，基于递归单元层迭代调用后输出的融合图像得到重建图像，，重建图像分辨率高于待重建图像，包括：若检测到当前迭代调用的递归单元层满足预设迭代结束条件，则将当前迭代调用的递归单元层输出的融合图像输入至下一迭代调用的递归单元层进行图像重建；遍历每个递归单元层，基于每个递归单元层迭代调用后输出的融合图像得到重建图像。
预设迭代结束条件可以是递归单元层的迭代次数达到预设次数，也可以是当前迭代得到的融合图像满足预设要求，如当前迭代得到的融合图像的清晰度满足预设要求等，本申请对此不进行限定。
若检测到当前迭代调用的递归单元层满足预设迭代结束条件，则将当前迭代调用的递归单元层输出的融合图像输入至下一迭代调用的递归单元层进行图像重建，每个递归单元层之间的参数存在差异，如递归单元的数量不同，上采样或下采样使用的尺度因子不同等等。
其中，递归单元层由多个依次连接的递归单元组成，递归单元是递归单元层中执行图像分辨率重建的主要执行单元，以实现上述图像分辨率的重建。
例如，递归单元的输出表示为：
SRt＝Fθ(SRt-1，LR)，t＝1，2，...，T
Fθ表示递归单元的网络参数，SRt表示递归单元的输出，t表示递归单元的层数，T表示递归单元层中的递归单元总数，LR表示该递归单元的输入图像。
递归单元的输出具体计算公式可以为：
SRt＝φ(Conv(γ1，t(SRt-1)+γ2，t(LR)))+γ3，t(SRt-1)
其中，Conv表示卷积操作，γ1,t()、γ2,t()、γ3,t()是可学习的参数，φ表示激活函数，例如ReLU激活函数或PReLU激活函数等。
举例来说，递归单元由一系列卷积、反卷积、激活函数、上采样模块、特征融合模块、注意力模块、特征增强模块、卷积核生成模块、递归块以及特征跨度块等组成，其中，特征融合模块可以采用跳跃连接(skip connection)等方式将上采样得到的特征图与输入图像的特征图进行融合，以提高特征表示的丰富性和稳定性。
在一些实施方式中，分辨率重建模型的输出层可以直接将最后一个递归块的输出作为最终的重建图像进行输出，也可以将每个递归块中每个递归单元层输出的融合图像进行加权相加得到最终的重建图像进行输出，本申请对此不进行限定。
在一些实施方式中，本申请在进行图像融合过程中，，可以使用交叉注意力(Cross-Attention)进行图像融合，可以将两张图像的特征映射进行交互和对齐。例如，交叉注意力机制首先计算两个图像的特征映射之间的相似度矩阵，然后基于相似度矩阵进行特征映射。
在一些实施方式中，采用非局部块(Non-Local Block)计算每个像素与整张图片中的所有像素之间的相似度，并将这些相似度加权求和，可以在保留更多细节的同时，降低图像重建过程中的噪声。其中，在计算非局部块时，可以使用降采样或升采样等，以减少计算量。同时，为了避免由于距离较远的像素之间的相似度较小而导致的信息损失，还可以在相似度计算中引入一个注意力机制，用于更好地捕捉像素之间的相互关系。
另外，本申请涉及的注意力机制包括但不限于自注意力(Self-AttentionMechanism)、交叉注意力(Cross-Attention)、空间注意力机制、通道注意力机制、时间注意力等，可以将不同的注意力机制串联起来，形成一个注意力模块序列，然后将该序列插入到分辨率重建模型中。例如，假设分辨率重建任务需要使用n个不同的注意力机制，分别为A1，A2...An，可以将这n个注意力机制串联起来，形成一个注意力模块序列，表示为Am。
可选地可以将该注意力模块序列Am插入到卷积层和反卷积层之间的位置中，以提高网络的特征提取和特征重建能力。例如，分辨率重建模型中包含多个卷积层Conv和反卷积层Deconv，其中第i个卷积层和第i个反卷积层之间的位置为pi，则可以将注意力模块序列Am插入到每个pi的位置上，形成一个注意力增强的分辨率重建模型，表示为SRnet：
SRnet＝[Conv1,Am1,Deconv1,Conv2,Am2,Deconv2,...,ConvN,AmN,DeconvN]
其中，Conv1到ConvN表示分辨率重建模型中的所有卷积层，Deconv1到DeconvN表示分辨率重建模型中的所有反卷积层，Am1到AmN表示分别插入到Conv1到ConvN与Deconv1到DeconvN之间的注意力模块序列。
另外，在组合使用多个注意力机制时，还可以采用并行的方式，即将不同的注意力机制并行应用于网络中不同的分支中，以增加模型的丰富性和复杂性。在这种情况下，不同分支中的注意力机制可以共享网络中的其他层，以减少参数数量和计算量。
接下来对分辨率重建模型的训练过程进行介绍：
请参阅图3，分辨率重建模型的训练过程具体包括：
1、准备样本数据集：样本数据集包含高分辨率图像样本和每个高分辨率图像样本分别对应的低分辨率图像样本，其中低分辨率图像样本可以是通过对高分辨率图像样本进行下采样得到的。
2、划分训练样本集和测试样本集：将样本数据集按照一定比例划分为训练样本集和测试样本集，其中训练样本集用于训练待训练模型，测试样本集用于评估待训练模型的性能。
3、数据预处理：对训练样本集和测试样本集的图像进行预处理，包括将图像归一化、裁剪、旋转、镜像翻转等操作，增加样本数据集的多样性，提高模型的泛化能力。
4、定义待训练模型：根据任务需求和样本数据集的特点，定义网络模型的层数、卷积核大小、步长、激活函数等参数。
5、训练待训练模型：使用训练样本集对待训练模型进行训练，通过反向传播算法优化待训练模型的参数。
待训练模型对输入的低分辨率图像样本的处理方式可以参见上述步骤S210至步骤S240，在此不作赘述。
在一些实施方式中，可以通过添加残差连接，提高网络的收敛速度和稳定性，同时减少了由于网络深度带来的梯度消失问题。
残差连接可以在递归单元层中添加，也可以在输出层中添加，本申请对此不进行限定。
例如，残差连接的公式可以为：
Hout＝FRC(FRB(FDC(L)))+H
其中，L是输入的低分辨率图像样本，H是低分辨率图像样本对应的高分辨率图像样本，FDC表示下采样模块，FRB表示递归块，FRC表示上采样模块，Hout是输出的重建图像。
然后，通过损失函数计算待训练模型输出的重建图像和真实的高分辨率图像样本直接的差距，以通过计算得到的差距和反向传播算法优化待训练模型的参数。其中，损失函数包括但不限于均方误差(mean squared error，MSE)、L1范数损失函数、感知损失函数等。
若当前待训练模型满足模型训练完成条件，则将当前的待训练模型作为训练完成的分辨率重建模型。
6、评估模型性能：使用测试样本集对训练好的分辨率重建模型进行评估，计算其预测准确率、误差、损失函数等指标，以便对模型进行优化。
7、模型应用：将优化后的分辨率重建模型应用于实际图像超分辨率重建任务中，使得可以将待重建图像输入至分辨率重建模型中，经过分辨率重建模型预测得到高分辨率的重建图像，从而实现图像超分辨率重建。
本申请提供的图像分辨率重建方法，通过将待重建图像输入至训练完成的分辨率重建模型的递归单元层中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，再迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入，基于递归单元层迭代调用后输出的融合图像得到重建图像，通过增加递归次数来实现更高的重建图像分辨率，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。
图4是本申请的一示例性实施例示出的图像分辨率重建装置的框图。如图4所示，该示例性的图像分辨率重建装置400包括：输入模块410、融合模块420、递归模块430和结果获取模块440。具体地：
输入模块410，用于将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；
融合模块420，用于利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像；
递归模块430，用于迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入；
结果获取模块440，用于基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像。
在上述示例性的图像分辨率重建装置中，通过将待重建图像输入至训练完成的分辨率重建模型的递归单元层中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，再迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入，从而实现对图像细节的逐步恢复，基于递归单元层迭代调用后输出的融合图像得到重建图像，通过增加递归次数来实现更高的重建图像分辨率，而不需要增加网络的深度和参数量，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。
其中，各个模块的功能可参见图像分辨率重建方法实施例所述，此处不再赘述。
请参阅图5，图5是本申请电子设备一实施例的结构示意图。电子设备500包括存储器501和处理器502，处理器502用于执行存储器501中存储的程序指令，以实现上述任一图像分辨率重建方法实施例中的步骤。在一个具体的实施场景中，电子设备500可以包括但不限于：微型计算机、服务器，此外，电子设备500还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器502用于控制其自身以及存储器501以实现上述任一图像分辨率重建方法实施例中的步骤。处理器502还可以称为CPU(Central Processing Unit，中央处理单元)。处理器502可能是一种集成电路芯片，具有信号的处理能力。处理器502还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器502可以由集成电路芯片共同实现。
请参阅图6，图6是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质600存储有能够被处理器运行的程序指令610，程序指令610用于实现上述任一图像分辨率重建方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种图像分辨率重建方法，其特征在于，所述方法包括：
将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；
利用所述递归单元层对所述待重建图像进行特征提取得到特征图，并对所述特征图和所述待重建图像进行融合输出融合图像；
迭代调用所述递归单元层，在所述迭代调用过程中将所述递归单元层当前迭代输出的融合图像作为所述递归单元层下一次迭代的输入；
基于所述递归单元层迭代调用后输出的融合图像得到重建图像，所述重建图像分辨率高于所述待重建图像。
2.根据权利要求1所述的方法，其特征在于，所述利用所述递归单元层对所述待重建图像进行特征提取得到特征图，并对所述特征图和所述待重建图像进行融合输出融合图像，包括：
对所述待重建图像进行特征提取，得到特征图；
将所述特征图与所述待重建图像进行差分处理，得到残差图；
基于注意力机制对所述残差图进行加权处理，得到加权残差图；
将所述加权残差图与所述特征图进行融合处理，得到融合图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述待重建图像进行特征提取，得到特征图，包括：
对所述待重建图像进行下采样，得到下采样特征图；
对所述下采样特征图进行卷积操作，得到卷积特征图；
基于注意力机制对所述卷积特征图进行加权处理，得到加权特征图；
对所述加权特征图进行上采样，得到特征图。
4.根据权利要求2所述的方法，其特征在于，所述递归单元层含有多个特征跨度块；所述对所述待重建图像进行特征提取，得到特征图，包括：
对所述待重建图像进行特征提取得到初始特征图；
基于每个特征跨度块分别对所述初始特征图分别进行跨度卷积，得到多个中间特征图；其中，所述每个特征跨度块的跨度卷积采用不同的空间尺度信息；
拼接所述多个中间特征图，得到特征图。
5.根据权利要求1所述的方法，其特征在于，所述基于所述递归单元层迭代调用后输出的融合图像得到重建图像，包括：
获取所述递归单元层在每次迭代调用得到的融合图像，得到所述递归单元层对应的输出集合；
将所述输出集合中的每个融合图像进行融合，得到重建图像。
6.根据权利要求5所述的方法，其特征在于，所述将所述输出集合中的每个融合图像进行融合，得到重建图像，包括：
获取所述输出集合中的每个融合图像对应的权重参数；
基于所述权重参数将所述输出集合中的每个融合图像进行加权融合，得到重建图像。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述分辨率重建模型含有多个依次连接的递归单元层；所述基于所述递归单元层迭代调用后输出的融合图像得到重建图像，所述重建图像分辨率高于所述待重建图像，包括：
若检测到当前迭代调用的递归单元层满足预设迭代结束条件，则将所述当前迭代调用的递归单元层输出的融合图像输入至下一迭代调用的递归单元层进行图像重建；
遍历每个递归单元层，基于所述每个递归单元层迭代调用后输出的融合图像得到重建图像。
8.一种图像分辨率重建装置，其特征在于，包括：
输入模块，用于将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；
融合模块，用于利用所述递归单元层对所述待重建图像进行特征提取得到特征图，并对所述特征图和所述待重建图像进行融合输出融合图像；
递归模块，用于迭代调用所述递归单元层，在所述迭代调用过程中将所述递归单元层当前迭代输出的融合图像作为所述递归单元层下一次迭代的输入；
结果获取模块，用于基于所述递归单元层迭代调用后输出的融合图像得到重建图像，所述重建图像分辨率高于所述待重建图像。
9.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310436642.5A CN116630152A (zh) | 2023-04-17 | 2023-04-17 | 图像分辨率重建方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310436642.5A CN116630152A (zh) | 2023-04-17 | 2023-04-17 | 图像分辨率重建方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630152A true CN116630152A (zh) | 2023-08-22 |
Family
ID=87596358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310436642.5A Pending CN116630152A (zh) | 2023-04-17 | 2023-04-17 | 图像分辨率重建方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630152A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115061A (zh) * | 2023-09-11 | 2023-11-24 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
| CN119624780A (zh) * | 2025-02-11 | 2025-03-14 | 上海深其深科技有限公司 | 一种红外图像处理方法、装置、设备及介质 |
-
2023
- 2023-04-17 CN CN202310436642.5A patent/CN116630152A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115061A (zh) * | 2023-09-11 | 2023-11-24 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
| CN117115061B (zh) * | 2023-09-11 | 2024-04-09 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
| CN119624780A (zh) * | 2025-02-11 | 2025-03-14 | 上海深其深科技有限公司 | 一种红外图像处理方法、装置、设备及介质 |
| CN119624780B (zh) * | 2025-02-11 | 2025-07-15 | 上海深其深科技有限公司 | 一种红外图像处理方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768342B (zh) | 基于注意力机制和多级反馈监督的人脸超分辨方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN111898701B (zh) | 模型训练、帧图像生成、插帧方法、装置、设备及介质 | |
| CN114757832B (zh) | 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置 | |
| CN113284051B (zh) | 一种基于频率分解多注意力机制的人脸超分辨方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN116739899B (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 | |
| CN113674191A (zh) | 一种基于条件对抗网络的弱光图像增强方法和装置 | |
| CN111951165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN110246084A (zh) | 一种超分辨率图像重构方法及其系统、装置、存储介质 | |
| Jiang et al. | Ensemble super-resolution with a reference dataset | |
| Liu et al. | Face super-resolution reconstruction based on self-attention residual network | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN115496663A (zh) | 基于d3d卷积组内融合网络的视频超分辨率重建方法 | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN118505506A (zh) | 一种低分辨率高光谱图像超分辨率重建方法、设备及介质 | |
| CN115082322B (zh) | 图像处理方法和装置、图像重建模型的训练方法和装置 | |
| CN116597033A (zh) | 图像重建方法、装置、设备和介质 | |
| Zhou | Superresolution reconstruction of remote sensing image based on generative adversarial network | |
| CN116433483A (zh) | 一种用于复杂退化场景的图像盲超分辨率重建方法 | |
| CN114782256A (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
| CN115526773A (zh) | 图像重建方法及装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |