CN111915481B - 图像处理方法、装置、电子设备及介质 - Google Patents
图像处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN111915481B CN111915481B CN202010515533.9A CN202010515533A CN111915481B CN 111915481 B CN111915481 B CN 111915481B CN 202010515533 A CN202010515533 A CN 202010515533A CN 111915481 B CN111915481 B CN 111915481B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- processing
- super
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，属于图像处理技术领域。方法包括：终端构建超分辨率训练集，对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像后，进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像，对第一输入图像进行双线性处理得到双线性特征图像，基于通道注意模块对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像及双线性特征图像处理得到连接特征图像，根据连接特征图像和残差结构重建高分辨率图像，由此消除了原始低分辨率图像马赛克和噪声的影响，提高了视频图像的传输质量。
Description
技术领域
本申请中涉及图像处理技术领域，尤其是一种图像处理方法、装置、电子设备及介质。
背景技术
随着互联网的发展，越来越多的人们能享受到互联网带来的便捷，其中，图像技术也得到了广泛应用。以视频通信为例(事实上，其他领域也可以得到应用)，通信双方可通过互联网实现在线沟通，通常双方通过各自的终端进行视频通信。在相关技术中，双方通信视频的完整传输过程通常包括：压缩过程、传输过程和解压缩过程，而原始视频在经过这三个过程的处理后，视频图像会出现一定程度的图像压缩失真的问题，导致对方可观看到的视频图像清晰度较低，影响通信质量。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及终端，可以解决相关技术中的视频传输导致视频图像压缩失真且分辨率低的问题。所述技术方案如下：
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
构建超分辨率训练集；
根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；
对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；
对所述第一输入图像进行双线性处理得到双线性特征图像；
基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；
根据所述连接特征图像和残差结构重建高分辨率图像。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：
构建模块，用于构建超分辨率训练集；
卷积模块，用于根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；
第一处理模块，用于对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；
第二处理模块，用于对所述第一输入图像进行双线性处理得到双线性特征图像；
连接模块，用于基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；
重建模块，用于根据所述连接特征图像和残差结构重建高分辨率图像。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，包括：处理器、存储器和显示屏；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
本申请实施例的方案在执行时，终端构建低分辨率-高分辨率图像对组成的超分辨率训练集，对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，对第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像，对第一输入图像进行双线性处理得到双线性特征图像，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像进行连接处理，获取连接特征图像，根据连接特征图像和残差结构重建高分辨率图像。计算重建后的高分辨率图像和训练集中原始高分辨率图像的MSE损失可通过优化损失函数训练以上反馈特征金字塔网络，保存优化后的反馈特征金字塔网络参数，用于连接特征图像和残差结构重建高分辨率图像，该深度学习方法消除了原始低分辨率图像的马赛克和噪声的影响，提高了原始低分辨率图像的分辨率，进而提高了视频图像的传输质量，降低了视频图像的压缩失真效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请视图像处理系统架构示意图；
图2为本申请提出的一种图像处理方法的示意图；
图3为本申请提出的一种图像处理方法的示意图；
图4为本申请提出的一种空间注意力反馈卷积神经网络的结构示意图；
图5为本申请提出的一种多尺度反馈特征金字塔网络的结构示意图
图6为本申请提出的图像处理装置的结构示意图；
图7为本申请提出的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
图1示出了可以应用本申请实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
工作人员(如：教师)与用户(如：学生)可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
本申请中的终端设备101、102、103可以为提供各种服务的终端设备。例如，可通过终端设备103(也可以是终端设备101或102)终端构建低分辨率-高分辨率图像对组成的超分辨率训练集，对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，对第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像，对第一输入图像进行双线性处理得到双线性特征图像，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像进行连接处理，获取连接特征图像，根据连接特征图像和残差结构重建高分辨率图像。
在此需要说明的是，本申请实施例所提供的图像处理方法可以由终端设备101、102、103中的一个或多个，和/或，服务器105执行，相应地，本申请实施例所提供的图像处理装置一般设置于对应终端设备中，和/或，服务器105中，但本申请不限于此。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为终端进行介绍说明。
下面将结合附图2至图5，对本申请实施例提供的图像处理方法进行详细介绍。
请参见图2，为本申请实施例提供了一种图像处理方法的流程示意图。本实施例以一种图像处理方法应用于终端来举例说明，该图像处理方法可以包括以下步骤：
S201，构建超分辨率训练集。
一般的，在本申请中可以利用REDS视频超分辨率数据集，根据FFmpeg库h264编码方式同时执行压缩和降分辨率，构建真实环境下的低分辨率-高分辨率图像对组成的超训练集。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，FFmpeg库提供了录制、转换以及流化音视频的完整解决方案，并包含多个音频/视频编解码库。
S202，根据超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像。
需要说明的是，在以下描述中原始的低分辨率图像的分辨率为X。
其中，第一输入图像是指对低分辨率图像进行卷积核kernel＝3×3、步长stride＝1的卷积处理后得到的低分辨率图像，其尺度为X；第二输入图像是指第一输入图像进行卷积核kernel＝3×3、步长stride＝2的卷积处理后得到的低分辨率图像，其尺度为X/2；第三输入图像是指第二输入图像进行卷积核kernel＝3×3、步长stride＝3的卷积处理后得到的低分辨率图像，其尺度为X/4。
一般的，根据超分辨率训练集对原始的低分辨率图像分别在X、X/2、X/4尺度上进行卷积处理，降低原始的低分辨率图像的分辨率，便于后续能对低分辨率图像进行超分辨率处理。
S203，对第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像。
其中，第一超分辨率特征图像是指第一输入图像经过2倍的超分辨率处理后的超分辨率特征图像；第二超分辨率特征图像是指第二输入图像经过4倍的超分辨率处理后的超分辨率特征图像；第三超分辨率特征图像是指第三输入图像经过8倍的超分辨率处理后的超分辨率特征图像。
一般的，对第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像的过程，是利用可完成上采样-下采样-上采样的空间注意力反馈卷积神经网络对输入图像进行处理的过程，空间注意力反馈卷积神经网络主要包括卷积模块、反卷积模块、elementwise残差模块、空间注意力SAM模块和elementwise相加模块，可增强空间注意力结构，能提高对低分辨率图像中马赛克的注意力，便于对存在的马赛克进行重点消除，同时elementwise残差模块和elementwise相加模块可改变不同位置空间残差部分和增强特征图像部分相加的比例。
对第一输入图像依次进行卷积和反卷积处理得到第一处理特征图像，对第一处理特征图像进行残差处理获取第一残差特征图像，基于空间注意模块SAM对第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像，将第一残差特征图像进行反卷积后与第一增强特征图像进行相加处理，获取第一超分辨率特征图像，第一超分辨率特征图像的分辨率为原始低分辨率图像的2倍。基于空间注意模块SAM对第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像的过程：由空间注意力模块SAM的最大池化Maxpool提取最大值，通过sigmoid函数生成Spatial Attention特征图，Spatial Attention特征图与第一处理特征图像按元素elementwise相乘(即Hadamard乘积，对应元素逐个相乘)，得到分辨率增强的第一增强特征图像。
对第二输入图像依次进行卷积和反卷积处理得到第二处理特征图像，对第二处理特征图像进行残差处理获取第二残差特征图像，基于空间注意模块SAM对第二处理特征图像进行增强高分辨率处理，获取第二增强特征图像，将第二残差特征图像进行反卷积后与第二增强特征图像进行相加处理，获取第二超分辨率特征图像，第二超分辨率特征图像的分辨率为原始低分辨率图像的4倍。基于空间注意模块SAM对第二处理特征图像进行增强高分辨率处理，获取第二增强特征图像的过程：由空间注意力模块SAM的最大池化Maxpool提取最大值，通过sigmoid函数生成Spatial Attention特征图，Spatial Attention特征图与第二处理特征图像按元素elementwise相乘(即Hadamard乘积，对应元素逐个相乘)，得到分辨率增强的第二增强特征图像。
对第三输入图像依次进行卷积和反卷积处理得到第三处理特征图像，对第三处理特征图像进行残差处理获取第三残差特征图像，基于空间注意模块SAM对第三处理特征图像进行增强高分辨率处理，获取第三增强特征图像，将第三残差特征图像进行反卷积后与第三增强特征图像进行相加处理，获取第三超分辨率特征图像，第三超分辨率特征图像的分辨率为原始低分辨率图像的8倍。基于空间注意模块SAM对第三处理特征图像进行增强高分辨率处理，获取第三增强特征图像的过程：由空间注意力模块SAM的最大池化Maxpool提取最大值，通过sigmoid函数生成Spatial Attention特征图，Spatial Attention特征图与第三处理特征图像按元素elementwise相乘(即Hadamard乘积，对应元素逐个相乘)，得到分辨率增强的第三增强特征图像。
在本申请中对第一输入图像、第二输入图像和第三输入图像分别进行2倍、4倍、8倍超分辨处理的卷积参数如下表1所示，也可根据实际需要设置多种不同倍数的卷积参数。(原始的低分辨率图像的分辨率为X)
| 超分辨率倍数 | 卷积核/步长/填充 |
| 2X | kernel＝6×6，stride＝2，padding＝2 |
| 4X | kernel＝8×8，stride＝4，padding＝2 |
| 8X | kernel＝12×12，stride＝8，padding＝2 |
表1
S204，对第一输入图像进行双线性处理得到双线性特征图像。
其中，双线性处理是指对图像的双线性插值处理，可对图像的进行缩放处理，在本申请实施例中对图像的双线性处理是对图像进行放大处理。双线性特征图像是指第一输入图像经过双线性插值处理后，分辨率变为第一输入图像2倍的高分辨率特征图像。
举例说明：假设原始图像大小为size＝m×n，m与n分别是原始图像的行数与列数；若图像的缩放因子是t(t>0)，则目标图像的大小size＝t×m×t×n；对于目标图像的某个像素点P(x，y)通过P*1/t可得到对应的原始图像坐标P’(x1，y1)，其中x1＝x/t，y1＝y/t，由于x1，y1都不是整数所以并不存在这样的点，这样可以找出与它相邻的四个点的灰度f1、f2、f3、f4，使用双线性插值算法就可以得到这个像素点P’(x1，y1)的灰度，也就是像素点P(x，y)的灰度。
完整的双线性插值算法可包括：步骤一，通过原始图像和比例因子得到目标图像的大小，并创建新图像；步骤二，由目标图像的某个像素(x，y)映射到原始图像(x’，y’)处；步骤三，对x’，y’取整得到(xx，yy)并得到(xx，yy)、(xx+1，yy)、(xx，yy+1)和(xx+1，yy+1)的值；步骤四，利用双线性插值得到像素点(x，y)的值并写回目标图像；重复步骤二直到目标图像的所有像素写完。
S205，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像进行连接处理，获取连接特征图像。
其中，连接特征图像是指将多个关于同一目标的图像数据经过图像融合后得到的高质量图像。连接处理包括亚像素卷积处理，是将多个关于同一目标的图像数据经过图像融合的过程，可将多个关于同一目标的图像数据综合成高质量的图像，提高了原始图像的分辨率。
一般的，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像按照各自的权值进行卷积处理得到融合特征图像，对融合特征图像进行亚像素卷积处理，得到连接特征图像，可进一步提高连接特征图像的分辨率。通道注意力模块CAM是采用CBAM(Convolutional Block AttentionModule，卷积模块的注意力机制模块)模型中的通道注意力模块，由Maxpool、AveragePool提取特征，经过MLP(Multi-Layer Perceptron，多层感知器)结构输出特征进行elementwise相加操作，通过sigmoid函数生成Channel Attention特征图，ChannelAttention特征图与起始输入特征按元素elementwise相乘，得到各个尺度超分辨特征图的Channel Attention融合结果。
S206，根据连接特征图像和残差结构重建高分辨率图像。
其中，高分辨率图像是相较于原始低分辨率图像而言，对原始低分辨率图像进行超分辨率处理后得到的高分辨率的图像，其相较于原始的低分辨率图像的清晰度更高。
一般的，图像重建处理过程包括对连接特征图像进行深度残差处理得到残差图像，再对该残差图像进行卷积处理后得到高分辨率图像，该高分辨率图像的分辨率高于原始的低分辨率图像的分辨率。
由上述内容可知，本方案提供的图像处理方法，终端构建低分辨率-高分辨率图像对组成的超分辨率训练集，对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，对第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像，对第一输入图像进行双线性处理得到双线性特征图像，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像进行连接处理，获取连接特征图像，根据连接特征图像和残差结构重建高分辨率图像。计算重建后的高分辨率图像和训练集中原始高分辨率图像的MSE损失可通过优化损失函数训练以上反馈特征金字塔网络，保存优化后的反馈特征金字塔网络参数，用于连接特征图像和残差结构重建高分辨率图像，该深度学习方法消除了原始低分辨率图像的马赛克和噪声的影响，提高了原始低分辨率图像的分辨率，进而提高了视频图像的传输质量，降低了视频图像的压缩失真效果。
请参见图3，为本申请实施例提供了一种图像处理方法的另一流程示意图。本实施例以一种图像处理方法应用于终端中来举例说明。该图像处理方法可以包括以下步骤：
S301，构建超分辨率训练集。
一般的，在本申请中可以利用REDS视频超分辨率数据集，根据FFmpeg库h264编码方式同时执行压缩和降分辨率，构建真实环境下的低分辨率-高分辨率图像对组成的超分辨率训练集。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，FFmpeg库提供了录制、转换以及流化音视频的完整解决方案，并包含多个音频/视频编解码库。
S302，对低分辨率图像进行卷积处理，获取第一输入图像。
需要说明的是，在以下描述中原始的低分辨率图像的分辨率为X。
其中，第一输入图像是指对低分辨率图像进行卷积核kernel＝3×3、步长stride＝1的卷积处理后得到的低分辨率图像，其尺度为X。
S303，对第一输入图像进行卷积处理，获取第二输入图像。
其中，第二输入图像是指第一输入图像进行卷积核kernel＝3×3、步长stride＝2的卷积处理后得到的低分辨率图像，其尺度为X/2。
S304，对第二输入图像进行卷积处理，获取第三输入图像。
其中，第三输入图像是指第二输入图像进行卷积核kernel＝3×3、步长stride＝3的卷积处理后得到的低分辨率图像，其尺度为X/4。
S305，对第一输入图像依次进行卷积和反卷积处理得到第一处理特征图像，对第一处理特征图像进行残差处理获取第一残差特征图像。
一般的，图像卷积需要对卷积核进行180°的旋转，同时卷积核中心与处理的图像像素对齐，输出结构为中心对齐像素的新像素值。图像卷积，也叫算子，用一个模板与另一图片对比，进行卷积运算。目的是使目标与目标之间的差距变得更大。卷积在数字图像处理中最常见的应用为锐化和边缘提取。
举例说明：图像卷积的锐化通过卷积运算，可以增大矩阵每一个元素与周边元素的方差，轻则起到锐化作用，重则成了边缘提取；反之，则是去噪过程；这种矩阵运算可以在空间域上，图像经过量化其实就是以矩阵的形式存在的。图像卷积的边缘提取，假如目标像素点和其周边的值有较大差异(上下左右前后的临点，具体的比邻范围依赖于算子的大小，3×3的算子比邻范围为1，5×5的算子比邻范围为2，以此类推)，则可通过算子对原图矩阵中的对应位置进行卷积运算，得到的值和该像素点原来的灰度值会产生显著的差异。当这种前后差异超过预设范围后，就将该像素点标记为0(白色)，其余点标记为255(黑色)，就可得到黑色作为背景、白色线条作为边缘或形状的边缘提取效果图。
图像的反卷积可理解为转置卷积，转置卷积也需要将卷积核旋转180°后再进行卷积运算。通常转置卷积会使输入的图像数据变小，根据卷积核大小和步长的不同，输出的图像数据尺寸变化也有所不同。图像的卷积和反卷积处理不是可逆的，对于同一个卷积核，经过转置卷积(反卷积)处理后不能恢复到原始的数值，保留的只有原始的形状。
S306，基于空间注意模块SAM对第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像。
一般的，利用空间注意模块SAM的过程包括：由空间注意力模块SAM的最大池化Maxpool提取最大值，通过sigmoid函数生成Spatial Attention特征图，SpatialAttention特征图与第一处理特征图像按元素elementwise相乘(即Hadamard乘积，对应元素逐个相乘)，得到分辨率增强的第一增强特征图像。
S307，对第一残差特征图像进行反卷积处理后与第一增强特征图像进行相加处理，获取第一超分辨率特征图像。
其中，相加处理即elementwise相加，是指第一残差特征图像和第一增强特征图像的对应元素逐个相加。
S308，对第二输入图像依次进行卷积和反卷积处理得到第二处理特征图像，对第二处理特征图像进行残差处理获取第二残差特征图像。
S309，基于SAM对第二处理特征图像进行增强高分辨率处理，获取第二增强特征图像。
一般的，利用空间注意模块SAM的过程包括：由空间注意力模块SAM的最大池化Maxpool提取最大值，通过sigmoid函数生成Spatial Attention特征图，SpatialAttention特征图与第二处理特征图像按元素elementwise相乘(即Hadamard乘积，对应元素逐个相乘)，得到分辨率增强的第二增强特征图像。
S310，对第二残差特征图像进行反卷积处理后与第二增强特征图像进行相加处理，获取第二超分辨率特征图像。
其中，相加处理即elementwise相加，是指第二残差特征图像和第二增强特征图像的对应元素逐个相加。
S311，对第三输入图像依次进行卷积和反卷积处理得到第三处理特征图像，对第三处理特征图像进行残差处理获取第三残差特征图像。
S312，基于SAM对第三处理特征图像进行增强高分辨率处理，获取第三增强特征图像。
一般的，利用空间注意模块SAM的过程包括：由空间注意力模块SAM的最大池化Maxpool提取最大值，通过sigmoid函数生成Spatial Attention特征图，SpatialAttention特征图与第三处理特征图像按元素elementwise相乘(即Hadamard乘积，对应元素逐个相乘)，得到分辨率增强的第三增强特征图像。
S313，对第三残差特征图像进行反卷积处理后与第三增强特征图像进行相加处理，获取第三超分辨率特征图像。
其中，相加处理即elementwise相加，是指第三残差特征图像和第三增强特征图像的对应元素逐个相加。
举例说明：请参见图4所示的结构图，也即空间注意力反馈卷积神经网络结构图，以对第一输入图像L0进行处理为例进行说明，第一输入图像L0经过1×1conv的卷积处理后，再进行依次反卷积处理得到第一处理图像H0t，第一处理图像H0t经过卷积处理后与经过1×1conv的卷积处理后第一输入图像L’0进行残差处理得到第一残差特征图像L0r，同时基于空间注意模块SAM对第一处理特征图像H0t进行增强高分辨率处理，获取第一增强特征图像H0e，对第一残差特征图像L0r进行反卷积处理后与第一增强特征图像H0e进行相加处理，得到第一超分辨率特征图像H0。
S314，对第一输入图像进行双线性处理得到双线性特征图像。
其中，双线性处理是指对图像的双线性插值处理，可对图像的进行缩放处理，在本申请实施例中对图像的双线性处理是对图像进行放大处理。双线性特征图像是指第一输入图像经过双线性插值处理后，分辨率变为第一输入图像2倍的高分辨率特征图像。
举例说明：假设原始图像大小为size＝m×n，m与n分别是原始图像的行数与列数；若图像的缩放因子是t(t>0)，则目标图像的大小size＝t×m×t×n；对于目标图像的某个像素点P(x，y)通过P*1/t可得到对应的原始图像坐标P’(x1，y1)，其中x1＝x/t，y1＝y/t，由于x1，y1都不是整数所以并不存在这样的点，这样可以找出与它相邻的四个点的灰度f1、f2、f3、f4，使用双线性插值算法就可以得到这个像素点P’(x1，y1)的灰度，也就是像素点P(x，y)的灰度。
完整的双线性插值算法可包括：步骤一，通过原始图像和比例因子得到目标图像的大小，并创建新图像；步骤二，由目标图像的某个像素(x，y)映射到原始图像(x’，y’)处；步骤三，对x’，y’取整得到(xx，yy)并得到(xx，yy)、(xx+1，yy)、(xx，yy+1)和(xx+1，yy+1)的值；步骤四，利用双线性插值得到像素点(x，y)的值并写回目标图像；重复步骤二直到目标图像的所有像素写完。
S315，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像按照各自的权值进行卷积处理得到融合特征图像。
一般的，通道注意模块CAM可按不同权重值对融合特征图像进行通道注意力卷积处理后，再进行亚像素卷积处理得到高分辨率特征图像，可进一步提高融合特征图像的分辨率。通道注意力模块CAM是采用CBAM模型中的通道注意力模块，由Maxpool、AveragePool提取特征，经过多层感知器(Multi-Layer Perceptron，MLP)结构输出特征进行elementwise相加操作，通过sigmoid函数生成Channel Attention特征图，ChannelAttention特征图与起始输入特征按元素elementwise相乘，得到各个尺度超分辨特征图的Channel Attention融合结果。
S316，对融合特征图像进行亚像素卷积处理得到连接特征图像。
其中，连接特征图像是指将多个关于同一目标的图像数据经过图像融合和卷积处理后得到的高质量图像。亚像素卷积与常规的卷积相似，但其输出的特征通道数为r^2，r为缩放倍数，低分辨率图像通过亚像素卷积处理后可生成高分辨率图像，提高了原始图像的分辨率。
S317，根据连接特征图像和残差结构重建高分辨率图像。
其中，高分辨率图像是相较于原始低分辨率图像而言，对原始低分辨率图像进行超分辨率处理后得到的高分辨率的图像，其相较于原始的低分辨率图像的清晰度更高。
一般的，图像重建处理过程包括对连接特征图像进行深度残差处理得到残差图像，再对该残差图像进行卷积处理后得到高分辨率图像，该高分辨率图像的分辨率高于原始的低分辨率图像的分辨率。
举例说明：请参见图5所示的结构图，也即多尺度反馈特征金字塔网络的结构示意图，对低分辨率图像进行卷积核kernel＝3×3、步长stride＝1的卷积处理后得到的第一输入图像L0，其尺度为X；对低分辨率图像进行卷积核kernel＝3×3、步长stride＝2的卷积处理后得到的第二输入图像L1，其尺度为X/2；对低分辨率图像进行卷积核kernel＝3×3、步长stride＝3的卷积处理后得到的第三输入图像L2，其尺度为X/4；基于空间注意力反馈卷积神经网络对第一输入图像L0进行卷积核kernel＝6、步长stride＝2、填充padding＝2的卷积处理得到第一增强特征图像H0，对第二输入图像L1进行卷积核kernel＝8、步长stride＝4、填充padding＝2的卷积处理得到第二增强特征图像H1，对第三输入图像L2进行卷积核kernel＝12、步长stride＝8、填充padding＝2的卷积处理得到第三增强特征图像H2，同时对第一输入图像L0进行双线性处理得到双线性特征图像H2x，基于通道注意模块CAM对第一增强特征图像H0、第二增强特征图像H1、第三增强特征图像H2和双线性特征图像H2x进行连接处理后得到连接特征图像，根据连接特征图像和残差结构ResBlock可重建得到高分辨率图像。
由上述内容可知，本方案提供的图像处理方法，终端构建超分辨率训练集，对低分辨率图像进行卷积处理，获取第一输入图像，对第一输入图像进行卷积处理，获取第二输入图像，对第二输入图像进行卷积处理，获取第三输入图像，对第一输入图像依次进行卷积和反卷积处理得到第一处理特征图像，对第一处理特征图像进行残差处理获取第一残差特征图像，基于空间注意模块SAM对第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像，对第一残差特征图像进行反卷积处理后与第一增强特征图像进行相加处理，获取第一超分辨率特征图像，对第二输入图像依次进行卷积和反卷积处理得到第二处理特征图像，对第二处理特征图像进行残差处理获取第二残差特征图像，基于SAM对第二处理特征图像进行增强高分辨率处理，获取第二增强特征图像，对第二残差特征图像进行反卷积处理后与第二增强特征图像进行相加处理，获取第二超分辨率特征图像，对第三输入图像依次进行卷积和反卷积处理得到第三处理特征图像，对第三处理特征图像进行残差处理获取第三残差特征图像，基于SAM对第三处理特征图像进行增强高分辨率处理，获取第三增强特征图像，对第三残差特征图像进行反卷积处理后与第三增强特征图像进行相加处理，获取第三超分辨率特征图像，对第一输入图像进行双线性处理得到双线性特征图像，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像按照各自的权值进行卷积处理得到融合特征图像，对融合特征图像进行亚像素卷积处理得到连接特征图像，根据连接特征图像和残差结构重建高分辨率图像。计算重建后的高分辨率图像和训练集中原始高分辨率图像的MSE损失可通过优化损失函数训练以上反馈特征金字塔网络，保存优化后的反馈特征金字塔网络参数，用于连接特征图像和残差结构重建高分辨率图像，该深度学习方法消除了原始低分辨率图像的马赛克和噪声的影响，提高了原始低分辨率图像的分辨率，进而提高了视频图像的传输质量，降低了视频图像的压缩失真效果。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图6，其示出了本申请一个示例性实施例提供的图像处理装置的结构示意图。以下简称装置6，装置6可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。装置6包括构建模块601、卷积模块602、第一处理模块603、第二处理模块604、连接模块605和重建模块606。
构建模块601，用于构建超分辨率训练集；
卷积模块602，用于根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；
第一处理模块603，用于对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；
第二处理模块604，用于对所述第一输入图像进行双线性处理得到双线性特征图像；
连接模块605，用于基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；
重建模块606，用于根据所述连接特征图像和残差结构重建高分辨率图像。
可选地，所述卷积模块602包括：
第一获取单元，用于对所述低分辨率图像进行卷积处理，获取第一输入图像；
第二获取单元，用于对所述第一输入图像进行卷积处理，获取第二输入图像；
第三获取单元，用于对所述第二输入图像进行卷积处理，获取第三输入图像。
可选地，所述第一处理模块603包括：
第一处理单元，用于对所述第一输入图像依次进行卷积和反卷积处理得到第一处理特征图像，对所述第一处理特征图像进行残差处理获取第一残差特征图像；
第一增强单元，用于基于空间注意模块SAM对所述第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像；
第一相加单元，用于对所述第一残差特征图像进行反卷积处理后与所述第一增强特征图像进行相加处理，获取第一超分辨率特征图像。
可选地，所述第一处理模块603包括：
第二处理单元，用于对所述第二输入图像依次进行卷积和反卷积处理得到第二处理特征图像，对所述第二处理特征图像进行残差处理获取第二残差特征图像；
第二增强单元，用于基于所述SAM对所述第二处理特征图像进行增强高分辨率处理，获取第二增强特征图像；
第二相加单元，用于对所述第二残差特征图像进行反卷积处理后与所述第二增强特征图像进行相加处理，获取第二超分辨率特征图像。
可选地，所述第一处理模块603包括：
第三处理单元，用于对所述第三输入图像依次进行卷积和反卷积处理得到第三处理特征图像，对所述第三处理特征图像进行残差处理获取第三残差特征图像；
第三增强单元，用于基于所述SAM对所述第三处理特征图像进行增强高分辨率处理，获取第三增强特征图像；
第三相加单元，用于对所述第三残差特征图像进行反卷积处理后与所述第三增强特征图像进行相加处理，获取第三超分辨率特征图像。
可选地，所述装置6还包括：
残差处理单元，用于将输入图像与分别进行卷积和反卷积处理后的处理特征图像进行残差相减得到残差特征图像；其中，所述输入图像包括所述第一输入图像、第二输入图像和第三输入图像，所述处理特征图像包括第一处理特征图像、第二处理特征图像和第三处理特征图像，所述残差特征图像包括所述第一残差特征图像、第二残差特征图像和第三残差特征图像。
可选地，所述连接模块605包括：
第一卷积单元，用于基于所述CAM对所述第一超分辨率特征图像、所述第二超分辨率特征图像和所述第三超分辨率特征图像以及所述双线性特征图像按照各自的权值进行卷积处理得到融合特征图像；
第二卷积单元，用于对所述融合特征图像进行亚像素卷积处理，得到所述连接特征图像。
需要说明的是，上述实施例提供的装置6在执行图像处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2、图3所示实施例的方法步骤，具体执行过程可以参见图2、图3所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像处理方法。
图7是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，电子设备700可以包括以下一个或多个组件：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如5核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，电子设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置电子设备700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在电子设备700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在电子设备700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位电子设备700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为电子设备700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以电子设备700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测电子设备700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对电子设备700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在电子设备700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在电子设备700的侧边框时，可以检测用户对电子设备700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置电子设备700的正面、背面或侧面。当电子设备700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在电子设备700的前面板。接近传感器716用于采集用户与电子设备700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对电子设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质。可选地，上述指令还可以由电子设备700的处理器720执行以完成上述示例性实施例中所涉及的其他步骤。可选地，上述指令还可以由电子设备700的处理器720执行以完成上述示例性实施例中所涉及的其他步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
可选地，上述指令还可以由电子设备700的处理器720执行以完成上述示例性实施例中所涉及的其他步骤。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种图像处理方法，其特征在于，所述方法包括：
构建超分辨率训练集；
根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；
对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；
对所述第一输入图像进行双线性处理得到双线性特征图像；
基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；
根据所述连接特征图像和残差结构重建高分辨率图像；
所述根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，包括：
对所述低分辨率图像在不同尺度上进行卷积处理，以所述不同尺度降低所述低分辨率图像的分辨率，得到所述第一输入图像、所述第二输入图像和所述第三输入图像；
所述对所述第一输入图像进行超分辨处理，获取第一超分辨率特征图像，包括：
对所述第一输入图像依次进行卷积和反卷积处理得到第一处理特征图像，对所述第一处理特征图像进行残差处理获取第一残差特征图像；
基于空间注意模块SAM对所述第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像；
对所述第一残差特征图像进行反卷积处理后与所述第一增强特征图像进行相加处理，获取第一超分辨率特征图像。
2.根据权利要求1所述方法，其特征在于，所述根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，包括：
对所述低分辨率图像进行卷积处理，获取所述第一输入图像；
对所述第一输入图像进行卷积处理，获取所述第二输入图像；
对所述第二输入图像进行卷积处理，获取所述第三输入图像。
3.根据权利要求1所述方法，其特征在于，所述对所述第二输入图像进行超分辨处理，获取第二超分辨率特征图像，包括：
对所述第二输入图像依次进行卷积和反卷积处理得到第二处理特征图像，对所述第二处理特征图像进行残差处理获取第二残差特征图像；
基于所述空间注意模块SAM对所述第二处理特征图像进行增强高分辨率处理，获取第二增强特征图像；
对所述第二残差特征图像进行反卷积处理后与所述第二增强特征图像进行相加处理，获取第二超分辨率特征图像。
4.根据权利要求1所述方法，其特征在于，所述对所述第三输入图像进行超分辨处理，获取第三超分辨率特征图像，包括：
对所述第三输入图像依次进行卷积和反卷积处理得到第三处理特征图像，对所述第三处理特征图像进行残差处理获取第三残差特征图像；
基于所述空间注意模块SAM对所述第三处理特征图像进行增强高分辨率处理，获取第三增强特征图像；
对所述第三残差特征图像进行反卷积处理后与所述第三增强特征图像进行相加处理，获取第三超分辨率特征图像。
5.根据权利要求1、3或4所述方法，其特征在于，所述残差处理包括：
将输入图像与分别进行卷积和反卷积处理后的处理特征图像进行残差相减得到残差特征图像；其中，所述输入图像包括所述第一输入图像、第二输入图像和第三输入图像，所述处理特征图像包括第一处理特征图像、第二处理特征图像和第三处理特征图像，所述残差特征图像包括所述第一残差特征图像、第二残差特征图像和第三残差特征图像。
6.根据权利要求1所述方法，其特征在于，所述基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像，包括：
基于所述CAM对所述第一超分辨率特征图像、所述第二超分辨率特征图像和所述第三超分辨率特征图像以及所述双线性特征图像按照各自的权值进行卷积处理得到融合特征图像；
对所述融合特征图像进行亚像素卷积处理，得到所述连接特征图像。
7.一种图像处理的装置，其特征在于，包括：
构建模块，用于构建超分辨率训练集；
卷积模块，用于根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；
第一处理模块，用于对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；
第二处理模块，用于对所述第一输入图像进行双线性处理得到双线性特征图像；
连接模块，用于基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；
重建模块，用于根据所述连接特征图像和残差结构重建高分辨率图像；
所述卷积模块被配置为在不同尺度上对所述低分辨率图像进行卷积处理，以所述不同尺度降低所述低分辨率图像的分辨率，得到所述第一输入图像、所述第二输入图像和所述第三输入图像；
所述第一处理模块，用于对所述第一输入图像进行超分辨处理，获取第一超分辨率特征图像，包括：
所述第一处理模块用于对所述第一输入图像依次进行卷积和反卷积处理得到第一处理特征图像，对所述第一处理特征图像进行残差处理获取第一残差特征图像；
所述第一处理模块基于空间注意模块SAM对所述第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像；
所述第一处理模块对所述第一残差特征图像进行反卷积处理后与所述第一增强特征图像进行相加处理，获取第一超分辨率特征图像。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～6任意一项的方法步骤。
9.一种终端，其特征在于，包括：处理器、存储器和显示屏；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～6任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010515533.9A CN111915481B (zh) | 2020-06-08 | 2020-06-08 | 图像处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010515533.9A CN111915481B (zh) | 2020-06-08 | 2020-06-08 | 图像处理方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111915481A CN111915481A (zh) | 2020-11-10 |
| CN111915481B true CN111915481B (zh) | 2024-03-29 |
Family
ID=73237676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010515533.9A Active CN111915481B (zh) | 2020-06-08 | 2020-06-08 | 图像处理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915481B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379600A (zh) * | 2021-05-26 | 2021-09-10 | 北京邮电大学 | 基于深度学习的短视频超分辨率转换方法、装置及介质 |
| CN114862676A (zh) * | 2022-04-22 | 2022-08-05 | 腾讯音乐娱乐科技（深圳）有限公司 | 全景图像和全景视频超分辨处理方法、设备和产品 |
| CN115205117B (zh) * | 2022-07-04 | 2024-03-08 | 中国电信股份有限公司 | 图像重建方法及装置、计算机存储介质、电子设备 |
| CN115293985B (zh) * | 2022-08-11 | 2023-04-07 | 北京拙河科技有限公司 | 一种用于图像优化的超分降噪方法及装置 |
| CN115660971B (zh) * | 2022-10-08 | 2024-02-23 | 镕铭微电子(济南)有限公司 | 一种基于深度学习硬件加速器实现usm锐化的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| WO2018235746A1 (ja) * | 2017-06-21 | 2018-12-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| CN110969577A (zh) * | 2019-11-29 | 2020-04-07 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
| CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
| KR20200052402A (ko) * | 2018-10-23 | 2020-05-15 | 주식회사 아나패스 | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 |
-
2020
- 2020-06-08 CN CN202010515533.9A patent/CN111915481B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018235746A1 (ja) * | 2017-06-21 | 2018-12-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| KR20200052402A (ko) * | 2018-10-23 | 2020-05-15 | 주식회사 아나패스 | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| CN110969577A (zh) * | 2019-11-29 | 2020-04-07 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
| CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Residual Attention Network for Wavelet Domain Super-Resolution;J. Liu, ed.;ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP),;2033-2037 * |
| 基于残差通道注意力网络的医学图像 超分辨率重建方法;刘可文等;激光与光电子学进展;第57卷(第2期);021014-1~021014-8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111915481A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915481B (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN110427110B (zh) | 一种直播方法、装置以及直播服务器 | |
| CN110933334B (zh) | 视频降噪方法、装置、终端及存储介质 | |
| CN111932463B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110839174A (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
| CN110807769B (zh) | 图像显示控制方法及装置 | |
| CN105427369A (zh) | 移动终端及其三维形象的生成方法 | |
| WO2024016611A1 (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110149517B (zh) | 视频处理的方法、装置、电子设备及计算机存储介质 | |
| CN111178343A (zh) | 基于人工智能的多媒体资源检测方法、装置、设备及介质 | |
| CN111586444B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN114494073A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN108848405A (zh) | 图像处理方法和装置 | |
| WO2020083385A1 (zh) | 图像处理的方法、装置及系统 | |
| CN110991445A (zh) | 竖排文字识别方法、装置、设备及介质 | |
| CN112257594A (zh) | 多媒体数据的显示方法、装置、计算机设备及存储介质 | |
| CN118429531A (zh) | 三维对象的生成方法、装置、设备及存储介质 | |
| WO2018192455A1 (zh) | 一种生成字幕的方法及装置 | |
| CN113010258B (zh) | 图片下发方法、装置、设备及存储介质 | |
| CN108881739B (zh) | 图像生成方法、装置、终端及存储介质 | |
| CN109472855B (zh) | 一种体绘制方法、装置及智能设备 | |
| CN107085841A (zh) | 一种图片拉焦处理方法及终端 | |
| WO2019141258A1 (zh) | 一种视频编码方法、视频解码方法、装置及系统 | |
| CN113379624A (zh) | 图像生成方法、图像生成模型的训练方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20250107 Address after: No. 902, 9th Floor, Unit 2, Building 1, No. 333 Jiqing 3rd Road, Chengdu High tech Zone, Chengdu Free Trade Zone, Sichuan Province 610000 Patentee after: Chengdu Yudi Technology Co.,Ltd. Country or region after: China Address before: Building 6, Huitong Times Square, 1 yaojiayuan South Road, Chaoyang District, Beijing 100025 Patentee before: FUTURE VIPKID Ltd. Country or region before: China |