CN107220934A - 图像重建方法及装置 - Google Patents
图像重建方法及装置 Download PDFInfo
- Publication number
- CN107220934A CN107220934A CN201710339903.6A CN201710339903A CN107220934A CN 107220934 A CN107220934 A CN 107220934A CN 201710339903 A CN201710339903 A CN 201710339903A CN 107220934 A CN107220934 A CN 107220934A
- Authority
- CN
- China
- Prior art keywords
- channel images
- new
- feature
- default
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003321 amplification Effects 0.000 claims abstract description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 19
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 1
- 230000001965 increasing effect Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000630 rising effect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000003475 lamination Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开是关于图像重建方法及装置。该方法包括：获取图像中Y通道图像和UV通道图像；通过预设全卷积网，对Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，新Y通道图像的像素个数是Y通道图像的像素个数的h2倍；根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。该技术方案通过预设全卷积网，将Y通道图像的像素增加h2倍，这样，特征增多，Y通道图像的分辨率就会提高，因此，相较于图像，提高了新图像的分辨率。
Description
技术领域
本公开涉及图像处理领域，尤其涉及图像重建方法及装置。
背景技术
目前，超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过低分辨率图像来得到高分辨率图像的过程就是超分辨率重建。
高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；监控视频中的目标如汽车牌照或者疑犯的脸部需要特写放大。
发明内容
本公开实施例提供图像重建方法及装置。所述技术方案如下：
根据本公开实施例的第一方面，提供一种图像重建方法，包括：
获取图像中Y通道图像和UV通道图像；
通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
本公开的实施例提供的技术方案可以包括以下有益效果：通过预设全卷积网，将Y通道图像的像素增加h2倍，这样，特征增多，Y通道图像的分辨率就会提高，因此，相较于图像，提高了新图像的分辨率。
在一个实施例中，所述根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像包括：
通过预设插值方法，根据所述UV通道图像，得到放大所述h倍的新UV通道图像；
根据所述新Y通道图像和所述新UV通道图像，生成所述新图像。
本公开的实施例提供的技术方案可以包括以下有益效果：实现如何生成新图像。
在一个实施例中，所述通过预设全卷积网包括n层卷积层，所述n为大于1的正整数，所述通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到所述h倍的新Y通道图像包括：
根据所述n层中前n-1层卷积层，将所述Y通道图像缩小m倍；所述m为大于1的数；
根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图。
本公开的实施例提供的技术方案可以包括以下有益效果：通过缩小Y通道图像增加图像通道数，从而可以增加更多的像素来放大Y通道图像，达到了增大图像的效果。
在一个实施例中，所述n为4时，所述根据所述n层中前n-1层卷积层中的卷积核，将所述Y通道图像缩小m倍包括：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；
根据所述第二层卷积层的卷积核和长度为m的步长，对所述Y通道图像的特征进行降采样和增强，得到所述Y通道图像的新特征；
根据所述第三层卷积层的卷积核和长度为1的步长，对所述Y通道图像的新特征进行映射，得到所述缩小后的Y通道图像的新特征。
本公开的实施例提供的技术方案可以包括以下有益效果：实现如何缩小Y通道图像，从而增多图像通道。
在一个实施例中，所述根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图包括：
根据所述第四层反卷积的卷积核和长度为所述mh的步长，对所述缩小后的Y通道图像的新特征进行升采样，得到所述新Y通道图像的特征。
本公开的实施例提供的技术方案可以包括以下有益效果：实现如何进行图像放大。
在一个实施例中，所述方法还包括：
获取预设Y通道图像和预设高分辨率图像，所述预设高分辨率图像的尺寸是所述预设Y通道图像的尺寸的h倍；所述预设高分辨率图像的像素个数是所述预设Y通道输入图像的像素个数的h2倍；
根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
本公开的实施例提供的技术方案可以包括以下有益效果：根据预设图像设置预设全卷积网，从而保证重建图像的分辨率准确提高。
在一个实施例中，所述根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网包括：
获取全卷机网；
通过所述全卷积网，对所述预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；
获取所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征；
根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率；
当所述误差率小于或等于所述预设值时，将所述全卷积网作为所述预设全卷机网；
当所述误差率大于所述预设值时，根据所述误差率更新所述全卷机网。
本公开的实施例提供的技术方案可以包括以下有益效果：实现如何生成预设全卷积网，使得新图像的分辨率更高。
在一个实施例中，当所述特征为像素和语义特征时，所述根据所述多个Y通道输出图像的特征和所述预设高分辨率图像的特征，确定多个误差率包括：
根据误差公式，确定所述误差率；所述误差公式为：
其中，所述L是所述误差率，所述L1是像素误差，所述L2是特征重建误差；所述是所述Y通道输出图像的第i个像素；所述qj是所述预设高分辨率图像的第i个特征，所述M是所述Y通道输出图像的像素个数；所述是所述Y通道输出图像的第i维语义特征；所述rk是所述预设高分辨率图像的第i维语义特征，所述N是所述Y通道输出图像的语义特征维数。
本公开的实施例提供的技术方案可以包括以下有益效果：通过语义特征和像素两方面，确定最优误差率，从而选择误差最小的卷积网作为预设卷积网，进一步的提高新图像的分辨率。
根据本公开实施例的第二方面，提供一种图像重建装置，包括：
第一获取模块，用于获取图像中Y通道图像和UV通道图像；
第一重建模块，用于通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
生成模块，用于根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
在一个实施例中，所述生成模块包括：
放大子模块，用于通过预设插值装置，根据所述UV通道图像，得到放大所述h倍的新UV通道图像；
生成子模块，用于根据所述新Y通道图像和所述新UV通道图像，生成所述新图像。
在一个实施例中，所述第一重建模块包括：
缩小子模块，用于根据所述n层中前n-1层卷积层，将所述Y通道图像缩小m倍；所述m为大于1的数；
放大子模块，用于根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图。
在一个实施例中，所述n为4时，所述缩小子模块用于：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；
根据所述第二层卷积层的卷积核和长度为m的步长，对所述Y通道图像的特征进行降采样和增强，得到所述Y通道图像的新特征；
根据所述第三层卷积层的卷积核和长度为1的步长，对所述Y通道图像的新特征进行映射，得到所述缩小后的Y通道图像的新特征。
在一个实施例中，所述放大子模块用于：
根据所述第四层反卷积的卷积核和长度为所述mh的步长，对所述缩小后的Y通道图像的新特征进行升采样，得到所述新Y通道图像的特征。
在一个实施例中，所述装置还包括：
第二获取模块，用于获取预设Y通道图像和预设高分辨率图像，所述预设高分辨率图像的尺寸是所述预设Y通道图像的尺寸的h倍；所述预设高分辨率图像的像素个数是所述预设Y通道输入图像的像素个数的h2倍；
第二重建模块，用于根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
在一个实施例中，所述第二重建模块包括：
第一获取子模块，用于获取全卷机网；
重建子模块，用于通过所述全卷积网，对所述预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；
第二获取子模块，用于获取所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征；
确定子模块，用于根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率；
处理子模块，用于当所述误差率小于或等于所述预设值时，将所述全卷积网作为所述预设全卷机网；
更新子模块，用于当所述误差率大于所述预设值时，根据所述误差率更新所述全卷机网。
在一个实施例中，当所述特征为像素和语义特征时，所述确定模块子模块用于：
根据误差公式，确定所述误差率；所述误差公式为：
其中，所述L是所述误差率，所述L1是像素误差，所述L2是特征重建误差；所述是所述Y通道输出图像的第i个像素；所述qj是所述预设高分辨率图像的第i个特征，所述M是所述Y通道输出图像的像素个数；所述是所述Y通道输出图像的第i维语义特征；所述rk是所述预设高分辨率图像的第i维语义特征，所述N是所述Y通道输出图像的语义特征维数。
根据本公开实施例的第三方面，提供一种图像重建装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取图像中Y通道图像和UV通道图像；
通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的图像重建方法的流程图。
图2是根据一示例性实施例示出的图像重建方法的流程图。
图3是根据一示例性实施例示出的图像。
图4是根据一示例性实施例示出的通过本申请方法生成的新图像。
图5是根据一示例性实施例示出的通过目前方法生成的新图像。
图6是根据一示例性实施例示出的图像重建方法的流程图。
图7是根据一示例性实施例示出的图像重建装置的示意图。
图8是根据一示例性实施例示出的图像重建装置的示意图。
图9是根据一示例性实施例示出的图像重建装置的示意图。
图10是根据一示例性实施例示出的图像重建装置的示意图。
图11是根据一示例性实施例示出的图像重建装置的示意图。
图12是根据一示例性实施例示出的图像重建装置的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，超分辨率重建有两种形式：一种是通过多张低分辨率的图像来重建一张高分辨率的图像。另一种是通过一张低分辨率的图像来重建一张高分辨率的图像，也称为单张图像超分辨率。
本申请是针对第二种形式进行改进，也就是单张图像超分辨率的方法。目前方法一般是基于稀疏编码的方法，该类方法先用低分辨率的字典对图像块进行稀疏编码，然后通过低分辨率字典和高分辨率字典的对应关系来对图像进行重建。由于其整套流程分为了几个步骤，且每个步骤都是单独优化，所以有累计误差的存在，也受字典质量的影响，从而得到图像的分辨率效果较差。
本实施例需要解决的问题是：解决目前步骤之间的累积误差，提高图像的分辨率。
实施例一
图1是根据一示例性实施例示出的一种图像重建方法的流程图，如图1所示，图像重建方法用于图像重建装置中，包括以下步骤101-103：
在步骤101中，获取图像中Y通道图像和UV通道图像。
YUV主要用于优化彩色视频信号的传输，使其向后相容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只需占用极少的频宽(RGB要求三个独立的视频信号同时传输)。其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有亮度信号Y而没有色度信号U、V，那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。
因此，本实施例中将色度信号Y对应的黑白灰度图像称为Y通道图像，将色度信号U、V对应的彩色信息称为UV通道图像。
值得说明的是，如果本实施例获取到图像需要从RGB色彩空间转到YUV色彩空间。
在步骤102中，通过预设全卷积网，对Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像。
其中，新Y通道图像的像素个数是Y通道图像的像素个数的h2倍，h是大于1的数。这里的特征可以是像素。这里像素越多，图像的分辨率越高。
本实施例中，预设全卷积网是由多层卷积层和一层反卷积层组成。卷积层可以缩小Y通道图像，反卷积层可以放大Y通道图像。本实施例中预设全卷积网最后一层是反卷积层，也就是说，只有在缩小Y通道图像之后才能放大Y通道图像。
在步骤103中，根据新Y通道图像和UV通道图像，生成放大h倍的新图像。
假设图像的尺寸为a×b，高分辨率重建对图像放大的倍数为s，则重建后的新图像的尺寸为ha×hb。
本实施例中，通过预设全卷积网，将Y通道图像的像素增加h2倍，这样，特征增多，Y通道图像的分辨率就会提高，因此，相较于图像，提高了新图像的分辨率。
在一个实施例中，步骤103包括：
通过预设插值方法，根据UV通道图像，得到放大h倍的新UV通道图像；根据新Y通道图像和新UV通道图像，生成新图像。
本实施例中，预设插值方法可以是双三次插值方法。值得说明的是，UV通道图像同样可以使用本实施例提供的预设全卷积网的方法，但预设全卷积网中的参数会发生变化。
在一个实施例中，步骤102包括：
根据n层中前n-1层卷积层，将Y通道图像缩小m倍；所述m为大于1的数；根据n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到新Y通道图。
本实施例中，将Y通道图像缩小，增加图像通道数，此时，图像通道数的个数可能从个位提升到百位，再放大缩小后的Y通道图像，进一步对Y通道图像按照一定算法进行修补，从而增多了图像的特征，例如增多了图像的像素等，从而使得图像更加清晰。
在一个实施例中，所述n为4时，所述根据所述n层中前n-1层卷积层中的卷积核，将所述Y通道图像缩小m倍包括：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；根据第二层卷积层的卷积核和长度为m的步长，对Y通道图像的特征进行降采样和增强，得到Y通道图像的新特征；根据第三层卷积层的卷积核和长度为1的步长，对Y通道图像的新特征进行映射，得到缩小后的Y通道图像的新特征。
这里，第一层卷积层、第二层卷积层和第四层反卷积层的卷积核采用3×3的矩阵，第三层卷积层的卷积层采用1×1的矩阵。
本实施例仅仅是示例性说明，我们可以知道步长大于1，那么图像就会缩小，提取的特征就会减少，因此，上述步骤仅仅进行了一次缩小，若进行多次缩小同样在本实施例中的保护范围内。
在一个实施例中，所述根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到新Y通道图包括：
根据第四层反卷积的卷积核和长度为mh的步长，对缩小后的Y通道图像的新特征进行升采样，得到新Y通道图像的特征。
本实施例中，Y通道图像缩小了多少倍，新Y通道图像就要在多少倍的基础上再放大。这里，新Y通道图像的像素个数是Y通道图像的像素个数的h2倍。
在一个实施例中，所述方法还包括：
获取预设Y通道图像和预设高分辨率图像，预设高分辨率图像的尺寸是预设Y通道图像的尺寸的h倍；预设高分辨率图像的像素个数是预设Y通道输入图像的像素个数的h2倍；根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
在一个实施例中，所述根据预设Y通道图像和预设高分辨率图像，构建预设全卷机网包括：
获取全卷机网；通过全卷积网，对预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；获取高分辨率Y通道图像的特征和预设高分辨率图像的特征；根据高分辨率Y通道图像的特征和预设高分辨率图像的特征，确定误差率；当误差率小于或等于所述预设值时，将全卷积网作为预设全卷机网；当误差率大于所述预设值时，根据误差率更新全卷机网。
这里，初始化时，全卷机网是随机生成的；全卷机网里的各个元素是按照随机梯度下降方法来更新的。
在一个实施例中，当特征为像素或语义特征时，所述根据多个Y通道输出图像的特征和预设高分辨率图像的特征，确定多个误差率包括：
根据第一误差公式，确定所述误差率；所述第一误差公式为：
其中，L1是误差率，是Y通道输出图像的第i个特征；pi是预设高分辨率图像的第i个特征，W是Y通道输出图像的特征个数。
在一个实施例中，当特征为像素和语义特征时，所述根据多个Y通道输出图像的特征和预设高分辨率图像的特征，确定多个误差率包括：
根据误差公式，确定误差率；所述误差公式为：
其中，所述L是误差率，所述L1是像素误差，所述L2是特征重建误差；所述是Y通道输出图像的第i个像素；所述qj是预设高分辨率图像的第i个特征，所述M是Y通道输出图像的像素个数；所述是Y通道输出图像的第i维语义特征；所述rk是预设高分辨率图像的第i维语义特征，所述N是Y通道输出图像的语义特征维数。
本实施例中增加特征重建误差是为了保证输出图像的语义特征和目标图像的语义特征尽量的保持一致。这里对Y通道输出图像和预设高分辨率图像提取语义特征是采用了另外一个CNN网络，该CNN网络是一个预先用ImageNet(图像识别数据库)数据集训练好的网络，这里只用来提取语义特征，不对其进行改变，相当于一个特征提取器。
本实施例中，如果还有其他特征可以作为确定误差的方法，同样适用于第一误差公式和误差公式。
实施例二
图2是根据一示例性实施例示出的一种图像重建方法的流程图，如图2所示，图像重建方法用于图像重建装置中，该装置应用于终端设备，该方法包括以下步骤201-206：
在步骤201中，将图像从RGB色彩空间转化到YUV色彩空间。
在步骤202中，获取图像在YUV色彩空间中Y通道图像和UV通道图像。
在步骤203中，根据预设全卷积网中前n-1层卷积层，将Y通道图像缩小m倍。
这里，m为大于1的数，n是大于1的整数。
在步骤204中，根据第n层卷积层，将缩小后的Y通道图像放大mh倍，得到新Y通道图。
在步骤205中，通过预设插值方法，根据UV通道图像，得到放大h倍的新UV通道图像。
在步骤206中，根据新Y通道图像和新UV通道图像，生成新图像。
图3为本实施例提供的图像，将该图像通过本实施例提供的方法，得到的新图像为图4所示。图5为通过目前方法得到的新图像。
实施例三
图6是根据一示例性实施例示出的一种图像重建方法的流程图，如图5所示，图像重建方法用于图像重建装置中，该装置应用于终端设备，该方法包括以下步骤301-307：
在步骤301中，获取预设Y通道图像和预设高分辨率图像。
这里，预设高分辨率图像的尺寸是Y通道输入图像的h倍。
在步骤302中，获取全卷机网。
初始情况下，全卷机网是随机设置的。
在步骤303中，通过全卷积网，对预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像。
在步骤304中，获取高分辨率Y通道图像的特征和预设高分辨率图像的特征。
在步骤305中，根据高分辨率Y通道图像的特征和预设高分辨率图像的特征，确定误差率。
在步骤306中，当误差率小于或等于预设值时，将全卷积网作为预设全卷机网。
在步骤307中，当误差率大于预设值时，根据误差率更新全卷机网。执行步骤302。
本实施例介绍了如何构建预设全卷机网，从而保证在之后的图像重建时，可以构建出分辨率更好，更准确的图像。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图7是根据一示例性实施例示出的一种图像重建装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图8所示，该图像重建装置包括：
第一获取模块401，用于获取图像中Y通道图像和UV通道图像；
第一重建模块402，用于通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
生成模块403，用于根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
在一个实施例中，如图8所示，所述生成模块403包括：
放大子模块4031，用于通过预设插值装置，根据所述UV通道图像，得到放大所述h倍的新UV通道图像；
生成子模块4032，用于根据所述新Y通道图像和所述新UV通道图像，生成所述新图像。
在一个实施例中，如图9所示，所述第一重建模块402包括：
缩小子模块4021，用于根据所述n层中前n-1层卷积层，将所述Y通道图像缩小m倍；所述m为大于1的数；
放大子模块4022，用于根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图。
在一个实施例中，所述n为4时，所述缩小子模块4021用于：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；
根据所述第二层卷积层的卷积核和长度为m的步长，对所述Y通道图像的特征进行降采样和增强，得到所述Y通道图像的新特征；
根据所述第三层卷积层的卷积核和长度为1的步长，对所述Y通道图像的新特征进行映射，得到所述缩小后的Y通道图像的新特征。
在一个实施例中，所述放大子模块4022用于：
根据所述第四层反卷积的卷积核和长度为所述mh的步长，对所述缩小后的Y通道图像的新特征进行升采样，得到所述新Y通道图像的特征。
在一个实施例中，如图10所示，所述装置还包括：
第二获取模块404，用于获取预设Y通道图像和预设高分辨率图像，所述预设高分辨率图像的尺寸是所述预设Y通道图像的尺寸的h倍；所述预设高分辨率图像的像素个数是所述预设Y通道输入图像的像素个数的h2倍；
第二重建模块405，用于根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
在一个实施例中，如图11所示，第二重建模块405包括：
第一获取子模块4051，用于获取全卷机网；
重建子模块4052，用于通过所述全卷积网，对所述预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；
第二获取子模块4053，用于获取所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征；
确定子模块4054，用于根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率；
处理子模块4055，用于当所述误差率小于或等于所述预设值时，将所述全卷积网作为所述预设全卷机网；
更新子模块4056，用于当所述误差率大于所述预设值时，根据所述误差率更新所述全卷机网。
在一个实施例中，当所述特征为像素和语义特征时，所述确定子模块用于：
根据误差公式，确定所述误差率；所述误差公式为：
其中，所述L是所述误差率，所述L1是像素误差，所述L2是特征重建误差；所述是所述Y通道输出图像的第i个像素；所述qj是所述预设高分辨率图像的第i个特征，所述M是所述Y通道输出图像的像素个数；所述是所述Y通道输出图像的第i维语义特征；所述rk是所述预设高分辨率图像的第i维语义特征，所述N是所述Y通道输出图像的语义特征维数。
根据本公开实施例的第三方面，提供一种图像重建装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
获取图像中Y通道图像和UV通道图像；
通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
上述处理器还可被配置为：
所述根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像包括：
通过预设插值方法，根据所述UV通道图像，得到放大所述h倍的新UV通道图像；
根据所述新Y通道图像和所述新UV通道图像，生成所述新图像。
所述通过预设全卷积网包括n层卷积层，所述n为大于1的正整数，所述通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到所述h倍的新Y通道图像包括：
根据所述n层中前n-1层卷积层，将所述Y通道图像缩小m倍；所述m为大于1的数；
根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图。
所述n为4时，所述根据所述n层中前n-1层卷积层中的卷积核，将所述Y通道图像缩小m倍包括：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；
根据所述第二层卷积层的卷积核和长度为m的步长，对所述Y通道图像的特征进行降采样和增强，得到所述Y通道图像的新特征；
根据所述第三层卷积层的卷积核和长度为1的步长，对所述Y通道图像的新特征进行映射，得到所述缩小后的Y通道图像的新特征。
所述根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图包括：
根据所述第四层反卷积的卷积核和长度为所述mh的步长，对所述缩小后的Y通道图像的新特征进行升采样，得到所述新Y通道图像的特征。
获取预设Y通道图像和预设高分辨率图像，所述预设高分辨率图像的尺寸是所述预设Y通道图像的尺寸的h倍；所述预设高分辨率图像的像素个数是所述预设Y通道输入图像的像素个数的h2倍；
根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
所述根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网包括：
获取全卷机网；
通过所述全卷积网，对所述预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；
获取所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征；
根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率；
当所述误差率小于或等于所述预设值时，将所述全卷积网作为所述预设全卷机网；
当所述误差率大于所述预设值时，根据所述误差率更新所述全卷机网。
当所述特征为像素和语义特征时，所述根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率包括：
根据误差公式，确定所述误差率；所述误差公式为：
其中，所述L是所述误差率，所述L1是像素误差，所述L2是特征重建误差；所述是所述Y通道输出图像的第i个像素；所述qj是所述预设高分辨率图像的第i个特征，所述M是所述Y通道输出图像的像素个数；所述是所述Y通道输出图像的第i维语义特征；所述rk是所述预设高分辨率图像的第i维语义特征，所述N是所述Y通道输出图像的语义特征维数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图12根据一示例性实施例示出的一种用于图像重建装置的框图。例如，装置1900可以被提供为一服务器。装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置1900的处理器执行时，使得装置1900能够执行上述图像重建方法，所述方法包括：
获取图像中Y通道图像和UV通道图像；
通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
所述根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像包括：
通过预设插值方法，根据所述UV通道图像，得到放大所述h倍的新UV通道图像；
根据所述新Y通道图像和所述新UV通道图像，生成所述新图像。
所述通过预设全卷积网包括n层卷积层，所述n为大于1的正整数，所述通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到所述h倍的新Y通道图像包括：
根据所述n层中前n-1层卷积层，将所述Y通道图像缩小m倍；所述m为大于1的数；
根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图。
所述n为4时，所述根据所述n层中前n-1层卷积层中的卷积核，将所述Y通道图像缩小m倍包括：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；
根据所述第二层卷积层的卷积核和长度为m的步长，对所述Y通道图像的特征进行降采样和增强，得到所述Y通道图像的新特征；
根据所述第三层卷积层的卷积核和长度为1的步长，对所述Y通道图像的新特征进行映射，得到所述缩小后的Y通道图像的新特征。
所述根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图包括：
根据所述第四层反卷积的卷积核和长度为所述mh的步长，对所述缩小后的Y通道图像的新特征进行升采样，得到所述新Y通道图像的特征。
获取预设Y通道图像和预设高分辨率图像，所述预设高分辨率图像的尺寸是所述预设Y通道图像的尺寸的h倍；所述预设高分辨率图像的像素个数是所述预设Y通道输入图像的像素个数的h2倍；
根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
所述根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网包括：
获取全卷机网；
通过所述全卷积网，对所述预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；
获取所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征；
根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率；
当所述误差率小于或等于所述预设值时，将所述全卷积网作为所述预设全卷机网；
当所述误差率大于所述预设值时，根据所述误差率更新所述全卷机网。
当所述特征为像素和语义特征时，所述根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率包括：
根据误差公式，确定所述误差率；所述误差公式为：
其中，所述L是所述误差率，所述L1是像素误差，所述L2是特征重建误差；所述是所述Y通道输出图像的第i个像素；所述qj是所述预设高分辨率图像的第i个特征，所述M是所述Y通道输出图像的像素个数；所述是所述Y通道输出图像的第i维语义特征；所述rk是所述预设高分辨率图像的第i维语义特征，所述N是所述Y通道输出图像的语义特征维数。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (18)
1.一种图像重建方法，其特征在于，包括：
获取图像中Y通道图像和UV通道图像；
通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像包括：
通过预设插值方法，根据所述UV通道图像，得到放大所述h倍的新UV通道图像；
根据所述新Y通道图像和所述新UV通道图像，生成所述新图像。
3.根据权利要求1所述的方法，其特征在于，所述通过预设全卷积网包括n层卷积层，所述n为大于1的正整数，所述通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到所述h倍的新Y通道图像包括：
根据所述n层中前n-1层卷积层，将所述Y通道图像缩小m倍；所述m为大于1的数；
根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图。
4.根据权利要求3所述的方法，其特征在于，所述n为4时，所述根据所述n层中前n-1层卷积层中的卷积核，将所述Y通道图像缩小m倍包括：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；
根据所述第二层卷积层的卷积核和长度为m的步长，对所述Y通道图像的特征进行降采样和增强，得到所述Y通道图像的新特征；
根据所述第三层卷积层的卷积核和长度为1的步长，对所述Y通道图像的新特征进行映射，得到所述缩小后的Y通道图像的新特征。
5.根据权利要求4所述的方法，其特征在于，所述根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图包括：
根据所述第四层反卷积的卷积核和长度为所述mh的步长，对所述缩小后的Y通道图像的新特征进行升采样，得到所述新Y通道图像的特征。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取预设Y通道图像和预设高分辨率图像，所述预设高分辨率图像的尺寸是所述预设Y通道图像的尺寸的h倍；所述预设高分辨率图像的像素个数是所述预设Y通道输入图像的像素个数的h2倍；
根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
7.根据权利要求6所述的方法，其特征在于，所述根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网包括：
获取全卷机网；
通过所述全卷积网，对所述预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；
获取所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征；
根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率；
当所述误差率小于或等于所述预设值时，将所述全卷积网作为所述预设全卷机网；
当所述误差率大于所述预设值时，根据所述误差率更新所述全卷机网。
8.根据权利要求6所述的方法，其特征在于，当所述特征为像素和语义特征时，所述根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率包括：
根据误差公式，确定所述误差率；所述误差公式为：
其中，所述L是所述误差率，所述L1是像素误差，所述L2是特征重建误差；所述是所述Y通道输出图像的第i个像素；所述qj是所述预设高分辨率图像的第i个特征，所述M是所述Y通道输出图像的像素个数；所述是所述Y通道输出图像的第i维语义特征；所述rk是所述预设高分辨率图像的第i维语义特征，所述N是所述Y通道输出图像的语义特征维数。
9.一种图像重建装置，其特征在于，包括：
第一获取模块，用于获取图像中Y通道图像和UV通道图像；
第一重建模块，用于通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
生成模块，用于根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
10.根据权利要求9所述的装置，其特征在于，所述生成模块包括：
放大子模块，用于通过预设插值装置，根据所述UV通道图像，得到放大所述h倍的新UV通道图像；
生成子模块，用于根据所述新Y通道图像和所述新UV通道图像，生成所述新图像。
11.根据权利要求9所述的装置，其特征在于，所述第一重建模块包括：
缩小子模块，用于根据所述n层中前n-1层卷积层，将所述Y通道图像缩小m倍；所述m为大于1的数；
放大子模块，用于根据所述n层中第n层卷积层，将缩小后的Y通道图像放大mh倍，得到所述新Y通道图。
12.根据权利要求11所述的装置，其特征在于，所述n为4时，所述缩小子模块用于：
根据所述第一层卷积层的卷积核和长度为1的步长，提取所述Y通道图像的特征；
根据所述第二层卷积层的卷积核和长度为m的步长，对所述Y通道图像的特征进行降采样和增强，得到所述Y通道图像的新特征；
根据所述第三层卷积层的卷积核和长度为1的步长，对所述Y通道图像的新特征进行映射，得到所述缩小后的Y通道图像的新特征。
13.根据权利要求12所述的装置，其特征在于，所述放大子模块用于：
根据所述第四层反卷积的卷积核和长度为所述mh的步长，对所述缩小后的Y通道图像的新特征进行升采样，得到所述新Y通道图像的特征。
14.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取预设Y通道图像和预设高分辨率图像，所述预设高分辨率图像的尺寸是所述预设Y通道图像的尺寸的h倍；所述预设高分辨率图像的像素个数是所述预设Y通道输入图像的像素个数的h2倍；
第二重建模块，用于根据所述预设Y通道图像和所述预设高分辨率图像，构建所述预设全卷机网。
15.根据权利要求14所述的装置，其特征在于，所述第二重建模块包括：
第一获取子模块，用于获取全卷机网；
重建子模块，用于通过所述全卷积网，对所述预设Y通道图像进行高分辨率重建，得到放大h倍的高分辨率Y通道图像；
第二获取子模块，用于获取所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征；
确定子模块，用于根据所述高分辨率Y通道图像的特征和所述预设高分辨率图像的特征，确定误差率；
处理子模块，用于当所述误差率小于或等于所述预设值时，将所述全卷积网作为所述预设全卷机网；
更新子模块，用于当所述误差率大于所述预设值时，根据所述误差率更新所述全卷机网。
16.根据权利要求14所述的装置，其特征在于，当所述特征为像素和语义特征时，所述确定子模块用于：
根据误差公式，确定所述误差率；所述误差公式为：
其中，所述L是所述误差率，所述L1是像素误差，所述L2是特征重建误差；所述是所述Y通道输出图像的第i个像素；所述qj是所述预设高分辨率图像的第i个特征，所述M是所述Y通道输出图像的像素个数；所述是所述Y通道输出图像的第i维语义特征；所述rk是所述预设高分辨率图像的第i维语义特征，所述N是所述Y通道输出图像的语义特征维数。
17.一种图像重建装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取图像中Y通道图像和UV通道图像；
通过预设全卷积网，对所述Y通道图像进行高分辨率重建，得到放大h倍的新Y通道图像；其中，所述新Y通道图像的像素个数是所述Y通道图像的像素个数的h2倍，所述h是大于1的数；
根据所述新Y通道图像和所述UV通道图像，生成放大所述h倍的新图像。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710339903.6A CN107220934B (zh) | 2017-05-15 | 2017-05-15 | 图像重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710339903.6A CN107220934B (zh) | 2017-05-15 | 2017-05-15 | 图像重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107220934A true CN107220934A (zh) | 2017-09-29 |
| CN107220934B CN107220934B (zh) | 2021-03-30 |
Family
ID=59943945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710339903.6A Active CN107220934B (zh) | 2017-05-15 | 2017-05-15 | 图像重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107220934B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108305214A (zh) * | 2017-12-28 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、存储介质和计算机设备 |
| CN110827200A (zh) * | 2019-11-04 | 2020-02-21 | Oppo广东移动通信有限公司 | 一种图像超分重建方法、图像超分重建装置及移动终端 |
| CN111508038A (zh) * | 2020-04-17 | 2020-08-07 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103002291A (zh) * | 2012-12-06 | 2013-03-27 | 杭州藏愚科技有限公司 | 一种摄像机宽动态图像增强方法及装置 |
| CN105427253A (zh) * | 2015-11-06 | 2016-03-23 | 北京航空航天大学 | 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
| US20170127068A1 (en) * | 2015-11-04 | 2017-05-04 | Nvidia Corporation | Techniques for nonlinear chrominance upsampling |
-
2017
- 2017-05-15 CN CN201710339903.6A patent/CN107220934B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103002291A (zh) * | 2012-12-06 | 2013-03-27 | 杭州藏愚科技有限公司 | 一种摄像机宽动态图像增强方法及装置 |
| US20170127068A1 (en) * | 2015-11-04 | 2017-05-04 | Nvidia Corporation | Techniques for nonlinear chrominance upsampling |
| CN105427253A (zh) * | 2015-11-06 | 2016-03-23 | 北京航空航天大学 | 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 |
| CN105976318A (zh) * | 2016-04-28 | 2016-09-28 | 北京工业大学 | 一种图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHAO DONG等: "Image Super-Resolution Using Deep Convolutional Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| HAN YU等: "Super-resolution via a fast deconvolution with kernel estimation", 《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》 * |
| 肖进胜等: "改进的基于卷积神经网络的图像超分辨率算法", 《光学学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305214A (zh) * | 2017-12-28 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、存储介质和计算机设备 |
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108259997B (zh) * | 2018-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| WO2019192316A1 (zh) * | 2018-04-02 | 2019-10-10 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、设备、存储介质 |
| US11836891B2 (en) | 2018-04-02 | 2023-12-05 | Tencent Technology (Shenzhen) Company Ltd | Image related processing method and apparatus, device and storage medium |
| CN110827200A (zh) * | 2019-11-04 | 2020-02-21 | Oppo广东移动通信有限公司 | 一种图像超分重建方法、图像超分重建装置及移动终端 |
| WO2021088473A1 (en) * | 2019-11-04 | 2021-05-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium |
| US11151690B2 (en) * | 2019-11-04 | 2021-10-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium |
| CN110827200B (zh) * | 2019-11-04 | 2023-04-07 | Oppo广东移动通信有限公司 | 一种图像超分重建方法、图像超分重建装置及移动终端 |
| CN111508038A (zh) * | 2020-04-17 | 2020-08-07 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11930307B2 (en) | 2020-04-17 | 2024-03-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Image processing method and apparatus, electronic device and computer-readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107220934B (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610082B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
| US11537873B2 (en) | Processing method and system for convolutional neural network, and storage medium | |
| CN100469151C (zh) | 用于增强图像的局部亮度的方法和装置 | |
| CN119027323A (zh) | 图像处理方法、设备以及介质 | |
| CN112771578B (zh) | 使用细分缩放和深度上缩放的图像生成 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN107220934A (zh) | 图像重建方法及装置 | |
| WO2020231016A1 (en) | Image optimization method, apparatus, device and storage medium | |
| WO2019056549A1 (zh) | 图像增强方法以及图像处理装置 | |
| CN111612722A (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
| Chen et al. | Naturalization module in neural networks for screen content image quality assessment | |
| CN112801904A (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| JP7463186B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2019139713A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記憶媒体 | |
| CN115209119A (zh) | 一种基于深度神经网络的视频自动着色方法 | |
| CN115147274A (zh) | 获取图像超分辨率方法、获取系统设备以及存储介质 | |
| CN110458851A (zh) | 红外图像处理方法、装置、计算机设备和存储介质 | |
| CN112954355B (zh) | 图像帧的处理方法及装置 | |
| US10026013B2 (en) | Clustering method with a two-stage local binary pattern and an iterative image testing system thereof | |
| KR102667039B1 (ko) | 영상 처리 장치 및 그 동작방법 | |
| CN114390266B (zh) | 一种图像白平衡处理方法、设备及计算机可读存储介质 | |
| CN111242087B (zh) | 物体识别方法及装置 | |
| Nguyen et al. | Human visual system model-based optimized tone mapping of high dynamic range images | |
| CN115115527A (zh) | 图像处理方法及装置 | |
| CN114970801A (zh) | 一种视频的超分辨率方法、装置、终端设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |