CN104244006A - 一种基于图像超分辨率的视频编解码方法及装置 - Google Patents

Abstract

本申请提供的基于图像超分辨率的视频编解码方法及装置，本申请方法在对待编码和待编码的视频图像进行预测前，先对待编码/待解码视频图像进行超分辨率插值处理，可以对待编码/待解码图像进行放大及进行细节信息恢复，从而，在对待编码/待解码图像进行预测得到预测块时，相比现有技术利用线性插值对视频图像进行预测的方法，更能有效还原原图像，避免出现现有技术中预测块边缘模糊的问题，从而提升视频图像预测的准确性，进而提升视频图像的编码效率。

Description

一种基于图像超分辨率的视频编解码方法及装置

技术领域

本发明涉及图像超分辨率技术领域，具体涉及一种基于图像超分辨率的视频编解码方法及装置。

 

背景技术

传统的编码方法是利用待编码图像与视频自身的信息冗余对视频图像进行压缩处理的，随着编码技术的不断进步，视频编码的冗余度不断降低，待编码图像与视频自身的时空域相关性被充分利用。借助待编码图像与视频以外的信息，对待编码图像和视频信息进行预测，从而降低待编码图像与视频本身的信息量，是大幅度提高图像与视频压缩效率的新方向。

现有技术中，为了提高视频图像帧间预测效率，分像素运动补偿技术普遍被采用。为了获得分像素信息，目前普遍采用线性插值的方法。线性插值方法的优点是简单，但缺点是难以恢复高分辨率图像的高频细节信息，同时对于边缘部分造成模糊，从而制约了分像素运动补偿的效率。

 

发明内容

本发明实施例提供的基于图像超分辨率的视频编码方法，包括：利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；对所述待编码图像的各个图像块在所述参考图像上进行运动估计和运动补偿，得到与所述待编码视频图像的各个图像块对应的预测块；将所述待编码视频图像的图像块与对应的所述预测块相减，得到预测残差块；对所述预测残差块进行编码处理。

本发明实施例提供的基于图像超分辨率的视频解码方法，包括：对获取的图像编码流信号进行解码得到预测残差块；利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基为：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；对所述待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述各个图像块对应的预测块； 将所述预测块与所述预测残差块相加得到解码后的视频图像。

本发明实施例提供的基于图像超分辨率的视频编码装置，包括：超分辨率插值处理单元，用于利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；预测单元，用于对所述待编码图像上的各个图像块在参考图像上进行运动估计和运动补偿，得到与所述待编码视频图像的各个图像块对应的预测块；减法计算单元，用于将所述待编码视频图像的各图像块与所述运动估计单元估计得到的对应的预测块相减，得到预测残差块；编码单元，用于对所述减法计算单元计算得到的所述预测残差块进行编码处理。

本发明实施例提供的基于图像超分辨率的视频解码装置，包括：解码单元，用于对获取的图像编码流信号进行解码得到预测残差块；超分辨率插值处理单元，用于利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；预测单元，用于对所述待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述各个图像块对应的预测块；加法计算单元，用于将所述运动补偿处理单元得到的所述预测块与所述解码单元获取得到的所述预测残差块相加得到解码后的视频图像。

从以上技术方案可以看出，本发明实施例具有以下优点：

本申请提供的基于图像超分辨率的视频编解码方法及装置，本申请方法在对待编码和待编码的视频图像进行预测前，先对待编码/待解码视频图像进行超分辨率插值处理，可以对待编码/待解码图像进行放大及进行细节信息恢复，从而，在对待编码/待解码图像进行预测得到预测块时，相比现有技术利用线性插值对视频图像进行预测的方法，更能有效还原原图像，避免出现现有技术中预测块边缘模糊的问题，从而提升视频图像预测的准确性，进而提升视频图像的编码效率。 

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1为实施例一的基于图像超分辨率的视频编码方法的流程图；

图2a-2c为本申请一种实施例中图像块局部纹理结构的特征提取示意图；

图3为实施例二的步骤101的一种实施方式的流程图；

图4为本实施例三的基于图像超分辨率的视频解码方法流程图；

图5为实施例三的的步骤202的一种实施方式的流程图；

图6为本申请实施例五的装置结构示意图；

图7为本申请实施例五超分辨率插值处理单元的结构示意图；

图8为本申请实施例六的装置结构示意图；

图9为本申请实施例六的超分辨率插值处理单元的结构示意图。

具体实施方式

本申请实施例中，提供了一种基于图像超分辨率的视频编解码方法及装置，可以恢复图像的高频信息，提高图像的质量，从而应用于对视频图像的时域预测，提升预测的准确性，进而提高编解码效率。 

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

请参考图1，图1为一种实施例中基于图像超分辨率的视频编码方法的流程图。如图1所示，本实施例提供一种基于图像超分辨率的视频编码方法，可以包括以下步骤：

101、利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理。

经过超分辨率插值处理后，得到参考图像。所述纹理字典库包括：一组或多组字典基，所述字典基为：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复。

102、待编码视频图像上的各个图像块在参考图像上进行运动估计和运动补偿，得到与各个图像块对应的的预测块。

其中，所述图像块可以按照预设的划分规则在视频图像上进行划分，例如：将2×2个像素划分为一个图像块。本申请对划分规则仅作举例不作具体限定。

本实施例步骤中，可以对待编码视频图像上划分好的各个图像块进行在参考图像中进行运动估计和运动补偿，计算各个图像块在参考帧中的位置偏移和对应像素值，从而得到经过运动估计后的与待编码视频图像的各个图像块对应的预测块。

103、将所述待编码视频图像的图像块与对应的预测块相减，得到预测残差块。 

104、对预测残差块进行编码处理。

本申请实施例一提供的基于图像超分辨率的视频编码方法，利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，可以对待编码图像进行放大及进行细节信息恢复，再对进行超分辨率插值处理后的参考图像块进行运动估计，得到对应的预测块，然后将预测块与待编码视频图像相减得到残差块，再对残差块进行编码。相比现有技术利用线性插值对视频图像进行预测的方法，本申请方法在对待编码的视频图像进行预测前，先对待编码视频图像进行超分辨率插值处理，可以对待编码图像进行放大及进行细节信息恢复，这样，在对待编码图像进行运动估计处理得到预测块时，避免出现现有技术中预测块边缘模糊的问题，从而提升预测的准确性，进而提高编码效率。

一个优选的实施例中，纹理字典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构（LBS，Local Binary Structure）和锐利边缘结构（SES，Sharp Edge Structure）。

本实施例中，纹理字典是预先训练得到的，纹理字典的预训练可以采取以下实施方式：

S1、从包含若干个训练图像的训练图像集中选取多个高分辨率局部图像块，其中，高分辨率局部图像块由其所在图像上的至少两个像素点组成。对训练图像进行降采样处理，获取与每个局部图像块一一对应的低分辨率局部图像块。

S2、提取高分辨率局部图像块的局部特征，得到高分辨率字典样本Dh(y)，以及，提取与每个所述局部图像块一一对应的低分辨率局部图像块的局部特征，得到低分辨率字典样本Dl(y)，将所述高分辨率字典样本与所述低分辨率字典样本相互映射组合得到一组字典基样本，所述局部特征包括LBS和SES。 

S3、对所述多组字典基样本进行训练，得到纹理字典库。

下面对本申请实施例一中利用预训练的纹理字典库对视频图像进行超分辨率插值处理的过程及原理进行举例说明。

如图2a、2b和2c所示，A、B、C、D是局部相邻的四个像素点，图中，像素点的高度反应了像素点的灰度值大小。如图2a所示，A、B、C、D四个像素点组成一块平坦局部区域，因此灰度值大小相等。如图2b所示，像素点A和B的灰度值比像素点C和D的灰度值高。本实施例定义LBS-Geometry（LBS_G）区分这种几何结构上的不同， LBS-Geometry（LBS_G）的计算方式如公式（1）：

    ……（1）

其中，g_p表示局部的第p个像素点的灰度值 ，g_mean是A、B、C、D四个像素点构成的局部的像素均值。本实施例中以4个像素点为例进行举例，在其它实施例中，像素点的数量可以为其它数值，例如N个，N 为正整数。

如图2b、2c所示的局部图像块，由于灰度差异程度不同，二者仍然属于不同的局部模式，因此本实施例定义LBS-Difference（LBS_D）来表示局部灰度差异程度，可以得到公式（2）：

      ……（2）

其中d_global是整幅图像上全部的局部灰度差异的均值。

结合LBS_G和LBS_D便组成了完整的局部二值结构描述，如公式（3）所示：

     ……（3）

同时，本实施例中定义锐利边缘结构SES：

                           …………（4）

其中，t为预先设置有灰度阈值，在具体实施例中，t设置为一相对较大的阈值，用于区分锐利边缘。

本实施例中，纹理字典的训练可以采用K均值聚类的方式，得到欠完备字典，或者，纹理字典的训练可以采用稀疏编码的方式，得到过完备字典。

使用K均值聚类的方式训练字典时，从特征样本中选取一定数量（例如十万个）的样本，使用K均值聚类算法聚类出若干个类别中心，用这些类别中心的集合作为纹理字典库。使用K均值聚类的方式训练字典可以建立维数低的欠完备字典库。

一个优选的实施例中，在对待解码视频图像进行超分辨率插值时，图像上未知的高分辨率局部图像块x可以表示为纹理字典库中的多个字典基的组合： 

X≈Dh(y)α      …………（5）

其中y是与高分辨率局部图像块x对应的低分辨率局部图像块，Dh(y)是与y有相同LBS和SES的字典基的高分辨率字典样本，α是表达系数。 

在使用过完备字典时，系数α满足稀疏性，使用低分辨率字典样本Dl(y)来计算稀疏表达系数α，然后将计算得到的表达系数α代入式（5）中来计算对应的高分辨率局部图像块x，因此最优α的获取可以转化为以下最优化问题：

      …………（6）

其中ε为趋于0的极小值，F是取特征描述子操作，在本实施例提供的字典D中，取的特征是局部灰度差异结合梯度值大小。由于α足够稀疏，因此使用L1范数来代替式（6）的L0范数，最优化问题变为：

      ………………（7）

其中，λ是一个调节稀疏性和相似性的系数，最优的稀疏表达系数α可以通过解上述Lasso问题获得，然后代入式（5）即可计算出y对应的高分辨率局部图像块x。

在使用欠完备字典时，α不满足足够稀疏性，使用k近邻算法找出最接近y的k个字典基Dl(y)，再用与Dl(y)对应的k个高分辨率字典Dh(y)的线性组合来重建x。

图像中每个失真的低分辨率局部块y都重建其清晰的高分辨率图像块x后，就得到了最终的清晰还原图像。

实施例二：

请参考图3，图3为实施例一中步骤101的一种实施方式的流程图。本实施例中，所述纹理字典中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构。

本实施例提供的基于图像超分辨率的视频编码方法的利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，具体可以包括以下步骤：

101a、提取待编码视频图像上各个图像块的局部特征。  

101b、将所述待编码视频图像中各个图像块的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取与匹对的字典基。 

101c、利用所述匹对的字典基对所述待编码视频图像上对应的图像块进行图像细节信息恢复及图像放大处理。

实施例三：

请参考图4，图4为一种实施例中基于图像超分辨率的视频解码方法流程图。如图4所示，本实施例提供的基于图像超分辨率的视频解码方法，可以包括以下步骤：

201、对获取的图像编码流信号进行解码得到预测残差块。

202、利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复。

203、对所述待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到预测块。 

204、将预测块与预测残差块相加得到解码后的视频图像。 

本申请实施例三提供的基于图像超分辨率的视频解码方法，对获取的图像编码流信号进行解码得到预测残差块，利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，超分辨率插值处理包括：进行图像放大及图像的细节信息恢复，对进行插值处理后的视频图像进行运动补偿处理，得到预测块，将预测块与预测残差块相加得到待解码视频图像。相比现有技术利用线性插值对视频图像进行预测的方法，本申请方法在对待解码的视频图像进行预测前，先对待解码视频图像进行超分辨率插值处理，可以对待解码图像进行放大及进行细节信息恢复，这样，在对待解码图像进行运动补偿处理得到预测块时，不会出现现有技术中预测块边缘模糊的问题，从而提升预测的准确性，进而提高解码效率。

实施例四：

请参考图5，图5为实施例三中步骤202的一种实施方式的流程图。本实施例中，所述纹理字典中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构。

利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理具体可以包括以下步骤： 

202a、提取待解码视频图像上各个图像块的局部特征。  

202b、将各个图像块的的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基。 

202c、利用匹对的字典基对待解码视频图像进行细节信息恢复及图像放大处理。   

实施例五：

请参考图6，本实施例相应提供了一种基于图像超分辨率的视频编码装置，可以包括：

超分辨率插值处理单元60，用于利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复。

预测单元61，用于对待编码图像上的各个图像块在经过超分辨率插值处理单元60进行超分辨率插值处理后的参考图像上进行运动估计和运动补偿，得到与待编码视频图像的各个图像块对应的预测块。

减法计算单元62，用于将所述待编码视频图像的各图像块与运动估计单元61估计得到的对应的预测块相减，得到预测残差块。

编码单元63，用于对减法计算单元62计算得到的预测残差块进行编码处理。 

一个优选的实施例中，请参阅图6，所述纹理字典中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构。

请参阅图7，图7为本申请实施例五超分辨率插值处理单元的结构示意图，如图7所示，超分辨率插值处理单元60具体可以包括：

提取模块601，用于提取待编码视频图像上各图像块的局部特征。  

匹对模块602，用于将提取模块601提取的所述待编码视频图像中各个图像块的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基。 

图像处理模块603，用于利用匹对模块602匹对出的所述匹对的字典基对所述待编码视频图像上对应的图像块进行图像细节信息恢复及图像放大处理。 

实施例六：

请参考图8，本实施例提供一种基于图像超分辨率的视频解码装置，可以包括：

解码单元70，用于对获取的图像编码流信号进行解码得到预测残差块。

超分辨率插值处理单元71，用于利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复。

预测单元72，用于对待解码视频图像上的各个图像块在经过超分辨率插值处理单元71进行插值处理后的参考图像图像上进行运动补偿，得到各个图像块对应的预测块。 

加法计算单元73，用于将运动补偿处理单元72得到的所述预测块与所述解码单元获取得到的所述预测残差块相加得到待解码后的视频图像。

一个优选的实施例中，请参阅图9，图9为超分辨率插值处理单元的结构示意图。所述纹理字典中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构。

超分辨率插值处理单元71包括：

提取模块710，用于提取所述待解码视频图像的局部特征。  

匹对模块711，用于将提取模块710提取的待解码视频图像中各个图像块的的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基。 

图像处理模块712，利用匹对模块711匹对出的所述匹对的字典基对待解码视频图像进行细节信息恢复及图像放大处理。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上所述仅为本发明的较佳实施例，应当理解，这些实施例仅用以解释本发明，并不用于限定本发明。对于本领域的一般技术人员，依据本发明的思想，可以对上述具体实施方式进行变化。

Claims (10)

1.一种基于图像超分辨率的视频编码方法，其特征在于，包括： 

利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复； 

对所述待编码视频图像上的各个图像块在所述参考图像上进行运动估计和运动补偿，得到与所述待编码视频图像的各个图像块对应的预测块； 

将所述待编码视频图像的图像块与对应的所述预测块相减，得到预测残差块； 

对所述预测残差块进行编码处理。 

2.如权利要求1所述的基于图像超分辨率的视频编码方法，其特征在于，所述纹理字典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构。 

3.如权利要求2所述的基于图像超分辨率的视频编码方法，其特征在于，所述利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理包括： 

提取待编码视频图像上各个图像块的局部特征； 

将所述待编码视频图像中各个图像块的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基； 

利用所述匹对的字典基对所述待编码视频图像上对应的图像块进行图像细节信息恢复及图像放大处理。 

4.一种基于图像超分辨率的视频解码方法，其特征在于，包括： 

对获取的图像编码流信号进行解码得到预测残差块； 

利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基为：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复； 

对所述待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述各个图像块对应的预测块； 

将所述预测块与所述预测残差块相加得到解码后的视频图像。 

5.如权利要求4所述的基于图像超分辨率的视频解码方法，其特征在于，所述纹理字典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的 低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构。 

6.如权利要求5所述的基于图像超分辨率的视频解码方法，其特征在于，所述利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理包括： 

提取所述待解码视频图像各个图像块的局部特征； 

将所述待解码视频图像中各个图像块的的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基； 

利用所述匹对的字典基对所述待解码视频图像进行细节信息恢复及图像放大处理。 

7.一种基于图像超分辨率的视频编码装置，其特征在于，包括： 

超分辨率插值处理单元，用于利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复； 

预测单元，用于对所述待编码图像上的各个图像块在参考图像上进行运动估计和运动补偿，得到与所述待编码视频图像的各个图像块对应的预测块； 

减法计算单元，用于将所述待编码视频图像的各图像块与所述运动估计单元估计得到的对应的预测块相减，得到预测残差块； 

编码单元，用于对所述减法计算单元计算得到的所述预测残差块进行编码处理。 

8.如权利要求7所述的基于图像超分辨率的视频编码装置，其特征在于， 

所述纹理字典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构； 

所述超分辨率插值处理单元具体包括： 

提取模块，用于提取待编码视频图像上各图像块的局部特征； 

匹对模块，用于将所述提取模块提取的所述待编码视频图像中各个图像块的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基； 

图像处理模块，用于利用所述匹对模块匹对出的所述匹对的字典基对所述待编码视频图像上对应的图像块进行图像细节信息恢复及图像放大处理。 

9.一种基于图像超分辨率的视频解码装置，其特征在于，包括： 

解码单元，用于对获取的图像编码流信号进行解码得到预测残差块； 

超分辨率插值处理单元，用于利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基为：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复； 

预测单元，用于对所述待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述各个图像块对应的预测块； 

加法计算单元，用于将所述运动补偿处理单元得到的所述预测块与所述解码单元获取得到的所述预测残差块相加得到解码后的视频图像。 

10.如权利要求9所述的基于图像超分辨率的视频解码装置，其特征在于，所述纹理字典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边缘结构； 

所述超分辨率插值处理单元包括： 

提取模块，用于提取所述待解码视频图像的局部特征； 

匹对模块，用于将所述提取模块提取的所述待解码视频图像中各个图像块的的局部特征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基； 

图像处理模块，利用所述匹对模块匹对出的所述匹对的字典基对所述待解码视频图像进行细节信息恢复及图像放大处理。