CN103250412A

CN103250412A - 用于率失真优化的图像编码/解码方法和用于执行该方法的装置

Info

Publication number: CN103250412A
Application number: CN2011800117433A
Authority: CN
Inventors: 李忠九; 朴浚盛; 李乙浩
Original assignee: Humax Co Ltd
Current assignee: Humax Co Ltd
Priority date: 2010-02-02
Filing date: 2011-01-25
Publication date: 2013-08-14
Also published as: EP2533539A2; KR20110090781A; US20120301040A1; WO2011096662A2; WO2011096662A3; US8792740B2

Abstract

公开了一种用于率失真优化的图像编码/解码方法和执行该方法的装置。提供将被编码的宏块，执行帧间预测和帧内预测中的任意一个以产生预测宏块，基于产生的预测宏块和提供的宏块产生残差预测块，然后通过将多个预定变换矩阵中具有最高编码效率的变换矩阵应用到产生的残差预测块对产生的残差预测块进行变换。因此，可以优化率失真且因此提高图像的质量。

Description

用于率失真优化的图像编码/解码方法和用于执行该方法的装置

技术领域

本发明涉及图像的编码和解码，并且更具体地，涉及用于率失真优化的图像编码/解码方法和用于执行该方法的装置。

背景技术

在一般图像压缩方法中，通过将一个图片分成每个均具有预定大小的多个块来执行编码。此外，为了增加压缩效率，使用帧间预测和帧内预测技术来消除图片之间的冗余。

基于帧间预测的图像编码方法通过去除图片之间的空间冗余来压缩图像，并且其典型示例是运动补偿预测编码方法。

运动补偿预测编码搜索与在当前编码的图片之前和/或之后的至少一个参考图片中的当前编码的块相似的区域，以产生运动向量，并且使用产生的运动向量执行运动补偿，从而获得预测块。然后，预测块和当前块的残差经过DCT（离散余弦变换）、量化和熵编码，然后被发送。

通常，将诸如16×16、8×16和8×8像素的各种大小的宏块用于运动补偿预测，并且将大小为8×8或4×4像素的块用于变换和量化。

帧内预测是通过使用一个图片中的块之间的像素相关性去除空间冗余的压缩图像的方法，并且该方法根据将被编码的当前块和与该当前块相邻的编码像素产生该当前块的预测值，然后压缩当前块的像素的残差和产生的预测值。在H.264/AVC中，帧内预测使用的块的大小是4×4、8×8或16×16，具有4×4或8×8像素大小的块中的每一个经受使用9个帧内预定模式的帧内预测，具有16×16像素大小的块经受使用4个帧内预定模式的帧内预测。

如上所述，帧内预测产生的残差经过变换和量化。

然而，传统的变换方法不考虑每个块的特性，并且在率失真方面不能最大化变换性能。

发明内容

技术问题

本发明的目的在于提供一种可以最大化变换性能的用于率失真优化的图像编码和解码方法。

本发明的另一目的是提供一种执行上述变换方法的图像编码装置和图像解码装置。

技术方案

为了实现本发明的目的，根据本发明的一方面，一种图像编码方法包括步骤：接收将被编码的编码单元；对该编码单元执行帧间预测和帧内预测中的一个以产生预测块；基于产生的预测块和该编码单元产生残差预测块；以及将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到产生的残差预测块以对该残差预测块进行变换。

为了实现本发明的目的，根据本发明的一方面，一种通过将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到残差预测块对编码的比特流进行解码的图像解码方法包括步骤：对比特流进行熵解码，以提取运动向量信息、量化的残差预测块信息、运动向量信息、帧内预测模式信息和变换矩阵信息中的至少一个；对量化的残差预测块进行逆量化；通过应用变换矩阵对逆量化的残差预测块进行逆变换以重建该残差预测块；执行运动补偿和帧内预测中的一个以产生预测块；以及将重建的残差预测块与产生的预测块相加以重建原始编码单元。

有益效果

根据上述用于率失真优化的图像编码/解码方法和执行该方法的装置，对应于将被变换的块的大小，多个预定变换矩阵都应用到通过帧内预测或帧间预测产生的残差预测块，从而执行变换，并且然后通过应用具有最高编码效率的变换矩阵变换残差预测块，因此优化了率失真并增加了图像质量。

附图说明

图1是示出根据本发明的实施例的使用加权预测的图像编码装置的配置的框图。

图2是示出根据本发明的实施例的使用加权预测的图像编码方法的流程图。

图3是示出根据本发明的实施例的使用加权预测的图像解码装置的配置的框图。

图4是示出根据本发明的实施例的使用加权预测的图像解码方法的流程图。

具体实施方式

可以对本发明作出各种修改和变型。以下，将参照附图详细描述一些特定实施例。

然而，应该理解，本发明不限于这些实施例，并且本发明的所有变型或替换或其等同物包括在本发明的技术精神和范围内。

将理解，尽管在此可以使用术语第一、第二、第三等描述各个元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不受这些术语的限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一个元件、组件、区域、层或部分相区分。因此，在不脱离本发明的教导的情况下，下面讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分。

将理解，当提到元件或层在另一元件或层上、连接到另一元件或层或者耦合到另一元件或层时，该元件或层可以直接在该另一元件或层上、连接到该另一元件或层或者耦合到该另一元件或层，或者可以存在中间元件或层。相反，当提到元件直接在另一元件或层上、直接连接到另一元件或层或者直接耦合到另一元件或层时，没有中间元件或层。在整个附图中，相同的附图标记涉及相同的元件。如在此使用，术语“和/或”包括相关的列出的项目中的一个或多个的任何和全部组合。

在此使用的技术术语仅是为了描述特定示例性实施例，而不是意在成为本发明的限制。如在此使用的，单数形式“一个”、“该”和“所述”意在也包括复数形式，除非上下文另有明确指示。还可以理解，术语“包括”和/或“包含”当在该说明书中使用时，指示存在陈述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件和/或组件。

除非另有限定，在此使用的所有术语（包括技术和科学术语）具有与本发明所属的领域的普通技术人员通常理解的含义相同的含义。还可以理解，诸如在通常使用的字典中定义的术语的术语应该被解释为具有与相关领域的语境中的含义一致的含义，并且将不被解释为理想化或过于正式的意义，除非在此明确限定。

以下，将参照附图详细描述本发明的实施例，其中，在整个说明书和附图中，相同的附图标记用于表示相同或基本相同的元件，并且将不重复关于相同元件的描述。

通过帧内预测产生的残差经过变换和量化，并且在变换过程中，通过对所有块同样应用一个变换矩阵或者通过应用与选择的帧内预测模式对应的预定变换矩阵来执行变换。

例如，为了减少通过帧内预测产生的残差，在MDDT（模式依赖的方向变换）的情况下，关于执行帧内预测之后产生的残差（即，预测误差块），根据帧内预测方法的方向性通过使用基于KLT（Karhunen-Loeve变换）设计的基本向量，在频域压缩预测误差块的能量。由于MDDT技术根据帧内预测模式应用变换编码，因此量化之后产生的量化变换系数的特性也取决于方向性而具有不同形式，并且使用自适应扫描以对系数有效地编码。

以下，在本发明的实施例中，扩展宏块是指具有32×32像素或64×64像素或更大的大小的块。

图1是示出根据本发明的实施例的图像编码装置的配置的框图。

参照图1，根据本发明的实施例的编码装置100包括编码控制单元101、运动预测单元103、运动补偿单元105、帧内预测单元107、第一加法器109、变换单元111、量化单元113、逆量化单元115、逆变换单元117、第二加法器119、缓冲器121和熵编码单元125。

编码控制单元101将输入编码单元的编码模式确定为帧间预测模式和帧内预测模式中的一个，并且基于确定的编码模式将运动补偿单元105和帧内预测单元107中的一个连接到第一加法器109和第二加法器119。此外，编码控制单元101向熵编码单元125提供包括用于变换的变换矩阵的、与编码相关的开销信息（overhead information），并且控制编码装置中包括的组件。

在此，输入编码单元可以具有正方形，并且每个编码单元可以具有可变大小，诸如2N×2N（单位：像素）。可以基于每个编码单元执行帧间预测、帧内预测、变换、量化和熵编码。编码单元可以包括最大编码单元（LCU）和最小编码单元（SCU），最大编码单元（LCU）和最小编码单元（SCU）可以具有被表示为2的幂的大小，该2的幂可以为8或者更大。例如，输入编码单元可以是扩展宏块，其具有16×16像素或更小或32×32像素或64×64像素或更大的大小。扩展宏块可以具有32×32像素或更大，即，64×64像素、128×128像素或更大的大小，从而适合于具有超HD（高清晰度）或更高分辨率的高分辨率图像。在具有超HD（高清晰度）或更高分辨率的高分辨率图像的情况下，考虑到编码器和解码器的复杂度，扩展宏块可以被限制为具有最大64×64像素或更小的大小。

编码单元可以具有递归树结构。可以通过一系列标记表示递归结构。例如，在分层等级或分层深度为k的编码单元CUk具有标记值0的情况下，在当前分层等级或分层深度执行对编码单元的CUk的编码，在标记值为1的情况下，其当前分层等级或分层深度为k的编码单元CUk被分割为四个独立的编码单元CUk+1，分割的编码单元CUk+1的分层等级或分层深度变为k+1，并且其大小变为Nk+1×Nk+1。在此情况下，编码单元CUk+1可以被表示为编码单元CUk的子编码单元。编码单元CUk+1可以被递归处理，直到编码单元CUk+1的分层等级或分层深度达到最大可允许分层等级或分层深度。在编码单元CUk+1的分层等级或分层深度与最大可允许分层等级或分层深度相同的情况下，不再允许分割。

最大编码单元（LCU）的大小和最小编码单元（SCU）的大小可以包括在序列参数集（SPS）中。序列参数集（SPS）可以包括最大编码单元（LCU）的最大可允许分层等级或分层深度。例如，最大可允许分层等级或分层深度是5，并且在最大编码单元（LCU）侧的大小是128（单位：像素）的情况下，五种类型的编码单元大小可用，诸如128×128(LCU)、64×64、32×32、16×16和8×8(SCU)。也就是说，如果给出最大编码单元（LCU）的大小和最大可允许分层等级或分层深度，则可以确定编码单元的可允许大小。

在具有超HD（高清晰度）或更高分辨率的高分辨率图像的情况下，考虑到编码器和解码器的复杂度，可以将编码单元的大小限制到最大64×64像素或更小。

使用根据本发明的实施例的上述递归编码单元结构提供了下列优点。

第一，可以支持比现有16×16宏块的大小更大的大小。如果感兴趣的图像区域是同质的，则与使用多个较小块时相比，最大编码单元（LCU）可以使用更少数量的符号显示感兴趣的图像区域。

第二，与使用固定大小宏块时相比，可以支持具有各种大小的最大编码单元（LCU），从而可以很容易地对于各种内容、应用和设备优化编解码器。也就是说，可以适当地选择最大编码单元（LCU）的大小和最大分层等级或最大分层深度，从而可以对于目标应用进一步优化分层块结构。

第三，在不识别宏块、子宏块和扩展宏块的情况下，使用一个单一的单元形式的编码单元LCT以能够通过使用最大编码单元（LCU）大小、最大分层等级（或最大分层深度）和一系列标记非常简单地表示多级分层结构。当一起使用大小独立的语法表示时，对于剩余编码工具，足以指定具有一般大小的语法项，并且这种一致性帮助简化实际解析过程。分层等级的最大值（或最大分层深度）可以是任意值，并且与现有H.264/AVC编码方案允许的值相比，分层等级的最大值（或最大分层深度）可以更大。通过使用大小独立的语法表示，通过与编码单元CU的大小独立的一致性方法指定所有语法元素。可以递归地指定对编码单元CU的分割过程，并且叶编码单元上的其他语法元素——分层等级的最后编码单元——可以被定义为具有相同的大小，而不考虑编码单元大小。上述方法在减小解析复杂度方面非常有效，并且当分层等级或分层深度大时可以增加表示的清晰度。

如果上述分层分割过程完成，在没有进一步分割的情况下，可以对编码单元分层树中的叶节点执行帧间或帧内预测，并且将此叶编码单元用作预测单元（PU），其为用于帧间或帧内预测的基本单元。

对叶编码单元执行分区，从而进行帧间或帧内预测。对预测单元（PU）进行分区。在此，预测单元（PU）意思是用于帧间或帧内预测的基本单元，可以使用现有宏块单元或子宏块单元，或者具有32×32像素或更大的大小的编码单元基础或扩展宏块单元作为预测单元（PU）。

用于帧间预测或帧内预测的分区可以是不对称分区或者具有除了正方形之外的任何形状的几何分区，或者沿边缘方向的分区。

再参照图1，运动预测单元103基于已经被重建且存储在缓冲器121中的多个参考图片和输入编码单元执行帧间预测，从而产生运动向量。在此，将产生的运动向量提供给运动补偿单元105和熵编码单元125。

运动补偿单元105将由运动预测单元103提供的运动向量应用于在缓冲器121中存储的相应参考图片的参考块，从而产生运动补偿的预测块。

帧内预测单元107根据与输入编码单元相邻的编码像素产生当前块的预测值。在此，帧内预测单元107可以将输入编码单元分成具有4×4、8×8或16×16像素大小的块，根据与每个分开的块相邻的像素产生预测块，对具有4×4像素或8×8像素大小的块执行帧内预测时，通过应用在H.264//AVC中定义的九个帧间预测模式中的一个执行帧间预测，并且通过应用四个帧内预测模式中的一个对具有16×16像素大小的块执行帧内预测。

在根据本发明的实施例的解码装置100中，对于通过运动预测单元103和运动补偿单元105的帧间预测以及通过帧内预测单元107的帧内预测，可以根据编码控制单元101的控制仅执行任意一种预测模式，在选择帧间预测和帧内预测中的一个的情况下，编码控制单元101切换连接路径，从而在运动补偿单元105的输出和帧内预测单元107的输出之间，可以将与选择的预测模式相应的一个提供给第一加法器109和第二加法器119。

当执行帧间预测编码时，第一加法器109对输入编码单元和从运动补偿单元105提供的预测块进行运算，以产生残差（残差预测块），并且当执行帧内预测编码时，对输入编码单元和从帧内预测单元107提供的预测块进行运算，以产生残差。

对于从第一加法器109提供的残差预测块（即，残差），变换单元111考虑编码效率以及经过变换的每个残差预测块的大小，通过使用多个预定变换矩阵中的一个来执行变换。

具体地，在执行帧内预测编码且将被变换的块的大小为4×4像素或8×8像素的情况下，将预定数量（例如，9）的变换矩阵应用到每个变换块，然后通过应用具有最高编码效率的变换矩阵来执行编码，并且在执行帧内预测编码且将被变换的块的大小为16×16像素的情况下，将预定数量（例如，4）的变换矩阵应用到每个变换块，然后通过应用具有最高编码效率的变换矩阵来执行编码。在此，可以使用在MDDT（模式依赖的方向变换）中定义的变换矩阵作为该预定数量的变化矩阵。

MDDT应用沿帧内编码特定方向——例如，用于编码的帧内模式（或帧内编码）方向的变换。例如，在通过九个帧内模式中的水平方向模式对4×4块进行帧内编码的情况下，可以沿水平方向执行变换。

变换的块的大小可以是4×4块、8×8块、16×16块或32×32块。

可以将用于变换的块实现为变换单元（TU），并且变换单元可以具有递归树结构。例如，变换单元可以具有2级树结构。例如，在分层等级或分层深度为k的变换单元具有标记值0的情况下，对于当前分层等级或分层深度对变换单元执行变换，在标记值为1的情况下，将其分割为四个独立的编码单元CUk+1，并且分割的编码单元CUk+1具有分层等级或分层深度k+1，并且大小可以是Nk+1×Nk+1。

或者，即使在执行帧间预测编码且将被变换的块的大小为32×32像素或更大的情况下，变换单元111应用与帧间预测编码相应的全部预定数量的编码矩阵，然后通过应用具有最高编码效率的变换矩阵来执行编码。

如上所述，在多个变换矩阵之中，关于用于变换的变换矩阵的信息被提供给熵编码单元125，并且经过熵编码，并且然后提供给解码装置用于解码。

量化单元113对从变换单元111提供的变换数据进行量化，并且然后将量化的数据提供给逆量化单元115和熵编码单元125。

逆量化单元115对从量化单元113提供的量化数据进行逆量化，并且然后将结果提供给逆变换单元117，并且逆变换单元117通过使用由变换单元111使用的变换矩阵信息对逆量化数据进行逆变换，从而重建残差预测块，然后将重建的残差预测块提供给第二加法器119。

第二加法器119将从运动补偿单元105或帧内预测单元107提供的预测块与逆变换单元117提供的预测块相加，从而重建编码单元，并且然后将其存储在缓冲器121中。

缓冲器121可以存储图片，该图片为一组重建的编码单元，并且使用存储在缓冲器121中多个图片作为用于运动补偿和预测的参考图片。

熵编码单元125对量化的残差预测块、用于帧间预测的运动向量信息、用于帧内预测的预测模式信息和用于变换的变换矩阵信息进行熵编码，从而产生比特流。

图2是示出根据本发明的实施例的使用块合并的图像编码方法的流程图。

参照图2，如果将编码单元输入到编码装置（步骤201），则编码装置在帧间预测和帧内预测之间选择预测编码模式（步骤203）。输入编码单元具有16×16像素或更小的大小，或者输入编码单元可以是具有32×32像素或64×64像素或更大的大小的扩展宏块。输入编码单元可以具有上述递归编码单元结构。

当执行帧间预测时，基于已经重建且存储在缓冲器中的多个参考图片和输入编码单元执行运动预测，从而产生运动向量（步骤205），并且使用产生的运动向量来执行运动补偿，从而产生与当前块相应的预测块（步骤207）。

或者，当执行帧内预测时，根据与输入编码单元相邻的编码像素产生当前块的预测值（步骤209）。在此，帧内预测可以将输入编码单元分成具有4×4、8×8或16×16像素的大小的块，并且将帧内预测模式应用于与分开的块中的每一个相邻的像素，从而产生预测块。在对具有4×4像素或8×8像素的大小的块执行帧内预测的情况下，通过应用在H.264//AVC中定义的九个帧内预测模式中的一个执行帧内预测，对具有16×16像素的大小的块，可以应用四个帧内预测模式中的一个以执行帧内预测。

其后，编码装置对帧内预测或帧间预测产生的预测块和输入编码单元进行运算，以由此产生残差预测块（步骤211）。

然后，对于产生的残差预测块，编码装置考虑编码效率以及残差预测块的大小，通过使用多个预定变换矩阵中的一个来执行变换（步骤213）。也就是说，在执行帧内预测编码且将被变换的块的大小为4×4像素或8×8像素的情况下，将全部预定数量（例如，9）的变换矩阵应用到每个变换块，并且然后通过应用具有最高编码效率的变换矩阵来执行编码，并且在执行帧内预测编码且将被变换的块的大小为16×16像素的情况下，将全部预定数量（例如，4）的变换矩阵应用到每个变换块，并且通过应用具有最高编码效率的变换矩阵来执行编码。在此，对于预定数量的变化矩阵，可以使用MDDT中定义的变换矩阵。

或者，在执行帧间预测编码且将被变换的块的大小为32×32像素的情况下，编码装置可以应用与帧间预测编码相应的预定数量的编码矩阵的全部，然后通过应用具有最高编码效率的变换矩阵来执行编码。

其后，编码装置对变换的数据进行量化（步骤215），并且对量化的数据进行熵编码，从而产生比特流（步骤217）。在此，熵编码的信息可以包括量化的残差预测块、用于帧间预测的运动向量信息、用于帧内预测的预测模式信息和用于变换的变换矩阵信息。

在如图1和图2所示的根据本发明的实施例的编码方法中，通过将与变换的块的大小相应的多个变换矩阵的全部应用于通过帧间预测或帧内预测产生的残差预测块来执行变换，并且通过应用具有最高编码效率的变换矩阵对残差预测块执行变换，从而增加编码效率。

图3是示出根据本发明的实施例的解码装置的配置的框图。图3是示出对由图1所示的编码装置编码的图像进行解码的解码装置的配置。

参照图3，根据本发明的实施例的解码装置300包括熵解码单元301、逆量化单元303、逆变换单元305、运动补偿单元307、帧内预测单元309、缓冲器311和第三加法器313。

熵解码单元301对从解码装置提供的比特流进行熵解码，并且提取量化的残差预测块、用于帧间预测的运动向量、用于帧内预测的预测模式信息和用于变换的变换矩阵。

逆量化单元303对从熵解码单元301提供的量化的残差预测块进行逆量化，并且逆变换单元305对从逆量化单元303提供的数据进行逆变换。在此，逆变换单元305基于从熵解码单元301提供的变换矩阵信息执行逆变换，从而重建残差预测块。

运动补偿单元307将从熵解码单元301提供的运动向量应用于缓冲器311中存储的参考图片的参考块，从而产生预测块。

帧内预测单元309基于从熵解码单元301提供的帧内预测模式，根据与当前要解码的块相邻的像素产生当前块的预测值。在此，帧内预测单元309将当前要解码的块划分为具有4×4、8×8或16×16像素大小的块，并且使用帧内预测模式信息，以能够根据与每个划分的块相邻的像素产生预测块

在根据本发明的实施例的解码装置300中，基于从熵解码单元301提取的选择信息仅可以产生通过运动补偿单元307和帧内预测单元309产生的预测块中的一个，并且仅运动补偿单元307和帧内预测单元309中的一个可以通过路径切换连接到第三加法器313。也就是说，在解码装置300中，对应于在编码装置中执行的编码模式，可以仅执行帧间预测和帧内预测中的一个。

重建的图像被存储在缓冲器311中并且被用作参考图片。

第三加法器313将从运动补偿单元307或帧内预测单元309提供的预测块与从逆变换单元305提供的残差预测块相加，从而重建原始块。

图4是示出根据本发明的实施例的图像解码方法的流程图。

参照图4，如果从编码装置输入编码的比特流（步骤401），则解码装置对该比特流进行熵量化，从而提取量化的残差预测块信息、运动向量信息、变换矩阵信息和帧内预测模式信息（步骤403）。在此，当编码装置已经执行帧内预测时，可以仅提取帧内预测模式，并且熵解码的数据可以包括解码模式信息（帧间预测或帧内预测）。

其后，解码装置对熵解码的残差进行逆量化（步骤405），并且使用提取的变换矩阵信息，以对逆量化的数据进行逆变换，从而重建残差预测块（步骤407）。

此外，解码装置基于在熵解码信息中包括的编码模式确定解码模式（步骤409），并且当解码模式被确定为运动补偿时，通过使用运动向量执行运动补偿，从而产生预测块（步骤411）。

或者，当解码模式被确定为帧内预测时，解码装置将提取的帧内预测模式应用于与要被解码的当前块相邻的像素，从而产生预测块（步骤413）。

其后，解码装置将重建的残差预测块与在步骤411或413中产生的预测块相加，从而重建原始块，即，编码单元（步骤415）。

尽管已经描述了本发明的实施例，但是本领域的普通技术人员将理解，在不脱离在权利要求中要求保护的本发明的精神和范围的情况下，可以对实施例进行各种变型和修改。

Claims

1.一种图像编码方法，包括步骤：

接收将被编码的编码单元；

对所述编码单元执行帧间预测和帧内预测中的一个以产生预测块；

基于产生的预测块和所述编码单元产生残差预测块；以及

将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到产生的残差预测块以对所述残差预测块进行变换。

2.根据权利要求1所述的图像编码方法，其中，将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到产生的残差预测块以对所述残差预测块进行变换的步骤包括：在执行帧内预测且变换的残差预测块具有4×4或8×8像素的大小的情况下，对每个残差预测块应用全部9个变换矩阵，然后通过应用具有最高编码效率的变换矩阵对所述残差预测块进行变换。

3.根据权利要求1所述的图像编码方法，其中，将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到产生的残差预测块以对所述残差预测块进行变换的步骤包括：在执行帧内预测且变换的残差预测块具有16×16像素的大小的情况下，对每个残差预测块应用全部4个变换矩阵，然后通过应用具有最高编码效率的变换矩阵对所述残差预测块进行变换。

4.根据权利要求1所述的图像编码，其中，所述多个预定变换矩阵使用在MDDT（模式依赖的方向变换）中定义的变换矩阵。

5.根据权利要求1所述的图像编码，其中，将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到产生的残差预测块以对所述残差预测块进行变换的步骤包括通过使用沿帧内预测的特定方向的所述多个预定变换矩阵执行变换。

6.根据权利要求1所述的图像编码方法，其中，将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到产生的残差预测块以对所述残差预测块进行变换的步骤包括：在所述残差预测块具有4×4像素的大小且在9个帧内预测模式中，在水平方向模式中执行帧内预测情况下，通过使用沿水平方向的所述多个预定变换矩阵执行变换。

7.根据权利要求1所述的图像编码方法，其中，用于变换的所述残差预测块被实现为变换单元（TU），并且所述变换单元具有递归树结构。

8.根据权利要求1所述的图像编码方法，其中，所述预测单元是具有32×32像素或更大的大小的扩展宏块。

9.一种通过将在多个预定变换矩阵中具有最高编码效率的变换矩阵应用到残差预测块来对编码的比特流进行解码的图像解码方法，所述图像解码方法包括步骤：

对所述比特流进行熵解码，以提取运动向量信息、量化的残差预测块信息、运动向量信息、帧内预测模式信息和变换矩阵信息中的至少一个；

对量化的残差预测块进行逆量化；

通过应用所述变换矩阵对逆量化的残差预测块进行逆变换以重建所述残差预测块；

执行运动补偿和帧内预测中的一个以产生预测块；以及

将重建的残差预测块与产生的预测块相加以重建原始编码单元。

10.根据权利要求9所述的图像解码方法，其中，在执行帧内预测且变换的残差预测块大小为4×4或8×8像素的情况下，对每个残差预测块应用全部9个变换矩阵，然后使用具有最高编码效率的变换矩阵。

11.根据权利要求9所述的图像解码方法，其中，在执行帧内预测且变换的残差预测块大小为16×16像素的情况下，对每个残差预测块应用全部4个变换矩阵，然后使用具有最高编码效率的变换矩阵。

12.根据权利要求9所述的图像解码方法，其中，所述变换矩阵使用在MDDT（模式依赖的方向变换）中定义的变换矩阵。

13.根据权利要求9所述的图像解码方法，其中，通过应用所述变换矩阵对逆量化的残差预测块进行逆变换以重建所述残差预测块的步骤包括基于帧内预测模式通过使用所述变换矩阵来执行逆变换。

14.根据权利要求9所述的图像解码方法，其中，通过应用所述变换矩阵对逆量化的残差预测块进行逆变换以重建所述残差预测块的步骤包括：在残差预测块具有4×4像素的大小且在9个帧内预测模式中，使用水平方向模式来执行帧内预测情况下，通过使用沿水平方向的所述变换矩阵执行逆变换。

15.根据权利要求9所述的图像解码方法，其中，用于变换的所述残差预测块被实现为变换单元（TU），并且所述变换单元具有递归树结构。

16.根据权利要求9所述的图像解码方法，其中，所述编码单元是具有32×32像素或更大的大小的扩展宏块。