CN1784015A - 一种帧内图像预测编码方法 - Google Patents

Abstract

本发明公开了一种帧内图像预测编码方法，包括对所述帧内图像进行亮度预测编码和色度预测编码，在进行色度预测编码时，根据亮度预测编码的预测模式对应得到一个色度预测模式，用该色度预测模式对所述帧内图像进行色度预测编码。本发明方法的优点：不必使用率失真优化方法来挑选预测模式，有效降低了色度分量帧内模式编码的复杂度；由帧内亮度预测模式可以映射一种唯一的帧内色度预测模式，只要在解码端采用同样的选择策略，就不必对色度分量的空域预测模式进行编码，进一步降低编解码的复杂度；在利用色度预测模式，实现对色度块像素值的预测过程中，4×4块预测使得4个4×4色度分量块的预测并行进行，提高了对色度块像素值进行预测时的效率。

Description

一种帧内图像预测编码方法

技术领域

本发明属于视频及图像编解码领域，特别涉及视频帧内图像基于空域预测的编解码技术。

背景技术

视频编码是计算机科学领域的热点问题，它旨在发现数字视频的最有效的编码格式。在视频编码中，常把视频图像分为帧内图像和帧间图像两种。其中，帧内图像的视频编码仅使用图像自身提供的信息进行空间上的预测，它的编解码不依赖于其他图像，可以单独解码；而帧间图像的编码要消除的是视频在时间域上的冗余信息，它的编解码依赖于它之前的一个或多个图像。对帧内图像进行视频编码时，因为在帧内图像中，相邻图像块的像素具有很大的空域相关性，所以需要采用空域预测编码方法以提高编码效率。空域预测编码方法的主要思想是以相邻块为参考像素，按照不同的方向预测待编码块的像素值，把预测结果称为预测块，其中的待编码块是指没有进行压缩编码的原始数据块；将待编码块的像素值与预测块的像素值作差，所得到的结果称为残差；再对残差进行DCT变换和量化得到残差系数，最后对结果进行无损的熵编码并输出。待编码块和预测块匹配程度越高，编码的效率越高。为了提高预测块像素值与当前块像素值的匹配程度，往往设置多种预测模式。

现有的H.264(又称MPEG-4 Part10或AVC)在对帧内图像预测中，是以宏块为单位进行编码的，所谓宏块包括一个16×16块的亮度分量和相应位置的两个8×8块的表示色度的分量。因此在对帧内图像进行预测编码时，包括亮度预测编码和色度预测编码。亮度预测编码是依据一定的亮度预测模式对宏块的亮度分量进行编码，而色度预测编码是依据一定的色度预测模式对宏块的色度分量进行编码。在现有技术中，亮度预测编码和色度预测编码是相对独立的，亮度预测模式的选择与色度预测模式的选择也是相对独立的。在H.264中，亮度预测模式分为16×16和4×4两类，其中16×16的预测模式有4种，4×4的预测模式有9种；16×16的4种预测模式具体包括：VERT_16×16_PRED、HOR_16×16_PRED、DC_16×16_PRED、PLANE_16×16_PRED；4×4的9种预测模式具体包括：VERT_4×4_PRED、HOR_4×4_PRED、DOWN_LEFT_4×4_PRED、DOWN_RIGHT_4×4_PRED、VERT_RIGHT_4×4_PRED、DC_4×4_PRED、HOR_DOWN_4×4_PRED、VER_LEFT_4×4_PRED、HOR_UP_4×4_PRED。

在H.264中，色度预测模式包括水平(VERT_PRED_CHROMA)、垂直(HOR_PRED_CHROMA)、DC(DC_PRED_CHROMA)和Plane预测4种。这4种色度预测模式的具体实现如图1所示，水平预测仅使用当前块左边的参考像素点(i、j、k、l、m、n、o、p)进行预测；垂直预测仅使用当前块上边的参考像素点(a、b、c、d、e、f、g、h)进行预测；DC预测根据参考像素的可用性情况决定使用左边或上边或同时使用左边、上边和左上角(x)的参考象素点；Plane预测需要使用左边和上边的参考像素。因此，当仅有左边参考像素可用时，只有水平预测和DC预测可供选择；当仅有上边参考像素可用时，只有垂直预测和DC预测可供选择；当左边和上边的参考像素均可用时，四种模式都可以选择；当左边和上边的参考像素均不可用时，即为左上角宏块，只有DC预测模式可以选择。除了最后一种情况，具体采用哪一种预测模式需要根据按照一定的规则来选择。

上述4种色度预测模式都有可能应用于实际，在做帧内色度预测编码时可能有多种色度预测模式可用，对色度预测模式的选择通常采用的方式是率失真(RD)优化规则，其中，R是指码率开销，具体表示使用一种预测模式时编码模式和残差系数所需要的比特数，D是指失真度，具体表示使用一种预测模式所重建的宏块与原始图像宏块之间的差值。R和D成反比关系，当D较小的时候，R就会增大；当D增加时，相应的R就会降低。所谓率失真优化，就是在编码所需的码率开销(比特数)和编码引起的图像失真二者之间找到最佳平衡点，使得码率开销R和失真度D同时尽可能地小。对色度分量而言，进行预测模式的率失真优化选择，就需要进行所有4种模式的预测，并对残差进行编码，记录每种预测模式的码率开销与失真之和，从中选择最小的那种模式作为最优预测模式。

参看图2，现有的H.264帧内色度预测编码方法的操作过程包括：

1、利用某一种色度预测模式对色度块进行预测；

2、计算预测残差；

3、对残差进行DCT变换和量化处理，得到残差系数；

4、对残差系数做熵编码；

5、判断是否做完了所有可能的预测模式，若还有可能的预测模式，则跳转到步骤1，若不再有新的可能预测模式，则继续以下操作；

6、对所有结果做率失真优化选择，输出最佳模式和残差系数的编码。

在步骤2中的残差实际上是一个可以用矩阵表示的残差块；

在步骤3中，经过DCT变换和量化处理，残差块由二维矩阵转变为一维数组，这个一维数组就是残差系数。其中的DCT变换是指对残差进行从空域到频域的转变，目的是进一步压缩数据，量化的实质也是进行压缩，将0附近的，比如(-3，3)之间系数全部视作0；将绝对值小于10的系数全部视作+2/-2。

现有的H.264帧内色度预测编码已经完全可以实现对帧内图像的色度预测编码，但对H.264帧内色度预测编码过程进行仔细分析、观察后，发现存在以下一些问题：

(1)增加预测模式，可以提高预测精度，但是当预测模式包含了水平、垂直、DC预测之后，再增加更多的预测模式，不会对预测精度产生明显影响。

(2)当预测模式增加时，用于预测模式编码的比特数就会增加，这就会带来更大的码流开销。

(3)随着预测模式的增加，进行预测模式率失真优化选择的过程就会更加复杂，导致视频编码的复杂度增加。

同时，在视频编码过程中还存在以下规律和现象：

(1)统计规律显示由于亮度分量和色度分量的纹理具有相似性，因此宏块的亮度分量和色度分量的预测模式呈现较强的相关性。而H.264的帧内预测编码中，亮度和色度的预测模式是独立选择的，它们的预测模式分别通过率失真优化方法来选择，也就是忽视了亮度分量和色度分量的预测模式间的相关性。

(2)在现有的H.264视频编码框架中，色度分量的PSNR(峰值信噪比)值平均高出亮度分量2dB左右。因此，色度分量的PSNR即使有一定的降低，也不是人的视觉可以感觉的，并不会引起主观视觉效果的变化。也就是说在适当范围内牺牲色度分量的精度以换取编码效率的提高和码率开销的降低是切实可行的。

本发明正是根据上述规律，提出一种帧内图像预测编码方法，以克服现有的H.264视频编码技术所存在的码流开销大，编码复杂度高的缺陷。

发明内容

本发明的目的是克服现有的H.264帧内色度预测编码方法所存在的码流开销大，视频编码复杂度高的缺陷，提供一种低复杂度的帧内色度预测编码方法，并且保证主观和客观的视频质量不会明显降低。

为了实现上述目的，本发明提供了一种帧内图像预测编码方法，包括帧内亮度预测编码方法和帧内色度预测编码方法，在帧内色度预测编码方法中，利用帧内亮度预测模式得到唯一的帧内色度预测模式，实现帧内色度的预测编码。

上述技术方案中，帧内亮度预测模式包括：VERT_16×16_PRED、HOR_16×16_PRED、DC_16×16_PRED、PLANE_16×16_PRED、VERT_4×4_PRED、HOR_4×4_PRED、DOWN_LEFT_4×4_PRED、DOWN_RIGHT_4×4_PRED、VERT_RIGHT_4×4_PRED、DC_4×4_PRED、HOR_DOWN_4×4_PRED、VER_LEFT_4×4_PRED、HOR_UP_4×4_PRED；帧内色度预测模式包括：VERT_PRED_CHROMA、HOR_PRED_CHROMA、DC_PRED_CHROMA。

上述技术方案中，帧内亮度预测模式和帧内色度预测模式间的对应关系为：VERT_16×16_PRE亮度预测模式对应VERT_PRED_CHROMA；HOR_16×16_PRED对应HOR_PRED_CHROMA；DC_16×16_PRED对应DC_PRED_CHROMA；PLANE_16×16_PRED对应DC_PRED_CHROMA；VERT_4×4_PRED对应VERT_PRED_CHROMA；HOR_4×4_PRED对应HOR_PRED_CHROMA；DOWN_LEFT_4×4_PRED对应DC_PRED_CHROMA；DOWN_RIGHT_4×4_PRED对应DC_PRED_CHROMA；VERT_RIGHT_4×4_PRED对应DC_PRED_CHROMA；DC_4×4_PRED对应DC_PRED_CHROMA；HOR_DOWN_4×4_PRED对应DC_PRED_CHROMA；VER_LEFT_4×4_PRED对应DC_PRED_CHROMA；HOR_UP_4×4_PRED对应DC_PRED_CHROMA。

上述技术方案中，所述的帧内亮度预测模式由所选择的亮度分量块决定，而亮度分量块的选择方法根据色度分量预测时所采用的块的大小分为两类：

a)当色度分量按照8×8进行预测时，宏块中的8×8色度分量块只有一种预测模式，该预测模式通过当前宏块的16×16亮度分量块中的某一4×4亮度分量块的预测模式来映射；

b)当色度分量按照4×4进行预测时，宏块中的8×8色度分量块分成4个4×4块，这4个4×4块分别有自己的预测模式，每个块的预测模式通过当前宏块的16×16亮度分量的某一4×4块的预测模式来映射。

所述的亮度分量块的选择方法a)中，4×4亮度分量块的一个优选选择方案是选用16×16亮度分量块中左上角的4×4块。

所述的亮度分量块的选择方法b)中，4×4亮度分量块的一个优选选择方案是将当前宏块的16×16亮度分量块等分成4个8×8亮度分量块，每个4×4色度分量块对应一个8×8亮度分量块，每个4×4色度分量块选择相应8×8亮度分量块中左上角的4×4块的预测模式来映射。

上述技术方案中，帧内亮度预测模式与帧内色度预测模式间一一对应的映射关系是在纹理分析和统计的基础上得到的。

上述技术方案中，帧内色度的预测编码过程根据预测所选用的色度块大小的不同而不同，包括：

a)8×8块预测，对8×8色度块进行整体预测；

b)4×4块预测，整个8×8色度分量块分成4个4×4色度分量块，根据每个4×4色度分量块各自的色度预测模式实现色度预测编码。

所述的4×4块预测时，4个4×4色度分量块的预测并行进行，在预测时当所需要的参考像素不可用时，使用最近的可用像素点来代替。

本发明方法的优点在于：

(1)利用色度分量和亮度分量的纹理相似性，色度分量的空域预测模式通过相应亮度分量的空域预测模式按照一定关系进行映射，不必使用率失真优化方法来挑选预测模式，有效降低了色度分量帧内模式编码的复杂度。

(2)由帧内亮度预测模式可以映射唯一的帧内色度预测模式，只要在解码端采用同样的选择策略，就不必对色度预测模式进行编码，进一步降低了编解码的复杂度。

(3)在利用色度块的预测模式，实现对色度块像素值的预测过程中，4×4块预测使得4个4×4色度分量块的预测并行进行，提高了对色度块像素值进行预测时的效率。

附图说明

图1：色度预测的待编码块及周围参考点示意图

图2：H.264帧内色度预测编码流程图

图3：本发明的帧内色度预测编码方法流程图

图4：8×8色度预测模式选择的亮度分量的位置对应关系

图5：4×4色度预测模式选择的亮度分量的位置对应关系

图6：亮度分量16×16预测模式到色度预测模式的映射关系表

图7：亮度分量4×4预测模式到色度预测模式的映射关系表

图8：色度4×4预测过程中，参考像素点的位置关系

具体实施方式

下面参照附图和具体实施方式，对本发明方法做详细说明。

如图3所示，为本发明的一种帧内图像预测编码方法的操作流图。该方法的操作步骤包括：

在步骤10中，获取与色度分量相对应的亮度分量的预测模式。色度分量的空域预测在同一宏块的亮度分量的空域预测之后进行，色度分量的预测模式通过同一宏块中相应位置块的亮度分量的预测模式进行映射。在现有的H.264帧内色度预测编码技术中，色度分量预测所采用的块的大小固定，色度分量统一按照8×8进行预测；而在本发明方法中，色度分量预测所采用的块的大小分为两类，一类是8×8，另一类是4×4。亮度分量映射位置的选择方法根据色度分量预测采用的块的大小分为两类：

1)色度分量按照8×8进行预测：宏块中的8×8色度分量块只有一种预测模式，该预测模式通过当前宏块的16×16亮度分量块中的某一4×4块的预测模式来映射，随机选定一4×4亮度分量块，记录其亮度预测模式。在本实施例中，参见图4，8×8色度分量块选用同一宏块的16×16亮度分量块左上角的4×4块的预测模式来映射。之所以这样做，是因为通过实验测得，选用同一宏块的亮度分量左上角的块的预测模式来映射，最终得到的效果最佳。

2)色度分量按照4×4进行预测：宏块中的8×8色度分量块分成4个4×4块，这4个4×4块可以分别有自己的预测模式，各个块的色度预测模式通过当前宏块的16×16亮度分量的某一4×4块的亮度预测模式来映射。本实施例中，参见图5，将16×16亮度分量块等分成4个8×8亮度分量块，每个4×4色度分量块对应一个8×8亮度分量块，每个4×4色度分量块选择相应8×8亮度分量块中左上角的4×4块的预测模式来映射。这是由实验得出的最优的选择方法，利用该方法选用亮度分量块，最终得到的效果最佳。

在步骤20中，利用亮度分量的预测模式实现对色度预测模式的映射。为色度块选择了相应的亮度块的预测模式之后，接着需要将亮度块的预测模式映射到色度块的预测模式，建立亮度块的预测模式与色度块的预测模式之间的映射关系。因为亮度块的预测模式要多于色度块的预测模式，因此这种映射关系是多到一的。映射关系表建立在纹理分析和统计的基础上，映射关系表表明了对于某一种亮度块的预测模式而言，选用表中对应的色度块的预测模式，最终得到的预测效果最好。图6说明了由亮度16×16预测模式到色度预测模式的映射关系。图7说明了由亮度4×4预测模式到色度预测模式的映射关系。通过映射表就可以最终确定色度块的预测模式。

在现有的H.264帧内色度预测编码中，需要对4种色度块的预测模式都进行预测，再对四种预测模式所得到的预测结果使用率失真优化方法进行对比，从中选出最佳的预测模式。而在本发明方法中，只要根据亮度块的预测模式，参照映射关系表，就能够找到与亮度块相对应的同一宏块中的色度块的某一种预测模式，只需要对这一种预测模式进行编码，与现有技术相比，编码复杂度降低了75％，本发明方法与现有的H.264帧内色度预测编码方法相比明显降低了编码的复杂度。

在步骤30中，由已确定的色度块的预测模式，实现对色度块像素值的预测。在步骤10中，根据色度分量预测所选用的块大小的不同，亮度分量映射位置的选择也会有所不同，从而造成8×8色度分量块中可能有一种或几种色度预测模式。因此色度块像素值的预测过程根据预测所选用的色度块的大小分为两类。

1)对于8×8块预测，共有3种模式的预测，分别为水平预测、垂直预测和DC预测。与现有的H.264帧内色度预测编码方法相比，减少了Plane预测模式，这是因为在本发明方法所适用的场景中，对图像的精度要求不是很高，利用水平预测、垂直预测和DC预测这3种预测模式足以达到相关的精度要求，而Plane预测模式与前面3种预测模式相比，预测方法复杂，编码复杂度也相对更高，因此在本发明方法中只选用了水平预测、垂直预测和DC预测。利用这3种预测模式实现对色度块像素值预测的具体操作与H.264中的这3种预测模式的操作步骤相同。也就是如图1所示的那样，水平预测仅使用当前块左边的参考像素点(i、j、k、l、m、n、o、p)进行预测；垂直预测仅使用当前块上边的参考像素点(a、b、c、d、e、f、g、h)进行预测；DC预测根据参考像素的可用性情况决定使用左边或上边或同时使用左边、上边和左上角(×)的参考像素点进行预测。

2)对于4×4块预测，也有3种模式的预测，分别为水平预测、垂直预测和DC预测。与8×8块预测相比，其不同之处在于：在8×8块预测中，一个宏块的整个8×8色度分量块只有一种色度预测模式，而在4×4块预测中，一个宏块的整个8×8色度分量块分成4个4×4色度分量块，每个4×4色度分量块有各自的色度预测模式，各个色度分量块之间的色度预测模式可以相同，也可以不同。在实现对色度块像素值的预测过程中，4个4×4色度分量块可以同时预测，与对8×8色度分量块进行整体色度块像素值预测相比，4×4块预测的效率显然更高。

4×4色度分量块预测时当所需要的参考像素不可用时，使用最近的可用像素点来代替。4×4块预测的具体实现过程参照图8，对“1”、“2”、“3”、“4”块分别按照各自的预测模式进行预测，若其中“2”块在做预测时需要左边像素，但“2”块的左边为“1”块，所需要的参考像素不可用，因此使用最近的可用像素点来代替，即使用“1”块的左边像素；同样的，若其中“4”块在做预测时需要左边像素，则使用“3”块的左边像素；若其中“3”块在做预测时需要上边像素，则使用“1”块上边像素；若其中“4”块在做预测时需要上边像素，则使用“2”块的上边像素。这些块在做预测需要其他方向的像素时，与现有技术相同。利用上面所述的方法，“1”、“2”、“3”、“4”块的预测可以并行进行。

在现有的H.264帧内色度预测编码方法中，只能够实现8×8块预测，不能够实现4×4块预测。因此本发明方法与现有技术相比，其预测的效率显然得以提高，从而也能够提高编码的效率。

在步骤40中，计算预测残差。将上一步所得到预测块的像素值与待编码块的像素值做差，所得到的结果就是残差。

在步骤50中，对残差做DCT变换和量化。

在步骤60中，对残差系数做熵编码。

在步骤70中，将熵编码的结果按照码流格式要求输出。

以上步骤40-70中，所执行的各步操作在现有的H.264帧内色度预测编码方法中都有类似的实现，而且其中具体的实现技术也都是现有技术，因此，不再详细描述。

利用本实施例的方法，由于亮度分量的预测模式可以映射一种唯一的色度预测模式，因此在解码端采用同样的选择策略后，只要在编码端对亮度分量的预测模式进行编码，在解码端对亮度分量的预测模式进行解码，就可以直接对应相应的色度分量的预测模式，而不必对色度分量的空域预测模式进行编解码操作，从而进一步降低了编解码的复杂度。

Claims (9)

1、一种帧内图像预测编码方法，包括对所述帧内图像进行亮度预测编码和色度预测编码，其特征在于，在进行色度预测编码时，根据亮度预测编码的预测模式对应得到一个色度预测模式，用该色度预测模式对所述帧内图像进行色度预测编码。

2、根据权利要求1所述的帧内图像预测编码方法，其特征在于，所述亮度预测模式包括：VERT_16x16_PRED、HOR_16x16_PRED、DC_16x16_PRED、PLANE_16x16_PRED、VERT_4x4_PRED、HOR_4x4_PRED、DOWN_LEFT_4x4_PRED、DOWN_RIGHT_4x4_PRED、VERT_RIGHT_4x4_PRED、DC_4x4_PRED、HOR_DOWN_4x4_PRED、VER_LEFT_4x4_PRED、HOR_UP_4x4_PRED；所述色度预测模式包括：VERT_PRED_CHROMA、HOR_PRED_CHROMA、DC_PRED_CHROMA。

3、根据权利要求2所述的帧内图像预测编码方法，其特征在于，亮度预测模式与色度预测模式间的对应关系为：

VERT_16x16_PRED对应VERT_PRED_CHROMA；

HOR_16x16_PRED对应HOR_PRED_CHROMA；

DC_16x16_PRED对应DC_PRED_CHROMA；

PLANE_16x16_PRED对应DC_PRED_CHROMA；

VERT_4x4_PRED对应VERT_PRED_CHROMA；

HOR_4x4_PRED对应HOR_PRED_CHROMA；

DOWN_LEFT_4x4_PRED对应DC_PRED_CHROMA；

DOWN_RIGHT_4x4_PRED对应DC_PRED_CHROMA；

VERT_RIGHT_4x4_PRED对应DC_PRED_CHROMA；

DC_4x4_PRED对应DC_PRED_CHROMA；

HOR_DOWN_4x4_PRED对应DC_PRED_CHROMA；

VER_LEFT_4x4_PRED对应DC_PRED_CHROMA；

HOR_UP_4x4_PRED对应DC_PRED_CHROMA。

4、根据权利要求1所述的帧内图像预测编码方法，其特征在于，所述的帧内亮度预测模式由所选择的亮度分量块决定，而亮度分量块的选择方法根据色度分量预测时所采用的块的大小分为两类：

a)当色度分量按照8x8进行预测时，宏块中的8x8色度分量块只有一种预测模式，该预测模式通过当前宏块的16x16亮度分量块中的某一4x4亮度分量块的预测模式来映射；

b)当色度分量按照4x4进行预测时，宏块中的8x8色度分量块分成4个4x4块，这4个4x4块分别有自己的预测模式，每个块的预测模式通过当前宏块的16x16亮度分量的某一4x4块的预测模式来映射。

5、根据权利要求4所述的帧内图像预测编码方法，其特征在于，在亮度分量块的选择方法a)中，4x4亮度分量块的一个优选选择方案是选用16x16亮度分量块中左上角的4x4块。

6、根据权利要求4所述的帧内图像预测编码方法，其特征在于，在亮度分量块的选择方法b)中，4x4亮度分量块的一个优选选择方案是将当前宏块的16x16亮度分量块等分成4个8x8亮度分量块，每个4x4色度分量块对应一个8x8亮度分量块，每个4x4色度分量块选择相应8x8亮度分量块中左上角的4x4块的预测模式来映射。

7、根据权利要求1所述的帧内图像预测编码方法，其特征在于，帧内亮度预测模式与帧内色度预测模式间一一对应的映射关系是在帧内图像纹理分析和统计的基础上得到的。

8、根据权利要求1所述的帧内图像预测编码方法，其特征在于，帧内色度的预测编码过程根据预测所选用的色度块大小的不同而不同，包括：

a)8x8块预测，对8x8色度块进行整体预测；

b)4x4块预测，整个8x8色度分量块分成4个4x4色度分量块，根据每个4x4色度分量块各自的色度预测模式实现色度预测编码。

9、根据权利要求1所述的帧内图像预测编码方法，其特征在于，所述的4x4块预测时，4个4x4色度分量块的预测并行进行，在预测时当所需要的参考像素不可用时，使用最近的可用像素点来代替。

Images