HK1186030A1 - 图像编码设备、图像解码设备、图像编码方法、图像解码方法和程序 - Google Patents

Description

图像编码设备、图像解码设备、图像编码方法、图像解码方法和程序

技术领域

本发明涉及一种使用PCM编码的视频编码设备和视频解码设备。

背景技术

专利文献(PTL)1提出一种用于在输出比特流中嵌入指示未受到变换过程和熵编码过程的块类型的信息以便确保用于视频编码设备或者视频解码设备的某个处理时间的视频编码方法。

未受到变换过程和熵编码过程的块类型的示例是在非专利文献(NPL)1中描述的脉冲代码调制(PCM)。术语块类型意味着用于块的编码类型(下文提到的帧内预测、帧间预测和PCM)。

在NPL1中描述的视频编码设备具有在图14中所示的结构。图14中所示的视频编码设备在下文中被称为典型视频编码设备。

下文参照图14描述接收数字化视频的每个帧作为输入并且输出比特流的典型视频编码设备的结构和操作。

图14中所示的视频编码设备包括变换器/量化器102、熵编码器103、逆变换器/逆量化器104、缓冲器105、预测器106、PCM编码器107、PCM解码器108、复用数据选择器109、复用器110、开关121和开关122。

图14中所示视频编码设备将每帧划分成被称为宏块(MB)的16×16像素大小的块，并且从帧的左上方依次对每个MB编码。在NPL 1中描述的AVC中，将每个MB进一步划分成4×4像素大小的块，并且对4×4像素大小的每个块编码。

图15是示出在帧具有QCIF(四分之一共同中间格式)空间分辨率的情况下的块划分的示例的说明图。下文为了简化而在仅聚焦于照度的像素值之时描述每个单元的操作。

从块划分的输入视频减去从预测器106供应的预测信号，并且向变换器/量化器102输入结果。存在两种类型的预测信号，即帧内预测信号和帧间预测信号。下文描述每个预测信号。

帧内预测信号是基于与当前图片具有相同显示时间的重建图片的图像生成的预测信号并且存储于缓冲器105中。参照NPL 1中的8.3.1.用于照度采样的帧内4×4预测过程、8.3.2.用于照度采样的帧内8×8预测过程和8.3.3.用于照度采样的帧内16×16预测过程，三个块大小(即帧内4×4、帧内8×8和帧内16×16)的帧内预测可用。

如可以从图16中的(a)到(c)理解的那样，帧内4×4和帧内8×8分别是4×4块大小和8×8块大小的帧内预测。附图中的每个圆圈(○)代表用于帧内预测的参考像素，即与当前图片具有相同显示时间的重建图片的像素。

在帧内4×4的帧内预测中，重建的外围像素被直接设置为参考像素并且用于在图16中的(b)中所示的九个方向上填充(外推(extrapolation))。在帧内8×8的帧内预测中，在图16中的(c)中的右箭头之下所示的低通滤波器(1/2，1/4，1/2)平滑重建图片的图像的外围像素而获得的像素被设置为参考信号并且用于在图16中的(b)中所示的九个方向上的外推以形成预测信号。

类似地，如可以从图17中的(a)理解的那样，帧内16×16是16×16块大小的帧内预测。如图16中那样，附图中的每个圆圈(○)代表用于帧内预测的参考像素，即与当前图片具有相同显示时间的重建图片的像素。在帧内16×16的帧内预测中，重建图像的外围像素被直接设置为参考像素并且用于在图17中的(b)中所示的四个方向上外推以形成预测信号。

下文将使用帧内预测信号来编码的MB和块分别称为帧内MB和帧内块，将帧内预测的块大小称为帧内预测块大小，将外推的方向称为帧内预测方向。帧内预测块大小和帧内预测方向是与帧内预测有关的预测参数。

帧间预测信号是从与当前图片具有不同显示时间的重建图片的图像生成的预测信号并且存储于缓冲器105中。下文将使用帧间预测信号来编码的MB和块分别称为帧间MB和帧间块。可以例如从16×16、16×8、8×16、8×8、8×4、4×8和4×4选择帧间预测的块大小(帧间预测块大小)。

图18是示出使用16×16块大小的帧间预测的示例的说明图。图18中所示的运动矢量MV＝(mv_x，mv_y)是帧间预测的预测参数，该预测参数指示参考图片的帧间预测块(帧间预测信号)相对于待编码的块的平行平移量。在AVC中，帧间预测的预测参数不仅包括帧间预测方向(该帧间预测方向代表帧间预测信号的参考图片相对于待编码的块的待编码的图片而言的方向)并且包括参考图片索引(该参考图片索引用于标识用于待编码的块的帧间预测的参考图片)。这是因为在AVC中，在缓冲器105中存储的多个参考图片可以用于帧间预测。

在NPL 1中的8.4帧间预测过程中更具体描述帧间预测。

仅包括帧内MB的编码图片被称为I图片。不仅包括帧内MB而且包括帧间MB的编码图片被称为P图片。包括如下帧间MB的编码图片被称为B图片，这些帧间NB不是将一个参考图片而是两个参考图片同时用于帧间预测。在B图片中，其中帧间预测信号的参考图片相对于待编码的块的待编码的图片而言的方向为向过去的帧间预测被称为向前预测，其中帧间预测信号的参考图片相对于待编码的块的待编码的图片而言的方向为向将来的帧间预测被称为向后预测，并且涉及到过去和将来二者的帧间预测被称为双向预测。帧间预测的方向(帧间预测方向)是帧间预测的预测参数。

变换器/量化器102频率变换已经从其减去预测信号的图像(预测误差图像)。

变换器/量化器102还用预定量化步进宽度Qs量化频率变换的预测误差图像(频率变换系数)。下文将量化的频率变换系数称为变换量化值。

熵编码器103对预测参数和变换量化值熵编码。预测参数是与MB和块预测有关的信息，比如上文提到的块类型(帧内预测、帧间预测和PCM)、帧内预测块大小、帧内预测方向、帧间预测块大小和运动矢量。

逆变换器/逆量化器104用量化步进宽度Qs逆量化变换量化值。逆变换器/逆量化器104进一步逆频率变换通过逆量化获得的频率变换系数。预测信号与通过逆频率变换获得的重建预测误差图像相加，并且向开关122供应结果。

复用数据选择器109监视熵编码器103的与待编码的MB对应的输入数据量。在熵编码器103能够在MB的处理时间内对输入数据熵编码的情况下，复用数据选择器109选择熵编码器103的输出数据，并且使选择的数据经由开关121向复用器110供应。复用数据选择器109还选择逆变换/逆量化器104的输出数据，并且使选择的数据经由开关122向缓冲器105供应。

在熵编码器103不能在MB的处理时间内对输入数据熵编码的情况下，复用数据选择器109选择PCM编码器107的通过对MB的视频PCM编码而获得的输出数据，并且使选择的数据经由开关121向复用器110供应。复用数据选择器109进一步选择PCM解码器108的通过对PCM编码器107的输出数据PCM解码而获得的输出数据，并且使选择的数据经由开关122向缓冲器105供应。

缓冲器105存储经由开关122供应的重建图像。每帧的重建图像被称为重建图片。

复用器110复用熵编码器103和PCM编码器107的输出数据并且输出复用结果。

基于上文描述的操作，视频编码设备中的复用器110生成比特流。

引用列表

专利文献

PTL 1：公开号为2004-135251的日本专利申请

非专利文献

NPL 1：ISO/IEC 14496-10 Advanced Video Coding

NPL 2：“Test Model under Consideration”，Document：JCTVC-B205，Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting：Geneva，CH，21-28 July，2010

NPL 3：W.-J.Chen，X.Wang，and M.Karczewicz，“CE5Improved coding of inter prediction mode with LCEC，”JCTVC-D370

NPL 4：S.Liu，Y.-W.Huang，S.Lei，“Remove Partition SizeNxN，”JCTVC-D432

发明内容

技术问题

上文描述的技术通过在MB中使用未涉及到变换过程和熵编码过程的PCM来确保用于视频编码设备或者视频解码设备的某一处理时间。

然而，上文描述的典型技术基于如下视频编码，该视频编码使用固定编码单位大小(CU大小)的MB。因而，如在NPL 2中描述的那样，在上文描述的技术应用于如下视频编码(下文称为在考虑之下的测试模型方案(TMuC方案)，该视频编码使用图19中所示的如下四元树结构的编码单位(编码树块(CTB)，在该四元树结构中，CU大小可变并且在所有层(即所有深度)的CTB中的输出比特流中嵌入指示PCM的信息(PCM头部))，存在在比特流中包括的PCM头部的位数比率增加并且因此压缩视频的质量减少这样的问题。

这里，最大CTB被称为最大编码树块(LCTB)，并且最小CTB被称为最小编码树块(SCTB)。在本说明书中，与CTB对应的块被称为编码单位(CU)。另外，在TMuC方案中引入如下预测单位(PU)(见图20)的概念，该PU作为用于CU的预测的单位。图20是用于描述PU的说明图，其中仅支持来自图20中所示的形状之中的方形作为帧内预测块大小。

NPL 3描述帧间预测的信令的改进。NPL 4描述帧间预测和帧内预测的信令的改进。

为了解决上文描述的典型技术的问题，考虑可以在更高层CU中选择PCM以便确保用于视频编码设备或者视频解码设备的某一处理时间的观点。如从图19可见，更高层CU是更大深度值的CU。每帧的更高层CU的数目更小，因为它们的块大小更大。由于更高层CU的数目更小，所以可以减少在比特流中包括的PCM头部的位数比率。

在本发明中，通过在基于PCM编码的视频编码中限制针对其传输PCM头部的CU的深度来解决问题。也就是说，在本发明中，针对其传输PCM头部的CU大小限于预定大小。

对问题的解决方案

根据本发明的一种视频编码设备包括：变换装置，用于变换图像块；熵编码装置，用于对由变换装置变换的图像块的变换数据熵编码；PCM编码装置，用于通过PCM编码对图像块编码；复用数据选择装置，用于在从外界设置的块大小的块中选择熵编码装置或者PCM编码装置的输出数据；以及复用装置，用于在从外界设置的块大小的块中在比特流中嵌入PCM头部。

根据本发明的一种视频解码设备包括：解复用装置，用于解复用包括PCM块大小信息的比特流；PCM块大小确定装置，用于基于由解复用装置解复用的PCM块大小信息确定针对其解析PCM头部的PCM块大小；PCM头部解析装置，用于在由PCM块大小确定装置确定的PCM块大小的块中从比特流解析PCM头部；熵解码装置，用于对比特流中包括的图像的变换数据熵解码；逆变换装置，用于逆变换熵解码装置熵解码的变换数据；PCM解码装置，用于通过PCM解码对比特流中的图像的PCM数据解码；以及解码控制装置，用于基于由PCM头部解析装置解析的PCM头部控制熵解码装置和PCM解码装置。

根据本发明的一种视频编码方法，包括：在从外界设置的块大小的单位中选择通过对图像块的变换数据熵编码而获得的数据或者通过对图像块PCM编码而获得的数据；以及在从外界设置的块大小的块中在比特流中嵌入PCM头部。

根据本发明的一种视频解码方法，包括：解复用包括PCM块大小信息的比特流；基于解复用的PCM块大小信息确定用于解析PCM头部的PCM块大小；在确定的PCM块大小的块中从比特流解析PCM头部；基于PCM头部控制熵解码过程和PCM解码过程：在控制熵解码过程时对比特流中的图像的变换数据熵解码并且逆变换熵解码的变换数据；以及在控制PCM解码过程时通过PCM解码对比特流中的图像的PCM数据解码。

根据本发明的一种视频编码程序使计算机执行：选择过程，在从外界设置的块大小的单位中选择通过对图像块的变换数据熵编码而获得的数据或者通过对图像块PCM编码而获得的数据；以及复用过程，在从外界设置的块大小的块中在比特流中嵌入PCM头部。

根据本发明的一种视频解码程序，使计算机执行：解复用过程，解复用包括PCM块大小信息的比特流；PCM块大小确定过程，基于解复用的PCM块大小信息确定用于解析PCM头部的PCM块大小；PCM头部解析过程，在确定的PCM块大小的块中从比特流解析PCM头部；以及基于解析的PCM头部控制熵解码过程和PCM解码过程的过程：其中使计算机执行在控制熵解码过程时对比特流中的图像的变换数据熵解码并且逆变换熵解码的变换数据的过程，并且其中使计算机执行在控制PCM解码过程时通过PCM解码对比特流中的图像的PCM数据解码的过程。

本发明的有利效果

根据本发明，针对其信号通知PCM头部的编码单位大小被限于预定大小，从而使得可以保持比特流中的PCM头部的位数比率为低并且可以维持压缩视频的质量而又确保用于视频编码设备的某一处理时间。

另外，根据本发明，可以通过在比特流中嵌入用于向视频解码设备信号通知预定大小的PCM编码单位大小信息来增强视频编码设备和视频解码设备的互操作性。

附图说明

图1是示例性实施例1中的视频编码设备的框图。

图2是在PU语法中指示PCM头部的列表1的说明图。

图3是在序列参数集中指示PCM编码单位大小信息的列表2的说明图。

图4是示出PCM头部写入操作的流程图。

图5是示例性实施例2中的视频解码设备的框图。

图6示出PCM头部解析操作的流程图。

图7是在图片参数集中指示PCM编码单位大小信息的列表3的说明图。

图8是在分片头部中指示PCM编码单位大小的列表4的说明图。

图9是示例性实施例3中的在PU语法中指示PCM头部的列表1的说明图。

图10是示出示例性实施例3中的PCM头部解析操作的流程图。

图11是示出根据本发明的能够实现视频编码设备和视频解码设备的功能的信息处理系统的结构示例的框图。

图12是示出根据本发明的视频编码设备的主要部分的框图。

图13是示出根据本发明的视频解码设备的主要部分的框图。

图14是典型视频编码设备的框图。

图15是示出块划分示例的说明图。

图16是用于描述预测类型的说明图。

图17是用于描述预测类型的说明图。

图18是示出使用16×16块大小的帧间预测示例作为示例的说明图。

图19是用于描述CTB的说明图。

图20是用于描述PU的说明图。

具体实施方式

示例性实施例1

示例性实施例1示出如下视频编码设备，该视频编码设备包括：用于在从外界设置的CU大小中选择熵编码装置或者PCM编码装置的输出数据的装置；用于在比特流中在从外界设置的CU大小中嵌入PCM头部的装置；以及用于在比特流中嵌入用于向视频解码设备信号通知从外界设置的CU大小的与PCM编码单位大小有关的信息的装置。

为了使用具体示例来提供描述，在这一示例性实施例中，假设在比特流中针对其嵌入PCB头部的CU大小大于或者等于从外界设置的PCM编码单位大小(pcmCodingUnitSize)。也假设可用编码单位大小是128、64、32、16和8，并且pcmCodingUnitSize是16。如后文描述的那样，还假设与PCM编码单位大小有关的信息是通过将PCM编码单位大小除以最小编码单位大小而获得的值的以2为底的对数。因此，在这一示例性实施例中，与在比特流中针对其嵌入PCM头部的CU大小对应的块大小是128×128、64×64、32×32和16×16。另外，在比特流中嵌入的与CU大小有关的信息的具体值是1(＝log₂(16/8))。

如图1中所示，如同图14中所示的典型视频编码设备，在这一示例性实施例中的视频编码设备包括变换器/量化器102、熵编码器103、逆变换器/逆量化器104、缓冲器105、预测器106、PCM编码器107、PCM解码器108、复用数据选择器109、复用器110、开关121和开关122。在图1中所示的这一示例性实施例中的视频编码设备与图14中所示的视频编码设备不同在于向复用数据选择器109供应pcmCodingUnitSize以便在小于或者等于pcmCodingUnitSize的CU大小中传输PCM头部并且也向复用器110供应pcmCodingUnitSize以便向视频解码设备信号通知pcmCodingUnitSize。

从CU大小的输入视频减去从预测器106供应的预测信号，并且向变换器/量化器102输入结果。

变换器/量化器102频率变换已经从其减去预测信号的图像(预测误差图像)。

变换器/量化器102还用量化步进宽度Qs量化频率变换的预测误差大小(频率变换系数)。

熵编码器103对用于信号通知CU大小的split_coding_unit_flag(见图19)、从预测器106供应的预测参数和从变换器/量化器102供应的变换量化值熵编码。预测参数是与待编码的CU的预测有关的信息，比如块类型(帧内预测、帧间预测和PCM)、帧内预测块大小、帧内预测方向、帧间预测块大小和运动矢量。

基于经由复用数据选择器109从外界设置的pcmCodingUnitSize，在这一示例性实施例中的熵编码器103在待编码的CU具有大于或者等于pcmCodingUnitSize的大小并且也具有帧内预测这一预测模式的情况下将指示PCM编码的ON/OFF的pcm_flag语法熵编码为OFF。

逆变换器/逆量化器104用量化步进宽度Qs逆量化变换量化值。逆变换器/逆量化器104进一步逆频率变换通过逆量化获得的频率变换系数。预测信号与通过逆频率变换获得的重建预测误差图像相加，并且向开关122供应结构。

复用数据选择器109监视熵编码器103的与大于或者等于pcmCodingUnitSize的待编码的CU对应的输入数据量。在熵编码器103能够在大于或者等于pcmCodingUnitSize的待编码的CU的处理时间内对输入数据熵编码的情况下，复用数据选择器109选择熵编码器103的输出数据并且使选择的数据经由开关121向复用器110供应。复用数据选择器109还选择逆变换器/逆量化器104的输出数据并且使选择的数据经由开关122向缓冲器105供应。

在编码器103不能在待编码的CU的处理时间内对输入数据熵编码的情况下，复用数据选择器109先使熵编码器103熵编码和输出如下信息，该信息指示通过PCM编码对大于或者等于pcmCodingUnitSize的CU编码。具体而言，复用数据选择器109使熵编码器103在CU的PU头部中熵编码和输出指示块类型的mode_table_idx语法或者pred_mode语法为帧内预测，并且熵编码和输出指示PCM编码的ON/OFF的pcm_flag语法为ON。

接着，字节对准熵编码器103的输出位。具体而言，熵编码器103向复用器110供应pcm_alignment_zero_bit语法的预定数量。另外，针对后续编码初始化熵编码器103的编码引擎。

在初始化编码引擎之后，PCM编码器107通过PCM编码对CU的输入视频编码。PCM编码器107的照度输出数据pcm_sample_luma[i]具有输入视频的照度像素位长度bit_depth_luma。这里，i(0≤i≤255)是按照在CU的块内的光栅扫描顺序的索引。同样地，PCM编码器107的色差输出数据pcm_sample_chroma[i](i：0≤i≤128)具有输入视频的色差像素位长度bit_depth_chroma。

在通过PCM编码对CU的输入视频编码之后，CPM解码器108通过PCM解码对pcm_sample_luma[i]和pcm_sample_chroma[i]解码。

在PCM解码之后，复用数据选择器109选择PCM编码器107的输出数据，并且使选择的数据经由开关121向复用器110供应。

最后，复用数据选择器109选择PCM解码器108的输出数据，并且使选择的数据经由开关122向缓冲器105供应。

在符合NPL 1中的语法函数、类别和描述符以及NPL 2中的4.1.10预测单位语法的规范时，可以如在图2中所示的列表1中表示的那样信号通知上文提到的mode_table_idx语法、pred_mode语法、pcm_flag语法和pcm_alignment_zero_bit语法。在列表1中，变量pcm_unit_flag(该变量是pcm_alignment_zero_bit语法的信号通知条件)仅在信号通知用于PCM编码ON的pcm_flag语法的情况下为ON。否则，变量pcm_unit_flag为OFF。这一示例性实施例具有在列表1中仅根据条件“if(currPredUnitSize＞＝pcmCodingUnitSize)”在大小大于或者等于pcmCodingUnitSize的CU的PU头部中信号通知pcm_flag语法这样的特征。

复用器110复用与PCM编码单位大小有关的信息(max_pcm_coding_unit hierarchy_depth)以及熵编码器103和PCM编码器107的输出数据并且输出复用结果。在符合NPL 2中的4.1.2序列参数集RBSP语法时，如在图3中所示的列表2中表示的那样，在序列参数集的log2_min_coding_unit_size_minus3语法和max_coding_unit_hierarchy_depth语法之后复用max_pcm_coding_unit_hierarchy_depth语法(通过将PCM编码单位大小除以在这一示例性实施例中为“1”的最小编码单位大小而获得的值的以2为底的对数)。这里，max_pcm_coding_unit_hierarchy_depth可以被称为min_pcm_coding_unit_hierarchy_depth。log2_min_coding_unit_size_minus3语法和max_coding_unit_hierarchy_depth语法分别是用于确定SCU大小(MinCodingUnitSize)和LCU大小(MaxCodingUnitSize)的信息。分别计算MinCodingUnitSize和MaxCodingUnitSize如下：

MinCodingUnitSize＝1＜＜(log2_min_coding_unit_size_minus3+3)

MaxCodingUnitSize＝1＜＜(log2_min_coding_unit_size_minus3+3+max_coding_unit_hierarchy_depth)

max_coding_unit_hierarchy_depth语法和MinCodingUnitSize具有以下关系。

max_pcm_coding_unit_hierarchy_depth＝log₂(pcmCodingUnitSize/MinCodingUnitSize)

基于上文描述的操作，根据本发明的视频编码设备生成比特流。

下文参照图4中的流程图描述PCM头部写入操作，该操作是本发明的特征。

如图4中所示，在不能在待编码的CU的处理时间内熵编码的情况下，熵编码器103在步骤S101中将块类型熵编码为帧内预测。也就是说，熵编码器103将mode_table_idx语法或者pred_mode语法熵编码为帧内预测。在步骤S102中，熵编码器103对PCM头部熵编码。具体而言，熵编码器103将pcm_flag语法熵编码为ON。在步骤S103中，熵编码器103通过向复用器110供应pcm_alignment_zero_bit语法的预定数量来字节对准输出位。也就是说，熵编码器103输出pcm_alignment_zero_bit语法的预定数量。熵编码器103也初始化编码引擎。在步骤S104中，PCM编码器107通过PCM编码对CU的输入视频编码。

在这一示例性实施例中的视频编码设备包括：用于在从外界设置的编码单位大小中选择熵编码装置或者PCM编码装置的输出数据的复用数据选择装置；以及用于在比特流中在从外界设置的编码单位大小中嵌入PCM头部的复用装置。因此，可以保持比特流中的PCM头部的位数比率为低，并且可以维持压缩视频的质量而又确保用于视频编码设备的某一处理时间。

另外，复用装置在比特流中嵌入用于向视频解码设备信号通知从外界设置的CU大小的PCM编码单位大小信息，其中CU大小信息可以例如由相对于LCU或者SCU的深度而言的深度差表达。例如，在相对于LCU的深度(LCU_depth)来表达的情况下，可以将预定深度的CU大小表达为LCU大小的1/2^{(深度-LCU_depth)}(在转换成块大小时为1/4^{(深 度-LCU_depth)})。在相对于SCU的深度(SCU_depth)来表达的情况下，可以将预定深度的CU大小表达为SCU大小的2^{(SCU_depth-深度)}倍(在转换成块大小时为4^{(SCU_depth-深度)}倍)。

通过包括具有上文提到的特征的复用装置，本发明可以增强视频编码设备和视频解码设备的互操作性。

在这一示例性实施例中的视频编码设备包括用于在比特流中嵌入与针对其提供PCM头部的编码单位大小有关的信息，以便实现从比特流解析PCM头部并且在视频解码中同样执行在熵解码装置与PCM解码装置之间的切换的装置。因此，可以增强视频编码设备和视频解码设备的互操作性。

示例性实施例2

示例性实施例2示出对由示例性实施例1中的视频编码设备生成的比特流解码的视频解码设备。

在这一示例性实施例中的视频解码设备包括：用于解复用在比特流中复用的PCM编码单位大小信息的装置；用于基于解复用的PCM编码单位大小信息确定针对其解析PCM头部的预定块大小的块大小装置；用于在由块大小装置确定的编码单位大小中从比特流解析PCM头部的解析装置；以及用于基于由解析装置解析的PCM头部控制熵解码装置和PCM解码装置的解码控制装置。

如图5中所示，在这一示例性实施例中的视频解码设备包括解复用器201、解码控制器202、PCM解码器203、熵解码器204、逆变换器/逆量化器206、预测器207、缓冲器208、开关221和开关222。

解复用器201解复用输入比特流，并且提取PCM编码单位大小信息和熵编码或者PCM编码的视频比特流。解复用器201解复用如在图3中所示的列表2中代表的那样在log2_min_coding_unit_size_minus3语法和max_coding_unit_hierarchy_depth语法之后的max_pcm_coding_unit_hierarchy_depth语法。解复用器201然后使用解复用的语法值来确定针对其传输作为PCM头部的pcm_flag的PCM编码单位大小pcmCodingUnitSize如下。

pcmCodingUnitSize＝1＜＜(log2_min_coding_unit_size_minus3+3+max_pcm_coding_unit_hierarchy_depth)

因此，在这一示例性实施例中的解复用器201也具有基于解复用的PCM编码单位大小信息确定针对其解析PCM头部的编码单位的块大小的功能。

熵解码器24对视频比特流熵解码。

在待熵解码的编码单位(Cu)不是PCM编码的CU的情况下，熵解码器204对CU的预测参数和变换量化值熵解码，并且向逆变换器/逆量化器206和预测器207供应它们。

注意，在对split_coding_unit_flag(见图19)熵解码并且确定CU大小之后对PU头部中的指示PCM编码ON的pcm_flag语法熵解码的情况下对CU进行PCM编码。因此，在这一示例性实施例中的熵解码器204也具有在大小大于或者等于pcmCodingUnitSize的CU中从比特流解析包括pcm_flag语法的PCM头部的功能。

逆变换器/逆量化器206用量化步进宽度逆量化照度和色差的变换量化值。逆变换器/逆量化器206还逆频率变换通过逆量化获得的频率变换系数。

在逆频率变换之后，预测器207基于熵解码的预测参数使用在缓冲器208中存储的重建图片的图像来生成预测信号。

在预测信号生成之后，从预测器207供应的预测信号与由逆变换器/逆量化器206通过逆频率变换获得的重建预测误差图像相加，并且向开关222供应结果。

在预测信号相加之后，解码控制器202切换开关以向缓冲器208供应已经与预测信号相加的重建预测误差图像作为重建图像。

在对CU进行PCM编码的情况下，解码控制器202使熵解码器204的解码引擎被初始化。

解码控制器202然后使在熵解码的中间的视频比特流被字节对准。解码控制器202使pcm_alignment_zero_bit从视频比特流被解析直至字节对准。

此后，解码控制器202切换开关221以向PCM解码器203供应字节对准的视频比特流。

PCM解码器203通过PCM解码从字节对准的视频比特流解码与CU的块大小对应的、PCM编码的照度数据pcm_sample_luma[i]和色差数据pcm_sample_chroma[i]。

在PCM解码之后，解码控制器202切换开关222以向缓冲器208供应PCM解码的编码单位图像作为重建图像。解码控制器202向熵解码器204切换开关221以用于对下一宏块解码。

然后输出在缓冲器208中存储的重建图片作为解码图像。

基于上文描述的操作，在这一示例性实施例中的视频解码设备生成解码图像。

下文参照图6中的流程图描述PCM头部解析操作，该操作是本发明的特征。

如图6中所示，在对CU进行PCM编码的情况下，熵解码器204在步骤S201中对split_coding_unit_flag熵解码并且确定CU大小。在步骤S202中，熵解码器204对块类型熵解码。也就是说，熵解码器204对mode_table_idx语法或者pred_mode语法熵解码。在步骤S203和S204中，熵解码器204仅在块类型为帧内预测并且CU大小是大于或者等于pcmCodingUnitSize的大小的情况下对pcm_flag语法熵解码。在pcm_flag语法为ON的情况下，在步骤S205中，熵解码器204初始化解码引擎。熵解码器204也通过解析来自解复用器201的pcm_alignment_zero_bit语法的预定数量来字节对准视频比特流。PCM解码器203通过PCM解码从字节对准的视频比特流解码与CU块大小对应的、PCM编码的照度数据pcm_sample_luma[i]和色差数据pcm_sample_chroma[i]。在CU不是PCM编码的CU(步骤S203)的情况下或者在熵解码器204未对PU头部中的指示PCM解码ON的pcm_flag语法熵解码(步骤S204)的情况下，熵解码器204对后继CU的预测参数和变换量化值熵解码，并且向逆变换器/逆量化器206和预测器207供应它们。

在这一示例性实施例中的视频解码设备可以基于解复用的PCM编码单位大小信息在确定的PCM编码单位大小的编码单位中从比特流解析PCM头部，并且在熵解码装置与PCM解码装置之间切换。因此，可以对其中PCM头部的位数比率低以由此维持视频质量的比特流解码而又确保用于视频解码设备的某一处理时间。

注意，视频编码设备可以如在图7中所示的列表3或者图8中所示的列表4中代表的那样在图片参数集或者分片头部中复用示例性实施例1中使用的PMC编码单位大小信息(max_pcm_coding_unit_hierarchy_depth)。类似地，视频解码设备可以从图片参数集或者分片头部解复用max_pcm_coding_unit_hierarchy_depth语法。

另外，max_pcm_coding_unit_hierarchy_depth语法可以是通过将最大编码单位大小(MaxCodingUnitSize)除以PCM编码单位大小(pcmCodingUnitSize)而获得的值的以2为底的对数。也就是说，可以使用以下表达式。

max_pcm_coding_unit_hierarchy_depth＝log₂(MaxCodingUnitSize/pcmCodingUnitSize)

在这一情况下，在视频解码设备中，可以基于max_pcm_coding_unit_hierarchy_depth语法计算PCM编码单位大小如下。

pcmCodingUnitSize＝1＜＜(log2_min_coding_unit_size_minus3+3+max_coding_unit_hierarchy_depth-max_pcm_coding_Unit_hierarchy_depth)

注意，视频编码设备可以级联和编码pcm_flag语法与mode_table_idx语法或者pred_mode语法。例如，在大小大于或者等于PCM编码单位大小的CU中，可以设置mode_table_idx＝0(码字1)作为帧间预测、mode_table_idx＝1(码字00)作为帧内预测而pcm_flag＝OFF并且mode_table_idx＝2(码字01)作为PCM。在大小小于PCM编码单位大小的CU中，可以设置mode_table_idx＝0(码字0)作为帧间预测并且mode_table_idx＝1(码字1)作为帧内预测而pcm_flag＝OFF。

在这一情况下，在大小大于或者等于PCM编码单位大小的CU中，视频解码设备解译码字1(mode_table_idx＝0)为帧间预测、码字00(mode_table_idx＝1)为帧内预测而pcm_flag＝OFF并且码字01(mode_table_idx＝2)为PCM。在大小小于PCM编码单位大小的CU中，视频解码设备解译码字0(mode_table_idx＝0)为帧间预测并且码字1(mode_table_idx＝1)为帧内预测而pcm_flag＝OFF。

示例性实施例3

在上文描述的示例性实施例中的每个示例性实施例中，在更高层CU中选择PCM以便确保用于视频编码设备或者视频解码设备的某一处理时间。然而，在考虑往往在具有低像素间相关性的图像块中选择PCM(即往往在划分的小区域的更低层CU中选择PCM)的情况下，使针对其选择PCM的CU大小限于预定大小或者更小也有意义。基于这样的考虑，也可以减少比特流中的PCM头部的位数比率。如从图19可见，这里提到的更低层CU是具有更大深度值的CU。

在示例性实施例3中，视频编码设备使针对其选择PCM的CU大小限于预定大小或者更小。视频编码设备具有与图1中所示相同的结构。

作为示例，在使针对其选择PCM的CU大小限于预定大小或者更小的情况下，设置在比特流中针对其嵌入PCM头部的CU大小小于或者等于从外界设置的PCM编码单位大小(pcmCodingUnitSize)。也假设可用编码单位大小是128、64、32、16和8并且pcmCodingUnitSize是16。

在视频编码设备中，复用数据选择器109监视熵编码器103的与小于或者等于pcmCodingUnitSize的待编码的CU对应的输入数据量。在熵编码器103能够在小于或者等于pcmCodingUnitSize的待编码的CU的处理时间内对输入数据熵编码的情况下，复用数据选择器103选择熵编码器103的输出数据，并且使选择的数据经由开关121向复用器110供应。在熵编码器103不能在待编码的CPU的处理时间内对输入数据熵编码的情况下，复用数据选择器109先使熵编码器103熵编码和输出如下信息，该信息指示对大小小于或者等于pcmCodingUnitSize的CU进行PCM编码。具体而言，复用数据选择器109使熵编码器103在CU的PU头部中熵编码和输出指示块类型的mode_table_idx语法或者pred_mode语法为帧内预测，并且熵编码和输出指示PCM编码的ON/OFF的pcm_flag语法为ON。

在这一示例性实施例中，在符合NPL 1中的语法函数、类别和描述符以及NPL 2中的4.1.10预测单位语法的规范时，视频编码设备可以如在图9中所示的列表1中表示的那样信号通知上文提到的mode_table_idx语法、pred_mode语法、pcm_flag语法和pcm_alignment_zero_bit语法。在图9中所示的列表1中，变量pcm_unit_flag(该变量是pcm_alignment_zero_bit语法的信号通知条件)仅在信号通知用于PCM编码ON的pcm_flag语法的情况下为ON。否则，变量pcm_unit_flag为OFF。这一示例性实施例具有在列表1中仅根据条件“if(currPredUnitSize＜＝pcmCodingUnitSize)”在大小小于或者等于pcmCodingUnitSize的CU的PU头部中信号通知pcm_flag语法这样的特征。视频编码设备的其它过程与示例性实施例1中的过程相同。此外，在这一示例性实施例中的列表1的内容与示例性实施例1中的图2中所示的列表1的内容相同。

示例性实施例4

示例性实施例4示出对由示例性实施例3中的视频编码设备生成的比特流解码的视频解码设备。

在示例性实施例4中的视频解码设备具有与图5中所示的相同结构。然而，在示例性实施例4中，视频解码设备执行如图10中的流程图中所示PCM头部解析操作。在对CU进行PCM编码的情况下，熵解码器204在步骤S201中对split_coding_unit_flag熵解码并且确定CU大小。在步骤S202中，熵解码器204对块类型熵解码。也就是说，熵解码器204对mode_table_idx语法或者pred_mode语法熵解码。在步骤S203B和S204中，熵解码器204仅在块类型为帧内预测并且CU大小小于或者等于pcmCodingUnitSize的大小的情况下对pcm_flag语法熵解码。在pcm_flag语法为ON的情况下，在步骤S205中，熵解码器204初始化解码引擎。熵解码器204也通过解析来自解复用器201的pcm_alignment_zero_bit语法的预定数量来字节对准视频比特流。PCM解码器203通过PCM解码从字节对准的视频比特流解码与CU块大小对应的、PCM编码的照度数据pcm_sample_luma[i]和色差数据pcm_sample_chroma[i]。视频解码设备的其它过程与示例性实施例2中的过程相同。

在使针对其选择PCM的CU大小限于预定大小或者更小的情况下，在视频解码设备中的熵解码器204也具有在大小小于或者等于pcmCodingUnitSize的CU中从比特流解析包括pcm_flag语法的PCM头部的功能。

在这一示例性实施例中，可以对其中PCM头部的位数比率低以由此维持视频质量的比特流解码而又确保用于视频解码设备的某一处理时间。

注意，在示例性实施例3中的视频编码设备可以级联和编码pcm_flag语法与mode_table_idx语法或者pred_mode语法。例如，在大小小于或者等于PCM编码单位大小的CU中，可以设置mode_table_idx＝0(码字0)作为帧内预测而pcm_flag＝OFF、mode_table_idx＝1(码字10)作为帧间预测并且mode_table_idx＝2(码字11)作为PCM。在大小大于PCM编码单位大小的CU中，可以设置mode_table_idx＝0(码字0)作为帧内预测而pcm_flag＝OFF并且mode_table_idx＝1(码字1)作为帧间预测。

在这一情况下，在大小小于或者等于PCM编码单位大小的CU中，在示例性实施例4中的视频解码设备解译码字0(mode_table_idx＝0)为帧内预测而pcm_flag＝OFF、码字10(mode_table_idx＝1)为帧间预测并且码字11(mode_table_idx＝2)为PCM。在大小大于PCM编码单位大小的CU中，视频解码设备解译码字0(mode_table_idx＝0)为帧内预测而pcm_flag＝OFF并且码字1(mode_table_idx＝1)为帧间预测。

可以用与在mode_table_idx语法的示例中相同的方式级联和编码pcm_flag语法和pred_mode语法。

在上文描述的示例性实施例中，在使PCM编码单位大小限于最大编码单位大小的情况下，无需在比特流中显式地嵌入PCM块大小信息。这是因为与最大编码单位大小有关的信息在这样的情况下隐式地包括PCM块大小信息。

在上文描述的示例性实施例中，在使PCM编码单位大小限于最小编码单位大小的情况下，无需在比特流中显式地嵌入PCM块大小信息。这是因为与最小编码单位大小有关的信息在这样的情况下隐式地包括PCM块大小信息。

可以用与在mode_table_idx语法的上文提到的示例中相同的方式级联和编码pcm_flag语法和pred_mode语法。例如，在帧内分片中，可以如在NPL 3中描述的那样关联语法和码字如下(注意这如在NPL 4中描述的那样基于无N×N分区(帧内预测和帧间预测)存在于除了最小编码单位之外的编码单位中这样的假设)。

[在包括PCM编码的最小编码单位中在语法与码字之间的对应性]

语法         码字

帧内2N×2N   1

帧内N×N     01

PCM          00

[在包括PCM编码的除了最小编码单位之外的CU中在语法与码字之间的对应性]

语法        码字

帧内2N×2N  1

PCM         0

[在不包括PCM编码的最小编码单位中在语法与码字之间的对应性]

语法        码字

帧内2N×2N  1

帧内N×N     0

[在不包括PCM编码的最小编码单位中在语法与码字之间的对应性]

语法        码字

帧内2N×2N  无

注意，“包括PCM编码的CU”为PCM编码单位大小的CU，并且“不包括PCM编码的CU”为非PCM编码单位大小的CU。在这一情况下，例如在帧内分片中的包括PCM编码的最小编码单位中，视频解码设备解译码字1为2N×2N帧内预测、码字01为N×N帧内预测并且码字00为PCM。

类似地，在非帧内分片中，可以关联语法和码字如下。

[所有CU共同的在语法与码字之间的对应性]

[在其它之后在包括PCM编码的最小编码单位中在语法与码字之间的对应性]

[在其它之后在包括PCM编码的除了最小编码单位之外的CU中在语法与码字之间的对应性]

[在其它之后在不包括PCM编码的最小编码单位中在语法与码字之间的对应性]

[在其它之后在不包括PCM编码的除了最小编码单位之外的CU中在语法与码字之间的对应性]

语法         码字

帧间2N×N    0

帧间N×2N    01

帧内2N×2N   00

在这一情况下，例如在包括PCM编码的最小编码单位中，视频解码设备解译在其它之后的码字0为2N×N帧间预测、码字01为N×2N帧间预测、码字001为N×N帧间预测、码字0001为2N×2N帧内预测、码字00001为N×N帧内预测并且码字00000为PCM。

注意，帧内分片是仅由通过帧内预测编码的编码单位组成的分片，并且非帧内预测是包括通过帧间预测编码的编码单位的分片。

上文描述的示例性实施例中的每个示例性实施例可以由硬件实现或者可以由计算机程序实现。

图11中所示的信息处理系统包括处理器1001、程序存储器1002、用于存储视频数据的存储介质1003和用于存储比特流的存储介质1004。存储介质1003和存储介质1004可以是分离的存储介质或者可以是在相同存储介质中包括的存储区域。作为存储介质，可适用磁存储介质，比如硬盘。

在图11中所示的信息处理系统中，在程序存储器1002中存储用于实现图1和图5中的每幅图中所示的块(除了缓冲器块之外)的功能的程序。处理器1001通过根据在程序存储器1002中存储的程序执行处理来实现图1或者图5中所示的视频编码设备或者视频解码设备的功能。

图12是示出根据本发明的视频编码设备的主要部分的框图。如图12中所示，根据本发明的视频编码设备包括：变换装置11(例如，图1中所示的变换器/量化器102)，用于变换图像块；熵编码装置12(例如，图1中所示的熵编码器103)，用于对由变换装置11变换的图像块的变换数据熵编码；PCM编码装置13(例如，图1中所示的PCM编码器107)，用于通过PCM编码对图像块编码；复用数据选择装置14(例如，复用数据选择器109和开关121)，用于在从外界设置的块大小的块中选择熵编码装置12(例如，图1中所示的熵编码器103)或者PCM编码装置13的输出数据；以及复用装置15(例如，图1中所示的复用器110)，用于在从外界设置的块大小的块中在比特流中嵌入PCM头部。

图13是示出根据本发明的视频解码设备的主要部分的框图。如图13中所示，根据本发明的视频解码设备包括：解复用装置21(例如，图5中所示的解复用装置201)，用于解复用包括PCM块大小信息的比特流；PCM块大小确定装置22(例如，图5中所示的解复用器201)，用于基于由解复用装置21解复用的PCM块大小信息确定针对其解析PCM头部的PCM块大小；PCM头部解析装置23(例如，图5中所示的熵解码器204)，用于在由PCM块大小确定装置22确定的PCM块大小的块中从比特流解析PCM头部；熵解码装置24(例如，图5中所示的熵解码器204)，用于对比特流中的图像的变换数据熵解码；逆变换装置25(例如，图5中所示的逆变换器/逆量化器206)，用于逆变换由熵解码装置24熵解码的变换数据；PCM解码装置26(例如，图5中所示的PCM解码器203)，用于通过PCM解码对比特流中的图像的PCM数据解码；以及解码控制装置27(例如，图5中所示的解码控制器202)，用于基于由PCM头部解析装置23解析的PCM头部控制熵解码装置24和PCM解码装置26。

可以在以下补充附录中部分或者完全描述上文描述的示例性实施例，但是本发明不限于以下结构。

(补充附录1)一种视频编码设备，其中复用装置在外部设置的块大小大于或者等于与最大编码单位大小对应的块大小的1/4^N的情况下或者在外部设置的块大小大于或者等于与最小编码单位大小对应的块大小的4^N倍的情况下，在比特流中嵌入与N有关的信息作为PCM块大小信息。

(补充附录2)一种视频解码设备，其中解复用装置在块大小大于或者等于与最大编码单位大小对应的块大小的1/4^N的情况下或者在块大小大于或者等于与最小编码单位大小对应的块大小的4^N倍的情况下，获得与N有关的信息作为PCM块大小信息。

(补充附录3)一种视频编码设备，其中复用装置在外部设置的块大小小于或者等于与最大编码单位大小对应的块大小的1/4^N的情况下或者在外部设置的块大小小于或者等于与最小编码单位大小对应的块大小的4^N倍的情况下在比特流中嵌入与N有关的信息作为PCM块大小信息。

(补充附录4)一种视频解码设备，其中解复用装置在块大小小于或者等于与最大编码单位大小对应的块大小的1/4^N的情况下或者在块大小小于或者等于与最小编码单位大小对应的块大小的4^N倍的情况下，获得与N有关的信息作为PCM块大小信息。

尽管已经参照上述示例性实施例和示例描述了本发明，但是本发明不限于上述示例性实施例和示例。可以对本发明的结构和细节进行本领域技术人员在本发明的范围内可理解的各种改变。

本申请要求基于通过完全引用将公开内容结合于此、于2010年11月26日提交的第2010-264320号日本专利申请和于2011年2月9日提交的第2011-026331号日本专利申请的优先权。

标号列表

Claims (16)

1.一种视频编码设备，包括：

变换装置，用于变换图像块；

熵编码装置，用于对由所述变换装置变换的所述图像块的经变换的数据熵编码；

PCM编码装置，用于通过PCM编码来编码所述图像块；

复用数据选择装置，用于在从外界设置的块大小的块中，选择所述熵编码装置或者所述PCM编码装置的输出数据；以及

复用装置，用于在从所述外界设置的所述块大小的所述块中在比特流中嵌入PCM首部头部。

2.根据权利要求1所述的视频编码设备，其中所述复用装置在所述比特流中嵌入用于信号通知从所述外界设置的所述块大小的PCM块大小信息。

3.根据权利要求2所述的视频编码设备，其中从所述外界设置的所述块大小大于或者等于与最大编码单位大小对应的块大小的1/4^N。

4.根据权利要求2所述的视频编码设备，其中从所述外界设置的所述块大小大于或者等于与最小编码单位大小对应的块大小的4^N倍。

5.根据权利要求2所述的视频编码设备，其中从所述外界设置的所述块大小小于或者等于与最大编码单位大小对应的块大小的1/4^N。

6.根据权利要求2所述的视频编码设备，其中从所述外界设置的所述块大小小于或者等于与最小编码单位大小对应的块大小的4^N倍。

7.一种视频解码设备，包括：

解复用装置，用于对包括PCM块大小信息的比特流解复用；

PCM块大小确定装置，用于基于由所述解复用装置解复用的所述PCM块大小信息，来确定用于解析PCM头部的PCM块大小；

PCM头部解析装置，用于在由所述PCM块大小确定装置确定的所述PCM块大小的块中，从所述比特流解析所述PCM头部；

熵解码装置，用于对所述比特流中的图像的经变换的数据熵解码；

逆变换装置，用于对由所述熵解码装置熵解码的所述经变换的数据逆变换；

PCM解码装置，用于通过PCM解码来解码所述比特流中的所述图像的PCM数据；以及

解码控制装置，用于基于由所述PCM头部解析装置解析的所述PCM头部，来控制所述熵解码装置和所述PCM解码装置。

8.根据权利要求7所述的视频解码设备，其中所述解复用装置对所述比特流解复用以获得用于信号通知所述块大小的所述PCM块大小信息。

9.根据权利要求8所述的视频解码设备，其中所述块大小大于或者等于与最大编码单位大小对应的块大小的1/4^N。

10.根据权利要求8所述的视频解码设备，其中所述块大小大于或者等于与最小编码单位大小对应的块大小的4^N倍。

11.根据权利要求8所述的视频解码设备，其中所述块大小小于或者等于与最大编码单位大小对应的块大小的1/4^N。

12.根据权利要求8所述的视频解码设备，其中所述块大小小于或者等于与最小编码单位大小对应的块大小的4^N倍。

13.一种视频编码方法，包括：

在块大小的单位中选择通过对图像块的经变换的数据熵编码而获得的数据或者通过对所述图像块PCM编码而获得的数据；以及

在从外界设置的所述块大小的块中，在比特流中嵌入PCM头部。

14.一种视频解码方法，包括：

对包括PCM块大小信息的比特流解复用；

基于解复用的所述PCM块大小信息，来确定用于解析PCM头部的PCM块大小；

在确定的所述PCM块大小的块中，从所述比特流解析所述PCM头部；

基于解析的所述PCM头部来控制熵解码过程和PCM解码过程：

在所述熵解码过程被控制的情况下，对所述比特流中的图像的经变换的数据熵解码并且对熵解码后的所述经变换的数据逆变换；以及

在所述PCM解码过程被控制的情况下，通过PCM解码来解码所述比特流中的所述图像的PCM数据。

15.一种视频编码程序，用于使计算机执行：

选择过程，用于在从外界设置的块大小的单位中，选择通过对图像块的经变换的数据熵编码而获得的数据，或者通过对所述图像块PCM编码而获得的数据；以及

复用过程，用于在从所述外界设置的所述块大小的块中，在比特流中嵌入PCM头部。

16.一种视频解码程序，用于使计算机执行：

解复用过程，用于对包括PCM块大小信息的比特流解复用；

PCM块大小确定过程，用于基于解复用的所述PCM块大小信息，来确定用于解析PCM头部的PCM块大小；

PCM头部解析过程，用于在确定的所述PCM块大小的块中，从所述比特流解析所述PCM头部；以及

基于解析的所述PCM头部来控制熵解码过程和PCM解码过程的过程：

其中使所述计算机执行在所述熵解码过程被控制的情况下对所述比特流中的图像的经变换的数据熵解码并且对熵解码后的所述经变换的数据逆变换的过程，以及

其中使所述计算机执行在所述PCM解码过程被控制的情况下通过PCM解码来解码所述比特流中的所述图像的PCM数据的过程。