CN103379318B - 一种视频码流编码方法和装置 - Google Patents

Abstract

本发明公开了一种视频码流编码方法和装置，能够提高编码器的性能，降低其片上内存的开销。所述编码装置包括预测变换模块、熵编码模块、滤波模块，其中：预测变换模块用于进行帧内和/或帧间预测，输出预测结果，包括重建信息和残差信息，其中重建信息输出至滤波模块，残差信息输出至熵编码模块；滤波模块用于对输入的重建信息进行滤波处理，将滤波后的信息输出至熵编码模块；熵编码模块用于与所述滤波模块并行处理，在滤波模块进行滤波处理的同时，对输入的残差信息进行编码处理，编码处理结束后，再对从滤波模块输入的滤波后的信息进行编码处理。本发明通过先熵编码残差信息再编码滤波信息，能够减少流水线级数，减少缓冲，从而减少芯片面积。

Description

一种视频码流编码方法和装置

技术领域

本发明涉及视频编解码领域，具体涉及一种视频码流的编码方法和装置。

背景技术

语法结构是由若干个语法元素按照视频编解码协议所描述的顺序进行组织，生成视频码流(syntax structure：Zero or more syntax elements present together inthe bitstream in a specified order.)。其中语法元素表示码流中的各种编码信息(syntax element：An element of data represented in the bitstream.)。片(Slice)是编码图像的一种划分，它包含了按编码单元(该编码单元可以是H.264等标准中的MB(MacroBlock，16x16)或者HEVC(High efficiency video coding，高效率视频编码)标准中的CU(Coding Unit)或LCU(Large Coding Unit))扫描顺序的若干个编码单元。片的语法结构是视频编解码标准中最基本的语法结构，分为两大部分，分别为片头(Slice Header)和片数据(Slice Data)。片头的语法结构规定了片内所有编码单元编解码过程中所需使用的公共信息，如标志位(flags)、片类型、片地址等语法元素的位置和解析方法。片数据的语法结构规定了片中所有的编码单元编码信息的组织与解析方法。

编码单元的语法结构规定视频编解码标准中各个功能模块所产生的编码信息的组织与编码的方法。同时，编码单元的语法结构也影响到视频算法专用集成电路ASIC(Application Specific Integrated Circuit)的设计，从而对视频算法的ASIC的性能产生很大的影响。

专用集成电路(ASIC)实现视频编码器，一般都是编码器中不同的功能模块对多个编码单元进行并行的流水线操作，按编码单元进行实时编解码。功能模块划分到哪一级的流水线中，一般与功能模块之间的依赖关系以及复杂度相关，一般情况下各级流水线处理编码单元数据的时间相当。如图1和图2所示的一个H.264编码器的结构图，该编码器由5个功能模块组成，被划分为4级(stage)流水线结构，图中的熵编码和去块效应滤波属于同级流水。假设流水线有N级，在建立流水后，N级流水线的功能模块是并行对N个编码单元进行处理。如图2和图3所示，每个时刻4级流水对4个编码单元进行处理，在流水线建立完成之后(如图3中时刻k+3后)，每个时间段都会编码完一个编码单元。但如图2所示，每个功能模块处理后的数据需要缓存(buf)，之后再由下一级功能模块进行处理。

传统熵编码功能模块EC(Entropy Coding)处于编码器的最后一级流水线中，其接收前面功能模块传递过来的待编码的编码单元的信息，并进行编码。在某些标准里面，由于某个功能模块与熵编码功能模块没有依赖关系(例如H.264中的去块效应滤波)，所以可以与熵编码模块同处流水线最后一级，两者可以并行的进行。但是在有的视频标准中，熵编码功能模块的输入不仅有从其前一级功能模块传递下来待编码的信息，同时也有从与其同级的流水线功能模块传递过来待编码的信息，这时熵编码模块的处理顺序决定了这个功能模块能否与熵编码功能模块处在流水线的同一级。

如图4所示，在第四级流水中，信息1缓存表示对第三级功能模块传递过来的信息的缓存，缓存3表示对第四级功能模块传递过来的信息的缓存，在第四级流水熵编码处理过程中，熵编码功能模块先对信息1缓存中的信息进行处理，再对缓存3中的信息进行处理。假如熵编码功能模块需要首先编码与其同级流水线中的功能模块的信息，那么熵编码功能模块和与其同级的功能模块就只能是串行的，熵编码功能模块需要等待其处理完成后才能工作。此时只能将熵编码功能模块单独的放在最后一级，熵编码功能模块之前就要增加相应的缓冲，以缓冲前一级需要编码的编码单元的信息。如图5所示，因为第三级功能模块产生的信息不能被下一级所消耗，要到第5级才能被消耗，而且流水线每一级每个时间段都会生成信息，第三级功能模块到第五级功能模块跨越了2个时间段，因此在第五级流水时第三级功能模块生成了两份信息1，这两份信息都需要缓存，另外，所以就需要把第3级流水产生的信息，在下一个时间段存储起来(即第4级流水所处的时间段)，在第5级流水使用，导致片上内存的开销较大。

发明内容

本发明所要解决的技术问题是提供一种视频码流编码方法和装置，能够提高编码器的性能，降低其片上内存的开销。

为解决上述技术问题，本发明提供了一种视频码流编码装置，包括预测变换模块、熵编码模块、滤波模块，其中：

所述预测变换模块，用于进行帧内和/或帧间预测，输出预测结果，包括：重建信息和残差信息，其中重建信息输出至滤波模块，残差信息输出至熵编码模块；

所述滤波模块，用于对输入的重建信息进行滤波处理，将滤波后的信息输出至熵编码模块；

所述熵编码模块，用于与所述滤波模块并行处理，在滤波模块进行滤波处理的同时，对输入的残差信息进行编码处理，编码处理结束后，再对从滤波模块输入的滤波后的信息进行编码处理。

进一步地，所述滤波模块包括多个滤波子模块；

所述熵编码模块是用于采用以下方式对从多个滤波子模块输入的滤波后的信息进行编码处理：按照各滤波子模块滤波顺序对滤波后信息进行编码处理。

进一步地，所述滤波模块是用于采用以下方式对输入的重建信息进行滤波处理：第一级滤波子模块接收重建信息，进行第一级滤波处理，将处理后得到的第一信息输出至熵编码模块；

所述熵编码模块与多个滤波子模块是用于采用以下方式进行并行处理：熵编码模块对从第一级滤波子模块输入的第一信息进行编码处理，与此同时，第二级滤波子模块进行第二级滤波处理，输出第二信息，当熵编码模块对第一信息编码结束后，对第二级滤波子模块输入的第二信息进行编码处理，以此类推，直到熵编码模块对所有滤波子模块输出的结果编码处理完毕。

进一步地，所述视频码流编码装置为高效率视频编码(HEVC)器；所述滤波模块包括去块效应滤波功能模块和样本点自适应滤波功能模块。所述预测变换模块包括：整像素运动估计功能模块、分像素运动估计功能模块、帧内预测及重建功能模块。

为解决上述技术问题，本发明还提供了一种视频码流编码方法，包括：

预测变换模块进行帧内和/或帧间预测，输出预测结果，包括：重建信息和残差信息，其中重建信息输出至滤波模块，残差信息输出至熵编码模块；

熵编码模块与所述滤波模块并行处理，在滤波模块进行滤波处理的同时，对输入的残差信息进行编码处理，编码处理结束后，再对从滤波模块输入的滤波后的信息进行编码处理。

进一步地，所述滤波模块包括多个滤波子模块；

所述熵编码模块与所述滤波模块并行处理，包括：所述熵编码模块与多个滤波子模块并行运行；

所述熵编码模块对从滤波模块输入的滤波后的信息进行编码处理，包括：所述熵编码模块按照各滤波子模块滤波顺序对滤波后信息进行编码处理。

进一步地，所述熵编码模块与多个滤波子模块并行运行，包括：第一级滤波子模块接收重建信息，进行第一级滤波处理，将处理后得到的第一信息输出至熵编码模块，熵编码模块对从第一级滤波子模块输入的第一信息进行编码处理，与此同时，第二级滤波子模块进行第二级滤波处理，输出第二信息，当熵编码模块对第一信息编码结束后，对第二级滤波子模块输入的第二信息进行编码处理，以此类推，直到熵编码模块对所有滤波子模块输出的结果编码处理完毕。

进一步地，所述滤波模块包括去块效应滤波功能模块和样本点自适应滤波功能模块。所述预测变换模块包括：整像素运动估计功能模块、分像素运动估计功能模块、帧内预测及重建功能模块。

采用本发明实施例提出的视频流编码方法和装置，通过先熵编码残差信息再编码滤波信息，能够减少流水线级数，减少缓冲，从而减少芯片面积，另外还可以降低延时，能提高编码器的性能。

附图说明

图1是一种H.264编码器功能模块划分的结构图；

图2是一种基于4级编码单元的流水H.264编码器结构图；

图3是4级流水H.264编码器处理示意图；

图4是熵编码需要编码与其同级功能模块的信息的示意图；

图5是增加一级缓存的编码器结构示意图；

图6是本发明实施例1编码装置结构示意图；

图7是本发明实施例1编码装置熵编码模块与多个滤波子模块并行运行的示意图；

图8是本发明实施例1编码装置的流水线结构图；

图9是当熵编码与滤波模块不处于同级时的装置结构示意图；

图10是本发明实施例2编码方法流程图；

图11是一个4级流水线结构的HEVC高级视频编解码标准编码器结构图；

图12是HEVC编码器中熵编码模块与滤波模块并行运行示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例1

本实施例装置如图6所示，包括预测变换模块、熵编码模块、滤波模块，其中：

该预测变换模块，用于进行帧内和/或帧间预测，输出预测结果，包括：重建信息和残差信息，其中重建信息输出至滤波模块，残差信息输出至熵编码模块；

该滤波模块，用于对输入的重建信息进行滤波处理，将滤波后的信息输出至熵编码模块；

该熵编码模块，用于与所述滤波模块并行处理，在滤波模块进行滤波处理的同时，对输入的残差信息进行编码处理，编码处理结束后，再对从滤波模块输入的滤波后的信息进行编码处理。

优选地，上述滤波模块包括多个(两个以上)滤波子模块；熵编码模块按照各滤波子模块滤波顺序对滤波后信息进行编码处理。

该滤波模块是用于采用以下方式对输入的重建信息进行滤波处理：第一级滤波子模块接收重建信息，进行第一级滤波处理，将处理后得到的第一信息输出至熵编码模块；该熵编码模块与多个滤波子模块是用于采用以下方式进行并行处理：熵编码模块对从第一级滤波子模块输入的第一信息进行编码处理，与此同时，第二级滤波子模块进行第二级滤波处理，输出第二信息，当熵编码模块对第一信息编码结束后，对第二级滤波子模块输入的第二信息进行编码处理，以此类推，直到熵编码模块对所有滤波子模块输出的结果编码处理完毕。

如图7所示，以滤波模块包括三个滤波子模块(图中功能模块4、5、6)为例进行说明，熵编码模块与功能模块4、5、6并行处理，这样功能模块4、5、6可与熵编码功能模块同处流水线的最后一级。如图8所示，在第一时间段，熵编码模块对信息1进行熵编码，同时，功能模块4运行，生成信息3；在第二时间段，熵编码模块对信息3进行熵编码，同时，功能模块5运行，生成信息4；在第三时间段，熵编码模块对信息4进行熵编码，同时，功能模块5运行，生成信息5；在第四时间段，熵编码模块对信息5进行熵编码。如果功能模块4、5、6产生需编码的信息的时间少于熵编码模块对功能模块3输出信息的熵编码时间，则并行度更高。

当滤波模块包括多个滤波子模块时，设计熵编码模块与多个滤波子模块并行运行，可以节约大量的内存开销，大大提升编码器性能。

如果不并行处理，按照现有技术方法，则需要增加一级流水以及对信息1的缓冲，如图9所示。

实施例2

本实施例说明实现上述装置的编码方法，如图10所示，包括以下步骤：

步骤110，预测变换模块进行帧内和/或帧间预测，输出预测结果，包括：重建信息和残差信息，其中重建信息输出至滤波模块，残差信息输出至熵编码模块；

步骤120，熵编码模块对接收的残差信息进行编码处理；

步骤130，与步骤120同时执行，滤波模块对接收的重建信息进行滤波处理，将滤波后的信息输出至熵编码模块；

步骤140，熵编码模块对残差信息编码处理结束后，对从滤波模块输入的滤波后的信息进行编码处理。

简单的说，上述步骤120-140的操作为：熵编码模块与所述滤波模块并行处理，在滤波模块进行滤波处理的同时，对输入的残差信息进行编码处理，编码处理结束后，再对从滤波模块输入的滤波后的信息进行编码处理。

由于设计熵编码模块先对残差信息进行熵编码，故可以减少一级残差信息的缓存，而且可以实现熵编码模块和滤波模块的并行操作。

优选地，滤波模块可以包括一个或多个滤波子模块。如果滤波模块包括多个滤波子模块，熵编码模块与多个滤波子模块并行运行。具体地，第一级滤波子模块接收重建信息，进行第一级滤波处理，将处理后得到的第一信息输出至熵编码模块，熵编码模块对从第一级滤波子模块输入的第一信息进行编码处理，与此同时，第二级滤波子模块进行第二级滤波处理，输出第二信息，当熵编码模块对第一信息编码结束后，对第二级滤波子模块输入的第二信息进行编码处理，以此类推，直到熵编码模块对所有滤波子模块输出的结果编码处理完毕。

当滤波模块包括多个滤波子模块时，由于设计熵编码模块与多个滤波子模块并行运行，可以节约大量的内存开销，大大提升编码器性能。

应用示例

本示例结合HEVC编码器进行说明，图11为一个4级流水线结构的HEVC高级视频编解码标准编码器结构图，该HEVC编码器采用了并行处理技术，图中，A1为预测变换模块，包括IME，FME和INTRA/REC，其中IME是整像素运动估计功能模块，FME是分像素运动估计功能模块，INTRA/REC是帧内预测及重建功能模块。A2为熵编码模块，即图中的EC。A3为滤波模块，包括两个滤波子模块：去块效应滤波(Deblock Filter，简称DF)功能模块和样本点自适应滤波(Sample Adaptive Offset，简称SAO)功能模块。

由于HEVC中包含了两个滤波子模块，如果采用现有技术的编码器设计方案，将会得到类似图9所示的编码器结构，不但需要5级流水，且需要大量的内存用来缓存预测变换模块输出的信息、DF输出的信息和SAO输出的信息。得到的编码器体积大，成本高。而如果采用上述实施例中的并行处理技术来进行设计，可以节约大量的内存，同时还减少一级流水(如图12所示，只需4级流水)，不但缩小了编码器体积，最重要的是提高了编码器的性能。

在进行HEVC编码器设计时，将编码器中的各个功能模块按照依赖关系以及处理编码单元(LCU)的时间来划分流水级。FME的处理需要依赖IME的处理结果，因此IME处于第一流水级，FME处于第二流水级，同理INTRA/REC处于第三流水级，EC用于对INTRA/REC的处理结果以及滤波模块的处理结果进行熵编码，但由于EC可以和滤波模块并行处理，因此二者可处于同一流水级。

按照上述流水级划分，各个模块进行对编码单元的处理。EC先对INTRA/REC功能模块产生的残差等信息进行熵编码，再对DF/SAO功能模块处理LCU产生的SAO滤波器参数进行熵编码，输出最终的码流。

按照上述方法执行生成的的片数据(Slice Data)语法结构如表1所示，LCU层的语法结构如表2所示，其中Log2CtbSize表示LCU的宽度与高度，1＜＜Log2CtbSize。

表1本示例中HEVC编码器中片数据的语法结构

表2本示例中HEVC编码器LCU层的语法结构

表3和表4分别是不支持SliceGranularity(片粒度)场景下片数据和LCU层的一种语法结构。表5和表6分别是不支持SliceGranularity(片粒度)场景下片数据和LCU层的另一种语法结构。

表3 HEVC编码器不支持SliceGranularity时片数据的语法结构1

表4 HEVC编码器不支持SliceGranularity时LCU层的语法结构1

表5 HEVC编码器不支持SliceGranularity时片数据的语法结构2

表6 HEVC编码器不支持SliceGranularity时LCU层的语法结构2

HEVC编码器中除片数据和LCU的语法结构外，其余语法结构均按照现有HEVC协议生成。

解码器端需要按照上述编码端生成的语法结构进行解码。

本发明利用了ASIC设计中编码器内部功能模块并行处理的特点，提出了一种新的视频码流的编码方法，该方法能够在不影响视频编码压缩率的情况下，提高编码器的并行度，并降低ASIC上编码器对于缓存的需求，从而提升了编码器的效率和性能。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种视频码流编码装置，包括预测变换模块、熵编码模块、滤波模块，其中：

所述预测变换模块，用于进行帧内和/或帧间预测，输出预测结果，包括：重建信息和残差信息，其中重建信息输出至滤波模块，残差信息输出至熵编码模块；

所述滤波模块，用于对输入的重建信息进行滤波处理，将滤波后的信息输出至熵编码模块；

所述熵编码模块，用于与所述滤波模块并行处理，在滤波模块进行滤波处理的同时，对输入的残差信息进行编码处理，编码处理结束后，再对从滤波模块输入的滤波后的信息进行编码处理。

2.如权利要求1所述的装置，其特征在于：

所述滤波模块包括多个滤波子模块；

所述熵编码模块是用于采用以下方式对从多个滤波子模块输入的滤波后的信息进行编码处理：按照各滤波子模块滤波顺序对滤波后信息进行编码处理。

3.如权利要求2所述的装置，其特征在于：

所述滤波模块是用于采用以下方式对输入的重建信息进行滤波处理：第一级滤波子模块接收重建信息，进行第一级滤波处理，将处理后得到的第一信息输出至熵编码模块；

所述熵编码模块与多个滤波子模块是用于采用以下方式进行并行处理：熵编码模块对从第一级滤波子模块输入的第一信息进行编码处理，与此同时，第二级滤波子模块进行第二级滤波处理，输出第二信息，当熵编码模块对第一信息编码结束后，对第二级滤波子模块输入的第二信息进行编码处理，以此类推，直到熵编码模块对所有滤波子模块输出的结果编码处理完毕。

4.如权利要求1或2或3所述的装置，其特征在于：

所述视频码流编码装置为高效率视频编码(HEVC)器；所述滤波模块包括去块效应滤波功能模块和样本点自适应滤波功能模块。

5.如权利要求4所述的装置，其特征在于：

所述预测变换模块包括：整像素运动估计功能模块、分像素运动估计功能模块、帧内预测及重建功能模块。

6.一种视频码流编码方法，包括：

预测变换模块进行帧内和/或帧间预测，输出预测结果，包括：重建信息和残差信息，其中重建信息输出至滤波模块，残差信息输出至熵编码模块；

熵编码模块与所述滤波模块并行处理，在滤波模块进行滤波处理的同时，对输入的残差信息进行编码处理，编码处理结束后，再对从滤波模块输入的滤波后的信息进行编码处理。

7.如权利要求6所述的方法，其特征在于：

所述滤波模块包括多个滤波子模块；

所述熵编码模块与所述滤波模块并行处理，包括：所述熵编码模块与多个滤波子模块并行运行；

所述熵编码模块对从滤波模块输入的滤波后的信息进行编码处理，包括：所述熵编码模块按照各滤波子模块滤波顺序对滤波后信息进行编码处理。

8.如权利要求7所述的方法，其特征在于：

所述熵编码模块与多个滤波子模块并行运行，包括：第一级滤波子模块接收重建信息，进行第一级滤波处理，将处理后得到的第一信息输出至熵编码模块，熵编码模块对从第一级滤波子模块输入的第一信息进行编码处理，与此同时，第二级滤波子模块进行第二级滤波处理，输出第二信息，当熵编码模块对第一信息编码结束后，对第二级滤波子模块输入的第二信息进行编码处理，以此类推，直到熵编码模块对所有滤波子模块输出的结果编码处理完毕。

9.如权利要求6或7或8所述的方法，其特征在于：

所述滤波模块包括去块效应滤波功能模块和样本点自适应滤波功能模块。

10.如权利要求9所述的方法，其特征在于：

所述预测变换模块包括：整像素运动估计功能模块、分像素运动估计功能模块、帧内预测及重建功能模块。