CN104486626B - 一种视频编码方法 - Google Patents

Abstract

本发明实施例提供了一种视频编码方法，解决了以现有技术中需要反复从参考帧图像中读取整个运动搜索区域的参考图像数据，而导致的对存储器带宽的需求过大的问题。该方法按照行扫描顺序对待编码图像中的宏块进行编码；其中一个宏块的编码过程包括：判断当前宏块的相邻宏块是否与当前宏块位于同一ROI区域/背景区域；根据所述相邻宏块的判断结果对当前宏块进行编码。

Description

一种视频编码方法

技术领域

本发明涉及视频编码领域，特别涉及一种视频编码方法。

技术背景

目前的SVAC(Surveillance video and audio coding，安全防范监控数字视音频编解码)标准中，提供了两种获取当前宏块预测数据的方法，分别为帧内预测方法和帧间预测方法。其中，帧间预测方法需要根据参考帧图像中一定运动搜索区域内的最佳匹配宏块的数据，获取当前宏块的预测数据。由于一些宏块的运动搜索区域可能重叠，因此这些些宏块可以共享运动搜索区域数据。

然而以现有的编码方式在对一帧图像进行编码之前，要先识别待编码图像中的ROI区域(Region Of Interest，感兴趣区域)和背景区域，并将ROI区域和背景区域分别划分为多个条带。然后先分别对待编码图像中的ROI区域进行编码，再对背景区域进行编码。这样当单独针对一个ROI区域采用帧间预测进行编码时，ROI区域边界的宏块无法共享与该ROI区域相邻的背景宏块的运动搜索区域数据，因而需要再单独读取参考帧图像中整个运动搜索区域数据以获取帧间预测数据。同样的推理也适用于背景区域的边界宏块。

图1为现有技术所提供的一帧图像的条带构成示意图。如图1所示，在该帧图像中有两个ROI区域，其中一个ROI区域由B1、B2、B3、B4和B5条带组成，另一个由B6条带组成。背景区域则被分为A、C、D、E、F、G、H、I、J、K及L条带。

例如，图1中的ROI区域条带B4与背景区域条带F相邻，这样B4最左侧宏块肯定存在与背景区域条带F最右侧宏块重叠的运动搜索区域。但当采用现有的编码方式单独对条带B4所属的ROI区域进行编码时，由于无法调用背景区域条带F最右侧宏块的重叠运动搜索区域，因而不得不单独从参考帧图像中读取整个运动搜索区域数据进行帧间预测。

由此可见，现有的编码方式在硬件的实现过程中，由于要反复从参考帧图像中读取整个运动搜索区域数据，因而对存储器带宽的需求较高，并且控制比较复杂。此外，这样先对ROI区域进行编码再对背景区域进行编码，由于ROI区域并不连续，因此需要根据ROI区域的设置来计算下一个ROI区域宏块的位置，控制也比较复杂。

发明内容

有鉴于此，本发明实施例提供了一种视频编码方法，解决了现有技术中需要反复从参考帧图像中读取整个运动搜索区域的参考图像数据以进行帧间预测，而导致的对存储器带宽的需求过大的问题。

本发明实施例提供的一种视频编码方法，按照行扫描顺序对待编码图像中的宏块进行编码；其中一个宏块的编码过程中获取预测数据的过程包括：

判断当前宏块的相邻宏块是否与当前宏块位于同一ROI区域/背景区域；根据所述相邻宏块的判断结果对当前宏块进行编码。

本发明实施例提供的一种视频编码方法，以行扫描方式对待编码图像中的宏块进行编码；这样无论待编码图像中有几个ROI区域以及条带构成结构如何，每个宏块都可调用已存储的其运动搜索区域与另一宏块运动搜索区域的重叠部分数据，而不用从参考帧图像中读取整个运动搜索区域的数据进行帧间预测；从而减少了采用帧间预测编码时的数据读取量，降低了硬件实现过程中对存储器带宽的需求。

附图说明

图1为现有技术所提供的一帧图像的条带构成示意图。

图2所示为本发明一实施例所提供的视频编码方法中获取预测数据的流程示意图。

图3所示为本发明一实施例所提供的当前宏块与相邻宏块的空间位置关系示意图。

图4所示为本发明一实施例所提供的视频编码方法中熵编码过程的流程示意图。

图5所示为本发明一实施例所提供的视频编码方法的硬件实现示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

图2所示为本发明一实施例所提供的视频编码方法的流程示意图。该视频编码方法为按照行扫描顺序对待编码图像中的宏块进行编码。如图2所示，其中一个宏块的编码过程中获取预测数据的过程包括：

步骤201：判断当前宏块的相邻宏块是否与当前宏块位于同一ROI区域/背景区域。

在本发明一实施例中，该相邻宏块的判断过程可以通过获取当前宏块的相邻宏块参数完成。其中，当一相邻宏块的判断结果为是时，将与该相邻宏块对应的相邻宏块参数赋值为1；否则，将与该相邻宏块对应的相邻宏块参数赋值为0。

图3所示为本发明一实施例所提供的当前宏块与相邻宏块的空间位置关系示意图。如图3所示，当前宏块E的相邻宏块包括：当前宏块的上边宏块B、左边宏块A、右上宏块C和左上宏块D。此时当通过获取当前宏块E的相邻宏块参数完成判断过程时，该相邻宏块参数可包括：

topmbofslice:用于表示当前块的上边块B是否与当前宏块E位于同一ROI区域/背景区域；当上边块B的判断结果为是时，将topmbofslice赋值为1；否则，将topmbofslice赋值为0。

leftmbofslice:用于表示当前块的左边块A是否与当前宏块E位于同一ROI区域/背景区域；当左边块A的判断结果为是时，将leftmbofslice赋值为1；否则，将leftmbofslice赋值为0。

trmbofslice:用于表示当前块的右上边块C是否与当前宏块E位于同一ROI区域/背景区域；当右上边块C的判断结果为是时，将trmbofslice赋值为1；否则，将trmbofslice赋值为0。

tlmbofslice:用于表示当前块的左上边块D是否与当前宏块E位于同一ROI区域/背景区域；当左上边块D的判断结果为是时，将tlmbofslice赋值为1；否则，将tlmbofslice赋值为0。

步骤202：根据所述相邻宏块的判断结果对当前宏块进行编码。其中该编码过程可为帧内编码和/或帧间编码。

对于帧间编码，根据相邻宏块参数以及运动搜索得到预测数据。在进行运动搜索时，调用一宏块的与当前宏块运动搜索区域重叠的运动搜索区域数据作为当前宏块运动搜索区域数据的一部分；读取参考帧图像数据以补齐当前宏块余下的运动搜索区域数据。预测数据包括编码模式、预测样点数据和预测运动矢量。

由于采用行扫描顺序以宏块为单位进行编码，因此对待编码图像中宏块的编码过程是连续的。即使当前宏块为一个ROI区域/背景区域的边界宏块，也可以调用其相邻宏块的运动搜索区域数据作为当前宏块运动搜索区域数据的一部分。

以图3为例，当前宏块E与相邻宏块A由于位置相邻，二者的运动搜索区域也必然有所重叠。当采用行扫描进行编码时，由于相邻宏块A的运动搜索区域数据已被保存，因此在对当前宏块E进行编码时，可直接调用该已保存的相邻宏块A的运动搜索区域数据作为宏块E的运动搜索区域数据的一部分，然后再读取参考帧图像数据以补齐当前宏块E的运动搜索区域数据。这样待编码图像中的每个宏块都可以利用其运动搜索区域与另一个宏块运动搜索区域的重叠部分数据进行帧间预测。而不用从参考帧图像中读取整个运动搜索区域的数据进行帧间预测；从而减少了采用帧间预测编码时的数据读取量，降低了硬件实现过程中对存储器带宽的需求。

之后，根据当前宏块的运动搜索区域数据进行帧间预测，获取当前宏块的预测数据。具体过程为：在当前宏块的运动搜索区域数据中选取与当前宏块最匹配的参考块数据；然后利用该参考块数据获取当前宏块的预测数据。

对于帧内编码，可将步骤201中得到的相邻宏块参数topmbofslice、leftmbofslice、tlbofslice、trmbofslice直接代入SVAC标准进行帧内预测得到预测数据，而不用区分当前宏块位于哪个ROI区域/背景区域。预测数据包括编码模式和预测样点数据。

本领域技术人员可以理解，在按行扫描顺序以宏块为单位进行编码时，其中一个宏块的编码过程既可以采用帧内预测获取预测数据，也可以采用帧间预测获取预测数据，本发明对此不做限定。

在通过帧内预测和/或帧间预测获取到当前宏块的预测数据后，根据该预测样点数据与当前宏块数据的差值即可获取当前宏块的残差数据。在将残差数据进行变换量化后，根据该残差数据即可对当前宏块进行编码以获得当前宏块的编码码流。

在本发明另一实施例中，残差数据先按照SVAC标准进行重组，然后再被用于后续的编码过程。

在本发明一实施例中，根据残差数据对当前宏块进行编码的过程为一个熵编码过程。

图4所示为本发明一实施例所提供的视频编码方法中熵编码过程的流程示意图。如图4所示，该熵编码过程包括：

步骤401：判断当前宏块是否为当前ROI区域/背景区域的第一个宏块；如果判断为是，则计算并存储当前ROI区域/背景区域的熵编码参数，执行步骤402；如果判断为否，则获取已存储的与当前宏块所属ROI区域/背景区域相对应的熵编码参数，执行步骤402。

由于熵编码过程中每个ROI区域或背景区域都有一套自己的熵编码参数，因此只有获取了相应熵编码参数才能进行后续的熵编码过程。此时，在采用行扫描方式进行熵编码时，要首先判断当前宏块是否为一个ROI区域/背景区域的第一个宏块。如果判断当前宏块为一个ROI区域/背景区域的第一个宏块，由于此时并没有存储该ROI区域/背景区域的熵编码参数，因此需要计算该ROI区域/背景区域的熵编码参数。如果当前宏块不是当前ROI区域/背景区域的第一个宏块，则直接从已存储的熵编码参数中获取当前ROI区域/背景区域的熵编码参数即可。

在本发明一实施例中，还可以获取当前宏块的宏块位置参数firstmbofslilce；其中，当前宏块为当前ROI区域/背景区域的第一个宏块时，将该宏块位置参数firstmbofslilce赋值为1；否则，将该宏块位置参数firstmbofslilce赋值为0。

步骤402：根据当前宏块的所述残差数据和所述熵编码参数对该当前宏块进行熵编码，并存储当前ROI区域/背景区域的熵编码参数。

在本发明一实施例中，可以获取当前宏块的宏块位置参数leftmbofslice和topmbofslice，这两个参数前面已经描述，用这两个参数所表示的相邻信息来进行熵编码。

步骤403：判断当前宏块是否为当前ROI区域/背景区域的最后一个宏块；如果判断为是，则执行步骤404；如果判断为否，则返回步骤401开始按照行扫描顺序对下一个宏块进行判断和编码。

在本发明一实施例中，还可以获取当前宏块的宏块位置参数lastmbofslice；其中，当前宏块为当前ROI区域/背景区域的最后一个宏块时，将该宏块位置参数lastmbofslice赋值为1；否则，将该宏块位置参数lastmbofslice赋值为0。此时根据宏块位置参数lastmbofslice的值即可完成步骤403的判断过程。

步骤404：判断当前宏块是否为当前待编码图像的最后一个宏块；如果判断为是，则结束当前待编码图像的编码；如果判断为否，则返回步骤401开始按照行扫描顺序对下一个宏块进行判断和编码。

在本发明一实施例中，还可以获取当前宏块的宏块位置参数lastmbofpic；其中，当前宏块为当前待编码图像的最后一个宏块时，将该宏块位置参数lastmbofpic赋值为1；否则，将该宏块位置参数lastmbofpic赋值为0。此时根据宏块位置参数lastmbofpic的值即可完成步骤404的判断过程。

在本发明一实施例中，熵编码的具体形式为上下文自适应二进制算术编码(CABAC)。因此每次对一个ROI区域/背景区域内的宏块进行熵编码时，都要获取符合CABAC上下文模型的算术编码器计算参数作为熵编码参数。

在本发明一实施例中，当以行扫描顺序完成了对待编码图像的编码后，由于待编码图像中的ROI区域和背景区域可能是不连续的，因此所得到的待编码图像中某一ROI区域/背景区域的编码码流也可能是不连续的。此时，在完成对当前宏块的编码获得编码码流后，可为当前宏块的编码码流加上与当前宏块所属ROI区域/背景区域相对应的指示符，并将带有指示符的编码码流写入临时存储单元。然后在按照行扫描顺序对待编码图像中的所有宏块编码完毕后，再从该临时存储单元中读取编码码流，并根据指示符拼接属于同一个ROI区域/背景区域的编码码流。这样就可以将属于同一个ROI区域/背景区域的编码码流拼接为一个整体，并将该经过重新拼接的编码码流作为最终的待编码图像的编码码流进行储存。

在本发明一实施例中，还可以获取当前宏块所属ROI区域/背景区域的区域标记参数slice_num，用于表示该ROI区域/背景区域未待编码图像中的第几个区域；并根据区域标记参数slice_num为当前宏块的编码码流加上指示符。

在本发明一实施例中，带有指示符的编码码流的一个数据包的大小为64bit，其中所述指示符的大小为4bit。

在本发明另一实施例中，为了进一步简化该视频编码方法的硬件实现结构，可以在对当前宏块进行编码之前，先一次性获取当前宏块的所有相邻宏块参数、所有宏块位置参数和区域标记参数。

此时，根据所获取的当前宏块的所有参数，即可完成对相邻宏块是否与当前宏块属于同一ROI区域/背景区域的判断；完成当前宏块是否为当前ROI区域/背景区域的第一个宏块或最后一个宏块的判断，以获取当前宏块的熵编码参数；根据所述定位参数中当前宏块所属ROI区域/背景区域的标记，为当前宏块的编码码流加上指示符。

图5所示为本发明一实施例所提供的视频编码方法的硬件实现示意图。其中实线连接线表示现有的模块连接关系，虚线连接线表示采用本发明所提供的视频编码方法后新加的模块连接关系。如图5所示，该硬件包括：

宏块定位模块(MBlct)，用于获取当前宏块(Fn(current))的所有相邻宏块参数、所有宏块位置参数和区域标记参数；

熵编码模块(Entropy Encode)，用于完成对当前宏块的熵编码过程；

熵编码后处理模块(Stream post-process)，用于拼接属于同一ROI区域/背景区域的编码码流；

运动估计模块(ME)，用于根据当前宏块的运动搜索区域数据进行帧间预测，获得预测数据；

帧内预测模块(Intra Prediction)，用于对当前宏块进行帧内预测，获得预测数据；

变换模块(T)和反变换模块(T^-1)，分别用于对当前宏块的残差数据进行变换和反变换处理；

量化模块(Q)和反量化模块(Q^-1)，分别用于对当前宏块的残差数据进行量化和反量化处理；

重组模块(reorder)，用于对当前宏块的经变换量化的残差数据按照SVAC进行重组；

滤波模块(Filter)，用于根据经反变换和反量化的残差数据以及当前宏块所有获取的参数进行滤波处理得到重建图像(F’n(reconstructed))，该重建图像可用作运动估计中的参考帧图像。

由此可见，仅需在现有的模块连接关系中引入宏块定位模块(MBlct)以获取当前宏块的所有参数，并将这些参数分别发送给运动估计模块(ME)、帧内预测模块(IntraPrediction)、滤波模块(Filter)、熵编码模块(Entropy Encode)即可完成本发明实施例所提供的视频编码方法。其他各模块的现有连接方式均不用做任何改动，硬件实现起来更加简洁。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种视频编码方法，其特征在于，按照行扫描顺序对待编码图像中的宏块进行编码；其中一个宏块的编码过程包括：

判断当前宏块的相邻宏块是否与当前宏块位于同一ROI区域/背景区域；

根据所述相邻宏块的判断结果对当前宏块进行编码；

其中，所述根据所述相邻宏块的判断结果对当前宏块进行编码包括：根据所述相邻宏块的判断结果进行帧间预测或帧内预测获取当前宏块的预测数据；

其中，所述帧间预测包括：调用前一宏块与当前宏块运动搜索区域重叠的运动搜索区域数据作为当前宏块运动搜索区域数据的一部分，以便减少数据读取量；读取参考帧图像数据以补齐当前宏块余下的运动搜索区域数据；

其中，所述当前宏块为一个ROI区域/背景区域的边界宏块或非边界宏块。

2.根据权利要求1所述的方法，其特征在于，所述一个宏块的编码过程符合SVAC标准。

3.根据权利要求1所述的方法，其特征在于，判断当前宏块的相邻宏块是否与当前宏块位于同一ROI区域/背景区域包括：

分别获取与每个相邻宏块对应的相邻宏块参数；其中，相邻宏块参数表示该相邻宏块是否与当前宏块位于同一ROI区域/背景区域。

4.根据权利要求1至3中任一所述的方法，其特征在于，所述相邻宏块包括：当前宏块的上边宏块、和/或左边宏块、和/或右上宏块、和/或左上宏块。

5.根据权利要求1至3中任一所述的方法，其特征在于，根据所述相邻宏块的判断结果对当前宏块进行编码的过程包括熵编码。

6.根据权利要求5所述的方法，其特征在于，所述熵编码过程包括：

判断当前宏块是否为当前ROI区域/背景区域的第一个宏块；如果判断为是，则计算当前ROI区域/背景区域的熵编码参数；如果判断为否，则获取已存储的与当前宏块所属ROI区域/背景区域相对应的熵编码参数；根据所述熵编码参数对该当前宏块进行熵编码，并存储当前ROI区域/背景区域的熵编码参数。

7.根据权利要求5所述的方法，其特征在于，所述熵编码为上下文自适应二进制算术编码。

8.根据权利要求6所述的方法，其特征在于，判断当前宏块是否为当前ROI区域/背景区域的第一个宏块包括：

获取当前宏块的宏块位置参数；所述宏块位置参数用于表示当前宏块是否为当前ROI区域/背景区域的第一个宏块。

9.根据权利要求1至3、6和8中任一所述的方法，其特征在于，所述其中一个宏块的编码过程进一步包括：

为当前宏块的编码码流加上与当前宏块所属ROI区域/背景区域相对应的指示符，并将带有指示符的编码码流写入临时存储单元；

从所述临时存储单元中读取编码码流，根据所述指示符拼接属于同一个ROI区域/背景区域的编码码流。

10.根据权利要求9所述的方法，其特征在于，所述其中一个宏块的编码过程进一步包括：

获取当前宏块所属ROI区域/背景区域的区域标记参数；

为当前宏块的编码码流加上与当前宏块所属ROI区域/背景区域相对应的指示符包括：

根据所述区域标记参数为当前宏块的编码码流加上指示符。

11.根据权利要求9所述的方法，其特征在于，所述带有指示符的编码码流的一个数据包的大小为64bit，其中所述指示符的大小为4bit。