CN100527842C - 基于背景的运动估计编码方法 - Google Patents

Abstract

本发明涉及基于背景的运动估计编码方法，属于数字视频编码压缩技术领域，该方法包括：首先对背景帧进行初始化，读入一帧图像并判断该图像的编码类型，如果是I帧则采用传统的帧内编码方法完成当前帧的编码，如果是P帧，则读入一个宏块，如果该宏块是I宏块，则采用传统的帧内编码方法完成本宏块的编码，如果该宏块是P宏块，则对该宏块分别进行传统参考帧运动估计和背景帧参考帧运动估计进行编码，并在编码的过程中对当前背景帧进行学习更新，完成当前背景帧的生成。本发明弥补了传统编码方法对“暴露区”编码的不足，有效地提高了编码效率。特别适合某些应用场合具有固定不变的背景内容，如视频监控和视频会议等。

Description

基于背景的运动估计编码方法

技术领域

本发明属于数字视频编码压缩技术领域，特别涉及运动估计的编码方法。

背景技术

数字视频是指以数字形式记录的视频信息，英文对应的词组是Digital video。数字视频的原始数据量非常大，给传输和存储都带来了很大的不便，因此实际应用中往往需要进行编码压缩。.

视频编码采用运动估计的方法来实现数据的压缩。视频数据是以固定的时间间隔连续采集的图像序列，由于采集速度快，相邻图像在内容上的相关性很强。运动估计就是利用图像间的这种相关性，消除其中的冗余信息，实现数据的压缩。运动估计方法的大体过程如下：首先将当前帧(编码过程中准备编码的图像)划分为固定大小的宏块(16像素×16像素)；然后，对于每个宏块，在参考帧中(编码选用的参考图像)进行搜索和比较，找到一个内容相似度最高的“匹配宏块”，由此得到编码当前宏块的运动矢量(当前宏块与匹配宏块之间的相对位移)；接着，将两个宏块相减得到残差，并对残差矩阵进行DCT变换；最后对运动矢量和DCT变换系数进行熵编码得到压缩数据。其中，所选参考帧的质量直接影响到编码压缩的效率，如果所选参考帧和当前帧之间的相似度强，就可以获得很高的数据压缩比；相反，如果所选参考帧和当前帧之间的相似度较弱，则得到的数据压缩比也较低。考虑到视频数据中相邻图像的采集时间间隔较短，内容的相似度较高，传统的编码方法一般选择当前图像之前的邻近图像作为参考帧。最新的视频压缩国际标准H.264还提出了多参考帧技术，即在编码时选择多个参考帧，从而有效保证了参考帧的相似度，提高了视频编码的数据压缩率。

在视频的采集过程中，由于物体的运动，一部分固定不变的背景内容会被前景物体所遮挡，当前景物体离开后，被遮挡的背景内容又会再次重现，重现的区域就称为“暴露区”。如图1所示，a和b是一段视频序列的第450帧和第460帧图像。在第450帧中，由于人物的运动，背景中的椅子被人物所遮挡，一直到第460帧，随着人物的离开，背景椅子才又重新显现出来，在第460帧中，重现的椅子就是“暴露区”。“暴露区”普遍存在于各种视频应用场合，而传统的编码方法对“暴露区”部分的编码效率不高。原因是，传统的编码方法在编码过程中选择前面邻近的图像作为参考帧，在编码“暴露区”时，由于该区域在参考帧中被前景物体所遮挡，没有相似的匹配块，所以编码效率大大下降。如图2所示，b是第460帧，a是用传统方法选择的编码参考帧。对于b中的条形区域(“暴露区”)，由于其在a中被人物所遮挡，没有匹配的内容，所以该部分的编码效率会很低。对于这个问题，一种解决方法是采用后向预测的方法，即选择图像序列中当前编码图像之后的图像作为参考帧。这样可以提高“暴露区”的编码效率，但编码处理的计算复杂度过高，同时又在解码处引入了额外的处理延迟时间。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于背景的运动估计方法，本方法是在传统编码方法的基础上，在运动估计过程中增加了一个新的参考帧——背景帧，弥补了传统编码方法对“暴露区”编码的不足，有效地提高了编码效率。特别适合某些应用场合具有固定不变的背景内容，如视频监控和视频会议等。

本发明提出的基于背景的运动估计编码方法，其特征在于，包括以下步骤：

1)编码开始前，首先对背景帧进行初始化，初始化的方法是将背景帧中所有像素点的像素值初始为一个固定值；同时将背景帧中所有宏块的状态设置为“未定”：

2)开始编码，读入一帧图像并判断该图像的编码类型，如果是I帧则采用传统的帧内编码方法完成当前帧的编码，转至步骤6)；如果是P帧，则进行步骤3)；

3)读入一个宏块并判断该宏块的编码类型，如果该宏块是I宏块，则采用传统的帧内编码方法完成本宏块的编码，转至步骤5)；如果该宏块是P宏块，则对该宏块分别进行传统参考帧运动估计和背景帧参考帧运动估计，并得到各自的运动补偿残差矩阵；

4)比较上述两个残差矩阵的能量，选用能量值较小的残差矩阵对应的参考帧作为编码参考帧，使用编码参考帧对本宏块的编码处理；

5)继续读取并处理下一个宏块，重复步骤3)-4)直到当前帧内的所有宏块编码完毕；

6)判断是否所有帧都已编码完成，若是则结束编码过程；否则，判断当前背景帧是否生成完毕，如果当前背景帧的每个宏块的状态都是”确定”的，则当前背景帧生成完毕，读取下一帧图像并直接采用当前背景帧重复步骤2)-5)继续编码；

7)如果当前背景帧中还有宏块的状态是”未定”的，则当前背景帧没有生成完毕，先对当前背景帧进行学习更新，然后再读取下一帧图像并采用更新后的背景帧重复步骤2)-5)继续编码。

本发明的方法特点

本发明的方法提高了“暴露区”的编码效率。原因如下：如果采用传统的编码方法，在运动估计过程中会选取当前帧的邻近帧作为参考帧。当对“暴露区”进行编码时，由于该区域在参考帧中被前景物体所遮挡，无法找到匹配的内容，所以影响了编码效率。本发明使用一个背景帧来保存背景内容，编码过程中除了按照传统编码方法选取参考帧之外，同时将背景帧也选为参考帧。这样，对“暴露区”进行编码时，虽然在传统参考帧(传统编码方法选择的参考帧)中很难找到匹配的内容，但由于背景的不变性，“重现”的内容可以很容易地在背景帧中找到匹配的内容，从而提高了编码效率。

本发明方法中使用的背景帧与普通的视频帧不同，普通的视频帧是采集得到的真实场景图像，而背景帧是人工生成的编码辅助图像。背景帧表示固定不变的背景内容，无法直接从视频数据中获取，需要在编码过程中通过不断的学习最终生成。本发明设计了背景帧的学习方法，从而可以在编码过程中由编码器自动完成背景帧的生成。

本发明方法设计简单，易于实现。

附图说明

图1为背景被遮住又重现的一个示意图。

图2为传统的运动估计方法对暴露区处理的示意图。

图3为本发明的基于背景的运动估计编码方法流程图。

图4为本发明的背景帧的学习更新方法流程图。

图5为本实施例的背景帧的生成过程示意图。

具体实施方式

本发明提出的基于背景的运动估计编码方法，结合附图及实施例详细说明如下：

本发明的基于背景的运动估计方法如图3所示，是在传统编码方法的基础上，在运动估计过程中增加了一个新的参考帧——背景帧。具体实现步骤如下：

1)编码开始前，首先对背景帧进行初始化，初始化的方法是将背景帧中所有像素点的像素值初始为一个固定值(可为任意值，方便起见一般取0)；同时将背景帧中所有宏块的状态设置为“未定”；

2)开始编码，读入一帧图像并判断该图像的编码类型，如果是I帧则采用传统的帧内编码方法完成当前帧的编码，转至步骤6)；如果是P帧，则进行步骤3)；

3)读入一个宏块并判断该宏块的编码类型，如果该宏块是I宏块，则采用传统的帧内编码方法完成本宏块的编码，转至步骤5)；如果该宏块是P宏块，则对该宏块分别进行传统参考帧运动估计和背景帧参考帧运动估计，并得到各自的运动补偿残差矩阵；

4)比较上述两个残差矩阵的能量(残差矩阵中各点数值的绝对值之和)，选用能量值较小的残差矩阵对应的参考帧作为编码参考帧，使用编码参考帧对本宏块的编码处理；

5)继续读取并处理下一个宏块，重复步骤3)-4)直到当前帧内的所有宏块编码完毕；

6)判断是否所有帧都已编码完成，若是则结束编码过程；否则，判断当前背景帧是否生成完毕，如果当前背景帧的每个宏块的状态都是”确定”的，则当前背景帧生成完毕，读取下一帧图像并直接采用当前背景帧重复步骤2)-5)继续编码；

7)如果当前背景帧中还有宏块的状态是”未定”的，则当前背景帧没有生成完毕，先对当前背景帧进行学习更新，然后再读取下一帧图像并采用更新后的背景帧重复步骤2)-5)继续编码。

上述步骤7)中，对背景帧进行学习更新是指更新背景帧中各个宏块的内容和状态，以使背景帧能更准确地表示编码图像中应用场景的背景内容，背景帧的学习更新方法，如图4所示，具体包括以下步骤：

(1)从当前背景帧中取出一个宏块，判断该宏块的状态，如果该宏块的状态为“确定”，则直接跳到第(4)步；

(2)如果该宏块的状态为“未定”，则计算该宏块与当前帧(刚刚编码结束的图像)中相同位置宏块的差异度值SAD(SAD是Sum of Absolute Distortion，两个宏块对应像素点差值的绝对值之和)。

(3)将计算得到的差异度SAD值与差异度阈值SAD_MAX(设置的一固定值)进行比较：如果SAD≥SAD_MAX，则更新背景帧中该宏块的内容，更新方法是用当前帧中该位置的宏块替换背景帧中该位置的宏块，同时将该背景帧宏块的可信度N置为0，N为非负整数；如果SAD<SAD_MAX，则先将该背景帧宏块的可信度N加1，然后将N与阈值N_MAX(设置的一固定正整数，)进行比较，如果N＝N_MAX，则将该背景帧宏块的状态改为“确定”；如果N<N_MAX，则将该背景帧宏块的状态保持为“未定”：

(4)读取下一个背景帧宏块，重复第(1)-(3)步，直到背景帧的所有宏块学习完毕。

实施例

本实施例选取的场景是办公室的一个角落，如图5所示。视频数据由监控摄像头获取，序列共1370帧，帧率为25帧/秒，图像大小为176像素×144像素。由于图像大小是176像素×144像素，而宏块大小为16像素×16像素，所以背景帧共有11×8个宏块，本实施例用一个二维数组变量b[11][8]来表示背景帧中各个宏块的状态，数组变量的值为0表示对应宏块的状态为“未定”，数组变量的值为1表示对应宏块的状态为“确定”。背景帧宏块的可信度N用一个二维数组变量d[11][8]，每个变量的值表示对应位置宏块的可信度。两个阈值参数：宏块差异度阈值SAD_MAX＝600(SAD_MAX取值越大对两个宏块的差异容许值越大，SAD_MAX取值越小对两个宏块的差异容许值越小，一般每个像素点的差异在3以内即可得到较好的效果，考虑到宏块大小为16像素×16像素，SAD_MAX可以取为16×16×3＝768以内)；背景宏块的可信度阈值N_MAX＝10(N_MAX表示该背景帧宏块在学习时SAD<SAD_MAX连续成立的次数，如果N_MAX太小，背景帧学习时容易将前景物体误选为背景，如果N_MAX太大，背景帧学习时容易受到前景物体的干扰而不易确定，所以N_MAX取值一般在10到30之间)。

本实施例所使用的编码器是在传统的MPEG4编码器xvid-0.9.1的基础上修改得到的。

本实施例的基于背景的运动估计编码方法包括以下步骤：

1)编码开始前，首先对背景帧进行初始化，将背景帧中所有像素点的像素值设为0；将背景帧中所有宏块的状态设置为“未定”，即将二维数组变量b[11][8]的值全设置为0；

2)开始编码，读入一帧图像并判断该图像的编码类型，如果是I帧则采用传统的帧内编码方法完成当前帧的编码，转至步骤6)；如果是P帧，则进行步骤3)；

3)读入一个宏块并判断该宏块的编码类型，如果该宏块是I宏块，则采用传统的帧内编码方法完成本宏块的编码，转至步骤5)；如果该宏块是P宏块，则对该宏块分别进行传统参考帧运动估计和背景帧参考帧运动估计，并得到各自的运动补偿残差diff_1和diff_2；

4)比较diff_1和diff_2的能量(残差矩阵中各点数值的绝对值之和)，如果diff_1<diff_2，则选用传统参考帧作为编码参考帧对本宏块进行运动估计，然后完成本宏块的编码；如果diff_1≥diff_2，则选用背景帧作为编码参考帧对本宏块进行运动估计，然后完成本宏块的编码；

5)继续读取并处理下一个宏块，重复步骤3)-4)直到当前帧内的所有宏块编码完毕；

6)判断是否所有帧都已编码完成，若是则结束编码过程；否则，判断背景帧宏块的状态变量b[11][8]，如果b[11][8]的所有值都为1，则说明当前背景帧的每个宏块的状态都为“确定”，则当前背景帧生成完毕，读取下一帧图像并直接采用当前背景帧重复步骤2)-5)继续编码；

7)如果b[11][8]中存在值为0的变量，则说明当前背景帧中有状态“未定”的宏块，当前背景帧还没有生成完毕；此时，先对当前背景帧进行学习更新，然后再读取下一帧图像并采用更新后的背景帧重复步骤2)-5)继续编码。

在本实施例中，

上述步骤7)中，对背景帧进行学习更新的方法，如图4所示，具体包括以下步骤：

(1)从当前背景帧中取出一个宏块，然后判断该宏块的状态，即读取该宏块对应的状态变量b，如果b的值为1，表示该宏块的状态为“确定”，则直接跳到第4步；

(2)如果b的值为0，表示该宏块的状态为“未定”，则计算该宏块与当前帧(刚刚编码结束的图像)中相同位置宏块的差异度值SAD(SAD是Sum of Absolute Distortion，两个宏块对应像素点差值的绝对值之和)，计算结果为SAD＝sad1。

(3)将sad1与差异度阈值SAD_MAX(设置的参数)进行比较：如果sad1≥SAD_MAX，则更新背景帧中该宏块的内容，更新方法是用当前帧中该位置的宏块替换背景帧中该位置的宏块，同时将该背景帧宏块的可信度d置为0，即令d＝0；如果SAD<SAD_MAX，则先将该背景帧宏块的可信度变量d加1，即d＝d+1，然后将d与阈值N_MAX(本实施例设为10)进行比较，如果d≥10，则将该背景帧宏块的状态改为“确定”；如果d<10，则将该背景帧宏块的状态保持为“未定”；

(4)当前背景帧宏块学习完毕，读取下一个背景帧宏块，重复步骤(1)-(3)步，直到背景帧的所有宏块学习完毕。

本实施例的编码效果如图5所示，图5中分别记录了编码过程中第5帧，第11帧和第200帧时背景帧的内容和各个宏块的状态。图5(a)表示背景帧的内容，图5(b)表示背景帧中各个宏块的状态，状态为“确定”的宏块用对应位置的背景内容表示，状态为“未定”的宏块则用网格块表示。可以看出，本发明中使用的背景帧学习方法效果非常好，在第5帧的时候，背景帧的内容已经很接近场景的背景内容了。由于阈值N_MAX值取为10，在第5帧时每个宏块的可信度最多为5，所以每个宏块的状态都是“未定”，即表现为(b)中的网格块。到第11帧时，大部分宏块的可信度满足了d≥N_MAX，从而状态变为“确定”，但是仍然有小部分宏块的状态是“未定”，主要原因是在编码过程中由于内容更新的同时可信度变量d被置0重计，所以没有满足d≥N_MAX。而到第200帧的时候，所有宏块的状态都已变为“确定”，至此背景帧的生成过程结束。

本发明的运动估计编码方法与传统的单参考帧和传统的双参考帧编码方法的压缩性能进行了对比，实验数据如表(1)所示，可以看到，在相同码率下，本发明方法在PSNR上，比传统单参考帧编码方法提高了0.3-0.9dB，比传统的双参考帧编码方法提高了0.1-0.7dB。

表1  本发明方法、传统单参考帧和传统双参考帧的编码效果对比

Claims (2)

1、一种基于背景的运动估计编码方法，其特征在于，包括以下步骤：

1)编码开始前，首先对背景帧进行初始化，初始化的方法是将背景帧中所有像素点的像素值初始为一个固定值；同时将背景帧中所有宏块的状态设置为“未定”；

2)开始编码，读入一帧图像并判断该图像的编码类型，如果是I帧则采用传统的帧内编码方法完成当前帧的编码，转至步骤6)；如果是P帧，则进行步骤3)；

3)读入一个宏块并判断该宏块的编码类型，如果该宏块是I宏块，则采用传统的帧内编码方法完成本宏块的编码，转至步骤5)；如果该宏块是P宏块，则对该宏块分别进行传统参考帧运动估计和背景帧参考帧运动估计，并得到各自的运动补偿残差矩阵；

4)比较上述两个残差矩阵的能量，选用能量值较小的残差矩阵对应的参考帧作为编码参考帧，使用编码参考帧对本宏块进行编码处理；

5)继续读取并处理下一个宏块，执行步骤3)直到当前帧内的所有宏块编码完毕；

6)判断是否所有帧都已编码完成，若是则结束编码过程；否则，判断当前背景帧是否生成完毕，设置当前背景帧生成完毕的宏块的状态为“确定”，如果当前背景帧的每个宏块的状态都是“确定”的，则当前背景帧生成完毕，读取下一帧图像并直接采用当前背景帧执行步骤2)继续编码；

7)如果当前背景帧中还有宏块的状态是“未定”的，则当前背景帧没有生成完毕，先对当前背景帧进行学习更新，然后再读取下一帧图像并采用更新后的背景帧执行步骤2)继续编码。

2、如权利要求1所述的方法，其特征在于，所述步骤7)中对背景帧进行学习更新具体包括以下步骤：

(71)从当前背景帧中取出一个宏块，判断该宏块的状态，如果该宏块的状态为“确定”，则直接跳到第(74)步；

(72)如果该宏块的状态为“未定”，则计算该宏块与当前帧中相同位置宏块的差异度值SAD，所述当前帧为刚刚编码结束的图像；

(73)将计算得到的差异度SAD值与差异度阈值SAD_MAX进行比较：如果SAD≥SAD_MAX，则更新背景帧中该宏块的内容，更新方法是用当前帧中该位置的宏块替换背景帧中该位置的宏块，同时将该背景帧宏块的可信度N置为0，N为非负整数；如果SAD<SAD_MAX，则先将该背景帧宏块的可信度N加1，然后将N与阈值N_MAX进行比较，如果N＝N_MAX，则将该背景帧宏块的状态改为“确定”；如果N<N_MAX，则将该背景帧宏块的状态保持为“未定”；

(74)读取下一个背景帧宏块，执行第(71)步，直到背景帧的所有宏块学习完毕。

Images