CN1236621C - 按图像宏功能块的失真程度进行图像编码的装置和方法 - Google Patents

Abstract

本发明是提供一种图像编码方法以及系统，是对数字图像中所包含的每一图像宏功能块(macroblock)分配一位速率。依据每一图像宏功能块在该数字图像中所在的位置，选出一比较区域。该比较区域包含多个已完成位速率分配的图像宏功能块。依据一相似宏功能块选取程序，从该比较区域的图像宏功能块中选取出一相似宏功能块。依据一图像失真计算程序，分别计算出一第一图像失真变量(variable)以及一第二失真变量。该第二失真变量是代表该相似宏功能块的失真程度，而该第一失真变量表示该比较区域中的该图像宏功能块的平均失真程度。依据该相似宏功能块以前被分配的位速率，以及该第一与第二失真变量的差值，决定该图像宏功能块所需分配的位速率。

Description

按图像宏功能块的失真程度进行 图像编码的装置和方法

技术领域

本发明是涉及一种图像编码方法和图像编码系统，尤其指依据图像宏功能块(macroblock)的失真程度来进行图像编码。

背景技术

一段数字视频可以看成是一连串的静止数字图像，在连续播放的情形下，由于视觉暂留，而可视为连续的视频。数字图像包含多个图像宏功能块。数字视频在不压缩的情形下，通常需要很大的存储空间及频带。

进行压缩数字视频的过程中，必须进行位预算(bit budget)的分配。公知技术对数字图像中每一图像宏功能块，采用固定比例分配位预算。然而，在实际的情况下，较高复杂度的图像宏功能块是需要较多的位预算分配，较低复杂度的图像宏功能块则只需要较少的位预算分配。因此，若采用固定比例的分配方式，是无法有效地分配位预算。

另一公知技术则基于图像宏功能块的复杂度，进行位预算分配。然而，该图像宏功能块的复杂度是无法反映出该数字图像的图像品质。因此，基于图像宏功能块的复杂度的分配方式，仍然无法有效地分配位预算。

发明内容

本发明的主要目的在提供一种依据图像宏功能块的失真程度来进行图像编码的方法和系统，通过有效地使用位速率，提高图像解压缩后还原的图像品质。

根据本发明的一优选具体实施例，本发明的一种图像编码方法是对一数字图像中的一目标图像宏功能块分配图像编码所需的位速率。该数字图像包含多个图像宏功能块，每一图像宏功能块是依据所分配的位速率来进行后续的图像编码。首先，依据每一图像宏功能块在该数字图像中所在的位置选出一比较区域。该比较区域包含多个已完成位速率分配的图像宏功能块。接着，依据一相似宏功能块选取程序，从该比较区域的所述图像宏功能块中选取出一相似图像宏功能块。接着，依据一图像失真计算程序，分别计算出一第一图像失真变量(distortion variable)以及一第二图像失真变量。该第二图像失真变量是代表该相似宏功能块的图像失真程度，而该第一图像失真变量是代表该比较区域的图像宏功能块的平均图像失真程度。最后，依据所述相似宏功能块在以前所被分配到的位速率，以及该第一与第二图像失真变量的差值，来决定该图像宏功能块所需分配的位速率。

本发明的一种图像编码系统，以对一数字图像中的一目标图像宏功能块分配图像编码所需的位速率，该数字图像包含多个图像宏功能块，每一图像宏功能块是依据所分配的位速率来进行后续的图像编码，该图像编码系统包含：一比较区域选取模块，依据该目标图像宏功能块在该数字图像中所在的位置选出一比较区域，该比较区域并包含多个已完成位速率分配的图像宏功能块；一相似宏功能块选取模块，用于从该比较区域的图像宏功能块中选取出一相似宏功能块；一失真计算模块，用来分别计算出一第一图像失真变量以及一第二图像失真变量，该第一图像失真变量是代表该相似宏功能块的图像失真程度，而该第二图像失真变量是代表该比较区域的图像宏功能块的平均图像失真程度；以及一位速率决定模块，依据该相似宏功能块在以前所被分配到的位速率，以及该第一与第二图像失真变量的差值，来决定该目标图像宏功能块所需分配的位速率。

通过本发明所计算出的每一图像宏功能块所需分配的位速率，可以有效地分配位速率，并可以更精确地分配位预算于每一图像宏功能块，因而该数字图像在解压缩后可以获得更好的数字图像效果。

关于本发明的优点与精神可以通过以下的发明详述和附图得到进一步的了解。

附图说明

图1为用于本发明图像编码方法及系统的一数字图像的示意图；

图2为本发明的图像编码系统的功能方块图；

图3为图2的量化换算(quantization scale)控制器的功能方块图；

图4为图1所示的目标图像宏功能块为依据所选出的一比较区域示意图；

图5为由图4所示的比较区域选取相似宏功能块的示意图；

图6为本发明图像编码的方法的流程图。

图的标号说明

10：数字图像                    11：图像宏功能块

12：目标图像宏功能块            14：像素

16：比较区域                    18：图像编码系统

20：量化换算控制器              22：量化换算模块

24：离散余弦变换器              26：反离散余弦变换器

28：反量化换算模块              30：比较区域选取模块

32：相似宏功能块选取模块        34：失真计算模块

36：位速率决定模块              40、42、44、46：图像宏功能块

具体实施方式

请参阅图1，图1为用于本发明图像编码方法及系统的一数字图像10的示意图。数字图像10包含多个图像宏功能块11。每一图像宏功能块11均为一长与宽皆有16个像素14的正方形，因此每一图像宏功能块均具有256个像素14。每一像素14皆具有一原始灰度值。本发明的图像编码方法，是对数字图像10的图像宏功能块11分配图像编码所需的位速率。每一图像宏功能块11是依据所分配的位速率来进行后续的图像编码。以下说明本发明图像编码方法时是针对数字图像10的一个图像宏功能块来说明，在此称为目标图像宏功能块12。

请参阅图2，图2为本发明的图像编码系统18的功能方块图。本发明的图像编码系统18包含一离散余弦变换(Discrete Cosine Transform，DCT)器24、一量化换算(quantization scale)模块22、一量化换算控制器20、一反离散余弦变换(Inverse Discrete Cosine Transform，IDCT)器26以及一反量化换算(inverse quantization scale)模块28。

离散余弦变换器24是用来对每一图像宏功能块进行离散余弦变换，使得每一图像宏功能块成为离散余弦形式。离散余弦形式是指在频域表达一图像数据。量化换算模块22是用于通过一预设的量化换算，来降低图像变换后所产生的数值大小，并减少所需分配的位速率，以后续产生一相对应的MPEG压缩图像。量化换算控制器20是用来更改该预设的量化换算。反量化换算模块22是反转量化换算模块22的操作。反离散余弦变换器26是用来将该压缩图像重建成一相对应的重建图像宏功能块。该重建图像宏功能块中也具有与原始(压缩前)的图像宏功能块相对应的多个像素14，而每一像素14则具有一相对应的重建灰度值。

请参阅图3，图3为图2的量化换算控制器20的功能方块图。本发明的量化换算控制器20包含一比较区域选取模块30、一相似宏功能块选取模块32、一失真计算模块34以及一位速率决定模块36。比较区域选取模块30是用于依据目标图像宏功能块12在数字图像10中所在的位置选出一比较区域16。相似宏功能块选取模块32是用于从比较区域16的图像宏功能块11中选取出一相似宏功能块。失真计算模块34是用来分别计算出一第一图像失真变量R_avg以及一第二图像失真变量R_sml。位速率决定模块36是用于决定目标图像宏功能块12所需分配的位速率。

请参阅图4，图4为以图1所示的目标图像宏功能块12为依据所选出的一比较区域16示意图。本发明的选取比较区域程序是比较区域选取模块30以目标图像宏功能块12所在的位置为中心，将相邻且已完成位速率分配的多个图像宏功能块定义为比较区域16。因此，比较区域16是包含多个已完成位速率分配的图像宏功能块11。图4中以斜线标示的区域即为比较区域16。

请参阅图5，图5为由图4所示的比较区域16选取相似宏功能块的示意图。本发明的一相似宏功能块选取程序，首先相似宏功能块选取模块32计算出目标图像宏功能块12中所有像素14的原始灰度值总合。由于目标图像宏功能块12有255个像素14的原始灰度值为2，仅一个像素14的原始灰度值为3，因此其总合与目标原始灰度值均为513。接着，相似宏功能块选取模块32分别计算出比较区域16中图像宏功能块40、42、44以及46的所有像素14的原始灰度值总合，而分别得出515、617、103以及402的比较原始灰度值。接着，相似宏功能块选取模块32将该比较原始灰度值分别与该目标原始灰度值相比较，选取出其中差距最小者为图像宏功能块40，因此相似宏功能块选取模块32定义图像宏功能块40为目标图像宏功能块12的相似宏功能块。

本发明的图像宏功能块的图像失真变量计算方式可有不同方式。例如计算其相对应信号间差的绝对值和(sum of absolute difference，SAD)、均方差(mean square error，MSE)以及信号/噪声比(Peak Signal to Noise Ratio，PSNR)等方式。倘若图像宏功能块包含n个像素，又i＝1～n，且O_i和R_i分别为第i个像素14的该原始灰度值和该重建灰度值，则以上三种方式的方程式分别为：

$\mathrm{SAD}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|O_i-R_i|$

$\mathrm{MSE}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{|O_i-R_i|}^2/n$

$\mathrm{PSNR}=20\×{\log }_{10}(255\×n/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|O_i-R_i\left|\right)$

本发明第一图像失真变量R_avg的计算方式，是通过失真计算模块34运行一失真计算程序，将比较区域16中(图5)，图像宏功能块40、42、44和46其相对的图像失真变量加总后平均而得。该第一图像失真变量R_avg其意义为表示比较区域16中平均的图像失真程度。该第二图像失真变量R_sml是为目标图像宏功能块12相对应的一相似图像宏功能块的图像失真变量。

倘若目标图像宏功能块12所需分配的位速率为T_tar，T_tar可通过以下一目标图像宏功能块12所需分配的位速率公式算出：

T_tar＝T_sml+k×(R_avg-R_sml)

其中，T_sml为相似图像宏功能块在以前所被分配到的位速率。k为一可调整的权重(adjustable weight)。该可调整的权重k是通过实验而得的经验值，并且与位速率成正比。

本发明的决定目标图像宏功能块12所需分配的位速率的方法，是通过位速率决定模块36运行一位速率决定程序，依据相似图像宏功能块在以前所被分配到的位速率T_sml，加上该第一图像失真变量R_avg与该第二图像失真变量R_sml的差值乘以可调整的权重k，来决定目标图像宏功能块12所需分配的位速率。

请参阅图6，图6为本发明图像编码的方法的流程图。利用本发明图像编码的方法，对数字图像10中的目标图像宏功能块12分配图像编码所需的位速率时，包含下列步骤：

步骤S52：依据目标图像宏功能块12在数字图像10中所在的位置选出比较区域16。

步骤S54：依据所述相似宏功能块选取程序，从比较区域16中选取出相似图像宏功能块。

步骤S56：依据所述失真计算程序，分别计算出所述第一图像失真变量R_avg以及第二图像失真变量R_sml。

步骤S58：依据所述相似宏功能块在以前所被分配到的位速率T_sml、所述第一图像失真变量R_avg、所述第二图像失真变量R_sml以及所述可调整的权重k，以目标图像宏功能块12所需分配的位速率公式，决定目标图像宏功能块12所需分配的位速率。

因此，通过本发明所计算出的每一图像宏功能块所需分配的位速率，可以有效地分配位速率。相对于现有技术直接采用固定的预设位速率的方法，采用本发明的分配位速率方法，可以在解压缩数字图像10后获得更好的数字图像效果。此外，相较于另一现有技术采用图像宏功能块复杂度的方法，本发明可以更精准的分配位预算。

通过以上优选具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所公布的优选具体实施例来对本发明的范围加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求书的范围内。

Claims (22)

1.一种图像编码的方法，以对一数字图像中的一目标图像宏功能块分配图像编码所需的位速率，该数字图像包含多个图像宏功能块，每一图像宏功能块是依据所分配的位速率来进行后续的图像编码，该图像编码方法包含下列步骤：

依据该目标图像宏功能块在该数字图像中所在的位置选出一比较区域，该比较区域包含多个已完成位速率分配的图像宏功能块；

依据一相似宏功能块选取程序，从该比较区域中的图像宏功能块中选取出一相似宏功能块；

依据一图像失真计算程序，分别计算出一第一图像失真变量以及一第二图像失真变量，该第二图像失真变量是代表该相似宏功能块的图像失真程度，而该第一图像失真变量是代表该比较区域中的图像宏功能块的平均图像失真程度；以及

依据该相似宏功能块以前所被分配到的位速率，以及该第一与第二图像失真变量的差值，来决定该目标图像宏功能块所需分配的位速率。

2.如权利要求1所述的图像编码方法，其中该比较区域根据下列步骤选出：

以该目标图像宏功能块所在的位置为中心，相邻已决定出位速率的图像宏功能块即定义为该比较区域。

3.如权利要求1所述的图像编码方法，其中每一图像宏功能块皆为大小相同的正方形，且每一图像宏功能块的长宽各有16个像素。

4.如权利要求1所述的图像编码方法，其中该相似宏功能块选取程序包含下列步骤：

计算出该目标图像宏功能块中所有像素的原始灰度值总合，而得出一目标原始灰度值；

分别计算出该比较区域中每一图像宏功能块的所有像素的原始灰度值总合，而得出相对应的多个比较原始灰度值；以及

将该比较原始灰度值分别与该目标原始灰度值相比较，选取出其中差距最小者定义为所述相似宏功能块。

5.如权利要求1所述的图像编码方法，其中每一图像宏功能块是先经过一离散余弦变换程序以进行频率变换后，再经过一预设的量化换算来降低变换后所产生的数值大小，与减少所需分配的位速率，从而产生一相对应的MPEG压缩图像。

6.如权利要求5所述的图像编码方法，其中该压缩图像经过一反离散余弦变换程序可重建出一相对应的重建图像宏功能块，该重建图像宏功能块中也具有与原始的该图像宏功能块相对应的多个像素，每一该像素则具有一相对应的重建灰度值。

7.如权利要求6所述的图像编码方法，其中该图像宏功能块包含有n个像素，第i个像素的原始灰度值为O_i，其中i＝1～n，而重建灰度值为R_i，该图像失真计算程序是以下列步骤计算得出一图像宏功能块的一图像失真变量：

$\mathrm{SAD}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|O_i-R_i|.$

8.如权利要求6所述的图像编码方法，其中该图像宏功能块包含有n个像素，第i个像素的该原始灰度值为O_i，其中i＝1～n，而重建灰度值为R_i，该图像失真计算程序是以下列步骤计算得出一图像宏功能块的一图像失真变量：

$\mathrm{MSE}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{|O_i-R_i|}^2/n.$

9.如权利要求6所述的图像编码方法，其中该图像宏功能块包含有n个像素，第i个像素的原始灰度值为O_i，其中i＝1～n，而重建灰度值为R_i，该图像失真计算程序是以下列步骤计算得出一图像宏功能块的一图像失真变量：

$\mathrm{PSNR}=20\×{\log }_{10}(255\×n/\underset{i=l}{\overset{n}{\mathrm{\Σ}}}|O_i-R_i\left|\right).$

10.如权利要求1所述的图像编码方法，其中将所述比较区域中每一图像宏功能块经过所述图像失真计算程序计算后，所得到的计算结果平均可得出所述第一图像失真变量；而将所述相似宏功能块经过所述图像失真计算程序计算后，可得出所述第二图像失真变量。

11.如权利要求10所述的图像编码方法，其中所述相似宏功能块在以前所被分配到的位速率为T_sml，所述第一图像失真变量为R_avg，所述第二图像失真变量为R_sml，而该目标图像宏功能块所需分配的位速率为T_tar，并可由下列公式算出：

T_tar＝T_sml+k×(R_avg-R_sml)；

其中k为一可调整的权重。

12.一种图像编码系统，以对一数字图像中的一目标图像宏功能块分配图像编码所需的位速率，该数字图像包含多个图像宏功能块，每一图像宏功能块是依据所分配的位速率来进行后续的图像编码，该图像编码系统包含：

一比较区域选取模块，依据该目标图像宏功能块在该数字图像中所在的位置选出一比较区域，该比较区域并包含多个已完成位速率分配的图像宏功能块；

一相似宏功能块选取模块，用于从该比较区域的图像宏功能块中选取出一相似宏功能块；

一失真计算模块，用来分别计算出一第一图像失真变量以及一第二图像失真变量，该第一图像失真变量是代表该相似宏功能块的图像失真程度，而该第二图像失真变量是代表该比较区域的图像宏功能块的平均图像失真程度；以及

一位速率决定模块，依据该相似宏功能块在以前所被分配到的位速率，以及该第一与第二图像失真变量的差值，来决定该目标图像宏功能块所需分配的位速率。

13.如权利要求12所述的图像编码系统，其中所述比较区域选取模块是以所述目标图像宏功能块所在的位置为中心，将相邻已决定出位速率的图像宏功能块定义为所述比较区域。

14.如权利要求12所述的图像编码系统，其中所述相似宏功能块选取模块是以下列步骤决定出该相似宏功能块：

计算出所述目标图像宏功能块中所有像素的原始灰度值总合，而得出一目标原始灰度值；

分别计算出所述比较区域中每一图像宏功能块的所有像素的原始灰度值总合，而得出相对应的多个比较原始灰度值；以及

将该比较原始灰度值分别与所述目标原始灰度值相比较，选取出其中差距最小者定义为所述相似宏功能块。

15.如权利要求12所述的图像编码系统，其中该图像编码系统还包含：

一离散余弦变换器，用来对每一所述图像宏功能块进行离散余弦变换；以及

一量化换算模块，经过一预设的量化换算来降低图像变换后所产生的数值大小，并减少所需分配的位速率，从而产生一相对应的MPEG压缩图像。

16.如权利要求15所述的图像编码系统，其中该图像编码系统包含有一量化换算控制器，所述比较区域选取模块、相似宏功能块选取模块、失真计算模块与位速率决定模块皆包含于该量化换算控制器中，该量化换算控制器并进一步依据所述目标图像宏功能块所被分配的位速率、数字图像目前已完成位速率分配的图像宏功能块所已经使用的位速率、与该数字图像原预定的一总位速率分配值，来更改该预设的量化换算。

17.如权利要求15所述的图像编码系统，其中该图像编码系统还包含：

一反离散余弦变换器，用来对该压缩图像经过反离散余弦变换以重建出一相对应的重建图像宏功能块；

其中该重建图像宏功能块中也具有与原始的图像宏功能块相对应的多个像素，每一像素则具有一相对应的重建灰度值。

18.如权利要求17所述的图像编码系统，其中该图像宏功能块包含有n个像素，第i个像素的原始灰度值为O_i，其中i＝1～n，而重建灰度值为R_i，该失真计算模块是以下列步骤计算得出一图像宏功能块的一图像失真变量：

$\mathrm{SAD}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|O_i-R_i|.$

19.如权利要求17所述的图像编码系统，其中该图像宏功能块包含有n个像素，第i个像素的所述原始灰度值为O_i，其中i＝1～n，而所述重建灰度值为R_i，所述失真计算模块是以下列步骤计算得出一图像宏功能块的一图像失真变量：

$\mathrm{MSE}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{|O_i-R_i|}^2/n.$

20.如权利要求17所述的图像编码系统，其中该图像宏功能块包含有n个像素，第i个像素的所述原始灰度值为O_i，其中i＝1～n，而所述重建灰度值为R_i，所述失真计算模块是以下列步骤计算得出一图像宏功能块的一图像失真变量：

$\mathrm{PSNR}=20\×{\log }_{10}(255\×n/\underset{i=l}{\overset{n}{\mathrm{\Σ}}}|O_i-R_i\left|\right).$

21.如权利要求12所述的图像编码系统，其中所述失真计算模块会将所述比较区域中每一图像宏功能块加以计算，并将所得到的计算结果平均，以得出所述第一图像失真变量；而将所述相似宏功能块加以计算，以得出所述第二图像失真变量。

22.如权利要求21所述的图像编码系统，其中所述相似宏功能块在以前所被分配到的位速率为T_sml，所述第一图像失真变量为R_avg，所述第二图像失真变量为R_sml，而所述目标图像宏功能块所需分配的位速率为T_tar，并可由下列公式算出：

T_tar＝T_sml+k×(R_avg-R_sml)；

其中k为一可调整的权重。

Images