CN1209929C

CN1209929C - 视频压缩的量化处理方法和装置

Info

Publication number: CN1209929C
Application number: CNB008006792A
Authority: CN
Inventors: 菲利普·博尔德; 皮埃尔·吕埃洛
Original assignee: Thomson Consumer Electronics SA
Current assignee: COLOR PRINTING TECHNOLOGY Co.; Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 1999-04-26
Filing date: 2000-04-21
Publication date: 2005-07-06
Anticipated expiration: 2020-04-21
Also published as: ES2195886T3; FR2792798A1; JP2002543693A; US6535555B1; EP1099352B1; WO2000065843A1; EP1099352A1; DE60001896D1; FR2792798B1; AU4301600A; CN1302511A; DE60001896T2

Abstract

本发明涉及一种方法，包括计算有关像素或像素组(6、11)的量化间隔作为要求的位速率的函数，其特征在于还包括修改量化间隔作为有关像素或像素组的主观质量提示的函数。应用程序涉及到视频图像数据的压缩。

Description

视频压缩的量化处理方法和装置

技术领域

本发明涉及视频压缩的量化处理方法和装置。它更具体地被应用于根据ISO/IEC MPEG2标准的视频编码。(ISO-国际标准化组织，IEC-国际电工技术委员会，MPEG-运动图像专家组)

背景技术

视频压缩过程要在编码链中执行量化操作。这种量化一般适用于由余弦变换产生的系数块。

对编码器的输出位速率量化间隔的控制，便有可能实际调节这个位速率。在给定位速率下，由编码器得到的图像质量在很大程度上与这个调节策略有关。具体地说，同时要求量化间隔足够地大，但又不超出固定的位速率；量化间隔足够小，以限制数据块作用的编码赝像。另外，图像中的量化间隔的大的变化引起“差拍”型的毛病，所以，调节试图在最大可能的范围内稳定量化间隔。

调节以客观准则为基础，这个准则一般是被量化的数据的编码成本。如果先前量化的数据块的成本过多地偏离为遵从目标位速率所允许的平均成本，那末量化间隔将增加，在相反的情况下它将减小。这些变化不考虑当前被编码的区域的类型，这可能产生主观感觉上的缺陷，明确地说，眼睛对那些与编码序列内含物有关的缺陷或多或少是敏感的。例如在强运动区域，这些缺陷比在均匀稳定区域较少可见。

发明内容

本发明的目的是缓解上述缺点，提供一种视频压缩的量化处理方法和装置。

本发明的主题是视频数据压缩的量化处理方法，

存储当前图像，给出延迟的图像；

处理当前的图像，得到降级的图像；

将降级的图像与当前的图像进行比较，计算与图像的像素或像素块有关的每个像素或每个像素块的质量提示；

通过计算每个像素或每个块的量化间隔作为对应每个像素或每个块的质量提示的函数编码延迟的图像；

相对于当前图像的存储、处理和比较步骤是在相对于前面图像的编码步骤期间进行的。

具体地说，量化提示是JND(正好可通知的差异(Just NoticeableDifference))型的。

本发明的一个变体的要点是：提示是像素块的平均结果。

本发明的另一个变体的要点是：提示涉及的数据块在围绕这个块的窗中被过滤。

本发明的另一个变体的要点是：提示由在图像上被平均的主观质量提示加权。

本发明的另一个变体的要点是：每个像素主观质量提示在产生降级图像的主观估计过程的基础上被提供。降级图像可能是本地解码的，由相应参考图像的先前编码产生。

本发明的其他变化的要点是：图像降级是通过借助于高斯噪声，或借助于变换、量化、反变换和反量化操作，使参考图像有噪声而得到的。

另一个变体的要点是：量化和反量化操作中使用的量化间隔，是在先前的图像编码过程中所使用的。

另一个变体的要点是：量化和反量化操作中使用的量化间隔，是在图像的预分析过程中所使用的。

本发明也涉及实现处理方法的视频压缩的量化处理装置，包括源图像编码用的MPEG型编码器(6)，

编码和解码装置，用于接收源图像从而计算降级图像；

接收源图像和降级图像的处理器(5)，通过图像的对比，计算有关源图像的像素或像素块的每个像素或每个块的质量提示，以便提供具有质量提示的编码器(6)；

用于存储至少一个图像的电路，它接收源图像以便将延迟的图像发送至编码器(6)；

根据对应有关源图像的每个像素或每个块质量提示的函数计算的每个像素或每个块的量化间隔编码延迟的图像。

附图说明

本发明特征和优点，通过下面对给出的例子并参照附图所作的描述将较好地显示出来，附图中：

—图1表示用于MPEG编码器的量化装置。

—图2表示用于MPEG编码器的量化装置的一个变体。

具体实施方式

本发明的思想是调制由规则建议的量化间隔作为主观质量准则的函数。根据本发明，对给定的位速率来说，图像的整体质量被改善：观看者对图像质量较少敏感的区域被降级，而他对这个质量更为敏感的区域则被改善，所以，在不变的位速率下，由于补偿，图像的主观质量得以改善。

准则由生理视觉模型提供。例如，模型完成了相对于参考图像(一般为源图像)，模型进行图像(一般为解码图像)的主观估计，并推荐对缺陷最敏感的区域的位置。

在视频编码的情况下，这个模型一方面需要被提供以源图像，另一方面需要被提供以降级图像，因为相应的解码图像不是现有的(既定的编码)。

通过对源图像进行DCT、量化、反量化和反DCT操作(在编码器中用的)的应用将会得到降级图像，这样做能使缺陷很像视频编码的缺陷。所使用的量化间隔可以是先前的图像编码过程中所使用的间隔的平均，因而有可能得到某种更接近真实的结果。如果INTRA预分析由编码器实行，那么，所使用的间隔就可以是这个预分析过程中所使用的间隔。

但是，可以设想用别的方法产生降级图像，例如：

—给源图像加上高斯噪声，

—直接使用第一遍编码产生的本地解码，在两遍编码的环境中，第一遍有可能使第二遍优化。

一旦得到两个图像，生理视觉模型给我们一个JND(Just NoticeableDifference(正好可通知的差异)的首字母编写词)型的提示，把按像素而言的误差与主观知觉的缺陷联系起来。例如，这个提示是一个图像，它的成分像素的亮度值被代表人的眼睛对缺陷的知觉水平的值所替换。

这个像素提示开始被称为微块提示(一般为16×16像素面积)，它是视频编码单元：

JND_MB (k, l) = \frac{Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} JND_pixel (k * M + i, l * N + j)}{M * N}

每个微块由N行和每行M个像素组成。图像被切成为一些微块，字母k和l分别表示图像中的微块MB(k，l)的列数和行数。

然后，这个提示在尺度为F的窗中被过滤，例如一个微块在两个方向上的两侧是被处理的微块，从而避免从一个微块到另一个微块之间量度间隔的过多变化。事料上这导致并非不足道的过量编码成本。

因此，值JND_MB在F外微块的窗上、在被处理的微块的两侧被用下列公式平均：

JND_Fil (k, l) = \frac{Σ_{u = k - F}^{K + F} Σ_{v = 1 - F}^{1 + F} JND_MB (u, v)}{{(2 * F + 1)}^{2}}

最后，这个本地准则被与JND在图像上的平均值Mean_JND比较，这样就能考虑到图像量化的整体质量：

Mean_JND = \frac{Σ_{u = 0}^{Sl - 1} Σ_{v = 0}^{MB - 1} JND_MB (u, v)}{Sl * MB}

MB是每片的微块数(使用MPEG术语)，

SI是一个图像中的片数。

量化间隔的权重准则如下：

Δ＝JND_Fil-Mean_JND

当本地的缺陷敏感度高于图像中的平均值时，也就是当Δ为正时，那么量化间隔就被减小，例如按下关系减小：

Q_MB＝Q_regulation-Min(0.3*Q_regulation，Δ²)

Q_MB是被分配给微块MB的量化间隔，也就是说考虑权重准则而修改后的量化间隔。

Q_regulaion(调节)是最初由编码器调节电路计算的量化间隔，也就是说在修改以前被指定给微块的量化间隔。

以后，这里被平方的“质量偏差”，只要这个值小于原来间隔的0.3倍，就从推荐的量化间隔中扣除。在Δ²和0.3×Q_regulaion之间选择最小值，相当于允许原来间隔的1/3的最大降低。

本发明的一个变体的要点是：在进行对比时，不是从被过滤值减去平均值，而是形成被过滤值对平均值的商数。

a = \frac{JND_Fil (k, l)}{Mean_JND}

如果微块k，l的值JND_Fil(k，l)接近Mean_JND的值，就不需要进行校正，缺陷在相应于微块MB(k，l)的这区域，与在图像上的平均相比，既不多也不少可见。

如果值JND_Fil(k，l)大于值Mean_JND，这意味着在这个区域，观看者将更对缺陷敏感，因而减小由调节所推荐的量化间隔是合宜的。

如果JND_Fil(k，l)小于Mean_JND，观看者对这个区域的缺陷将较少敏感，因此可以设想增大量化间隔。

在应用上述系数α之前，最好将它定界在值BOUND_INF和BOUND_SUP之间，从而避免量化间隔的过大变化。确实大的变化可以引起调节算法的不稳定。

因此，由调节推荐的量化间隔被用下列方法校正：

Q_MB = \frac{Q_regulation}{MAX (BOUND_INF, MIN (a, BOUND_SUP))}

涉及第一个解决办法的算法避免出现量化间隔的过多变化。从主观上能够看出：在敏感区域，量化间隔确实已减小，改善了清晰度。

就调节算法而论，它比起变体所推荐的相应算法较少受到干扰，促成信噪比PSNR(Peak Signal Ratio(峰值信噪比)的首字母缩写词)的较高稳定性。

在更一般的方法中，这些算法能使量化间隔基于主观质量准则被本地改变。它们能用于任何视频编码器并与现有的位速率控制算法相兼容。因此，图像编码成本根据主观准则被按比例分配，使有可能给从观看者的眼光看来对缺陷最为敏感的区域分配更多的位。

图1表示实现上述处理方法的装置，通过对源图像进行DCT、量化、反量化和反DCT操作将会得到降级图像。

源图像相继地被输送至离散余弦变换编码器1，量化器2，反量化器3和反余弦变换编码器4，然后，由此得到的被称为降级图像的图像被加至HVS处理的电路5，处理电路在第二输入端接收源图像。源图像也被发送至MPEG型编码器6。这个MPEG编码器在第二输入端接收由HVS处理电路5产生的提示。量化器2和反量化器3也接收从MPEG编码器6来的提示。MPEG编码器的输出提供对源图像进行编码而得的压缩数据。

由DCT编码器接收的提示是源图像块提示，该源图像最初借助于没有表示在图中的电路被分割成图像块。这些图像块通过电路1经历DCT型编码。与被变换的数据块相对应的系数通过量化电路2进行量化，然后通过反量化电路3进行反量化。所用的量化间隔，例如是通过用于对先前图像的对应块编码的MPEG编码器6计算的量化间隔。被反量化的系数的块最后被发送至反编码电路DCT-1，进行与电路1相反的变换。所得的块对应于降级图像，并且被发送至HVS处理电路5。

这个电路5接收源图像块和降级图像块。一旦电路已接收到整个图像的块，电路就执行计算算法，以便提供JND型提示，也就是说，这个提示是就每个块和相对应的区域来说，涉及观察者对与相关块相对应的区域图像缺陷敏感度的提示。

这个算法是例如以模拟人的视觉系统性能的遮掩函数(过滤)为基础的。每个函数就它所模拟的性能(因对比度，高亮度或低亮度，文本，运动等引起的遮掩)而言，指示两个输入图像之间是否有差异，或者是否看不出差异。这些函数的组合使得有可能得到一个图像，它的每个像素的强度正比于相关图像中误差的能见度。

对于每一个图像块，这个提示被发送至MPEG编码器6，编码器根据通常调整的算法计算完块的量化间隔之后，修改这个计算值作为JND型提示的函数。编码器用来进行块系数量化的就是这个修改值。编码器在它的输出端，提供对应于MPEG编码的压缩数字数据。

本发明的一个变体表示在图2中。

源图像并行地被发送至第一MPEG编码器7，延迟电路8和处理电路9的输入端。第一MPEG编码器在第一输出端将本解码图像发送至处理电路9的第二输入端，并在第二输出端将涉及执行压缩的数据发送至分析电路10。该电路10的输出被连接至第二MPEG编码器11的第一输入端。延迟电路8的输出被连接至第二编码器11的第二输入端。处理电路的输出被连接至第二编码器11的第三输入端。该第二编码器的输出是压缩数据的输出。

因此，源图像被发送至MPEG型第一编码器7。这个编码器的第一输出端提供本地解码，也就是说重构的图像，它使有可能在编码器中，相对于这个被称作为本地解码的重构的先前图像，进行现行图像的差分编码。本地解码的图像是重构的，因为它是用余弦变换和量化进行编码的图像，所根据的是MPEG标准，然后用反操作进行解码。处理电路9将源图像与降级图像的本地解码进行比较。这个处理电路向第二编码器提供本色的图像，它的每个像素的强度正比于相关图像中误差的可见度，如上面所指出的。

第二MPEG编码器11也接收由第一遍的分析电路产生的提示。这个分析电路处理例如涉及第一遍的过程中的图像编码成本的提示，使其成为运动矢量以便编制运动矢量场的直方图，计算图像或图像组按比例分配的位速率等。这些数据被发送至第二编码器，第二编码器利用这些数据决定图像的编码类型，用于计算量化间隔等等。

延迟电路8使有可能根据图像分析时间而延迟图像的传输。这个时间涉及每次所要分析图像的数目，例如一个图像组(GOP)。因此，第二编码器11根据由分析电路10和处理电路9产生的提示，对这些被延迟的图像进行编码，量化间隔也随这些数据而被修改。

这些是典型的实施例，当然，在不偏离本发明范围的情况下，任何有可能得到降级图像的电路，都是可用的。

Claims

1.一种视频压缩的量化处理方法，其特征在于所述方法包括下列步骤：

存储当前图像，给出延迟的图像；

处理当前的图像，得到降级的图像；

2.根据权利要求1所述的处理方法，其特征在于质量提示是JND型的。

3.根据权利要求1所述的处理方法，其特征在于计算像素块的提示是在计算块平均的像素块每个像素的提示。

4.根据权利要求3所述的处理方法，其特征在于有关块的提示在围绕这个块的窗中被过滤。

5.根据权利要求3或4所述的处理方法，其特征在于提示由图像上平均的主观质量提示加权。

6.根据权利要求1所述的处理方法，其特征在于通过借助于高斯噪声使参考图像带有噪声，从而得到降级图像。

7.根据权利要求1所述的处理方法，其特征在于通过借助于变换、量化、反变换和反量化操作，使参考图像带有噪声，从而得到降级图像。

8.根据权利要求7所述的处理方法，其特征在于量化和反量化操作使用的量化间隔，是在先前的图像编码过程中所使用的量化间隔。

9.根据权利要求7所述的处理方法，其特征在于量化和反量化操作使用的量化间隔，是在图像预分析的过程中所使用的量化间隔。

10.根据权利要求1所述的处理方法，其特征在于降级图像是相应的参考图像的先前编码产生的本地解码。

11.一种视频压缩的量化处理装置，包括源图像编码用的MPEG型编码器(6)，其特征在于它还包括：

编码和解码装置，用于接收源图像从而计算降级图像；

12.根据权利要求11所述的装置，其特征在于编码和解码电路包括：DCT编码电路(1)，量化电路(2)，反量化电路(3)，反DCT编码电路(4)，用于提供降级图像。