CN101938647A - 以h264解方块为基础的多源过滤器以及多源过滤方法 - Google Patents

Abstract

以H264解方块为基础的多源过滤器以及多源过滤方法。该多源过滤器包括以下单元。量化参数计算单元接收输入的一图像数据，计算出一量化参数。边界强度计算单元接收图像数据，计算出一边界强度。区块检测器接收图像数据检测是否落在区块边界。图像边缘检测器接收图像数据检测出是否不属于一图像边缘区域。启动单元接收量化参数决定是否需要启动解方块过滤的处理。判断单元决定出当边缘不在区块边界时且需要过滤的处理时，对该图像数据做过滤输处理，输出新的图像数据。

Description

以H264解方块为基础的多源过滤器以及多源过滤方法

技术领域

本发明涉及H.264的图像压缩与解压缩技术，且特别涉及以H264解方块为基础的多源过滤器。

背景技术

H.264的图像压缩与解压缩技术是MPEG图像压缩与解压缩技术提出后所提出另一种图像压缩技术。在H.264的图像压缩技术中，一个图像会分成多个区块分别压缩处理。在解压缩时，也依照多个区块分别解压缩后，也进行解方块(de-blocking)的处理，将多个区块组合成一个图像。

解方块的作用是用来以消除H.264视频的区块在处理过程中产生的人为区块信息(blocking artifacts)。然而，如果输入图像数据源并不是直接由解码器所解出来的，而是解码后再被传送的图像数据，则H.264中的解方块功能就无法提供其预定的效果。

图1绘示传统解方块功能的电路示意图。参阅图1，由解码器100所解出来的图像数据中也包括有量化参数(quantization parameter，qP)由一量化参数单元104取出后输出到一临界值单元106。如业界所已知，量化参数可代表一个区块信息被简化的情形，其通过查表可以得知一临界值。根据临界值以及所采的条件，促使过滤器开关108输出一致能信号。此致能信号将过滤器110启动。过滤器110的作用其一是使方块边界的图像产生些微模糊(blur)化，使得方块边界模糊，不会使图像显示出人为分割(slice)的区块。

过滤器110接收图像单元102的图像数据，即是一个图框的多个像素数据，以进行过滤处理。边界强度单元112(boundary strength，bS)从解码器100所提供的信息来得到bS。又，过滤器110的过滤强度还需要通过边界强度单元112所决定的程度(level)来进行。

在上述图1的传统架构，量化参数与边界强度的信息都是由解码器110提供。如果，图像数据源不是由解码器110提供，而例如是已经解码的图像数据源来提供，由于已经解码的图像数据源并不会附带有量化参数与边界强度的信息，因此便无法正确利用H.264规格本身所提供的解方块功能。

发明内容

本发明提供一种以H264解方块为基础的多源过滤器，如果图像数据是由解码器所得的，就依照其所提供的量化参数与边界强度的信息做过滤处理。如果图像数据不是由解码器所得，就根据图像数据，推测出量化参数与边界强度，而进行解方块的处理。

本发明提供一种以H264解方块为基础的多源过滤器，包括一第一开关单元、一第二开关单元、一量化参数计算单元、一边界强度计算单元、一区块检测器、一图像边缘检测器、一启动单元、一判断单元以及一过滤器。第一开关单元选择接收由一解码器提供的一原始量化参数(qP)或是一计算量化参数(qP’)。第二开关单元选择接收由一解码器提供的一原始边界强度(bS)或是一计算边界强度(bS’)。第一开关单元与第二开关单元是同时选择原始量化参数与该原始边界强度，或同时选择该计算量化参数与该计算边界强度。量化参数计算单元接收输入的一图像数据，计算出该计算量化参数。边界强度计算单元接收该图像数据，计算出该计算边界强度。区块检测器接收该图像数据，当检测出该图像数据是落在一区块边界区域就输出一区块检测值。图像边缘检测器接收该图像数据，当检测出该图像数据并非属于一图像边缘区域，输出一非边缘检测值。启动单元连接到该第一开关以接收该原始量化参数或该计算量化参数，以将该启动单元所接收到的该原始量化参数或该计算量化参数，与一临界值进行比较，以决定是否需要输出一过滤启动值。判断单元接收该区块检测值、该非边缘检测值以及该过滤启动值，以根据该区块检测值、该非边缘检测值以及该过滤启动值至少其中之一来输出一启动值。过滤器连接到第二开关用来接收该启动值、该图像数据，以及该第二开关所传递过来的原始边界强度或该计算边界强度，来根据该原始边界强度或计算边界强度，对该图像数据进行一过滤操作，以输出一处理后图像数据。

本发明也提供一种以H264解方块为基础的多源过滤器，包括一量化参数计算单元、一边界强度计算单元、一区块检测器、一图像边缘检测器、一启动单元、一判断单元、以及一过滤器。量化参数计算单元接收输入的一图像数据，计算出依照一第一分析规则估计的一量化参数。边界强度计算单元接收该图像数据，以计算出依照一第二分析规则估计的一边界强度。区块检测器接收该图像数据，用来当检测出该图像数据正落在一区块边界区域时输出一区块检测值。图像边缘检测器接收该图像数据，用来当检测出该图像数据并不属于一图像边缘区域时输出一非边缘检测值。启动单元接收该量化参数并将该量化参数与一临界值进行比较，以输出一过滤启动值。判断单元用来接收该区块检测值、该非边缘检测值以及该过滤启动值。又当该区块检测值、该非边缘检测值以及该过滤启动值都是启动状态时输出一启动值。过滤器接收该启动值、该图像数据以及该边界强度，以根据该边界强度对该图像数据进行一过滤操作，进而输出一处理后图像数据。

本发明也提供一种产生量化参数电路，使用于H264的图像处理中，包括一第一变化计算单元、一第二变化计算单元、一取最大值单元以及一数值缩放单元。第一变化计算单元根据指定的一区块边界，取一第一边相邻的n个像素值进行一细节计算，以得到一第一变化值。第二变化计算单元根据该区块边界，取一第二边相邻的n个像素值进行该细节计算，以得到一第二变化值。取最大值单元取该第一变化值与该第二变化值的一较大值。数值缩放单元用来缩放该较大值，以得到一量化参数。其中，n不小于3。

本发明也提供一种产生边界强度电路，使用于H264的图像处理中，包括一亮度遮蔽估计单元、一取最小值单元、一差值计算单元以及一对数计算单元。亮度遮蔽估计单元根据一假设区块边界，用来取得该假设区块边界的两相邻像素的两个像素亮度值所对应的一第一亮度解析值以及一第二亮度解析值。取最小值单元取第一亮度解析值与第二亮度解析值的一较小值。差值计算单元计算其两个像素亮度值的一相差值。对数计算单元用来根据该相差值以及该较小值，计算得到一边界强度。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1绘示传统解方块功能的电路示意图。

图2绘示依据本发明一实施例，以H264解方块为基础的多源过滤器示意图。

图3绘示依据本发明一实施例，计算量化参数的机制示意图。

图4绘示依据本发明一实施例，量化参数计算单元的电路示意图。

图5绘示依据本发明一实施例，边界强度计算单元的电路示意图。

【主要元件符号说明】

100：解码器

102：图像单元

104：量化参数单元

106：临界值单元

108：过滤器开关

110：过滤器

112：边界强度单元

200：量化参数计算单元

202：区块检测器

204：图像边缘检测器

206：判断单元

208：过滤器

210：边界强度计算单元

211、212：开关单元

230：区块边界

232、234：像素

250、252：细节计算单元

254：取最大值单元

256：缩放单元

300、302：亮度遮蔽单元

304：相差单元

306：取最小值单元

308：bS估算单元

具体实施方式

本发明提出以H264解方块为基础的多源过滤器，可以处理由解码器所得到的qP与bS信息外，也可以从图像数据中直接推测计算出qP’与bS’信息，允许可以使用H264解方块的功能。另外通过区块检测器用以定出区块的位置，另外利用图像边缘检测器，用以辅助控制过滤器的启动与否。当图像边缘存在于区块边界时，则不启动过滤器。

以下举一些实施例来说明本发明，但是本发明不仅限于所举的一些实施例，且实施例之间也相互适当结合。

图2绘示依据本发明一实施例，以H264解方块为基础的多源过滤器示意图。参阅图2，就一般性而言，多源过滤器包括一第一开关单元211、一第二开关单元212、一量化参数计算单元200、一边界强度计算单元210、一区块检测器202、一图像边缘检测器204、一启动单元106+108、一判断单元206以及一过滤器208。另外量化参数单元104、边界强度单元112、临界值单元106以及过滤器开关108则维持与图1所描的相同功用。

第一开关单元211选择接收由解码器100提供的一原始的量化参数(qP)或是经量化参数计算单元200计算后的一计算的量化参数(qP’)。第二开关单元212选择接收由解码器100提供的一原始的边界强度(bS)或是经边界强度计算单元210计算后的一计算的边界强度(bS’)。原始的量化参数与原始的边界强度是同时被选择的一组。计算的量化参数qP’与计算的边界强度bS’为同时被选择的另一组。

量化参数计算单元200接收由图像单元102输入的图像数据，该图像数据是解码后的图像数据，因此，该图像数据并不会携带量化参数与边界强度的信息；此时，量化参数计算单元200计算出量化参数qP’。边界强度计算单元也接收图像数据，且计算出边界强度bS’。

此外，区块检测器202也接收图像数据，当检测出图像数据是落在一区块边界区域时就输出一区块检测值。图像边缘检测器204接收图像数据，当检测出不是属于一图像边缘区域就输出一非边缘检测值。启动单元包括临界值单元106以及过滤器开关108，连接到第一开关211以接收原始的量化参数qP或是计算的量化参数qP’，经查表取得一临界值，以对应地输出一过滤启动值而区块检测器202与图像边缘检测器204是现有的技术，毋须个别限定。

在本实施例中，判断单元206接收区块检测值、非边缘检测值以及过滤启动值，依照下述条件处理，输出一启动值。(1)如果过滤启动值是由原始的量化参数qP来决定，则仅依照过滤启动值输出启动值给过滤器208，来决定是否要启动过滤器208。(2)如果过滤启动值是根据计算出的量化参数qP’来决定，则当区块检测值、非边缘检测值以及过滤启动值都是在启动状态时才输出启动值；这是因为图像边缘是图像的主要部分，需要较清晰显示。因此，图像边缘落在区块边界时，如果进行过滤器的模糊化，使图像边缘模糊，因此，在图像的边缘时，过滤启动值并不为启动状态的代表值，此时过滤器208便不执行过滤操作。

在实作上，判断单元206的实现并不困难，举例来说，判断单元206可与开关211、212接受相同的控制(譬如接收相同的控制信号)，以得知前端所接收的量化参数是qP’或qP，接着，再通过不同的状况(1)、(2)，以不同的方式来判断究竟是否要启动过滤器。譬如，判断单元206本身可包含有一逻辑电路(譬如一与门)，其输入端分别接收该区块检测值，非边缘检测值，以及过滤启动值，以在前述的状况(2)中，根据这三个值的信号值来决定是否要启动过滤器。当然，判断单元206的实作方式并不以前述的作法为限，凡可根据前述不同的状况(1)、(2)而分别执行其操作的相关电路与方法，均属本发明的范围。

过滤器208接收启动值、图像数据以及由第二开关212传递过来的原始的边界强度bS/计算的边界强度bS’，以由启动值控制而执行过滤操作，以输出一处理后图像数据。

在图2的电路方块中，电路设计者可以根据所要的功能，可以将数个功能方块加以整合，其结构不以图2所示的功能方块图为限，其相对应的变化均属本发明的范围。

接着描述量化参数计算单元200的电路以及计算机制。图3绘示依据本发明一实施例，计算量化参数的机制示意图。图4绘示依据本发明一实施例，量化参数计算单元的电路示意图。参阅图3与图4，量化参数会影响区块内容被牺牲的细节。因此，qP’的计算是用细节来臆测原始应有的qP值。对于一假设的区块边界230而言，可以取左边的至少3个像素232，例如是4像素p0～p3，同时右边也取相等的至少3个像素234，例如是4像素q0～q3。细节计算单元250、252分别各自计算出细节值(variance)。细节值的推测或许有不同机制，本发明例如以高通滤波器(high-pass filter)来计算，其更例如是通过二阶[-1，2，-1]的高通滤波器来计算。一般而言，细节值会随图像混乱度变化，而计算出来的细节值可大约代表图像混乱度。根据左边与右边所计算出的值，通过取最大值单元254取其最大值，以此最大值代表区块边界左右所具有的细节量，经过缩放(scaling)单元256的数值缩放后，用以取代原来的qP值，即是前述的qP’值。

接着，图5绘示依据本发明一实施例，边界强度计算单元的电路示意图。参阅图5，边界强度计算单元的机制可利用视觉对亮度所能辨识的差异为之。由于视觉是无法区别些微的亮度差异，而其视觉无法区分的范围(其称为遮蔽范围，又称为亮度解析度)，而每一个亮度所对应的亮度解析度各有不同，举例来说，对于某一特定亮度A，其对应的亮度解析度(视觉无法分辨的亮度差异)可能为A1值，而对于另一特定亮度值B，其所对应的亮度解析度可能为B1值，在此请注意，特定亮度与亮度解析度的对应关系与数值可由一般研究的资料获得。

在本实施例中，本发明利用区块边界230(见图3)的相邻二个像素p0与q0，通过亮度遮蔽单元300、302，分别估计亮度解析度，且由取最小值单元306取二个亮度解析度中的较小值，作为亮度可辨识值。又通过相差单元304计算像素p0与q0的亮度差异。接着bS估算单元308，分析出对应bS的计算量bS’。例如是，根据式(1)：

(1)Log2(亮度相差值/亮度解析度较小值)

的估算，得到计算后的bS’。然而，如果需要更精确的调整，可以根据式(1)的计算值载做调整计算。

在此请注意，本发明提出在区块边界估算qP’与bS’的一种方式，因此，如果图像数据本身并没有携带原始的qP值与bS值，本发明可自行由图像数据估算出替代的qP’与bS’，来对区块边界做过滤，或是模糊化的处理。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书所界定者为准。

Claims (16)

1.一种以H264解方块为基础的多源过滤器，包括：

一第一开关单元，选择接收由一解码器提供的一原始量化参数(qP)或是一计算量化参数(qP’)；

一第二开关单元，选择接收由一解码器提供的一原始边界强度(bS)或是一计算边界强度(bS’)，其中该第一开关单元与该第二开关单元是同时选择原始量化参数与该原始边界强度，或同时选择该计算量化参数与该计算边界强度；

一量化参数计算单元，接收输入的一图像数据，计算出该计算量化参数；

一边界强度计算单元，接收该图像数据，计算出该计算边界强度；

一区块检测器，接收该图像数据，当检测出该图像数据是落在一区块边界区域就输出一区块检测值；

一图像边缘检测器，接收该图像数据，当检测出该图像数据并非属于一图像边缘区域，输出一非边缘检测值；

一启动单元，连接到该第一开关以接收该原始量化参数或该计算量化参数，以将该启动单元所接收到的该原始量化参数或该计算量化参数，与一临界值进行比较，以决定是否需要输出一过滤启动值；

一判断单元，接收该区块检测值、该非边缘检测值以及该过滤启动值，以根据该区块检测值、该非边缘检测值以及该过滤启动值至少其中之一，来输出一启动值；以及

一过滤器，连接到该第二开关，用来接收该启动值、该图像数据，以及该第二开关所传递过来的该原始边界强度或该计算边界强度，来根据该原始边界强度或计算边界强度，对该图像数据进行一过滤操作，以输出一处理后图像数据。

2.如权利要求1所述的以H264解方块为基础的多源过滤器，其中若该第一开关是传递该原始量化参数来决定，则该判断单元仅依照该过滤启动值输出该启动值。

3.如权利要求1所述的以H264解方块为基础的多源过滤器，其中若该第一开关是传递该计算量化参数，则该判断单元是于区块检测值、该非边缘检测值以及该过滤启动值都是启动状态时输出该启动值。

4.如权利要求1所述的以H264解方块为基础的多源过滤器，其中该量化参数计算单元包括：

一第一变化计算单元，根据一假设区块边界，取一第一边相邻的n个像素值进行一细节计算，以得到一第一变化值；

一第二变化计算单元，根据该假设区块边界，取一第二边相邻的n个像素值进行该细节计算，得到一第二变化值；

一取最大值单元，用来取得该第一变化值与该第二变化值的一较大值；以及

一数值缩放单元，用来缩放该较大值，以输出该计算的量化参数；

其中n不小于3。

5.如权利要求4所述的以H264解方块为基础的多源过滤器，其中该细节计算是一高通滤波计算。

6.如权利要求4所述的以H264解方块为基础的多源过滤器，其中n＝4。

7.如权利要求1所述的以H264解方块为基础的多源过滤器，其中该边界强度计算单元包括：

一亮度遮蔽估计单元，根据一假设区块边界，用来取得该假设区块边界的两相邻像素的两像素亮度值所对应的一第一亮度解析值以及一第二亮度解析值；

一取最小值单元，取该第一亮度解析值与该第二亮度解析值的一较小值；

一差值计算单元，计算该两像素亮度值的一相差值；以及

一对数计算单元，用来根据该相差值以及该较小值，

得到该计算的边界强度。

8.一种以H264解方块为基础的多源过滤器，包括：

一量化参数计算单元，接收输入的一图像数据，计算出依照一第一分析规则估计的一量化参数；

一边界强度计算单元，接收该图像数据，计算出依照一第二分析规则估计的一边界强度；

一区块检测器，接收该图像数据，用来当检测出该图像数据正落在一区块边界区域时，输出一区块检测值；

一图像边缘检测器，接收该图像数据，用来当检测出该图像数据并不属于一图像边缘区域时，输出一非边缘检测值；

一启动单元，接收该量化参数，并将该量化参数与一临界值进行比较，以输出一过滤启动值；

一判断单元，用来接收该区块检测值、该非边缘检测值以及该过滤启动值，以及当该区块检测值、该非边缘检测值以及该过滤启动值都是启动状态时输出一启动值；

一过滤器，接收该启动值、该图像数据以及该边界强度，以根据该边界强度对该图像数据进行一过滤操作，进而输出一处理后图像数据。

9.如权利要求8所述的以H264解方块为基础的多源过滤器，其中该量化参数计算单元包括：

一第一变化计算单元，根据一假设区块边界，取一第一边相邻的n个像素值进行一细节计算，以得到一第一变化值；

一第二变化计算单元，根据该假设区块边界，取一第二边相邻的n个像素值进行该细节计算，得到一第二变化值；

一取最大值单元，取该第一变化值与该第二变化值的一较大值；以及

一数值缩放单元，用来缩放该较大值，以输出该量化参数；

其中n不小于3。

10.如权利要求9所述的以H264解方块为基础的多源过滤器，其中该细节计算是一高通滤波计算。

11.如权利要求9所述的以H264解方块为基础的多源过滤器，其中n＝4。

12.如权利要求8所述的以H264解方块为基础的多源过滤器，其中该边界强度计算单元包括：

一亮度遮蔽估计单元，根据一假设区块边界，用来取得该假设区块边界的两相邻像素的两像素亮度值所对应的一第一亮度解析值以及一第二亮度解析值；

一取最小值单元，取该第一亮度解析值与该第二亮度解析值的一较小值；

一差值计算单元，计算该两像素亮度值的一相差值；以及

一对数计算单元，用来根据该相差值以及该较小值，计算出该边界强度。

13.一种产生量化参数电路，使用于H264的图像处理中，包括：

一第一变化计算单元，根据指定的一区块边界，取一第一边相邻的n个像素值进行一细节计算，以得到一第一变化值；

一第二变化计算单元，根据该区块边界，取一第二边相邻的n个像素值进行该细节计算，以得到一第二变化值；

一取最大值单元，取该第一变化值与该第二变化值的一较大值；以及

一数值缩放单元，用来缩放该较大值，以得到一量化参数；

其中，n不小于3。

14.如权利要求13所述的产生量化参数电路，其中该细节计算是一高通滤波计算。

15.如权利要求13所述的产生量化参数电路，其中n＝4。

16.一种产生边界强度电路，使用于H264的图像处理中，包括：

一亮度遮蔽估计单元，根据一假设区块边界，用来取得该假设区块边界的两相邻像素的两个像素亮度值所对应的一第一亮度解析值以及一第二亮度解析值；

一取最小值单元，取该第一亮度解析值与该第二亮度解析值的一较小值；

一差值计算单元，计算该两像素亮度值的一相差值；以及

一对数计算单元，用来根据该相差值以及该较小值，计算得到一边界强度。

Images