TWI413415B - 以ｈ２６４解方塊為基礎的多源過濾器以及多源過濾方法 - Google Patents

Description

以H264解方塊為基礎的多源過濾器以及多源過濾方法

本發明是有關於H.264的影像壓縮與解壓縮技術，且特別是有關於以H264解方塊為基礎的多源過濾器。

H.264的影像壓縮與解壓縮技術是MPEG影像壓縮與解壓縮技術提出後所提出另一種影像壓縮技術。在H.264的影像壓縮技術中，一個影像會分成多個區塊分別壓縮處理。在解壓縮時，也依照多個區塊分別解壓縮後，也進行解方塊(de-blocking)的處理，將多個區塊組合成一個影像。

解方塊的作用是用來以消除H.264視訊的區塊在處理過程中產生的人為區塊資訊(blocking artifacts)。然而，如果輸入影像資料源並不是直接由解碼器所解出來的，而是解碼後再被傳送的影像資料，則H.264中的解方塊功能就無法提供其預定的功效。

圖1繪示傳統解方塊功能的電路示意圖。參閱圖1，由解碼器100所解出來的影像資料中也包括有量化參數(quantization parameter,qP)由一量化參數單元104取出後輸出到一臨界值單元106。如業界所習知，量化參數可代表一個區塊資訊被簡化的情形，其藉由查表可以得知一臨界值。根據臨界值以及所採的條件，會促使過濾器開關108輸出一致能訊號。此致能訊號會將過濾器110啟動。過濾器110的作用其一是使方塊邊界的影像產生些微模糊(blur)化，使得方塊邊界模糊，不會使影像顯示出人為分割(slice)的區塊。

過濾器110接收影像單元102的影像資料，即是一個圖框的多個像素資料，以進行過濾處理。邊界強度單元112(boundary strength,bS)從解碼器100所提供的資訊來得到bS。又，過濾器110的過濾強度還需要藉由邊界強度單元112所決定的程度(level)來進行。

在上述圖1的傳統架構，量化參數與邊界強度的資訊都是由解碼器110提供。如果，影像資料源不是由解碼器110提供，而例如是已經解碼的影像資料源來提供，由於已經解碼的影像資料源並不會附帶有量化參數與邊界強度的資訊，因此便無法正確利用H.264規格本身所提供的解方塊功能。

本發明提供一種以H264解方塊為基礎的多源過濾器，如果影像資料是由解碼器所得的，就依照其所提供的量化參數與邊界強度的資訊做過濾處理。如果影像資料不是由解碼器所得，就根據影像資料，推測出量化參數與邊界強度，而進行解方塊的處理。

本發明提供一種以H264解方塊為基礎的多源過濾器，包括一第一開關單元、一第二開關單元、一量化參數計算單元、一邊界強度計算單元、一區塊偵測器、一圖像邊緣偵測器、一啟動單元、一判斷單元以及一過濾器。第一開關單元選擇接收由一解碼器提供的一原始量化參數(qP)或是一計算量化參數(qP’)。第二開關單元選擇接收由一解碼器提供的一原始邊界強度(bS)或是一計算邊界強度(bS’)。第一開關單元與第二開關單元是同時選擇原始量化參數與該原始邊界強度，或同時選擇該計算量化參數與該計算邊界強度。量化參數計算單元接收輸入的一影像資料，計算出該計算量化參數。邊界強度計算單元接收該影像資料，計算出該計算邊界強度。區塊偵測器接收該影像資料，當偵測出該影像資料是落在一區塊邊界區域就輸出一區塊偵測值。圖像邊緣偵測器接收該影像資料，當偵測出該影像資料並非屬於一圖像邊緣區域，輸出一非邊緣偵測值。啟動單元連接到該第一開關以接收該原始量化參數或該計算量化參數，以將該啟動單元所接收到之該原始量化參數或該計算量化參數，與一臨界值進行比較，以決定是否需要輸出一過濾啟動值。判斷單元接收該區塊偵測值、該非邊緣偵測值以及該過濾啟動值，以根據該區塊偵測值、該非邊緣偵測值以及該過濾啟動值至少其中之一來輸出一啟動值。過濾器連接到第二開關用來接收該啟動值、該影像資料，以及該第二開關所傳遞過來的原始邊界強度或該計算邊界強度，來根據該原始邊界強度或計算邊界強度，對該影像資料進行一過濾操作，以輸出一處理後影像資料。

本發明也提供一種以H264解方塊為基礎的多源過濾器，包括一量化參數計算單元、一邊界強度計算單元、一區塊偵測器、一圖像邊緣偵測器、一啟動單元、一判斷單元、以及一過濾器。量化參數計算單元接收輸入的一影像資料，計算出依照一第一分析規則估計的一量化參數。邊界強度計算單元接收該影像資料，以計算出依照一第二分析規則估計的一邊界強度。區塊偵測器接收該影像資料，用來當偵測出該影像資料正落在一區塊邊界區域時輸出一區塊偵測值。圖像邊緣偵測器接收該影像資料，用來當偵測出該影像資料並不屬於一圖像邊緣區域時輸出一非邊緣偵測值。啟動單元接收該量化參數並將該量化參數與一臨界值進行比較，以輸出一過濾啟動值。判斷單元用來接收該區塊偵測值、該非邊緣偵測值以及該過濾啟動值。又當該區塊偵測值、該非邊緣偵測值以及該過濾啟動值都是啟動狀態時輸出一啟動值。過濾器接收該啟動值、該影像資料以及該邊界強度，以根據該邊界強度對該影像資料進行一過濾操作，進而輸出一處理後影像資料。

本發明也提供一種產生量化參數電路，使用於H264的影像處理中，包括一第一變化計算單元、一第二變化計算單元、一取最大值單元以及一數值縮放單元。第一變化計算單元根據指定的一區塊邊界，取一第一邊相鄰的n個像素值進行一細節計算，以得到一第一變化值。第二變化計算單元根據該區塊邊界，取一第二邊相鄰的n個像素值進行該細節計算，以得到一第二變化值。取最大值單元取該第一變化值與該第二變化值的一較大值。數值縮放單元用來縮放該較大值，以得到一量化參數。其中，n不小於3。

本發明也提供一種產生邊界強度電路，使用於H264的影像處理中，包括一亮度遮蔽估計單元、一取最小值單元、一差值計算單元以及一對數計算單元。亮度遮蔽估計單元根據一假設區塊邊界，用來取得該假設區塊邊界的兩相鄰像素的兩個像素亮度值所對應之一第一亮度解析值以及一第二亮度解析值。取最小值單元取第一亮度解析值與第二亮度解析值的一較小值。差值計算單元計算其兩個像素亮度值的一相差值。對數計算單元用來根據該相差值以及該較小值，計算得到一邊界強度。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明提出以H264解方塊為基礎的多源過濾器，可以處理由解碼器所得到的qP與bS資訊外，也可以從影像資料中直接推測計算出qP’與bS’資訊，允許可以使用H264解方塊的功能。另外藉由區塊偵測器用以定出區塊的位置，另外利用圖像邊緣偵測器，用以輔助控制過濾器的啟動與否。當圖像邊緣存在於區塊邊界時，則不啟動過濾哭。

以下舉一些實施例來說明本發明，但是本發明不僅限於所舉的一些實施例，且實施例之間也相互適當結合。

圖2繪示依據本發明一實施例，以H264解方塊為基礎的多源過濾器示意圖。參閱圖2，就一般性而言，多源過濾器包括一第一開關單元211、一第二開關單元212、一量化參數計算單元200、一邊界強度計算單元210、一區塊偵測器202、一圖像邊緣偵測器204、一啟動單元106+108、一判斷單元206以及一過濾器208。另外量化參數單元104、邊界強度單元112、臨界值單元106以及過濾器開關108則維持與圖1所描的相同功用。

第一開關單元211選擇接收由解碼器100提供的一原始的量化參數(qP)或是經量化參數計算單元200計算後的一計算的量化參數(qP’)。第二開關單元212選擇接收由解碼器100提供的一原始的邊界強度(bS)或是經邊界強度計算單元210計算後的一計算的邊界強度(bS’)。原始的量化參數與原始的邊界強度是同時被選擇的一組。計算的量化參數qP’與計算的邊界強度bS’為同時被選擇的另一組。

量化參數計算單元200接收由影像單元102輸入的影像資料，該影像資料是解碼後的影像資料，因此，該影像資料並不會攜帶量化參數與邊界強度的資訊；此時，量化參數計算單元200計算出量化參數qp’。邊界強度計算單元也接收影像資料，且計算出邊界強度bS’。

此外，區塊偵測器202也接收影像資料，當偵測出影像資料是落在一區塊邊界區域時就輸出一區塊偵測值。圖像邊緣偵測器204接收影像資料，當偵測出不是屬於一圖像邊緣區域就輸出一非邊緣偵測值。啟動單元包括臨界值單元106以及過濾器開關108，連接到第一開關211以接收原始的量化參數qP或是計算的量化參數qP’，經查表取得一臨界值，以對應地輸出一過濾啟動值而區塊偵測器202與圖像邊緣偵測器204是現有的技術，毋須個別限定。

於本實施例中，判斷單元206接收區塊偵測值、非邊緣偵測值以及過濾啟動值，依照下述條件處理，輸出一啟動值。(1)如果過濾啟動值是由原始的量化參數qP來決定，則僅依照過濾啟動值輸出啟動值給過濾器208，來決定是否要啟動過濾器208。(2)如果過濾啟動值是根據計算出的量化參數qp’來決定，則當區塊偵測值、非邊緣偵測值以及過濾啟動值都是在啟動狀態時才輸出啟動值；這是因為圖像邊緣是影像的主要部份，需要較清晰顯示。因此，圖像邊緣落在區塊邊界時，如果進行過濾器的糢糊化，會使圖像邊緣模糊，因此，在圖像的邊緣時，過濾啟動值並不為啟動狀態的代表值，此時過濾器208便不執行過濾操作。

在實作上，判斷單元206的實現並不因難，舉例來說，判斷單元206可與開關211、212接受相同的控制(譬如接收相同的控制訊號)，以得知前端所接收的量化參數是qp’或qP，接著，再藉由不同的狀況(1)、(2)，以不同的方式來判斷究竟是否要啟動過濾器。譬如，判斷單元206本身可包含有一邏輯電路(譬如一及閘)，其輸入端分別接收該區塊偵測值，非邊緣偵測值，以及過濾啟動值，以於前述的狀況(2)中，根據這三個值的訊號值來決定是否要啟動過濾器。當然，判斷單元206的實作方式並不以前述的作法為限，凡可根據前述不同的狀況(1)、(2)而分別執行其操作之相關電路與方法，皆屬本發明的範疇。

過濾器208接收啟動值、影像資料以及由第二開關212傳遞過來的原始的邊界強度bS/計算的邊界強度bS’，以由啟動值控制而執行過濾操作，以輸出一處理後影像資料。

在圖2的電路方塊中，電路設計者可以根據所要的功能，可以將數個功能方塊加以整合，其結構不以圖2所示的功能方塊圖為限，其相對應的變化皆屬本發明的範疇。

接著描述量化參數計算單元200的電路以及計算機制。圖3繪示依據本發明一實施例，計算量化參數的機制示意圖。圖4繪示依據本發明一實施例，量化參數計算單元的電路示意圖。參閱圖3與圖4，量化參數會影響區塊內容被犧牲的細節。因此，qP’的計算是用細節來臆測原始應有的qp值。對於一假設的區塊邊界230而言，可以取左邊的至少3個像素232，例如是4像素p0~p3，同時右邊也取相等的至少3個像素234，例如是4像素q0~q3。細節計算單元250、252分別各自計算出細節值(variance)。細節值的推測或許有不同機制，本發明例如以高通濾波器(high-pass filter)來計算，其更例如是藉由二階[-1,2,-1]的高通濾波器來計算。一般而言，細節值會隨影像混亂度變化，而計算出來的細節值可大約代表影像混亂度。根據左邊與右邊所計算出的值，藉由取最大值單元254取其最大值，以此最大值代表區塊邊界左右所具有的細節量，經過縮放(scaling)單元256的數值縮放後，用以取代原來的qp值，即是前述的qp’值。

接著，圖5繪示依據本發明一實施例，邊界強度計算單元的電路示意圖。參閱圖5，邊界強度計算單元的機制可利用視覺對亮度所能辨識的差異為之。由於視覺是無法區別些微的亮度差異，而其視覺無法區分的範圍(其稱為遮蔽範圍，又稱為亮度解析度)，而每一個亮度所對應的亮度解析度各有不同，舉例來說，對於某一特定亮度A，其對應的亮度解析度(視覺無法分辨的亮度差異)可能為A1值，而對於另一特定亮度值B，其所對應的亮度解析度可能為B1值，在此請注意，特定亮度與亮度解析度的對應關是與數值可由一般研究的資料獲得。

於本實施例中，本發明利用區塊邊界230(見圖3)的相鄰二個像素p0與q0，藉由亮度遮蔽單元300、302，分別估計亮度解析度，且由取最小值單元306取二個亮度解析度中的較小值，作為亮度可辨識值。又藉由相差單元304計算像素p0與q0的亮度差異。接著bS估算單元308，分析出對應bS的計算量bS’。例如是，根據式(1)：

(1)　Log₂ (亮度相差值/亮度解析度較小值)

的估算，得到計算後的bS’。然而，如果需要更精確的調整，可以根據式(1)的計算值載做調整計算。

在此請注意，本發明提出在區塊邊界估算qP’與bS’的一種方式，因此，如果影像資料本身並沒有攜帶原始的qP值與bS值，本發明可自行由影像資料估算出替代的qP’與bS’，來對區塊邊界做過濾，或是模糊化的處理。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．解碼器

102．．．影像單元

104．．．量化參數單元

106．．．臨界值單元

108．．．過濾器開關

110．．．過濾器

112．．．邊界強度單元

200．．．量化參數計算單元

202．．．區塊偵測器

204．．．圖像邊緣偵測器

206．．．判斷單元

208．．．過濾器

210．．．邊界強度計算單元

211、212．．．開關單元

230．．．區塊邊界

232、234．．．像素

250、252．．．細節計算單元

254．．．取最大值單元

256．．．縮放單元

300、302．．．亮度遮蔽單元

304．．．相差單元

306．．．取最小值單元

308．．．bS估算單元

圖1繪示傳統解方塊功能的電路示意圖。

圖2繪示依據本發明一實施例，以H264解方塊為基礎的多源過濾器示意圖。

圖3繪示依據本發明一實施例，計算量化參數的機制示意圖。

圖4繪示依據本發明一實施例，量化參數計算單元的電路示意圖。

圖5繪示依據本發明一實施例，邊界強度計算單元的電路示意圖。

100．．．解碼器

102．．．影像單元

104．．．量化參數單元

106．．．臨界值單元

108．．．過濾器開關

110．．．過濾器

112．．．邊界強度單元

200．．．量化參數計算單元

202．．．區塊偵測器

204．．．圖像邊緣偵測器

206．．．判斷單元

208．．．過濾器

210．．．邊界強度計算單元

211、212．．．開關單元

Claims (16)

1. 一種以H264解方塊為基礎的多源過濾器，包括：一第一開關單元，選擇接收由一解碼器提供的一原始量化參數(qP)或是一計算量化參數(qP’)；一第二開關單元，選擇接收由一解碼器提供的一原始邊界強度(bS)或是一計算邊界強度(bS’)，其中該第一開關單元與該第二開關單元是同時選擇原始量化參數與該原始邊界強度，或同時選擇該計算量化參數與該計算邊界強度；一量化參數計算單元，接收輸入的一影像資料，計算出該計算量化參數；一邊界強度計算單元，接收該影像資料，計算出該計算邊界強度；一區塊偵測器，接收該影像資料，當偵測出該影像資料是落在一區塊邊界區域就輸出一區塊偵測值；一圖像邊緣偵測器，接收該影像資料，當偵測出該影像資料並非屬於一圖像邊緣區域，輸出一非邊緣偵測值；一啟動單元，連接到該第一開關以接收該原始量化參數或該計算量化參數，以將該啟動單元所接收到之該原始量化參數或該計算量化參數，與一臨界值進行比較，以決定是否需要輸出一過濾啟動值；一判斷單元，接收該區塊偵測值、該非邊緣偵測值以及該過濾啟動值，以根據該區塊偵測值、該非邊緣偵測值以及該過濾啟動值至少其中之一，來輸出一啟動值；以及一過濾器，連接到該第二開關，用來接收該啟動值、該影像資料，以及該第二開關所傳遞過來之該原始邊界強度或該計算邊界強度，來根據該原始邊界強度或計算邊界強度，對該影像資料進行一過濾操作，以輸出一處理後影像資料。
2. 如申請專利範圍第1項所述之以H264解方塊為基礎的多源過濾器，其中若該第一開關是傳遞該原始量化參數來決定，則該判斷單元僅依照該過濾啟動值輸出該啟動值。
3. 如申請專利範圍第1項所述之以H264解方塊為基礎的多源過濾器，其中若該第一開關是傳遞該計算量化參數，則該判斷單元是於區塊偵測值、該非邊緣偵測值以及該過濾啟動值都是啟動狀態時輸出該啟動值。
4. 如申請專利範圍第1項所述之以H264解方塊為基礎的多源過濾器，其中該量化參數計算單元包括：一第一變化計算單元，根據一假設區塊邊界，取一第一邊相鄰的n個像素值進行一細節計算，以得到一第一變化值；一第二變化計算單元，根據該假設區塊邊界，取一第二邊相鄰的n個像素值進行該細節計算，得到一第二變化值；一取最大值單元，用來取得該第一變化值與該第二變化值的一較大值；以及一數值縮放單元，用來縮放該較大值，以輸出該計算的量化參數；其中n不小於3。
5. 如申請專利範圍第4項所述之以H264解方塊為基礎的多源過濾器，其中該細節計算是一高通濾波計算。
6. 如申請專利範圍第4項所述之以H264解方塊為基礎的多源過濾器，其中n=4。
7. 如申請專利範圍第1項所述之以H264解方塊為基礎的多源過濾器，其中該邊界強度計算單元包括：一亮度遮蔽估計單元，根據一假設區塊邊界，用來取得該假設區塊邊界之兩相鄰像素的兩像素亮度值所對應之一第一亮度解析值以及一第二亮度解析值；一取最小值單元，取該第一亮度解析值與該第二亮度解析值的一較小值；一差值計算單元，計算該兩像素亮度值的一相差值；以及一對數計算單元，用來根據該相差值以及該較小值，得到該計算的邊界強度。
8. 一種以H264解方塊為基礎的多源過濾器，包括：一量化參數計算單元，接收輸入的一影像資料，計算出依照一第一分析規則估計的一量化參數；一邊界強度計算單元，接收該影像資料，計算出依照一第二分析規則估計的一邊界強度；一區塊偵測器，接收該影像資料，用來當偵測出該影像資料正落在一區塊邊界區域時，輸出一區塊偵測值；一圖像邊緣偵測器，接收該影像資料，用來當偵測出該影像資料並不屬於一圖像邊緣區域時，輸出一非邊緣偵測值；一啟動單元，接收該量化參數，並將該量化參數與一臨界值進行比較，以輸出一過濾啟動值；一判斷單元，用來接收該區塊偵測值、該非邊緣偵測值以及該過濾啟動值，以及當該區塊偵測值、該非邊緣偵測值以及該過濾啟動值都是啟動狀態時輸出一啟動值；一過濾器，接收該啟動值、該影像資料以及該邊界強度，以根據該邊界強度對該影像資料進行一過濾操作，進而輸出一處理後影像資料。
9. 如申請專利範圍第8項所述之以H264解方塊為基礎的多源過濾器，其中該量化參數計算單元包括：一第一變化計算單元，根據一假設區塊邊界，取一第一邊相鄰的n個像素值進行一細節計算，以得到一第一變化值；一第二變化計算單元，根據該假設區塊邊界，取一第二邊相鄰的n個像素值進行該細節計算，得到一第二變化值；一取最大值單元，取該第一變化值與該第二變化值的一較大值；以及一數值縮放單元，用來縮放該較大值，以輸出該量化參數；其中n不小於3。
10. 如申請專利範圍第9項所述之以H264解方塊為基礎的多源過濾器，其中該細節計算是一高通濾波計算。
11. 如申請專利範圍第9項所述之以H264解方塊為基礎的多源過濾器，其中n=4。
12. 如申請專利範圍第8項所述之以H264解方塊為基礎的多源過濾器，其中該邊界強度計算單元包括：一亮度遮蔽估計單元，根據一假設區塊邊界，用來取得該假設區塊邊界之兩相鄰像素的兩像素亮度值所對應之一第一亮度解析值以及一第二亮度解析值；一取最小值單元，取該第一亮度解析值與該第二亮度解析值的一較小值；一差值計算單元，計算該兩像素亮度值的一相差值；以及一對數計算單元，用來根據該相差值以及該較小值，計算出該邊界強度。
13. 一種產生量化參數電路，使用於H264的影像處理中，包括：一第一變化計算單元，根據指定的一區塊邊界，取一第一邊相鄰的n個像素值進行一細節計算，以得到一第一變化值；一第二變化計算單元，根據該區塊邊界，取一第二邊相鄰的n個像素值進行該細節計算，以得到一第二變化值；一取最大值單元，取該第一變化值與該第二變化值的一較大值；以及一數值縮放單元，用來縮放該較大值，以得到一量化參數；其中，n不小於3。
14. 如申請專利範圍第13項所述之產生量化參數電路，其中該細節計算是一高通濾波計算。
15. 如申請專利範圍第13項所述之產生量化參數電路，其中n=4。
16. 一種產生邊界強度電路，使用於H264的影像處理中，包括：一亮度遮蔽估計單元，根據一假設區塊邊界，用來取得該假設區塊邊界的兩相鄰像素的兩個像素亮度值所對應之一第一亮度解析值以及一第二亮度解析值；一取最小值單元，取該第一亮度解析值與該第二亮度解析值的一較小值；一差值計算單元，計算該兩像素亮度值的一相差值；以及一對數計算單元，用來根據該相差值以及該較小值，計算得到一邊界強度。