TWI448985B - 影像調整裝置及方法 - Google Patents

Description

影像調整裝置及方法

本發明是有關於一種影像優化技術，特別是指一種根據一指定資料來調整的影像調整裝置及方法。

為增強影像的細膩度，通常會進一步對影像畫素做微調處理，例如雜訊抑制(noise reduction)、邊緣銳化(sharpness)，或是色彩校正等。然而，習知技術多是以同一套處理方式來微調一影像上的所有畫素，而忽略了人們對該等畫素的感受差異，因此影像細膩度稍嫌不足。

因此，本發明之目的即在提供一種影像調整裝置及方法，在強調影像細膩度的同時，也能兼顧色彩的連續性。

於是，本發明影像調整方法包含以下步驟：藉由一權重產生器接收一第一影像資料及一指定資料，並依據該第一影像資料及該指定資料產生一適應權重；及藉由一合成器接收該第一影像資料及一第二影像資料，且以該適應權重來合成該第一影像資料及該第二影像資料，而形成一調整後影像資料；其中，該適應權重之大小係依據該第一影像資料與該指定資料之間的差異。

而本發明影像調整裝置包含：一權重產生器，接收一第一影像資料，並為該第一影像資料產生一個相對於一指定資料的適應權重；及一合成器，接收該第一影像資料及一第二影像資料，且以該適應權重來合成該第一影像資料及該影像資料，而形成一調整後影像資料；其中，該適應權重之大小係依據該第一影像資料與該指定資料之間的差異。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之三個較佳實施例的詳細說明中，將可清楚的呈現。

在本發明被詳細描述之前，要注意的是，在以下的說明內容中，類似的元件是以相同的編號來表示。

第一較佳實施例

參閱圖1，本發明影像調整裝置100之第一較佳實施例適用於合成一第一影像資料及一第二影像資料，而形成一調整後影像資料。其中，第一影像資料具有複數個畫素(以下稱第一畫素)，第二影像資料對應地具有複數個畫素(以下稱第二畫素)，調整後影像資料也對應地具有複數個畫素(以下稱調整後畫素)。

較佳地，本例的第一影像資料是自一儲存裝置200取出，第二影像資料是一影像處理器300對第一影像資料進行一預定影像處理(例如：雜訊抑制、對比平衡、銳利度調整，或飽和度強化)後所得到的輸出。

影像調整裝置100包含依序電連接的一記憶單元1、一權重產生器2及一合成器3。記憶單元1存有一查表。權重產生器2接收第一影像資料及指定資料，並基於第一影像資料、指定資料及查表來為第一影像資料產生一個適應權重W。而合成器3則接收第一影像資料及第二影像資料，且以適應權重W來合成第一影像資料及第二影像資料，而形成調整後影像資料。在本例中，影像調整裝置100是以畫素為單位來進行合成，指定資料具有一指定畫素，指定畫素例如是一個指定顏色點。

參閱圖2，詳細來說，權重產生器2包括依序電連接的一距離估算模組21及一權重產生模組22。距離估算模組21根據第一影像資料中的一第一畫素與指定畫素間的差異得到一加權距離。權重產生模組22根據查表以加權距離查詢出一映射值，並據此得到適應權重W。

鑑於本例的每一畫素都是建立在YCbCr座標模型的基礎上而具有三個分量，所以距離估算模組21具有三個距離計算單元211，以分別為三個分量計算各自的分量距離。除此之外，距離估算模組21更具有一加總單元212，用於加總所有距離計算單元211的輸出來產生加權距離。請注意，在其它實施例中，每一畫素可以是建立在其它座標模型的基礎上，也可以是具有其它數目的分量。

假設第一畫素的分量是{Y,Cb,Cr}，指定畫素的分量是{Y_ref1,Cb_ref1,Cr_ref1}，影像調整裝置100所執行的本發明影像調整方法之第一較佳實施例，會包括圖3的以下步驟：

步驟71：三個距離計算單元211分別接收第一畫素的三個分量Y、Cb、Cr，並分別對應地接收指定畫素的三個分量Y_ref1、Cb_ref1、Cr_ref1。

步驟72：每一距離計算單元211為接收到的第一畫素之分量，計算相對於指定畫素之對應分量的分量距離。

本例的實施態樣是：先以一減法器SUB計算出第一畫素之分量和指定畫素之對應分量間的差異，再以一絕對值電路ABS得出差異的絕對值，最後，再以一增益器MUL適當地放大絕對值來做為分量距離。

通常，為了減少電路面積，增益器MUL的放大倍數是設定為0、1、2或4。且不同增益器MUL的放大倍數可以不同，以滿足人眼對畫素之不同分量的感受差異。例如：相比於彩度，亮度對人眼的刺激較高，所以接收亮度分量Y的距離計算單元211可設定較高的增益器MUL放大倍數。

步驟73：加總單元212加總所有距離計算單元211算出的分量距離，而形成加權距離。

步驟74：權重產生模組22根據記憶單元1所存的查表，以加權距離查詢出映射值，並據此得到適應權重W。

在本例中，權重產生模組22包括一映射單元221。映射單元221根據記憶單元1所存的查表，以加權距離查詢出映射值作為適應權重W。

請注意，這個查表記錄有複數個可能加權距離所分別對應的複數個映射值。較佳地，映射值之於加權距離的相對關係如圖4所示，其中，T代表一門限，d代表一步階。

當0加權距離<T ，映射值為4；當T 加權距離<(T +d )，映射值為3；當(T +d )加權距離<(T +2d )，映射值為2；當(T +2d )加權距離<(T +3d )，映射值為1；且當(T +3d )加權距離，映射值為0。

值得注意的是，前述相對關係只是反應查表的一個範例，大致上只要映射值隨著對應加權距離的增加是呈現單調遞減即可。

步驟75：合成器3接收第一畫素和對應的第二畫素，且使用適應權重W來加權第一畫素和對應的第二畫素，以合成出對應的調整後畫素。合成方式如下：

其中，通常設定N為2的冪次方，例如：4、8、16...，以最小化硬體電路。並且，為了使第一畫素和第二畫素都能對調整後畫素做出正向貢獻，較佳地，適應權重W的合理範圍是0~N。

藉由以上流程，可瞭解到以下三點：

(一)本例影像調整裝置100的確能根據第一畫素與指定畫素的差異，來適應地改變合成器3的加權比例，所以能對第一影像資料中的不同畫素給予不同的調整，而有別於習知。

(二)映射值會隨著加權距離的加大而逐步減小，因此當第一畫素近似於指定畫素時，適應權重W較大；而隨著兩畫素近似度降低，加權距離變大，適應權重W遂逐漸減小。換句話說，原先具有連續性色彩的複數個畫素，在本例的合成處理後仍然會維持連續特性，不會出現落差過大的色彩斷層。

(三)當適應權重W較大時，調整後畫素會偏向第一畫素；反之，當適應權重較小時，則調整後畫素會偏向第二畫素。

因此，就本實施例來說，例如：第二畫素是經過雜訊抑制處理所得到的，會較第一畫素來得模糊。如果選用的指定畫素是綠色，本例可使屬於草地區域的調整後畫素較偏向原始的第一畫素，來強化草地區域的線條。

值得注意的是，在另一實施例中，記憶單元1所存的查表中映射值隨著對應加權距離的增加是呈現單調遞增。如果選用的指定畫素是膚色，可使屬於皮膚區域的調整後畫素較偏向雜訊抑制後的第二畫素，來對皮膚區域做柔焦處理。

值得注意的是，在又一實施例中，合成器3的合成方式可以改成如下：

且值得注意的是，通常在處理一影像的所有畫素時，權重產生器2會使用一指定畫素、增益器MUL放大倍數及查表，但權重產生器2也可以針對影像的不同區域選用不同的指定畫素、增益器MUL放大倍數及查表。

再者，本例的影像調整裝置100更包含一基底轉換器4，將第一畫素與指定畫素從原先的座標模型轉換到另一座標模型(例如：從YCbCr轉到RGB)，再送到權重產生器2。這是因為各種座標模型解析畫素的著重點不同，如果能讓權重產生器2接收較適合模型的分量，勢必能為那些近似該指定畫素的第一畫素提供更佳的適應權重W。當然，在另一態樣中，第一畫素與指定畫素也可以直接是以該另一座標模型為基礎，這樣就不用再經基底轉換器4的轉換了。

此外，雖然本例的該等第一畫素是指從儲存裝置200讀出的原始影像，但在實際應用中，也可以是指其他影像處理電路的輸出，例如邊緣銳化器。

第二較佳實施例

參閱圖1與圖5，本發明影像調整裝置100之第二較佳實施例與第一較佳實施例不同之處在於權重產生器2的權重產生模組22更包括在映射單元221之後依序電連接的一效用決定單元222、一調整單元223及一限值單元224。效用決定模組23、調整模組24及限值模組25用於根據映射值產生適應權重W。

影像調整裝置100所執行的本發明影像調整方法之第二較佳實施例與第一較佳實施例不同之處在於步驟74包括圖6的以下子步驟：

子步驟741：映射單元221根據記憶單元1所存的查表，以加權距離查詢出映射值。

子步驟742：效用決定單元222根據一效用指示來調整映射值的符號，以得到一校正值。

子步驟743：調整單元223根據校正值調整一預設權重，以得到一調整權重。例如：將校正值與預設權重相加以得到調整權重。

子步驟744：限值單元224限定調整權重落於一預設範圍內，以得到適應權重。

在本實施例中，如果選用的指定畫素是膚色，基於影像處理中多希望對皮膚區域做柔焦處理，所以本例可採用負數的校正值，以使調整後畫素較偏向雜訊抑制後的第二畫素。另一方面，如果選用的指定畫素是綠色，基於影像處理中多希望強化草地區域的線條，所以本例可採用正數的校正值，以使調整後畫素較偏向原始的第一畫素。

請注意，通常在處理一影像的所有畫素時，權重產生器2會使用一效用指示及一預設權重，但權重產生器2也可以針對影像的不同區域選用不同的效用指示及預設權重。

第三較佳實施例

參閱圖1與圖7，相較於第二較佳實施例只能針對一個指定畫素來改變該適應權重W，本發明影像調整裝置100之第三較佳實施例的不同處在於：指定資料包括M個指定畫素，權重產生器2同時參考M個指定畫素來產生適應權重W。M2。在圖7中是畫出M=2的狀況。

權重產生器2包括M個距離估算模組21及一權重產生模組22。M個距離估算模組21皆接收第一畫素，且分別接收M個指定畫素。每一距離估算模組21根據第一畫素之於對應指定畫素的差異，得到一加權距離。權重產生模組包括M個映射單元221、M個效用決定單元222、一調整單元223及一限值單元224。每一映射單元221以對應的加權距離查詢出一映射值。每一效用決定單元222以一效用指示來調整對應的映射值的符號，以得到一校正值。調整單元223根據所有校正值調整一預設權重，以得到一調整權重。限值單元224限定調整權重落於一預設範圍內，以得到一適應權重。在本實施例中，調整單元233將預設權重及所有校正值加總，以得到調整權重。

本例可以用於兩兩獨特指定畫素之距離夠遠的情況下。此時，如果第一畫素近似於其中一指定畫素，那麼相關的距離估算模組21、映射單元221及效用決定單元222會送出一個非零的校正值，且其它的校正值會是零，故可全力強化該其中一指定畫素之鄰近色域的影像細膩度。

同理可類推第一畫素近似於另一指定畫素的情形。所以可預期地，本實施例能夠同時判斷第一畫素是否位於該M個指定畫素之鄰近色域中，且能進一步提供不同程度的調整。又，基於指定畫素相當於是指定顏色點，因此可說本例能達到針對不同顏色區域做微調的目的。當然，本例也可以用於指定畫素之間距離近的情況。

綜上所述，前述實施例的影像調整裝置100是在至少一指定畫素鄰近的色域上執行畫素調整，且是根據第一畫素之於指定畫素的差異來得到適應權重W，所以可適當地維持畫素值的連續性並強化影像細膩度，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

100‧‧‧影像調整裝置

200‧‧‧儲存裝置

300‧‧‧影像處理器

1‧‧‧記憶單元

2‧‧‧權重產生器

21‧‧‧距離估算模組

211‧‧‧距離計算單元

212‧‧‧加總單元

22‧‧‧權重產生模組

221‧‧‧映射單元

222‧‧‧效用決定單元

223‧‧‧調整單元

224‧‧‧限值單元

3‧‧‧合成器

4‧‧‧基底轉換器

ABS‧‧‧絕對值電路

MUL‧‧‧增益器

SUB‧‧‧減法器

71~75‧‧‧步驟

741~744‧‧‧子步驟

圖1是一方塊圖，說明本發明影像調整裝置之第一較佳實施例；

圖2是一方塊圖，說明第一較佳實施例之權重產生器；

圖3是一流程圖，說明本發明影像調整方法之第一較佳實施例；

圖4是一示意圖，說明加權距離之於映射值的相對關係；

圖5是一方塊圖，說明本發明影像調整裝置之第二較佳實施例之權重產生器；

圖6是一流程圖，說明本發明影像調整方法之第二較佳實施例；及

圖7是一方塊圖，說明本發明影像調整裝置之第三較佳實施例之權重產生器。

100．．．影像調整裝置

200．．．儲存裝置

300．．．影像處理器

1．．．記憶單元

2．．．權重產生器

3．．．合成器

4．．．基底轉換器

Claims (20)

1. 一種影像調整方法，包含以下步驟：藉由一權重產生器接收一第一影像資料及一指定資料，並依據該第一影像資料及該指定資料產生一適應權重；及藉由一合成器接收該第一影像資料及一第二影像資料，且依據該適應權重來合成該第一影像資料及該第二影像資料，而形成一調整後影像資料；其中，該適應權重之大小係依據該第一影像資料與該指定資料之間的差異；其中，該第二影像資料係該第一影像資料經由一預定影像處理後所產生。
2. 根據申請專利範圍第1項所述之影像調整方法，其中，該第一影像資料包含一第一畫素，該指定資料包含一指定畫素，該適應權重之大小係依據該第一畫素與該指定畫素之間的差異。
3. 根據申請專利範圍第2項所述之影像調整方法，其中，該第一畫素包含複數個分量，該指定畫素包含分別對應該第一畫素之該些分量的複數個分量。
4. 根據申請專利範圍第3項所述之影像調整方法，其中，藉由該權重產生器產生該適應權重的步驟包括以下子步驟：計算該第一畫素的其中一分量之於該指定畫素的對應分量的差異，並據此得到一分量距離； 計算該第一畫素的其中另一分量之於該指定畫素的對應分量的差異，並據此得到另一分量距離；加總該二個分量距離而得到一加權距離；及根據一查表以該加權距離查詢出一映射值，並據此得到該適應權重。
5. 根據申請專利範圍第4項所述之影像調整方法，其中，在得到該適應權重的子步驟中，是將該映射值當作該適應權重。
6. 根據申請專利範圍第4項所述之影像調整方法，其中，在得到該適應權重的子步驟中，是根據一效用指示來調整該映射值的符號，以得到一校正值，並根據該校正值調整一預設權重，以得到一調整權重，且限定該調整權重落於一預設範圍內，以得到該適應權重。
7. 根據申請專利範圍第4項所述之影像調整方法，其中，該查表記錄有複數個可能加權距離所分別對應的複數個映射值，且該等映射值隨著該等對應加權距離的增加是呈現單調遞減。
8. 根據申請專利範圍第4項所述之影像調整方法，該指定資料更包含另一指定畫素，其中，藉由該權重產生器產生該適應權重的步驟更包括以下子步驟：根據該第一畫素之於該另一指定畫素的差異，得到另一加權距離；在得到該適應權重的子步驟中，是更根據該另一加權距離得到該適應權重。
9. 根據申請專利範圍第8項所述之影像調整方法，其中，在得到該適應權重的子步驟中，是根據該另一加權距離查詢出另一映射值，並分別根據二效用指示來調整該映射值及該另一映射值的符號，以得到二校正值，且將一預設權重及該等校正值加總，以得到一調整權重，並限定該調整權重落於一預設範圍內，以得到該適應權重。
10. 根據申請專利範圍第4項所述之影像調整方法，該第一畫素的複數個分量是建立在一座標模型的基礎上，其中，該畫素調整方法還包含以下步驟：藉由一基底轉換器，將以該座標模型為基礎的該複數個分量轉換成以另一座標模型為基礎的複數個分量；在藉由該權重產生器產生該適應權重的步驟中，是根據以該另一座標模型為基礎的複數個分量產生該適應權重。
11. 一種影像調整裝置，包含：一權重產生器，接收一第一影像資料及一指定資料，並依據該第一影像資料及該指定資料產生一適應權重；及一合成器，接收該第一影像資料及一第二影像資料，且以該適應權重來合成該第一影像資料及該第二影像資料，而形成一調整後影像資料；其中，該適應權重之大小係依據該第一影像資料與該指定資料之間的差異；其中，該第二影像資料係該第一影像資料經由一預 定影像處理後所產生。
12. 根據申請專利範圍第11項所述之影像調整裝置，其中，該第一影像資料包含一第一畫素，該指定資料包含一指定畫素，該適應權重之大小係依據該第一畫素與該指定畫素之間的差異。
13. 根據申請專利範圍第12項所述之影像調整裝置，其中，該第一畫素包含複數個分量，該指定畫素包含分別對應該第一畫素之該些分量的複數個分量。
14. 根據申請專利範圍第13項所述之影像調整裝置，更包含一存放有一查表的記憶單元，且該權重產生器包括：一距離估算模組，包括：一距離計算單元，計算該第一畫素的其中一分量之於該指定畫素的對應分量的差異，並據此得到一分量距離；一另一距離計算單元，計算該第一畫素的其中另一分量之於該指定畫素的對應分量的差異，並據此得到另一分量距離；及一加總單元，加總該二個分量距離而得到一加權距離；及一權重產生模組，根據該查表以該加權距離查詢出一映射值，並據此得到該適應權重。
15. 根據申請專利範圍第14項所述之影像調整裝置，其中，該權重產生器的權重產生模組是將該映射值當作該適應權重。
16. 根據申請專利範圍第14項所述之影像調整裝置，其中，該權重產生器的權重產生模組包括：一映射單元，根據該查表以該加權距離查詢出一映射值；一效用決定單元，根據一效用指示來調整該映射值的符號，以得到一校正值；一調整單元，根據該校正值調整一預設權重，以得到一調整權重；及一限值單元，限定該調整權重落於一預設範圍內，以得到該適應權重。
17. 根據申請專利範圍第14項所述之影條調整裝置，其中，該查表記錄有複數個可能加權距離所分別對應的複數個映射值，且該等映射值隨著該等對應加權距離的增加是呈現單調遞減。
18. 根據申請專利範圍第14項所述之影像調整裝置，該指定資料更包含另一指定畫素，其中，該權重產生器更包括：另一距離估算模組，根據該第一畫素之於該另一指定畫素的差異，得到另一加權距離；該權重產生模組更根據該另一加權距離得到該適應權重。
19. 根據申請專利範圍第18項所述之影像調整裝置，其中，該權重產生模組包括：二映射單元，分別以該加權距離及該另一加權距離 查詢出該映射值及另一映射值；二效用決定單元，分別根據二效用指示來調整該映射值及該另一映射值的符號，以得到二校正值；一調整單元，將一預設權重及該等校正值加總，以得到一調整權重；及一限值單元，限定該調整權重落於一預設範圍內，以得到該適應權重。
20. 根據申請專利範圍第14項所述之影像調整裝置，該第一畫素的複數個分量是建立在一座標模型的基礎上，其中，該畫素調整裝置還包含：一基底轉換器，將以該座標模型為基礎的該複數個分量轉換成以另一座標模型為基礎的複數個分量；該權重產生器是根據以該另一座標模型為基礎的複數個分量產生該適應權重。