TWI383332B

TWI383332B - 影像處理裝置及其方法

Info

Publication number: TWI383332B
Application number: TW098115409A
Authority: TW
Inventors: Meng Chao Kao
Original assignee: Chunghwa Picture Tubes Ltd
Priority date: 2009-05-08
Filing date: 2009-05-08
Publication date: 2013-01-21
Also published as: TW201040877A; US8571305B2; US20100284606A1

Description

影像處理裝置及其方法

本發明是有關於一種影像處理技術，且特別是有關於一種可提升影像的立體感的影像處理技術。

隨著科技的進步與發達，顯示器技術也從平面顯示器發展到了立體顯示器。習知的立體顯示器包括前面板與後面板。前面板與後面板之間具有一景深距離。習知的立體顯示器除了接收原始影像外還會接收與原始影像對應的深度影像。深度影像具有原始影像中各物件的景深值。立體顯示器會依據深度影像來決定原始影像的各物件由前面板或後面板來顯示。更具體地說，前面板用來顯示原始影像中景深值較小的各物件；相對地，後面板用來顯示原始影像中景深值較大的各物件。如此一來可提升影像的立體感。

值得注意的是，習知的立體顯示器必須採用兩個面板，相當耗費成本。此外，立體顯示器採用兩個面板，背光源的光線必須穿透兩個面板，容易造成畫面亮度變暗，而且容易造成亮度不均勻。

另外，習知技術還開發出其他的3D模式。舉例來說，顯示器可同時顯示左眼影像與右眼影像。使用者可配戴3D眼鏡，利用眼鏡的光柵效果過濾影像。使左眼接收左眼影像，右眼接收右眼影像，進而產生視覺上的立體效果。然而，此作法使用者必須配戴3D眼鏡，使用上相當不便。

本發明提供一種影像處理裝置及其方法，可加強影像的立體感。

本發明提出一種影像處理方法，其包括接收原始影像及其對應的深度影像，其中深度影像包括多個景深值分別表示原始影像中多個區塊的景深。另外，依據各景深值對各區塊進行對應程度的平滑及/或銳化處理。

在本發明的一實施例中，依據各景深值對各區塊進行對應程度的平滑及/或銳化處理的步驟包括將原始影像進行平滑處理，以獲得平滑影像。另外，計算原始影像與平滑影像的差值，以獲得差值影像。再者，以深度影像作為權重對差值影像進行權重處理，以獲得細節影像。此外，將平滑影像與細節影像進行影像相加，以獲得輸出影像。

在本發明的一實施例中，上述依據各景深值對各區塊進行對應程度的平滑及/或銳化處理的步驟包括將原始影像進行平滑處理，以獲得平滑影像。另外，計算原始影像與平滑影像的差值，以獲得差值影像。此外，以深度影像作為權重對差值影像進行權重處理，以獲得細節影像。再者，將原始影像與細節影像進行影像相減，以獲得輸出影像。

在本發明的一實施例中，依據各景深值對各區塊進行對應程度的平滑及/或銳化處理的步驟包括將原始影像進行銳化處理，以獲得銳化影像。另外，計算原始影像與銳化影像的差值，以獲得差值影像。此外，以深度影像作為權重對差值影像進行權重處理，以獲得細節影像。再者，將原始影像與細節影像進行影像相加，以獲得輸出影像。

在本發明的一實施例中，依據各景深值對各區塊進行對應程度的平滑及/或銳化處理的步驟包括將原始影像進行銳化處理，以獲得銳化影像。另外，計算原始影像與銳化影像的差值，以獲得差值影像。此外，以深度影像作為權重對差值影像進行權重處理，以獲得細節影像。再者，將銳化影像與細節影像進行影像相減，以獲得輸出影像。

在本發明的一實施例中，依據各景深值對各區塊進行對應程度的平滑及/或銳化處理的步驟包括依據預設焦距重新調整深度影像的各景深值。

從另一角度來看，本發明提出一種影像處理裝置，其包括影像對焦單元。影像對焦單元可接收原始影像及其對應的深度影像，並依據深度影像的多個景深值對原始影像的多個區塊進行對應程度的平滑及/或銳化處理，其中各景深值分別表示各區塊的景深。

基於上述，本發明接收原始影像及其對應的深度影像，並依據深度影像的各景深值對原始影像的各區塊進行對應程度的平滑及/或銳化處理。如此一來，可提升原始影像的立體感。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

習知的立體顯示器必須使用兩個面板，相當耗費成本，另外還會造成亮度變暗與亮度不均勻的問題。有鑑於此，本發明的實施例可依據深度影像的多個景深值對原始影像的多個區塊進行對應程度的平滑及/或銳化處理，其中各景深值分別表示各區塊的景深。此技術不但可適用於各種的平面顯示器，提升影像的立體感，而且也不會衍生亮度變暗與亮度不均勻的問題。下面將參考附圖詳細闡述本發明的實施例，附圖舉例說明了本發明的示範實施例，其中相同標號指示同樣或相似的元件或步驟。

圖1是依照本發明的一實施例的一種影像處理裝置的示意圖。請參照圖1，影像處理裝置10包括影像對焦單元30。影像對焦單元30可接收原始影像ORI及其對應的深度影像DPI。影像對焦單元30可依據深度影像DPI的多個景深值對原始影像ORI的多個區塊進行對應程度的平滑及/或銳化處理，其中上述景深值分別表示上述區塊的景深。

在本實施例中，深度影像DPI可利用景深影像產生單元20產生。景深影像產生單元20耦接影像對焦單元30，可依據原始影像ORI提供對應的深度影像DPI給影像對焦單元30，但本發明並不以此為限。以下配合流程圖與影像的示意圖作更進一步的說明。

圖2是依照本發明的一實施例的一種影像處理方法的流程圖。圖3是依照本發明的一實施例的一種原始影像的示意圖。圖4是依照圖3的一種深度影像的示意圖。請合併參照圖1、圖2、圖3與圖4。在圖3中，原始影像ORI包括了杯子I1～I3、地面I4與牆壁I5。杯子I1～I3皆放置於地面I4上。另外，杯子I3距離牆壁I5的距離最近，杯子I2次之，杯子I1距離牆壁I5的距離最遠。

景深影像產生單元20可分析原始影像ORI中各物件的景深，並產生關於原始影像ORI中各物件的景深值，並據以提供深度影像DPI給影像對焦單元30。在本實施例中，深度影像DPI可分為9個區塊集合，分別為區塊集合B1～B9。區塊集合B1～B9的景深值分別為1～9。換言之，對於觀看者來說，景深值愈小的區塊集合應愈靠近觀察者；相對地，對於觀看者來說，景深值愈大的區塊集合應愈遠離觀察者。接著可由圖2的各步驟對原始影像ORI進行處理使其更具有立體感。

首先，可由步驟S201，影像對焦單元30接收原始影像ORI以及對應的深度影像DPI。接著可由步驟S202，依據深度影像DPI中各景深值對原始影像ORI的各區塊進行對應程度的平滑及/或銳化處理。

更具體地說，可分別對原始影像ORI中對應於區塊集合B1～B9的各區塊作對應程度的平滑及/或銳化處理。在本實施例中可對原始影像ORI中對應於區塊集合B1～B4的各區塊進行銳化處理，其中對應於區塊集合B1～B4的各區塊的銳化程度依序由大到小。另外，可對原始影像ORI中對應於區塊集合B5～B9的各區塊進行平滑處理，其中對應於區塊集合B5～B9的各區塊的平滑程度依序由小到大。

由上述步驟可獲得輸出影像OP。值得一提的是，在輸出影像OP中較靠近觀察者的影像區塊會相對地較清晰，較遠離觀察者的影像區塊會相對地較模糊。因此會造成輸出影像OP在視覺效果上對焦於較靠近觀察者的物件，因此能突顯輸出影像OP的立體感。此外上述影像處理方法可適應於平面顯示器，例如液晶顯示器、有機發光二極體顯示器或投影機...等，並不會衍生如習知的立體顯示器之亮度變暗或亮度不均勻...等問題。

值得一提的是，雖然上述實施例中已經對影像處理方法及其裝置描繪出了一個可能的型態，但所屬技術領域中具有通常知識者應當知道，各廠商對於影像處理裝置及其方法的設計都不一樣，因此本發明的應用當不限制於此種可能的型態。換言之，只要是依據深度影像的各景深值對原始影像的各區塊進行對應程度的平滑及/或銳化處理，就已經是符合了本發明的精神所在。以下再舉幾個實施例以便本領域具有通常知識者能夠更進一步的了解本發明的精神，並實施本發明。

請繼續參照圖1～圖4，在上述實施例中，步驟S202雖對原始影像ORI中對應於區塊集合B1～B4的各區塊進行銳化處理，並且對原始影像ORI中對應於區塊集合B5～B9的各區塊進行平滑處理，但本發明並不以此為限。熟習本領域技術者可依其需求改變步驟S202的實施方式。舉例來說，在另一實施例中，在步驟S202中影像對焦單元30可對原始影像ORI中對應於區塊集合B1～B9的各區塊進行銳化處理，其中對應於區塊集合B1～B9的各區塊的銳化程度依序由大到小。如此一來亦可達成相類似的效果。

又例如，在又一實施例中，在步驟S202中影像對焦單元30可對原始影像ORI中對應於區塊集合B1～B9的各區塊進行平滑處理，其中對應於區塊集合B1～B9的各區塊的平滑程度依序由小到大。如此一來亦可達成相類似的效果。

不僅如此，熟習本領域技術者也可依其需求改變輸出影像OP的對焦效果。舉例來說，在再一實施例中，在步驟S202中影像對焦單元30可對原始影像ORI中對應於區塊集合B1～B4的各區塊進行平滑處理，其中對應於區塊集合B1～B4的各區塊的平滑程度依序由大到小。另外，影像對焦單元30可對原始影像ORI中對應於區塊集合B5～B9的各區塊進行銳化處理，其中對應於區塊集合B5～B9的各區塊的銳化程度依序由小到大。如此一來可使輸出影像OP在視覺效果上對焦於較遠離觀察者的物件，因此亦能突顯輸出影像OP的立體感。

再舉一個例子，在步驟S202中影像對焦單元30也可對原始影像ORI中對應於區塊集合B1、B2、B6～B9的各區塊進行平滑處理，其中對應於區塊集合B1與B2的各區塊的平滑程度依序由大到小，對應於區塊集合B6與B9的各區塊的平滑程度依序由小到大。另外，影像對焦單元30可對原始影像ORI中對應於區塊集合B3～B5的各區塊進行銳化處理，其中對應於區塊集合B4的區塊的銳化程度大於對應於區塊集合B3與B5的區塊的銳化程度。如此一來可使輸出影像OP對焦於杯子I2，加強輸出影像OP的立體感。

上述實施例中，步驟S202僅是一種選擇實施例，在其他例子當中熟習本領域技術者可依其需求改變步驟S202的實施方式。舉例來說，影像對焦單元30可對原始影像ORI進行平滑處理以獲得平滑影像。接著再依深度影像DPI對原始影像ORI與平滑影像作對應權重的影像合成。如此亦可達成相類似的功效。

當然在另一實施例中，影像對焦單元30也可對原始影像ORI進行銳化處理以獲得銳化影像。接著再依深度影像DPI對原始影像ORI與銳化影像作對應權重的影像合成。如此亦可達成相類似的功效。

不僅如此，影像對焦單元30也可對原始影像ORI進行銳化處理以獲得銳化影像。另外，影像對焦單元30再對原始影像ORI進行平滑處理以獲得平滑影像。接著再依深度影像DPI對原始影像ORI、平滑影像與銳化影像作對應權重的影像合成。如此亦可達成相類似的功效。

另一方面，熟習本領域技術者也可依其需求改變圖1的影像處理裝置的架構。舉例來說，在另一實施例中，深度影像DPI可由外部裝置來產生或是在產生原始影像ORI時一併定義深度影像DPI。換言之，影像處理裝置10也可以不包括景深影像產生單元20，直接接收深度影像DPI，據以對原始影像ORI進行處理。

又例如，圖5是依照本發明的另一實施例的一種影像處理裝置的示意圖。在圖5中，影像處理裝置11包括了景深影像產生單元20與影像對焦單元31。影像對焦單元31可包括影像焦距調整單元40、平滑處理電路50、差值取出電路60、乘法電路70與影像相加電路80。差值取出電路60耦接平滑處理電路50、乘法電路70與影像相加電路80。影像焦距調整電路40耦接景深影像產生單元20與乘法電路70。影像相加電路80耦接乘法電路70。

承上述，平滑處理電路50可對原始影像ORI進行平滑處理，並據以產生平滑影像SMI。平滑處理電路50例如可用畫素3*3的平滑遮罩(Mask)進行平滑處理，但本發明並不以此為限。在其他實施例中也可用不同的處理方式進行平滑處理。差值取出電路60可對原始影像ORI與平滑影像SMI進行差值運算，並據以產生差值影像DFI。請注意，差值影像DFI可視為原始影像ORI與平滑影像SMI之間的細節差異。換個角度來說，當平滑影像SMI加上上述細節差異即可獲得原始影像ORI；反過來說，當原始影像ORI扣除上述細節差異即可獲得平滑影像SMI。

另一方面，影像焦距調整電路40可依據預設焦距重新調整深度影像DPI的各景深值。舉例來說，在本實施例中若要使原始影像ORI在視覺上對焦於杯子I3，影像焦距調整電路40可重新調整深度影像DPI並產生調整後的深度影像DPI’，其中深度影像DPI’中的區塊集合B1～B9的景深值分別例如為1、2、3、4、5、6、5、4、3。

接著，乘法電路70可將深度影像DPI’作為權重對差值影像DFI進行權重處理，以獲得細節影像DFI’。更具體地說，乘法電路70可依據深度影像DPI’決定差值影像DFI中各區域細節的保留程度。反過來說，乘法電路70可依據深度影像DPI’決定差值影像DFI中各區域細節的弱化程度。

承上述，在本實施例中，乘法電路70可將差值影像DFI中對應於區塊集合B6的各畫素的灰階值乘上6/6。乘法電路70可將差值影像DFI中對應於區塊集合B5與B7的各畫素的灰階值乘上5/6。乘法電路70可將差值影像DFI中對應於區塊集合B4與B8的各畫素的灰階值乘上4/6。乘法電路70可將差值影像DFI中對應於區塊集合B3與B9的各畫素的灰階值乘上3/6。乘法電路70可將差值影像DFI中對應於區塊集合B2的各畫素的灰階值乘上2/6。乘法電路70可將差值影像DFI中對應於區塊集合B1的各畫素的灰階值乘上1/6。如此一來即可獲得細節影像DFI’。

接著，影像相加電路80再將平滑影像SMI加上細節影像DFI’據以產生輸出影像OP。請注意，輸出影像OP可視為由原始影像ORI以及平滑影像SMI所合成。輸出影像OP中對應於區塊集合B6的各畫素是由較高權重的原始影像ORI以及較低權重的平滑影像SMI所合成(例如1：0)。輸出影像OP中對應於區塊集合B1的各畫素是由較低權重的原始影像ORI以及較高權重的平滑影像SMI所合成(例如1：5)。同理可類推輸出影像OP中對應於區塊集合B2～B5、B7～B9的各畫素。因此輸出影像OP中對應於區塊集合B6的各畫素在視覺上會較銳利；反之輸出影像OP中對應於區塊集合B1的各畫素在視覺上會較模糊。因此能突顯輸出影像OP的立體感，使其在視覺上對焦於杯子I3。

圖5的示意圖亦僅是一種選擇實施例，本發明並不以此為限。在另一實施例中也可省略影像焦距調整電路40，乘法電路70可直接採用深度影像DPI。又例如，圖6～8是依照本發明的另一實施例的一種影像處理裝置的示意圖。請合併參照圖5～圖8。圖6中影像處理裝置12的影像對焦單元32與圖5的影像處理裝置11的影像對焦單元31相類似，不同之處在於圖6利用影像相減電路81取代圖5的影像相加電路80。影像相減電路81可將原始影像ORI與細節影像DFI’進行影像相減，藉以得到輸出影像OP。此作法可使輸出影像OP中對應於各區塊集合中權重較高的部分看起來較模糊；反之，輸出影像OP中對應於各區塊集合中權重較低的部分看起來較清晰。換言之，只要配合調整乘法電路70或是影像焦距調整電路40亦可達成與上述實施例相類似的功效。

此外，圖7中影像處理裝置13的影像對焦單元33與圖5的影像處理裝置11的影像對焦單元31相類似，不同之處在於圖7利用銳化處理電路51取代圖5的平滑處理1路50。銳化處理電路51可對原始影像ORI進行銳化處理，例如可用畫素3*3的銳化遮罩進行銳化處理，藉以得到銳化影像SHI，但本發明並不以此為限。在其他實施例中也可採用不同的實施方式來進行銳化處理。最後再利用影像相加電路80將原始影像ORI與細節影像DFI，進行影像相加，藉以得到輸出影像OP。此作法可使輸出影像OP中對應於各區塊集合中權重較高的部分看起來較清晰；反之，輸出影像OP中對應於各區塊集合中權重較低的部分看起來較模糊。可達成與上述實施例相類似的功效。

再者，圖8中影像處理裝置14的影像對焦單元34與圖5的影像處理裝置11的影像對焦單元31相類似，不同之處在於圖8利用銳化處理電路51取代圖5的平滑處理電路50。另外圖8利用影像相減電路81取代圖5的影像相加電路80。銳化處理電路51可對原始影像ORI進行銳化處理，藉以得到銳化影像SHI。最後再利用影像相減電路81將銳化影像SHI與細節影像DFI’進行影像相減，藉以得到輸出影像OP。此作法可使輸出影像OP中對應於各區塊集合中權重較高的部分看起來較模糊；反之，輸出影像OP中對應於各區塊集合中權重較低的部分看起來較清晰。換言之，只要配合調整乘法電路70或是影像焦距調整電路40亦可達成與上述實施例相類似的功效。

綜上所述，本發明依據深度影像的各景深值對原始影像的各區塊進行對應程度的平滑及/或銳化處理。如此一來，可提升原始影像的立體感。另外，本發明的諸實施例還可具有下列功效：

1.重新調整深度影像的景深值，可改變輸出影像在視覺上的對焦位置。

2.利用平滑處理電路、銳化處理單元、差值取出單元、乘法電路、影像相加電路與影像相減電路的各種電路組合，可實現多張影像以不同權重進行影像合成。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10～14．．．影像處理裝置

20．．．景深影像產生單元

30～34．．．影像對焦單元

40．．．影像焦距調整電路

50．．．平滑處理電路

51．．．銳化處理電路

60．．．差值取出電路

70．．．乘法電路

80．．．影像相加電路

81．．．影像相減電路

S201、S202．．．影像處理方法的各步驟

ORI．．．原始影像

DPI、DPI’．．．深度影像

OP．．．輸出影像

DFI．．．差值影像

DFI’．．．細節影像

SMI．．．平滑影像

SHI．．．銳化影像

B1～B9．．．區塊集合

I1~I3．．．杯子

I4．．．地面

I5．．．牆壁

圖1是依照本發明的一實施例的一種影像處理裝置的示意圖。

圖2是依照本發明的一實施例的一種影像處理方法的流程圖。

圖3是依照本發明的一實施例的一種原始影像的示意圖。

圖4是依照圖3的一種深度影像的示意圖。

圖5是依照本發明的另一實施例的一種影像處理裝置的示意圖。

圖6～8是依照本發明的另一實施例的一種影像處理裝置的示意圖。

S201、S202．．．影像處理方法的各步驟

Claims

一種影像處理方法，包括：接收一原始影像及其對應的一深度影像，其中該深度影像包括多個景深值分別表示該原始影像中多個區塊的景深；以及依據該些景深值對該些區塊進行對應程度的平滑或銳化處理，包括：以該深度影像作為權重對一差值影像進行權重處理，以獲得一細節影像。
如申請專利範圍第1項所述之影像處理方法，其中依據該些景深值對該些區塊進行對應程度的平滑或銳化處理的步驟更包括：將該原始影像進行一平滑處理，以獲得一平滑影像；計算該原始影像與該平滑影像的差值，以獲得該差值影像；以及將該平滑影像與該細節影像進行影像相加，以獲得一輸出影像。
如申請專利範圍第1項所述之影像處理方法，其中依據該些景深值對該些區塊進行對應程度的平滑或銳化處理的步驟更包括：將該原始影像進行一平滑處理，以獲得一平滑影像；計算該原始影像與該平滑影像的差值，以獲得該差值影像；以及將該原始影像與該細節影像進行影像相減，以獲得一輸出影像。
如申請專利範圍第1項所述之影像處理方法，其中依據該些景深值對該些區塊進行對應程度的平滑或銳化處理的步驟更包括：將該原始影像進行一銳化處理，以獲得一銳化影像；計算該原始影像與該銳化影像的差值，以獲得該差值影像；以及將該原始影像與該細節影像進行影像相加，以獲得一輸出影像。
如申請專利範圍第1項所述之影像處理方法，其中依據該些景深值對該些區塊進行對應程度的平滑或銳化處理的步驟更包括：將該原始影像進行一銳化處理，以獲得一銳化影像；計算該原始影像與該銳化影像的差值，以獲得該差值影像；以及將該銳化影像與該細節影像進行影像相減，以獲得一輸出影像。
如申請專利範圍第1項所述之影像處理方法，其中依據該些景深值對該些區塊進行對應程度的平滑或銳化處理的步驟更包括：依據一預設焦距重新調整該深度影像的該些景深值。
一種影像處理裝置，包括：一影像對焦單元，接收一原始影像及其對應的一深度影像，並依據該深度影像的多個景深值對該原始影像的多個區塊進行對應程度的平滑或銳化處理，其中該些景深值分別表示該些區塊的景深，其中該影像對焦單元包括：一乘法電路，耦接一差值取出電路，以該深度影像作為權重對一差值影像進行權重處理，以獲得一細節影像。
如申請專利範圍第7項所述之影像處理裝置，其中該影像對焦單元更包括：一平滑處理電路，將該原始影像進行一平滑處理，以獲得一平滑影像；一差值取出電路，耦接該平滑處理電路，計算該原始影像與該平滑影像的差值，以獲得該差值影像；以及一影像相加電路，耦接該乘法電路，將該平滑影像與該細節影像進行影像相加，以獲得一輸出影像。
如申請專利範圍第7項所述之影像處理裝置，其中該影像對焦單元更包括：一平滑處理電路，將該原始影像進行一平滑處理，以獲得一平滑影像；一差值取出電路，耦接該平滑處理電路，計算該原始影像與該平滑影像的差值，以獲得該差值影像；以及一影像相減電路，耦接該乘法電路，將該原始影像與該細節影像進行影像相減，以獲得一輸出影像。
如申請專利範圍第7項所述之影像處理裝置，其中該影像對焦單元更包括：一銳化處理電路，將該原始影像進行一銳化處理，以獲得一銳化影像；一差值取出電路，耦接該銳化處理電路，計算該原始影像與該銳化影像的差值，以獲得該差值影像；以及一影像相加電路，耦接該乘法電路，將該原始影像與該細節影像進行影像相加，以獲得一輸出影像。
如申請專利範圍第7項所述之影像處理裝置，其中該影像對焦單元更包括：一銳化處理電路，將該原始影像進行一銳化處理，以獲得一銳化影像；一差值取出電路，耦接該銳化處理電路，計算該原始影像與該銳化影像的差值，以獲得該差值影像；以及一影像相減電路，耦接該乘法電路，將該銳化影像與該細節影像進行影像相減，以獲得一輸出影像。
如申請專利範圍第7項所述之影像處理裝置，其中該影像對焦單元更包括：一影像焦距調整電路，依據一預設焦距重新調整該深度影像的該些景深值。
如申請專利範圍第7項所述之影像處理裝置，更包括：一景深影像產生單元，耦接該影像對焦單元，依據該原始影像產生該深度影像。