TW201322732A - 調整影像之運動景深的方法 - Google Patents
調整影像之運動景深的方法 Download PDFInfo
- Publication number
- TW201322732A TW201322732A TW100143735A TW100143735A TW201322732A TW 201322732 A TW201322732 A TW 201322732A TW 100143735 A TW100143735 A TW 100143735A TW 100143735 A TW100143735 A TW 100143735A TW 201322732 A TW201322732 A TW 201322732A
- Authority
- TW
- Taiwan
- Prior art keywords
- characteristic data
- relative movement
- movement characteristic
- pictures
- gain value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 162
- 230000001186 cumulative effect Effects 0.000 claims description 71
- 238000013507 mapping Methods 0.000 claims description 29
- 230000000052 comparative effect Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 21
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 21
- 238000010586 diagram Methods 0.000 description 7
- 101150013335 img1 gene Proteins 0.000 description 7
- 101150071665 img2 gene Proteins 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一種調整影像之運動景深的方法,用於二維轉三維影像處理。上述方法包括接收多個時間點的多個畫面,並計算各畫面各自之多個狹域移動向量與一廣域移動向量。上述方法還包括判斷上述多個畫面中,上述多個狹域移動向量與廣義移動向量間之第一差異程度。上述方法更包括判斷上述畫面當中一最近畫面與其餘先前畫面間之第二差異程度。上述方法另包括依據第一差異程度與第二差異程度來計算出一增益值。上述方法還包括依據增益值來調整最近畫面之原始運動景深。藉此,可以避免或改善景深倒置的現象。
Description
本發明是有關於一種調整影像之運動景深的方法,且特別是有關於一種可避免或改善景深倒置現象的調整影像之運動景深的方法。
隨著顯示技術的進步,可提供三維(3D)影像畫面的顯示器如雨後春筍般地湧現。此種立體顯示器所需的影像資訊包括二維(2D)影像畫面及其深度資訊。藉由二維影像畫面及其深度資訊,立體顯示器可重建對應的三維影像畫面。
傳統影像景深的估算方法之一是藉由物體運動程度來擷取其深度,此稱為「自運動獲取深度(depth-from-motion;DMP)」方法。其中,具較高運動程度的物體被賦予較小(較近)深度;反之,具較低運動程度的物體被賦予較大(較遠)深度。
對於一般的影像而言,藉由上述DMP方法所獲得的景深,不至發生景深倒置的現象。然而,倘若影像中具有視窗移動物件(windowed-moving object),藉由傳統的DMP方法就會發生景深倒置的現象。請參考圖1,圖1為一影像100包含有一視窗移動物件120的示意圖。影像100的拍攝場合為拍攝者本身處於移動狀態下,例如拍攝者坐在汽車或火車等正在進行中的交通工具並對著車窗外拍攝。視窗移動物件120呈現所拍攝的車窗外景況,而影像100中的背景110則呈現了車內的景況。在傳統的DMP方法中,因具較高運動程度的物體被賦予較小(較近)景深,故視窗移動物件120的景深會較背景110的景深小,而使得觀看者所看到的影像100中視窗移動物件120會較背景110還要近的景深倒置現象。
本發明提供調整影像之運動景深的方法,此方法可避免或改善景深倒置現象。
本發明之一實施例提出一種調整影像之運動景深的方法,用於二維轉三維影像處理。上述方法包括:(i)接收多個時間點的多個畫面,並依據各畫面各自之多個狹域移動向量與一廣域移動向量,計算上述畫面當中每一者之相對移動特性資料;(ii)將上述畫面之相對移動特性資料累積計算,以獲得第一累積相對移動特性資料;(iii)將上述畫面當中除一最近畫面外之其餘畫面之相對移動特性資料累積計算,以獲得一第二累積相對移動特性資料;(iv)比較最近畫面之相對移動特性資料與第二累積相對移動特性資料以獲得一比較相對移動特性資料;(v)依據第一累積相對移動特性資料與比較相對移動特性資料來計算出一增益值;以及(vi)依據增益值來調整最近畫面之原始運動景深。
本發明之另一實施例提出一種調整影像之運動景深的方法,用於二維轉三維影像處理。上述方法包括:接收多個時間點的多個畫面,並計算各畫面各自之多個狹域移動向量與一廣域移動向量;判斷上述多個畫面中,上述多個狹域移動向量與廣義移動向量間之第一差異程度;判斷上述畫面當中一最近畫面與其餘先前畫面間之第二差異程度;依據第一差異程度與第二差異程度來計算出一增益值;以及依據增益值來調整最近畫面之原始運動景深。
在本發明之一實施例中,上述步驟(i)係包括:(a)分別就各畫面計算各狹域向量與廣域向量間之差值,以獲得多個相對移動向量;以及(b)依據各畫面之狹域移動向量與相對移動向量,以獲得各畫面之相對移動特性資料。
在本發明之一實施例中,上述步驟(b)係包括:(b1)判斷各狹域移動向量的絕對值是否大於一第一臨界值;(b2)判斷各相對移動向量的絕對值是否大於一第二臨界值;以及(b3)依據上述判斷結果以獲得各畫面的相對移動特性資料。
在本發明之一實施例中,上述步驟(b3)係包括:依據上述判斷結果以計算出各畫面中與多個狹域單元相對應之多個比較結果值;以及將上述比較結果值沿一行/列映射方向映射以產生一映射移動向量,映射移動向量代表相對移動特性資料。
在本發明之一實施例中,上述產生映射移動向量之步驟係包括;將上述比較結果值沿行/列映射方向計數以產生多個分別對應於不同行/列的計數值;以及將上述計數值分別與一第三臨界值比較,以依據上述計數值與第三臨界值的比較結果來產生映射移動向量之多個元素值。
在本發明之一實施例中,上述步驟(i)至(v)係分別依據上述畫面之一個至多個方向實施。
在本發明之一實施例中,上述畫面中之相對移動特性資料的每一者各包括多個對應於不同行/列的元素值。上述步驟(ii)係包括:將上述畫面中對應於同一行/列的元素值進行或運算,以獲得第一累積相對移動特性資料。
在本發明之一實施例中,上述步驟(iii)係包括:將上述其餘畫面之相對移動特性資料中對應於同一行/列的元素值進行或運算,以獲得第二累積相對移動特性資料。
在本發明之一實施例中,上述步驟(iv)係包括:將相對移動特性資料之複數個元素值與第二累積相對移動特性資料中對應於同一行/列之相反元素值進行及運算,以獲得比較相對移動特性資料。
在本發明之一實施例中,上述步驟(v)係包括:依據第一累積相對移動特性資料,取得一第一增益值;依據比較相對移動特性資料,取得一第二增益值;以及依據第一增益值及第二增益值計算出增益值。
在本發明之一實施例中,上述取得第一增益值之步驟係包括:依據第一累積相對移動特性資料之複數個元素值之一第一加總值,自一第一增益曲線中獲得第一增益值。上述取得第二增益值之步驟係包括:依據比較相對移動特性資料之複數個元素值之一第二加總值,自一第二增益曲線中獲得第二增益值。
在本發明之一實施例中,上述第一增益值與第二增益值當中每一者係分別依第一與第二方向計算。
在本發明之一實施例中,上述計算增益值步驟係包括:獲得沿第一方向之第一增益值與第二增益值之乘積;獲得沿第二方向之第一增益值與第二增益值之乘積;以及依據上述兩乘積當中之一較大者來決定增益值。
在本發明之一實施例中,上述判斷第一差異程度之步驟係包括:分別就各畫面計算狹域向量與廣域向量間之差值,以獲得多個相對移動向量;依據各畫面之狹域移動向量與相對移動向量,以獲得各畫面之相對移動特性資料;以及將畫面之相對移動特性資料累積計算,以獲得第一累積相對移動特性資料,而第一累積相對移動特性資料代表第一差異程度。
在本發明之一實施例中,上述獲得各畫面之相對移動特性資料之步驟係包括:判斷狹域移動向量的絕對值是否大於一第一臨界值;判斷相對移動向量的絕對值是否大於一第二臨界值;以及依據上述判斷結果以獲得各畫面的相對移動特性資料。
在本發明之一實施例中,上述判斷第二差異程度之步驟係包括:將畫面當中除一最近畫面外之其餘畫面之相對移動特性資料累積計算,以獲得一第二累積相對移動特性資料;以及比較最近畫面之相對移動特性資料與第二累積相對移動特性資料以獲得一比較相對移動特性資料,比較相對移動特性資料代表第二差異程度。
在本發明之一實施例中,當第一差異程度越大時,增益值係設定為越小,以及當第二差異程度越小時,增益值係設定為越小。
基於上述,上述實施例藉由所計算出的第一累積相對移動特性資料及比較相對移動特性資料,獲得增益值。其中,第一累積相對移動特性資料用以判斷狹域向量與廣域向量間之間的差異程度,而比較相對移動特性資料用以判斷最近畫面與其餘的先前畫面之間的差異程度。因此,所得到的增益值會相關於狹域向量與廣域向量間之間的差異程度,並相關於最近畫面與其餘的先前畫面之間的差異程度。藉此,依據增益值而調整的最近畫面之運動景深得以真實地反應拍攝景況,而避免或改善景深倒置現象。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
請參考圖2A,圖2A是本發明一實施例之影像處理電路200的功能方塊圖。影像處理電路200包括接收埠210、邏輯電路220以及緩衝記憶體230。接收埠210用以接收影像IMG1於多個時間點的多個畫面。如圖3所示,影像IMG1具有多個畫面M0~M9,而畫面M0~M9分別與時間點T0~T9對應。其中,畫面M0對應於時間點T0、畫面M1對應於時間點T1,依此類推。在此,畫面M0被定義為目前所處理的畫面,而稱為「最近畫面」,其餘畫面M1~M9則稱為「先前畫面」。須瞭解的,雖然圖3所繪示的影像IMG1具有10個畫面,但本技術領域中具有通常知識者應明白影像IMG1的畫面數可為其他數目。
邏輯電路220耦接於接收埠210,用以執行本發明之調整影像的運動景深之方法。當邏輯電路220調整完影像IMG1中任一畫面的運動景深後,即可產生並輸出另一影像IMG2中一個對應的畫面。影像IMG2的每個畫面之運動景深皆由邏輯電路220調整過,且影像IMG2可被傳送至一顯示裝置,而由該顯示裝置基於影像IMG2顯示對應的畫面。
緩衝記憶體230耦接於邏輯電路220,用以暫存邏輯電路220於運作過程中所產生的資料。以下進一步說明影像處理電路200實施調整影像的運動景深之方法。
圖2B為依據一實施例之調整影像的運動景深之方法之概要流程圖,其可由圖2A所示之影像處理電路200來實施。首先,於步驟S201中,邏輯電路220接收多個時間點的多個畫面,並計算各該畫面各自之多個狹域移動向量與一廣域移動向量。
接下來,於步驟S202中,邏輯電路220係判斷該多個畫面中,該多個狹域移動向量與該廣義移動向量間之第一差異程度。當幾個畫面中狹域向量與廣域向量之間的差異程度整體較高時,表示在畫面中可能有一定大小的移動物體。
接下來,於步驟S203中,邏輯電路220係判斷該些畫面當中一最近畫面與其餘先前畫面間之第二差異程度。當第二差異程度越大時,表示畫面中的移動物體在一定時間內有一定的空間位移。
接下來,於步驟S204中,邏輯電路220係依據該第一差異程度與該第二差異程度來計算出一增益值。較佳地,當第一差異程度越大時,此增益值係設定為越小;反之,當第二差異程度越小時,則設定此增益值越小。最後,於步驟S205中,即可依據該增益值來調整該最近畫面之原始運動景深。
結果,在應用此方法時,倘若在畫面中的移動物體為視窗移動物件(windowed-moving object),則所計算出來的第一差異程度會偏大,且所計算出之第二差異程度會偏小,進而可得到偏小的增益值G。如此一來,當畫面中的移動物體為視窗移動物件時,依據偏小的增益值G來調整後的運動景深會較小,進而可避免或改善景深倒置的現象。
相對地,倘若在畫面中的移動物體並非視窗移動物件,則其所計算出來的第一差異程度及第二差異程度可能皆偏大,進而產生偏大的增益值。如此一來,調整後的運動景深會較大,而使用者會觀看到正常景深的影像。
繼續參考圖2C,其為依據一實施例之調整影像的運動景深之方法之細步流程圖,用以說明圖2B中各步驟之進一步細節。如圖2C所示,其包括下述步驟:
首先,於步驟S211中,邏輯電路220係接收多個時間點的多個畫面,並依據各該畫面各自之多個狹域移動向量與一廣域移動向量,以進一步計算出該些畫面當中每一者各自之一相對移動特性資料。此相對移動特性資料係代表每一畫面中的多個狹域移動向量與一廣域移動向量之差異程度。
接下來,於步驟S212中,邏輯電路220係將該些畫面之該些相對移動特性資料累積計算,以獲得第一累積相對移動特性資料。其中,第一累積相對移動特性資料即用來代表圖2B中所述之第一差異程度。
接下來,於步驟S213中,邏輯電路220將該些畫面當中除一最近畫面外之其餘畫面之該相對移動特性資料累積計算,以獲得一第二累積相對移動特性資料。繼而,於步驟S214中,即可比較該最近畫面之該相對移動特性資料與該第二累積相對移動特性資料,以獲得一比較相對移動特性資料。其中,比較相對移動特性資料即用來代表圖2B中所述之第二差異程度。
接下來,於步驟S215中,即可依據該第一累積相對移動特性資料與該比較相對移動特性資料來計算出一增益值。最後,於步驟S216中,即可依據該增益值來調整該最近畫面之原始運動景深。
值得注意的是,上述步驟S211至S215可分別依據畫面的一個至多個方向實施,譬如為水平方向X或/及垂直方向Y。當步驟S211至S215依據畫面的多個方向實施時,上述多個方向可為水平方向X及垂直方向Y。以下將進一步使用各種實施例來詳細說明圖2C之調整影像的運動景深的方法之各個步驟。
首先,於步驟S211中,邏輯電路220計算每一畫面M0~M9中與多個狹域單元410相對應之多個狹域移動向量及一廣域移動向量VG。請參考圖4A,圖4A繪示本發明一實施例之畫面M0中各狹域單元所對應的狹域移動向量。畫面M0被區分為多個狹域單元410,而每一個狹域單元410具有畫面M0的一個或多個像素,而多個狹域單元410排列成M列乘以N行之陣列,其中M和N為正整數。與畫面M0相同地,影像IMG1的其他畫面(例如:畫面M1~M9)的每一者都具有排列成M列乘以N行陣列的多個狹域單元410。
為方便說明,如圖4A所示,邏輯電路220所計算出的畫面M0中與多個狹域單元410相對應之多個狹域移動向量分別以V(0,1,1)~V(0,M,N)表示。類似地,在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的狹域移動向量以V(i,j,k)表示之,其中0≦i,1≦j≦M,1≦k≦N。上述計算狹域移動向量及廣域移動向量VG的方式可以是自運動獲取深度(DMP)方法中所採用的計算狹域移動向量(local motion vector)及廣域移動向量(global motion vector)的方式,而DMP方法為本技術領域中具有通常知識者所習知,故在此即不多贅述。
值得注意的是,較佳地,於計算時,每一狹域移動向量係萃取出兩方向之分量,譬如是一水平移動向量以及一垂直移動向量,其中水平移動向量與垂直移動向量相互垂直。請參考圖4B,圖4B繪示了本發明一實施例之畫面M0中各狹域單元410所對應的相對移動向量。為方便說明,在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的狹域移動向量以[VX(i,j,k),VY(i,j,k)]表示之,其中0≦i,1≦j≦M,1≦k≦N,VX(i,j,k)表示狹域移動向量在水平方向X上的水平分量,而VY(i,j,k)表示狹域移動向量在垂直方向Y上的垂直分量。以圖4B為例,邏輯電路220所計算出的畫面M0中與多個狹域單元410相對應之多個狹域移動向量分別以[VX(0,1,1),VY(0,1,1)]~[VX(0,M,N),VY(0,M,N)]表示。此外,邏輯電路220所計算的廣域移動向量VG係以[GX,GY]表示。其中,GX為廣域移動向量VG在水平方向X上的分量,而GY為廣域移動向量VG在垂直方向Y上的分量。
之後,邏輯電路220分別就各畫面將多個狹域向量分別與廣域向量VG比較,以計算多個相對移動向量。為方便說明,在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的相對移動向量以Δ( i , j , k )表示之,其中0≦i,1≦j≦M,1≦k≦N。以圖5A為例,圖5A繪示畫面M0中各狹域單元410所對應的相對移動向量。如圖5A所示,邏輯電路220所計算出的畫面M0中與多個狹域單元410相對應之多個相對移動向量分別以Δ(0,1,1)~Δ(0,M,N)表示。
在本發明一實施例中,邏輯電路220分別就各畫面計算多個狹域向量與廣域向量VG間之差值以獲得多個相對移動向量。換言之,各相對移動向量係依據下述之方程式(1)取得:
Δ(i,j,k)=V(i,j,k)-VG (1)
值得注意的是,較佳地,於計算相對移動向量Δ ( i , j , k ) 時,係分別計算兩方向之分量。請參考圖5B,圖5B繪示了畫面M0中各狹域單元410所對應的相對移動向量。為方便說明,在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的相對移動向量以[ΔX(i,j,k),ΔY(i,j,k)]表示之,其中0≦i,1≦j≦M,1≦k≦N,ΔX(i,j,k)表示相對移動向量在水平方向X上的分量,而ΔY(i,j,k)表示相對移動向量在垂直方向Y上的分量。以圖5B為例,邏輯電路220所計算出的畫面M0中與多個狹域單元410相對應之多個相對移動向量分別以[ΔX(i,1,1),ΔY(i,1,1)]~[ΔX(i,M,N),ΔY(i,M,N)]表示。在本發明一實施例中,各相對移動向量在水平方向X及垂直方向Y上的分量係依據下述之方程式(1-1)、(1-2)取得:
ΔX(i,j,k)=VX(i,j,k)-GX (1-1)
ΔY(i,j,k)=VY(i,j,k)-GY (1-2)
之後,邏輯電路220依據各畫面之狹域移動向量與相對移動向量,以獲得各畫面的一相對移動特性資料。請參考圖6A,圖6A繪示了各畫面的相對移動特性資料。其中,H[0]表示為畫面M0的相對移動特性資料;H[1]表示為畫面M1的相對移動特性資料;H[2]表示為畫面M2的相對移動特性資料,依此類推。
在本發明一實施例中,各相對移動特性資料H[0]~H[P]分別以一維矩陣或一向量表示。如圖6A所示,相對移動特性資料H[0]~H[P]的每一者各包括多個對應於不同行/列的元素值。以相對移動特性資料H[1]為例,相對移動特性資料H[1]包括多個元素值H[1,1]~H[1,Q],分別對應於畫面M1之第1至第M列,或是對應於畫面M1之第1至第N行;而以相對移動特性資料H[P]為例,相對移動特性資料H[P]包括多個元素值H[P,1]~H[P,Q],分別對應於畫面MP之第1至第M列,或是對應於畫面MP之第1至第N行。其中元素值H[s,t]係表示在時間點Ts的畫面所對應的相對移動特性資料H[s]之第t個元素值。
另外,值得注意的是,如圖6B所示,於計算每一畫面的相對移動特性資料H[0]~H[P]時,較佳可分別計算一水平分量以及一垂直分量。例如,畫面M0的相對移動特性資料(HX[0],HY[0])包括水平分量HX[0]以及垂直分量HY[0];畫面M1的相對移動特性資料(HX[1],HY[1])包括水平分量HX[1]以及垂直分量HY[1];畫面M2的相對移動特性資料(HX[2],HY[2])包括水平分量HX[2]以及垂直分量HY[2],依此類推。
更仔細言之,在時間點Ti的畫面所對應的相對移動特性資料(HX[i]、HY[i])之水平分量HX[i]的第j個元素值可以HX[i,j]表示,而時間點Ti的畫面所對應的相對移動特性資料(HX[i]、HY[i])之垂直分量HY[i]的第k個元素值可以HY[i,k]表示,其中1≦j≦M,1≦k≦N。以相對移動特性資料(HX[1]、HY[1])為例,其水平分量HX[1]包括多個元素值HX[1,1]~HX[1,M],其垂直分量HY[1]包括多個元素值HY[1,1]~HY[1,N];而以相對移動特性資料(HX[P]、HY[P])為例,其水平分量HX[P]包括多個元素值HX[P,1]~HX[P,M],其垂直分量HY[P]包括多個元素值HY[P,1]~HY[P,N]。
在上述實施例中,圖6A中所示的相對移動特性資料H[1]至H[P]之各元素值,係分別作為一對應行/列上的各個狹域移動向量V(i,j,k)之絕對值與相對移動向量Δ(i,j,k)的絕對值是否夠大的象徵。以下繼續以範例仔細說明獲得相對移動特性資料H[0]~H[P]之詳細計算方式。
關於獲得相對移動特性資料H[0]~H[P]之過程,在本發明一實施例中,在邏輯電路220獲得各畫面的相對移動特性資料H[0]~H[P]的過程中,邏輯電路220會先判斷各狹域移動向量V(i,j,k)的絕對值是否大於第一臨界值,並判斷各相對移動向量Δ(i,j,k)的絕對值是否大於第二臨界值,之後再依據上述兩種判斷結果以獲得各畫面的相對移動特性資料H[0]~H[P]。
而關於依據上述兩種判斷結果以獲得各畫面的相對移動特性資料H[0]~H[P]的過程,在本發明一實施例中,邏輯電路220會先計算出各畫面中與狹域單元410相對應之多個比較結果值A(i,j,k),此比較結果值係代表上述兩種判斷結果,繼而邏輯電路220再將這些比較結果值A(i,j,k)沿一行/列映射方向映射以產生映射移動向量CX[0]或CY[0],並使用此映射移動向量CX[0]或CY[0]來代表上述的相對移動特性資料H[0]~H[P]。
請參考圖7A,圖7A繪示了畫面M0中各狹域單元410所對應的比較結果值A(i,j,k),以說明比較結果值A(i,j,k)與映射移動向量CX[0]或CY[0]之產生過程。為方便說明,在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的比較結果值以A(i,j,k)表示之,其中0≦i,1≦j≦M,1≦k≦N。以圖7A為例,邏輯電路220所計算出的畫面M0中與多個狹域單元410相對應之多個比較結果值分別以A(0,1,1)~A(0,M,N)表示。
在本發明一實施例中,各比較結果值係依據下述之方程式(2)取得:
其中,Th1為上述的第一臨界值,而Th2為上述的第二臨界值。換言之,倘若|V(i,j,k)|大於第一臨界值Th1且|Δ(i,j,k)|大於第二臨界值Th2,則設定比較結果值A(i,j,k)等於1。相對地,倘若|V(i,j,k)|不大於第一臨界值Th1或|Δ(i,j,k)|不大於第二臨界值Th2,則設定比較結果值A(i,j,k)等於0。因此,只有|V(i,j,k)|與|Δ(i,j,k)|分別夠大時,才能夠設定比較結果值A(i,j,k)等於1,於其餘情況下,比較結果值A(i,j,k)皆設定為等於0。
在獲得結果值A(i,j,k)後,繼而邏輯電路220會將上述的比較結果值沿一行/列映射方向映射以產生映射移動向量CX[0]或CY[0],而此映射移動向量CX[0]或CY[0]即可代表相對移動特性資料。在此所謂的行/列映射方向例如是水平方向X或垂直方向Y,其中水平方向X與垂直方向Y相互垂直。以圖7A為例,邏輯電路220可將畫面M0中的比較結果值A(0,1,1)~A(0,M,N)沿水平方向X映射,以產生映射移動向量CX[0]。或者,邏輯電路220可將畫面M0中的比較結果值A(0,1,1)~A(0,M,N)沿垂直方向Y映射,以產生映射移動向量CY[0]。如圖7A所示,映射移動向量CX[0]可具有多個元素值C[1]~C[M],而映射移動向量CY[0]可具有多個元素值C[M+1]~C[M+N]。每一元素值C[1]~C[M+N]對應於一列狹域單元410或一行狹域單元410。
在一實施例中,在邏輯電路220將上述的比較結果值沿行/列映射方向映射以產生映射移動向量的過程中,邏輯電路220會將上述的比較結果值沿行/列映射方向計數,以產生多個分別對應於不同行/列的計數值,繼而再將上述的計數值分別與第三臨界值Th3比較,以依據上述計數值與第三臨界值Th3的比較結果來產生映射移動向量之多個元素值。
以圖7A所示之畫面M0為例,倘若上述的行/列映射方向為垂直方向Y,亦即Q等於M,邏輯電路220會將比較結果值A(0,1,1)~A(0,M,N)沿垂直方向Y計數以產生多個分別對應於不同列的計數值S[1]~S[M],並將上述的計數值S[1]~S[M]分別與第三臨界值Th3比較,以依據上述計數值S[1]~S[M]與第三臨界值Th3的比較結果來產生映射移動向量CX[0]之多個元素值C[1]~C[M]。其中計數值S[1]~S[M]係依據下述之方程式(3)取得,而元素值C[1]~C[M]係依據下述之方程式(4)取得:
其中,圖7A中的映射移動向量CX[0]即為圖6A中相對移動特性資料H[0],元素值C[1]~C[M]即為相對移動特性資料H[0]之元素值H[0,1]~H[0,Q]。
相似地,倘若上述的行/列映射方向為水平方向X,亦即Q等於N,邏輯電路220會將比較結果值A(0,1,1)~A(0,M,N)沿水平方向X計數以產生多個分別對應於不同行的計數值S[M+1]~S[M+N],並將上述的計數值S[M+1]~S[M+N]分別與第三臨界值Th3比較,以依據上述計數值S[M+1]~S[M+N]與第三臨界值Th3的比較結果來產生映射移動向量之多個元素值C[M+1]~C[M+N]。其中計數值S[M+1]~S[M+N]係依據下述之方程式(5)取得,而元素值C[M+1]~C[M+N]係依據下述之方程式(6)取得:
其中,圖7A中的映射移動向量CY[0]即為圖6A中相對移動特性資料H[0],元素值C[M+1]~C[M+N]即為相對移動特性資料H[0]之元素值H[0,1]~H[0,Q]。
值得注意的是,如前所述,於計算相對移動特性資料之過程中,較佳可計算其水平分量與垂直分量。因此,在本發明一實施例中,邏輯電路220可將每一狹域移動向量[VX(i,j,k),VY(i,j,k)]的水平分量VX(i,j,k)之絕對值及垂直分量VY(i,j,k)之絕對值分別與第一臨界值Th1比較,每一相對移動向量[ΔX(i,j,k),ΔY(i,j,k)]的水平分量ΔX(i,j,k)之絕對值及垂直分量ΔY(i,j,k)之絕對值分別與第二臨界值Th2比較,之後邏輯電路220再依據上述比較結果以獲得各畫面的相對移動特性資料。
另外,邏輯電路220同樣可將代表上述判斷結果之多個沿水平方向X及垂直方向Y之比較結果值,分別沿水平方向X及垂直方向Y映射以產生水平映射移動向量及垂直映射移動向量,其分別代表相對移動特性資料之水平分量與垂直分量。請參考圖7B,圖7B繪示了圖6B中畫面M0中各狹域單元410所對應的比較結果值。其中,在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的比較結果值以[AX(i,j,k),AY(i,j,k)]表示,0≦i,1≦j≦M,1≦k≦N,而每一比較結果值[AX(i,j,k),AY(i,j,k)]包含有水平比較結果值AX(i,j,k)及垂直比較結果值AY(i,j,k)。
與方程式(5)類似,在本發明一實施例中,各水平比較結果值AX(i,j,k)及垂直比較結果值AY(i,j,k)係依據下述之方程式(2-1)、(2-2)取得:
接下來,依類似的方式,邏輯電路220可將上述畫面M0中的水平比較結果值AX(0,1,1)~AX(0,M,N)沿垂直方向Y映射以產生水平映射移動向量CX[0],且邏輯電路220可將上述畫面M0中的垂直比較結果值AY(0,1,1)~AY(0,M,N)沿水平方向X映射以產生垂直映射移動向量CY[0]。
而產生水平映射向量CX[0]與垂直映射向量CY[0]之過程中,邏輯電路220同樣將水平比較結果值AX(0,1,1)~AX(0,M,N)沿垂直方向Y計數以產生多個分別對應於不同列的計數值SX[1]~SX[M],並將垂直比較結果值AY(0,1,1)~AY(0,M,N)沿水平方向X計數以產生多個分別對應於不同行的計數值SY[1]~SY[N]。接下來,邏輯電路220可套用下述之方程式產生水平映射移動向量CX[0]之多個元素值CX[1]~CX[M]以及垂直映射移動向量CY[0]之多個元素值CY[1]~CY[N]。其中計數值SX[1]~SX[M]及SY[1]~SY[N]係依據下述之方程式(3-1)、(5-1)取得,而元素值CX[1]~CX[M]及CY[1]~CY[N]係依據下述之方程式(4-1)、(6-1)取得:
另外,亦值得注意的是,相對移動特性資料H[0]~H[Q](不論是Hx[0]~H[M]或Hx[0]~H[N])之各元素值,係分別作為某一對應行/列上的各個狹域移動向量V(i,j,k)之絕對值與相對移動向量Δ(i,j,k)的絕對值是否夠大的象徵。因此,於其他實施例中,可以種種不同方式計算相對移動特性資料H[1]~H[Q],並不限定上述特定實施例之方式。
請再參考圖2C與圖6A。當邏輯電路220獲得各畫面的相對移動特性資料H[0]~H[P]之後,邏輯電路220會進行步驟S212,以將(P+1)個畫面之相對移動特性資料H[0]~H[P]累積計算,以獲得第一累積相對移動特性資料OR1。
在一實施例中,邏輯電路220會將(P+1)個畫面中對應於同一行/列的元素值進行或(OR)運算,以獲得上述的第一累積相對移動特性資料OR1。數學上來說,第一累積相對移動特性資料OR1具有多個元素值O[1]~O[Q],每一元素值O[1]~O[Q]係相對移動特性資料H[0]~H[P]中對應於同一行/列的元素值進行或運算而獲得的。詳言之,元素值O[1]~O[Q]係依據下述之方程式(7)取得:
其中,1≦q≦Q。
請再參考圖6B。當邏輯電路220獲得各畫面的相對移動特性資料的水平分量HX[0]~HX[P]及垂直分量HY[0]~HY[P]之後,邏輯電路220會將各畫面之相對移動特性資料累積計算,以獲得第一累積相對移動特性資料(OR1X、OR1Y),其中OR1X代表第一累積相對移動特性資料的水平分量,OR1Y代表第一累積相對移動特性資料的垂直分量。換言之,邏輯電路220會將(P+1)個畫面之相對移動特性資料的水平分量HX[0]~HX[P]及垂直分量HY[0]~HY[P]累積計算,以獲得第一累積相對移動特性資料(OR1X、OR1Y)。
值得注意的是,如圖6B所示,第一累積相對移動特性資料同樣可沿垂直方向與水平方向分別計算。更進一步地說,第一累積相對移動特性資料(OR1X、OR1Y)具有多個元素值OX[1]~OX[M]、OY[1]~OY[N],其譬如可依據下述之方程式(7-1)、(7-2)取得:
OX[j]=HX[0,j]∨HX[1,j]∨HX[2,j]∨...HX[P,j] (7-1)
OY[k]=HY[0,k]∨HY[1,k]∨HY[2,k]∨...HY[P,k] (7-2)
其中,1≦j≦M,1≦k≦N。
另外,亦值得注意的是,第一累積相對移動特性資料OR1或(OR1X、OR1Y)係用以判斷幾個連續畫面中狹域向量與廣域向量間之間的整體差異程度。當幾個畫面中狹域向量與廣域向量間之間的差異程度整體較高時,表示在畫面中可能有一定大小的移動物體。因此,於其他實施例中,可以依據其他方式計算相對移動特性資料OR1來代表這種差異,並不侷限於此實施例所例示之特定方式。
接下來,係說明圖2C中之步驟S213。除了獲得第一累積相對移動特性資料OR1之外,邏輯電路220還會將最近畫面M0排除,而將上述多個畫面當中其餘畫面之相對移動特性資料H[1]~H[P]累積計算,以獲得第二累積相對移動特性資料OR2,如圖6A所示。在本發明一實施例中,第二累積相對移動特性資料OR2包括多個對應於不同行/列的元素值U[1]~U[Q]。與第一累積相對移動特性資料OR1類似,每一元素值U[1]~U[Q]係邏輯電路220將上述的其餘畫面之相對移動特性資料H[1]~H[P]中對應於同一行/列的元素值進行或運算而取得。詳言之,元素值U[1]~U[Q]係依據下述之方程式(8)取得:
U[q]=H[1,q]∨H[2,q]∨H[3,q]∨...H[P,q] (8)
其中,1≦q≦Q。
值得注意的是,如圖6B所示,邏輯電路220同樣可沿兩方向計算第二累積相對移動特性資料(OR2X、OR2Y),其中OR2X代表第二累積相對移動特性資料的水平分量,OR2Y代表第二累積相對移動特性資料的垂直分量。在本發明一實施例中,第二累積相對移動特性資料(OR2X、OR2Y)包括多個對應於不同行/列的元素值UX[1]~UX[M]、UY[1]~UY[N],其可依據下述之方程式(8-1)、(8-2)取得:
UX[j]=HX[1,j]∨HX[2,j]∨HX[3,j]∨...HX[P,j] (8-1)
UY[k]=HY[1,k]∨HY[2,k]∨HY[3,k]∨...HY[P,k] (8-2)
其中,1≦j≦M,1≦k≦N。
接下來,係說明圖2C中之步驟S214。邏輯電路220會比較最近畫面M0的相對移動特性資料H[0]與第二累積相對移動特性資料OR2,以獲得比較相對移動特性資料AND1(如圖6A所示)。在進行此比較之過程中,舉例而言,可將最近畫面M0之相對移動特性資料H[0]與第二累積相對移動特性資料OR2之相反資料(元素值1變為0,而0變為1)進行及(AND)運算,以獲得比較相對移動特性資料AND1。
更仔細言之,最近畫面之相對移動特性資料H[0]的元素值H[0,1]~H[0,Q]係與第二累積相對移動特性資料OR2中對應於同一行/列的相反元素值至進行及運算,以獲得比較相對移動特性資料AND1。因此,比較相對移動特性資料AND1包含有多個元素值A[1]~A[Q],而元素值A[1]~A[Q]係依據下述之方程式(9)取得:
其中,1≦q≦Q。
值得注意的是,如圖6B所示,邏輯電路220會比較最近畫面M0的相對移動特性資料(HX[0]、HY[0])與第二累積相對移動特性資料(OR2X、OR2Y)以獲得比較相對移動特性資料(AND1X、AND1Y),其中AND1X為比較相對移動特性資料的水平分量,AND1Y為比較相對移動特性資料的垂直分量。而類似地,比較相對移動特性資料(AND1X、AND1Y)包含有多個元素值AX[1]~AX[M]、AY[1]~AY[N],分別可依據下述之方程式(9-1)、(9-2)取得:
其中,1≦j≦M,1≦k≦N。
另外,亦須值得注意的是,比較相對移動特性資料AND1係用以判斷最近畫面M0與其餘的先前畫面之間的差異程度。當差異程度越大時,表示畫面中的移動物體在一定時間內有一定的空間位移。因此,於其他實施例中,可以依據其他方式計算相對移動特性資料AND1來代表這種差異,並不侷限於此實施例所例示之特定方式。
最後,即可進行圖2C中之步驟S215與S216,其中邏輯電路220即可依據第一累積相對移動特性資料OR1或(OR1X、OR1Y)與比較相對移動特性資料AND1或(AND1X、AND1Y)來計算出一增益值G,並依據所計算出的增益值G來調整最近畫面M0中與狹域單元410相對應之原始運動景深。
請參考圖8,圖8繪示畫面M0中各狹域單元410所對應的原始運動景深。為方便說明,在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的原始運動景深以D(i,j,k)表示之,其中0≦i,1≦j≦M,1≦k≦N。如圖8所示,邏輯電路220所計算出的畫面M0中各狹域單元410所對應的原始運動景深分別以D(0,1,1)~D(0,M,N)表示。在此假設邏輯電路220所計算出的增益值為G,則在時間點Ti的畫面Mi中第j列第k行之狹域單元410所對應的經調整後的運動景深等於(D(i,j,k)×G)。
關於計算增益值G之過程(步驟S215),於一較佳實施例中,邏輯電路220可依據第一累積相對移動特性資料OR1,取得一第一增益值Gain1,以及依據比較相對移動特性資料AND1,取得一第二增益值Gain2。而較佳地,第一增益值Gain1與該第二增益值Gain2當中每一者可分別依第一與第二方向(譬如為行方向或列方向)計算。接下來,邏輯電路即可依據第一增益值Gain1及第二增益值Gain2計算出該增益值。以下將分別詳細說明上述過程
在本發明一實施例中,邏輯電路220會加總第一累積相對移動特性資料OR1的多個元素值O[1]~O[Q],以取得第一加總值Or_C。其中,第一加總值Or_C係依據下述之方程式(10)取得:
之後,邏輯電路220再依據第一加總值Or_C,取得第一增益值Gain1。在本發明一實施例中,邏輯電路220會依據第一加總值Or_C自第一增益曲線C1中獲得第一增益值Gain1。
如圖9所示,其顯示依據一實施例之第一增益曲線C1。如圖9所示,第一增益曲線C1為一漸增曲線,因此越大的第一加總值Or_C所對應的第一增益值Gain1越大。須瞭解的,第一加總值Or_C(或第一累積相對移動特性資料OR1)可用以判斷幾個連續畫面中狹域向量與廣域向量間之間的整體差異程度。當幾個畫面中狹域向量與廣域向量間之間的差異程度整體較高時,表示在畫面中可能有一定大小的移動物體,同時所計算出的第一加總值Or_C相對地會越大。
類似地,在獲得第二增益值Gain1之過程中,邏輯電路220會先加總比較相對移動特性資料AND1的多個元素值A[1]~A[Q],以取得第二加總值And_C。其中,第二加總值And_C係依據下述之方程式(11)取得:
接下來,邏輯電路220即可依據第二加總值And_C,取得第二增益值Gain2。在本發明一實施例中,邏輯電路220會依據第二加總值And_C自第二增益曲線C2中獲得第二增益值Gain2。
第10圖為依據一實施例之第二增益曲線C2。如圖所示,第二增益曲線C2為漸減曲線,因此越大的第二加總值And_C所對應的第二增益值Gain2越小。第二加總值And_C(或比較相對移動特性資料AND1)可用以判斷最近畫面M0與其餘的先前畫面之間的差異程度。當最近畫面M0與其餘的先前畫面之間的差異程度越大,進而表示畫面中的移動物體可能在一定時間內有一定的空間位移,同時所計算出的第二加總值And_C會越大。
因此,倘若在畫面中的移動物體為視窗移動物件(windowed-moving object),則其所計算出來的第一加總值Or_C會偏大,且第二加總值And_C會偏小,進而可得到偏小的增益值G。如此一來,當畫面中的移動物體為視窗移動物件時,依據偏小的增益值G來調整後的運動景深會較小,進而可避免或改善景深倒置的現象。
相對地,倘若在畫面中的移動物體並非視窗移動物件,則其所計算出來的第一加總值Or_C及第二加總值And_C皆偏大,而得到偏大的增益值G。如此一來,當畫面中的移動物體並非視窗移動物件時,因偏大的增益值G,調整後的運動景深會較大,而使用者會觀看到正常景深的影像。
接下來,邏輯電路220可依據第一增益值Gain1及第二增益值Gain2計算出上述的增益值G。在本發明一實施例中,增益值G係依據下述之方程式(12)取得:
G=1-Gain1×Gain2 (12)
其中因0≦Gain1≦1且0≦Gain2≦1,故0≦G≦1。
值得注意的是,較佳地,第一加總值、第二加總值、第一增益值與第二增益值同樣可沿兩方向計算。在本發明一實施例中,邏輯電路220會加總第一累積相對移動特性資料(OR1X、OR1Y)的中水平分量的多個元素值OX[1]~OX[M],以取得第一加總值之水平分量Or_CX,並加總垂直分量的多個元素值OY[1]~OY[N],以取得第一加總值之垂直分量Or_CY。其中,第一加總值之水平分量Or_CX及垂直分量Or_CY分別可依據下述之方程式(10-1)、(10-2)取得:
之後,邏輯電路220可再依據第一加總值之水平分量Or_CX取得第一增益值之水平分量Gain1X,並依據第一加總值之垂直分量Or_CY取得第一增益值之垂直分量Gain1Y。其中,越大的第一加總值之水平分量Or_CX所對應的第一增益值之水平分量Gain1X越大,而越大的第一加總值之垂直分量Or_CY所對應的第一增益值之垂直分量Gain1Y越大。於一較佳實施例中,第一增益值之水平分量Gain1X及垂直分量Gain1Y的取得方式可藉由圖9的第一增益曲線C1取得。在取得第一增益值之水平分量Gain1X的過程中,邏輯電路220將圖9的橫軸及縱軸分別視為第一加總值之水平分量Or_CX及第一增益值之水平分量Gain1X,再依據第一加總值之水平分量Or_CX在第一增益曲線C1中取得對應的第一增益值之水平分量Gain1X。相似地,在取得第一增益值之垂直分量Gain1Y過程中,邏輯電路220將圖9的橫軸及縱軸分別視為第一加總值之垂直分量Or_CY及第一增益值之垂直分量Gain1Y,再依據第一加總值之垂直分量Or_CY從第一增益曲線C1中取得對應的第一增益值之垂直分量Gain1Y。
類似地,邏輯電路220會加總比較相對移動特性資料(AND1X、AND1Y)的水平分量的多個元素值AX[1]~AX[M]取得第二加總值之水平分量And_CX,並加總垂直分量的多個元素值AY[1]~AY[N]取得第二加總值之垂直分量And_CY。其中,第二加總值之水平分量And_CX及垂直分量And_CY分別可依據下述之方程式(11-1)、(11-2)取得:
接下來,邏輯電路220依據第二加總值之水平分量And_CX取得第二增益值之水平分量Gain2X,並依據第二加總值之垂直分量And_CY取得第二增益值之垂直分量Gain2Y。越大的第二加總值之水平分量And_CX所對應的第二增益值之水平分量Gain2X較佳為越小,且越大的第二加總值之垂直分量And_CY所對應的第二增益值之垂直分量Gain2Y較佳為越小。於一較佳實施例中,第二增益值之水平分量Gain2X及垂直分量Gain2Y的取得方式可藉由圖10的第二增益曲線C2取得。在取得第二增益值之水平分量Gain2X過程中,邏輯電路220將圖10的橫軸及縱軸分別視為第二加總值之水平分量And_CX及第二增益值之水平分量Gain2X,再依據第二加總值之水平分量And_CX在第二增益曲線C2中取得對應的第二增益值之水平分量Gain2X。相似地,在取得第二增益值之垂直分量Gain2Y過程中,邏輯電路220將圖10的橫軸及縱軸分別視為第二加總值之垂直分量And_CY及第二增益值之垂直分量Gain2Y,再依據第二加總值之垂直分量And_CY在第二增益曲線C2中取得對應的第二增益值之垂直分量Gain2Y。
接下來,邏輯電路220可依據上述第一增益值之水平與垂直分量、第二增益值之水平與垂直分量Gain1X、Gain1Y、Gain2X、Gain2Y計算出上述的增益值G。在本發明一實施例中,增益值G可依據下述之方程式(12-1)取得:
G=1-max(Gain1X×Gain2X,Gain1Y×Gain2Y) (12-1)
根據上式,倘若(Gain1X×Gain2X)大於(Gain1Y×Gain2Y),則增益值G等於[1-(Gain1X×Gain2X)];倘若(Gain1X×Gain2X)小於(Gain1Y×Gain2Y),則增益值G等於[1-(Gain1Y×Gain2Y)]。其中因Gain1X、Gain1Y、Gain2X、Gain2Y皆大於等於0並小於等於1,故0≦G≦1。
綜上所述,上述實施例所述之方法藉由所計算出的第一累積相對移動特性資料及比較相對移動特性資料,獲得增益值。其中,第一累積相對移動特性資料是藉由判斷數各畫面中狹域向量與廣域向量間之間的整體差異程度所獲得的,而比較相對移動特性資料是藉由判斷最近畫面與其餘的先前畫面之間的差異程度所獲得的。因此,所得到的增益值會依據狹域向量與廣域向量間之間的差異程度以及最近畫面與其餘的先前畫面之間的差異程度而決定。藉此,依據增益值而調整的最近畫面之運動景深得以真實地反應拍攝景況,而避免或改善景深倒置現象。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100...影像
110...背景
120...視窗移動物件
200...影像處理電路
210...接收埠
220...邏輯電路
230...緩衝記憶體
410...狹域單元
IMG1、IMG2...影像
M0~M9...畫面
T0~T9...時間點
V(0,1,1)~V(0,M,N)...狹域移動向量
X...水平方向
Y...垂直方向
VG...廣域移動向量
GX...廣域移動向量VG在水平方向X上的分量
GY...廣域移動向量VG在垂直方向Y上的分量
Δ(0,1,1)~Δ(0,M,N)、[ΔX(0,1,1),ΔY(0,1,1)]~[ΔX(0,M,N),ΔY(0,M,N))]...相對移動向量
H[0]~H[P]...相對移動特性資料
HX[0]~HX[P]...水平分量
HY[0]~HY[P]...垂直分量
H[0,1]~H[P,Q]、HX[0,1]~HX[P,M]、HY[0,1]~HY[P,N]...元素值
OR1...第一累積相對移動特性資料
OR1X...第一累積相對移動特性資料的水平分量
OR1Y...第一累積相對移動特性資料的垂直分量
O[1]~O[Q]、OX[1]~OX[M]、OY[1]~OY[N]...元素值
OR2...第二累積相對移動特性資料
OR2X...第二累積相對移動特性資料的水平分量
OR2Y...第二累積相對移動特性資料的垂直分量
U[1]~U[Q]、UX[1]~UX[M]、UY[1]~UY[N]...元素值
AND1...比較相對移動特性資料
AND1X...比較相對移動特性資料的水平分量
AND1Y...比較相對移動特性資料的垂直分量
A[1]~A[Q]、AX[1]~AX[M]、AY[1]~AY[N]...元素值
A(0,1,1)~A(0,M,N)、[AX(0,1,1),AY(0,1,1)]~[AX(0,M,N),AY(0,M,N)]...比較結果值
CX[0]...水平映射移動向量
CY[0]...垂直映射移動向量
S[1]~S[M+N]、SX[1]~SX[M]、SY[1]~SY[N]...計數值
C[1]~C[M+N]、CX[1]~CX[M]、CY[1]~CY[N]...元素值
D(0,1,1)~D(0,M,N)...原始運動景深
C1...第一增益曲線
C2...第二增益曲線
Gain1...第一增益值
Gain2...第二增益值
Or_C...第一加總值
And_C...第二加總值
S201~S205、S211~S216...流程步驟
圖1為一影像包含有一視窗移動物件的示意圖。
圖2A是本發明一實施例之影像處理電路的功能方塊圖。
圖2B為依據一實施例之調整影像的運動景深之方法之概要流程圖。
圖2C為依據一實施例之調整影像的運動景深之方法之細步流程圖。
圖3繪示了圖2A之影像在時序上的多個畫面。
圖4A繪示了本發明一實施例之畫面M0中各狹域單元所對應的相對移動向量。
圖4B繪示了本發明另一實施例之畫面M0中各狹域單元所對應的相對移動向量。
圖5A繪示了本發明一實施例中畫面M0的各狹域單元所對應的相對移動向量。
圖5B繪示了本發明另一實施例中畫面M0的各狹域單元所對應的相對移動向量。
圖6A繪示了本發明一實施例中各畫面的相對移動特性資料、第一累積相對移動特性資料、第二累積相對移動特性資料及比較相對移動特性資料。
圖6B繪示了本發明另一實施例中各畫面的相對移動特性資料、第一累積相對移動特性資料、第二累積相對移動特性資料及比較相對移動特性資料。
圖7A繪示了本發明一實施例中畫面M0的各狹域單元所對應的比較結果值。
圖7B繪示了本發明另一實施例中畫面M0的各狹域單元所對應的比較結果值。
圖8繪示了本發明一實施例中畫面M0的各狹域單元所對應的原始運動景深。
圖9為第一增益曲線之示意圖。
圖10為第二增益曲線之示意圖。
S211~S216...流程步驟
Claims (18)
- 一種調整影像之運動景深的方法,用於二維轉三維影像處理,該方法包括:(i)接收多個時間點的多個畫面,並依據各該畫面各自之多個狹域移動向量與一廣域移動向量,計算該些畫面當中每一者之一相對移動特性資料;(ii)將該些畫面之該些相對移動特性資料累積計算,以獲得第一累積相對移動特性資料;(iii)將該些畫面當中除一最近畫面外之其餘畫面之該相對移動特性資料累積計算,以獲得一第二累積相對移動特性資料;(iv)比較該最近畫面之該相對移動特性資料與該第二累積相對移動特性資料以獲得一比較相對移動特性資料;(v)依據該第一累積相對移動特性資料與該比較相對移動特性資料來計算出一增益值;以及(vi)依據該增益值來調整該最近畫面之原始運動景深。
- 如申請專利範圍第1項所述之調整影像之景深的方法,其中步驟(i)係包括:(a)分別就各該些畫面計算該些狹域向量與該廣域向量間之差值,以獲得多個相對移動向量;以及(b)依據各該些畫面之該些狹域移動向量與該些相對移動向量,以獲得各該畫面之該相對移動特性資料。
- 如申請專利範圍第2項所述之調整影像之景深的方法,其中步驟(b)係包括:(b1)判斷該些狹域移動向量的絕對值是否大於一第一臨界值;(b2)判斷該些相對移動向量的絕對值是否大於一第二臨界值;以及(b3)依據上述判斷結果以獲得各該些畫面的該相對移動特性資料。
- 如申請專利範圍第3項所述之調整影像之景深的方法,其中步驟(b3)係包括:依據上述判斷結果以計算出各該些畫面中與多個狹域單元相對應之多個比較結果值;以及將該些比較結果值沿一行/列映射方向映射以產生一映射移動向量,該映射移動向量代表該相對移動特性資料。
- 如申請專利範圍第4項所述之調整影像之景深的方法,其中產生該映射移動向量之步驟係包括:將該些比較結果值沿該行/列映射方向計數以產生多個分別對應於不同行/列的計數值;以及將該些計數值分別與一第三臨界值比較,以依據該些計數值與該第三臨界值的比較結果來產生該映射移動向量之多個元素值。
- 如申請專利範圍第1項所述之調整影像之景深的方法,其中步驟(i)至(v)係分別依據該些畫面之一個至多個方向實施。
- 如申請專利範圍第1項所述之調整影像之景深的方法,其中該些畫面中之該些相對移動特性資料的每一者各包括多個對應於不同行/列的元素值,而上述步驟(ii)係包括:將該些畫面中對應於同一行/列的該些元素值進行或運算,以獲得該第一累積相對移動特性資料。
- 如申請專利範圍第7項所述之調整影像之景深的方法,其中上述步驟(iii)係包括:將該些其餘畫面之該些相對移動特性資料中對應於同一行/列的該些元素值進行或運算,以獲得該第二累積相對移動特性資料。
- 如申請專利範圍第7項所述之調整影像之景深的方法,其中步驟(iv)係包括:將該相對移動特性資料之複數個元素值與該第二累積相對移動特性資料中對應於同一行/列之相反元素值進行及運算,以獲得該比較相對移動特性資料。
- 如申請專利範圍第1項所述之調整影像之景深的方法,其中上述步驟(v)係包括:依據該第一累積相對移動特性資料,取得一第一增益值;依據該比較相對移動特性資料,取得一第二增益值;以及依據該第一增益值及該第二增益值計算出該增益值。
- 如申請專利範圍第10項所述之調整影像之景深的方法,其中取得該第一增益值之步驟係包括:依據該第一累積相對移動特性資料之複數個元素值之一第一加總值,自一第一增益曲線中獲得該第一增益值;而取得該第二增益值之步驟係包括:依據該比較相對移動特性資料之複數個元素值之一第二加總值,自一第二增益曲線中獲得該第二增益值。
- 如申請專利範圍第10項所述之調整影像之景深的方法,其中該第一增益值與該第二增益值當中每一者係分別依第一與第二方向計算。
- 如申請專利範圍第10項所述之調整影像之景深的方法,其中計算該增益值步驟係包括:獲得沿該第一方向之該第一增益值與第二增益值之乘積;獲得沿該第二方向之該第一增益值與第二增益值之乘積;以及依據上述兩乘積當中之一較大者來決定該增益值。
- 一種調整影像之運動景深的方法,用於二維轉三維影像處理,該方法包括:接收多個時間點的多個畫面,並計算各該畫面各自之多個狹域移動向量與一廣域移動向量;判斷該多個畫面中,該多個狹域移動向量與該廣義移動向量間的第一差異程度;判斷該些畫面當中一最近畫面與其餘的先前畫面之間的第二差異程度;依據該第一差異程度與該第二差異程度來計算出一增益值;以及依據該增益值來調整該最近畫面之原始運動景深。
- 如申請專利範圍第14項所述之調整影像之景深的方法,其中判斷該第一差異程度之步驟係包括:分別就各該些畫面計算該些狹域向量與該廣域向量間之差值,以獲得多個相對移動向量;依據各該些畫面之該些狹域移動向量與該些相對移動向量,以獲得各該畫面之該相對移動特性資料;以及將該些畫面之該些相對移動特性資料累積計算,以獲得第一累積相對移動特性資料,而該第一累積相對移動特性資料代表該第一差異程度。
- 如申請專利範圍第15項所述之調整影像之景深的方法,其中獲得各該畫面之該相對移動特性資料之步驟係包括:判斷該些狹域移動向量的絕對值是否大於一第一臨界值;判斷該些相對移動向量的絕對值是否大於一第二臨界值;以及依據上述判斷結果以獲得各該些畫面的該相對移動特性資料。
- 如申請專利範圍第15項所述之調整影像之景深的方法,其中判斷該第二差異程度之步驟係包括:將該些畫面當中除一最近畫面外之其餘畫面之該相對移動特性資料累積計算,以獲得一第二累積相對移動特性資料;以及比較該最近畫面之該相對移動特性資料與該第二累積相對移動特性資料以獲得一比較相對移動特性資料,該比較相對移動特性資料代表該第二差異程度。
- 如申請專利範圍第14項所述之調整影像之景深的方法,其中當該第一差異程度越大時,該增益值係設定為越小,以及當該第二差異程度越小時,該增益值係設定為越小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100143735A TW201322732A (zh) | 2011-11-29 | 2011-11-29 | 調整影像之運動景深的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100143735A TW201322732A (zh) | 2011-11-29 | 2011-11-29 | 調整影像之運動景深的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201322732A true TW201322732A (zh) | 2013-06-01 |
Family
ID=49032573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100143735A TW201322732A (zh) | 2011-11-29 | 2011-11-29 | 調整影像之運動景深的方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TW201322732A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9241148B2 (en) | 2013-09-02 | 2016-01-19 | Novatek Microelectronics Corp. | Disparity calculating method and stereo matching device thereof |
TWI554108B (zh) * | 2015-08-04 | 2016-10-11 | 緯創資通股份有限公司 | 電子裝置及影像處理方法 |
US12236814B2 (en) | 2022-05-26 | 2025-02-25 | Industrial Technology Research Institute | Display method and display system for anti-dizziness reference image |
-
2011
- 2011-11-29 TW TW100143735A patent/TW201322732A/zh unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9241148B2 (en) | 2013-09-02 | 2016-01-19 | Novatek Microelectronics Corp. | Disparity calculating method and stereo matching device thereof |
TWI554108B (zh) * | 2015-08-04 | 2016-10-11 | 緯創資通股份有限公司 | 電子裝置及影像處理方法 |
US12236814B2 (en) | 2022-05-26 | 2025-02-25 | Industrial Technology Research Institute | Display method and display system for anti-dizziness reference image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12148123B2 (en) | Multi-stage multi-reference bootstrapping for video super-resolution | |
CN108074218B (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
US9525858B2 (en) | Depth or disparity map upscaling | |
TWI836117B (zh) | 基於多個視訊訊框的深度偵測的方法及系統 | |
US9679387B2 (en) | Depth-weighted group-wise principal component analysis for video foreground/background separation | |
US10999500B2 (en) | Imaging apparatus and imaging method, and image processing apparatus and image processing method | |
US8711938B2 (en) | Methods and systems for motion estimation with nonlinear motion-field smoothing | |
US20180198970A1 (en) | High dynamic range imaging using camera arrays | |
CA2729106A1 (en) | System and method for depth extraction of images with motion compensation | |
EP2291825A1 (en) | System and method for depth extraction of images with forward and backward depth prediction | |
US20120320045A1 (en) | Image Processing Method and Apparatus Thereof | |
EP2466901B1 (en) | Depth data upsampling | |
US20130135430A1 (en) | Method for adjusting moving depths of video | |
CN109661815B (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
Richter et al. | Robust super-resolution for mixed-resolution multiview image plus depth data | |
CN114742866A (zh) | 图像配准方法、装置、存储介质及电子设备 | |
US20110085026A1 (en) | Detection method and detection system of moving object | |
TW201322732A (zh) | 調整影像之運動景深的方法 | |
CN101523436A (zh) | 用于恢复视频流中的视差的方法和滤波器 | |
Sun et al. | Rolling shutter distortion removal based on curve interpolation | |
JP2014219795A (ja) | 画像処理装置、画像処理回路及び画像処理方法 | |
Akin et al. | Real-time free viewpoint synthesis using three-camera disparity estimation hardware | |
CN112911262B (zh) | 一种视频序列的处理方法及电子设备 | |
CN112634139B (zh) | 光场超分辨成像方法、装置及设备 | |
TW201426634A (zh) | 利用一種基於來自其他影像之資訊的函數之泛函之目標影像產生 |