TWI399703B - 往返縮放之影像放大方法 - Google Patents

Description

往返縮放之影像放大方法

本發明係與影像解析度提昇方法有關，特別是關於一種先兩次放大影像後，再縮小成要輸出的高解析度影像之往返縮放之影像放大方法。

在許多特殊環境底下，高解析度影像之取得並不容易，例如一般網路攝影機、監視攝影機、低階手機內建相機都屬於低解析度的影像擷取裝置(畫素介於數十萬至百萬之間)，所取得的影像往往顯得模糊。此外，由於網路頻寬的限制，透過串流媒體播放影音資訊，傳輸高解析度影格將會佔用大量的頻寬，導致速度下降；因此一般皆以低解析度之格式傳送。而顯示器的大小又不斷增加，當該些影像在尺寸相對較大的顯示器上進行全螢幕顯示時，影像便顯得模糊不堪。

針對前述問題，影像處理技術中便衍生出許多方式，藉由影像本身隱含的資訊來放大這些低解析度的影像，並使放大後的影像不會模糊。

習知技術中，常用於提升影像解析度的方法主要有內差補點法。內插補點法係先直接加大各已知像素點，在已知像素點之間保留對應未知的像素點之空白像素區塊；接著利用已知像素點，透過不同方式組合來預測放大至高解析度影像時未知的像素點，再依序填入前述之空白像素區塊。內插補點法之優點為運算速度較快，但這種方式通常會造常過度平滑的結果，讓視覺感受變的較為模糊。

除了內差補點法之外，常見的影像解析度的方法尚有逆影像模型法、訓練法。

逆影像模型法係假設低解析度影像之生成，為一連串影像處理的過程。也就是假設已知的低解析度影像，是從一高解析度的影像，通過模糊、降低取樣和雜訊等等過程所產生，因此可建立一低解析度影像之生成模型，以將高解析度影像轉換為已知的低解析度影像。而逆影像模型法則進一步依據低解析度影像之生成模型，反向建立由低解析度影像轉換為高解析度影像之逆生成模型，藉以估測未知的模糊濾波器，以還原原始高解析度影像。逆影像模型法在影像邊界有較銳利之表現，但由於逆生成模型為一求最佳解問題，需進行多次的疊代，因此運算時間較長。

訓練法則是利用收集大量低解析度和高解析度對應之訓練影像，記憶和訓練每個低解析度的小區域範圍紋理對應至高解析度的小區域紋理之關係，將此關係建構成一資料庫。

當透過訓練法處理非訓練資料之低解析度影像時，首先將此影像切分為許多小區塊，每一個小區塊至資料庫當中搜尋與其有最相近紋理特性之訓練用的低解析度小區塊，然後找出對應的高解析度小區塊，建構出高解析度影像。訓練法取真實影像作為預測之依據，因此輸出結果的視覺感受較自然，但針對不同的情況，其表現和資料庫有極大的相依性，並且在資料庫訓練和搜尋的過程需耗費大量的時間。

此外，現有的影像解析度提昇方法係應用於非失真影像上，鮮少針對失真影像的處理方法。在顯示器尺寸不斷增加之下，現有串流媒體的影像格式在全螢幕的情況下，會有模糊的狀況產生。將一般演算法應用到失真影像上的最大問題就是雜訊和缺陷也會跟著被放大。但是如果在提昇解析度處理之前先進行去雜訊和去缺陷的動作，使得低解析度影像中存在細節會喪失，而其放大之後的效果又會過度的平滑，解析度提昇之效果降低。

習知技術中的影像解析度提昇方法，具有無法濾除雜訊及缺陷，或是消耗的運算效能過高而無法應用於串流媒體進行即時播放之問題。

針對前述問題，本發明提出一種往返縮放之影像放大方法，其消耗之運算效能低，且可改善原始影像具備雜訊或缺陷之問題。

本發明提出之往返縮放之影像放大方法，用以將一低解析度影像，轉換為一高解析度影像。依據此方法係先取得低解析度影像，執行一往返縮放程序，以將低解析度影像放大為具有整數倍解析度之高解析度影像。

前述之往返縮放程序包含下列步驟：對低解析度影像進行放大整數倍，使低解析度影像成為具備整數倍解析度之一次放大影像；進一步將一次放大影像之解析度再放大2倍，而成為二次放大影像；再對二次放大影像進行縮小2倍，形成高解析度影像。

於本發明中，低解析度影像係經過兩次放大，使其解析度超過預期之高解析度影像，藉以產生更多細節，再縮小成要輸出的高解析度影像。兩次放大再縮小的過程中，影像中的雜訊被消除，且線條特徵亦被保留；因此本發明能提供較好的影像品質。此外，本發明消耗的運算效能低，因此本發明提出之影像放大方法可與串流媒體結合，再接收串流媒體傳送之連續影格後，即時地處理每一影格再輸出，以提升串流媒體之品質。

請參閱「第1圖」及「第2圖」所示，為本發明實施例所揭露之一種往返縮放之影像放大方法流程圖。

參閱「第1圖」所示，本發明之往返縮放之影像放大方法，係用以將一低解析度影像，轉換為一高解析度影像。以下所述之放大係指解析度之提升，而非單指輸出影像之尺寸加大。所謂放大N倍，係指影像之解析度於X-Y二維平面上，於X軸及於Y軸之像素數量皆被提升至N倍，亦即總像素數量係被提升至N平方倍。

參閱「第2圖」所示，往返縮放之影像放大方法，係先取得一低解析度影像，將低解析度影像輸入一轉換模組(Step 110)。該轉換模組可為一安裝轉換軟體之資料處理裝置，此一轉換軟體可為單獨運行之軟體，用以處理單張低解析度影像或連續影像；或，轉換軟體可整合於另一影像播放軟體，處理低解析度影像後由該播放軟體播放轉換後的高解析度影像。

再參閱「第1圖」所示，接著，轉換模組執行一往返縮放程序，以將該低解析度影像放大為具有2倍解析度之高解析度影像(Step 120)。

對於需要放大的倍率為2的N次方時，則重複進行N次往返縮放。當需要放大的倍率為2的N次方時，轉換模組於每一次接收到低解析度影像後，便將一計數值i重置為零(i=0)。接著在完成每一次往返縮放程序之後，轉換模組便將計數值i加上1(i=i+1)，接著比對i是否等於N(i=N)。若i=N，則代表已完成N次往返縮放，而可進入下一步驟；若i<N，則再執行下一次往返縮放程序。需注意的是，前述重複進行N次往返縮放之迴圈僅為一範例，本發明之重複進行N次往返縮放之迴圈並不限定於前述之步驟。轉換模組亦可將計數值預設為N，於每一次往返縮放程序之後將N減掉1(N=N-1)，於N=0時進入下一步驟。

需要放大的倍率為2的N次方時，轉換模組係進行N次往返縮放程序，逐漸將低解析度影像放大至預期倍率之高解析度影像，因此N次往返縮放程序可稱為漸進式往返縮放程序(Progressive Forward and Backward Resizing Method)。

參閱「第1圖」所示，轉換模組對高解析度影像進行對比增強之處理(Step 130)，最後輸出完成處理之高解析度影像(Step 140)。由於本發明中，往返縮放程序已具備提升高頻區域強度之功能，因此前述之對比增強之處理(Step 130)亦可被省略。

參閱「第2圖」所示，前述之往返縮放程序(Step 120)詳述如下。

於往返縮放程序(Step 120)中，轉換模組係先以內插法對該低解析度影像進行放大2倍(Step 121)，使該低解析度影像成為具備2倍解析度之一次放大影像。亦即於X-Y二維平面上，將該低解析度影像於X軸及於Y軸之像素數量皆提升至2倍，而形成一次放大影像。

接著轉換模組以非局部平均濾波放大程序，進一步將一次放大影像之解析度再放大2倍，而成為二次放大影像(Step 122)。

最後再以雙立方內插法對二次放大影像進行縮小2倍，亦即被兩次放大的影像被縮小為其原解析度之二分之一(Step 123)。對二次放大影像進行縮小2倍之方式並不限定雙立方內插法，可為任意縮小影像之方式，其目的主要係用以縮小二次放大影像，使影像被放大的比例回覆到2倍。

經過上述程序，原低解析度影像即被放大2倍，而成為一高解析度影像，以供進行輸出。

參閱「第3圖」於非局部平均濾波放大程序中，係將前一步驟放大2倍的一次放大影像作為輸入影像。定義此一輸入影像為原始像素矩陣Xi，如「第3圖」所示，圖中n標記代表此一像素為Xi像素矩陣之原始像素n。

參閱「第4圖」所示，於非局部平均濾波放大程序中，轉換模組係先以雙立方內插法計算原始像素矩陣Xi，以得到一放大兩倍之放大像素矩陣Xb。圖中n標記代表此一像素點來自Xi像素矩陣之原始像素n，無標記n之像素則為透過雙立方內插法得到之補差點像素，介於相鄰原始像素n之間。

接著，轉換模組依據放大像素矩陣Xb與相鄰之原始像素n的影像值差值，重新補貼(patch)各目標像素至目標像素矩陣R，以得到該二次放大影像。

重新補貼(patch)各目標像素點a之步驟說明如下。

轉換模組接著建立一空白之目標像素矩陣R及一空白之權重矩陣W。其中，R及W之大小，與放大像素矩陣Xb或預計輸出之高解析度影像之像素矩陣相同。如前所述，目標像素矩陣R包含複數個目標像素點a，於進行補貼(patch)之前，各目標像素點a係為空白。

參閱「第5圖」所示，於目標像素矩陣R中，目標像素點a不僅只有補差點像素的像素點，也包含原始像素點n，也就是說針對R的每一點都要進行補貼動作。轉換模組針對每一目標像素點定義一搜尋範圍，例如於定義搜尋範圍為二個像素點，將該目標像素點a周圍相距二個像素點內的像素點皆列為搜尋範圍中的像素點。於「第5圖」中，係取一目標像素點a，對應放大像素矩陣Xb之補差點像素，圖式中以a標記以該目標像素點，以說明該目標像素點a係對應於該放大像素矩陣Xb之補差點像素a’。

參閱「第6圖」所示，於目標像素矩陣R中選定一預定補貼之目標像素點a後，轉換模組於該放大像素矩陣Xb中，找出對應目標像素點a之指定像素點a’；及找出位於該搜尋範圍中的原始像素點n，定義為相鄰像素點。為了方便解讀，「第6圖」中的相鄰像素點分別標記為相鄰像素點1至相鄰像素點6。依據目標像素點a之不同，指定像素點a’可能為原始像素點n或是介於原始像素點之間的補差點像素。

參閱「第6圖」所示，轉換模組接著於該放大像素矩陣Xb中，分別計算相鄰像素點1-6與指定像素點a’之相似度，其中該相似度可為相鄰像素點1-6與指定像素點a’之影像值差值。接著轉換模組依據相似度計算各相鄰像素點1-6之權重值w1-w6，前述之權重值w1-w6係為影像值差值之函數。

參閱「第7圖」所示，接著轉換模組對每一相鄰像素點1-6定義一補貼矩陣，其中該補貼矩陣包含位於中心的相鄰像素點1-6，及於放大像素矩陣Xb當中與各相鄰像素點1-6相鄰之原始像素點n，前述之相鄰之原始像素點n恰對應於原始像素矩陣Xi中環繞各相鄰像素點1-6之原始像素點n。「第7圖」中係以相鄰像素點1為範例說明。

參閱「第8圖」所示，該補貼矩陣係用以供轉換模組以累加方式被補貼至目標像素矩陣R，但補貼矩陣並非直接補貼，而是必須再乘上對應之權重值w1-w6。

參閱「第9圖」所示，轉換模組以累加方式，補貼前述之權重值w1-w6至權重矩陣W中，對應目標像素點a及鄰近目標像素點a之位置，如「第8圖」中包括目標像素點a之周圍黑色區域。由於以累加方式補貼前述之權重值w1-w6，因此目標像素點a及鄰近目標像素點之像素點都被補貼了w=w1+w2+w3+w4+w5+w6權重值。當以其他像素點作為下一個指定像素點a’進行權重值計算時，已被補貼權重值之像素點將再繼續以累加方式被補貼入新求得之權重值。

參閱「第10圖」所示，轉換模組將每一相鄰像素點1-6對應之補貼矩陣分別乘以各相鄰像素點1-6所對應之權重值w1-w6後，將乘積結果依序以累加方式補貼至目標像素矩陣R，其中各相鄰像素點1-6係補貼於目標像素點a，而各原始像素點n補貼至目標像素點a之鄰近位置。當以其他像素點作為下一個指定像素點a’進行補貼矩陣及權重值之乘積計算時，已被補貼乘積結果之像素點將再繼續以累加方式被補貼入新求得之乘積結果。

參閱「第11圖」及「第12圖」所示，針對每一目標像素點a，轉換模組重複執行上述步驟，使權重矩陣W及目標像素矩陣R中的每一像素點皆隨著指定像素點a’的改變，而被重複地累加補貼結果；當放大像素矩陣Xb中的每一像素點都被選定為指定像素點a’，而執行權重矩陣W及目標像素矩陣R之補貼後，即可完成該權重矩陣W之補貼及目標像素矩陣R之補貼。

參閱「第13圖」所示，轉換模組將目標像素矩陣R(i,j)除以權重矩陣W(i,j)，以得到一結果矩陣Xh(i,j)。結果矩陣Xh用以取代放大像素矩陣Xb中的所有像素，以作為二次放大影像輸出。

最後，轉換模組再以雙立方縮小法，將二次放大影像縮小2倍，所得之結果即為高解析度影像。

「第14圖」為一般雙立方內插法放大2倍之影像，「第15圖」透過本發明之往返縮放程序放大2倍之影像。於影像邊界的銳利度方面，本發明之往返縮放程序所放大的影像表現較佳，且因雜訊所造成模糊感也被消除了。

「第16圖」為一般雙立方內插法放大2倍之影像的Haar Transform數值分析，「第17圖」透過本發明之往返縮放程序放大2倍之影像之Haar Transform數值分析。本發明之往返縮放程序放大2倍在第二層的Haar Band的高頻部分強度較大，代表此方法保留了更多影像的細節；在第一層的Haar Band的高頻部分，可以發現本發明之往返縮放程序放大2倍抑制了高頻雜訊。

參閱「第18圖」及「第19圖」所示，為本發明中執行部分步驟及執行完整步驟放大影像之比較。「第18圖」係僅以非局部平均濾波放大程序放大2倍之影像，「第19圖」係以本發明之往返縮放程序放大2倍之影像。直接使用非局部平均濾波放大程序放大2倍之影像與往返縮放程序放大2倍之影像的差異在於，往返縮放程序可以保留更多的高頻資訊。

「第20圖」為非局部平均濾波放大程序放大2倍之影像的Haar Transform數值分析，「第21圖」透過本發明之往返縮放程序放大2倍之影像之Haar Transform數值分析。本發明之往返縮放程序放大2倍之影像第二層的Haar Band的高頻部分強度較大，因此往返縮放程序係可以有效地提升影像重要細節。

「第22圖」係為具有雜訊之原始影像，「第23圖」為一般雙立方內插法放大2倍之影像，「第24圖」為本發明之往返縮放程序放大2倍之影像。參閱「第23圖」所示，一般雙立方內插法放大2倍之影像仍直接放大原有之雜訊，致使影像上保留原有的雜訊。參閱「第24圖」所示，由於往返縮放程序放大中，包含了非局部平均濾波放大程序放大2倍之程序，濾除了大多數的雜訊，是以「第24圖」中所呈現的雜訊明顯地少於「第23圖」中所包含之雜訊。

參閱「第25圖」所示，為本發明為另一實施例所揭露之一種往返縮放之影像放大方法流程圖。

前述之往返縮放之影像放大方法，低解析度影像放大至高解析度影像係以2的N次方為基礎，透過N次往返縮放程序將影像放大2的N次方倍。為了避免多次往返縮放消耗運算時間，本發明往返縮放之影像放大方法亦可執行單次往返縮放，直接將影像放大至預期的倍率。

參閱「第25圖」所示，若目標倍率為M(M為2或大於2之任意整數)，則轉換模組先以一般放大程序將低解析度影像放大為具備M倍解析度之一次放大影像(Step 221)。此時，一次放大影像可能因低解析度影像具備雜訊，也同時存在著雜訊。

接著轉換模組執行一次往返縮放程序。此一往返縮放程序如前所述，轉換模組以非局部平均濾波放大程序，進一步將一次放大影像之解析度再放大2倍，而成為二次放大影像(Step 222)。

最後再以雙立方內插法或任意內插法對二次放大影像進行縮小2倍，亦即被兩次放大的影像被縮小為其原解析度之二分之一(Step 223)。

經過上述程序，原低解析度影像即被放大M倍，而成為一高解析度影像，以供進行輸出。

由於前述之一次放大影像通過了往返縮放程序，且往返縮放程序中包含了非局部平均濾波放大程序，因此低解析度影像中的雜訊，將於放大為高解析度影像後被一併濾除。

於本發明中，低解析度影像係經過兩次放大，使其解析度超過預期之高解析度影像，藉以產生更多細節，再縮小成要輸出的高解析度影像。兩次放大再縮小的過程中，影像中的雜訊被消除，且線條特徵亦被保留；因此在放大失真壓縮或串流影像時，本發明能提供較好的影像品質。

本發明是以單張影像為基礎，以自身的局部區域與其鄰近區域的相關性來加強影像的細節，不需額外資訊可就單張影像獨立運作，且耗費時間較短。亦即，本發明不需考慮多張影片中的影格之間的相關性來補足單一影格所喪失的資訊，或者利用大量的事前訓練資料來貼補高解析度影像，可以有效降低提高影像解析度所需的運算效能。

由於本發明消耗的運算效能低，因此本發明提出之影像放大方法可結合串流媒體結合，再接收串流媒體傳送之連續影格後，即時地處理每一影格再輸出，以提升串流媒體之品質。

第1圖為本發明之往返縮放之影像放大方法之方法流程圖。

第2圖為本發明中，往返縮放程序之流程圖。

第3圖為本發明中，一次放大影像之原始像素矩陣之示意圖。

第4圖為本發明中，原始像素矩陣經放大兩倍後所得到之之放大像素矩陣之示意圖。

第5圖為本發明中，空白之目標像素矩陣之示意圖。

第6圖為本發明中，放大像素矩陣之示意圖。

第7圖為本發明中，於放大像素矩陣中定義補貼矩陣之示意圖。

第8圖為本發明中，補貼該補貼矩陣至該目標像素矩陣之示意圖。

第9圖為本發明中，補貼權重值至權重矩陣之示意圖。

第10圖為本發明中，補貼該補貼矩陣及權重值之乘積至該目標像素矩陣之示意圖。

第11圖為本發明中，完成補貼作業之目標像素矩陣之示意圖。

第12圖為本發明中，完成補貼作業之權重矩陣之示意圖。

第13圖為本發明中，以補差點矩陣取代原有補差點像素之示意圖。

第14圖為一般雙立方內插法放大2倍之影像。

第15圖為透過本發明之往返縮放程序放大2倍之影像。

第16圖為一般雙立方內插法放大2倍之影像的Haar Transform數值分析。

第17圖為透過本發明之往返縮放程序放大2倍之影像之Haar Transform數值分析。

第18圖係僅以非局部平均濾波放大程序放大2倍之影像。

第19圖係以本發明之往返縮放程序放大2倍之影像。

第20圖為非局部平均濾波放大程序放大2倍之影像的Haar Transform數值分析。

第21圖為透過本發明之往返縮放程序放大2倍之影像之Haar Transform數值分析。

第22圖為具有雜訊之原始影像。

第23圖為一般雙立方內插法放大2倍之影像。

第24圖為本發明之往返縮放程序放大2倍之影像。

第25圖為本發明為另一實施例所揭露之往返縮放之影像放大方法之方法流程圖。

Claims (12)

1. 一種往返縮放之影像放大方法，用以將一低解析度影像，轉換為一高解析度影像，該方法包含下列步驟：取得該低解析度影像；及執行一往返縮放程序，以將該低解析度影像放大為具有一整數倍解析度之高解析度影像，該整數倍解析度係指影像之解析度於X-Y維平面上，於X軸及於Y軸之像素數量皆被放大至一整數倍，亦即總像素數量被提升至一整數平方倍，該往返縮放程序包含：對該低解析度影像進行放大該整數倍，使該低解析度影像成為具備該整數倍解析度之一次放大影像；進一步將一次放大影像之解析度再放大2倍，而成為一二次放大影像，其中產生該二次放大影像之步驟包含：定義該一次放大影像為一原始像素矩陣，包含複數個原始像素；依據該原始像素矩陣得到一放大兩倍之放大像素矩陣，其中該放大像素矩陣包含該些原始像素及複數個介於相鄰之該些原始像素之間的補差點像素；及依據各該補差點像素與相鄰之各該原始像素的影像值差值，重新補貼(patch)各該原始像素及各該補差點像素，以得到該二次放大影像；及對該二次放大影像進行縮小2倍，形成該高解析度影像。
2. 如請求項1所述之往返縮放之影像放大方法，其中該些步驟係以一轉換模組執行。
3. 如請求項2所述之往返縮放之影像放大方法，其中該轉換模組 為一安裝轉換軟體之資料處理裝置。
4. 如請求項3所述之往返縮放之影像放大方法，其中該轉換軟體整合於一影像播放軟體，用以轉換該低解析度影像後，由該影像播放軟體播放轉換後的高解析度影像。
5. 如請求項1所述之往返縮放之影像放大方法，其中該整數倍係為2倍。
6. 如請求項5所述之往返縮放之影像放大方法，其中更包含一步驟，重複執行N次往返縮放，以放大該低解析度影像成為具有2的N次方倍解析度之該高解析度影像。
7. 如請求項1所述之往返縮放之影像放大方法，其中對該二次放大影像進行縮小2倍之步驟係以雙立方內插法縮小該影像。
8. 如請求項1所述之往返縮放之影像放大方法，其中依據該原始像素矩陣得到該放大像素矩陣之步驟係以雙立方內插法計算該原始像素矩陣，以得到該放大像素矩陣。
9. 如請求項1所述之往返縮放之影像放大方法，其中重新補貼(patch)各該補差點像素之步驟包含：建立一空白之目標像素矩陣及一空白之權重矩陣，該目標像素矩陣與該權重矩陣之大小與該放大像素矩陣相同；於該目標像素矩陣中，定義每一像素點為一目標像素點，並針對各該目標像素點定義一搜尋範圍；選定一目標像素點，於該放大像素矩陣中找出對應該目標像素點之一指定像素點；於該放大像素矩陣中找出位於該指定像素點所對應之該搜尋範圍中的複數個原始像素點，並將該些原始像素點分別定義為一相鄰像素點，並分別計算各該相鄰像素點與該指定像素點之相似度； 依據各該相似度計算各該相鄰像素點之權重值，以累加方式補貼至該權重矩陣中，對應該目標像素點及鄰近該目標像素點之位置；對各該相鄰像素點定義一補貼矩陣，其中該補貼矩陣包含位於中心的該相鄰像素點，及於該原始像素矩陣與各該相鄰像素點相鄰之該原始像素點；將各該相鄰像素點對應之該補貼矩陣分別乘以各該相鄰像素點所對應之權重值後，將結果依序以累加方式補貼至該目標像素矩陣，其中各該相鄰像素點係補貼於該目標像素點，而各該原始像素點補貼至目標像素點之相鄰位置；重複執行上述步驟，完成該權重矩陣之補貼及該目標像素矩陣之補貼；及將該目標像素矩陣除以該權重矩陣，以得到一結果矩陣，以作為該二次放大影像輸出。
10. 如請求項9所述之往返縮放之影像放大方法，其中該相似度為各該相鄰像素點與該指定像素點之影像值差值。
11. 如請求項10所述之往返縮放之影像放大方法，其中各該權重值為影像值差值之函數。
12. 如請求項1所述之往返縮放之影像放大方法，其中該低解析度影像放大為具有該整數倍解析度之高解析度影像，為先執行X軸的放大該整數倍之後再執行Y軸的放大該整數倍，或先執行Y軸的放大該整數倍之後再執行X軸的放大該整數倍。