TWI425444B - 影像資料歪斜偵測校正方法與裝置 - Google Patents

Description

影像資料歪斜偵測校正方法與裝置

本案係為一種影像資料歪斜偵測校正方法與裝置，尤指應用於影像處理裝置中之影像資料歪斜偵測校正方法與裝置。

隨著光電技術的提昇，產業界發展出了許多將紙張文件轉為電磁資料檔案的裝置，例如：掃描機、影印機、傳真機或實物投影機等等，為了能排除紙張文件在掃描或攝影時不慎放歪，或是改善紙張傳送過程中可能造成的文件歪斜，各類裝置中都運用了一些文件影像歪斜偵測與校正(skewed document detection/correction)的技術。而此類技術之困難多數存在於如何將文件中非文字的圖形去除。其中較關鍵的習用技術有：(i)將相鄰的像素(pixel)全連結在一起成為新的物件，統計並留下可能為文字的物件，然後將其餘物件刪除。但這需要可觀的記憶體容量，而且這樣的作法對於字型大小及影像雜訊有一定的要求。(ii)利用某些運算，將文字的部份化為一條條的直線，繼而計算出這些直線的角度判斷出該旋轉的角度。而除了去除文件中的圖形之外，也有不理會文件內容，利用文件顏色與背景顏色的差異性得到文件的四個角落或是邊界，直接得到歪斜量，但是此種技術在顏色差異不大或是邊界不在掃瞄範圍內的狀況下就無法生效。但無論如何，現存可靠的估算方法大多都脫離不了需要大量的記憶體儲存分類、統計的資訊而不利於使用硬體實現。因此，如何改善上述缺失則為發展本案之主要目的。

本案係為一種影像資料歪斜偵測校正方法，應用於一影像資料與一影像處理裝置中，該方法包含下列步驟：對該影像資料進行一二值化處理，用以獲得每個像素值僅需用一個位元表達之一二值影像資料；對該二值影像資料進行複數種角度旋轉，進而得到複數個待測二值影像資料；將該等待測二值影像資料中每一水平列的像素值分別進行加總而得到對應該等二值影像資料之複數個水平投影量統計曲線；對該等水平投影量統計曲線分別進行一高通濾波程序，用以將該等水平投影量統計曲線中之低頻雜訊去除而得到複數個高頻信號曲線；對該等高頻信號曲線分別進行一總和的運算而算出相對應之複數個索引值；以及因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度，進而對該影像資料進行歪斜之校正。

根據上述構想，本案所述之影像資料歪斜偵測校正方法，其中該影像資料係由一原始影像資料進行尺寸縮減而得。

根據上述構想，本案所述之影像資料歪斜偵測校正方法，其中在進行該二值化處理之前，係先對該影像資料進行一亮度轉換及去除雜訊之動作，其係以一n*n視窗為單位來對該縮小後影像資料進行判斷，當n*n的視窗內有超過半數以上的像素之灰階值是偏黑的，便將n*n的視窗內所有的像素點進行亮度反轉，並於二值化處理後的二值影像以內插或外插的方式重建視窗邊界部份。

根據上述構想，本案所述之影像資料歪斜偵測校正方法，其中對該二值影像資料進行複數種角度旋轉而得到複數個待測二值影像資料係包含下列步驟：對該二值影像資料進行一預設角度的旋轉而得到一個經預設角度旋轉之另一待測二值影像資料；以及當旋轉角度還在一搜尋角度範圍內時，再對該另一待測二值影像資料進行該預設角度的旋轉而得到再一待測二值影像資料。

根據上述構想，本案所述之影像資料歪斜偵測校正方法，其中對該等高頻信號曲線分別進行之該總和的運算，係僅將該等高頻信號曲線中大於零之數值來進行平方總和。

根據上述構想，本案所述之影像資料歪斜偵測校正方法，其中因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度而對該影像資料進行歪斜之校正，係為將該最大值所對應之該旋轉角度進行反相而得到該影像資料之歪斜角度。

本案之另一方面係為一種影像資料歪斜偵測校正裝置，應用於一影像資料與一影像處理裝置中，該裝置包含：一歪斜偵測模組，接收該影像資料並進行一二值化處理，用以獲得每個像素值僅需用一個位元表達之一二值影像資料，並對該二值影像資料進行複數種角度旋轉，進而得到複數個待測二值影像資料，再將該等待測二值影像資料中每一水平列的像素值分別進行加總而得到對應該等二值影像資料之複數個水平投影量統計曲線，然後對該等水平投影量統計曲線分別進行一高通濾波程序，用以將該等水平投影量統計曲線中之低頻雜訊去除而得到複數個高頻信號曲線，再對該等高頻信號曲線分別進行一總和的運算而算出相對應之複數個索引值，接著因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度，進而偵測出該影像資料之一歪斜角度；以及一影像旋轉校正模組，信號連接至該歪斜偵測模組，其係根據該歪斜角度來將該影像資料進行旋轉校正，進而得到一校正後影像資料。

根據上述構想，本案所述之影像資料歪斜偵測校正裝置，其中該影像資料係由一原始影像資料進行尺寸縮減而得，而該影像旋轉校正模組係根據該歪斜角度來將該原始影像資料進行旋轉校正，進而得到一校正後之原始影像資料。

根據上述構想，本案所述之影像資料歪斜偵測校正裝置，其中該歪斜偵測模組包含：一預處理模組，其係接收該影像資料並進行一二值化處理，用以獲得每個像素值僅需用一個位元表達之一二值影像資料；一記憶體，信號連接於該預處理模組，其係用以儲存該二值影像資料；一投影量處理器，信號連接於該記憶體，其係將該等待測二值影像資料中每一水平列的像素值分別進行加總而得到對應該等二值影像資料之複數個水平投影量統計曲線；一高通濾波器，信號連接於該投影量處理器，其係對該等水平投影量統計曲線分別進行一高通濾波程序，用以將該等水平投影量統計曲線中之低頻雜訊去除而得到複數個高頻信號曲線；以及一統計數據蒐集與歪斜角度決定器，信號連接於該影像旋轉校正模組、該高通濾波器與該記憶體，其係對該記憶體中之該二值影像資料進行複數種角度旋轉，進而得到複數個待測二值影像資料，並對該等高頻信號曲線分別進行一總和的運算而算出相對應之複數個索引值，接著因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度，進而偵測出該影像資料之該歪斜角度並傳送給該影像旋轉校正模組。

根據上述構想，本案所述之影像資料歪斜偵測校正裝置，其中該預處理模組在進行該二值化處理之前，係先對該影像資料進行一亮度轉換及去除雜訊之動作，其係以一n*n視窗為單位來對該縮小後影像資料進行判斷，當n*n的視窗內有超過半數以上的像素之灰階值是偏黑的，便將n*n的視窗內所有的像素點進行亮度反轉，並於二值化處理後的二值影像以內插或外插的方式重建視窗邊界部份。

根據上述構想，本案所述之影像資料歪斜偵測校正裝置，其中該統計數據蒐集與歪斜角度決定器對該等高頻信號曲線分別進行之該總和的運算，係僅將該等高頻信號曲線中大於零之數值來進行平方總和。

根據上述構想，本案所述之影像資料歪斜偵測校正裝置，其中該統計數據蒐集與歪斜角度決定器因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度而偵測出該影像資料之該歪斜角度，係為將該最大值所對應之該旋轉角度進行反相而得到該影像資料之歪斜角度。

請參見第一圖，其係本案為改善習用手段缺失所發展出來之一影像資料歪斜偵測與校正裝置2之較佳實施例功能方塊示意圖。其中透過影像擷取手段所得到之一原始影像資料1將先經過本案所發展出來之歪斜偵測模組21而得到一歪斜角度，然後再把該歪斜角度傳送給影像旋轉校正模組22，於是，影像旋轉校正模組22便可根據該歪斜角度來將該原始影像資料1進行旋轉校正，進而得到一校正後影像資料，然後再送到後端的顯示單元31或儲存單元32來進行應用。

而本案之歪斜偵測模組21主要由預處理模組210、記憶體211、投影量處理器212、高通濾波器213、統計數據蒐集與歪斜角度決定器214來組成，並可執行如第二圖所示之文件影像歪斜偵測與校正方法之較佳實施例步驟流程圖，細節敘述如下：

一開始，預處理模組210可將接收到之原始影像資料1進行一尺寸縮減程序(步驟41)，其主要是將原始影像資料進行尺寸縮減，例如將影像尺寸縮小至256×192的像素解析度，用以節省後續運算的記憶體使用量。當然也可省略此一程序，只是記憶體使用量會較大，資料運算的負擔也較大。

預處理模組210接著對縮小後影像資料進行一預處理程序，主要是進行一二值化處理，用以獲得每個像素值僅需用一個位元表達之一二值影像資料並存放至記憶體211中(步驟42)。

接著，投影量處理器212將記憶體211中之待測二值影像資料中每一水平列的像素值(0或1)分別進行加總而得到該待測二值影像資料之一水平投影量統計曲線，並利用高通濾波器213來將水平投影量統計曲線中之低頻雜訊去除而相對應得到一高頻信號曲線(步驟43)，最後送到統計數據蒐集與歪斜角度決定器214來進行平方總和的運算(square sum)而算出一索引值(步驟44)。

接著，統計數據蒐集與歪斜角度決定器214對記憶體211中之二值影像資料進行一預設角度的旋轉而得到一個經預設角度旋轉之另一待測二值影像資料(步驟45)，然後當該旋轉角度還在一搜尋角度範圍內時，再進行上述步驟43與步驟44，而得到與該預設角度相對應之另一索引值，直到判斷出該預設角度已不在該搜尋角度範圍後(步驟46)才結束，最後可以從所有索引值中找出一最大值，而該最大值所對應之該旋轉角度之反相值便判斷為該影像資料之歪斜角度(步驟47)。

於是該歪斜角度可傳送給影像旋轉校正模組22，讓影像旋轉校正模組22可根據該歪斜角度來將該原始影像資料1進行旋轉校正，進而得到該校正後影像資料給後端的顯示單元31進行顯示或給儲存單元32來進行儲存。至於上述統計數據蒐集與歪斜角度決定器214中之該預設角度與搜尋角度範圍可透過一應用程式介面30來完成設定。

而上述步驟42中對縮小後影像資料進行二值化處理之前，本案還可對縮小後影像資料先進行一亮度反轉之動作，其主要以一n*n的視窗為單位來對該縮小後影像資料進行判斷，當n*n的視窗內有超過半數以上的像素之灰階值是偏黑的，例如在8*8的視窗及白到黑之灰階值範圍為0至255時，而有32個以上的像素之灰階值大於128。則將8*8的視窗內所有的像素點進行亮度反轉，如此利用視窗來將整個縮小後影像資料都掃描處理完後，再接著進行後續之二值化處理。而上述動作可針對習用手段經常誤判之黑底白字樣式的文件影像進行亮度反轉，用以增強文字特性及消除部份的雜訊，如此可將非文字部份造成之干擾減低，增加校正的正確度。其效果可由第五圖之示意圖看出，其中黑底白字原始圖案51若直接進行二值化運算將得到圖案52，而圖案52之文字特性將與圖形產生混淆，容易造成誤判。但若是透過8*8的視窗53掃描與亮度反轉運算後，將得到如圖案54所示之結果，再將圖案54進行二值化運算將得到圖案55，可清楚看出，圖案55之文字特性被有效地增強，進而可降低誤判的機率。而視窗的大小當然可以任意改變，主要是可隨對縮小後影像資料之尺寸來進行調整。然而，要注意的是這樣的亮度反轉的方法可能讓相鄰視窗的亮度發生劇烈變化，這在二值化的運算上會產生額外不想要的高頻雜訊，例如第六圖中圖案6之鋸齒狀黑線600，幸而它僅會發生在視窗的邊界上，我們只要在二值化後的二值影像相對應視窗邊界的位置上直接刪除此高頻雜訊而成為如第六圖中圖案60之格狀空白601，接著將空白部份以附近像素以外插或是內插的方式重建，例如第六圖中視窗61之示例，根據內部相鄰像素之像素值來重建出格狀空白上之像素值，則可讓重建完成之圖案62上之高頻雜訊不顯著。

至於將影像資料中每一水平列的像素值分別進行加總而得到水平投影量統計曲線之圖式可參見第三圖(a)、(b)所示之示意圖，由其中可明顯看出，將圖形中每一水平列上的像素值加總所得到的水平投影量統計曲線，在純文字的文件影像上，可以發現第三圖(a)所示之未歪斜的水平投影量峰值(圖中為60)會比第三圖(b)所示之歪斜些微角度的水平投影量峰值(圖中為40)來得高。

然而，上述方法所得到之水平投影量統計曲線的峰值在具有密密麻麻文字的文件中旋轉了一定的角度後，或是文件中摻雜了非文字的圖形狀況下，往往就不太具有參考價值。但是，吾人發現，文件的水平投影量除了峰值的特性外，還有個更明顯的特徵在於未經旋轉的文件水平投影量有著波峰波谷的顯著差異。因此，這裡我們利用高通濾波器213來將水平投影量統計曲線中之直流成分之低頻雜訊去除而得到投影量統計曲線中之屬於交流成分之高頻信號曲線，用以將波峰波谷的差異特性篩選出來，例如第四圖(a)、(b)之所示，此舉可弱化已歪斜文件的水平投影量或是相較於文字、表格等，較不規則的圖形投影量部份。而高通濾波器213可用常見的有限脈衝濾波器(Finite Impulse Response，FIR)來完成。

接著，投影量統計曲線中屬於交流成分之高頻信號曲線最後送到統計數據蒐集與歪斜角度決定器214來進行平方總和的運算(square sum)而算出一索引值，其還可以只是將高頻信號曲線上大於0的部份作平方總和的運算(square sum)來作為索引值之組成，用以增加最大峰值的權重。

再者，為能找出可將已歪斜文件轉正之正確角度，本案可採用兩階段方式來進行搜尋。首先，第一階段中係從0度開始，而在搜尋角度範圍為正負45度內，以每次改變預設角度5度的方式來旋轉，用以得到複數個經預設角度旋轉之影像資料，再進而得到相對應於該等經預設角度旋轉影像資料之複數個索引值，並可從其中找出一個最大值所對應出之一第一階段旋轉角度。然後再從第一階段中找到之該第一階段旋轉角度為中心，在搜尋角度範圍為正負5度內，以每次改變預設角度1度的方式來旋轉影像資料，然後再從中得到相對應於該等經預設角度旋轉影像資料之複數個索引值，最後再從其中找出一個最大值所對應出之一第二階段旋轉角度，而根據第一階段旋轉角度與第二階段旋轉角度便可推算出該文件之歪斜角度。於是該歪斜角度可傳送給影像旋轉校正模組22，讓影像旋轉校正模組22可根據該歪斜角度來將該原始影像資料1進行旋轉校正，進而得到該校正後影像資料給後端的顯示單元31進行顯示或給儲存單元32來進行儲存。

綜上所述，本案針對可應用於掃描機、影印機、傳真機或實物投影機等裝置上之文件影像歪斜偵測與校正技術提出了一新作法，在不需將文件中非文字的圖形去除的前提下，以較少的硬體資源便可完成歪斜偵測與校正。因此可改善需要大量的記憶體儲存分類、統計的資訊而不利於使用硬體實現之先前技術手段。而且本案方法可廣泛應用於具有影像處理裝置之光電系統之上，故本發明得由熟習此技藝之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。

本案圖式中所包含之各元件列示如下：

1．．．原始影像資料

2．．．影像資料歪斜偵測與校正裝置

21．．．歪斜偵測模組

22．．．影像旋轉校正模組

31．．．顯示單元

32．．．儲存單元

210．．．預處理模組

211．．．記憶體

212．．．投影量處理器

213．．．高通濾波器

214．．．統計數據蒐集與歪斜角度決定器

30．．．應用程式介面

51．．．黑底白字原始圖案

52．．．圖案

53．．．視窗

54．．．圖案

55．．．圖案

6．．．圖案

600．．．鋸齒狀黑線

60．．．圖案

601．．．格狀空白

61．．．視窗

62．．．圖案

本案得藉由下列圖式及說明，俾得一更深入之了解：第一圖，其係本案為改善習用手段缺失所發展出來之一影像資料歪斜偵測與校正裝置之較佳實施例功能方塊示意圖。

第二圖，其係本案為改善習用手段缺失所發展出來之一文件影像歪斜偵測與校正方法之較佳實施例步驟流程圖。

第三圖(a)、(b)，其係本案將影像資料中每一水平列的像素值分別進行加總而得到水平投影量統計曲線之圖式示意圖。

第四圖(a)、(b)，其係本案將水平投影量統計曲線通過高通濾波器後之曲線示意圖。

第五圖，其係本案對影像進行亮度反轉之效果比較示意圖。

第六圖，其係為本案在二值化後的二值影像相對應的位置上直接刪除視窗邊界上的高頻雜訊，再將空白部份以附近像素以外插或是內插的方式重建之流程示意圖。

1．．．原始影像資料

2．．．影像資料歪斜偵測與校正裝置

21．．．歪斜偵測模組

22．．．影像旋轉校正模組

31．．．顯示單元

32．．．儲存單元

210．．．預處理模組

211．．．記憶體

212．．．投影量處理器

213．．．高通濾波器

214．．．統計數據蒐集與歪斜角度決定器

30．．．應用程式介面

Claims (12)

1. 一種影像資料歪斜偵測校正方法，應用於一影像資料與一影像處理裝置中，該方法包含下列步驟：對該影像資料進行一二值化處理，用以獲得每個像素值僅需用一個位元表達之一二值影像資料；對該二值影像資料進行複數種角度旋轉，進而得到複數個待測二值影像資料；將該等待測二值影像資料中每一水平列的像素值分別進行加總而得到對應該等二值影像資料之複數個水平投影量統計曲線；對該等水平投影量統計曲線分別進行一高通濾波程序，用以將該等水平投影量統計曲線中之低頻雜訊去除而得到複數個高頻信號曲線；對該等高頻信號曲線分別進行一總和的運算而算出相對應之複數個索引值；以及因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度，進而對該影像資料進行歪斜之校正。
2. 如申請專利範圍第1項所述之影像資料歪斜偵測校正方法，其中該影像資料係由一原始影像資料進行尺寸縮減而得。
3. 如申請專利範圍第1項所述之影像資料歪斜偵測校正方法，其中在進行該二值化處理之前，係先對該影像資料進行一亮度轉換及去除雜訊之動作，其係以一n*n視窗為單位來對該縮小後影像資料進行判斷，當n*n的視窗內有超過半數以上的像素之灰階值是偏黑的，便將n*n的視窗內所有的像素點進行亮度反轉，並於該二值化處理後的該二值影像資料以內插或外插的方式重建視窗邊界部份。
4. 如申請專利範圍第1項所述之影像資料歪斜偵測校正方法，其中對該二值影像資料進行複數種角度旋轉而得到複數個待測二值影像資料係包含下列步驟：對該二值影像資料進行一預設角度的旋轉而得到一個經預設角度旋轉之另一待測二值影像資料；以及當旋轉角度還在一搜尋角度範圍內時，再對該另一待測二值影像資料進行該預設角度的旋轉而得到再一待測二值影像資料。
5. 如申請專利範圍第1項所述之影像資料歪斜偵測校正方法，其中對該等高頻信號曲線分別進行之該總和的運算，係僅將該等高頻信號曲線中大於零之數值來進行平方總和。
6. 如申請專利範圍第1項所述之影像資料歪斜偵測校正方法，其中因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度而對該影像資料進行歪斜之校正，係為將該最大值所對應之該旋轉角度進行反相而得到該影像資料之歪斜角度。
7. 一種影像資料歪斜偵測校正裝置，應用於一影像資料與一影像處理裝置中，該裝置包含：一歪斜偵測模組，接收該影像資料並進行一二值化處理，用以獲得每個像素值僅需用一個位元表達之一二值影像資料，並對該二值影像資料進行複數種角度旋轉，進而得到複數個待測二值影像資料，再將該等待測二值影像資料中每一水平列的像素值分別進行加總而得到對應該等二值影像資料之複數個水平投影量統計曲線，然後對該等水平投影量統計曲線分別進行一高通濾波程序，用以將該等水平投影量統計曲線中之低頻雜訊去除而得到複數個高頻信號曲線，再對該等高頻信號曲線分別進行一總和的運算而算出相對應之複數個索引值，接著因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度，進而偵測出該影像資料之一歪斜角度；以及一影像旋轉校正模組，信號連接至該歪斜偵測模組，其係根據該歪斜角度來將該影像資料進行旋轉校正，進而得到一校正後影像資料。
8. 如申請專利範圍第7項所述之影像資料歪斜偵測校正裝置，其中該影像資料係由一原始影像資料進行尺寸縮減而得，而該影像旋轉校正模組係根據該歪斜角度來將該原始影像資料進行旋轉校正，進而得到一校正後之原始影像資料。
9. 如申請專利範圍第7項所述之影像資料歪斜偵測校正裝置，其中該歪斜偵測模組包含：一預處理模組，其係接收該影像資料並進行一二值化處理，用以獲得每個像素值僅需用一個位元表達之一二值影像資料；一記憶體，信號連接於該預處理模組，其係用以儲存該二值影像資料；一投影量處理器，信號連接於該記憶體，其係將該等待測二值影像資料中每一水平列的像素值分別進行加總而得到對應該等二值影像資料之複數個水平投影量統計曲線；一高通濾波器，信號連接於該投影量處理器，其係對該等水平投影量統計曲線分別進行一高通濾波程序，用以將該等水平投影量統計曲線中之低頻雜訊去除而得到複數個高頻信號曲線；以及一統計數據蒐集與歪斜角度決定器，信號連接於該影像旋轉校正模組、該高通濾波器與該記憶體，其係對該記憶體中之該二值影像資料進行複數種角度旋轉，進而得到複數個待測二值影像資料，並對該等高頻信號曲線分別進行一總和的運算而算出相對應之複數個索引值，接著因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度，進而偵測出該影像資料之該歪斜角度並傳送給該影像旋轉校正模組。
10. 如申請專利範圍第9項所述之影像資料歪斜偵測校正裝置，其中該預處理模組在進行該二值化處理之前，係先對該影像資料進行一亮度轉換及去除雜訊之動作，其係以一n*n視窗為單位來對該縮小後影像資料進行判斷，當n*n的視窗內有超過半數以上的像素之灰階值是偏黑的，便將n*n的視窗內所有的像素點進行亮度反轉，並於該二值化處理後的該二值影像資料以內插或外插的方式重建視窗邊界部份。
11. 如申請專利範圍第9項所述之影像資料歪斜偵測校正裝置，其中該統計數據蒐集與歪斜角度決定器對該等高頻信號曲線分別進行之該總和的運算，係僅將該等高頻信號曲線中大於零之數值來進行平方總和。
12. 如申請專利範圍第9項所述之影像資料歪斜偵測校正裝置，其中該統計數據蒐集與歪斜角度決定器因應該等索引值中之最大值所對應之待測二值影像資料之該旋轉角度而偵測出該影像資料之該歪斜角度，係為將該最大值所對應之該旋轉角度進行反相而得到該影像資料之歪斜角度。