JP6075190B2

JP6075190B2 - 画像処理方法及び装置

Info

Publication number: JP6075190B2
Application number: JP2013095555A
Authority: JP
Inventors: 俊孫; 屹峰潘; 直井　聡; 聡直井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-05-04
Filing date: 2013-04-30
Publication date: 2017-02-08
Anticipated expiration: 2033-04-30
Also published as: CN103383732B; EP2660753A2; US20130294696A1; EP2660753A3; JP2013235581A; US9082181B2; EP2660753B1; CN103383732A

Description

本発明は、一般的に画像処理に関し、特に文書画像の向きを識別する方法及び装置に関する。

文書画像を処理する（例えば、紙をスキャンする）際に，例えば、スキャナー、カメラなどの画像入力装置によって読み取った文書画像の傾きはその実際の傾きに対して変化した（例えば，９０度、１８０度、２７０度回転した）可能性がある。従って、文書画像の傾きを識別する必要がある。下記の文献には文書画像の傾きを識別する方法が開示されている。

Ranjith Unnikrishnan, "Combined Script and Page Orientation Estimation using the Tesseract OCR engine", ICDAR２００９；

万しん（３つの「金」からなる），“文書画像の補正方法”，CN １０１８３３６４８ A； Zhigang Fan, “Page orientation detection based on selective character recognition”，US ２００９/０２７４３９２ A１。

従来、比較対象として主に標準の文書画像と対比する。しかし、もし処理する文書画像が絵と文書を交えたもの，又は絵をメインとするものである場合，前記従来の方法による処理効果が好ましくない。

本発明は、文書画像全体の傾きを迅速且つ正確に判断することができる文書画像の傾き識別方法と装置を提供するものである。

本発明の一実施例によれば、画像処理方法は、画像のオリジナル尺度より小さい第一尺度の２値画像を生成するステップと、第一尺度の２値画像に基づいて画像中の少なくとも１文字列を検出するステップと、第一尺度より大きい第二尺度の２値画像を生成するステップと、各文字列に対して、第一尺度の２値画像における対応部分と第二尺度の２値画像における対応部分との間の類似度を計算し類似度が所定の水準より低い文字列をノイズとして除去するステップと、文字列中の除去されていない１つ又は複数の文字列に対しその第二尺度の２値画像における対応部分に対して光学文字識別を行い、対応する文字列の文字の傾きを決定するステップと、決定した文字の傾きに基づいて画像の傾きを決定するステップと、を含む。

本発明の別の実施例によれば、画像処理装置は、画像のオリジナル尺度より小さい第一尺度の２値画像を生成する第一尺度２値画像生成部と、第一尺度の２値画像に基づいて画像中の少なくとも１文字列を検出する文字列検出部と、第一尺度より大きい第二尺度の２値画像を生成する第二尺度２値画像生成部と、各文字列に対して、第一尺度の２値画像における対応部分と第二尺度の２値画像における対応部分との間の類似度を計算し類似度が所定の水準より低い文字列をノイズとして除去するノイズ除去部と、文字列中の除去されていない１つ又は複数の文字列に対しその第二尺度の２値画像における対応部分に対して光学文字識別を行い、対応する文字列の文字の傾きを決定する光学文字識別部と、決定した文字の傾きに基づいて画像の傾きを決定する画像傾き決定部と、を備える。

以下に、付属の図面を参照して本発明の実施例を説明すると、本発明の上記及びその他の目的や特徴及び優れた点をより理解しやすいことになる。また、不必要な詳細な説明により本発明をぼかしてしまうのを防ぐために図面には本発明に密接な関係を持つ装置の構造及び/又は処理ステップのみを示し、本発明と密接な関係を有さない他の詳細が省略されている。
本発明の実施例に係る画像処理方法を示すフローチャートである。 a及びbは、文字列を検出する例を示す図である。 a乃至cは、水平文字列と垂直文字列が重なる場合に重なる部分のテキストブロックの傾きに基づいてノイズ文字列を決定する例を示す図である。 a及びbは、それぞれ２値画像の画素投影と筆画投影に基づいてノイズ文字列を識別する例を示す図である。第一尺度の２値画像と第二尺度の２値画像の比較に基づいてノイズ文字列を決定する例を示す図である。本発明の実施例に係る画像処理装置の構成例を示すブロック図である。本発明の方法と装置を実現するためのコンピューターの例示的な構造を示すブロック図である。

以下に、本発明の実施例について、付属の図面を参照しつつ説明する。注意すべきなのは、明瞭に説明するために図面及び説明において、本発明と関係ない、且つ当業者にとって知られている装置と処理の表示及び説明が省略されている。

以下に、図１のフローチャートを参照して本発明の実施例に係る画像処理方法の処理過程を説明する。

ステップS１１０において画像のオリジナル尺度より小さい第一尺度の２値画像を生成する。

ここでいう画像の尺度とは、画素を単位とする画像のサイズのことを指す。尺度の大きいものは高解像度に対応し、尺度の小さいものは低解像度に対応する。処理対象となる画像のグレースケール画像に対してダウンサンプリングと２値化を行うことにより第一尺度の２値画像を生成することができる。また、多種の方式により画像をダウンサンプリングすることができる。例えば、画像をそのオリジナル尺度の１/Nに縮小する、又は画像を或る指定の尺度まで縮小する。また、各種の方法により画像の２値化処理を行うことができる。例えば、Otsu方法（http://en.wikipedia.org/wiki/Otsu's_method）；又はJ. Sauvola, M. Pietikainen, “Adaptive document image binarization”, Pattern Recognition ３３, ２０００, pp. ２２５―２３６の中に記載の方法。

次に、ステップS１２０において第一尺度の２値画像に基づいて画像中の少なくとも１文字列を検出する。

小尺度の２値画像に基づいて文字列の検出を行う目的の１つは、文字列検出の速度を上げるためである。

当該技術分野の公知の各種の方法を用いて２値画像に基づいて画像中の文字列を検出することができる。以下に、図２を参照して例示的な方法を説明する。
まず、連結部分（CC）を通じて２値画像中の連結部分を分析し見つける。連結部分の大きさを用いて明らかに文字に属さない一部の連結部分をフィルタすることができる。その後、フィルタ後の連結部分に基づいて可能な水平文字列と垂直文字列を検出する。水平文字列の検出を例として図２に示されたように、或る連結部分を最初の連結部分として選択することが可能であり、最初の連結部分の大きさを最初の文字列の大きさとして、それぞれ左と右へ向かって捜索を行う。捜索の範囲は当該文字列の高さによって决定することができる。例えば、捜索高さを最初の連結部分の高さtl_hに設定することができる。捜索の幅は２×tl_hに設定することができる。もし当該捜索範囲内に目標連結部分が存在すれば、当該目標連結部分と当該文字列との水平方向に沿う投影の一致度（例えば、図２b中のtl_hとcc_hとの水平方向に沿う投影の重なる部分の割合）を比較する。もし当該一致度が所定の範囲内にあれば、候補の連結部分を当該文字列の中に入れ、文字列の範囲を更新し、続けて左又は右へ向かって捜索し、捜索範囲内に要件を満す連結部分がなくなるまで操作を続ける。また、垂直方向の文字列の検出も同じ方法で実現できる。

また、本発明の方法と装置に採用可能な文字列検出方法は上記具体的な方式に限らず，当該技術分野の公知のその他の方法も採用できる。例えば、投影に基づく検出方法や、テクスチャに基づく検出方法など。

また、第一尺度の２値画像に基づいてそれぞれ水平文字列と垂直文字列を検出する際に、次の状況が起きる可能性がある。或る領域内の連結部分が水平文字列の部分として検出され、且つ、垂直文字列の部分としても検出される、即ち、検出された一部の水平文字列と垂直文字列が互いに重なる状態にある。この場合、その中の１つの文字列がノイズ文字列である可能性が高い。

このような状況に対して、本発明の一実施例に係る画像処理方法は、第一尺度の２値画像において重なる領域のテキストブロックの傾きを検出し、さらにテキストブロックの傾きと一致しない文字列をノイズとして除去するステップを備える。例えば，図３a〜図３cに示されたように、同じ領域において、水平文字列の検出と垂直文字列の検出を通じてそれぞれ水平文字列H-１〜H-４（図３aを参照する。）及び垂直文字列V-１とV-２（図３bを参照する。）を獲得した。この場合、公知の方法を用いて、例えば、投影に基づく方法又はCN１０２３７５９８８Aに記載の方法によって重なる領域（例えば図３cを参照する。）のテキストブロックの傾き（即ち、水平傾き又は垂直傾き）を決定できる。さらに、当該テキストブロックの傾きと一致しない文字列をノイズとして除去する。図示の例において、図３cのテキストブロックが水平傾きと決定した場合、図３bに示された垂直文字列V-１とV-２をノイズとして識別する。

また、上記水平文字列と垂直文字列が重なる場合のほか、背景ノイズなどの原因で、他のノイズ文字列が存在する可能性がある。従って、本発明の一実施例によれば、第一尺度の２値画像に基づいて文字列を検出するステップには、第一尺度の２値画像において、テクスチャに基づく方法及び/又は２値投影法を用いて文字列の信頼度を推定し、信頼度が所定の水準より低い文字列をノイズとして除去するステップを備えることができる。

また、テクスチャに基づく方法に基づく例として、例えば、Xiangrong Chen, Alan L. Yuille: Detecting and Reading Text in Natural Scenes. CVPR (２) ２００４: ３６６−３７３の中に記載のグレースケール画像に基づくノイズテキスト除去方法を用いることができる。当該方法はグレースケール画像中のテクスチャの特征を用いて画像ブロックが文字か背景ノイズかを判断する。また、その他の方法を使うこともできる。例えば、K. I. Kim, et, al. "Texture−Based Approach for Text Detection in Images Using Support Vector Machines and Continuously Adaptive Mean Shift Algorithm", IEEE Transaction on Pattern Analysis and Machine Intelligence, v２５, n１２, ２００３, pp１６３１−１６３９又はY. F. Pan, et, al. "Text Localization in Natural Scene Images based on Conditional Random Field", International Conference on Document Analysis and Recognition, pp.６−１０の中に記載の方法を用いて、テクスチャの特征に基づいて文字列の信頼度を推定する。

また、２値投影法は２値画像に基づいて行うもので、当該方法は水平方向又は垂直方向の画素投影及び／又は筆画投影を用いてノイズ文字列を決定する。図４aと図４bはそれぞれ２値画像の画素投影と筆画投影を用いてノイズ文字列を識別する例を示す図である。そのうち、図４aに示されたノイズ文字列HF−１が１つの文字列に誤認されたが、実際２行の文字を備える。この場合、文字列HF−１に対して水平方向に沿う黒画素投影を行い、且つ黒画素の分布特性（例えば、HF−１に実際に含まれた２行文字の間に黒画素分布が明確に谷になる。）によってノイズ文字列であるかどうかを判断する。また、図４bに示されたノイズ文字列HF−２が１つの水平文字列に誤認されたが、実際に複数の垂直文字列が含まれ、各垂直文字列が１つの文字と誤認された。この場合、垂直方向に沿う筆画投影を用いて平均的な画数を統計することができる。垂直文字列の画数が１文字の画数よりはるかに多いため、筆画投影によって得た画数に基づいて文字列の傾きの判断ミスによって生じたノイズ文字列を除去できる。

また、テクスチャに基づく方法及び/又は２値投影法に基づいてノイズ文字列を決める方法は上記の具体的な方法に限らないことは当業者に理解されるところである。

また、処理速度をさらに上げるために、検出したすべての文字列に対して後続の処理を行う必要はない。一部の文字列を選んで候補文字列とし、これらの候補文字列だけに対して後続の処理を行うことができる。本発明の一実施例によれば、高さと幅の比が所定の閾値より大きい文字列の中からサイズが最も大きいN個の文字列だけに対して次に説明する、第二尺度の２値画像に基づくステップを実施する。ここにN≧１である。具体的な実施例によれば、高さと幅の比の閾値は、例えば、３：１である。また、水平文字列の高さ又は垂直文字列の幅を文字列のサイズとすることができる。

以下に、図１に戻って説明する。ステップS１３０において、画像の第二尺度の２値画像を生成する。また、第二尺度は第一尺度より大きい。一実施例によれば、第二尺度は画像のオリジナル尺度である。第二尺度の２値画像を生成する時に用いる２値化方法は、第一尺度の２値画像を生成する方法と同じか、又は異なる方法であってもよい。

また、第二尺度の２値画像を生成した後、第二尺度の２値画像に基づいて前に検出した文字列に対してさらにノイズ除去処理を行うことができる。また、第二尺度の２値画像に基づくノイズ除去処理もテクスチャ特徴に基づく方法及び/又は２値投影法を採用できる。ただし、テクスチャ特徴に基づく方法の場合、計算量が大きいため処理速度をさらに上げるために第二尺度の２値画像に対して２値投影法だけを用いてノイズ文字列除去を行うことができる。従って、一実施例によれば，第二尺度の２値画像を生成するステップの後に、さらに、第二尺度の２値画像に対して２値投影法により前記文字列の信頼度を推定し、信頼度が所定の水準より低い文字列をノイズとして除去するステップを備えることができる。
以下に、ステップS１４０において、各文字列それぞれ第一尺度の２値画像と第二尺度の２値画像における対応部分の類似度を計算し、類似度が所定の水準より低い文字列をノイズとして除去する。

このステップは主に以下の事実に対する認識に基づくものである。即ち、真の文字列の場合、小尺度と大尺度による２値化画像は高い類似度を有することに対しノイズ文字列の場合、異なる尺度又は異なる２値化方法によって得た２値画像の区別は通常大きいである。

例えば，図５に示されたように、文字列の場合、その第一尺度の２値画像と第二尺度の２値画像における対応部分（例えば、図に示された文字列２値画像１と文字列２値画像２）の尺度が異なるが、類似度（即ち、形状の一致度）が高い。しかし、背景画像部分の場合、２つの２値画像における対応部分（例えば、図に示された背景２値画像１と背景２値画像２）の間の類似度が低い。

従って、２つの２値化画像の類似度によって一文字列がノイズ文字列であるかどうかを判断することができる。

当業者にとって知られているように、各種の具体的な方法を用いて類似度、即ち形状の一致度を表すことができる。例えば、以下の参考文献の記載によるもの。

K. Siddiqi, A. Shokoufandeh, "Shock graphs and shape matching", International Journal of Computer Vision, ３０, １, １９９９；
S. Belongie, J. Malik, J. Puzicha, "Shape context: a new descriptor for shape matching and object recognition", Neural Information Processing Systems (NISP), pp８３１―８３７, ２０００。

以下に、具体的な実施例を通じて、第一尺度の２値画像と第二尺度の２値画像における対応部分間の類似度を計算し、さらに計算した類似度によって対応する文字列がノイズ文字列であるかどうかを判断する実施形態を説明する。いうまでもなく、ステップS１４０の実施形態はこれに限定されない。

N_Sが第一尺度の２値画像における黒画素点の数を表し、第一尺度の２値画像における黒画素の各点に対し、第二尺度の２値画像における対応点を見つけ出し、もしこの対応点も黒画素であれば、又はこの対応点の上下左右の４つの点のうちの一点が黒画素であれば、カウンターM_Sの数字に１を加える。M_Sは第一尺度の２値画像における黒画素点の中、第二尺度の２値画像に基づいてもマッチポイントとして見つけた黒画素点の数である。

同じく、N_Lが第二尺度の２値画像における黒画素点の数を表し、第二尺度の２値画像における黒画素の各点に対し、第一尺度の２値画像における対応点を見つけ出し、もしこの対応点も黒画素であれば、又はこの対応点の上下左右の４つの点のうちの一点が黒画素であれば、カウンターM_Lの数字に１を加える。M_Lは第二尺度の２値画像における黒画素点の中、第一尺度の２値画像においてもマッチポイントとして見つけた黒画素点の数である。

もしM_S > r_１×N_S且つM_L> r_２×N_Lであれば、対象文字列は真であり、そうでなければノイズとして除去する。例えば、r_１=r_２=０.９である。

図１に戻って説明する。ステップS１５０において、ノイズとして除去されなかった文字列の中から１つ又は複数の文字列に対し、その第二尺度の２値画像における対応部分に対して光学文字識別（OCR）を行い対応する文字列の文字の傾きを決定する。

次に、ステップS１６０において，決定した文字の傾きに基づいて画像の傾きを決定する。

処理速度を上げるために、すべての文字列の文字の傾きではなく、一部の文字列の文字の傾きに基づいて画像全体の傾きを決定する。また、傾き識別の精度を上げるために、信頼性の高い光学文字識別結果を得られるのに最も有利な文字列を選ぶべきである。これらの文字列の文字の傾きに基づいて画像の傾きを決定する。従って、一実施例によれば、文字の傾きを決定するステップの前に、第二尺度の２値画像に基づいて、文字列のサイズや、テクスチャによって決定した文字列の信頼度、又は、文字列のグレイレベル分散、のうちの１つ又は複数に基づいて前記文字列の優先度を決める、というステップを有することができる。

ここでいう文字列のサイズとは、水平文字列の高さ又は垂直文字列の幅であってもよい。文字列のサイズが大きいほど、光学文字識別に有利である。従って、サイズの大きい文字列に高い優先度を与える；
また、テクスチャによって決定した文字列の信頼度は、上記のノイズ文字列を除去するための参考とされ、テクスチャに基づく方法によって推定した文字列信頼度であってもよい。当該信頼度は通常（-１，１）範囲内の数字である。例えば，当該信頼度が大きいほど文字列である可能性が高い。当該信頼度が小さいほど背景ノイズである可能性が高い。従って、文字列信頼度の高い文字列に高い優先度を与える。

また、文字列のグレイレベル分散が大きいほど、文字列における文字の鮮明度が高く、光学文字識別に有利である。従って、グレイレベル分散が大きい文字列に高い優先度を与える。

これらの要素の１つ又は複数を足し算又は相乗などの方法で結合させ、総合的に文字列の優先度を決める。

これによって文字の傾きを決定するステップにおいて、決定した優先度の順番によって順次に文字列の文字の傾きを決定することができる。

また、本発明の一実施例によれば、文字列の文字の傾きに基づいて画像の傾きを決定するステップにおいて、以下の方法によって画像の傾きを決定することができる。優先度の順番に基づいて順次に決定した文字の傾きに基づいて投票を行う。得票数が最も多い傾きの票数と得票数第二位の傾きの票数との差が所定の閾値に達した場合、得票数が最も多い傾きを画像の傾きとする。投票の結果、票数の差が当該所定の閾値に達したものが検出されなかった場合、最終的に得票数の最も多い傾きを画像の傾きとする。

例えば、優先度に基づいて配列した文字列に対して、第二尺度の２値画像に基づいて文字列画像を４方向（０度、９０度、１８０度、２７０度）に回転させた後の画像に対してそれぞれ光学文字識別を行う。投票テーブルを作って各傾きの投票数を累計することができる。各文字列に対して、光学文字識別の中、平均識別信頼度が最も高い傾きを当該文字列の傾きとし、その傾きに一票を投じる。得票数が最も多い傾きを画像全体の傾きと識別する。また、処理速度をさらに上げるために、票数が最も多い傾きの票数と票数が二番目である傾きの票数との差をリアルタイムに監視することができる。当該差が所定の数値（例えば、２）より大きい場合、その後の文字列識別は続けなくてもよい。また、票数の最も多い傾きを文書画像全体の傾き識別の結果とする。もしすべての文字列の傾きに基づいて投票を行った結果、上記票数の差が所定の数値より大きいことが検出されなかった場合、最後に得票が最も多い傾きを文書画像全体の傾きとする。

最後に、上記のステップを経て文字列が検出されなかった場合、画像に対して白黒反転処理を行い、且つ同様な処理過程を行うことができる。

図６は本発明の実施例に係る画像処理装置６００の構成例を示すブロック図である。

画像処理装置６００は、第一尺度２値画像生成部６１０と、文字列検出部６２０と、第二尺度２値画像生成部６３０と、ノイズ除去部６４０と、光学文字識別部６５０及び画像傾き決定部６６０を備える。

第一尺度２値画像生成部６１０は、画像のオリジナル尺度より小さい第一尺度の２値画像を生成する。

文字列検出部６２０は第一尺度の２値画像に基づいて画像中の少なくとも１文字列を検出する。

第二尺度２値画像生成部６３０は第一尺度より大きい第二尺度の２値画像を生成する。

ノイズ除去部６４０は、各文字列に対して、第一尺度の２値画像における対応部分と第二尺度の２値画像における対応部分との間の類似度を計算し類似度が所定の水準より低い文字列をノイズとして除去する。

光学文字識別部６５０は、その第二尺度の２値画像における対応部分に対して光学文字識別を行い、対応する文字列の文字の傾きを決定する。

画像傾き決定部６６０は、文字の傾きに基づいて上記画像の傾きを決定する。

本発明の一実施例によれば、画像処理装置は、第二尺度の２値画像に基づいて
文字列のサイズと、
テクスチャによって決定した文字列の信頼度と、
文字列のグレイレベル分散と、
のうちの１つ又は複数に基づいて前記文字列の優先度を決める優先度決定部をさらに備え、光学文字識別部が決定した優先度の順番で順次に文字列の文字の傾きを決定する。

本発明の一実施例によれば、画像傾き決定部は、優先度の順番に基づいて順次に決定した文字の傾きに基づいて投票を行う投票ユニットを備え、得票数が最も多い傾きの票数と得票数第二位の傾きの票数との差が所定の閾値に達した場合、得票数が最も多い傾きを画像の傾きとする。投票の結果、票数の差が当該所定の閾値に達したものが検出されなかった場合、最終的に得票数の最も多い傾きを画像の傾きとする。

本発明の一実施例によれば，ノイズ除去部が第一尺度の２値画像に対してテクスチャ特徴による方法及び/又は２値投影法を用いて文字列の信頼度を推定し、信頼度が所定の水準より低い文字列をノイズとして除去する。

本発明の一実施例によれば、ノイズ除去部は、第二尺度の２値画像に対して２値投影法を用いて文字列の信頼度を推定し、信頼度が所定の水準より低い文字列をノイズとして除去する。

本発明の一実施例の画像処理装置は、高さと幅の比が所定の閾値より大きい文字列の中からサイズが最も大きいN個の文字列だけを選択する文字列選別部をさらに備え、文字列選別部で選択された文字列だけに対して第二尺度の２値画像と関連する部分の処理を行う。

本発明の一実施例に関る画像処理装置は、文字列検出部が水平文字列と垂直文字列が重なることを検出した場合に、第一尺度の２値画像において重なる領域のテキストブロックの傾きを検出するテキストブロックの傾き検出部をさらに備え、ノイズ除去部は重なる水平文字列と垂直文字列の中からテキストブロックの傾きと一致しない文字列をノイズとして除去する。

本発明の実施例に係る画像処理方法と装置は、小尺度の２値画像に基づいて文字列の検出を行い、文字列検出に必要な計算量を著しく減らすことができるため、処理速度を上げることができる。また、小尺度の２値画像と大尺度の２値画像を比較してノイズ文字列を除去するため、文字列の検出精度を上げることができる。よって、文書画像全体の傾きをより高い精度で識別することができる。

また、優先度の順番に基づいて識別された文字列に対して光学文字識別を行い，且つ投票を通じて文字列の傾きにより画像の傾きを決定することで、識別精度を保証しながら画像の傾きの識別速度をさらに上げることができる。

当業者に理解されるように、本発明は装置、方法又はコンピューターソフトウェアなどによって実現される。従って，本発明は具体的にハードウェアのみ、ソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを備える）のみ、又はそれらの組合せによっていろいろな形で実現できる。また、本発明は有形媒体に記録されるコンピューターソフトウェアによって実現でき、その有形媒体にはコンピューターに使用可能なプログラムコードを備える。

１つ又は複数のコンピューター読み取り可能な記録媒体の任意の組合せを用いることができる。コンピューター読み取り可能な記録媒体はコンピューター読み取り可能な信号媒体又はコンピューター読み取り可能な記録媒体であってもよい。コンピューター読み取り可能な記録媒体は、例えば、電気、磁気、光学、電磁気、紫外線、又は半導体などのシステム、装置、機器又は伝搬媒体、又は前記各項の任意適当な組み合わせであってもよいが、これらに限定されない。コンピューター読み取り可能な記録媒体の更なる例（非網羅的なリスト）として、１つ又は複数の導線の電気的接続、携帯式コンピューターディスク、ハードディスク、ランダム・アクセス・メモリ（RAM）、読み取り専用メモリ（ROM）、消去可能なプログラマブル読み取り専用メモリ（EPROM 又はフラッシュメモリ）、光ファイバ、読み取り専用コンパクトディスク（CD-ROM）、光学記憶装置、磁気記憶装置、又は前記各項の任意の適切な組み合わせを備える。本文にいうコンピューター読み取り可能な記録媒体は、命令実行システム、装置又は機器に用いる又は命令実行システム、装置又は機器と関連するプログラムを具備又は保存する有形媒体など、を備える。

本発明の動作を実行するためのコンピューターソフトウェアコードは、１つ又は複数のプログラム言語の任意の組み合わせによって構成することができる。前記プログラム言語は、オブジェクト指向プログラミング言語−例えばJava(登録商標)、Smalltalk、C++などのほか、手続き型言語、例えば、”C”プログラム言語又はそれに類似するプログラム言語などをも備える。プログラムコードは、完全にユーザのコンピューターで実行できるものと、部分的にユーザのコンピューターで実行できるもの、１つ独立したパッケージとして実行できるもの、部分的にユーザのコンピューターで実行し部分的にリモートコンピューターで実行でき、又は完全にリモートコンピューター又はサーバーで実行できるものを備える。最後の形態の場合、リモートコンピューターは、ローカルエリアネットワーク（LAN）又はワイドエリアネットワーク（WAN）を備えるあらゆる種類のネットを介して、ユーザのコンピューターに連結し、又は、外部コンピューター（例えば、インターネットサービスプロバイダーを通じてインターネットを利用する）に連結することができる。

図７は本発明の方法と装置を実現するためのコンピューター７００の例示的な構造を示すブロック図である。

図７においてセントラル・プロセッシング・ユニット（CPU）７０１は、読み取り専用メモリ（ROM）７０２に保存されたプログラム又は記憶部７０８からランダム・アクセス・メモリ（RAM）７０３にロードされたプログラムに従って各処理を実行する。RAM７０３においても、必要に応じてCPU７０１が各処理を実行するときなどに必要なデータを保存する。

CPU７０１、ROM７０２とRAM７０３はバス７０４を介して互い連結する。入力/出力インタフェース７０５もバス７０４に接続される。

入力/出力インタフェース７０５には、キーボードやマウスなどを備える入力部７０６と、ブラウン管（CRT）や液晶ディスプレイ（LCD）などのモニターやスピーカーなどを備える出力部７０７と、ハードディスクなどを備える記憶部７０８と、LANカードやモデムなどのネットインタフェースカードを備える通信部７０９が接続される。通信部７０９は、例えば、インターネットなどのネットワークを介して通信処理を実行する。

必要に応じて、ドライブ７１０をも入力/出力インタフェース７０５に接続することができる。また、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの取り外し可能な媒体７１１が必要に応じてドライブ７１０に取り付けされ、その中から読み出されるコンピューターソフトウェアが必要に応じて記憶部７０８に保存される。

ソフトウェアを通じて上記ステップと処理を実行する場合、ネットワーク、例えば、インターネットや、又は記録媒体、例えば、取り外し可能な媒体７１１よりソフトウェアを構成するプログラムをインストールする。

当業者には理解されるように、この記録媒体は、中にプログラムが保存され、方法と分離して配布しユーザにプログラムを提供する、図７に示されたような取り外し可能な媒体７１１に限らない。取り外し可能な媒体７１１の例として磁気ディスク、光ディスク（光ディスク読み取り専用メモリ（CD-ROM）とデジタル多用途ディスク（DVD）を備える）、磁気ディスク（ミニディスク（MD）を備える）と半導体メモリを備える。また、記録媒体はROM ７０２や記憶部７０８の中にあるハードディスクなどである。当該ハードディスクにはプログラムが保存されており、且つそれを備える方法と一緒にユーザに配布される。

請求項にある構造、操作及び機能的に表現したすべての装置又はステップ等の均等代替は、請求項に具体的に記載されるその他のユニットと組み合わせて当該機能を実現するために用いるあらゆる構造又は操作を備える。本発明に対する記載は、例示であり、網羅的ではなく、また、本発明を記載の形態に限定するものではない。実施の形態には、本発明の範囲と思想を逸脱しない範囲において、多くの変形例や配置の変更が可能であることは当業者には理解されるところである。また、実施例の選定と説明は、本発明の思想とその実際の応用を最もよく説明できるためのものであり、本発明が特定の用途に適合する様々な実施形態を有することを当業者に理解してもらうためのものである。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
画像のオリジナル尺度より小さい第一尺度の２値画像を生成するステップと、
前記第一尺度の２値画像に基づいて前記画像中の少なくとも１文字列を検出するステップと、
前記画像の、前記第一尺度より大きい第二尺度の２値画像を生成するステップと、
前記各文字列に対して、前記第一尺度の２値画像における対応部分と前記第二尺度の２値画像における対応部分との間の類似度を計算し類似度が所定の水準より低い文字列をノイズとして除去するステップと、
前記文字列中の除去されていない１つ又は複数の文字列に対しその前記第二尺度の２値画像における対応部分に対して光学文字識別を行い、対応する文字列の文字の傾きを決定するステップと、
前記文字の傾きに基づいて前記画像の傾きを決定するステップと、
を含む画像処理方法。

（付記２）
前記文字の傾きを決定するステップの前に、
前記第二尺度の２値画像に基づいて、以下の要素、
文字列のサイズと、
テクスチャによって決定した文字列の信頼度と、
文字列のグレイレベル分散と、
のうちの１つ又は複数に基づいて前記文字列の優先度を決めるステップをさらに含み、且つ、
前記文字の傾きを確定するステップにおいて、前記優先度の順番に従って順次に前記文字列の文字の傾きを決定する、
付記１記載の方法。

（付記３）
前記文字の傾きに基づいて前記画像の傾きを決定するステップにおいて、
前記優先度の順番に従って順次に決定した前記文字の傾きに基づいて投票を行い、且つ
得票数が最も多い傾きの票数と得票数第二位の傾きの票数との差が所定の閾値に達した場合、得票数が最も多い傾きを前記画像の傾きとし、
投票の結果、前記票数の差が前記所定の閾値に達したものが検出されなかった場合、最終的に得票数の最も多い傾きを前記画像の傾きとする、
ことによって前記画像の傾きを決定する、
付記２記載の方法。

（付記４）
前記第一尺度の２値画像に基づいて文字列を検出するステップは、
前記第一尺度の２値画像に対し、テクスチャに基づく方法及び/又は２値投影法を用いて前記文字列の信頼度を推定し、且つ信頼度が所定の水準より低い文字列をノイズとして除去することをさらに含む、
付記１記載の方法。

（付記５）
前記第二尺度の２値画像を生成するステップの後に、
前記第二尺度の２値画像に基づいて、２値投影法を利用して前記文字列の信頼度を推定し、且つ信頼度が所定の水準より低い文字列をノイズとして除去するステップをさらに含む、
付記１記載の方法。

（付記６）
高さと幅の比が所定の閾値より大きい文字列の中からサイズが最も大きいN個の文字列だけに対して前記第二尺度の２値画像に基づくステップを実施し、N≧１である、
付記１乃至５のいずれか記載の方法。

（付記７）
前記第一尺度の２値画像に基づいて文字列を検出するステップは、
前記第一尺度の２値画像に基づいて水平文字列と垂直文字列を検出し、及び、
検出された水平文字列と垂直文字列が重なる場合に前記第一尺度の２値画像に基づいて重なる領域のテキストブロックの傾きを検出し、前記テキストブロックの傾きと一致しない文字列をノイズとして除去する、
付記１乃至５のいずれか記載の方法。

（付記８）
画像のオリジナル尺度より小さい第一尺度の２値画像を生成する第一尺度２値画像生成部と、
前記第一尺度の２値画像に基づいて前記画像中の少なくとも１文字列を検出する文字列検出部と、
前記第一尺度より大きい第二尺度の２値画像を生成する第二尺度２値画像生成部と、
前記各文字列に対して、前記第一尺度の２値画像における対応部分と前記第二尺度の２値画像における対応部分との間の類似度を計算し類似度が所定の水準より低い文字列をノイズとして除去するノイズ除去部と、
前記文字列中の除去されていない１つ又は複数の文字列に対しその前記第二尺度の２値画像における対応部分に対して光学文字識別を行い、対応する文字列の文字の傾きを決定する光学文字識別部と、
前記文字の傾きに基づいて前記画像の傾きを決定する画像傾き決定部と、
を備える画像処理装置。

（付記９）
前記第二尺度の２値画像に基づいて、
文字列のサイズと、
テクスチャによって決定した文字列の信頼度と、
文字列のグレイレベル分散と、
のうちの１つ又は複数の要素に基づいて前記文字列の優先度を決める優先度決定部をさらに備え、且つ、
前記光学文字識別部が前記優先度の順番に従って順次に前記文字列の文字の傾きを決定する、
付記８記載の装置。

（付記１０）
前記画像傾き決定部は、前記光学文字識別部で順次に決定した前記文字の傾きに基づいて投票を行う投票ユニットをさらに備え、且つ、
前記画像傾き決定部は、得票数が最も多い傾きの票数と得票数第二位の傾きの票数との差が所定の閾値に達した場合、前記得票数が最も多い傾きを前記画像の傾きとし、投票の結果、前記票数の差が前記所定の閾値に達したものが検出されなかった場合、最終的に得票数の最も多い傾きを前記画像の傾きとする、
付記９記載の装置。

（付記１１）
前記ノイズ除去部は、前記第一尺度の２値画像に基づいてテクスチャに基づく方法及び/又は２値投影法を用いて前記文字列の信頼度を推定し、信頼度が所定の水準より低い文字列をノイズとして除去する、
付記８記載の装置。

（付記１２）
前記ノイズ除去部は、前記第二尺度の２値画像に基づいて２値投影法を用いて前記文字列の信頼度を推定し、信頼度が所定の水準より低い文字列をノイズとして除去する、
付記８記載の装置。

（付記１３）
高さと幅の比が所定の閾値より大きい文字列の中からサイズが最も大きいN個の文字列を選ぶ文字列選別部をさらに備え、N≧１であり、且つ
前記画像処理装置は、前記文字列選別部が選出した文字列だけに対して前記第二尺度の２値画像に基づく処理を行う、
付記８〜１２のいずれか記載の装置。

（付記１４）
前記文字列検出部が水平文字列と垂直文字列が重なることを検出した場合に、前記第一尺度の２値画像に基づいて重なる領域のテキストブロックの傾きを検出するテキストブロックの傾き検出部をさらに備え、
前記ノイズ除去部は、重なる水平文字列と垂直文字列との中の、前記テキストブロックの傾きと一致しない文字列をノイズとして除去する、
付記８〜１２のいずれか記載の装置。

Claims

画像のオリジナル尺度より小さい第一尺度の２値画像を生成するステップと、
前記第一尺度の２値画像に基づいて前記画像中の少なくとも１文字列を検出するステップと、
前記画像の、前記第一尺度より大きい第二尺度の２値画像を生成するステップと、
前記各文字列に対して、前記第一尺度の２値画像における対応部分と前記第二尺度の２値画像における対応部分との間の類似度を計算し類似度が所定の水準より低い文字列をノイズとして除去するステップと、
前記文字列中の除去されていない１つ又は複数の文字列に対しその前記第二尺度の２値画像における対応部分に対して光学文字識別を行い、対応する文字列の文字の傾きを決定するステップと、
前記文字の傾きに基づいて前記画像の傾きを決定するステップと、
を含む画像処理方法。
前記文字の傾きを決定するステップの前に、
前記第二尺度の２値画像に基づいて、以下の要素、
文字列のサイズと、
テクスチャによって決定した文字列の信頼度と、
文字列のグレイレベル分散と、
のうちの１つ又は複数に基づいて前記文字列の優先度を決めるステップをさらに含み、且つ、
前記文字の傾きを確定するステップにおいて、前記優先度の順番に従って順次に前記文字列の文字の傾きを決定する、
請求項１記載の方法。
前記文字の傾きに基づいて前記画像の傾きを決定するステップにおいて、
前記優先度の順番に従って順次に決定した前記文字の傾きに基づいて投票を行い、且つ
得票数が最も多い傾きの票数と得票数第二位の傾きの票数との差が所定の閾値に達した場合、得票数が最も多い傾きを前記画像の傾きとし、
投票の結果、前記票数の差が前記所定の閾値に達したものが検出されなかった場合、最終的に得票数の最も多い傾きを前記画像の傾きとする、
ことによって前記画像の傾きを決定する、
請求項２記載の方法。
前記第一尺度の２値画像に基づいて文字列を検出するステップは、
前記第一尺度の２値画像に対し、テクスチャに基づく方法及び/又は２値投影法を用いて前記文字列の信頼度を推定し、且つ信頼度が所定の水準より低い文字列をノイズとして除去することをさらに含む、
請求項１記載の方法。
前記第二尺度の２値画像を生成するステップの後に、
前記第二尺度の２値画像に基づいて、２値投影法を利用して前記文字列の信頼度を推定し、且つ信頼度が所定の水準より低い文字列をノイズとして除去するステップをさらに含む、
請求項１記載の方法。
高さと幅の比が所定の閾値より大きい文字列の中からサイズが最も大きいN個の文字列だけに対して前記第二尺度の２値画像に基づくステップを実施し、N≧１である、
請求項１乃至５のいずれか記載の方法。
前記第一尺度の２値画像に基づいて文字列を検出するステップは、
前記第一尺度の２値画像に基づいて水平文字列と垂直文字列を検出し、及び、
検出された水平文字列と垂直文字列が重なる場合に前記第一尺度の２値画像に基づいて重なる領域のテキストブロックの傾きを検出し、前記テキストブロックの傾きと一致しない文字列をノイズとして除去する、
請求項１乃至５のいずれか記載の方法。
画像のオリジナル尺度より小さい第一尺度の２値画像を生成する第一尺度２値画像生成部と、
前記第一尺度の２値画像に基づいて前記画像中の少なくとも１文字列を検出する文字列検出部と、
前記第一尺度より大きい第二尺度の２値画像を生成する第二尺度２値画像生成部と、
前記各文字列に対して、前記第一尺度の２値画像における対応部分と前記第二尺度の２値画像における対応部分との間の類似度を計算し類似度が所定の水準より低い文字列をノイズとして除去するノイズ除去部と、
前記文字列中の除去されていない１つ又は複数の文字列に対しその前記第二尺度の２値画像における対応部分に対して光学文字識別を行い、対応する文字列の文字の傾きを決定する光学文字識別部と、
前記文字の傾きに基づいて前記画像の傾きを決定する画像傾き決定部と、
を備える画像処理装置。
前記第二尺度の２値画像に基づいて、
文字列のサイズと、
テクスチャによって決定した文字列の信頼度と
文字列のグレイレベル分散と、
のうちの１つ又は複数の要素に基づいて前記文字列の優先度を決める優先度決定部をさらに備え、且つ、
前記光学文字識別部が前記優先度の順番に従って順次に前記文字列の文字の傾きを決定する、
請求項８記載の装置。
前記画像傾き決定部は、前記光学文字識別部で順次に決定した前記文字の傾きに基づいて投票を行う投票ユニットをさらに備え、且つ、
前記画像傾き決定部は、得票数が最も多い傾きの票数と得票数第二位の傾きの票数との差が所定の閾値に達した場合、前記得票数が最も多い傾きを前記画像の傾きとし、投票の結果、前記票数の差が前記所定の閾値に達したものが検出されなかった場合、最終的に得票数の最も多い傾きを前記画像の傾きとする、
請求項９記載の装置。