JP4973536B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

画像内の文字を認識する文字認識装置がある。
この文字認識装置による処理は、画像を受け付け、その中から行を切り出し、行内の文字を切り出し、その切り出した文字毎に文字認識処理を行い、最終的には文字コードを出力する。

これに関連する技術として、例えば、特許文献１には、プロポーショナル印字の英文書、日英混在文書等の文字切り出し精度を向上させることを課題とし、文字切り出し前処理部において、形状が同一の画像をグループ化し、グループ間パラメータを算出し、このパラメータを用いて注目グループ内の画像と参照グループ内の画像の統合可能性を判断し、その判断結果に基づいて単独文字画像を抽出し、文字切り出し部は、単独文字画像と判断された画像は文字として切り出し、それ以外の画像に対して必要な統合／分離を行って文字を切り出すことが開示されている。

また、例えば、特許文献２には、算出された確信度と同じ形の矩形を抽出する手法を用い、画像を一時的に保存・利用するキャシングにより、文字認識時におけるマッチング効率を向上させ、高精度の文字認識を実現することを課題とし、入力文字画像を行単位に分離し、行順に文字認識する文字認識方法において、行数分繰り返し実行する際に、前行までの確信度の高い文字画像を保存しておき、その認識結果の信頼度の高い文字画像に対する同じ文字画像を探し出すことが開示されている。
特開平０９−２９７８１６号公報 特開２０００−０９０２０２号公報

本発明は、画像内の複数の文字画像が類似しており、その内の一方の文字画像が認識されており、他方の文字画像が認識されていない場合であって、その認識されていない文字画像に対しても文字認識結果を付与するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像内の文字認識済みの第１の文字画像を該画像から除去する文字画像除去手段と、前記文字画像除去手段によって第１の文字画像が除去された画像から第２の文字画像を抽出する文字画像抽出手段と、前記文字認識済みの第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記画像内の文字画像を認識し、該文字画像及び文字認識結果を対応させて出力する認識結果出力手段をさらに具備し、前記文字画像除去手段が用いる第１の文字画像は、前記認識結果出力手段によって出力される文字画像とし、前記認識結果付与手段が用いる第１の文字画像の文字認識結果は、前記第１の文字画像に対応して前記認識結果出力手段によって出力される文字認識結果とすることを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、画像内の黒画素成分を抽出する黒画素成分抽出手段と、前記画像内の文字認識済みの文字画像を囲む文字矩形内に含まれる前記黒画素成分を用いて第１の文字画像を生成し、該文字画像に該文字認識結果を付与する文字画像生成認識結果付与手段と、前記文字画像生成認識結果付与手段によって用いられなかった黒画素成分を用いて第２の文字画像を抽出する文字画像抽出手段と、前記文字画像生成認識結果付与手段によって抽出された第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段を具備することを特徴とする画像処理装置である。

請求項４の発明は、前記画像内の文字画像を認識し、該文字画像を囲む文字矩形及び文字認識結果を対応させて出力する認識結果出力手段をさらに具備し、前記文字画像生成認識結果付与手段が用いる文字矩形は、前記認識結果出力手段によって出力される文字矩形とし、前記認識結果付与手段が用いる第１の文字画像の文字認識結果は、前記第１の文字画像の文字矩形に対応して前記認識結果出力手段によって出力される文字認識結果とすることを特徴とする請求項３に記載の画像処理装置である。

請求項５の発明は、コンピュータを、画像内の文字認識済みの第１の文字画像を該画像から除去する文字画像除去手段と、前記文字画像除去手段によって第１の文字画像が除去された画像から第２の文字画像を抽出する文字画像抽出手段と、前記文字認識済みの第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段として機能させることを特徴とする画像処理プログラムである。

請求項６の発明は、コンピュータを、画像内の黒画素成分を抽出する黒画素成分抽出手段と、前記画像内の文字認識済みの文字画像を囲む文字矩形内に含まれる前記黒画素成分を用いて第１の文字画像を生成し、該文字画像に該文字認識結果を付与する文字画像生成認識結果付与手段と、前記文字画像生成認識結果付与手段によって用いられなかった黒画素成分を用いて第２の文字画像を抽出する文字画像抽出手段と、前記文字画像生成認識結果付与手段によって抽出された第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段として機能させることを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、画像内の複数の文字画像が類似しており、その内の一方の文字画像が認識されており、他方の文字画像が認識されていない場合であって、その認識されていない文字画像に対しても文字認識結果を付与することができる。

請求項２の画像処理装置によれば、文字画像及びその文字認識結果を対応させて出力するような文字認識処理に対して対応できるようになる。

請求項３の画像処理装置によれば、画像内の複数の文字画像が類似しており、その内の一方の文字画像が認識されており、他方の文字画像が認識されていない場合であって、その認識されていない文字画像に対しても文字認識結果を付与することができる。

請求項４の画像処理装置によれば、文字画像を囲む文字矩形及びその文字認識結果を対応させて出力するような文字認識処理に対して対応できるようになる。

請求項５の画像処理プログラムによれば、画像内の複数の文字画像が類似しており、その内の一方の文字画像が認識されており、他方の文字画像が認識されていない場合であって、その認識されていない文字画像に対しても文字認識結果を付与することができる。

請求項６の画像処理プログラムによれば、画像内の複数の文字画像が類似しており、その内の一方の文字画像が認識されており、他方の文字画像が認識されていない場合であって、その認識されていない文字画像に対しても文字認識結果を付与することができる。

まず、本実施の形態の概要を説明する。
画像、特に文書を対象とした画像に対して、文字認識を行う。また、文書画像には類似（同一を含む）の文字が複数出現する場合がある。しかし、その類似する文字の内、一部は文字認識できるもの、そして文字認識ができないものがある。
要因としては、文字画像に「かすれ」や「つぶれ」等が発生している場合、又は変則的なレイアウトの文書であって、行切り出しが困難な場合等がある。
特に、後者の場合について説明する。文字認識処理は３つの処理、「行切り出し」、「文字切り出し」、「文字認識」という順番で、それぞれの処理はその前処理の結果のみを扱うようにしている。このようにすると、行に含まれない文字画像に対して、文字コードが付与されるということはない。例えば、図形に近接・内包されている文字画像、行頭・行末の文字画像（特に、句読点、かっこ、中黒等の記号）は図形として判断されてしまい、行に含まれないことがある。

本実施の形態は、主に、このような文字認識処理（行切り出し、文字切り出し、文字認識の順番で行う文字認識処理）を利用するものである。そして、文字認識されなかった画像と文字認識された文字画像とが類似しているか否かを判断して、類似しているものには文字認識された文字画像の文字コードを付与するようにしたものである。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。

本実施の形態は、図１に示すように、画像受付モジュール１１０、行切出モジュール１２０、文字切出モジュール１３０、文字認識モジュール１４０、認識済文字画像除去モジュール１５０、文字画像抽出モジュール１６０、パターンマッチング処理モジュール１７０、文字認識結果出力モジュール１８０を有している。

画像受付モジュール１１０は、行切出モジュール１２０、認識済文字画像除去モジュール１５０と接続されており、画像を受け付け、行切出モジュール１２０と認識済文字画像除去モジュール１５０へその画像を渡す。画像を受け付けるとは、スキャナで画像を読み込むこと、ファックスで画像を受信すること、画像データベース等から画像を読み出すこと等が含まれる。画像には、文字画像が含まれている。その画像は、１枚であってもよいし、複数枚の画像であってもよい。また、画像の内容として、ビジネス用に用いられる文書、広告宣伝用のパンフレット等であってもよい。また、画像は、２値画像以外の多値、カラー画像であってもよいが、２値画像以外の画像である場合は、２値画像処理を行うことが望ましい。

行切出モジュール１２０は、画像受付モジュール１１０、文字切出モジュール１３０と接続されており、画像受付モジュール１１０から画像を受け取り、その中の文字から構成されている行を切り出し、その切り出した行を文字切出モジュール１３０へ渡す。行には、横書きにおける行、縦書きにおける行（列）を含む。行の切り出しの手法としては、例えば、画像の横方向（又は縦方向）の射影（黒画素の頻度分布）をとり、その谷の部分で行を切り出す方法等がある。

文字切出モジュール１３０は、行切出モジュール１２０、文字認識モジュール１４０と接続されており、行切出モジュール１２０から行を受け取り、その行内に含まれている文字画像を１つずつ切り出し、その切り出した文字画像を文字認識モジュール１４０へ渡す。文字画像の切り出し手法としては、例えば、行内で縦方向（又は列内で横方向）の射影をとり、その谷の部分で文字を切り出す方法等がある。また、特開平０９−２７４６４５等に開示された手法を用いてもよいし、複数の切り出し手法を組み合わせて行ってもよい。

文字認識モジュール１４０は、文字切出モジュール１３０、認識済文字画像除去モジュール１５０、パターンマッチング処理モジュール１７０と接続されており、文字切出モジュール１３０から文字画像を受け取り、その文字画像の文字認識を行う。つまり、文字画像から文字コードに変換する。そして、その文字画像を認識済文字画像除去モジュール１５０へ渡し、その文字画像に文字認識結果である文字コードを付与してパターンマッチング処理モジュール１７０へ渡す。

認識済文字画像除去モジュール１５０は、画像受付モジュール１１０、文字認識モジュール１４０、文字画像抽出モジュール１６０と接続されており、画像受付モジュール１１０から画像を、文字認識モジュール１４０からは文字認識済みの文字画像を受け取り、文字認識済みの文字画像を画像から除去する。つまり、行切出モジュール１２０によって行として切り出され、文字切出モジュール１３０によって文字として切り出され、さらに文字認識モジュール１４０によって文字認識された文字画像を元の画像から除去する。除去する方法は、例えば、文字画像と画像内のその位置の画像とをＸＯＲ（ｅＸｃｌｕｓｉｖｅ ＯＲ：排他的論理和）演算を行うようにすればよい。認識済文字画像除去モジュール１５０による処理の結果、画像には、文字認識されなかった画像のみが残ることになる。この画像を残滓画像ともいう。残滓画像を文字画像抽出モジュール１６０へ渡す。

文字画像抽出モジュール１６０は、認識済文字画像除去モジュール１５０、パターンマッチング処理モジュール１７０と接続されており、認識済文字画像除去モジュール１５０から残滓画像を受け取り、その残滓画像から文字画像を抽出し、その抽出した文字画像をパターンマッチング処理モジュール１７０へ渡す。文字画像抽出モジュール１６０による文字画像抽出処理は、文字切出モジュール１３０と同様の処理を行ってもよいし、特許文献１に開示されている技術でもよいし、さらに、図３、４を用いて後述する処理であってもよい。

パターンマッチング処理モジュール１７０は、文字認識モジュール１４０、文字画像抽出モジュール１６０、文字認識結果出力モジュール１８０と接続されており、文字認識モジュール１４０から文字認識された文字画像（文字コードが付与された文字画像、以下、認識文字画像ともいう）、その認識文字画像に対応する文字コードを、文字画像抽出モジュール１６０から残滓画像から抽出した文字画像（文字コードが付与されていない文字画像、以下、非認識文字画像ともいう）を受け取り、非認識文字画像と認識文字画像間のパターンマッチング処理を行い、その結果、類似していると判断された場合は、非認識文字画像に認識文字画像の文字コードを付与し、文字画像（認識文字画像、文字コードが付与された非認識文字画像の両方を含む）、その文字画像に対応する文字コードを文字認識結果出力モジュール１８０へ渡す。より詳細には、図５を用いて後述する。

文字認識結果出力モジュール１８０は、パターンマッチング処理モジュール１７０と接続されており、パターンマッチング処理モジュール１７０から文字画像、その文字画像に対応する文字コードを受け取り、外部（記憶装置、文書処理アプリケーション等のその他の処理、通信回線を介して接続されている情報処理システム等）へ出力する。つまり、文字認識モジュール１４０による文字認識結果よりも、より多く（同じ場合もあり得る）の文字認識結果を文字認識モジュール１４０と同様のフォーマットで出力する。

図２は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、画像受付モジュール１１０が、対象とする画像を受け付ける。
ステップＳ２０４では、行切出モジュール１２０が、ステップＳ２０２で受け付けられた画像を解析して行を切り出す。
ステップＳ２０６では、文字切出モジュール１３０が、ステップＳ２０４で切り出された行内の文字画像を切り出す。
ステップＳ２０８では、文字認識モジュール１４０が、ステップＳ２０６で切り出された文字画像に対して文字認識を行う。

ステップＳ２１０では、認識済文字画像除去モジュール１５０が、ステップＳ２０２で受け付けられた画像からステップＳ２０８で文字認識された文字画像を除去することによって残滓画像を生成する。
ステップＳ２１２では、文字画像抽出モジュール１６０が、ステップＳ２１０で生成された残滓画像から文字画像を抽出する。
ステップＳ２１４では、パターンマッチング処理モジュール１７０が、ステップＳ２１２で抽出された文字画像（非認識文字画像）とステップＳ２０８で認識された文字画像（認識文字画像）とのパターンマッチング処理を行い、認識文字画像に類似する非認識文字画像に認識文字画像の文字コードを付与する。
ステップＳ２１６では、文字認識結果出力モジュール１８０が、文字画像（認識文字画像、認識文字画像と類似している非認識文字画像）、それらの文字コードを出力する。

図３、４は、文字画像抽出モジュール１６０が外接矩形を用いて文字画像を生成する処理例を示す説明図である。
文字画像抽出モジュール１６０は、残滓画像から８近傍連結又は４近傍連結の黒画素成分を抽出する。例えば、図３（ａ）で示した例は、２つの黒画素成分からなっている。
次に、その抽出した黒画素成分の外接矩形（黒画素成分の最上位、最下位、最右、最左の黒画素に接しており、全体を取り囲む矩形）を生成する。例えば、図３（ｂ）は、図３（ａ）の例で示した画像に対して、２つの外接矩形（３１０、３２０）を生成した例を示したものである。また、この外接矩形の大きさが所定の閾値以上であれば、文字画像ではないと判断する。

文字画像抽出モジュール１６０は、外接矩形が重なっているものを取り出して、１つの外接矩形として統合する。例えば、図３（ｃ）は、図３（ｂ）で示した重なる２つの外接矩形から１つの外接矩形としたものである。
そして、この統合した外接矩形内の画像を文字画像とする。

また、文字画像抽出モジュール１６０は、さらに、外接矩形に対して膨張処理（外側に拡大する処理）を施すようにしてもよい。
例えば、図４（ａ）で示した例は、２つの黒画素成分からなっている。その外接矩形（４１０、４２０）は、図４（ｂ）の例に示すように重なりがない。
文字画像抽出モジュール１６０は、外接矩形４１０、４２０のそれぞれに対して膨張処理を施して、図４（ｃ）の例に示すように膨張矩形４３０、４４０を生成する。膨張処理を施した外接矩形に対して、重なっているものを取り出す。
そして、その重なりがある外接矩形を１つの外接矩形として統合する。例えば、図４（ｄ）は、図４（ｃ）で示した重なる２つの外接矩形から１つの外接矩形としたものである。
そして、この統合した外接矩形内の画像を文字画像とする。

図５は、パターンマッチング処理モジュール１７０の処理例を示す説明図である。
パターンマッチング処理モジュール１７０は、文字認識モジュール１４０から認識文字画像５１０とその文字コード“４”を受け取り、文字画像抽出モジュール１６０から非認識文字画像５２０を受け取る。認識文字画像５１０と非認識文字画像５２０のパターンマッチング処理を行う。

例えば、次のような処理を行う。
（１）２つの文字画像（認識文字画像５１０、非認識文字画像５２０）の黒画素の重心をあわせる。
（２）重心をあわせた２つの文字画像のＸＯＲ演算を行う。
（３）ＸＯＲ演算の結果、１となった画素（相違する画素）の個数を数える。この個数が閾値以下であれば、類似する文字画像であると判断する。
（４）又は、非認識文字画像に対して、全ての認識文字画像と相違する画素数を計数し、最小のものを類似する文字画像であると判断するようにしてもよい。
また、特開平０７−２００７４５等に開示された技術を用いてもよい。

そして、認識文字画像５１０に対しては、文字認識モジュール１４０から受け取ったその文字画像に対応する文字コード“４”を付与して出力する。非認識文字画像５２０に対しても、類似している認識文字画像５１０に対応する文字コード“４”を付与して出力する。

図６は、横書き文字の認識に成功した場合に、その認識結果を縦書き文字に利用する場合の処理例を示す説明図である。
図６（ａ）に示す例は、縦書きの行内に「１９」という横書きの文字がある場合であり、文字切り出しが失敗する場合が多いものである。図６（ｂ）に示す例は、同一の画像内にある文字画像であり、こちらは文字認識に成功したとする。したがって、それそれの文字画像「１」、「９」、「８」、「４」、「年」に文字コード“１”、“９”、“８”、“４”、“年”が付与されている。
図６（ａ）に示す例では、認識済文字画像除去モジュール１５０によって「時」、「に」の認識文字画像が除去され、文字画像抽出モジュール１６０によって「１」、「９」の非認識文字画像が抽出される。そして、パターンマッチング処理モジュール１７０によって非認識文字画像「１」には文字コード“１”が付与され、非認識文字画像「９」には文字コード“９”が付与されることになる。

図７は、行切出モジュール１２０による処理が失敗した例とパターンマッチング処理モジュール１７０によって文字コードが与えられた例を示す説明図である。
図７（ａ）に示す例は、画像受付モジュール１１０が受け付けた画像内の一部である。このように図形である黒画素成分７１０の近傍に文字画像（黒画素成分７１１〜７１５）がある場合、行切出モジュール１２０は黒画素成分７１２〜７１５を行として抽出する場合が多い。つまり、図７（ｂ）に示す例は、行切出モジュール１２０によって行として切り出されなかった画像（黒画素成分７１０と黒画素成分７１１）であり、認識済文字画像除去モジュール１５０による残滓画像である。図７（ｃ）に示す例は、行として切り出された画像であり、認識文字画像である。
一方、同一画像内に図７（ｄ）に示すような文字画像（黒画素成分７２１〜７２６）がある場合、これらは文字認識に成功したとする。つまり、文字認識モジュール１４０によって、黒画素成分７２４「・」に文字コード“・”が付与されている。文字画像抽出モジュール１６０は、図７（ｅ）に示すように、外接矩形が所定の大きさ以上である黒画素成分７１０を文字でないとし、黒画素成分７１１を非認識文字画像として抽出する。パターンマッチング処理モジュール１７０は、黒画素成分７１１と文字画像である黒画素成分７２４とが類似していると判断し、黒画素成分７１１にも文字コード“・”を付与する。

図８は、第２の実施の形態の構成例についての概念的なモジュール構成図を示している。
第１の実施の形態では、文字認識処理として、文字画像及びその文字コードを出力していたが、第２実施の形態では、文字認識処理として、文字矩形の位置情報（例えば、文字画像を囲む矩形の左上の座標、縦横の長さ）を出力する場合に対応するものである。
なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。

第２の実施の形態は、図８に示すように、画像受付モジュール１１０、行切出モジュール１２０、文字切出モジュール１３０、文字認識モジュール８４０、連結成分抽出モジュール８５０、統合モジュール８６０、文字画像抽出モジュール８７０、パターンマッチング処理モジュール８８０、文字認識結果出力モジュール８９０を有している。

文字認識モジュール８４０は、文字切出モジュール１３０、、統合モジュール８６０と接続されており、文字切出モジュール１３０から文字画像を受け取り、その文字画像の文字認識を行う。つまり、文字画像から文字コードに変換する。そして、その文字画像を囲む文字矩形の位置情報、その文字矩形内の文字画像の文字認識結果である文字コードを付与して、統合モジュール８６０へ渡す。

連結成分抽出モジュール８５０は、画像受付モジュール１１０、統合モジュール８６０と接続されており、画像受付モジュール１１０から画像を受け取り、その中の黒画素成分を抽出し、抽出した黒画素成分を統合モジュール８６０へ渡す。

統合モジュール８６０は、文字認識モジュール８４０、連結成分抽出モジュール８５０、文字画像抽出モジュール８７０、パターンマッチング処理モジュール８８０と接続されており、文字認識モジュール８４０から文字矩形の位置情報、その文字矩形内の文字画像の文字認識結果である文字コードを受け取り、連結成分抽出モジュール８５０からは画像内の黒画素成分を受け取り、文字矩形内に包含される黒画素成分を統合して文字画像（以下、認識文字画像ともいう）を構成する。そして、認識文字画像に対応する文字コードを付与し、認識文字画像とその認識文字画像に対応する文字コードをパターンマッチング処理モジュール８８０へ渡す。一方、文字矩形内に包含されない黒画素成分を文字画像抽出モジュール８７０へ渡す。なお、文字矩形内に包含されない黒画素成分からなる画像は、第１の実施の形態における残滓画像に対応しており、文字画像を除去した画像である。より詳細には、図１０を用いて後述する。

文字画像抽出モジュール８７０は、統合モジュール８６０、パターンマッチング処理モジュール８８０と接続されており、統合モジュール８６０からその統合モジュール８６０によっては用いられなかった黒画素成分、つまり文字矩形内に包含されない黒画素成分を受け取り、その黒画素成分から文字画像を抽出して、その文字画像（以下、非認識文字画像ともいう）をパターンマッチング処理モジュール８８０へ渡す。非認識文字画像の抽出手法は、黒画素成分を用いること以外は文字画像抽出モジュール１６０と同様である。また、黒画素成分を画像に変換して残滓画像を生成した上で、文字画像抽出モジュール１６０と同様の処理を行ってもよい。

パターンマッチング処理モジュール８８０は、統合モジュール８６０、文字画像抽出モジュール８７０、文字認識結果出力モジュール８９０と接続されており、統合モジュール８６０から認識文字画像とその認識文字画像に対応する文字コードを受け取り、文字画像抽出モジュール８７０から非認識文字画像を受け取り、非認識文字画像と認識文字画像間のパターンマッチング処理を行い、その結果、類似していると判断された場合は、非認識文字画像に認識文字画像の文字コードを付与する。そして、文字画像（認識文字画像、文字コードが付与された非認識文字画像の両方を含む）の文字矩形を生成する。その生成した文字矩形の位置情報、文字矩形に対応する文字コードを文字認識結果出力モジュール８９０へ渡す。なお、認識文字画像の文字矩形の位置情報については、文字認識モジュール８４０から出力される文字矩形の位置情報を用いてもよい。

文字認識結果出力モジュール８９０は、パターンマッチング処理モジュール８８０と接続されており、パターンマッチング処理モジュール８８０から文字矩形の位置情報、その文字矩形に対応する文字コードを受け取り、外部（記憶装置、文書処理アプリケーション等のその他の処理、通信回線を介して接続されている情報処理システム等）へ出力する。つまり、文字認識モジュール８４０による文字認識結果よりも、より多く（同じ場合もあり得る）の文字認識結果を文字認識モジュール８４０と同様のフォーマットで出力する。

図９は、第２の実施の形態による処理例を示すフローチャートである。
ステップＳ９０２では、画像受付モジュール１１０が、対象とする画像を受け付ける。
ステップＳ９０４では、行切出モジュール１２０が、ステップＳ９０２で受け付けられた画像を解析して行を切り出す。
ステップＳ９０６では、文字切出モジュール１３０が、ステップＳ９０４で切り出された行内の文字画像を切り出す。
ステップＳ９０８では、文字認識モジュール８４０が、ステップＳ９０６で切り出された文字画像に対して文字認識を行う。

ステップＳ９１０では、連結成分抽出モジュール８５０が、ステップＳ９０２で受け付けられた画像内の黒画素成分を抽出する。
ステップＳ９１２では、統合モジュール８６０が、ステップＳ９０８で文字認識された文字画像の文字矩形、ステップＳ９１０で抽出された黒画素成分を用いて、その文字矩形に包含される黒画素成分を統合して認識文字画像を抽出し、そして包含されない黒画素成分を抽出する。
ステップＳ９１４では、文字画像抽出モジュール８７０が、ステップＳ９１２で抽出された包含されない黒画素成分を用いて非認識文字画像を抽出する。
ステップＳ９１６では、パターンマッチング処理モジュール８８０が、ステップＳ９１４で抽出された非認識文字画像とステップＳ９１２で抽出された認識文字画像とのパターンマッチング処理を行い、認識文字画像に類似する非認識文字画像に認識文字画像の文字コードを付与する。そして、文字コードが付与された文字画像の文字矩形の位置情報を生成する。
ステップＳ９１８では、文字認識結果出力モジュール８９０が、ステップＳ９１６で生成された文字矩形（認識文字画像の文字矩形、認識文字画像と類似している非認識文字画像の文字矩形）の位置情報、その文字矩形に対応する文字コードを出力する。

図１０は、統合モジュール８６０による処理例を示す説明図である。
統合モジュール８６０は、文字認識モジュール８４０から文字矩形の位置情報を受け取り、その中に包含される黒画素成分を統合して文字画像を生成する。
ここでの包含判定は、例えば、黒画素成分の外接矩形が文字矩形に内包される場合を包含とする。図１０を用いて説明する。文字認識モジュール８４０から渡される文字矩形１０１０の位置情報は、図１０（ａ）の例に示すように、左上位置１０１１、幅１０１２、高さ１０１３である。そして、図１０（ｂ）の例に示すように、黒画素成分の外接矩形１０２１、外接矩形１０２２は、文字矩形１０１０内に内包されている。
又は、文字矩形内で黒画素成分の占める面積割合が所定の閾値以上である場合に、その文字矩形に包含されているとするようにしてもよい。

図１１を参照して、本実施の形態のハードウェア構成例について説明する。図１１に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１１１７と、プリンタなどのデータ出力部１１１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０１は、前述の実施の形態において説明した各種のモジュール、すなわち、行切出モジュール１２０、文字切出モジュール１３０、文字認識モジュール１４０、認識済文字画像除去モジュール１５０、文字画像抽出モジュール１６０、パターンマッチング処理モジュール１７０、連結成分抽出モジュール８５０、統合モジュール８６０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１０２は、ＣＰＵ１１０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１０３は、ＣＰＵ１１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１１０４により相互に接続されている。

ホストバス１１０４は、ブリッジ１１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１１０６に接続されている。

キーボード１１０８、マウス等のポインティングデバイス１１０９は、操作者により操作される入力デバイスである。ディスプレイ１１１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１１１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１１０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けられた画像や文字認識結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１１１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１１１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１１０７、外部バス１１０６、ブリッジ１１０５、及びホストバス１１０４を介して接続されているＲＡＭ１１０３に供給する。リムーバブル記録媒体１１１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１１１４は、外部接続機器１１１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１１１４は、インタフェース１１０７、及び外部バス１１０６、ブリッジ１１０５、ホストバス１１０４等を介してＣＰＵ１１０１等に接続されている。通信部１１１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１１１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１１１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１１に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１１に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１１に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

第１の実施の形態の構成例についての概念的なモジュール構成図である。 第１の実施の形態による処理例を示すフローチャートである。 外接矩形を用いて文字画像を生成する処理例を示す説明図である。 外接矩形を用いて文字画像を生成する処理例を示す説明図である。 パターンマッチング処理モジュールの処理例を示す説明図である。 横書き文字の認識に成功した場合に、その認識結果を縦書き文字に利用する場合の処理例を示す説明図である。 行切出モジュールによる処理が失敗した例とパターンマッチング処理モジュールによって文字コードが与えられた例を示す説明図である。 第２の実施の形態の構成例についての概念的なモジュール構成図である。 第２の実施の形態による処理例を示すフローチャートである。 統合モジュールによる処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１１０…画像受付モジュール
１２０…行切出モジュール
１３０…文字切出モジュール
１４０…文字認識モジュール
１５０…認識済文字画像除去モジュール
１６０…文字画像抽出モジュール
１７０…パターンマッチング処理モジュール
１８０…文字認識結果出力モジュール
８４０…文字認識モジュール
８５０…連結成分抽出モジュール
８６０…統合モジュール
８７０…文字画像抽出モジュール
８８０…パターンマッチング処理モジュール
８９０…文字認識結果出力モジュール

Claims (6)

1. 画像内の文字認識済みの第１の文字画像を該画像から除去する文字画像除去手段と、
   前記文字画像除去手段によって第１の文字画像が除去された画像から第２の文字画像を抽出する文字画像抽出手段と、
   前記文字認識済みの第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段
   を具備することを特徴とする画像処理装置。
2. 前記画像内の文字画像を認識し、該文字画像及び文字認識結果を対応させて出力する認識結果出力手段
   をさらに具備し、
   前記文字画像除去手段が用いる第１の文字画像は、前記認識結果出力手段によって出力される文字画像とし、
   前記認識結果付与手段が用いる第１の文字画像の文字認識結果は、前記第１の文字画像に対応して前記認識結果出力手段によって出力される文字認識結果とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 画像内の黒画素成分を抽出する黒画素成分抽出手段と、
   前記画像内の文字認識済みの文字画像を囲む文字矩形内に含まれる前記黒画素成分を用いて第１の文字画像を生成し、該文字画像に該文字認識結果を付与する文字画像生成認識結果付与手段と、
   前記文字画像生成認識結果付与手段によって用いられなかった黒画素成分を用いて第２の文字画像を抽出する文字画像抽出手段と、
   前記文字画像生成認識結果付与手段によって抽出された第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段
   を具備することを特徴とする画像処理装置。
4. 前記画像内の文字画像を認識し、該文字画像を囲む文字矩形及び文字認識結果を対応させて出力する認識結果出力手段
   をさらに具備し、
   前記文字画像生成認識結果付与手段が用いる文字矩形は、前記認識結果出力手段によって出力される文字矩形とし、
   前記認識結果付与手段が用いる第１の文字画像の文字認識結果は、前記第１の文字画像の文字矩形に対応して前記認識結果出力手段によって出力される文字認識結果とする
   ことを特徴とする請求項３に記載の画像処理装置。
5. コンピュータを、
   画像内の文字認識済みの第１の文字画像を該画像から除去する文字画像除去手段と、
   前記文字画像除去手段によって第１の文字画像が除去された画像から第２の文字画像を抽出する文字画像抽出手段と、
   前記文字認識済みの第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段
   として機能させることを特徴とする画像処理プログラム。
6. コンピュータを、
   画像内の黒画素成分を抽出する黒画素成分抽出手段と、
   前記画像内の文字認識済みの文字画像を囲む文字矩形内に含まれる前記黒画素成分を用いて第１の文字画像を生成し、該文字画像に該文字認識結果を付与する文字画像生成認識結果付与手段と、
   前記文字画像生成認識結果付与手段によって用いられなかった黒画素成分を用いて第２の文字画像を抽出する文字画像抽出手段と、
   前記文字画像生成認識結果付与手段によって抽出された第１の文字画像と前記文字画像抽出手段によって抽出された第２の文字画像を比較して、該第１の文字画像と該第２の文字画像が類似している場合は、該第２の文字画像に該第１の文字画像の文字認識結果を付与する認識結果付与手段
   として機能させることを特徴とする画像処理プログラム。

Images