JP4613397B2 - 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents
画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP4613397B2 JP4613397B2 JP2000195146A JP2000195146A JP4613397B2 JP 4613397 B2 JP4613397 B2 JP 4613397B2 JP 2000195146 A JP2000195146 A JP 2000195146A JP 2000195146 A JP2000195146 A JP 2000195146A JP 4613397 B2 JP4613397 B2 JP 4613397B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- character image
- continuity
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000001514 detection method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 101100005986 Caenorhabditis elegans cth-2 gene Proteins 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像認識技術に関し、特に、入力された画像データ中の文字画像を、文字コードデータに変換するか否かを判定する処理についての画像認識技術に関する。
【０００２】
【従来の技術】
最近の画像認識装置は、読取に関する条件の良い原稿（例えば同一フォントの文字のみで構成された原稿）であれば、極めて高い精度で文字画像を文字コードとして認識可能である。しかしながら、原稿上の文字の品質が悪かったり、原稿上の文字等のレイアウトが複雑であると、文字画像を文字コードとして認識する認識精度が大きく低下し、誤認識される文字画像が増加してしまう。
【０００３】
このような問題に対し、原稿を読み取って得られた画像データのすべてをバックアップ用に保存するシステムが知られている。しかし、バックアップ用の画像データを含んで保存されたファイルの容量は、当然ながら入力された画像データよりも大幅に増えてしまう。
【０００４】
そこで、誤認識されている可能性が高い文字画像のみを、文字コードデータに変換することなく、文字画像データ（例えばビットマップ形式の画像データ）のまま出力する画像認識装置が提案されている。ここで、誤認識の可能性の判断には、例えばあらかじめ記憶されている標準パターンとの類似度などの結果から検出された、文字コードを認識する確からしさの情報が使用される。
【０００５】
【発明が解決しようとする課題】
しかしながら、文字コードを認識する確からしさの情報だけでは、画像データ中の文字画像のうち、どの文字画像が正確に文字コードとして認識されていて、どの文字画像が誤認識されているかという判別の精度はあまり高いものではなく、結果的に誤認識される文字画像を十分に除去することが困難である。
【０００６】
特に、最近では、読み取られる原稿は多様化しており、カラーの原稿や複雑なレイアウトの原稿などが増えている。これに伴って、画像データから文字画像が存在する文字領域を抽出することが難しくなってきている。したがって、例えば、図１１に示すような、非文字である図形が文字部の中に埋め込まれた原稿を読み取る場合、図１２に示すように、得られた画像データ中の非文字画像である図形画像から誤って文字コードを認識して、文字コードデータで出力される事態が生じ得る。なお、図中の符号Ｅ1 は、図形画像から文字コードが誤認識されて得られた文字コードデータ、符号Ｅ2 は、文字画像から文字コードが誤認識されて得られた文字コードデータを示す。しかも、図形画像から文字コードデータＥ1 に変換される際の文字コードを認識する確からしさが、本来の文字画像とあまり変わらない場合がある。このため、文字コードを認識する確からしさの情報だけで文字コードデータに変換するか否かの判定を行うと、図形画像から誤認識されて得られた文字コードデータを除去することができない。
【０００７】
一方、特開平８−５５１８５号公報には、画像データ中の文字画像が存在する文字領域を抽出する段階で、近隣の文字画像との位置関係を調べながら文字領域を抽出するという技術が提案されている。また、特開平８−１６１４２１号公報には、文字領域を抽出する段階で、近隣の文字画像との位置関係を調べて文字領域の候補となる文字候補領域をまず抽出し、この文字候補領域内の画像データのうち文字コードを認識することができる文字画像によって文字領域を再構成するという技術が提案されている。しかしながら、上記公報に開示されたいずれの技術も、画像データ中から文字領域を抽出するための技術に過ぎない。
【０００８】
本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明の目的は、入力された画像データ中の文字画像が文字コードデータに変換される割合を高くしつつ、誤認識の文字コードデータが出力されることを有効に防止することにある。
【０００９】
【課題を解決するための手段】
本発明の目的は、下記する手段により達成される。
【００１０】
（１） 画像認識装置において、入力された画像データ中の文字画像から文字コードを認識する文字認識部と、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する文字連続性度検出部と、文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する出力形式判定部と、を有し、文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成することを特徴とする画像認識装置。
【００１１】
（２） 前記文字連続性度検出部は、文字コードが認識された文字画像と該文字画像の近隣の文字画像との距離、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントサイズの差、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントのタイプの相違、文字コードが認識された文字画像が含まれる連続した文字画像の列の長さ、および文字コードが認識された文字画像と該文字画像の近隣の文字画像との色の差のうち、少なくともいずれか一つ以上を検出することを特徴とする上記（１）に記載の画像認識装置。
【００１４】
（３） 電子ファイルを作成するファイル作成部、をさらに有することを特徴とする上記（１）または（２）に記載の画像認識装置。
【００１５】
（４） 原稿を読み取ることによって画像データを得るスキャナ部、をさらに有することを特徴とする上記（１）〜（３）のいずれかに記載の画像認識装置。
【００１６】
（５） 画像データを受信する画像データ受信部と、データを用紙に印刷するプリント部と、をさらに有することを特徴とする上記（１）〜（４）のいずれかに記載の画像認識装置。
【００１７】
（６） 画像認識方法において、入力された画像データ中の文字画像から文字コードを認識する過程と、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する過程と、文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する過程と、文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成する過程と、を有することを特徴とする画像認識方法。
【００１８】
（７） 画像認識プログラムを記録したコンピュータ読取可能な記録媒体であって、入力された画像データ中の文字画像から文字コードを認識する過程と、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する過程と、文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する過程と、文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成する過程と、をコンピュータに実行させるための画像認識プログラムを記録したコンピュータ読取可能な記録媒体。
【００１９】
【発明の実施の形態】
以下、添付した図面を参照して、本発明の実施形態を説明する。
【００２０】
図１は、本発明の第１実施形態に係る画像認識装置を含む情報機器システムの構成図である。
【００２１】
情報機器システム１００は、画像認識装置としての機能を有するコンピュータ１０、画像入力装置であるスキャナ５０、および、画像出力装置であるプリンタ６０等の情報機器がネットワークＮ上に接続されて構成されている。
【００２２】
コンピュータ１０、スキャナ５０、および、プリンタ６０は、ネットワークＮを経由して互いにデータの授受を行うことができる。
【００２３】
図２は、コンピュータ１０の概略構成を示すブロック図である。
【００２４】
コンピュータ１０は、各情報機器との間でデータの授受を行うためのインターフェース（Ｉ／Ｆ）１８と、スキャナ５０を制御するためのスキャナドライバ１２と、プリンタ６０を制御するためのプリンタドライバ１４と、所定のプログラムやデータを記憶するＲＯＭ１５と、一時的にデータを記憶するＲＡＭ１６と、各種情報の表示やユーザからの指示入力が可能な操作パネル１７と、文字認識等の処理を行う画像処理部１３（詳細後述）と、上記各部を制御する主制御部１１とを有している。なお、スキャナドライバ１２、プリンタドライバ１４は、ソフトウェアであり、図示しないハードディスク等の記憶装置に記憶されている。
【００２５】
図１に示す情報機器システムの動作指示は、コンピュータ１０の操作パネル１７から行うことができる。本実施形態において操作パネル１７は、コンピュータ１０のディスプレイ上に表示される架空のパネルであり、コンピュータ１０を操作するためのキーボードやマウス等の機器により、動作指示を行う。
【００２６】
例えば、操作パネル１７上にはスキャン＆ファイルボタンとスキャン＆プリントボタンとが表示されており、スキャン＆ファイルボタンで動作指示を行った場合には、スキャナ５０は原稿読取動作を開始し、読み取りによって得られた画像データはコンピュータ１０に送信され、画像処理部１３にて文字認識等の画像処理がなされた後、所定の形式のファイルとしてコンピュータ１０内の記憶装置に保存される。
【００２７】
また、スキャン＆プリントボタンで動作指示を行った場合には、スキャナ５０の読み取りによって得られた画像データは、画像処理部１３にて文字認識等の画像処理がなされた後、プリンタ６０に送信され用紙上に印刷される。
【００２８】
次に、画像処理部１３について詳細に説明する。
【００２９】
画像処理部１３は、文字認識部３１、文字色検出部３２、出力形式判定部３３、文字画像データ作成部３４、文字消去部３５、およびファイル作成部３６を備えている。
【００３０】
文字認識部３１は、個々の文字画像から文字コードを認識して文字コードデータを得るほか、文字コードを認識する確からしさの度合いである文字認識確度を検出する。文字画像から文字コードを認識する方法は、例えば、各文字画像の特徴量とあらかじめ記憶されている辞書パターンとの一致の度合いに基づいて行われる。文字認識確度は、例えば１０段階で与えられ、値が大きいと文字認識確度が高いことを意味する。また、文字認識部３１は、文字画像の位置情報を認識する。個々の文字画像の位置情報は、例えば図３に示すように、画像データの左上を原点として、各文字画像の外接矩形の左上および右下の座標として得られる。
さらに、文字認識部３１は、文字画像から、フォントのタイプやフォントサイズ、さらには太字・斜体などのスタイル、アンダーライン等の文字属性を認識する。
【００３１】
フォントのタイプは、例えばセリフ系とサンセリフ系などに分類されて判別される。また、フォントサイズは、個々の文字画像の外接矩形の大きさと、文字コードが認識されて得られた文字コードデータを一般的なフォントで表した場合の大きさとを比較することにより求められる。所定の代表的なフォントの文字高さや文字幅などの情報、すなわちフォントメトリックデータは、あらかじめデータとして記憶されている。
【００３２】
文字色検出部３２は、文字コードが認識された個々の文字画像の色を検出する。
【００３３】
出力形式判定部３３は、文字コードが認識された文字画像を、文字コードデータに変換するか否かの判定を行う。本実施形態では、出力形式判定部３３は、文字コードが認識された文字画像を調べて、文字コードデータに変換するか、文字コードデータに変換せずに、入力された画像データ中の文字画像が切り出されて形成され、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成するか、あるいは入力された画像データのまま元の位置に残すか、の判定を行う。そして、文字画像データ作成部３４は、文字コードが認識された文字画像のうち、文字画像データを作成する旨の判定が行われた文字画像を、入力された画像データから切り出して文字画像データを作成する。
【００３４】
文字消去部３５は、元の画像データ、すなわち入力されたカラーの画像データから、文字コードデータまたは文字画像データとされた後の元の文字画像を消去する。
【００３５】
ファイル作成部３６は、入力された画像データ中の文字画像から得られた文字コードデータや文字画像データなどを用いて、所定の形式のファイルを作成する。
【００３６】
次に、画像処理部１３の動作を図４および図５のフローチャートを用いて説明する。
【００３７】
まず、スキャナ５０で原稿を読み取ることによって得られた画像データに対し、ＲＧＢ表色系からＬａｂ表色系へと色空間の変換を行う（Ｓ１１）。Ｌａｂ表色系は、スキャナあるいはプリンタ等の個々の情報機器に依存しないので、ネットワークＮ上で共通の色情報として扱うことができるものである。
【００３８】
次に、文字認識部３１に入力する画像データを作成するために、ＯＣＲ前処理が行われる（Ｓ１２）。後に文字認識部３１がモノクロ２値画像データから特徴量を抽出して文字コードの認識を行うことから、ＯＣＲ前処理では、まず、Ｌａｂ表色系で表示されたカラー画像データに対して２値化処理を行うことにより、文字画像が黒で、その背景画像が白のモノクロ２値画像データを作成する。本実施形態では、文字画像およびその背景画像のＬ、ａ、ｂのレベルを検出することにより、例えば白地に書かれた色文字や、色地に書かれた黒文字等が原稿上に表されていても、原稿を読み取ることによって入力された画像データ中の文字画像から十分に文字コードを認識することができるように２値化処理を行う。この他、ＯＣＲ前処理では、入力された画像データ中の孤立点等のノイズの除去、原稿が傾いて読み取られた場合の補正処理、つぶれたりかすれたりしている文字画像の補正なども行われる。
【００３９】
ＯＣＲ前処理により得られたモノクロ２値画像データは、文字認識部３１に入力され、文字認識処理が行われる（Ｓ１３）。文字認識部３１は、モノクロ２値画像データから文字画像が存在する文字領域の抽出を行った後、文字領域内の個々の文字画像から文字コードを認識する。また、文字認識部３１は、文字コードを認識する確からしさの度合いである文字認識確度を検出することができ、さらに、文字画像の位置情報のほか、フォントのタイプ、フォントサイズ、太字・斜体などのスタイル、アンダーライン等の文字属性を認識する。
【００４０】
次いで、文字色検出処理が行われる（Ｓ１４）。すなわち、文字コードが認識された個々の文字画像の色は、文字色検出部３２により検出される。ここでは、Ｌａｂ表色系に色変換された画像データが使用される。文字画像の色の検出は、例えば、画像データ中の文字画像が存在する文字領域のＬａｂの値を読み取り、文字画像を構成する全画素について、Ｌ、ａ、ｂそれぞれの平均値を求めることにより行う。文字画像とその背景画像との画素の区別は、ＯＣＲ前処理（Ｓ１２）で得られたモノクロ２値画像データを用いて行う。つまり、個々の文字画像の外接矩形内において、モノクロ２値画像データにおける黒画素を文字画像の画素、白画素を背景画像の画素と区別することができる。
【００４１】
文字画像を文字コードデータに変換して出力する場合、文字色検出部３２により検出された個々の文字画像の色情報に基づいて、色を指定して文字コードデータが出力される。これにより、例えば原稿上の文字の色を再現することができる。
【００４２】
そして、文字領域内の個々の文字画像について出力形式の判定処理が行われる（Ｓ１５）。すなわち、出力形式判定部３３により、文字コードが認識された文字画像を、文字コードデータに変換するか否かの判定が行われる。
【００４３】
出力形式判定部３３は、大きく分けて２つの評価量に基づいて、出力形式の判定を行う。出力形式の判定を行うための第１の評価量は、文字コードを認識する確からしさの度合いである文字認識確度である。出力形式の判定を行うための第２の評価量は、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度である。この文字連続性度は、文字画像から認識される文字属性の連続性の面から、文字らしさを評価した値であり、その詳細は後述する。
【００４４】
そして、出力形式判定部３３は、文字コードが認識された文字画像のうち、文字コードデータに変換しないと判定した文字画像を、さらに２つの出力形式に分類して判定する。すなわち、出力形式判定部３３は、文字コードが認識された文字画像が文字画像には違いないものの文字認識確度が小さい場合、隣接する文字コードデータに重なることなく連続して配置するために、入力された画像データ中の文字画像を切り出して文字画像データを作成すると判定する。また、出力形式判定部３３は、文字コードが認識された文字画像が非文字画像である図形画像であるにもかかわらず誤って文字コードが認識されたと考えられる場合、当該文字画像を入力された画像データのまま元の位置に残すと判定する。
【００４５】
次に、文字コードが認識された文字画像についての出力形式の判定処理についてさらに詳しく説明する。
【００４６】
文字認識部３１からは、個々の文字画像に対して、文字コードデータのほか、セリフ系・サンセリフ系などのフォントのタイプ、フォントサイズ、太字・斜体などのスタイル、アンダーライン等の文字属性、文字認識確度、文字コードが認識された各文字画像ごとの位置情報、などの情報が出力される。そして、これら文字認識部３１からの情報をもとに、文字画像の位置や文字属性についての連続性を検出して文字らしさを評価する。前述したように、文字認識処理では、ある程度周辺の文字画像との位置関係を調べて、より文字らしい部分を文字領域として画像データから抽出するが、抽出された文字領域内に非文字画像である図形画像が文字画像と間違えられて含まれている場合がある。本実施形態では、特に、これらの孤立した文字画像を誤って文字コードデータに変換することのないように、すべての文字画像から文字コードを認識した後に、当該文字画像を文字コードデータに変換するか否かの判定を行うようにしている。
【００４７】
文字連続性度、すなわち文字らしさの評価量は、文字コードが認識された文字画像と該文字画像の近隣の文字画像との距離、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントサイズの差、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントのタイプの相違、文字コードが認識された文字画像が含まれる連続した文字画像の列の長さ、および文字コードが認識された文字画像と該文字画像の近隣の文字画像との色の差、の５項目について順に調べ、各項目において文字画像の連続性に着目した評価ポイントを算出することにより検出される。
【００４８】
具体的には、図５に示すように、まず、注目する個々の文字画像の順番を示す変数ｎを初期化する（Ｓ２１）。
【００４９】
そして、文字コードが認識された文字画像と該文字画像の近隣の文字画像との距離に基づいて、第１の評価ポイントを計算する（Ｓ２２）。ここでは、注目文字画像の前後±ｋ個の文字画像の位置情報（図３参照）が調べられ、次式により第１の評価ポイントＰ1nが計算される。なお、式中の添字は、個々の文字画像の順番を示す（以下の式において同様）。
【００５０】
【数１】
【００５１】
但し、Ｐ1n＜０のときは、Ｐ1n＝０
Ｍ1 ：第１の評価ポイントの最大値
Ｘ1 ：文字コードが認識された文字画像の外接矩形の左Ｘ座標
Ｘ2 ：文字コードが認識された文字画像の外接矩形の右Ｘ座標
Ｙ1 ：文字コードが認識された文字画像の外接矩形の上Ｙ座標
Ｙ2 ：文字コードが認識された文字画像の外接矩形の下Ｙ座標
である。
【００５２】
上記式に示すように、近隣文字画像との距離が大きい程、第１の評価ポイントは小さくなる。すなわち、注目文字画像が近隣文字画像から離れている程、連続性が小さく、文字画像である可能性が低いということを表している。
【００５３】
なお、上記式からわかるように、例えば複数の文字画像が横に並んで形成された行の右端や左端の文字画像を考慮するため、注目文字画像の右側の近隣文字画像との距離と左側の近隣文字画像との距離とを調べて、両者のうち小さい方が評価ポイントの計算に使用される。
【００５４】
次に、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントサイズの差に基づいて、第２の評価ポイントを計算する（Ｓ２３）。ここでは、注目文字画像の前後±ｋ個の文字画像のフォントサイズが調べられ、次式により第２の評価ポイントＰ2nが計算される。
【００５５】
【数２】
【００５６】
但し、Ｐ2n＜０のときは、Ｐ2n＝０
Ｍ1 ：第２の評価ポイントの最大値
Ｓ ：フォントサイズ
である。
【００５７】
上記式の分母は、近隣文字画像の平均フォントサイズを表す。上記式に示すように、近隣文字画像とのフォントサイズの差が大きい程、連続性が小さく、第２の評価ポイントは小さくなる。
【００５８】
次に、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントのタイプの相違に基づいて、第３の評価ポイントを計算する（Ｓ２４）。
ここでは、注目文字画像の前後±ｋ個の文字画像のフォントのタイプが調べられ、注目文字画像とフォントのタイプが相違している文字画像の数をＮf として、次式により第３の評価ポイントＰ3nが計算される。
【００５９】
Ｐ3n＝Ｍ3 −Ｎf
但し、Ｐ3n＜０のときは、Ｐ3n＝０
Ｍ3 ：第３の評価ポイントの最大値
である。
【００６０】
上記式に示すように、近隣文字画像とのフォントのタイプの相違が多い程、連続性が小さく、第３の評価ポイントは小さくなる。
【００６１】
次に、文字コードが認識された文字画像が含まれる連続した文字画像の列の長さに基づいて、第４の評価ポイントを計算する（Ｓ２５）。ここでは、注目文字画像の前後に、順に個々の文字画像の外接矩形の間隔を調べ、当該間隔が所定の閾値ＴＨ以上であれば、文字画像列の区切りであると判断する。なお、閾値ＴＨは、例えば近隣文字画像の平均サイズによって変化させるのが望ましい。そして、注目文字画像をｎ番目の文字画像として、注目文字画像の左側に存在するｉ1 番目の文字画像から、注目文字画像の右側に存在するｉ2 番目の文字画像までが、一つの文字画像列であると判断されると、次式により第４の評価ポイントＰ4nが計算される。
【００６２】
Ｐ4n＝ｉ2 −ｉ1 ＋１
但し、Ｐ4n＞Ｍ4 のときは、Ｐ4n＝Ｍ4
Ｍ4 ：第４の評価ポイントの最大値
である。
【００６３】
上記式に示すように、文字画像列が長い程、連続性が大きいとされ、第４の評価ポイントは大きくなる。
【００６４】
最後に、文字コードが認識された文字画像と該文字画像の近隣の文字画像との色の差に基づいて、第５の評価ポイントを計算する（Ｓ２６）。ここでは、注目文字画像の前後±ｋ個の文字画像の色が調べられ、次式により第５の評価ポイントＰ5nが計算される。
【００６５】
【数３】
【００６６】
但し、Ｐ5n＜０のときは、Ｐ5n＝０
Ｍ5 ：第５の評価ポイントの最大値
Ｌ，ａ，ｂ：文字画像の色をＬａｂ表色系で表した値
である。
【００６７】
上記式に示すように、近隣文字画像との色の差が大きい程、連続性が小さく、第５の評価ポイントは小さくなる。
【００６８】
以上のようにして求められた第１〜５の評価ポイントから、総合評価ポイントとしての文字連続性度Ｐn が、次式により計算される（Ｓ２７）。
【００６９】
Ｐn ＝Ｗ1 ×Ｐ1n＋Ｗ2 ×Ｐ2n＋Ｗ3 ×Ｐ3n＋Ｗ4 ×Ｐ4n＋Ｗ5 ×Ｐ5n
但し、Ｗ1 〜Ｗ5 は、それぞれの評価ポイントにたいするウェイトであり、適宜設定することができる。
【００７０】
一方、この文字連続性度Ｐn とは別に、文字コードを認識する確からしさの度合いである文字認識確度Ｃn が、各文字画像ごとに得られる。
【００７１】
そして、出力形式判定部３３は、文字認識確度Ｃn のほか、近隣の文字画像との連続性の度合いである文字連続性度Ｐn を用いて、既に文字コードが認識された各文字画像について、出力形式の判定を行う。
【００７２】
図６は、出力形式の判定基準を説明するための図である。
【００７３】
まず、文字認識確度Ｃn の閾値として、例えば小さい方の閾値ＣＴh1と大きい方の閾値ＣＴh2とが設定され、文字連続性度Ｐn の閾値として、例えば小さい方の閾値ＰＴh1と大きい方の閾値ＰＴh2とが設定される。
【００７４】
出力形式判定部３３は、まず、文字認識確度Ｃn が大きい方の閾値ＣＴh2より大きい文字画像を、文字コードデータに変換する旨の判定を行う（Ｓ２８でＹＥＳ、Ｓ３３）。出力形式判定部３３は、また、文字認識確度Ｃn が小さい方の閾値ＣＴh1より大きく、且つ文字連続性度Ｐn が小さい方の閾値ＰＴh1より大きい文字画像も、文字コードを正しく認識していると判断して、文字コードデータに変換する旨の判定を行う（Ｓ２９でＹＥＳ、Ｓ３３）。すなわち、文字認識確度Ｃn が非常に大きい文字画像（Ｃn ＞ＣＴh2）は、文字コードデータに変換すると判定され、文字認識確度Ｃn が中ぐらいの文字画像（ＣＴh1＜Ｃn ＜ＣＴh2）は、文字連続性度Ｐn が閾値ＰＴh1より大きい場合に限って文字コードデータに変換すると判定される。
【００７５】
上記の２つのステップＳ２８およびＳ２９で文字コードデータに変換しないと判定された文字画像は、文字連続性度Ｐn により、さらに２つの出力形式に分類されて判定される。すなわち、文字コードデータに変換しないと判定された文字画像のうち、文字連続性度Ｐn が閾値ＰＴh2より大きい文字画像は、入力された画像データ中の文字画像を切り出して文字画像データを作成すると判定される。
一方、文字コードデータに変換しないと判定された文字画像のうち、文字連続性度Ｐn が閾値ＰＴh2以下の文字画像は、入力された画像データのまま元の位置に残すと判定される。
【００７６】
このように、文字認識部３１により文字コードが認識された文字画像は、出力形式判定部３３により、最終的に３つに分類される。すなわち、個々の文字画像は、確実に文字コードが認識されたと判断されて、文字コードデータで出力する旨の判定が行われたもの（図６中のＡ1 で示す領域）と、文字画像には違いないが正しい文字コードが認識できたか否かが疑わしい文字画像と判断されて、隣接する文字コードデータに重なることなく連続して配置される文字画像データで出力する旨の判定が行われたもの（図６中のＡ2 で示す領域）と、近隣文字画像との連続性が少なく、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識された文字画像であると判断されて、入力された画像データのまま元の位置に残す旨の判定が行われたもの（図６中のＡ3 で示す領域）と、に分類される。
【００７７】
そして、注目する文字画像の順番を示す変数ｎを繰り上げ（Ｓ３４）、画像データ内の全文字画像について、上記の処理を繰り返し行う（Ｓ３５）。
【００７８】
このようにして、画像データ中の個々の文字画像について出力形式の判定処理が終了すると、図４に示すメインフローチャートに戻り、文字画像データの作成が行われる（Ｓ１６）。すなわち、文字画像データ作成部３４は、文字認識部３１から出力される文字画像の位置情報にしたがって、画像データ中の文字画像を切り出して文字画像データを作成する。このとき、個々の文字画像ごとに外接矩形領域の画像データが切り出される。
【００７９】
ここで、文字画像データとして出力する文字画像を、原稿を読み取って得られた画像データとして元の位置に残さず、個々の文字画像単位で切り出すのは、文字コードデータと文字画像データとが重ならないようにするためである。つまり、一般に、入力フォントと出力フォントとが全く同じである場合は少ないので、例えば文字画像から変換された文字コードデータが配置される位置と、入力時の画像データ中の文字画像の位置とは、多少ずれてしまう。したがって、文字画像を一文字画像ずつ切り出さずに元の画像データとして残した場合、そのままで文字コードデータを配置すると、文字コードデータと原稿を読み取って得られた元の画像データ中の文字画像とが重なるといった問題が生じ得る。そこで、本実施形態では、一文字画像ずつ切り出しておいて、文字画像データを作成し、例えば文字コードデータを出力フォントで配置した位置に続けて、切り出しておいた文字画像データを配置する。
【００８０】
また、文字画像データ作成部３４は、文字画像データを作成する際に、文字画像の外接矩形内に対して、エッジ強調、または当該文字画像に適したγ変換を行う。これにより、例えばビットマップで表された文字画像データでも、用紙に印刷して鮮明な文字を再現することができる。
【００８１】
次に、文字消去処理が行われる（Ｓ１７）。すなわち、文字画像から文字コードデータまたは文字画像データを得た後、文字消去部３５により、原稿を読み取ることによって入力されたカラーの画像データから、文字コードデータまたは文字画像データとされた後の元の文字画像が消去される。
【００８２】
図７は、文字消去処理を説明するための図である。図７に示すように、個々の文字画像の外接矩形内における画像データ（図７（Ａ））から、文字画像に当たる部分を一旦消去し（図７（Ｂ））、周囲の画像データで補完する（図７（Ｃ））。消去する部分は、当該文字画像の外接矩形内におけるモノクロ２値画像データから黒を２〜３画素膨張させる処理を行うことによって求める。なお、原稿を読み取ることによって入力された元の画像データから文字画像に当たる部分を除去した後の画像データには、図７（Ｂ）に示すように、文字画像以外の画像データ、すなわち、写真や線画に対応する画像、背景画像などが残っている。
【００８３】
以上の処理を実施することにより、例えば図８に示すように、画像データ中の文字画像から、文字コードデータＤ1 と文字画像データＤ2 とが、また、非文字画像である図形画像をそのまま残した画像データＤ3 が得られる。なお、図９は、文字コードデータ、文字画像データ、および画像データの内容を別々に示す図である。図８および図９に示されるように、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識された孤立して存在している文字画像は、文字コードデータに変換されないので、図１２のように図形画像の部分に誤認識の文字コードデータが出力されることはない。
【００８４】
そして、これらの文字コードデータ、文字画像データ、および画像データは、所定のファイル形式でページ内に配置されて保存される（Ｓ１８）。なお、スキャン＆プリントボタンが選択されている場合は、所定のデータがプリンタ６０に送信されて用紙に印刷される。
【００８５】
このように、本実施形態によれば、文字画像から文字コードを認識した後に、当該文字画像を文字コードデータに変換するか否かの判定を、文字連続性度を用いて行うようにしたので、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識されて、文字コードデータとして出力される事態を有効に防止することができる。
【００８６】
しかも、文字連続性度を用いることにより、文字コードを認識する確からしさに高目の厳しい閾値を設けなくても誤認識の文字コードデータを除去することが可能となるため、入力された画像データ中の文字画像が文字コードデータに変換される割合を高く維持することができる。
【００８７】
本発明は、上記した実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。
【００８８】
例えば、上記実施形態では、入力された画像データの色空間を、ＲＧＢ表色系からＬａｂ表色系に変換して画像処理するようにしたが、スキャナ５０で読み取って得られた画像データのＲＧＢ表色系等、他の色空間を使用して画像処理を行うことも可能である。
【００８９】
また、上述した文字画像の連続性に着目した第１〜第５の評価ポイントを算出する方法は、上記実施形態で示した式等に限定されるものではない。例えば、次式により第２の評価ポイントＰ2nを計算することも可能である。
【００９０】
【数４】
【００９１】
また、上記実施形態では、文字連続性度Ｐn は、第１〜５の評価ポイントに基づいて総合的に求められるが、これに限定されるものではない。文字連続性度Ｐn は、例えば、第１〜５の評価ポイントのうちの一つ、あるいは二つ以上を任意に組み合わせたものに基づいて求められるようにすることも可能である。
【００９２】
また、上記実施形態では、出力形式判定部３３は、文字認識確度Ｃn と文字連続性度Ｐn とに基づいて、図６に示す方法で、各文字画像についての出力形式の判定を行っているが、これに限定されるものではない。出力形式判定部３３は、例えば、文字認識確度Ｃn の閾値ＣＴh を文字連続性度Ｐn に応じて連続的に変化させる図１０に示す方法で、各文字画像についての出力形式の判定を行うことも可能である。
【００９３】
また、簡易な出力形式の判定処理を行う場合には、文字画像から文字コードを認識する確からしさの度合いを定量的に（例えば１０段階で）検出することなく、文字画像から文字コードを認識できたか否かのみを検出し、出力形式判定部３３が、文字コードが認識された文字画像を文字コードデータに変換するか否かを、文字連続性度を用いて判定するようにしてもよい。
【００９４】
さらに、上記実施形態では、画像認識装置としてコンピュータを例に挙げて説明したが、本発明の画像認識装置はこれに限定されるものではなく、例えば同様の処理をスキャナで行ってコンピュータやプリンタ等に送信するシステム、スキャナから直接画像データを受信してプリンタで同様の処理を行うシステム、原稿の読み取りから用紙への印刷までの処理をカラーのデジタルコピー機ですべて行うシステム、等にも適用することが可能である。
【００９５】
なお、上記した実施形態において、画像認識の制御は、上記した処理手順（図４、図５参照）を記述した所定のプログラムを主制御部１１が実行することによって行われるものであり、この所定のプログラムは、コンピュータ読取可能な記録媒体（例えば、フロッピーディスクやＣＤ−ＲＯＭ等）によって提供されることもできる。また、この所定のプログラムは、上記各処理を実行するアプリケーションソフトウェアとして提供されてもよいし、コンピュータ、デジタルコピー機、スキャナ、プリンタ等の各情報機器や管理サーバの一機能として各情報機器や管理サーバのソフトウェアに組み込んでもよい。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、文字画像から文字コードを認識した後に、当該文字画像を文字コードデータに変換するか否かの判定を、文字連続性度を用いて行うようにしたので、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識されて、文字コードデータとして出力される事態を有効に防止することができる。
【００９７】
しかも、文字連続性度を用いることにより、文字コードを認識する確からしさに高目の厳しい閾値を設けなくても誤認識の文字コードデータを除去することが可能となるため、入力された画像データ中の文字画像が文字コードデータに変換される割合を高く維持することができる。
【００９８】
また、文字コードデータに変換しないと判定された文字画像のうち文字連続性度が所定値以上の文字画像を切り出して文字画像データを作成し、隣接する文字コードデータに重なることなく連続して配置するようにしたので、文字コードデータと文字画像データとを重なることなく出力することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る画像認識装置を含む情報機器システムの構成を示す図である。
【図２】 図１に示されるコンピュータの概略構成を示すブロック図である。
【図３】 各文字画像の位置情報を説明するための図である。
【図４】 画像認識処理を示すフローチャートである。
【図５】 図４に示される出力形式判定処理を示すサブルーチンのフローチャートである。
【図６】 出力形式の判定基準を説明するための図である。
【図７】 文字消去処理を説明するための図である。
【図８】 文字コードデータ、文字画像データ、および非文字画像である図形画像をそのまま残した画像データをあわせて配置した一例を示す図である。
【図９】 文字コードデータ、文字画像データ、および画像データの内容を別々に示す図である。
【図１０】 出力形式の他の判定基準を説明するための図である。
【図１１】 非文字である図形が文字部の中に埋め込まれた原稿の一例を示す図である。
【図１２】 従来の画像認識装置により、図１１の原稿を読み取って得られた画像データを画像処理して出力した一例を示す図である。
【符号の説明】
１０…コンピュータ（画像認識装置）、
３１…文字認識部、
３３…出力形式判定部、
３４…文字画像データ作成部、
３６…ファイル作成部。
【発明の属する技術分野】
本発明は、画像認識技術に関し、特に、入力された画像データ中の文字画像を、文字コードデータに変換するか否かを判定する処理についての画像認識技術に関する。
【０００２】
【従来の技術】
最近の画像認識装置は、読取に関する条件の良い原稿（例えば同一フォントの文字のみで構成された原稿）であれば、極めて高い精度で文字画像を文字コードとして認識可能である。しかしながら、原稿上の文字の品質が悪かったり、原稿上の文字等のレイアウトが複雑であると、文字画像を文字コードとして認識する認識精度が大きく低下し、誤認識される文字画像が増加してしまう。
【０００３】
このような問題に対し、原稿を読み取って得られた画像データのすべてをバックアップ用に保存するシステムが知られている。しかし、バックアップ用の画像データを含んで保存されたファイルの容量は、当然ながら入力された画像データよりも大幅に増えてしまう。
【０００４】
そこで、誤認識されている可能性が高い文字画像のみを、文字コードデータに変換することなく、文字画像データ（例えばビットマップ形式の画像データ）のまま出力する画像認識装置が提案されている。ここで、誤認識の可能性の判断には、例えばあらかじめ記憶されている標準パターンとの類似度などの結果から検出された、文字コードを認識する確からしさの情報が使用される。
【０００５】
【発明が解決しようとする課題】
しかしながら、文字コードを認識する確からしさの情報だけでは、画像データ中の文字画像のうち、どの文字画像が正確に文字コードとして認識されていて、どの文字画像が誤認識されているかという判別の精度はあまり高いものではなく、結果的に誤認識される文字画像を十分に除去することが困難である。
【０００６】
特に、最近では、読み取られる原稿は多様化しており、カラーの原稿や複雑なレイアウトの原稿などが増えている。これに伴って、画像データから文字画像が存在する文字領域を抽出することが難しくなってきている。したがって、例えば、図１１に示すような、非文字である図形が文字部の中に埋め込まれた原稿を読み取る場合、図１２に示すように、得られた画像データ中の非文字画像である図形画像から誤って文字コードを認識して、文字コードデータで出力される事態が生じ得る。なお、図中の符号Ｅ1 は、図形画像から文字コードが誤認識されて得られた文字コードデータ、符号Ｅ2 は、文字画像から文字コードが誤認識されて得られた文字コードデータを示す。しかも、図形画像から文字コードデータＥ1 に変換される際の文字コードを認識する確からしさが、本来の文字画像とあまり変わらない場合がある。このため、文字コードを認識する確からしさの情報だけで文字コードデータに変換するか否かの判定を行うと、図形画像から誤認識されて得られた文字コードデータを除去することができない。
【０００７】
一方、特開平８−５５１８５号公報には、画像データ中の文字画像が存在する文字領域を抽出する段階で、近隣の文字画像との位置関係を調べながら文字領域を抽出するという技術が提案されている。また、特開平８−１６１４２１号公報には、文字領域を抽出する段階で、近隣の文字画像との位置関係を調べて文字領域の候補となる文字候補領域をまず抽出し、この文字候補領域内の画像データのうち文字コードを認識することができる文字画像によって文字領域を再構成するという技術が提案されている。しかしながら、上記公報に開示されたいずれの技術も、画像データ中から文字領域を抽出するための技術に過ぎない。
【０００８】
本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明の目的は、入力された画像データ中の文字画像が文字コードデータに変換される割合を高くしつつ、誤認識の文字コードデータが出力されることを有効に防止することにある。
【０００９】
【課題を解決するための手段】
本発明の目的は、下記する手段により達成される。
【００１０】
（１） 画像認識装置において、入力された画像データ中の文字画像から文字コードを認識する文字認識部と、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する文字連続性度検出部と、文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する出力形式判定部と、を有し、文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成することを特徴とする画像認識装置。
【００１１】
（２） 前記文字連続性度検出部は、文字コードが認識された文字画像と該文字画像の近隣の文字画像との距離、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントサイズの差、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントのタイプの相違、文字コードが認識された文字画像が含まれる連続した文字画像の列の長さ、および文字コードが認識された文字画像と該文字画像の近隣の文字画像との色の差のうち、少なくともいずれか一つ以上を検出することを特徴とする上記（１）に記載の画像認識装置。
【００１４】
（３） 電子ファイルを作成するファイル作成部、をさらに有することを特徴とする上記（１）または（２）に記載の画像認識装置。
【００１５】
（４） 原稿を読み取ることによって画像データを得るスキャナ部、をさらに有することを特徴とする上記（１）〜（３）のいずれかに記載の画像認識装置。
【００１６】
（５） 画像データを受信する画像データ受信部と、データを用紙に印刷するプリント部と、をさらに有することを特徴とする上記（１）〜（４）のいずれかに記載の画像認識装置。
【００１７】
（６） 画像認識方法において、入力された画像データ中の文字画像から文字コードを認識する過程と、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する過程と、文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する過程と、文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成する過程と、を有することを特徴とする画像認識方法。
【００１８】
（７） 画像認識プログラムを記録したコンピュータ読取可能な記録媒体であって、入力された画像データ中の文字画像から文字コードを認識する過程と、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する過程と、文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する過程と、文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成する過程と、をコンピュータに実行させるための画像認識プログラムを記録したコンピュータ読取可能な記録媒体。
【００１９】
【発明の実施の形態】
以下、添付した図面を参照して、本発明の実施形態を説明する。
【００２０】
図１は、本発明の第１実施形態に係る画像認識装置を含む情報機器システムの構成図である。
【００２１】
情報機器システム１００は、画像認識装置としての機能を有するコンピュータ１０、画像入力装置であるスキャナ５０、および、画像出力装置であるプリンタ６０等の情報機器がネットワークＮ上に接続されて構成されている。
【００２２】
コンピュータ１０、スキャナ５０、および、プリンタ６０は、ネットワークＮを経由して互いにデータの授受を行うことができる。
【００２３】
図２は、コンピュータ１０の概略構成を示すブロック図である。
【００２４】
コンピュータ１０は、各情報機器との間でデータの授受を行うためのインターフェース（Ｉ／Ｆ）１８と、スキャナ５０を制御するためのスキャナドライバ１２と、プリンタ６０を制御するためのプリンタドライバ１４と、所定のプログラムやデータを記憶するＲＯＭ１５と、一時的にデータを記憶するＲＡＭ１６と、各種情報の表示やユーザからの指示入力が可能な操作パネル１７と、文字認識等の処理を行う画像処理部１３（詳細後述）と、上記各部を制御する主制御部１１とを有している。なお、スキャナドライバ１２、プリンタドライバ１４は、ソフトウェアであり、図示しないハードディスク等の記憶装置に記憶されている。
【００２５】
図１に示す情報機器システムの動作指示は、コンピュータ１０の操作パネル１７から行うことができる。本実施形態において操作パネル１７は、コンピュータ１０のディスプレイ上に表示される架空のパネルであり、コンピュータ１０を操作するためのキーボードやマウス等の機器により、動作指示を行う。
【００２６】
例えば、操作パネル１７上にはスキャン＆ファイルボタンとスキャン＆プリントボタンとが表示されており、スキャン＆ファイルボタンで動作指示を行った場合には、スキャナ５０は原稿読取動作を開始し、読み取りによって得られた画像データはコンピュータ１０に送信され、画像処理部１３にて文字認識等の画像処理がなされた後、所定の形式のファイルとしてコンピュータ１０内の記憶装置に保存される。
【００２７】
また、スキャン＆プリントボタンで動作指示を行った場合には、スキャナ５０の読み取りによって得られた画像データは、画像処理部１３にて文字認識等の画像処理がなされた後、プリンタ６０に送信され用紙上に印刷される。
【００２８】
次に、画像処理部１３について詳細に説明する。
【００２９】
画像処理部１３は、文字認識部３１、文字色検出部３２、出力形式判定部３３、文字画像データ作成部３４、文字消去部３５、およびファイル作成部３６を備えている。
【００３０】
文字認識部３１は、個々の文字画像から文字コードを認識して文字コードデータを得るほか、文字コードを認識する確からしさの度合いである文字認識確度を検出する。文字画像から文字コードを認識する方法は、例えば、各文字画像の特徴量とあらかじめ記憶されている辞書パターンとの一致の度合いに基づいて行われる。文字認識確度は、例えば１０段階で与えられ、値が大きいと文字認識確度が高いことを意味する。また、文字認識部３１は、文字画像の位置情報を認識する。個々の文字画像の位置情報は、例えば図３に示すように、画像データの左上を原点として、各文字画像の外接矩形の左上および右下の座標として得られる。
さらに、文字認識部３１は、文字画像から、フォントのタイプやフォントサイズ、さらには太字・斜体などのスタイル、アンダーライン等の文字属性を認識する。
【００３１】
フォントのタイプは、例えばセリフ系とサンセリフ系などに分類されて判別される。また、フォントサイズは、個々の文字画像の外接矩形の大きさと、文字コードが認識されて得られた文字コードデータを一般的なフォントで表した場合の大きさとを比較することにより求められる。所定の代表的なフォントの文字高さや文字幅などの情報、すなわちフォントメトリックデータは、あらかじめデータとして記憶されている。
【００３２】
文字色検出部３２は、文字コードが認識された個々の文字画像の色を検出する。
【００３３】
出力形式判定部３３は、文字コードが認識された文字画像を、文字コードデータに変換するか否かの判定を行う。本実施形態では、出力形式判定部３３は、文字コードが認識された文字画像を調べて、文字コードデータに変換するか、文字コードデータに変換せずに、入力された画像データ中の文字画像が切り出されて形成され、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成するか、あるいは入力された画像データのまま元の位置に残すか、の判定を行う。そして、文字画像データ作成部３４は、文字コードが認識された文字画像のうち、文字画像データを作成する旨の判定が行われた文字画像を、入力された画像データから切り出して文字画像データを作成する。
【００３４】
文字消去部３５は、元の画像データ、すなわち入力されたカラーの画像データから、文字コードデータまたは文字画像データとされた後の元の文字画像を消去する。
【００３５】
ファイル作成部３６は、入力された画像データ中の文字画像から得られた文字コードデータや文字画像データなどを用いて、所定の形式のファイルを作成する。
【００３６】
次に、画像処理部１３の動作を図４および図５のフローチャートを用いて説明する。
【００３７】
まず、スキャナ５０で原稿を読み取ることによって得られた画像データに対し、ＲＧＢ表色系からＬａｂ表色系へと色空間の変換を行う（Ｓ１１）。Ｌａｂ表色系は、スキャナあるいはプリンタ等の個々の情報機器に依存しないので、ネットワークＮ上で共通の色情報として扱うことができるものである。
【００３８】
次に、文字認識部３１に入力する画像データを作成するために、ＯＣＲ前処理が行われる（Ｓ１２）。後に文字認識部３１がモノクロ２値画像データから特徴量を抽出して文字コードの認識を行うことから、ＯＣＲ前処理では、まず、Ｌａｂ表色系で表示されたカラー画像データに対して２値化処理を行うことにより、文字画像が黒で、その背景画像が白のモノクロ２値画像データを作成する。本実施形態では、文字画像およびその背景画像のＬ、ａ、ｂのレベルを検出することにより、例えば白地に書かれた色文字や、色地に書かれた黒文字等が原稿上に表されていても、原稿を読み取ることによって入力された画像データ中の文字画像から十分に文字コードを認識することができるように２値化処理を行う。この他、ＯＣＲ前処理では、入力された画像データ中の孤立点等のノイズの除去、原稿が傾いて読み取られた場合の補正処理、つぶれたりかすれたりしている文字画像の補正なども行われる。
【００３９】
ＯＣＲ前処理により得られたモノクロ２値画像データは、文字認識部３１に入力され、文字認識処理が行われる（Ｓ１３）。文字認識部３１は、モノクロ２値画像データから文字画像が存在する文字領域の抽出を行った後、文字領域内の個々の文字画像から文字コードを認識する。また、文字認識部３１は、文字コードを認識する確からしさの度合いである文字認識確度を検出することができ、さらに、文字画像の位置情報のほか、フォントのタイプ、フォントサイズ、太字・斜体などのスタイル、アンダーライン等の文字属性を認識する。
【００４０】
次いで、文字色検出処理が行われる（Ｓ１４）。すなわち、文字コードが認識された個々の文字画像の色は、文字色検出部３２により検出される。ここでは、Ｌａｂ表色系に色変換された画像データが使用される。文字画像の色の検出は、例えば、画像データ中の文字画像が存在する文字領域のＬａｂの値を読み取り、文字画像を構成する全画素について、Ｌ、ａ、ｂそれぞれの平均値を求めることにより行う。文字画像とその背景画像との画素の区別は、ＯＣＲ前処理（Ｓ１２）で得られたモノクロ２値画像データを用いて行う。つまり、個々の文字画像の外接矩形内において、モノクロ２値画像データにおける黒画素を文字画像の画素、白画素を背景画像の画素と区別することができる。
【００４１】
文字画像を文字コードデータに変換して出力する場合、文字色検出部３２により検出された個々の文字画像の色情報に基づいて、色を指定して文字コードデータが出力される。これにより、例えば原稿上の文字の色を再現することができる。
【００４２】
そして、文字領域内の個々の文字画像について出力形式の判定処理が行われる（Ｓ１５）。すなわち、出力形式判定部３３により、文字コードが認識された文字画像を、文字コードデータに変換するか否かの判定が行われる。
【００４３】
出力形式判定部３３は、大きく分けて２つの評価量に基づいて、出力形式の判定を行う。出力形式の判定を行うための第１の評価量は、文字コードを認識する確からしさの度合いである文字認識確度である。出力形式の判定を行うための第２の評価量は、文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度である。この文字連続性度は、文字画像から認識される文字属性の連続性の面から、文字らしさを評価した値であり、その詳細は後述する。
【００４４】
そして、出力形式判定部３３は、文字コードが認識された文字画像のうち、文字コードデータに変換しないと判定した文字画像を、さらに２つの出力形式に分類して判定する。すなわち、出力形式判定部３３は、文字コードが認識された文字画像が文字画像には違いないものの文字認識確度が小さい場合、隣接する文字コードデータに重なることなく連続して配置するために、入力された画像データ中の文字画像を切り出して文字画像データを作成すると判定する。また、出力形式判定部３３は、文字コードが認識された文字画像が非文字画像である図形画像であるにもかかわらず誤って文字コードが認識されたと考えられる場合、当該文字画像を入力された画像データのまま元の位置に残すと判定する。
【００４５】
次に、文字コードが認識された文字画像についての出力形式の判定処理についてさらに詳しく説明する。
【００４６】
文字認識部３１からは、個々の文字画像に対して、文字コードデータのほか、セリフ系・サンセリフ系などのフォントのタイプ、フォントサイズ、太字・斜体などのスタイル、アンダーライン等の文字属性、文字認識確度、文字コードが認識された各文字画像ごとの位置情報、などの情報が出力される。そして、これら文字認識部３１からの情報をもとに、文字画像の位置や文字属性についての連続性を検出して文字らしさを評価する。前述したように、文字認識処理では、ある程度周辺の文字画像との位置関係を調べて、より文字らしい部分を文字領域として画像データから抽出するが、抽出された文字領域内に非文字画像である図形画像が文字画像と間違えられて含まれている場合がある。本実施形態では、特に、これらの孤立した文字画像を誤って文字コードデータに変換することのないように、すべての文字画像から文字コードを認識した後に、当該文字画像を文字コードデータに変換するか否かの判定を行うようにしている。
【００４７】
文字連続性度、すなわち文字らしさの評価量は、文字コードが認識された文字画像と該文字画像の近隣の文字画像との距離、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントサイズの差、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントのタイプの相違、文字コードが認識された文字画像が含まれる連続した文字画像の列の長さ、および文字コードが認識された文字画像と該文字画像の近隣の文字画像との色の差、の５項目について順に調べ、各項目において文字画像の連続性に着目した評価ポイントを算出することにより検出される。
【００４８】
具体的には、図５に示すように、まず、注目する個々の文字画像の順番を示す変数ｎを初期化する（Ｓ２１）。
【００４９】
そして、文字コードが認識された文字画像と該文字画像の近隣の文字画像との距離に基づいて、第１の評価ポイントを計算する（Ｓ２２）。ここでは、注目文字画像の前後±ｋ個の文字画像の位置情報（図３参照）が調べられ、次式により第１の評価ポイントＰ1nが計算される。なお、式中の添字は、個々の文字画像の順番を示す（以下の式において同様）。
【００５０】
【数１】
但し、Ｐ1n＜０のときは、Ｐ1n＝０
Ｍ1 ：第１の評価ポイントの最大値
Ｘ1 ：文字コードが認識された文字画像の外接矩形の左Ｘ座標
Ｘ2 ：文字コードが認識された文字画像の外接矩形の右Ｘ座標
Ｙ1 ：文字コードが認識された文字画像の外接矩形の上Ｙ座標
Ｙ2 ：文字コードが認識された文字画像の外接矩形の下Ｙ座標
である。
【００５２】
上記式に示すように、近隣文字画像との距離が大きい程、第１の評価ポイントは小さくなる。すなわち、注目文字画像が近隣文字画像から離れている程、連続性が小さく、文字画像である可能性が低いということを表している。
【００５３】
なお、上記式からわかるように、例えば複数の文字画像が横に並んで形成された行の右端や左端の文字画像を考慮するため、注目文字画像の右側の近隣文字画像との距離と左側の近隣文字画像との距離とを調べて、両者のうち小さい方が評価ポイントの計算に使用される。
【００５４】
次に、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントサイズの差に基づいて、第２の評価ポイントを計算する（Ｓ２３）。ここでは、注目文字画像の前後±ｋ個の文字画像のフォントサイズが調べられ、次式により第２の評価ポイントＰ2nが計算される。
【００５５】
【数２】
但し、Ｐ2n＜０のときは、Ｐ2n＝０
Ｍ1 ：第２の評価ポイントの最大値
Ｓ ：フォントサイズ
である。
【００５７】
上記式の分母は、近隣文字画像の平均フォントサイズを表す。上記式に示すように、近隣文字画像とのフォントサイズの差が大きい程、連続性が小さく、第２の評価ポイントは小さくなる。
【００５８】
次に、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントのタイプの相違に基づいて、第３の評価ポイントを計算する（Ｓ２４）。
ここでは、注目文字画像の前後±ｋ個の文字画像のフォントのタイプが調べられ、注目文字画像とフォントのタイプが相違している文字画像の数をＮf として、次式により第３の評価ポイントＰ3nが計算される。
【００５９】
Ｐ3n＝Ｍ3 −Ｎf
但し、Ｐ3n＜０のときは、Ｐ3n＝０
Ｍ3 ：第３の評価ポイントの最大値
である。
【００６０】
上記式に示すように、近隣文字画像とのフォントのタイプの相違が多い程、連続性が小さく、第３の評価ポイントは小さくなる。
【００６１】
次に、文字コードが認識された文字画像が含まれる連続した文字画像の列の長さに基づいて、第４の評価ポイントを計算する（Ｓ２５）。ここでは、注目文字画像の前後に、順に個々の文字画像の外接矩形の間隔を調べ、当該間隔が所定の閾値ＴＨ以上であれば、文字画像列の区切りであると判断する。なお、閾値ＴＨは、例えば近隣文字画像の平均サイズによって変化させるのが望ましい。そして、注目文字画像をｎ番目の文字画像として、注目文字画像の左側に存在するｉ1 番目の文字画像から、注目文字画像の右側に存在するｉ2 番目の文字画像までが、一つの文字画像列であると判断されると、次式により第４の評価ポイントＰ4nが計算される。
【００６２】
Ｐ4n＝ｉ2 −ｉ1 ＋１
但し、Ｐ4n＞Ｍ4 のときは、Ｐ4n＝Ｍ4
Ｍ4 ：第４の評価ポイントの最大値
である。
【００６３】
上記式に示すように、文字画像列が長い程、連続性が大きいとされ、第４の評価ポイントは大きくなる。
【００６４】
最後に、文字コードが認識された文字画像と該文字画像の近隣の文字画像との色の差に基づいて、第５の評価ポイントを計算する（Ｓ２６）。ここでは、注目文字画像の前後±ｋ個の文字画像の色が調べられ、次式により第５の評価ポイントＰ5nが計算される。
【００６５】
【数３】
但し、Ｐ5n＜０のときは、Ｐ5n＝０
Ｍ5 ：第５の評価ポイントの最大値
Ｌ，ａ，ｂ：文字画像の色をＬａｂ表色系で表した値
である。
【００６７】
上記式に示すように、近隣文字画像との色の差が大きい程、連続性が小さく、第５の評価ポイントは小さくなる。
【００６８】
以上のようにして求められた第１〜５の評価ポイントから、総合評価ポイントとしての文字連続性度Ｐn が、次式により計算される（Ｓ２７）。
【００６９】
Ｐn ＝Ｗ1 ×Ｐ1n＋Ｗ2 ×Ｐ2n＋Ｗ3 ×Ｐ3n＋Ｗ4 ×Ｐ4n＋Ｗ5 ×Ｐ5n
但し、Ｗ1 〜Ｗ5 は、それぞれの評価ポイントにたいするウェイトであり、適宜設定することができる。
【００７０】
一方、この文字連続性度Ｐn とは別に、文字コードを認識する確からしさの度合いである文字認識確度Ｃn が、各文字画像ごとに得られる。
【００７１】
そして、出力形式判定部３３は、文字認識確度Ｃn のほか、近隣の文字画像との連続性の度合いである文字連続性度Ｐn を用いて、既に文字コードが認識された各文字画像について、出力形式の判定を行う。
【００７２】
図６は、出力形式の判定基準を説明するための図である。
【００７３】
まず、文字認識確度Ｃn の閾値として、例えば小さい方の閾値ＣＴh1と大きい方の閾値ＣＴh2とが設定され、文字連続性度Ｐn の閾値として、例えば小さい方の閾値ＰＴh1と大きい方の閾値ＰＴh2とが設定される。
【００７４】
出力形式判定部３３は、まず、文字認識確度Ｃn が大きい方の閾値ＣＴh2より大きい文字画像を、文字コードデータに変換する旨の判定を行う（Ｓ２８でＹＥＳ、Ｓ３３）。出力形式判定部３３は、また、文字認識確度Ｃn が小さい方の閾値ＣＴh1より大きく、且つ文字連続性度Ｐn が小さい方の閾値ＰＴh1より大きい文字画像も、文字コードを正しく認識していると判断して、文字コードデータに変換する旨の判定を行う（Ｓ２９でＹＥＳ、Ｓ３３）。すなわち、文字認識確度Ｃn が非常に大きい文字画像（Ｃn ＞ＣＴh2）は、文字コードデータに変換すると判定され、文字認識確度Ｃn が中ぐらいの文字画像（ＣＴh1＜Ｃn ＜ＣＴh2）は、文字連続性度Ｐn が閾値ＰＴh1より大きい場合に限って文字コードデータに変換すると判定される。
【００７５】
上記の２つのステップＳ２８およびＳ２９で文字コードデータに変換しないと判定された文字画像は、文字連続性度Ｐn により、さらに２つの出力形式に分類されて判定される。すなわち、文字コードデータに変換しないと判定された文字画像のうち、文字連続性度Ｐn が閾値ＰＴh2より大きい文字画像は、入力された画像データ中の文字画像を切り出して文字画像データを作成すると判定される。
一方、文字コードデータに変換しないと判定された文字画像のうち、文字連続性度Ｐn が閾値ＰＴh2以下の文字画像は、入力された画像データのまま元の位置に残すと判定される。
【００７６】
このように、文字認識部３１により文字コードが認識された文字画像は、出力形式判定部３３により、最終的に３つに分類される。すなわち、個々の文字画像は、確実に文字コードが認識されたと判断されて、文字コードデータで出力する旨の判定が行われたもの（図６中のＡ1 で示す領域）と、文字画像には違いないが正しい文字コードが認識できたか否かが疑わしい文字画像と判断されて、隣接する文字コードデータに重なることなく連続して配置される文字画像データで出力する旨の判定が行われたもの（図６中のＡ2 で示す領域）と、近隣文字画像との連続性が少なく、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識された文字画像であると判断されて、入力された画像データのまま元の位置に残す旨の判定が行われたもの（図６中のＡ3 で示す領域）と、に分類される。
【００７７】
そして、注目する文字画像の順番を示す変数ｎを繰り上げ（Ｓ３４）、画像データ内の全文字画像について、上記の処理を繰り返し行う（Ｓ３５）。
【００７８】
このようにして、画像データ中の個々の文字画像について出力形式の判定処理が終了すると、図４に示すメインフローチャートに戻り、文字画像データの作成が行われる（Ｓ１６）。すなわち、文字画像データ作成部３４は、文字認識部３１から出力される文字画像の位置情報にしたがって、画像データ中の文字画像を切り出して文字画像データを作成する。このとき、個々の文字画像ごとに外接矩形領域の画像データが切り出される。
【００７９】
ここで、文字画像データとして出力する文字画像を、原稿を読み取って得られた画像データとして元の位置に残さず、個々の文字画像単位で切り出すのは、文字コードデータと文字画像データとが重ならないようにするためである。つまり、一般に、入力フォントと出力フォントとが全く同じである場合は少ないので、例えば文字画像から変換された文字コードデータが配置される位置と、入力時の画像データ中の文字画像の位置とは、多少ずれてしまう。したがって、文字画像を一文字画像ずつ切り出さずに元の画像データとして残した場合、そのままで文字コードデータを配置すると、文字コードデータと原稿を読み取って得られた元の画像データ中の文字画像とが重なるといった問題が生じ得る。そこで、本実施形態では、一文字画像ずつ切り出しておいて、文字画像データを作成し、例えば文字コードデータを出力フォントで配置した位置に続けて、切り出しておいた文字画像データを配置する。
【００８０】
また、文字画像データ作成部３４は、文字画像データを作成する際に、文字画像の外接矩形内に対して、エッジ強調、または当該文字画像に適したγ変換を行う。これにより、例えばビットマップで表された文字画像データでも、用紙に印刷して鮮明な文字を再現することができる。
【００８１】
次に、文字消去処理が行われる（Ｓ１７）。すなわち、文字画像から文字コードデータまたは文字画像データを得た後、文字消去部３５により、原稿を読み取ることによって入力されたカラーの画像データから、文字コードデータまたは文字画像データとされた後の元の文字画像が消去される。
【００８２】
図７は、文字消去処理を説明するための図である。図７に示すように、個々の文字画像の外接矩形内における画像データ（図７（Ａ））から、文字画像に当たる部分を一旦消去し（図７（Ｂ））、周囲の画像データで補完する（図７（Ｃ））。消去する部分は、当該文字画像の外接矩形内におけるモノクロ２値画像データから黒を２〜３画素膨張させる処理を行うことによって求める。なお、原稿を読み取ることによって入力された元の画像データから文字画像に当たる部分を除去した後の画像データには、図７（Ｂ）に示すように、文字画像以外の画像データ、すなわち、写真や線画に対応する画像、背景画像などが残っている。
【００８３】
以上の処理を実施することにより、例えば図８に示すように、画像データ中の文字画像から、文字コードデータＤ1 と文字画像データＤ2 とが、また、非文字画像である図形画像をそのまま残した画像データＤ3 が得られる。なお、図９は、文字コードデータ、文字画像データ、および画像データの内容を別々に示す図である。図８および図９に示されるように、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識された孤立して存在している文字画像は、文字コードデータに変換されないので、図１２のように図形画像の部分に誤認識の文字コードデータが出力されることはない。
【００８４】
そして、これらの文字コードデータ、文字画像データ、および画像データは、所定のファイル形式でページ内に配置されて保存される（Ｓ１８）。なお、スキャン＆プリントボタンが選択されている場合は、所定のデータがプリンタ６０に送信されて用紙に印刷される。
【００８５】
このように、本実施形態によれば、文字画像から文字コードを認識した後に、当該文字画像を文字コードデータに変換するか否かの判定を、文字連続性度を用いて行うようにしたので、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識されて、文字コードデータとして出力される事態を有効に防止することができる。
【００８６】
しかも、文字連続性度を用いることにより、文字コードを認識する確からしさに高目の厳しい閾値を設けなくても誤認識の文字コードデータを除去することが可能となるため、入力された画像データ中の文字画像が文字コードデータに変換される割合を高く維持することができる。
【００８７】
本発明は、上記した実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。
【００８８】
例えば、上記実施形態では、入力された画像データの色空間を、ＲＧＢ表色系からＬａｂ表色系に変換して画像処理するようにしたが、スキャナ５０で読み取って得られた画像データのＲＧＢ表色系等、他の色空間を使用して画像処理を行うことも可能である。
【００８９】
また、上述した文字画像の連続性に着目した第１〜第５の評価ポイントを算出する方法は、上記実施形態で示した式等に限定されるものではない。例えば、次式により第２の評価ポイントＰ2nを計算することも可能である。
【００９０】
【数４】
また、上記実施形態では、文字連続性度Ｐn は、第１〜５の評価ポイントに基づいて総合的に求められるが、これに限定されるものではない。文字連続性度Ｐn は、例えば、第１〜５の評価ポイントのうちの一つ、あるいは二つ以上を任意に組み合わせたものに基づいて求められるようにすることも可能である。
【００９２】
また、上記実施形態では、出力形式判定部３３は、文字認識確度Ｃn と文字連続性度Ｐn とに基づいて、図６に示す方法で、各文字画像についての出力形式の判定を行っているが、これに限定されるものではない。出力形式判定部３３は、例えば、文字認識確度Ｃn の閾値ＣＴh を文字連続性度Ｐn に応じて連続的に変化させる図１０に示す方法で、各文字画像についての出力形式の判定を行うことも可能である。
【００９３】
また、簡易な出力形式の判定処理を行う場合には、文字画像から文字コードを認識する確からしさの度合いを定量的に（例えば１０段階で）検出することなく、文字画像から文字コードを認識できたか否かのみを検出し、出力形式判定部３３が、文字コードが認識された文字画像を文字コードデータに変換するか否かを、文字連続性度を用いて判定するようにしてもよい。
【００９４】
さらに、上記実施形態では、画像認識装置としてコンピュータを例に挙げて説明したが、本発明の画像認識装置はこれに限定されるものではなく、例えば同様の処理をスキャナで行ってコンピュータやプリンタ等に送信するシステム、スキャナから直接画像データを受信してプリンタで同様の処理を行うシステム、原稿の読み取りから用紙への印刷までの処理をカラーのデジタルコピー機ですべて行うシステム、等にも適用することが可能である。
【００９５】
なお、上記した実施形態において、画像認識の制御は、上記した処理手順（図４、図５参照）を記述した所定のプログラムを主制御部１１が実行することによって行われるものであり、この所定のプログラムは、コンピュータ読取可能な記録媒体（例えば、フロッピーディスクやＣＤ−ＲＯＭ等）によって提供されることもできる。また、この所定のプログラムは、上記各処理を実行するアプリケーションソフトウェアとして提供されてもよいし、コンピュータ、デジタルコピー機、スキャナ、プリンタ等の各情報機器や管理サーバの一機能として各情報機器や管理サーバのソフトウェアに組み込んでもよい。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、文字画像から文字コードを認識した後に、当該文字画像を文字コードデータに変換するか否かの判定を、文字連続性度を用いて行うようにしたので、非文字画像である図形画像であるにもかかわらず誤って文字コードが認識されて、文字コードデータとして出力される事態を有効に防止することができる。
【００９７】
しかも、文字連続性度を用いることにより、文字コードを認識する確からしさに高目の厳しい閾値を設けなくても誤認識の文字コードデータを除去することが可能となるため、入力された画像データ中の文字画像が文字コードデータに変換される割合を高く維持することができる。
【００９８】
また、文字コードデータに変換しないと判定された文字画像のうち文字連続性度が所定値以上の文字画像を切り出して文字画像データを作成し、隣接する文字コードデータに重なることなく連続して配置するようにしたので、文字コードデータと文字画像データとを重なることなく出力することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る画像認識装置を含む情報機器システムの構成を示す図である。
【図２】 図１に示されるコンピュータの概略構成を示すブロック図である。
【図３】 各文字画像の位置情報を説明するための図である。
【図４】 画像認識処理を示すフローチャートである。
【図５】 図４に示される出力形式判定処理を示すサブルーチンのフローチャートである。
【図６】 出力形式の判定基準を説明するための図である。
【図７】 文字消去処理を説明するための図である。
【図８】 文字コードデータ、文字画像データ、および非文字画像である図形画像をそのまま残した画像データをあわせて配置した一例を示す図である。
【図９】 文字コードデータ、文字画像データ、および画像データの内容を別々に示す図である。
【図１０】 出力形式の他の判定基準を説明するための図である。
【図１１】 非文字である図形が文字部の中に埋め込まれた原稿の一例を示す図である。
【図１２】 従来の画像認識装置により、図１１の原稿を読み取って得られた画像データを画像処理して出力した一例を示す図である。
【符号の説明】
１０…コンピュータ（画像認識装置）、
３１…文字認識部、
３３…出力形式判定部、
３４…文字画像データ作成部、
３６…ファイル作成部。
Claims (7)
- 画像認識装置において、
入力された画像データ中の文字画像から文字コードを認識する文字認識部と、
文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する文字連続性度検出部と、
文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する出力形式判定部と、
を有し、
文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成することを特徴とする画像認識装置。 - 前記文字連続性度検出部は、文字コードが認識された文字画像と該文字画像の近隣の文字画像との距離、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントサイズの差、文字コードが認識された文字画像と該文字画像の近隣の文字画像とのフォントのタイプの相違、文字コードが認識された文字画像が含まれる連続した文字画像の列の長さ、および文字コードが認識された文字画像と該文字画像の近隣の文字画像との色の差のうち、少なくともいずれか一つ以上を検出することを特徴とする請求項１に記載の画像認識装置。
- 電子ファイルを作成するファイル作成部、をさらに有することを特徴とする請求項１または２に記載の画像認識装置。
- 原稿を読み取ることによって画像データを得るスキャナ部、をさらに有することを特徴とする請求項１〜３のいずれかに記載の画像認識装置。
- 画像データを受信する画像データ受信部と、データを用紙に印刷するプリント部と、をさらに有することを特徴とする請求項１〜４のいずれかに記載の画像認識装置。
- 画像認識方法において、
入力された画像データ中の文字画像から文字コードを認識する過程と、
文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する過程と、
文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する過程と、
文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成する過程と、
を有することを特徴とする画像認識方法。 - 画像認識プログラムを記録したコンピュータ読取可能な記録媒体であって、
入力された画像データ中の文字画像から文字コードを認識する過程と、
文字コードが認識された文字画像についての、近隣の文字画像との連続性の度合いである文字連続性度を検出する過程と、
文字コードが認識された文字画像についての文字連続性度の、第１の閾値及びそれよりも小さい第２の閾値との大小関係を判定する過程と、
文字連続性度が第１の閾値よりも大きいと判定された文字画像を文字コードデータに変換し、文字連続性が第２の閾値よりも大きく第１の閾値よりも小さいと判定された文字画像を切り出して、隣接する文字コードデータに重なることなく連続して配置される文字画像データを作成する過程と、
をコンピュータに実行させるための画像認識プログラムを記録したコンピュータ読取可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000195146A JP4613397B2 (ja) | 2000-06-28 | 2000-06-28 | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 |
| US09/892,617 US7149352B2 (en) | 2000-06-28 | 2001-06-28 | Image processing device, program product and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000195146A JP4613397B2 (ja) | 2000-06-28 | 2000-06-28 | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002015280A JP2002015280A (ja) | 2002-01-18 |
| JP4613397B2 true JP4613397B2 (ja) | 2011-01-19 |
Family
ID=18693855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000195146A Expired - Fee Related JP4613397B2 (ja) | 2000-06-28 | 2000-06-28 | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7149352B2 (ja) |
| JP (1) | JP4613397B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4189506B2 (ja) * | 2000-06-09 | 2008-12-03 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理のための装置、方法及び記録媒体 |
| US20050216564A1 (en) * | 2004-03-11 | 2005-09-29 | Myers Gregory K | Method and apparatus for analysis of electronic communications containing imagery |
| JP2005301664A (ja) * | 2004-04-12 | 2005-10-27 | Fuji Xerox Co Ltd | 画像辞書作成装置、符号化装置、データファイル、画像辞書作成方法及びそのプログラム |
| US7734092B2 (en) * | 2006-03-07 | 2010-06-08 | Ancestry.Com Operations Inc. | Multiple image input for optical character recognition processing systems and methods |
| JP2007304864A (ja) * | 2006-05-11 | 2007-11-22 | Fuji Xerox Co Ltd | 文字認識処理システムおよび文字認識処理プログラム |
| JP4600491B2 (ja) * | 2008-02-26 | 2010-12-15 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP5322517B2 (ja) * | 2008-07-08 | 2013-10-23 | キヤノン株式会社 | 画像処理装置および方法 |
| US8373724B2 (en) * | 2009-01-28 | 2013-02-12 | Google Inc. | Selective display of OCR'ed text and corresponding images from publications on a client device |
| US9008425B2 (en) * | 2013-01-29 | 2015-04-14 | Xerox Corporation | Detection of numbered captions |
| JP2016015115A (ja) * | 2014-06-09 | 2016-01-28 | 株式会社リコー | 情報処理装置、情報処理方法、及び記録媒体 |
| CN110636181A (zh) * | 2016-03-01 | 2019-12-31 | 京瓷办公信息系统株式会社 | 信息处理装置 |
| JP6530432B2 (ja) * | 2017-02-03 | 2019-06-12 | 株式会社東芝 | 画像処理装置、画像処理方法及びプログラム |
| JP7567369B2 (ja) * | 2020-10-29 | 2024-10-16 | 株式会社リコー | 画像処理装置、画像処理方法、およびプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01191992A (ja) * | 1988-01-28 | 1989-08-02 | Canon Inc | 文字認識装置 |
| JPH0290384A (ja) * | 1988-09-28 | 1990-03-29 | Ricoh Co Ltd | 文字認識装置の後処理方式 |
| JPH04293185A (ja) * | 1991-03-20 | 1992-10-16 | Ricoh Co Ltd | ファイリング装置 |
| JPH05108872A (ja) * | 1991-10-18 | 1993-04-30 | Canon Inc | 文字認識方法及びその装置 |
| JPH1185899A (ja) * | 1997-09-05 | 1999-03-30 | Tsubasa Syst Kk | 文字読み取り装置、その読み取り方法および記録媒体 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6274181A (ja) * | 1985-09-27 | 1987-04-04 | Sony Corp | 文字認識装置 |
| JPH0634256B2 (ja) * | 1987-03-04 | 1994-05-02 | シャープ株式会社 | 接触文字切出し方法 |
| JPH0537700A (ja) | 1991-07-26 | 1993-02-12 | Ricoh Co Ltd | フアクシミリ装置 |
| EP0564201B1 (en) * | 1992-03-30 | 2000-05-24 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JPH0620089A (ja) * | 1992-06-30 | 1994-01-28 | Canon Inc | データ入力装置及びデータ処理装置 |
| JPH0855185A (ja) | 1994-08-15 | 1996-02-27 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| JP3400151B2 (ja) * | 1994-12-08 | 2003-04-28 | 株式会社東芝 | 文字列領域抽出装置および方法 |
| JP3602596B2 (ja) * | 1995-02-22 | 2004-12-15 | 株式会社東芝 | ドキュメントファイリング装置および方法 |
| JP3345224B2 (ja) * | 1995-03-06 | 2002-11-18 | 富士通株式会社 | パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置 |
| JPH0991371A (ja) | 1995-09-21 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | 文字表示装置 |
| JP3427692B2 (ja) * | 1996-11-20 | 2003-07-22 | 松下電器産業株式会社 | 文字認識方法および文字認識装置 |
| US6327387B1 (en) * | 1996-12-27 | 2001-12-04 | Fujitsu Limited | Apparatus and method for extracting management information from image |
| JPH10290349A (ja) | 1997-04-14 | 1998-10-27 | Ricoh Co Ltd | ファクシミリ装置 |
| JPH10313372A (ja) | 1997-05-13 | 1998-11-24 | Sanyo Electric Co Ltd | データ通信装置 |
| JP2000353215A (ja) * | 1999-06-11 | 2000-12-19 | Nec Corp | 文字認識装置および文字認識プログラムを記録した記録媒体 |
-
2000
- 2000-06-28 JP JP2000195146A patent/JP4613397B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-28 US US09/892,617 patent/US7149352B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01191992A (ja) * | 1988-01-28 | 1989-08-02 | Canon Inc | 文字認識装置 |
| JPH0290384A (ja) * | 1988-09-28 | 1990-03-29 | Ricoh Co Ltd | 文字認識装置の後処理方式 |
| JPH04293185A (ja) * | 1991-03-20 | 1992-10-16 | Ricoh Co Ltd | ファイリング装置 |
| JPH05108872A (ja) * | 1991-10-18 | 1993-04-30 | Canon Inc | 文字認識方法及びその装置 |
| JPH1185899A (ja) * | 1997-09-05 | 1999-03-30 | Tsubasa Syst Kk | 文字読み取り装置、その読み取り方法および記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020015524A1 (en) | 2002-02-07 |
| US7149352B2 (en) | 2006-12-12 |
| JP2002015280A (ja) | 2002-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4631133B2 (ja) | 文字認識処理のための装置、方法及び記録媒体 | |
| US6865290B2 (en) | Method and apparatus for recognizing document image by use of color information | |
| JP4655335B2 (ja) | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 | |
| US6574375B1 (en) | Method for detecting inverted text images on a digital scanning device | |
| JP4065460B2 (ja) | 画像処理方法及び装置 | |
| US8023147B2 (en) | Image processing method and image processing apparatus | |
| US8126270B2 (en) | Image processing apparatus and image processing method for performing region segmentation processing | |
| US7321688B2 (en) | Image processor for character recognition | |
| US7805022B2 (en) | Image processing apparatus, image processing method and computer program | |
| US7796817B2 (en) | Character recognition method, character recognition device, and computer product | |
| JP4613397B2 (ja) | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 | |
| US11568623B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| EP1017011A2 (en) | Block selection of table features | |
| JP7433887B2 (ja) | 画像を処理するための装置、プログラム、画像処理方法 | |
| JP4077919B2 (ja) | 画像処理方法及び装置及びその記憶媒体 | |
| US5467410A (en) | Identification of a blank page in an image processing system | |
| US6360006B1 (en) | Color block selection | |
| JP4232679B2 (ja) | 画像形成装置およびプログラム | |
| EP1296283A2 (en) | Half-tone dot elimination method and system thereof | |
| JP2010074342A (ja) | 画像処理装置、画像形成装置、及びプログラム | |
| JP4710672B2 (ja) | 文字色判別装置、文字色判別方法、およびコンピュータプログラム | |
| JP2022167414A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2004080341A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP3960756B2 (ja) | 文書画像レイアウト識別方法および装置 | |
| JP2021005315A (ja) | 情報処理装置、プログラム及び制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070521 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100921 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101004 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |