JP4421134B2 - 文書画像検索装置 - Google Patents
文書画像検索装置 Download PDFInfo
- Publication number
- JP4421134B2 JP4421134B2 JP2001120031A JP2001120031A JP4421134B2 JP 4421134 B2 JP4421134 B2 JP 4421134B2 JP 2001120031 A JP2001120031 A JP 2001120031A JP 2001120031 A JP2001120031 A JP 2001120031A JP 4421134 B2 JP4421134 B2 JP 4421134B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- area
- character
- search
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文書画像を文字認識した結果を用いて文書画像を検索する装置に関する。
【０００２】
【従来の技術】
近年、企業等の組織において、情報の共有化や迅速な利用の観点から、紙文書をスキャナ等で電子化して共有する文書管理システムが使用され、業務の効率化に貢献している。また、組織ではなく、個人の環境においても、パーソナルコンピュータが普及し、従来の紙文書との連携の必要性から、文書管理システムのニーズは高まっている。
【０００３】
文書管理システムは、紙文書をスキャナで読み取り、文書の画像を蓄積するが、後で画像を検索するために、キーワードの付与が必須となる。キーワードの付け方としては、様々なタイプがあるが、その中の１つに全文検索が挙げられる。
【０００４】
この方法では、キーワードとして、文書を要約し、代表するような、特別な単語を付けるのではなく、文書全体のテキストをそのまま使用する。そして、検索のために入力されたキーワード文字により、全文検索を行う。この場合、文書を要約した単語を考える必要がなく、また要約単語が本当に文書を代表しているかという不安もない。このため、処理時間がかかるという欠点があるが、広く使用されている。
【０００５】
全文検索は、大きく２つの技術に分類される。１つは入力キーワードと検索対象テキストとを１文字ずつ照合していく、いわゆるｇｒｅｐ方式の検索方法であり、もう１つは、あらかじめ検索対象テキストから検索用のインデックスを作成しておき、キーワードが入力されると、このインデックスと照合して検索を実現するインデックス検索方法である。一般的な性質として、ｇｒｅｐ検索は少量文書では実用的な性能があるが、大量文書の場合には、インデックス検索でないと検索時間が問題となる。
【０００６】
一般的な文書管理システムにおける紙文書の検索を考えた場合、文書登録時は、文書画像の中から文字領域を自動抽出し、その部分を文字認識してテキストを作成し、文書画像と認識されたテキストとをまとめて１つの文書として管理する。そして、検索時には、保存されているテキストと入力キーワードを照合し、一致した文書を抽出する。
【０００７】
このとき、大きな組織のシステムでは、検索の高精度化のために、検索方法として全文検索を使用し、また高速化のために、ｇｒｅｐ検索ではなく、インデックス検索を使用する。しかし、文字認識処理の精度は１００％ではないので、必ず誤認識が発生する。このため、認識後のテキストの検索精度も低下する場合がある。このような誤認識による検索精度の低下を防止する従来の技術として、以下のようなものがある。
（１）誤認識文字を自動修正して正しいテキストを生成し、検索精度の向上を図る技術
（ａ）特開平７−１８２４６５、「文字認識方法」、１９９５
この方法では、文字認識時に確信度を計算し、確信度付きの候補文字の１文字をインデックスとして単語辞書を引き、可能性のある単語を抽出する。そして、単語の照合コストや位置情報から、最も確率の高い文字列を生成し、第１位候補をこの文字列に置き換える。
（ｂ）特開平１０−２０７９８８、「文字認識方法および文字認識装置」、１９９８
この方法では、文字認識により確信度付きの候補文字を生成し、第１位候補が低確信度文字を含む場合、その文字と前後１文字ずつの３文字の候補文字の中で、確信度がしきい値以上の候補文字を使って、３文字の文字列を複数個生成する。そして、それらの文字列を用いて、既に保存してある正しいテキスト文書を全文検索し、出現回数の最も多い文字列を正解文字列として、認識結果を自動修正する。この場合、大量の正しいテキストが既に存在することが前提条件となる。
（２）検索時にキーワードを複数個に展開し、検索精度の向上を図る技術
（ｃ）特開平４−９２９７１、「画像記録装置」、１９９２
この方法では、検索時に入力したキーワード文字列を複数の文字列に展開して、得られたすべての検索文字列で検索した結果を、総合して出力する。キーワード文字列の展開時には、誤認識テーブルを使用して、ある文字と間違えられやすい誤認識文字を特定し、その誤認識文字を正しい文字に置き換えることで、検索文字列を生成する。
（ｄ）特開平４−３２８６８２、「画像情報処理装置」、１９９２
この方法では、キーワードを検索対象と照合するときに、Ｎ文字までの照合ミスは無視して、照合されたものとみなされる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した従来の検索方法には、次のような問題がある。
（１）の自動修正を用いた方法では、自動修正の精度が１００％でないので、修正しきれない場合がある。また、修正結果として一意に決めた文字列を作成し、元のテキストと置き換える方法であり、複数の候補文字列を考えていないので、作成された文字列が間違っていると、検索もできなくなる。このように、認識結果情報から検索のための正しいテキストを抽出する精度が不十分である。
【０００９】
（２）のキーワード展開を用いた方法では、認識結果の候補文字情報を利用していないので、検索用の文字列が多数生成される。言い換えれば、認識結果情報の使い方が不十分なため、曖昧検索方法でも、不適切な検索キーワードが多数生成されてしまう。このため、検索時間が膨大になり、検索精度も悪化する。さらに、（ｄ）の方法については、通常のテキスト検索では実現不可能であるので、特別な検索システムが必要となる。
【００１０】
本発明の課題は、文字認識を用いた文書画像の検索において、誤認識があっても高精度な検索を行うことのできる文書画像検索装置を提供することである。
【００１１】
【課題を解決するための手段】
図１は、本発明の文書画像検索装置の原理図である。図１の文書画像検索装置は、入力手段１１、文字認識手段１２、範囲決定手段１３、付加手段１４、および検索手段１５を備える。
【００１２】
入力手段１１は、文書画像を入力し、文字認識手段１２は、その文書画像の文字認識を行って、認識結果のテキストを生成する。範囲決定手段１３は、認識結果の信頼度と言語処理を用いて、文書画像内で、文字認識の再処理範囲の画像領域を決定し、付加手段１４は、再処理範囲の画像領域の文字認識をやり直した結果のテキストを、認識結果のテキストに付加して、検索用テキストを生成する。検索手段１５は、その検索用テキストを用いて検索を実行する。
【００１３】
入力手段１１により入力された文書画像は、文字認識手段１２により文字認識され、認識結果のテキストが生成される。範囲決定手段１３は、入力された文書画像内で、文字認識の再処理を行う範囲を決定し、その範囲を表す情報を付加手段１４に渡す。
【００１４】
付加手段１４は、受け取った情報に基づいて、再処理範囲の文字認識のやり直しを文字認識手段１２に依頼し、やり直した結果から、最初に得られた認識結果とは異なるテキストを生成する。そして、そのテキストを、最初の認識結果のテキストに付加して、検索用テキストを生成し、それを保存する。検索手段１５は、保存された検索用テキストを用いて、文書画像を検索する。
【００１５】
このような文書画像検索装置によれば、文字認識のやり直しにより、新たな文字列のテキストを認識結果の別候補として追加することができる。したがって、最初の文字認識において誤認識があった場合でも、検索用テキストに正しい文字列を付加することが可能になり、検索精度が向上する。また、特定の再処理範囲を指定して、その範囲内の領域についてのみ文字認識をやり直すので、別候補の文字列がいたずらに増加することが防止され、効率の良い検索が可能となる。
【００１６】
図１の入力手段１１は、例えば、後述する図１１の画像入力装置５８に対応し、図１の文字認識手段１２は、例えば、後述する図２の文字認識部２１に対応する。また、図１の範囲決定手段１３は、例えば、図２の再処理範囲決定部２５および形態素解析部２８に対応し、図１の付加手段１４は、例えば、図２のテキスト追加部２２、ラティス生成部２６、文字列生成部２７、および形態素解析部２８に対応する。また、図１の検索手段１５は、例えば、図２のインデックス生成部２３および検索部２４に対応する。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
本実施形態の文書画像検索方法のポイントは、以下の通りである。
（１）文書画像を文字認識した結果のテキストから、再処理範囲を抽出する。
（２）抽出された再処理範囲の画像領域についてのみ、候補文字ラティスから正解文字列を含む複数の文字列を生成する。
（３）通常の文書認識結果のテキストに、生成された文字列を追加する。
【００１８】
このような検索方法によれば、複数の文字列を生成することで、その中に正しい文字列が含まれる確率が高くなる。これにより、検索のための正しいテキストが抽出される精度が向上し、検索精度も向上する。
【００１９】
また、複数の文字列の情報を、特定の範囲内の領域だけに限定し、さらにその領域の候補文字ラティス内の情報に限定することで、ゴミとなる文字列の生成を押さえることが可能となる。このように、生成文字列数を押さえながら、その中に正しい文字列を含ませることが可能となるため、検索時間が短縮され、検索精度も向上する。
【００２０】
また、通常のテキストに検索精度を向上させるためのテキストを追加しただけの文書を検索対象としているので、検索システムは、通常のテキスト検索だけを行えばよく、特別な検索システムは不要である。
【００２１】
図２は、本発明の文書画像検索装置の構成図である。図２の文書画像検索装置は、文字認識部２１、テキスト追加部２２、インデックス生成部２３、検索部２４、再処理範囲決定部２５、ラティス生成部２６、文字列生成部２７、形態素解析部２８、および単語辞書２９を備える。そして、文書画像３１を文字認識して求めたテキスト３２に、文書画像中の特定領域から求め直した文字列３４のテキストを追加した検索用テキスト３５を生成し、このテキスト３５を検索する。
【００２２】
図３は、図２の文書画像検索装置が行うテキスト追加処理のフローチャートである。文書画像検索装置は、まず、検索対象の文書画像３１を入力し、メモリ上に展開する（ステップＳ１）。このとき、ユーザは、紙文書をスキャナ等の画像入力装置に光学的に読み取らせることで、文書画像３１を入力する。
【００２３】
次に、文字認識部２１は、文書画像３１の文字認識を行って、認識結果を評価し、その信頼度（評価値）を求める。そして、認識結果のテキスト３２を信頼度とともに出力する（ステップＳ２）。テキスト３２としては、例えば、認識結果の第１位候補文字列が用いられる。次に、再処理範囲決定部２５は、テキスト３２と信頼度に基づいて、文字認識の再処理範囲３３を抽出する（ステップＳ３）。この再処理範囲３３の情報としては、例えば、対応する領域の位置を表す識別情報（ＩＤ）または座標値が用いられる。
【００２４】
次に、ラティス生成部２６は、再処理範囲３３の文字認識のやり直しを文字認識部２１に依頼し、やり直された文字認識の結果から候補文字ラティスを生成する（ステップＳ４）。そして、文字列生成部２７は、候補文字ラティスから検索用の文字列３４を生成する（ステップＳ５）。
【００２５】
次に、テキスト追加部２２は、文字列３４のテキストを、再処理範囲３３の認識結果の別候補としてテキスト３２に付加し、テキスト３５を生成する（ステップＳ６）。このテキスト３５には、再処理範囲３３の画像に対して、複数の候補文字列のテキストが含まれることになる。
【００２６】
以上のようなテキスト追加処理が終了すると、インデックス生成部２３は、テキスト３５を認識結果として用いて、文書画像３１に検索用インデックスをはる。そして、検索部２４は、クエリーに応じて、検索用インデックスを用いた検索を実行する。このように、特定の再処理範囲３３に対して複数の候補文字列を生成し、それらを検索対象に含めることで、文字認識誤りによる検索洩れが減少する。
【００２７】
次に、図３のテキスト追加処理の各ステップについて、より詳細に説明する。
ステップＳ２において、文字認識部２１は、メモリ上の文書画像３１に対して、既存の領域識別（レイアウト認識）処理を行い、テキスト領域を抽出する。そして、そのテキスト領域に対して、既存の文字認識処理を行い、認識結果のテキスト３２を獲得し、メモリに保存する。このとき、認識結果の信頼度も保存しておく。
【００２８】
また、ステップＳ３において、再処理範囲決定部２５は、認識結果の信頼度と言語処理のうち少なくとも一方を用いて、文字認識の信頼性が低く、誤認識を含む可能性がある領域、または重要なキーワードを含む可能性がある領域を特定し、それらの領域を再処理範囲として抽出する。このような再処理範囲の抽出方法は、以下の（１）〜（３）のように分類される。
（１）言語処理を用いた再処理範囲の抽出
認識結果のテキストに対して、Ｎグラム（N-gram）または単語照合を用いて、文字が連続している領域を求め、その結果を用いて再処理範囲を求める。Ｎグラムとは、Ｎ個の連続する言語データに対して、先行するＮ−１個のデータと次のＮ番目のデータの関係を確率的に与える言語モデルである。このような抽出方法としては、以下の（ａ）〜（ｃ）が考えられる。
（ａ）Ｎグラムを用いた方法（Ｎ＝２）
２グラム（bigram）で２文字間の生起確率を、言語処理の信頼度として求め、それがしきい値より大きい場合に、それらの文字は連続していると判断する。この処理を１文字ずつずらして行い、２グラムの生起確率が連続してしきい値より大きい領域を、正読範囲として求める。この場合、再処理範囲は、正読範囲で区切られた領域（正読範囲以外の領域）とする。正読範囲以外の領域は、言語的に信頼性が低いため、誤認識を含む可能性があると考えられる。そこで、文字認識をやり直すために、この領域が再処理範囲として抽出される。
（ｂ）単語照合を用いた方法
単語辞書と照合して、照合した領域を正読範囲として求める。再処理範囲は、正読範囲で区切られた領域、または正読範囲の一部の領域とする。前者の場合、正読範囲で区切られた領域は言語的に信頼性が低いので、文字認識をやり直すために、この領域が再処理範囲として抽出される。
【００２９】
また、後者の場合、例えば、正読範囲の中で特定の形態素を持つ領域を、再処理範囲と決定する。特定の形態素としては、名詞のような特定の品詞、単語辞書に登録されていない未登録語等が用いられる。このような領域は、検索時に重要となるキーワードを含んでいる可能性が高いため、認識結果が誤認識を含んでいないことが望ましい。そこで、文字認識をやり直すために、この領域が再処理範囲として抽出される。
【００３０】
また、指定された特定の区切りを用いて正読範囲を区切り、再処理範囲を決定することもできる。例えば、日本語の場合、漢字、ひらがな、カタカナ、英字等の文字種の境界や句読点が、特定の区切りとして用いられる。
（ｃ）Ｎグラムと単語照合を用いた方法
２グラムを用いて求めた正読範囲と、単語照合を用いて求めた正読範囲の論理ＯＲ（または論理ＡＮＤ）をとって、新たな正読範囲を求める。再処理範囲は、正読範囲で区切られた領域とする。
（２）認識結果の信頼度を用いた再処理範囲の抽出
認識結果のテキストに対して、認識結果の信頼度を用いて、文字認識の信頼性が低い領域を求め、それを再処理範囲とする。文字認識の信頼性が低い領域は、誤認識を含む可能性があるので、文字認識をやり直すために、この領域が再処理範囲として抽出される。このような抽出方法としては、以下の（ａ）および（ｂ）が考えられる。
（ａ）認識結果の信頼度がしきい値より小さい文字が連続する領域を、再処理範囲として求める。
（ｂ）認識結果の信頼度がしきい値より大きい文字が連続する領域を、正読範囲として求める。再処理範囲は、正読範囲で区切られた領域とする。
（３）言語処理と認識結果の信頼度を用いた再処理範囲の抽出
上述の言語処理を用いた抽出方法のいずれかにより、言語的に信頼性が高い正読範囲を求める。それと独立に、上述の認識結果の信頼度を用いた抽出方法のいずれかにより、認識結果の信頼度が高い正読範囲を求める。２種類の抽出方法の組み合わせについては、任意に選択することができる。そして、２つの正読範囲の論理ＯＲ（または論理ＡＮＤ）をとって、新たな正読範囲を求める。再処理範囲は、正読範囲で区切られた領域とする。
【００３１】
例えば、論理ＡＮＤを用いた場合、認識結果の信頼度がしきい値よりも高く、かつ、言語処理の信頼性が高い文字が連続する領域が、正読範囲となる。そして、それ以外の領域が再処理範囲として抽出される。
【００３２】
次に、上述の（１）の（ｂ）の抽出方法により、正読範囲の一部の領域を再処理範囲として抽出する方法について、具体的に説明する。
ここでは、再処理範囲決定部２５は、形態素解析部２８に対して、認識結果のテキスト３２の形態素解析を依頼し、形態素解析部２８は、単語辞書２９を参照しながら解析を行う。そして、再処理範囲決定部２５は、解析結果を用いて、検索時に重要となるキーワードの領域を自動的に判別し、再処理範囲として抽出する。このような抽出方法としては、以下の２つが考えられる。
（１）形態素解析の結果から、名詞のような特定の品詞、未登録語等の単語領域を重要キーワード領域として抽出する。未登録語には、略語等が含まれる。
（２）形態素解析の結果から、特定の品詞、未登録語等の単語領域を抽出する。次に、その単語領域を中心として前後の領域を探索し、単語領域を特定の区切りまで拡張した結果を、重要キーワード領域とする。特定の区切りとしては、上述したような文字種の境界や句読点が用いられる。あるいは、認識結果の信頼度がしきい値より低い文字が出現する位置を、特定の区切りとして用いてもよい。
【００３３】
こうして再処理範囲が抽出されると、ステップＳ４において、ラティス生成部２６は、抽出された再処理範囲の文字認識のやり直しを、文字認識部２１に依頼する。文字認識部２１は、再処理範囲の画像を再度文字認識し、各文字領域について複数の候補文字を出力する。そして、ラティス生成部２６は、出力された候補文字を用いて候補文字ラティスを生成する。
【００３４】
候補文字ラティスとは、文字列画像からの文字切り出しにより分割されたパターンを単位とし、様々な切り出し位置に基づく認識結果を、候補文字コードとその認識距離値の組み合わせを用いて表したものである。パターン間の切り出し位置には、仮想的なノード番号が付与され、候補文字ラティスに含まれる各パターンは、その前後のノード番号を用いて表される。
【００３５】
例えば、図４のような文字列画像からは、図５のような候補文字ラティスが生成される。図４において、０〜９の数字はノード番号を表し、図５において、各行の複数の候補文字は、ノード番号ｉとノード番号ｊの間のパターンの認識結果を表す。また、各候補文字に添付された数字は、距離値を表している。
【００３６】
例えば、１行目の１０個の候補文字は、ノード番号０とノード番号１の間のパターンの認識結果を表し、これらの候補文字は、距離値の小さい順（信頼度の大きい順）に並んでいる。したがって、最初の候補文字である“開”が第１位候補文字に対応する。
【００３７】
また、候補文字ラティスにおいて、距離値の代わりに、各候補文字コードに対応する認識結果の信頼度を用いてもよい。信頼度は、例えば、距離値を用いて算出され、距離値が小さくなるほど、信頼度は大きくなる。
【００３８】
候補文字ラティスが抽出されると、ステップＳ５において、文字列生成部２７は、再処理範囲の品詞情報に従って、その領域から生成された候補文字ラティスから文字列を生成する。このとき、第１位候補文字だけでなく、他の候補文字も考慮して、文字列を生成する。上述の重要キーワード領域が再処理範囲として抽出された場合、文字列の生成方法としては、以下の２つが考えられる。
（１）名詞の場合
文字列生成部２７は、形態素解析部２８に対して、候補文字ラティスの形態素解析を依頼する。形態素解析部２８は、候補文字ラティスのパスで単語辞書２９を引いて、単語辞書２９と照合された単語を抽出する。
【００３９】
候補文字ラティスを用いて辞書引きを行う方法については、例えば、「ラティスをキーとした検索を行う辞書検索装置および方法」（特開平９−１３４３６９）に開示されている。この方法によれば、候補文字ラティス内の候補文字をたどりながら、複数のパスに対応する文字列が生成されていき、各文字列が単語辞書２９内の単語と照合される。そして、単語辞書２９に登録されている文字列が抽出され、候補文字ラティス内の対応する位置とともに記録される。
【００４０】
次に、文字列生成部２７は、抽出された単語の情報を形態素解析部２８から受け取り、前から順番に接続関係に従って組み合わせて、候補文字ラティスの開始ノードから終了ノードまで連なる文字列を生成する。このとき、可能な単語の組み合わせが複数個あれば、それらに対応するすべての文字列を生成する。
（２）未登録語の場合
文字列生成部２７は、候補文字ラティスから得られるパス上の候補文字の距離値を合計して、パスの距離値を計算する。そして、パスの距離値の小さいものから順に、上位Ｎ個のパスを選択し、それらのパスで決まる文字列を生成する。ただし、Ｎは１以上の所定数とする。この場合、各パスに含まれる複数の候補文字を接続することで、文字列が生成される。
【００４１】
この方法は、例えば、「言語情報を利用した手書き文字列からの文字切り出しと認識」（村瀬他, 電子通信学会論文誌, Vol.J69-D, No.9, pp.1292-1301, 1986 ）の中の公知のＤＰ（dynamic programming ）マッチング処理等で用いられている。
【００４２】
１つのパターンに対して文字切り出し方法が２つ以上ある場合、文字列生成部２７は、そのパターンを構成する基本パターン（切り出しの最小単位）の数を用いて、距離値を正規化する。そして、正規化された距離値の合計値の小さいものから順に、上位Ｎ個のパスを選択する。
【００４３】
図６は、図４のノード番号６とノード番号８の間のパターン４１と、その内部に含まれる２つの基本パターン（ここでは、基本矩形）４２、４３を示している。これらのパターン４１、４２、および４３の第１位候補文字の距離値は、図５に示したように、それぞれ“１０４４”、“１５３３”、および“９３１”である。この場合、パターン４１の距離値に、その内部の基本パターンの数（候補文字の数）である“２”を掛けて、パターン４１の距離値を正規化する。したがって、パターン４１の第１位候補文字の距離値は“２０８８”となる。
【００４４】
また、距離値の代わりに信頼度を用いた場合は、パス上の候補文字の信頼度を合計して、パスの信頼度を計算する。そして、パスの信頼度の大きいものから順に、上位Ｎ個のパスを選択して、文字列を生成する。この場合も、基本パターンの数を用いて信頼度が正規化される。
【００４５】
こうして候補文字ラティスから文字列が生成されると、ステップＳ６において、テキスト追加部２２は、生成された文字列を、検索用の追加テキストとしてテキスト３２に付加し、得られたテキスト３５を保存する。
【００４６】
例えば、図７のような文字列画像が再処理範囲として抽出されると、図８のような候補文字ラティスが生成される。ここで、名詞の文字列としては、図９のような文字列（単語リスト）が生成され、未登録語の文字列としては、図１０のような文字列（単語リスト）が生成される。そして、これらの単語リストが追加テキストとして付加される。
【００４７】
ところで、上述したように、特定の単語領域を拡張して再処理範囲を決定することで、誤認識を救済して、正しい文字列を追加できる可能性が高くなる。
例えば、「ローリング」という文字列が誤認識されて「ローリンク」になった場合、形態素解析を行うと、「ロー」と「リンク」の２つの領域に分かれてしまう。その結果、候補文字ラティスを用いて文字列を生成すると、「ロー」の領域からは複数の単語が生成され、「リンク」の領域からは、正解の「リング」を含む複数の単語が生成される。しかし、「ロー」と「リング」をつなげた長い単語である「ローリング」は再現されない。
【００４８】
この場合、単語領域を拡張して「ローリンク」の領域を再処理範囲にすれば、正解の「ローリング」を含む複数の単語を、追加テキストとして付加することが可能になる。
【００４９】
また、図２の構成は、主として、インデックス検索を行う場合の構成に対応しているが、本発明は、任意の文書画像検索に対して同様に適用することができる。例えば、ｇｒｅｐ検索の場合、検索部２４は、テキスト追加部２２が出力したテキスト３５を直接検索すればよい。
【００５０】
図２の文書画像検索装置は、例えば、図１１に示すような情報処理装置（コンピュータ）を用いて構成することができる。図１１の情報処理装置は、ＣＰＵ（中央処理装置）５１、メモリ５２、入力装置５３、出力装置５４、外部記憶装置５５、媒体駆動装置５６、ネットワーク接続装置５７、および画像入力装置５８を備え、それらはバス５９により互いに接続されている。
【００５１】
メモリ５２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムとデータを格納する。ＣＰＵ５１は、メモリ５２を利用してプログラムを実行することにより、必要な処理を行う。
【００５２】
例えば、図２の文字認識部２１、テキスト追加部２２、インデックス生成部２３、検索部２４、再処理範囲決定部２５、ラティス生成部２６、文字列生成部２７、および形態素解析部２８は、プログラムとしてメモリ５２に格納される。また、図２の単語辞書２９、文書画像３１、テキスト３２、３５、再処理範囲３３、および文字列３４は、データとしてメモリ５２に格納される。
【００５３】
入力装置５３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、ユーザからの指示や情報の入力に用いられる。出力装置５４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、ユーザへの問い合わせや処理結果の出力に用いられる。
【００５４】
外部記憶装置５５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置等である。情報処理装置は、この外部記憶装置５５に、プログラムとデータを保存しておき、必要に応じて、それらをメモリ５２にロードして使用する。また、外部記憶装置５５は、文書画像３１とテキスト３５を保存するデータベースとしても用いられる。
【００５５】
媒体駆動装置５６は、可搬記録媒体６０を駆動し、その記録内容にアクセスする。可搬記録媒体６０としては、メモリカード、フロッピーディスク、ＣＤ−ＲＯＭ（compact disk read only memory ）、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体６０にプログラムとデータを格納しておき、必要に応じて、それらをメモリ５２にロードして使用する。
【００５６】
ネットワーク接続装置５７は、ＬＡＮ（local area network）等の任意の通信ネットワークへの接続に用いられ、通信に伴うデータ変換を行う。情報処理装置は、必要に応じて、プログラムとデータをネットワーク接続装置５７を介して外部の装置から受け取り、それらをメモリ５２にロードして使用する。
【００５７】
画像入力装置５８は、例えば、ＣＣＤ（charge coupled device ）カメラやスキャナ等の撮像装置であり、カラー画像を含む文書画像３１の入力に用いられる。
【００５８】
図１２は、図１１の情報処理装置にプログラムとデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体６０やサーバ６１のデータベース６２に保存されたプログラムとデータは、メモリ５２にロードされる。このとき、サーバ６１は、プログラムとデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して、情報処理装置に送信する。そして、ＣＰＵ５１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。
【００５９】
このような文書画像処理装置を用いて評価実験を行った結果、従来技術と比較して、認識結果のテキストに対する検索精度が向上し、検索の所要時間がほとんど増加しないことが確認された。
【００６０】
（付記１） 文書画像を入力する入力手段と、
前記文書画像の文字認識を行って、認識結果のテキストを生成する文字認識手段と、
前記文書画像内で、文字認識の再処理範囲を決定する範囲決定手段と、
前記再処理範囲の文字認識をやり直した結果のテキストを、前記認識結果のテキストに付加して、検索用テキストを生成する付加手段と、
前記検索用テキストを用いて検索を実行する検索手段と
を備えることを特徴とする文書画像検索装置。
（付記２） 前記範囲決定手段は、前記認識結果のテキストの言語処理を行って、言語的に信頼性が低い領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記３） 前記範囲決定手段は、前記認識結果のテキストの信頼度を用いて、文字認識の信頼性が低い領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記４） 前記範囲決定手段は、前記認識結果のテキストの信頼度がしきい値よりも高く、かつ、言語処理の信頼性が高い文字が連続する領域を求め、得られた領域以外の領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記５） 前記範囲決定手段は、前記認識結果のテキストと単語辞書の照合を行って、特定の形態素を持つ領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記６） 前記範囲決定手段は、前記特定の形態素を持つ領域として、名詞および未登録語の少なくとも一方を持つ領域を抽出することを特徴とする付記５記載の文書画像検索装置。
（付記７） 前記範囲決定手段は、前記認識結果のテキストと単語辞書の照合を行って、特定の区切りで区切られた領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記８） 前記範囲決定手段は、前記特定の区切りとして、文字種の境界および句読点のうち少なくとも１つを用いることを特徴とする付記７記載の文書画像検索装置。
（付記９） 前記範囲決定手段は、前記認識結果のテキストと単語辞書の照合を行って、特定の形態素を持つ領域を抽出し、抽出された領域を特定の区切りまで拡張した結果を、前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記１０） 前記付加手段は、前記再処理範囲の文字認識のやり直しを、前記文字認識手段に依頼して、該再処理範囲の候補文字ラティスを生成するラティス生成手段と、該候補文字ラティスから、第１位候補文字だけでなく他の候補文字も考慮して文字列を生成し、該文字列を前記やり直した結果のテキストとして出力する文字列生成手段とを含むことを特徴とする付記１記載の文書画像検索装置。
（付記１１） 前記文字列生成手段は、前記候補文字ラティスと単語辞書の照合を行って、該単語辞書に登録されている単語から前記文字列を生成することを特徴とする付記１０記載の文書画像検索装置。
（付記１２） 前記文字列生成手段は、前記候補文字ラティスから得られるパスの距離値を計算し、該パスの距離値の小さいものから順に上位Ｎ個のパスを選択して、選択されたパスで決まる文字列を生成することを特徴とする付記１０記載の文書画像検索装置。
（付記１３） 前記文字列生成手段は、文字切り出しの最小単位である基本パターンの数を用いて、前記距離値を正規化し、正規化された距離値を用いて、前記Ｎ個のパスを選択することを特徴とする付記１２記載の文書画像検索装置。
（付記１４） 前記文字列生成手段は、前記候補文字ラティスから得られるパスの信頼度を計算し、該パスの信頼度の大きいものから順に上位Ｎ個のパスを選択して、選択されたパスで決まる文字列を生成することを特徴とする付記１０記載の文書画像検索装置。
（付記１５） コンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１６） 文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理をコンピュータに実行させるためのプログラム。
（付記１７） コンピュータのためのプログラムを搬送する搬送信号であって、該プログラムは、
文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
（付記１８） 文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成し、
前記検索用テキストを用いて検索を実行する
ことを特徴とする文書画像検索方法。
【００６１】
【発明の効果】
本発明によれば、文字認識を用いた文書画像の検索において、認識結果のテキストに対する検索精度が向上し、誤認識があっても高精度な検索を行うことが可能となる。また、従来技術と比較しても、検索時間がほとんど増加せず、特別な検索システムも不要である。
【図面の簡単な説明】
【図１】本発明の文書画像検索装置の原理図である。
【図２】文書画像検索装置の構成図である。
【図３】テキスト追加処理のフローチャートである。
【図４】第１の文字列画像を示す図である。
【図５】第１の候補文字ラティスを示す図である。
【図６】距離値の正規化を示す図である。
【図７】第２の文字列画像を示す図である。
【図８】第２の候補文字ラティスを示す図である。
【図９】第１の単語リストを示す図である。
【図１０】第２の単語リストを示す図である。
【図１１】情報処理装置の構成図である。
【図１２】記録媒体を示す図である。
【符号の説明】
１１ 入力手段
１２ 文字認識手段
１３ 範囲決定手段
１４ 付加手段
１５ 検索手段
２１ 文字認識部
２２ テキスト追加部
２３ インデックス生成部
２４ 検索部
２５ 再処理範囲決定部
２６ ラティス生成部
２７ 文字列生成部
２８ 形態素解析部
２９ 単語辞書
３１ 文書画像
３２、３５ テキスト
３３ 再処理範囲
３４ 文字列
４１、４２、４３ パターン
５１ ＣＰＵ
５２ メモリ
５３ 入力装置
５４ 出力装置
５５ 外部記憶装置
５６ 媒体駆動装置
５７ ネットワーク接続装置
５８ 画像入力装置
５９ バス
６０ 可搬記録媒体
６１ サーバ
６２ データベース
【発明の属する技術分野】
本発明は、文書画像を文字認識した結果を用いて文書画像を検索する装置に関する。
【０００２】
【従来の技術】
近年、企業等の組織において、情報の共有化や迅速な利用の観点から、紙文書をスキャナ等で電子化して共有する文書管理システムが使用され、業務の効率化に貢献している。また、組織ではなく、個人の環境においても、パーソナルコンピュータが普及し、従来の紙文書との連携の必要性から、文書管理システムのニーズは高まっている。
【０００３】
文書管理システムは、紙文書をスキャナで読み取り、文書の画像を蓄積するが、後で画像を検索するために、キーワードの付与が必須となる。キーワードの付け方としては、様々なタイプがあるが、その中の１つに全文検索が挙げられる。
【０００４】
この方法では、キーワードとして、文書を要約し、代表するような、特別な単語を付けるのではなく、文書全体のテキストをそのまま使用する。そして、検索のために入力されたキーワード文字により、全文検索を行う。この場合、文書を要約した単語を考える必要がなく、また要約単語が本当に文書を代表しているかという不安もない。このため、処理時間がかかるという欠点があるが、広く使用されている。
【０００５】
全文検索は、大きく２つの技術に分類される。１つは入力キーワードと検索対象テキストとを１文字ずつ照合していく、いわゆるｇｒｅｐ方式の検索方法であり、もう１つは、あらかじめ検索対象テキストから検索用のインデックスを作成しておき、キーワードが入力されると、このインデックスと照合して検索を実現するインデックス検索方法である。一般的な性質として、ｇｒｅｐ検索は少量文書では実用的な性能があるが、大量文書の場合には、インデックス検索でないと検索時間が問題となる。
【０００６】
一般的な文書管理システムにおける紙文書の検索を考えた場合、文書登録時は、文書画像の中から文字領域を自動抽出し、その部分を文字認識してテキストを作成し、文書画像と認識されたテキストとをまとめて１つの文書として管理する。そして、検索時には、保存されているテキストと入力キーワードを照合し、一致した文書を抽出する。
【０００７】
このとき、大きな組織のシステムでは、検索の高精度化のために、検索方法として全文検索を使用し、また高速化のために、ｇｒｅｐ検索ではなく、インデックス検索を使用する。しかし、文字認識処理の精度は１００％ではないので、必ず誤認識が発生する。このため、認識後のテキストの検索精度も低下する場合がある。このような誤認識による検索精度の低下を防止する従来の技術として、以下のようなものがある。
（１）誤認識文字を自動修正して正しいテキストを生成し、検索精度の向上を図る技術
（ａ）特開平７−１８２４６５、「文字認識方法」、１９９５
この方法では、文字認識時に確信度を計算し、確信度付きの候補文字の１文字をインデックスとして単語辞書を引き、可能性のある単語を抽出する。そして、単語の照合コストや位置情報から、最も確率の高い文字列を生成し、第１位候補をこの文字列に置き換える。
（ｂ）特開平１０−２０７９８８、「文字認識方法および文字認識装置」、１９９８
この方法では、文字認識により確信度付きの候補文字を生成し、第１位候補が低確信度文字を含む場合、その文字と前後１文字ずつの３文字の候補文字の中で、確信度がしきい値以上の候補文字を使って、３文字の文字列を複数個生成する。そして、それらの文字列を用いて、既に保存してある正しいテキスト文書を全文検索し、出現回数の最も多い文字列を正解文字列として、認識結果を自動修正する。この場合、大量の正しいテキストが既に存在することが前提条件となる。
（２）検索時にキーワードを複数個に展開し、検索精度の向上を図る技術
（ｃ）特開平４−９２９７１、「画像記録装置」、１９９２
この方法では、検索時に入力したキーワード文字列を複数の文字列に展開して、得られたすべての検索文字列で検索した結果を、総合して出力する。キーワード文字列の展開時には、誤認識テーブルを使用して、ある文字と間違えられやすい誤認識文字を特定し、その誤認識文字を正しい文字に置き換えることで、検索文字列を生成する。
（ｄ）特開平４−３２８６８２、「画像情報処理装置」、１９９２
この方法では、キーワードを検索対象と照合するときに、Ｎ文字までの照合ミスは無視して、照合されたものとみなされる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した従来の検索方法には、次のような問題がある。
（１）の自動修正を用いた方法では、自動修正の精度が１００％でないので、修正しきれない場合がある。また、修正結果として一意に決めた文字列を作成し、元のテキストと置き換える方法であり、複数の候補文字列を考えていないので、作成された文字列が間違っていると、検索もできなくなる。このように、認識結果情報から検索のための正しいテキストを抽出する精度が不十分である。
【０００９】
（２）のキーワード展開を用いた方法では、認識結果の候補文字情報を利用していないので、検索用の文字列が多数生成される。言い換えれば、認識結果情報の使い方が不十分なため、曖昧検索方法でも、不適切な検索キーワードが多数生成されてしまう。このため、検索時間が膨大になり、検索精度も悪化する。さらに、（ｄ）の方法については、通常のテキスト検索では実現不可能であるので、特別な検索システムが必要となる。
【００１０】
本発明の課題は、文字認識を用いた文書画像の検索において、誤認識があっても高精度な検索を行うことのできる文書画像検索装置を提供することである。
【００１１】
【課題を解決するための手段】
図１は、本発明の文書画像検索装置の原理図である。図１の文書画像検索装置は、入力手段１１、文字認識手段１２、範囲決定手段１３、付加手段１４、および検索手段１５を備える。
【００１２】
入力手段１１は、文書画像を入力し、文字認識手段１２は、その文書画像の文字認識を行って、認識結果のテキストを生成する。範囲決定手段１３は、認識結果の信頼度と言語処理を用いて、文書画像内で、文字認識の再処理範囲の画像領域を決定し、付加手段１４は、再処理範囲の画像領域の文字認識をやり直した結果のテキストを、認識結果のテキストに付加して、検索用テキストを生成する。検索手段１５は、その検索用テキストを用いて検索を実行する。
【００１３】
入力手段１１により入力された文書画像は、文字認識手段１２により文字認識され、認識結果のテキストが生成される。範囲決定手段１３は、入力された文書画像内で、文字認識の再処理を行う範囲を決定し、その範囲を表す情報を付加手段１４に渡す。
【００１４】
付加手段１４は、受け取った情報に基づいて、再処理範囲の文字認識のやり直しを文字認識手段１２に依頼し、やり直した結果から、最初に得られた認識結果とは異なるテキストを生成する。そして、そのテキストを、最初の認識結果のテキストに付加して、検索用テキストを生成し、それを保存する。検索手段１５は、保存された検索用テキストを用いて、文書画像を検索する。
【００１５】
このような文書画像検索装置によれば、文字認識のやり直しにより、新たな文字列のテキストを認識結果の別候補として追加することができる。したがって、最初の文字認識において誤認識があった場合でも、検索用テキストに正しい文字列を付加することが可能になり、検索精度が向上する。また、特定の再処理範囲を指定して、その範囲内の領域についてのみ文字認識をやり直すので、別候補の文字列がいたずらに増加することが防止され、効率の良い検索が可能となる。
【００１６】
図１の入力手段１１は、例えば、後述する図１１の画像入力装置５８に対応し、図１の文字認識手段１２は、例えば、後述する図２の文字認識部２１に対応する。また、図１の範囲決定手段１３は、例えば、図２の再処理範囲決定部２５および形態素解析部２８に対応し、図１の付加手段１４は、例えば、図２のテキスト追加部２２、ラティス生成部２６、文字列生成部２７、および形態素解析部２８に対応する。また、図１の検索手段１５は、例えば、図２のインデックス生成部２３および検索部２４に対応する。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
本実施形態の文書画像検索方法のポイントは、以下の通りである。
（１）文書画像を文字認識した結果のテキストから、再処理範囲を抽出する。
（２）抽出された再処理範囲の画像領域についてのみ、候補文字ラティスから正解文字列を含む複数の文字列を生成する。
（３）通常の文書認識結果のテキストに、生成された文字列を追加する。
【００１８】
このような検索方法によれば、複数の文字列を生成することで、その中に正しい文字列が含まれる確率が高くなる。これにより、検索のための正しいテキストが抽出される精度が向上し、検索精度も向上する。
【００１９】
また、複数の文字列の情報を、特定の範囲内の領域だけに限定し、さらにその領域の候補文字ラティス内の情報に限定することで、ゴミとなる文字列の生成を押さえることが可能となる。このように、生成文字列数を押さえながら、その中に正しい文字列を含ませることが可能となるため、検索時間が短縮され、検索精度も向上する。
【００２０】
また、通常のテキストに検索精度を向上させるためのテキストを追加しただけの文書を検索対象としているので、検索システムは、通常のテキスト検索だけを行えばよく、特別な検索システムは不要である。
【００２１】
図２は、本発明の文書画像検索装置の構成図である。図２の文書画像検索装置は、文字認識部２１、テキスト追加部２２、インデックス生成部２３、検索部２４、再処理範囲決定部２５、ラティス生成部２６、文字列生成部２７、形態素解析部２８、および単語辞書２９を備える。そして、文書画像３１を文字認識して求めたテキスト３２に、文書画像中の特定領域から求め直した文字列３４のテキストを追加した検索用テキスト３５を生成し、このテキスト３５を検索する。
【００２２】
図３は、図２の文書画像検索装置が行うテキスト追加処理のフローチャートである。文書画像検索装置は、まず、検索対象の文書画像３１を入力し、メモリ上に展開する（ステップＳ１）。このとき、ユーザは、紙文書をスキャナ等の画像入力装置に光学的に読み取らせることで、文書画像３１を入力する。
【００２３】
次に、文字認識部２１は、文書画像３１の文字認識を行って、認識結果を評価し、その信頼度（評価値）を求める。そして、認識結果のテキスト３２を信頼度とともに出力する（ステップＳ２）。テキスト３２としては、例えば、認識結果の第１位候補文字列が用いられる。次に、再処理範囲決定部２５は、テキスト３２と信頼度に基づいて、文字認識の再処理範囲３３を抽出する（ステップＳ３）。この再処理範囲３３の情報としては、例えば、対応する領域の位置を表す識別情報（ＩＤ）または座標値が用いられる。
【００２４】
次に、ラティス生成部２６は、再処理範囲３３の文字認識のやり直しを文字認識部２１に依頼し、やり直された文字認識の結果から候補文字ラティスを生成する（ステップＳ４）。そして、文字列生成部２７は、候補文字ラティスから検索用の文字列３４を生成する（ステップＳ５）。
【００２５】
次に、テキスト追加部２２は、文字列３４のテキストを、再処理範囲３３の認識結果の別候補としてテキスト３２に付加し、テキスト３５を生成する（ステップＳ６）。このテキスト３５には、再処理範囲３３の画像に対して、複数の候補文字列のテキストが含まれることになる。
【００２６】
以上のようなテキスト追加処理が終了すると、インデックス生成部２３は、テキスト３５を認識結果として用いて、文書画像３１に検索用インデックスをはる。そして、検索部２４は、クエリーに応じて、検索用インデックスを用いた検索を実行する。このように、特定の再処理範囲３３に対して複数の候補文字列を生成し、それらを検索対象に含めることで、文字認識誤りによる検索洩れが減少する。
【００２７】
次に、図３のテキスト追加処理の各ステップについて、より詳細に説明する。
ステップＳ２において、文字認識部２１は、メモリ上の文書画像３１に対して、既存の領域識別（レイアウト認識）処理を行い、テキスト領域を抽出する。そして、そのテキスト領域に対して、既存の文字認識処理を行い、認識結果のテキスト３２を獲得し、メモリに保存する。このとき、認識結果の信頼度も保存しておく。
【００２８】
また、ステップＳ３において、再処理範囲決定部２５は、認識結果の信頼度と言語処理のうち少なくとも一方を用いて、文字認識の信頼性が低く、誤認識を含む可能性がある領域、または重要なキーワードを含む可能性がある領域を特定し、それらの領域を再処理範囲として抽出する。このような再処理範囲の抽出方法は、以下の（１）〜（３）のように分類される。
（１）言語処理を用いた再処理範囲の抽出
認識結果のテキストに対して、Ｎグラム（N-gram）または単語照合を用いて、文字が連続している領域を求め、その結果を用いて再処理範囲を求める。Ｎグラムとは、Ｎ個の連続する言語データに対して、先行するＮ−１個のデータと次のＮ番目のデータの関係を確率的に与える言語モデルである。このような抽出方法としては、以下の（ａ）〜（ｃ）が考えられる。
（ａ）Ｎグラムを用いた方法（Ｎ＝２）
２グラム（bigram）で２文字間の生起確率を、言語処理の信頼度として求め、それがしきい値より大きい場合に、それらの文字は連続していると判断する。この処理を１文字ずつずらして行い、２グラムの生起確率が連続してしきい値より大きい領域を、正読範囲として求める。この場合、再処理範囲は、正読範囲で区切られた領域（正読範囲以外の領域）とする。正読範囲以外の領域は、言語的に信頼性が低いため、誤認識を含む可能性があると考えられる。そこで、文字認識をやり直すために、この領域が再処理範囲として抽出される。
（ｂ）単語照合を用いた方法
単語辞書と照合して、照合した領域を正読範囲として求める。再処理範囲は、正読範囲で区切られた領域、または正読範囲の一部の領域とする。前者の場合、正読範囲で区切られた領域は言語的に信頼性が低いので、文字認識をやり直すために、この領域が再処理範囲として抽出される。
【００２９】
また、後者の場合、例えば、正読範囲の中で特定の形態素を持つ領域を、再処理範囲と決定する。特定の形態素としては、名詞のような特定の品詞、単語辞書に登録されていない未登録語等が用いられる。このような領域は、検索時に重要となるキーワードを含んでいる可能性が高いため、認識結果が誤認識を含んでいないことが望ましい。そこで、文字認識をやり直すために、この領域が再処理範囲として抽出される。
【００３０】
また、指定された特定の区切りを用いて正読範囲を区切り、再処理範囲を決定することもできる。例えば、日本語の場合、漢字、ひらがな、カタカナ、英字等の文字種の境界や句読点が、特定の区切りとして用いられる。
（ｃ）Ｎグラムと単語照合を用いた方法
２グラムを用いて求めた正読範囲と、単語照合を用いて求めた正読範囲の論理ＯＲ（または論理ＡＮＤ）をとって、新たな正読範囲を求める。再処理範囲は、正読範囲で区切られた領域とする。
（２）認識結果の信頼度を用いた再処理範囲の抽出
認識結果のテキストに対して、認識結果の信頼度を用いて、文字認識の信頼性が低い領域を求め、それを再処理範囲とする。文字認識の信頼性が低い領域は、誤認識を含む可能性があるので、文字認識をやり直すために、この領域が再処理範囲として抽出される。このような抽出方法としては、以下の（ａ）および（ｂ）が考えられる。
（ａ）認識結果の信頼度がしきい値より小さい文字が連続する領域を、再処理範囲として求める。
（ｂ）認識結果の信頼度がしきい値より大きい文字が連続する領域を、正読範囲として求める。再処理範囲は、正読範囲で区切られた領域とする。
（３）言語処理と認識結果の信頼度を用いた再処理範囲の抽出
上述の言語処理を用いた抽出方法のいずれかにより、言語的に信頼性が高い正読範囲を求める。それと独立に、上述の認識結果の信頼度を用いた抽出方法のいずれかにより、認識結果の信頼度が高い正読範囲を求める。２種類の抽出方法の組み合わせについては、任意に選択することができる。そして、２つの正読範囲の論理ＯＲ（または論理ＡＮＤ）をとって、新たな正読範囲を求める。再処理範囲は、正読範囲で区切られた領域とする。
【００３１】
例えば、論理ＡＮＤを用いた場合、認識結果の信頼度がしきい値よりも高く、かつ、言語処理の信頼性が高い文字が連続する領域が、正読範囲となる。そして、それ以外の領域が再処理範囲として抽出される。
【００３２】
次に、上述の（１）の（ｂ）の抽出方法により、正読範囲の一部の領域を再処理範囲として抽出する方法について、具体的に説明する。
ここでは、再処理範囲決定部２５は、形態素解析部２８に対して、認識結果のテキスト３２の形態素解析を依頼し、形態素解析部２８は、単語辞書２９を参照しながら解析を行う。そして、再処理範囲決定部２５は、解析結果を用いて、検索時に重要となるキーワードの領域を自動的に判別し、再処理範囲として抽出する。このような抽出方法としては、以下の２つが考えられる。
（１）形態素解析の結果から、名詞のような特定の品詞、未登録語等の単語領域を重要キーワード領域として抽出する。未登録語には、略語等が含まれる。
（２）形態素解析の結果から、特定の品詞、未登録語等の単語領域を抽出する。次に、その単語領域を中心として前後の領域を探索し、単語領域を特定の区切りまで拡張した結果を、重要キーワード領域とする。特定の区切りとしては、上述したような文字種の境界や句読点が用いられる。あるいは、認識結果の信頼度がしきい値より低い文字が出現する位置を、特定の区切りとして用いてもよい。
【００３３】
こうして再処理範囲が抽出されると、ステップＳ４において、ラティス生成部２６は、抽出された再処理範囲の文字認識のやり直しを、文字認識部２１に依頼する。文字認識部２１は、再処理範囲の画像を再度文字認識し、各文字領域について複数の候補文字を出力する。そして、ラティス生成部２６は、出力された候補文字を用いて候補文字ラティスを生成する。
【００３４】
候補文字ラティスとは、文字列画像からの文字切り出しにより分割されたパターンを単位とし、様々な切り出し位置に基づく認識結果を、候補文字コードとその認識距離値の組み合わせを用いて表したものである。パターン間の切り出し位置には、仮想的なノード番号が付与され、候補文字ラティスに含まれる各パターンは、その前後のノード番号を用いて表される。
【００３５】
例えば、図４のような文字列画像からは、図５のような候補文字ラティスが生成される。図４において、０〜９の数字はノード番号を表し、図５において、各行の複数の候補文字は、ノード番号ｉとノード番号ｊの間のパターンの認識結果を表す。また、各候補文字に添付された数字は、距離値を表している。
【００３６】
例えば、１行目の１０個の候補文字は、ノード番号０とノード番号１の間のパターンの認識結果を表し、これらの候補文字は、距離値の小さい順（信頼度の大きい順）に並んでいる。したがって、最初の候補文字である“開”が第１位候補文字に対応する。
【００３７】
また、候補文字ラティスにおいて、距離値の代わりに、各候補文字コードに対応する認識結果の信頼度を用いてもよい。信頼度は、例えば、距離値を用いて算出され、距離値が小さくなるほど、信頼度は大きくなる。
【００３８】
候補文字ラティスが抽出されると、ステップＳ５において、文字列生成部２７は、再処理範囲の品詞情報に従って、その領域から生成された候補文字ラティスから文字列を生成する。このとき、第１位候補文字だけでなく、他の候補文字も考慮して、文字列を生成する。上述の重要キーワード領域が再処理範囲として抽出された場合、文字列の生成方法としては、以下の２つが考えられる。
（１）名詞の場合
文字列生成部２７は、形態素解析部２８に対して、候補文字ラティスの形態素解析を依頼する。形態素解析部２８は、候補文字ラティスのパスで単語辞書２９を引いて、単語辞書２９と照合された単語を抽出する。
【００３９】
候補文字ラティスを用いて辞書引きを行う方法については、例えば、「ラティスをキーとした検索を行う辞書検索装置および方法」（特開平９−１３４３６９）に開示されている。この方法によれば、候補文字ラティス内の候補文字をたどりながら、複数のパスに対応する文字列が生成されていき、各文字列が単語辞書２９内の単語と照合される。そして、単語辞書２９に登録されている文字列が抽出され、候補文字ラティス内の対応する位置とともに記録される。
【００４０】
次に、文字列生成部２７は、抽出された単語の情報を形態素解析部２８から受け取り、前から順番に接続関係に従って組み合わせて、候補文字ラティスの開始ノードから終了ノードまで連なる文字列を生成する。このとき、可能な単語の組み合わせが複数個あれば、それらに対応するすべての文字列を生成する。
（２）未登録語の場合
文字列生成部２７は、候補文字ラティスから得られるパス上の候補文字の距離値を合計して、パスの距離値を計算する。そして、パスの距離値の小さいものから順に、上位Ｎ個のパスを選択し、それらのパスで決まる文字列を生成する。ただし、Ｎは１以上の所定数とする。この場合、各パスに含まれる複数の候補文字を接続することで、文字列が生成される。
【００４１】
この方法は、例えば、「言語情報を利用した手書き文字列からの文字切り出しと認識」（村瀬他, 電子通信学会論文誌, Vol.J69-D, No.9, pp.1292-1301, 1986 ）の中の公知のＤＰ（dynamic programming ）マッチング処理等で用いられている。
【００４２】
１つのパターンに対して文字切り出し方法が２つ以上ある場合、文字列生成部２７は、そのパターンを構成する基本パターン（切り出しの最小単位）の数を用いて、距離値を正規化する。そして、正規化された距離値の合計値の小さいものから順に、上位Ｎ個のパスを選択する。
【００４３】
図６は、図４のノード番号６とノード番号８の間のパターン４１と、その内部に含まれる２つの基本パターン（ここでは、基本矩形）４２、４３を示している。これらのパターン４１、４２、および４３の第１位候補文字の距離値は、図５に示したように、それぞれ“１０４４”、“１５３３”、および“９３１”である。この場合、パターン４１の距離値に、その内部の基本パターンの数（候補文字の数）である“２”を掛けて、パターン４１の距離値を正規化する。したがって、パターン４１の第１位候補文字の距離値は“２０８８”となる。
【００４４】
また、距離値の代わりに信頼度を用いた場合は、パス上の候補文字の信頼度を合計して、パスの信頼度を計算する。そして、パスの信頼度の大きいものから順に、上位Ｎ個のパスを選択して、文字列を生成する。この場合も、基本パターンの数を用いて信頼度が正規化される。
【００４５】
こうして候補文字ラティスから文字列が生成されると、ステップＳ６において、テキスト追加部２２は、生成された文字列を、検索用の追加テキストとしてテキスト３２に付加し、得られたテキスト３５を保存する。
【００４６】
例えば、図７のような文字列画像が再処理範囲として抽出されると、図８のような候補文字ラティスが生成される。ここで、名詞の文字列としては、図９のような文字列（単語リスト）が生成され、未登録語の文字列としては、図１０のような文字列（単語リスト）が生成される。そして、これらの単語リストが追加テキストとして付加される。
【００４７】
ところで、上述したように、特定の単語領域を拡張して再処理範囲を決定することで、誤認識を救済して、正しい文字列を追加できる可能性が高くなる。
例えば、「ローリング」という文字列が誤認識されて「ローリンク」になった場合、形態素解析を行うと、「ロー」と「リンク」の２つの領域に分かれてしまう。その結果、候補文字ラティスを用いて文字列を生成すると、「ロー」の領域からは複数の単語が生成され、「リンク」の領域からは、正解の「リング」を含む複数の単語が生成される。しかし、「ロー」と「リング」をつなげた長い単語である「ローリング」は再現されない。
【００４８】
この場合、単語領域を拡張して「ローリンク」の領域を再処理範囲にすれば、正解の「ローリング」を含む複数の単語を、追加テキストとして付加することが可能になる。
【００４９】
また、図２の構成は、主として、インデックス検索を行う場合の構成に対応しているが、本発明は、任意の文書画像検索に対して同様に適用することができる。例えば、ｇｒｅｐ検索の場合、検索部２４は、テキスト追加部２２が出力したテキスト３５を直接検索すればよい。
【００５０】
図２の文書画像検索装置は、例えば、図１１に示すような情報処理装置（コンピュータ）を用いて構成することができる。図１１の情報処理装置は、ＣＰＵ（中央処理装置）５１、メモリ５２、入力装置５３、出力装置５４、外部記憶装置５５、媒体駆動装置５６、ネットワーク接続装置５７、および画像入力装置５８を備え、それらはバス５９により互いに接続されている。
【００５１】
メモリ５２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムとデータを格納する。ＣＰＵ５１は、メモリ５２を利用してプログラムを実行することにより、必要な処理を行う。
【００５２】
例えば、図２の文字認識部２１、テキスト追加部２２、インデックス生成部２３、検索部２４、再処理範囲決定部２５、ラティス生成部２６、文字列生成部２７、および形態素解析部２８は、プログラムとしてメモリ５２に格納される。また、図２の単語辞書２９、文書画像３１、テキスト３２、３５、再処理範囲３３、および文字列３４は、データとしてメモリ５２に格納される。
【００５３】
入力装置５３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、ユーザからの指示や情報の入力に用いられる。出力装置５４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、ユーザへの問い合わせや処理結果の出力に用いられる。
【００５４】
外部記憶装置５５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置等である。情報処理装置は、この外部記憶装置５５に、プログラムとデータを保存しておき、必要に応じて、それらをメモリ５２にロードして使用する。また、外部記憶装置５５は、文書画像３１とテキスト３５を保存するデータベースとしても用いられる。
【００５５】
媒体駆動装置５６は、可搬記録媒体６０を駆動し、その記録内容にアクセスする。可搬記録媒体６０としては、メモリカード、フロッピーディスク、ＣＤ−ＲＯＭ（compact disk read only memory ）、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体６０にプログラムとデータを格納しておき、必要に応じて、それらをメモリ５２にロードして使用する。
【００５６】
ネットワーク接続装置５７は、ＬＡＮ（local area network）等の任意の通信ネットワークへの接続に用いられ、通信に伴うデータ変換を行う。情報処理装置は、必要に応じて、プログラムとデータをネットワーク接続装置５７を介して外部の装置から受け取り、それらをメモリ５２にロードして使用する。
【００５７】
画像入力装置５８は、例えば、ＣＣＤ（charge coupled device ）カメラやスキャナ等の撮像装置であり、カラー画像を含む文書画像３１の入力に用いられる。
【００５８】
図１２は、図１１の情報処理装置にプログラムとデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体６０やサーバ６１のデータベース６２に保存されたプログラムとデータは、メモリ５２にロードされる。このとき、サーバ６１は、プログラムとデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して、情報処理装置に送信する。そして、ＣＰＵ５１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。
【００５９】
このような文書画像処理装置を用いて評価実験を行った結果、従来技術と比較して、認識結果のテキストに対する検索精度が向上し、検索の所要時間がほとんど増加しないことが確認された。
【００６０】
（付記１） 文書画像を入力する入力手段と、
前記文書画像の文字認識を行って、認識結果のテキストを生成する文字認識手段と、
前記文書画像内で、文字認識の再処理範囲を決定する範囲決定手段と、
前記再処理範囲の文字認識をやり直した結果のテキストを、前記認識結果のテキストに付加して、検索用テキストを生成する付加手段と、
前記検索用テキストを用いて検索を実行する検索手段と
を備えることを特徴とする文書画像検索装置。
（付記２） 前記範囲決定手段は、前記認識結果のテキストの言語処理を行って、言語的に信頼性が低い領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記３） 前記範囲決定手段は、前記認識結果のテキストの信頼度を用いて、文字認識の信頼性が低い領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記４） 前記範囲決定手段は、前記認識結果のテキストの信頼度がしきい値よりも高く、かつ、言語処理の信頼性が高い文字が連続する領域を求め、得られた領域以外の領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記５） 前記範囲決定手段は、前記認識結果のテキストと単語辞書の照合を行って、特定の形態素を持つ領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記６） 前記範囲決定手段は、前記特定の形態素を持つ領域として、名詞および未登録語の少なくとも一方を持つ領域を抽出することを特徴とする付記５記載の文書画像検索装置。
（付記７） 前記範囲決定手段は、前記認識結果のテキストと単語辞書の照合を行って、特定の区切りで区切られた領域を前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記８） 前記範囲決定手段は、前記特定の区切りとして、文字種の境界および句読点のうち少なくとも１つを用いることを特徴とする付記７記載の文書画像検索装置。
（付記９） 前記範囲決定手段は、前記認識結果のテキストと単語辞書の照合を行って、特定の形態素を持つ領域を抽出し、抽出された領域を特定の区切りまで拡張した結果を、前記再処理範囲として抽出することを特徴とする付記１記載の文書画像検索装置。
（付記１０） 前記付加手段は、前記再処理範囲の文字認識のやり直しを、前記文字認識手段に依頼して、該再処理範囲の候補文字ラティスを生成するラティス生成手段と、該候補文字ラティスから、第１位候補文字だけでなく他の候補文字も考慮して文字列を生成し、該文字列を前記やり直した結果のテキストとして出力する文字列生成手段とを含むことを特徴とする付記１記載の文書画像検索装置。
（付記１１） 前記文字列生成手段は、前記候補文字ラティスと単語辞書の照合を行って、該単語辞書に登録されている単語から前記文字列を生成することを特徴とする付記１０記載の文書画像検索装置。
（付記１２） 前記文字列生成手段は、前記候補文字ラティスから得られるパスの距離値を計算し、該パスの距離値の小さいものから順に上位Ｎ個のパスを選択して、選択されたパスで決まる文字列を生成することを特徴とする付記１０記載の文書画像検索装置。
（付記１３） 前記文字列生成手段は、文字切り出しの最小単位である基本パターンの数を用いて、前記距離値を正規化し、正規化された距離値を用いて、前記Ｎ個のパスを選択することを特徴とする付記１２記載の文書画像検索装置。
（付記１４） 前記文字列生成手段は、前記候補文字ラティスから得られるパスの信頼度を計算し、該パスの信頼度の大きいものから順に上位Ｎ個のパスを選択して、選択されたパスで決まる文字列を生成することを特徴とする付記１０記載の文書画像検索装置。
（付記１５） コンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１６） 文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理をコンピュータに実行させるためのプログラム。
（付記１７） コンピュータのためのプログラムを搬送する搬送信号であって、該プログラムは、
文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
（付記１８） 文書画像の文字認識を行って、認識結果のテキストを生成し、
前記文書画像内で、文字認識の再処理範囲を決定し、
前記再処理範囲の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成し、
前記検索用テキストを用いて検索を実行する
ことを特徴とする文書画像検索方法。
【００６１】
【発明の効果】
本発明によれば、文字認識を用いた文書画像の検索において、認識結果のテキストに対する検索精度が向上し、誤認識があっても高精度な検索を行うことが可能となる。また、従来技術と比較しても、検索時間がほとんど増加せず、特別な検索システムも不要である。
【図面の簡単な説明】
【図１】本発明の文書画像検索装置の原理図である。
【図２】文書画像検索装置の構成図である。
【図３】テキスト追加処理のフローチャートである。
【図４】第１の文字列画像を示す図である。
【図５】第１の候補文字ラティスを示す図である。
【図６】距離値の正規化を示す図である。
【図７】第２の文字列画像を示す図である。
【図８】第２の候補文字ラティスを示す図である。
【図９】第１の単語リストを示す図である。
【図１０】第２の単語リストを示す図である。
【図１１】情報処理装置の構成図である。
【図１２】記録媒体を示す図である。
【符号の説明】
１１ 入力手段
１２ 文字認識手段
１３ 範囲決定手段
１４ 付加手段
１５ 検索手段
２１ 文字認識部
２２ テキスト追加部
２３ インデックス生成部
２４ 検索部
２５ 再処理範囲決定部
２６ ラティス生成部
２７ 文字列生成部
２８ 形態素解析部
２９ 単語辞書
３１ 文書画像
３２、３５ テキスト
３３ 再処理範囲
３４ 文字列
４１、４２、４３ パターン
５１ ＣＰＵ
５２ メモリ
５３ 入力装置
５４ 出力装置
５５ 外部記憶装置
５６ 媒体駆動装置
５７ ネットワーク接続装置
５８ 画像入力装置
５９ バス
６０ 可搬記録媒体
６１ サーバ
６２ データベース
Claims (6)
- 文書画像を入力する入力手段と、
前記文書画像の文字認識を行って、認識結果のテキストを生成する文字認識手段と、
前記認識結果のテキストの文字を１文字ずつずらしながら２文字間の生起確率を求め、生起確率が連続してしきい値より大きい領域以外の領域を再処理範囲として求める第１の処理、又は前記認識結果のテキストと単語辞書の照合を行い、該単語辞書と一致した領域以外の領域若しくは該一致した領域中で特定の形態素を持つ領域若しくは該一致した領域を指定された区切りで区切った領域を再処理範囲として求める第２の処理、又は該第１の処理において生起確率が連続してしきい値より大きい領域と該第２の処理において単語辞書と一致した領域との論理ＯＲ若しくは論理ＡＮＤにより得られる領域以外の領域を再処理範囲として求める第３の処理により、前記文書画像内で、文字認識の再処理範囲の画像領域を決定する範囲決定手段と、
前記再処理範囲の画像領域の文字認識をやり直した結果のテキストを、前記認識結果のテキストに付加して、検索用テキストを生成する付加手段と、
前記検索用テキストを用いて検索を実行する検索手段と
を備えることを特徴とする文書画像検索装置。 - 前記範囲決定手段は、前記第１の処理において生起確率が連続してしきい値より大きい領域、又は前記第２の処理において単語辞書と一致した領域、又は前記第３の処理において論理ＯＲ若しくは論理ＡＮＤにより得られる領域と、前記認識結果のテキストにおいて認識結果の信頼度がしきい値より大きい文字が連続する領域との論理ＯＲ若しくは論理ＡＮＤにより得られる領域以外の領域を再処理範囲として求める処理により、前記文字認識の再処理範囲の画像領域を決定することを特徴とする請求項１記載の文書画像検索装置。
- 文書画像を入力する入力手段と、
前記文書画像の文字認識を行って、認識結果のテキストを生成する文字認識手段と、
前記認識結果のテキストにおいて認識結果の信頼度がしきい値より小さい文字が連続する領域を再処理範囲として求める第１の処理、又は認識結果の信頼度がしきい値より大きい文字が連続する領域以外の領域を再処理範囲として求める第２の処理により、前記文書画像内で、文字認識の再処理範囲の画像領域を決定する範囲決定手段と、
前記再処理範囲の画像領域の文字認識をやり直した結果のテキストを、前記認識結果のテキストに付加して、検索用テキストを生成する付加手段と、
前記検索用テキストを用いて検索を実行する検索手段と
を備えることを特徴とする文書画像検索装置。 - 前記付加手段は、前記再処理範囲の画像領域の文字認識のやり直しを、前記文字認識手段に依頼して、該再処理範囲の画像領域の候補文字ラティスを生成するラティス生成手段と、該候補文字ラティスから、第１位候補文字だけでなく他の候補文字も考慮して文字列を生成し、該文字列を前記やり直した結果のテキストとして出力する文字列生成手段とを含むことを特徴とする請求項１乃至３のいずれかに記載の文書画像検索装置。
- 文書画像の文字認識を行って、認識結果のテキストを生成し、
前記認識結果のテキストの文字を１文字ずつずらしながら２文字間の生起確率を求め、生起確率が連続してしきい値より大きい領域以外の領域を再処理範囲として求める第１の処理、又は前記認識結果のテキストと単語辞書の照合を行い、該単語辞書と一致した領域以外の領域若しくは該一致した領域中で特定の形態素を持つ領域若しくは該一致した領域を指定された区切りで区切った領域を再処理範囲として求める第２の処理、又は該第１の処理において生起確率が連続してしきい値より大きい領域と該第２の処理において単語辞書と一致した領域との論理ＯＲ若しくは論理ＡＮＤにより得られる領域以外の領域を再処理範囲として求める第３の処理により、前記文書画像内で、文字認識の再処理範囲の画像領域を決定し、
前記再処理範囲の画像領域の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理を前記コンピュータに実行させるためのプログラム。 - 文書画像の文字認識を行って、認識結果のテキストを生成し、
前記認識結果のテキストにおいて認識結果の信頼度がしきい値より小さい文字が連続する領域を再処理範囲として求める第１の処理、又は認識結果の信頼度がしきい値より大きい文字が連続する領域以外の領域を再処理範囲として求める第２の処理により、前記文書画像内で、文字認識の再処理範囲の画像領域を決定し、
前記再処理範囲の画像領域の文字認識をやり直して、やり直した結果のテキストを生成し、
前記やり直した結果のテキストを前記認識結果のテキストに付加して、検索用テキストを生成する
処理をコンピュータに実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001120031A JP4421134B2 (ja) | 2001-04-18 | 2001-04-18 | 文書画像検索装置 |
| US09/949,891 US7142716B2 (en) | 2001-04-18 | 2001-09-12 | Apparatus for searching document images using a result of character recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001120031A JP4421134B2 (ja) | 2001-04-18 | 2001-04-18 | 文書画像検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002312365A JP2002312365A (ja) | 2002-10-25 |
| JP4421134B2 true JP4421134B2 (ja) | 2010-02-24 |
Family
ID=18970148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001120031A Expired - Fee Related JP4421134B2 (ja) | 2001-04-18 | 2001-04-18 | 文書画像検索装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7142716B2 (ja) |
| JP (1) | JP4421134B2 (ja) |
Families Citing this family (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US7130487B1 (en) * | 1998-12-15 | 2006-10-31 | Matsushita Electric Industrial Co., Ltd. | Searching method, searching device, and recorded medium |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| JP4421134B2 (ja) * | 2001-04-18 | 2010-02-24 | 富士通株式会社 | 文書画像検索装置 |
| JP4006239B2 (ja) * | 2002-02-21 | 2007-11-14 | 株式会社日立製作所 | 文書の検索方法および検索システム |
| US7508984B2 (en) * | 2003-07-31 | 2009-03-24 | Ricoh Company, Ltd. | Language recognition method, system and software |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US8799303B2 (en) | 2004-02-15 | 2014-08-05 | Google Inc. | Establishing an interactive environment for rendered documents |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US8521772B2 (en) | 2004-02-15 | 2013-08-27 | Google Inc. | Document enhancement system and method |
| US20060041484A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
| US20080313172A1 (en) | 2004-12-03 | 2008-12-18 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
| US9008447B2 (en) | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
| US8793162B2 (en) | 2004-04-01 | 2014-07-29 | Google Inc. | Adding information or functionality to a rendered document via association with an electronic counterpart |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US8621349B2 (en) | 2004-04-01 | 2013-12-31 | Google Inc. | Publishing techniques for adding value to a rendered document |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| WO2008028674A2 (en) | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US20070300142A1 (en) | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US9460346B2 (en) | 2004-04-19 | 2016-10-04 | Google Inc. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| CN100373399C (zh) * | 2004-08-18 | 2008-03-05 | 富士通株式会社 | 建立劣化字典的方法和装置 |
| US20110029504A1 (en) * | 2004-12-03 | 2011-02-03 | King Martin T | Searching and accessing documents on private networks for use with captures from rendered documents |
| KR100597437B1 (ko) * | 2004-12-17 | 2006-07-06 | 한국전자통신연구원 | 하이브리드 정답유형 인식 장치 및 방법 |
| FR2880709B1 (fr) * | 2005-01-11 | 2014-04-25 | Vision Objects | Procede de recherche, reconnaissance et localisation dans l'encre, dispositif, programme et langage correspondants |
| JP4443443B2 (ja) * | 2005-03-04 | 2010-03-31 | 富士通株式会社 | 文書画像レイアウト解析プログラム、文書画像レイアウト解析装置、および文書画像レイアウト解析方法 |
| JP4747828B2 (ja) * | 2005-12-21 | 2011-08-17 | 富士ゼロックス株式会社 | 履歴管理装置 |
| JP2007219867A (ja) * | 2006-02-17 | 2007-08-30 | Hitachi Ltd | 文字列読取り方法 |
| EP2051935B1 (en) * | 2006-07-26 | 2016-09-07 | STMicroelectronics Srl | Use of nitroaniline derivatives for the production of nitric oxide |
| JP4860574B2 (ja) * | 2006-09-13 | 2012-01-25 | 株式会社キーエンス | 文字切り出し装置、方法およびプログラム |
| JP4774390B2 (ja) * | 2006-09-13 | 2011-09-14 | 株式会社キーエンス | 文字切り出し装置、方法およびプログラム |
| US8726178B2 (en) * | 2006-11-10 | 2014-05-13 | Ricoh Company, Ltd. | Device, method, and computer program product for information retrieval |
| JP4810469B2 (ja) * | 2007-03-02 | 2011-11-09 | 株式会社東芝 | 検索支援装置、プログラム及び検索支援システム |
| JP5213338B2 (ja) * | 2007-03-02 | 2013-06-19 | キヤノン株式会社 | 文字認識装置、文字認識方法、コンピュータプログラム |
| CN101354704B (zh) * | 2007-07-23 | 2011-01-12 | 夏普株式会社 | 字形特征字典制作装置及具备该装置的文档图像处理装置 |
| JP5115089B2 (ja) * | 2007-08-10 | 2013-01-09 | 富士通株式会社 | キーワード抽出方法 |
| JP2009157482A (ja) * | 2007-12-25 | 2009-07-16 | Kyocera Corp | 文書編集装置及び文書編集方法 |
| JP4941331B2 (ja) * | 2008-01-28 | 2012-05-30 | セイコーエプソン株式会社 | 印刷方法、印刷装置、対応テーブル生成方法、およびプログラム |
| JP5258313B2 (ja) * | 2008-01-31 | 2013-08-07 | キヤノン株式会社 | 画像処理システム、画像処理方法、及びプログラム |
| JP5125573B2 (ja) | 2008-02-12 | 2013-01-23 | 富士通株式会社 | 領域抽出プログラム、文字認識プログラム、および文字認識装置 |
| JP5090983B2 (ja) * | 2008-03-25 | 2012-12-05 | シャープ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、及びこのプログラムを記録したコンピュータ読取可能な記録媒体 |
| US8509571B2 (en) * | 2008-06-11 | 2013-08-13 | Panasonic Corporation | Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method |
| EP2315134A4 (en) * | 2008-10-14 | 2012-12-26 | Mitsubishi Electric Corp | SEARCHING DEVICE, RESEARCH INDEX CREATING DEVICE, AND SEARCHING SYSTEM |
| KR101035744B1 (ko) * | 2008-12-08 | 2011-05-20 | 삼성전자주식회사 | 카메라를 이용한 문자 인식 장치 및 방법 |
| US8373724B2 (en) * | 2009-01-28 | 2013-02-12 | Google Inc. | Selective display of OCR'ed text and corresponding images from publications on a client device |
| WO2010096191A2 (en) | 2009-02-18 | 2010-08-26 | Exbiblio B.V. | Automatically capturing information, such as capturing information using a document-aware device |
| JP5353325B2 (ja) * | 2009-03-10 | 2013-11-27 | 株式会社リコー | 文書データ生成装置と文書データ生成方法 |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| DE202010018551U1 (de) | 2009-03-12 | 2017-08-24 | Google, Inc. | Automatische Bereitstellung von Inhalten, die mit erfassten Informationen, wie etwa in Echtzeit erfassten Informationen, verknüpft sind |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9400790B2 (en) * | 2009-12-09 | 2016-07-26 | At&T Intellectual Property I, L.P. | Methods and systems for customized content services with unified messaging systems |
| US9323784B2 (en) * | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US8384917B2 (en) * | 2010-02-15 | 2013-02-26 | International Business Machines Corporation | Font reproduction in electronic documents |
| JP5716328B2 (ja) * | 2010-09-14 | 2015-05-13 | 株式会社リコー | 情報処理装置、情報処理方法、および情報処理プログラム |
| US8942484B2 (en) | 2011-09-06 | 2015-01-27 | Qualcomm Incorporated | Text detection using image regions |
| KR20130050519A (ko) * | 2011-11-08 | 2013-05-16 | 삼성전자주식회사 | 영상처리장치 및 그 제어방법 |
| JP6003705B2 (ja) | 2013-02-14 | 2016-10-05 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| US10685261B2 (en) * | 2018-06-11 | 2020-06-16 | GM Global Technology Operations LLC | Active segmention of scanned images based on deep reinforcement learning for OCR applications |
| JP7268311B2 (ja) * | 2018-09-06 | 2023-05-08 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| CN109684928B (zh) * | 2018-11-22 | 2023-04-11 | 西交利物浦大学 | 基于互联网检索的中文文档识别方法 |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5020117A (en) * | 1988-01-18 | 1991-05-28 | Kabushiki Kaisha Toshiba | Handwritten character string recognition system |
| US5625710A (en) * | 1988-07-20 | 1997-04-29 | Fujitsu Limited | Character recognition apparatus using modification of a characteristic quantity |
| JP2829937B2 (ja) | 1990-08-06 | 1998-12-02 | キヤノン株式会社 | 画像検索方法及び装置 |
| JPH04328682A (ja) | 1991-04-30 | 1992-11-17 | Hitachi Ltd | 画像情報処理装置 |
| JPH0772906B2 (ja) * | 1991-07-10 | 1995-08-02 | 富士ゼロックス株式会社 | 文書認識装置 |
| DE69328640T2 (de) * | 1992-02-07 | 2000-09-28 | Canon K.K., Tokio/Tokyo | Verfahren und Einrichtung zur Mustererkennung |
| TW222337B (ja) * | 1992-09-02 | 1994-04-11 | Motorola Inc | |
| US5748807A (en) * | 1992-10-09 | 1998-05-05 | Panasonic Technologies, Inc. | Method and means for enhancing optical character recognition of printed documents |
| US5455872A (en) * | 1993-04-26 | 1995-10-03 | International Business Machines Corporation | System and method for enhanced character recogngition accuracy by adaptive probability weighting |
| DE69425412T2 (de) * | 1993-11-23 | 2001-03-08 | International Business Machines Corp., Armonk | Anlage und Verfahren zur automatischen Handschrifterkennung mittels eines benutzerunabhängigen chirographischen Labelalphabets |
| JPH07182465A (ja) | 1993-12-22 | 1995-07-21 | Hitachi Ltd | 文字認識方法 |
| JPH087033A (ja) * | 1994-06-16 | 1996-01-12 | Canon Inc | 情報処理方法及び装置 |
| US5434932A (en) * | 1994-07-28 | 1995-07-18 | West Publishing Company | Line alignment apparatus and process |
| US5519786A (en) * | 1994-08-09 | 1996-05-21 | Trw Inc. | Method and apparatus for implementing a weighted voting scheme for multiple optical character recognition systems |
| US5805747A (en) * | 1994-10-04 | 1998-09-08 | Science Applications International Corporation | Apparatus and method for OCR character and confidence determination using multiple OCR devices |
| JP3400151B2 (ja) * | 1994-12-08 | 2003-04-28 | 株式会社東芝 | 文字列領域抽出装置および方法 |
| US6208744B1 (en) * | 1994-12-14 | 2001-03-27 | Casio Computer Co., Ltd. | Document image processor and method for setting a document format conforming to a document image |
| JP3689455B2 (ja) * | 1995-07-03 | 2005-08-31 | キヤノン株式会社 | 情報処理方法及び装置 |
| JP3152871B2 (ja) | 1995-11-10 | 2001-04-03 | 富士通株式会社 | ラティスをキーとした検索を行う辞書検索装置および方法 |
| JP3427692B2 (ja) | 1996-11-20 | 2003-07-22 | 松下電器産業株式会社 | 文字認識方法および文字認識装置 |
| US6678683B1 (en) * | 1996-12-27 | 2004-01-13 | Canon Kabushiki Kaisha | Document management system using an access-limited character train and password, and a method and computer-readable medium therefor |
| US5889897A (en) * | 1997-04-08 | 1999-03-30 | International Patent Holdings Ltd. | Methodology for OCR error checking through text image regeneration |
| US6298173B1 (en) * | 1997-10-03 | 2001-10-02 | Matsushita Electric Corporation Of America | Storage management system for document image database |
| EA003619B1 (ru) * | 1998-04-01 | 2003-08-28 | Уильям Петерман | Система и способ поиска электронных документов, созданных с помощью оптического распознавания знаков |
| JPH11328304A (ja) * | 1998-05-13 | 1999-11-30 | Oki Electric Ind Co Ltd | 文字読取システム |
| US6263121B1 (en) * | 1998-09-16 | 2001-07-17 | Canon Kabushiki Kaisha | Archival and retrieval of similar documents |
| US6473524B1 (en) * | 1999-04-14 | 2002-10-29 | Videk, Inc. | Optical object recognition method and system |
| US6546385B1 (en) * | 1999-08-13 | 2003-04-08 | International Business Machines Corporation | Method and apparatus for indexing and searching content in hardcopy documents |
| US6470336B1 (en) * | 1999-08-25 | 2002-10-22 | Matsushita Electric Industrial Co., Ltd. | Document image search device and recording medium having document search program stored thereon |
| US6766069B1 (en) * | 1999-12-21 | 2004-07-20 | Xerox Corporation | Text selection from images of documents using auto-completion |
| US6741724B1 (en) * | 2000-03-24 | 2004-05-25 | Siemens Dematic Postal Automation, L.P. | Method and system for form processing |
| US6944344B2 (en) * | 2000-06-06 | 2005-09-13 | Matsushita Electric Industrial Co., Ltd. | Document search and retrieval apparatus, recording medium and program |
| JP2002189747A (ja) * | 2000-12-19 | 2002-07-05 | Hitachi Ltd | 文書情報の検索方法 |
| JP4421134B2 (ja) * | 2001-04-18 | 2010-02-24 | 富士通株式会社 | 文書画像検索装置 |
| JP4332356B2 (ja) * | 2003-01-22 | 2009-09-16 | キヤノン株式会社 | 情報検索装置及び方法並びに制御プログラム |
| US20060062453A1 (en) * | 2004-09-23 | 2006-03-23 | Sharp Laboratories Of America, Inc. | Color highlighting document image processing |
-
2001
- 2001-04-18 JP JP2001120031A patent/JP4421134B2/ja not_active Expired - Fee Related
- 2001-09-12 US US09/949,891 patent/US7142716B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002312365A (ja) | 2002-10-25 |
| US20020154817A1 (en) | 2002-10-24 |
| US7142716B2 (en) | 2006-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4421134B2 (ja) | 文書画像検索装置 | |
| US9875254B2 (en) | Method for searching for, recognizing and locating a term in ink, and a corresponding device, program and language | |
| US6473754B1 (en) | Method and system for extracting characteristic string, method and system for searching for relevant document using the same, storage medium for storing characteristic string extraction program, and storage medium for storing relevant document searching program | |
| Bergsma et al. | Bootstrapping path-based pronoun resolution | |
| JP3653141B2 (ja) | 機械読み取り可能形式の文書からプロセッサに対してキーフレーズを選択する自動的方法 | |
| US7236923B1 (en) | Acronym extraction system and method of identifying acronyms and extracting corresponding expansions from text | |
| US8447588B2 (en) | Region-matching transducers for natural language processing | |
| KR100630886B1 (ko) | 문자 스트링 식별 | |
| US8266169B2 (en) | Complex queries for corpus indexing and search | |
| JP2002215619A (ja) | 翻訳文書からの翻訳文抽出方法 | |
| Chen et al. | Towards robust unsupervised personal name disambiguation | |
| JPH058464B2 (ja) | ||
| US20100161314A1 (en) | Region-Matching Transducers for Text-Characterization | |
| WO2007137487A1 (en) | Method and apparatus for named entity recognition in natural language | |
| JPWO2010119615A1 (ja) | 学習データ生成装置、固有表現抽出システム、学習データ生成方法、及びプログラム | |
| US7475005B2 (en) | Translation system, dictionary updating server, translation method, and program and recording medium for use therein | |
| Kumar et al. | A study of spell checking techniques for indian languages | |
| WO2008103894A1 (en) | Automated word-form transformation and part of speech tag assignment | |
| Huang et al. | Automotive diagnosis typo correction using domain knowledge and machine learning | |
| Nguyen et al. | Named entity disambiguation: A hybrid statistical and rule-based incremental approach | |
| JP3361563B2 (ja) | 形態素解析装置及びキーワード抽出装置 | |
| JP4102153B2 (ja) | インターネットを利用した文字認識の後処理装置 | |
| Tahmasebi et al. | On the applicability of word sense discrimination on 201 years of modern english | |
| JP4640593B2 (ja) | 多言語文書検索装置および多言語文書検索方法、並びに、多言語文書を検索するプログラム | |
| Okada et al. | Bibliographic component extraction using support vector machines and hidden Markov models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070712 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071015 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091030 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4421134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |