JP3547025B2

JP3547025B2 - 情報抽出方法

Info

Publication number: JP3547025B2
Application number: JP23340095A
Authority: JP
Inventors: ハートピーター; ピアースマーク; 光利水谷
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1994-08-23
Filing date: 1995-08-18
Publication date: 2004-07-28
Anticipated expiration: 2015-08-18
Also published as: DE19530829C2; JPH0863546A; DE19530829A1; US5694494A

Description

【０００１】
【発明の属する技術分野】
本発明は、仕上げられた（情報が書き加えられた）フォームドキュメントの走査画像から、情報を抽出するための情報抽出方法および画像修復方法並びに画像修復システムに関し、特に、フォームドキュメント上の情報を電気的に取得し、該情報のうち、フォームドキュメントに書き加えられた情報をフォームドキュメント自体の情報と識別する技術に関する。
【０００２】
【従来の技術】
在来のドキュメント処理において共通の問題は、種々のフォームタイプのドキュメントから情報を抽出することにある。フォームドキュメントは、典型的には、空欄（ブランク）や空いた領域をもつ予め印刷された紙シートであり、フォームドキュメント上への情報は、フォームを仕上げる個々の者によってフォームドキュメントに書き込まれる（書き加えられる）ようになっている。このフォームは、これに書き込まれた情報に基づいて所定の行動をとることが予期される者，すなわちこれに書き込まれた（書き加えられた）情報を最終的に必要とする者によって処理される前に、幾人かの者の手に渡り、各々の者がこのフォームにさらに追加の情報を書き加えることも考えられる。これに書き込まれた情報を最終的に必要とする者は、例えば、このフォームに予め印刷されている部分と関連させてこのフォームに書き加えられた情報を解釈して、決定を行なったり特定の行動をとる。このようなフォームは、良く知られており、例えば、購買注文票，出荷伝票，労務管理簿，保険記録票などがある。
【０００３】
このようなフォームの処理を容易にし、また、これらのフォームから情報を抽出するのに、フォームに書き加えられている情報をフォームに予め印刷されている情報から分離するのが望ましい。例えば、このフォームを仕上げる個々の者の名前および住所の情報を抽出し、この情報を、予め印刷されている名前，住所，市などの欄の情報（ブランクフォーマットの情報）と識別するのが望ましい。
【０００４】
例えば良く知られているドキュメントスキャナを用いて、このフォームを走査する場合、このフォームに予め印刷されている情報は、このフォームに書き加えられている情報とともに、検出される。光学的文字認識や他の同様な技術を用いる場合には、このような処理の後になされるドキュメント処理動作においてこのフォームに書き加えられた情報だけを用いることができるように、２種類の情報を分離するのは非常に難しい。
【０００５】
【発明が解決しようとする課題】
この問題を解決する一手段として、従来では、フォームについて特定の印刷カラー（色）を用い、また、仕上げたフォームを走査する際に、上記特定の印刷カラー（色）と整合のとれたカラーフィルタ（色フィルタ）を用いていた。このような場合に、フォームに予め印刷されているカラーインクとは異なるカラーインクを用いてフォームを仕上げる（フォームに情報を書き込む）。
【０００６】
仕上げられたフォームの走査中、フォームドキュメント自体がスキャナによって読取られずに、フォームに書き加えられた情報だけがスキャナで検出できるように、整合カラーフィルタが用いられる。この技法は、実用的ではあるが、フォームの供給者やフォームの使用業務が非常に多種のフォームを取扱う場合には、これに対応させて、非常に多種のカラーフィルタが必要となる。
【０００７】
また、上記問題を解決する他の手段として、従来では、標準的なテストフォームにおけるテストの問題とこれに対する答えのように、答えの部分をドキュメント自体と分離させるドキュメント処理技術を用いていた。米国特許第５，２２９，５８９号には、この技術の一例が示されており、仕上げられた（情報が書き加えられた）答案を走査して読み込み、読み込まれた答案画像から空白（ブランク）の答案画像を差し引き、書き加えられた情報を検出するようにしている。しかしながら、このような技法では、書き加えられた情報が元の空白（ブランク）の答案部分と重なり合うときに、書き加えられた情報のうち元の空白（ブランク）の答案部分と重なり合う情報が除去されてしまい、これによって、書き加えられた情報の内容を解釈するのに、手書き文字認識，光学文字認識や他の手法を使用することができなくなるという欠点がある。
【０００８】
フォームから情報を抽出する他の技法は、米国特許第５，１４０，６５０号に記載されている。この特許では、空白のフォーム（ブランクフォーム）と仕上げられた（書き込まれた）フォームとの各々を走査し、空白のフォームの画像を仕上げられたフォームの画像と比較する。次いで、マスク領域を定めてデータを抽出し、次いで、このデータを光学文字認識によって解析する。しかしながら、この技法では、フォームの除去処理において、データが存在する領域のフォームの全てが常に除去されるわけではないので、エラーが生じ、この結果、解析にエラーが生じてしまう。
【０００９】
本発明は、特別なカラーフィルタや特別なフォームなどを用いる必要なく、フォームに書き加えられた情報をフォーム自体に含まれている情報から良好に識別(電気的に分離)することの可能な情報抽出方法を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明では、ユーザによって情報が書き加えられる前のドキュメントの画像を第１画像として取得し、ユーザによって情報が書き加えられた後のドキュメントの画像を第２画像として取得し、第２画像から第１画像を差し引き、差し引いた結果の画像を作成し、差し引き画像において、第２画像から第１画像を差し引いたことによって除去された、ユーザによって書き加えられた情報の除去部分を修復するようになっており、前記差し引いた結果の画像において、差し引かれた部分の画素を未知画素領域の画素として特定し、閾値および近傍配置を設定し、前記未知画素領域内の各画素に対して、その近傍配置によって規定される領域内に存在する既知画素の個数を計数し、該計数値が閾値よりも大きい場合には、その未知画素に対して値を計算して与え、全ての未知画素について上記各処理を繰り返し行ない、上記の処理において値が計算された画素について、これを未知画素領域から取り除いて、既知画素領域に加え、所望の場合には、前記閾値を調整し、未知画素の個数が所望個数となるまで前記各処理を繰り返すことを特徴としている。
【００１２】
また、請求項２乃至請求項６記載の発明では、請求項１記載の情報抽出方法において、前記近傍配置は、未知画素に隣接し、未知画素を取り囲む幾何学的領域であり、また、前記閾値は、近傍の画素数よりも小さな値であり、また、未知画素の値は、近傍画素のうち既知の値をもつ既知画素の値に数学的演算を施して計算され、また、各画素はマトリックスに配置され、前記近傍配置は３×３の大きさの領域であり、また、閾値を調整する場合には、閾値を“１”ずつ減少させることを特徴としている。
【００１３】
また、請求項７記載の発明では、請求項１記載の情報抽出方法において、前記差し引き処理は、前記第２画像から前記第１画像を差し引く前に、第１画像において情報をもつ画素を膨張し、これによって、第２画像から差し引かれるべき画素数を増加させる工程を含むことを特徴としている。
【００１４】
また、請求項８乃至請求項１１記載の発明では、請求項１記載の情報抽出方法において、前記第２画像は、ユーザによって情報が書き加えられたドキュメントを走査することによって得られ、また、前記第１画像は、ユーザによって仕上げられたドキュメントに対応したブランクドキュメントを走査することによって得られ、また、前記差し引き処理は、第１画像と第２画像とを電気的に比較し、第１画像と第２画像との両方に同じ情報をもつ領域を第２画像から差し引くことによってなされ、また、前記差し引き処理は、前記第２画像から前記第１画像を差し引く前に、第１画像において情報をもつ画素を膨張し、これによって、第２画像から差し引かれるべき画素数を増加させる工程を含むことを特徴としている。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。本発明は、特別なカラーフィルタや特別なフォームなどを用いる必要なく、フォームに書き加えられた情報をフォーム自体に含まれている情報から識別（電気的に分離）することを意図している。
【００１８】
このため、本発明では、仕上げられた（情報が書き加えられた）フォームとともに、空白（ブランク）のフォーム（すなわち、情報が書き加えられていない状態でのフォーム）を走査し、これら２つのフォームドキュメントをほぼ整列させることによって、フォーム自体を表現する画素を仕上げられたフォームの画像から差し引き、フォームに書き加えられたもののみの画像を抽出し（残し）、次いで、本願の発明者によって案出された画像修復処理を用いて、フォームに書き加えられたもののみの画像に修復処理を施して、フォームに書き加えられた全ての情報を修復するようになっている。これにより、在来の手書き文字認識技術，光学文字認識技術や他の技術を用いることができて、本発明の処理によって得られた情報を他の装置で使用することができる。
【００１９】
図１は本発明に係る情報抽出装置の構成例を示す図である。図１を参照すると、この情報抽出装置は、ユーザによって情報が書き加えられる前のドキュメントの画像を第１画像として取得する第１画像取得部１と、ユーザによって情報が書き加えられた後のドキュメントの画像を第２画像として取得する第２画像取得部２と、第２画像から第１画像を差し引き、差し引いた結果の画像を作成する差し引き画像作成部３と、差し引き画像において、第２画像から第１画像を差し引いたことによって除去された、ユーザによって書き加えられた情報の除去部分を修復する修復部４とを備えている。
【００２０】
すなわち、本発明の好敵な実施形態では、ドキュメントすなわちフォームに書き加えられた情報を電気的に抽出するのに、先ず、ユーザによって情報が書き加えられる前の状態でのドキュメントの画像（すなわち、例えば、空白フォーマット（ブランクフォーマット）に所定情報が予め印刷されているようなドキュメントの画像）を第１画像として獲得し、次いで、このドキュメントにユーザによって情報が書き加えられた後のこのドキュメントの画像を第２画像として獲得し、このように第１画像および第２画像の２つの画像を獲得した後、ドキュメントに印刷されている情報に対応する第１画像の各領域ごとに、各領域を第２画像から除去し、これによって、第２画像から第１画像を差し引いた（除去した）画像に相当する画像を作成し、最後に、ユーザによって書き加えられた情報のうち、上記のような除去処理で除去された情報を電気的に修復するようになっている。
【００２１】
好ましくは、ドキュメントを走査することによって第１画像および第２画像を電気的に取得し、次いで、これら２つの画像を整列させ、第２画像（情報が書き加えられたフォームの画像）から第１画像（ブランクフォームの画像）を差し引くのが良い。この差し引き処理により、ユーザによって書き加えられた情報のうちある部分が除去されてしまうことがあるが、本発明では、この画像を修復するために、この画像に所定の処理を行なうに先立って、画像の継なぎ処理（ｉｍａｇｅｃｏｎｔｉｎｕａｔｉｏｎｔｅｃｈｎｉｑｕｅ）を用いるようにしている（上記修復部４に画像継なぎ技術を用いるようにしている）。
【００２２】
この“画像継なぎ技術”は、既知の画素値をもつある定まった画像領域（既知画像領域）と未知の画素値をもつある定まった画像領域（未知画像領域）との知識に基づいて、既知画像領域と未知画像領域とを有する画像に対して修復処理を行なう技術である。例えば、後述のように、図８には、黒領域が全て既知の画素値をもつ画像領域である一方、白領域が既知の画素値と未知の画素値との両方をもつ画像領域が示されている。すなわち、オリジナルフォームの水平ラインが除去された領域については、その画素値が黒であるか白であるかは未知である（文字領域では、ユーザが情報を書き加えており、一方、文字間の領域では、ユーザは情報を書き加えていない）。本発明の画像継なぎ技術では、画素値が未知あるいは不確かな値をもつ未知画素領域（ドロップアウト領域），図８の例では水平ラインの除去された領域に含まれる画素に対してのみに画像処理を施すようにしている。
【００２３】
すなわち、本発明の画像継なぎ技術では、所定の未知画素領域（上記例では、水平ラインの除去された領域）内の各画素が当初、完全に未知の値あるいは不確かな値をもつ未知画素であるとし、未知画素領域内の特定の未知画素に着目するとき、該未知画素の近傍画素のうちで既知の値をもつ既知画素の個数が所定の閾値よりも大きい場合に限り、近傍画素のうちの既知画素の値を用いて未知画素の値を決定する一方、既知画素の個数が所定の閾値よりも小さいときには、未知画素の値を決定せず未知画素のまま残すようになっており、未知画素領域内の各画素について所定の閾値での前記処理がなされた後、値の決定された未知画素を既知画素として既知画素領域に組み込む。そして、残された未知画素について上記の処理を繰り返し行ない、残された未知画素について最早、値が得られなくなると、閾値を変更し、残されている未知画素に対して前記処理を繰り返し行なうようになっている。
【００２４】
ここで、閾値および近傍領域（近傍配置）については、初期条件として設定される。近傍領域は、修復されるべきターゲート画素（ある１つの未知画素）を取り囲む例えば所定数の画素からなる幾何学的領域のことである。また、閾値は、近傍領域の画素のうちの既知画素の個数に対して設定される。
【００２５】
より詳細には、本発明の画像継なぎ技術では、１つの未知画素領域（ドロップアウト領域）内の各画素について、その近傍領域に関して解析を行なう。この近傍領域内において、未知画素ではない画素（すなわち既知画素）の個数を計数する。この結果、計数値が閾値よりも小さい場合は、未知画素の値を決定せず、計数値が閾値よりも大きい場合に、未知画素の値を計算する。この計算は、例えば、近傍領域の各画素の値の平均をとることによってなされる。あるいは、他の例として、黒画素に対して白画素よりも大きな重み付けを行なうことによってなされる。例えば、平均が黒画素比率で０．３３以上（白画素比率で０．６７以下）であれば、未知画素の値を黒とする。未知画素を解析してその値を計算する上記の処理は、閾値よりも大きな個数の近傍画素をもつ未知画素が残らなくなるまで（「近傍画素の個数が閾値を超える」という閾値判定条件を満たす未知画素が残らなくなるまで）、続けられる。
【００２６】
このようにして、各未知画素について、計数値が閾値よりも大きいか否かを判断し、計数値が閾値よりも大きい未知画素についてのみ、画素値が計算されると、計算された画素値を未知画素領域に戻す（設定する）。これにより、値の計算された未知画素は既知画素となり、未知画素領域の大きさ（サイズ），すなわち未知画素は減り、既知画素領域，すなわち既知画素は増加する。しかる後、残された未知画素を解析してその結果を閾値と比較する処理を繰り返し行なう。この処理は、値を計算できる未知画素の個数（上記閾値判定条件を満たす未知画素の個数）が十分少なくなるまで（例えば“０”になるまで）、続けられる。しかる後、閾値を減少させて、同様の処理を繰り返し行なう。このようにして、全ての未知画素は、最終的に既知画素となり、これにより、画像が修復される。
【００２７】
図２は本発明を実現するためのシステムの一例を示す図である。図２のシステムは、コンピュータシステム２００を有している。このコンピュータシステム２００には、例えば、ワークステーションやパーソナルコンピュータ、あるいは、特別な画像処理用コンピュータを有する良く知られたコンピュータシステムを用いることができる。コンピュータシステム２００には、画像情報を少なくとも一時的に蓄積するための画像蓄積装置（画像蓄積媒体）２０３が接続されている。画像蓄積装置２０３としては、半導体メモリ，ハードディスクメモリ，テープ装置などの良く知られた記憶装置を用いることができる。
【００２８】
また、コンピュータシステム２００には、画像取得システム（画像入力システム）２０５が接続されている。この画像取得システム２０５には、画像を読取って、画像をデジタル画素値アレイに変換する機能を有するもの、例えば、スキャナ，ファクシミリ，複写機等の良く知られた画像入力システムを用いることができ、画像取得システム２０５としては処理されるべきアナログ画像をデジタル情報に変換しうるものであれば良く、画像取得システム２０５の特徴等については本発明にとって重要ではない。さらに、ある用途では、コンピュータシステム２００には、表示／制御装置２０８が接続される。表示／制御装置２０８としては、キーボード，モニタ，あるいはコンピュータシステム２００の動作を制御するための他の制御装置を用いることができる。また、表示／制御装置２０８として、本発明のシステムを起動するための付加的なプッシュボタンや他の簡単な装置を用いることもできる。さらには、表示／制御装置２０８を自動制御装置として構成し、ユーザから見えないようにすることもできる。このため、図において、表示／制御装置２０８を破線で囲んでいる。図２のシステムは、コンピュータプログラムの制御の下で作動し、本発明の情報抽出処理，画像修復処理を実行するようになっている。
【００２９】
ここで、ブランクフォームの画像と仕上げられたフォームの画像とは、画像取得システム２０５によって得られ、それぞれ画像蓄積装置２０３に格納される。次いで、コンピュータシステム２００は、仕上げられたフォームの画像をブランクフォームの画像から差し引き、その結果の画像に対して修復処理を施すようになっている。
【００３０】
図３，図４は本発明の画像修復処理（図１の修復部の処理）の処理例を示すフローチャートである。なお、画像修復処理を実際に開始する前提として、差し引かれた結果の画像データ（画素データ）（ステップ１００）において、未知画素からなる未知画素領域（ドロップアウト領域）と、未知画素領域以外の既知画素からなる既知画素領域とが、特定されており、未知画素領域の各未知画素の存在する位置（例えばメモリ内位置）がわかっている必要がある（ステップ１１０）。いまの場合、未知画素領域の各未知画素の位置は、オリジナルドキュメント（ブランクドキュメント）の黒画素によって特定される。すなわち、ブランクドキュメントの黒画素に対応する画素が未知画素として特定される。
【００３１】
また、１つの未知画素に対する近傍画素が予め定義されている必要がある（例えば、近傍の形状，大きさなど）（ステップ１１７）。また、閾値ｋの初期値が設定されている必要がある（ステップ１２０）。なお、閾値ｋの初期値は、例えばオペレータの指定によって設定することができる。また、処理演算の種類（例えば近傍画素のうちの既知画素の値の平均値をとるなどの演算の種類）が設定されている必要がある。
【００３２】
すなわち、近傍画素の定義，閾値の初期値，演算の種類が、処理対象となる画像の種類（例えば、画像が２値画像であるか多値画像であるかなど）に応じて、あるいは、未知画素領域の種類（未知画素領域の大きさ，形状など）に応じて、適切なものに設定されている必要がある。
【００３３】
このような前提が整った後、実際の修復処理を開始する。すなわち、先ず、差し引かれた画像の画素データを解析して、画像中に、未知画素が残っているか否かを調べる（ステップ１０２）。この処理は、例えばメモリ等に保持されている未知画素の個数および位置の記録を参照することによってなされる。未知画素の個数が、“０”（あるいは許容されうる程度の小さい数）になると、処理を終了する（ステップ１１２）。
【００３４】
これに対し、未知画素が画像中に残っているならば、次の未知画素位置を読出す（ステップ１１４）。ステップ１１５では、いま読出した未知画素に関して、既知のデータ値をもつ近傍画素の個数をカウントする。
【００３５】
ここで、近傍画素は、前述のようにステップ１１７で予め定義されており、近傍画素として、例えば近傍画素のすぐ近くの画素（例えば隣接画素），すなわち、未知画素として選択された１つの画素を囲む８つの画素を定義することができる。これらの８つの画素は、１つの未知画素の上の行の３つの画素と、未知画素の下の行の３つの画素と、ドロップアウト画素の左右のそれぞれ１つの画素とからなっている。
【００３６】
なお、この近傍の定義は任意であることが認識されるべきである。従って、ステップ１１７においては、画像のタイプ，品質が異なる毎に、システムの性能を最適化するよう、「近傍」の定義を選ぶことができる。例えば、他のタイプの画像では、半球レンズ状のパターン，より大きい領域のパターン，あるいは他のパターンを用いることができる。
【００３７】
既知のデータ値をもつ近傍画素数のカウントが完了すると、このカウント値ＫＮを閾値ｋと比較する（ステップ１２２）。
【００３８】
ここで、閾値ｋは、前述のようにステップ１２０で予め初期設定されており、この閾値は、既知の値をもっている必要がある近傍画素の数に対応している。１つの例では、この閾値は、“７”（８つの近傍画素のうち７個）に設定されている。８つの近傍画素に対して“７”の閾値を用いることによって、処理結果画像は高品質のものとなる。処理をより高速にするために、後述のように、より小さな値の閾値を選択することもできる。
【００３９】
ある１つの未知画素に関し、既知のデータ値をもつ近傍画素数が十分でなく、閾値ｋよりも小さい場合には、この未知画素を未知画素のまま残し、次の未知画素を選択するため、ステップ１１４に戻る。これに対し、ステップ１２２において、近傍画素数が閾値ｋと同じかこれよりも大きい場合には、この未知画素に対して、新しい値を計算する（ステップ１２５）。この新しい値は、適当な手段を用いて計算することができる。例えば、近傍の画素の値の平均値として計算できる。あるいは、変形例として、あるドキュメントの解析においては、１つのカラーの画素（例えば黒画素）を他のカラーの画素（例えば白画素）よりも優先させるのが好ましいことがある。このような場合、１つのカラーの画素（例えば黒画素）に対する閾値（重み付け）を、他のカラーの画素（例えば白画素）に対する閾値（重み付け）と異なるものに設定することができ、これにより、未知画素の画素値を良好に決定できる可能性をより一層増加させることができる。もちろん、重み付け平均や、統計的相関のようなより複雑な数学演算を含む他の手法を用いたり、より大きな比較領域を用いて、計算することもできる。
【００４０】
ステップ１２５において、１つの未知画素の値が計算されると、値を計算することの可能な他の未知画素が残っているか否かを調べる（ステップ１２７）。値を計算することの可能な他の未知画素がまだ残っている場合には、次の未知画素を取り込み、ステップ１１４に戻る。このような処理を繰り返し、最早、値を計算することができる未知画素がなくなると、ステップ１３０に進む。このことからわかるように、この段階の処理では、多数の未知画素が残っている可能性があるが、これらの画素はいずれも、既知の値を持つ近傍画素の個数が閾値を満たしていないもの（閾値よりも小さいもの）である。
【００４１】
値を計算することができる未知画素が最早なくなると、画像は、新しい値に更新される。換言すれば、いま計算のなされた結果、値をもった未知画素を、既知画素として、計算された値を用いて画像中に戻す。これにより、既知の画素の組が拡張し、未知画素の組は減少する。
【００４２】
次に、“十分”な個数の未知画素が更新されたかを調べる（ステップ１３５）。ここで、“十分”な個数を、任意所望の画素数，パ−セント，あるいは他の画素尺度のものにすることができる。このステップ１３５のゴールは、システムの繰り返し数を学習することである。例えば、上記ステップ１１４乃至１３０を繰り返し行なった結果、１つ，２つ，あるいは２，３の画素の値しか計算できなかった場合には、閾値を設定し直すことによって、より効率的に処理を行なうことができる。十分な（多数の）画素が更新されたならば、次の画素を処理するため、ステップ１１４に戻る。
【００４３】
これに対し、少数の画素しか更新されなかった場合には、画素の更新を促進するため、閾値を設定し直すことができる。この場合、ステップ１０２に戻り、次の繰り返し処理がなされる。未知画素が最早残っていない場合には、処理を終了する（ステップ１１２）。
【００４４】
要約すると、本発明の方法では、画像からの既知の情報と未知画素の位置についての既知の情報とを使用している。また、未知画素の各々について、画像中の局所的な近傍画素を考慮している。十分な近傍情報が知られているならば、その未知画素の位置をマークし、その位置に値をセーブする。各未知画素を順次に調べた後、マークされた位置の値によって、画素を更新し、次いで、これらを未知画素でなく既知画素とする。これによって、次の処理では、既知の画素の個数が増加している。このような処理を繰り返し行なって、値を計算することのできる未知画素の個数が十分に小さくなると（例えば“０”になると）、必要に応じ、閾値を変更して処理を繰り返し行ない、全ての未知画素位置が値をもつようになったとき、最終的に処理を終了する。
【００４５】
好適な例では、全ての未知画素が値をもったときに（修復されたときに）処理を終了するようになっているが、未知画素の全てが値をもつ必要はなく（すなわち、未知画素の全てが修復される必要はなく）、この場合でも処理を終了することができる。
【００４６】
元の画像は、任意のものであるので、本発明は、元の画像情報の内容については何ら条件を設けていない。全ての必要な情報は、画素レベルである。
【００４７】
上述した本発明の画像修復処理の第１の特徴（利点）は、未知画素領域内の画素の値のみを決定することにある。すなわち、画像中の全ての画素に対する処理を行なうのではなく、画像中の一部の領域の画素に対してだけ処理を行なうので、画像処理時間を従来に比べ短縮することができ、また、処理を行なう必要のない既知画素領域内の画素については処理を行なわないので、全体の画像品質を劣化させずに済む。
【００４８】
また、上述した処理の第２の特徴（利点）は、未知画素のうち、最も信頼性良く値が決定されうる画素から順に、値を決定することである。すなわち、既知の値をもつ近傍画素数が最も多い未知画素から順に値が決定される。
【００４９】
また、上述した処理の第３の特徴（利点）は、未知画素の値が決定され、この未知画素が既知の値をもつ既知画素となるとき、次の段階で、この画素を近傍画素の既知の値をもつ画素の仲間に加えて、未知のまま残っている画素の値を決定することにある。これにより、各画素の連続性を確保することができる。
【００５０】
また、上述した処理の第４の特徴（利点）は、画像の種類に依らず、全ての種類の画像を処理対象とすることができることにある。すなわち、近傍画素の定義，閾値の初期値，演算の種類を適宜設定することにより、画像が２値画像であっても、また、多値画像であっても、差し引かれた画像の修復を良好に行なうことができることにある。
【００５１】
図５はフォームの一例を示す図である。図５に示すフォームは、このフォームを仕上げる（このフォームに情報を書き加える）ユーザにその指示を与える各種の印刷領域を有しているという点で、代表的なものである。図５に示すフォームの場合、一人以上のユーザがこのフォームに情報を書き込み（書き加え）、このフォームを他の場所に持ち運び、そこで、ドキュメント処理を行なう。ドキュメント処理では、このフォームにユーザによって書き加えられた情報を抽出し、抽出した情報を用いることができるようにするのが望ましい。仕上げられた（情報が書き加えられた）フォームを処理するための光学文字認識や他の技術は、フォームを仕上げるためのユーザへの指示情報をも含めて、フォーム上の全ての情報を抽出するので、ユーザによって書き加えられた情報を処理するに先立って、この指示情報を除去するのが望ましい。フォームから指示情報，ライン等を除去することによって、これらが除去された結果の情報を、単に画像としてでなく、情報内容として処理することが可能となる。ここで、ユーザによる情報の書き込みがなされる前のドキュメントの情報内容を表わすのに、以後、“ブランクフォーム（空白のフォーム）”，“ブランクフォーマット（空白のフォーマット）のドキュメント”などの用語を用いる。
【００５２】
図６は図５に示すドキュメントが一人あるいはそれ以上のユーザによって部分的に仕上げられた（情報が書き込まれた）後の状態を示す図である。図６に示すように、フォームには、個人証明に関する情報が書き加えられている。図６に示す情報，すなわちユーザによって情報が書き加えられた後のドキュメントを、“仕上げられた（書き加えられた）フォーム”と称する。
【００５３】
本発明は、仕上げられるフォームの内容（中身）に関するものであるが、本発明は、２つのドキュメント間の相違を電気的に検出し、所望の仕方で処理する任意の用途に適用可能であることが認識されるべきである。ユーザによってドキュメントに書き加えられる情報と等価なものとして、例えば、任意の種類のドキュメントに付された注釈を考えることができる。従って、本発明は、オリジナルドキュメントのコピーをとることが可能な限り、同じドキュメントの２つのバージョン間の変化を検出するのに適用可能である。
【００５４】
本発明の好適な実施形態では、図５および図６に示すように情報が書き加えられる前のドキュメントと情報が書き加えられた後のドキュメントとのそれぞれについて、フォームの画像を電気的に取得する。好ましくは、市販されている良く知られた光学スキャナを用いて、各フォームの画像を電気的に取得する。典型的には、このようなスキャナには、走査したドキュメントのデジタル画像が得られるよう電荷結合素子（ＣＣＤ）や同様なセンサが用いられる。
【００５５】
上記のような２つの画像が電気的に得られ、これらが記憶された後、本発明では、これらを以下のように処理する。
【００５６】
本発明の一実施形態では、ブランクフォーム（空白のフォーム）上の情報を膨張（拡大）して、フォームの情報内容に対応する画素数を増加させる。この膨張処理によって、フォームの情報内容を表わしている黒領域は、白部分に対して拡大される。例えば、フォーム上で、１行分の画素を占める１つの水平ラインのサイズ（大きさ）を、３行分の画素を占めるように、拡大することができる。この膨張処理は、空白フォーム（ブランクフォーム）のバージョンを作成し、これを、情報が書き加えられたフォームのバージョンから除去するためになされる。すなわち、膨張処理により、フォームの情報内容を与える黒領域（ｄａｒｋｒｅｇｉｏｎ）は、所望量だけ白領域内に拡がり（ｇｒｏｗｎ）、黒領域のサイズ（大きさ）が増加する。黒領域のサイズが増加することによって、仕上げられた（書き加えられた）フォームからブランクドキュメント（空白ドキュメント）を差し引くとき、ブランクドキュメントの全ての情報内容を仕上げられたドキュメントから確実に除去することが可能となる。このような膨張処理は、良く知られた既存の技術を用いて行なうことができる。なお、ドキュメントが簡単（単純）なものである場合やユーザによって書き加えられた部分が簡単（単純）なものである場合には、ブランクフォームにおけるドキュメントの膨張処理は、必ずしも用いる必要はない。
【００５７】
図７は図６に示したドキュメントの一部分の拡大図である。なお、図７は本発明による処理をより詳細に説明するのに用いるものであるが、図７を用いずとも、本発明による処理が理解されるべきである。図７に示すように、処理対象となる仕上げられた（情報が書き加えられた）ドキュメントの画像は、オリジナルドキュメント（ブランクドキュメント）自体の下地部分に、ユーザによって書き加えられた情報が重なり合った部分を有している。
【００５８】
図８に示すように、ブランクドキュメントの画像は、これが膨張（拡大）されている状態，膨張（拡大）されていない状態のいずれの場合であっても、仕上げられたドキュメントの画像から取り除かれる。この処理は、好ましくは、ブランクドキュメント（ブランクフォーム）の画像と仕上げられたドキュメント（仕上げられたフォーム）の画像とを互いに比較して整列させ、次いで、ブランクフォームの画像を、これが膨張（拡大）されている状態，膨張（拡大）されていない状態のいずれの場合であっても、仕上げられたフォームの画像から差し引くことによってなされるのが良い。これら２つのフォームの整列処理は、在来のパターンマッチングアルゴリズムを用いて行うことができる。例えば、フォームの印刷時に、フォームに整列用のマークを予め印刷しておき、２つのフォームの画像において整列用マークの特徴を用いることによって、２つのフォームの整列処理を行なうことができる。なお、図８においては、オリジナルドキュメントの水平ラインの部分がわずかに膨張（拡大）処理をされていることにより、除去された部分は、フォームのオリジナルな部分よりもわずかに大きなサイズのものとなっている。
【００５９】
ブランクドキュメントが差し引かれた後、ユーザによって書き加えられた情報ができる限り多く修復されることが望まれる。光学的文字認識技術の多くは、文字を認識するために情報内容が連続していることを前提としている。例えば、ＯＣＲは、交差している２つの斜線ストロークを“Ｘ”として認識できるが、図８に示すような２セグメントストロークのところの５セグメントストロークを“Ｘ”として正しく認識することはできない。在来の光学的文字認識技術を用いて図８の画像を処理すると、多くの認識エラーが生じてしまう。このような問題を回避するため、本発明では、前述のような画像継なぎ（ｉｍａｇｅｃｏｎｔｉｎｕａｔｉｏｎ）技術を用いる。
【００６０】
図８の画像に対してこのような画像継なぎ技術を適用すると（例えば、第１の画像（ブランクドキュメントの画像）が差し引かれた部分（除去された部分）を初期の未知画素領域として画像継なぎ技術を適用すると）、情報が失われた画素（すなわち、水平ラインの除去された領域の画素）が修復されて図９に示すような画像となる。図９において、文字“Ｘ”の１つのストロークと文字“Ｓ”の下部とに僅かな欠陥があるものの、画像継なぎ技術により全ての文字のオリジナルな形を修復できたことがわかる。
【００６１】
図１０は図６に示されたドキュメントの他の部分の拡大図である。図１０を参照すると、その上部には仕上げられた（書き加えられた）フォームが示され、また、その中間部には仕上げられたドキュメントからブランクドキュメントを差し引いた結果が示され、また、その下部には、画像修復技術（画像継なぎ技術）を適用して、差し引き処理によって除去された画素を修復した結果が示されている。図１０から文字“Ｘ”が“単一”の文字に修復され、名前において“Ｙ”の下部が修復され、電話番号のエリアコードの上部が修復されていることがわかる。
【００６２】
図１１はフォームのライン上に“ｃｏｐｙ”の語が手書きで書き込まれている完成ドキュメントの拡大部分を示す図であり、図１２は、図１１の仕上げられたドキュメントの画像からブランクドキュメントの画像を差し引いた画像を示す図であり、図１３は図１２の画像を黒画素と白画素とを同じ重み付けで修復した後の修復画像を示す図である。
【００６３】
上述の実施形態は、あくまで例示であり、これに限定されるべきでなく、本発明は、特許請求の範囲を逸脱しない限り、広義に捉えられるべきである。
【００６４】
【発明の効果】
以上に説明したように、請求項１乃至請求項１１記載の発明によれば、ドキュメントにユーザによって書き加えられた情報を電気的に抽出する情報抽出方法であって、ユーザによって情報が書き加えられる前のドキュメントの画像を第１画像として取得し、ユーザによって情報が書き加えられた後のドキュメントの画像を第２画像として取得し、第２画像から第１画像を差し引き、差し引いた結果の画像を作成し、差し引き画像において、第２画像から第１画像を差し引いたことによって除去された、ユーザによって書き加えられた情報の除去部分を修復するようになっており、この修復処理では、前記差し引いた結果の画像において、差し引かれた部分の画素を未知画素領域の画素として特定し、閾値および近傍配置を設定し、前記未知画素領域内の各画素に対して、その近傍配置によって規定される領域内に存在する既知画素の個数を計数し、該計数値が閾値よりも大きい場合には、その未知画素に対して値を計算して与え、全ての未知画素について上記各処理を繰り返し行ない、上記処理において値が計算された画素について、これを未知画素領域から取り除いて、既知画素領域に加え、所望の場合には、前記閾値を調整し、未知画素の個数が所望個数となるまで前記処理を繰り返すようにしているので、特別なカラーフィルタや特別なフォームなどを用いる必要なく、フォームに書き加えられた情報をフォーム自体に含まれている情報から良好に識別(電気的に分離)することができる。
【図面の簡単な説明】
【図１】本発明に係る情報抽出装置の構成例を示す図である。
【図２】本発明を実現するためのシステムの一例を示す図である。
【図３】本発明の好適な処理例を示すフローチャートである。
【図４】本発明の好適な処理例を示すフローチャートである。
【図５】フォームの一例を示す図である。
【図６】図５のフォームにユーザによって情報が書き込まれた後の状態を示す図である。
【図７】図６に示したドキュメントの一部分の拡大図である。
【図８】差し引き画像の一例を示す図である。
【図９】図８の差し引き画像を本発明の画像継なぎ技術により修復した結果の画像を示す図である。
【図１０】図６に示したドキュメントの他の部分の拡大図である。
【図１１】フォームのライン上に“ｃｏｐｙ”の語が手書きで書き込まれている完成ドキュメントの拡大部分を示す図である。
【図１２】図１１の仕上げられたドキュメントの画像からブランクドキュメントの画像を差し引いた画像を示す図である。
【図１３】図１２の画像を黒画素と白画素とを同じ重み付けで修復した後の修復画像を示す図である。
【符号の説明】
１第１画像取得部
２第２画像取得部
３差し引き画像作成部
４修復部
２００コンピュータシステム
２０３画像蓄積装置
２０５画像取得システム
２０８表示／制御装置

Claims

ドキュメントにユーザによって書き加えられた情報を電気的に抽出する情報抽出方法であって、
ユーザによって情報が書き加えられる前のドキュメントの画像を第１画像として取得し、
ユーザによって情報が書き加えられた後のドキュメントの画像を第２画像として取得し、
第２画像から第１画像を差し引き、差し引いた結果の画像を作成し、
差し引き画像において、第２画像から第１画像を差し引いたことによって除去された、ユーザによって書き加えられた情報の除去部分を修復する情報抽出方法であって、
( ａ ) 前記差し引いた結果の画像において、差し引かれた部分の画素を未知画素領域の画素として特定し、
( ｂ ) 閾値および近傍配置を設定し、
( ｃ ) 前記未知画素領域内の各画素に対して、
( １ ) その近傍配置によって規定される領域内に存在する既知画素の個数を計数し、
( ２ ) 該計数値が閾値よりも大きい場合には、その未知画素に対して値を計算して与え、
( ３ ) 全ての未知画素について上記各処理を繰り返し行ない、
( ｄ ) 上記 ( ｃ ) の処理において値が計算された画素について、これを未知画素領域から取り除いて、既知画素領域に加え、
( ｅ ) 所望の場合には、前記閾値を調整し、未知画素の個数が所望個数となるまで前記 ( ｃ ) および ( ｄ ) の処理を繰り返すことを特徴とする情報抽出方法。
請求項１記載の情報抽出方法において、前記近傍配置は、未知画素に隣接し、未知画素を取り囲む幾何学的領域であることを特徴とする情報抽出方法。
請求項１記載の情報抽出方法において、前記閾値は、近傍の画素数よりも小さな値であることを特徴とする情報抽出方法。
請求項１記載の情報抽出方法において、未知画素の値は、近傍画素のうち既知の値をもつ既知画素の値に数学的演算を施して計算されることを特徴とする情報抽出方法。
請求項１記載の情報抽出方法において、各画素はマトリックスに配置され、前記近傍配置は３×３の大きさの領域であることを特徴とする情報抽出方法。
請求項１記載の情報抽出方法において、(ｅ)の処理では閾値を“１”ずつ減少させることを特徴とする情報抽出方法。
請求項１記載の情報抽出方法において、前記差し引き処理は、前記第２画像から前記第１画像を差し引く前に、第１画像において情報をもつ画素を膨張し、これによって、第２画像から差し引かれるべき画素数を増加させる工程を含むことを特徴とする情報抽出方法。
請求項１記載の情報抽出方法において、前記第２画像は、ユーザによって情報が書き加えられたドキュメントを走査することによって得られることを特徴とする情報抽出方法。
請求項８記載の情報抽出方法において、前記第１画像は、ユーザによって仕上げられたドキュメントに対応したブランクドキュメントを走査することによって得られることを特徴とする情報抽出方法。
請求項９記載の情報抽出方法において、前記差し引き処理は、第１画像と第２画像とを電気的に比較し、第１画像と第２画像との両方に同じ情報をもつ領域を第２画像から差し引くことによってなされることを特徴とする情報抽出方法。
請求項１０記載の情報抽出方法において、前記差し引き処理は、前記第２画像から前記第１画像を差し引く前に、第１画像において情報をもつ画素を膨張し、これによって、第２画像から差し引かれるべき画素数を増加させる工程を含むことを特徴とする情報抽出方法。