JP2008059546A - 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体 - Google Patents

Abstract

【課題】定型フォーマットの画像を記憶する手段を備えた画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体の提供。
【解決手段】入力画像の特徴点を算出する特徴点算出部４４１、算出された特徴点に基づき画像の移動、傾き、回転等に不変な特徴量を算出する特徴量算出部４４２、算出された特徴量を用いて予め登録してある登録フォーマットに投票する投票処理部４４３、投票結果を用いて入力画像と登録フォーマットとの類比を判定する類似度判定処理部４４４、類似していると判定した場合、登録フォーマットに対して書き込みがなされた領域を入力画像から抽出する書き込み領域抽出部４４５、画像データ格納部４４９への登録を制御する登録制御部４４６を備える。
【選択図】図２

Description

本発明は、定型フォーマットの画像を格納する手段を備えた画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体に関する。

従来、入力画像から文字、文字列枠、又は枠などを認識し、枠情報に基づいて枠ごとのマッチングを行うことによって、安定したフォーマット認識を可能にしてユーザの処理工程の軽減を図るファイリング装置及びファイリング方法が提案されている（例えば、特許文献１参照）。
特開平８−２５５２３６号公報

しかしながら、特許文献１に記載のファイリング装置では、ファイリングを行う際に、登録フォーマット毎にファイル名の付加や、部分画像の切り出し等を行うが、ファイル全体を保存する場合、登録フォーマットなどの共通部分も一緒にファイリングしているため、保存に必要な記憶容量が大きくなるという問題点を有していた。

本発明は斯かる事情に鑑みてなされたものであり、記憶すべき画像から罫線及び文字を各別に抽出し、抽出した罫線の様式が所定様式である場合、抽出した文字を所定様式の罫線に関連付けて記憶すると共に、抽出した罫線の様式が所定様式でない場合、抽出した罫線を記憶する構成とすることにより、帳票などのファイリングを行う場合に必要なメモリサイズを削減することができる画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体を提供することを目的とする。

本発明に係る画像処理装置は、入力画像と記憶画像との類比を判定し、判定結果に応じた処理を行う画像処理装置において、前記入力画像と前記記憶画像とが類似していると判定した場合、前記入力画像が前記記憶画像に対して書き込みを加えた画像であるか否かを判定する手段と、書き込みを加えた画像であると判定した場合、前記書き込みを含む領域を前記入力画像から抽出する手段と、抽出した領域内の画像を記憶手段に格納する制御手段とを備えることを特徴とする。

本発明にあっては、入力画像が記憶画像に書き込みを加えた画像であると判定した場合、書き込みを含む領域を抽出し、抽出した領域内の画像を記憶手段に格納する構成であるため、文字のみからなるフォーマット、文字及び罫線からなるフォーマットなど任意のフォーマットについて、フォーマットを共通とし、書き込まれた画像が保存される。

本発明に係る画像処理装置は、前記領域を複数抽出した場合、前記制御手段は、抽出した領域毎に領域内の画像を前記記憶手段に格納することを特徴とする。

本発明にあっては、書き込みを含んだ領域を複数抽出した場合には、抽出した領域毎に領域内の画像を記憶手段に格納する構成であるため、書き込まれた画像とフォーマットとを合成して出力する場合、一部分を出力しないなど任意に編集することが可能となる。

本発明に係る画像処理装置は、格納すべき画像を圧縮する手段を備え、前記制御手段は、圧縮した画像を前記記憶手段に格納することを特徴とする。

本発明にあっては、格納する画像を圧縮するため、メモリサイズを削減することができる。

本発明に係る画像処理装置は、前記記憶手段に圧縮して格納されている画像を伸張する手段と、伸張された画像を合成する合成手段とを更に備えることを特徴とする。

本発明にあっては、圧縮して格納されている画像を伸張し、伸張した画像を合成するため、帳票などの定型フォーマットを有する文書を印刷するためのデータが生成される。

本発明に係る画像処理装置は、入力画像に含まれる罫線及び文字を各別に抽出する手段と、抽出した罫線の様式が所定様式であるか否かを判断する判断手段と、所定様式であると判断した場合、抽出した文字を前記所定様式の罫線に関連付けて記憶手段に格納し、所定様式でないと判断した場合、抽出した罫線を前記記憶手段に格納する制御手段とを備えることを特徴とする。

本発明にあっては、入力画像に含まれる罫線及び文字を各別に抽出し、抽出した罫線の様式が所定様式である場合には、抽出した文字を所定様式の罫線に関連付けて記憶手段に格納する構成としているため、罫線の画像を重複して記憶することがなくなる。また、抽出した罫線の様式が所定様式でない場合には、罫線を記憶手段に格納する構成としているため、記憶した罫線の様式は、次に画像が入力された場合の判定基準として利用することができる。

本発明に係る画像処理装置は、前記制御手段は、前記判断手段が所定様式でないと判断した場合、抽出した文字を前記罫線に関連付けて前記記憶手段に格納することを特徴とする。

本発明にあっては、抽出した罫線が所定様式でない場合であっても、罫線及び文字が互いに関連付けられて記憶手段に格納される。

本発明に係る画像処理装置は、抽出した罫線及び文字を圧縮する手段を更に備え、前記制御手段は、抽出した罫線及び文字を圧縮して前記記憶手段に格納することを特徴とする。

本発明にあっては、抽出した罫線及び文字を圧縮するようにしているため、更にファイリングに要するメモリサイズの削減が可能となる。特に、罫線及び文字を個別に圧縮することにより圧縮率が向上するため、ファイリングに要するメモリサイズが大幅に削減される。

本発明に係る画像処理装置は、前記記憶手段に圧縮して格納されている罫線及び文字を伸張する手段と、伸張された罫線及び文字を合成する合成手段とを更に備えることを特徴とする。

本発明にあっては、圧縮して格納されている罫線及び文字を伸張し、伸張した罫線及び文字を合成するため、帳票などを印刷するためのデータが生成される。

本発明に係る画像読取装置は、原稿から画像を読み取る読取手段と、前述した発明の何れか１つに記載の画像処理装置とを備え、前記読取手段にて読み取った画像を前記画像処理装置にて処理するようにしてあることを特徴とする。

本発明にあっては、スキャナ装置などの画像読取装置を用いて画像の記憶が可能となる。

本発明に係る画像形成装置は、前述した発明に記載の画像処理装置と、合成手段によって合成された画像をシート上に形成する手段とを備えることを特徴とする。

本発明にあっては、関連付けて記憶されている罫線及び文字を合成し、シート上に形成する構成であるため、帳票などの作成が可能となる。

本発明に係る画像処理方法は、入力画像と記憶画像との類比を判定し、判定結果に応じた処理を行う画像処理方法において、前記入力画像と前記記憶画像とが類似していると判定した場合、前記入力画像が前記記憶画像に対して書き込みを加えた画像であるか否かを判定するステップと、書き込みを加えた画像であると判定した場合、前記書き込みを含む領域を前記入力画像から抽出するステップと、抽出した領域内の画像を記憶装置に格納させるステップとを有することを特徴とする。

本発明にあっては、入力画像が記憶画像に書き込みを加えた画像であると判定した場合、書き込みを含む領域を抽出し、抽出した領域内の画像を記憶装置に格納する構成であるため、文字のみからなるフォーマット、文字及び罫線からなるフォーマットなど任意のフォーマットについて、フォーマットを共通とし、書き込まれた画像が保存される。

本発明に係る画像処理方法は、入力画像に含まれる罫線及び文字を各別に抽出し、抽出した罫線の様式が所定様式であるか否かを判断し、所定様式であると判断した場合、抽出した文字を前記所定様式の罫線に関連付けて記憶装置に格納し、所定様式でないと判断した場合、抽出した罫線を前記記憶装置に格納することを特徴とする。

本発明にあっては、入力画像に含まれる罫線及び文字を各別に抽出し、抽出した罫線の様式が所定様式である場合には、抽出した文字を所定様式の罫線に関連付けて記憶装置に格納する構成としているため、罫線の画像を重複して記憶することがなくなる。また、抽出した罫線の様式が所定様式でない場合には、罫線を記憶装置に格納する構成としているため、記憶した罫線の様式は、次に記憶すべき画像が入力された場合の判定基準として利用することができる。

本発明に係るコンピュータプログラムは、コンピュータに、入力画像と記憶画像とが類似しているかを判定させ、判定結果に応じた処理を実行させるコンピュータプログラムにおいて、コンピュータに、前記入力画像と前記記憶画像とが類似していると判定された場合、前記入力画像が前記記憶画像に対して書き込みを加えた画像であるか否かを判定させるステップと、コンピュータに、書き込みを加えた画像であると判定された場合、前記書き込みを含む領域を前記入力画像から抽出させるステップと、コンピュータに、抽出した領域内の画像を記憶装置に格納させるステップとを有することを特徴とする。

本発明にあっては、入力画像が記憶画像に書き込みを加えた画像であると判定した場合、書き込みを含む領域を抽出し、抽出した領域内の画像を記憶装置に格納する構成であるため、文字のみからなるフォーマット、文字及び罫線からなるフォーマットなど任意のフォーマットについて、フォーマットを共通とし、書き込まれた画像が保存される。

本発明に係るコンピュータプログラムは、コンピュータに、入力画像を記憶手段へ格納させるコンピュータプログラムにおいて、コンピュータに、入力画像に含まれる罫線及び文字を各別に抽出させるステップと、コンピュータに、抽出させた罫線の様式が所定様式であるか否かを判断させるステップと、コンピュータに、所定様式であると判断した場合、抽出させた文字を前記所定様式の罫線に関連付けて記憶装置へ格納させるステップと、コンピュータに、所定様式でないと判断した場合、抽出させた罫線を前記記憶装置へ格納させるステップとを有することを特徴とする。

本発明にあっては、入力画像に含まれる罫線及び文字を各別に抽出し、抽出した罫線の様式が所定様式である場合には、抽出した文字を所定様式の罫線に関連付けて記憶装置に格納する構成としているため、罫線の画像を重複して記憶することがなくなる。また、抽出した罫線の様式が所定様式でない場合には、罫線を記憶装置に格納する構成としているため、記憶した罫線の様式は、次に記憶すべき画像が入力された場合の判定基準として利用することができる。

本発明に係る記録媒体は、前述した発明に記載のコンピュータプログラムを記録してあることを特徴とする。

本発明にあっては、前述したコンピュータプログラムを記録媒体により提供するため、このコンピュータプログラムを実行できる任意のコンピュータで書き込み、罫線の抽出が可能となる。

本発明による場合は、入力画像が記憶画像に書き込みを加えた画像であると判定した場合、書き込みを含む領域を抽出し、抽出した領域内の画像を記憶手段に格納する構成であるため、文字のみからなるフォーマット、文字及び罫線からなるフォーマットなど任意のフォーマットについて、フォーマットを共通とし、書き込まれた画像を個別に保存することができる。

本発明による場合は、書き込みを含んだ領域を複数抽出した場合には、抽出した領域毎に領域内の画像を記憶手段に格納する構成であるため、書き込まれた画像とフォーマットとを合成して出力する場合、一部分を出力しないなど任意に編集することが可能となる。

本発明による場合は、格納する画像を圧縮するため、メモリサイズを削減することができる。

本発明による場合は、圧縮して格納されている画像を伸張し、伸張した画像を合成するため、帳票などの定型フォーマットを有する文書を印刷するためのデータを生成することができ、合成した画像を出力することができる。

本発明よる場合は、入力画像に含まれる罫線及び文字を各別に抽出し、抽出した罫線の様式が所定様式である場合には、抽出した文字を所定様式の罫線に関連付けて記憶手段に格納する構成としている。したがって、罫線の画像を重複して記憶することがなくなるため、帳票などの定型フォーマットを使用する文書をファイリングする際に、必要なメモリサイズの削減を図ることができる。また、抽出した罫線の様式が所定様式でない場合には、罫線を記憶手段に格納する構成としているため、記憶した罫線の様式は、次に記憶すべき画像が入力された場合の判定基準として利用することができる。

本発明による場合は、抽出した罫線が所定様式でない場合であっても、罫線及び文字を互いに関連付けて記憶手段に格納することができる。

本発明による場合は、抽出した罫線及び文字を圧縮するようにしているため、更にファイリングに要するメモリサイズの削減が可能となる。特に、罫線及び文字を個別に圧縮することによって圧縮率が向上するため、ファイリングに要するメモリサイズを大幅に削減することができる。

本発明による場合は、圧縮して格納されている罫線及び文字を伸張し、伸張した罫線及び文字を合成するため、帳票などを印刷するためのデータを生成することができる。

本発明による場合は、スキャナ装置などの画像読取装置を用いて画像の記憶が可能となる。

本発明による場合は、関連付けて記憶されている罫線及び文字を合成し、シート上に形成する構成であるため、帳票などの作成などが可能となる。

本発明による場合は、前述したコンピュータプログラムを記録媒体により提供するため、このコンピュータプログラムを実行できる任意のコンピュータで書き込み、罫線の抽出が可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。本実施の形態に係る画像処理システムは、操作パネル１、画像入力装置３、画像処理装置４、画像出力装置７を備える。

操作パネル１は、ユーザによる操作を受付けるためのインタフェースであり、各種スイッチ、ボタン等の操作部と、ユーザに対して報知すべき情報、画像等を表示する表示部とを備える。

画像入力装置３は、原稿の画像を光学的に読み取る手段であり、読取用の原稿に光を照射する光源、ＣＣＤ（Charge Coupled Device）のようなイメージセンサ等を備えている。画像入力装置３では、所定の読取位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、ＲＧＢ（R : Red, G : Green, B : Blue）のアナログ電気信号を出力する。画像入力装置３が出力したアナログ電気信号は画像処理装置４へ入力される。

画像処理装置４は、画像入力装置３から出力されるアナログ電気信号をデジタル電気信号に変換した後、適宜の画像処理を行い、得られた画像データを画像出力装置７へ出力する。なお、画像処理装置４の内部構成、動作等については後に詳述することとする。

画像出力装置７は、画像処理装置４が出力する画像信号に基づいて用紙、ＯＨＰフィルム等のシート上に画像形成を行う手段である。そのため、画像出力装置７は、感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等（不図示）を備えており、電子写真方式にて利用者が所望する画像を用紙上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。

次に、画像処理装置４の内部構成について説明する。ＡＤ変換部４０は、画像入力装置３から入力されたＲＧＢのアナログ信号をデジタル信号に変換する。シェーディング補正部４１は、ＡＤ変換部４０から出力されたデジタル形式のＲＧＢ信号に対して、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。シェーディング補正されたＲＧＢ信号は、入力階調補正部４２へ出力される。

入力階調補正部４２は、下地濃度の除去やコントラストなどの画質調整処理を行う。領域分離処理部４３は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する処理を行う。領域分離処理部４３は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を後段の黒生成下色除去部４６、空間フィルタ処理部４７、及び階調再現処理部４９へ出力すると共に、入力されたＲＧＢ信号をそのまま後段の文書照合処理部４４へ出力する。

文書照合処理部４４は、入力された画像（入力画像）が予め記憶されている記憶画像（以下、登録フォーマットという）に類似しているか否かの判定を行い、類似していると判定した場合、入力画像が登録フォーマットに対して書き込みを行った画像であるか否かを判断する。登録フォーマットに対して書き込みを行った画像であると判断した場合、書き込みに対応した領域を抽出し、抽出した領域の画像を登録フォーマットに関連付けて記憶する。

色補正部４５は、色再現の忠実化再現のために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行うものである。色補正されたＲＧＢ信号は、後段の黒生成下色除去部４６へ出力される。黒生成下色除去部４６は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いた新たなＣＭＹ信号を生成する処理を行う。この処理によってＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

黒生成処理の一例として、スケルトンブラックによる黒生成を行う方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ、出力されるデータをＣ’，Ｍ’，Ｙ’，Ｋ’、ＵＣＲ率（UCR : Under Color Removal）をα（０＜α＜１）とすると、黒生成下色除去処理は以下の式で表される。

Ｋ’＝ｆ｛ｍｉｎ（Ｃ，Ｍ，Ｙ）｝
Ｃ’＝Ｃ−αＫ’
Ｍ’＝Ｍ−αＫ’
Ｙ’＝Ｙ−αＫ’

空間フィルタ処理部４７は、黒生成下色除去部４６より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒子状劣化を防ぐように処理を行う。

例えば、領域分離処理部４３にて文字に分離された領域は、特に黒文字又は色文字の再現性を高めるために、空間フィルタ処理部４７による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部４９においては、高周波数の再現に適した高解像度のスクリーンでの二値化又は多値化処理が選択される。また、領域分離処理部４３にて網点領域に分離された領域に関しては、空間フィルタ処理部４７において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、出力階調補正部４８において、濃度信号などの信号をカラー画像出力装置の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部４９で最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理を施す。また、領域分離処理部４３にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化又は多値化処理が行われる。

前述した各処理が施された画像データは、一旦記憶手段（不図示）に記憶され、所定のタイミングで読出されて画像出力装置７へ出力される。

図２は文書照合処理部４４の内部構成を示すブロック図である。文書照合処理部４４は、制御部４４０、特徴点算出部４４１、特徴量算出部４４２、投票処理部４４３、類似度判定処理部４４４、書き込み領域抽出部４４５、登録制御部４４６、圧縮／復号処理部４４７、合成処理部４４８を備える。

制御部４４０は、例えばＣＰＵであり、前述したハードウェア各部の制御を行う。特徴点算出部４４１は、入力画像に含まれる文字列、罫線などから連結部分を抽出し、連結部分の重心を特徴点として算出する。特徴量算出部４４２は、特徴点算出部４４１で算出された特徴点を用いて、回転、拡大、縮小に対して不変な量である特徴量（ハッシュ値）を算出する。投票処理部４４３は、特徴量算出部４４２で算出された特徴量を用いて予め登録している登録フォーマットに投票する。類似度判定処理部４４４は、投票結果を用いて入力画像と登録フォーマットとの類比を判定する。

書き込み領域抽出部４４５は、入力画像が登録フォーマットに類似していると判定された場合、入力画像から、登録フォーマットに書き込まれた文字列、画像等の抽出を行う。登録制御部４４６は、入力画像が登録フォーマットに類似している場合には、この登録フォーマットと関連付けるＩＤを設定し、抽出された領域毎の画像データを圧縮／復号処理部４４７へ出力する。また、入力画像が登録フォーマットに類似していない場合には、この入力画像を登録フォーマットとして登録させるように促すメッセージを操作パネル１に表示する。

圧縮／復号処理部４４７は、書き込み領域抽出部４４５によって抽出された画像データを、ＭＨ（Modified Huffman）、ＭＲ（Modified Read）、ＭＭＲ（Modified ModifiedRead）、ＪＰＥＧ（Joint Photographic Experts Group）などの方法を用いて圧縮する。ＭＨは、１ラインごとにライン中の白ランと黒ランのランレングスをハフマン符号で符号化し、１ライン分の符号の終わりにライン同期信号ＥＯＬを付加する符号化方式である。ＭＲは、ＭＨを改良したもので、圧縮率を上げるために前のラインとの相関を利用して符号化を行う符号化方式である。１ライン目はＭＨで符号化するが、２ライン目からＫライン目までは直前のラインとの相関を利用して符号化する。再びＫ＋１ライン目はＭＨで符号化し、同様のことを繰り返す。ＭＭＲは、Ｋ＝∞のＭＲに相当し、常に前のラインとの相関を利用して符号化を行う符号化方式である。ＪＰＥＧでは、画像を所定サイズのブロックに分割し、そのブロック単位で離散コサイン変換を用いて空間周波数領域位に変換する。そして、変換したデータを量子化によって情報量を落としてからハフマン符号によるエントロピー符号化を行う。圧縮された画像データは画像データ格納部４４９に格納される。また、圧縮された状態で画像データ格納部４４９に格納されている画像データを出力する場合、圧縮／復号処理部４４７は画像データの復号を行う。合成処理部４４８は、復号した画像データを登録フォーマットに合成する処理を行う。

以下、文書照合処理部４４での処理内容について詳細に説明する。図３は特徴点算出部４４１の構成を示すブロック図である。特徴点算出部４４１は、無彩化処理部４４１０、解像度変換部４４１１、フィルタ処理部４４１２、２値化処理部４４１３、及び重心算出部４４１４を備えている。

無彩化処理部４４１０は、入力画像データがカラー画像であった場合に無彩化して、明度信号又は輝度信号に変換するための処理部である。例えば、下記の変換式により輝度信号を求める。

Ｙｊ＝０．３０Ｒｊ＋０．５９Ｇｊ＋０．１１Ｂｊ

ここで、Ｙｊは各画素の輝度値、Ｒｊ，Ｇｊ，Ｂｊは各画素の色成分を表す。また、この方法ではなく、ＲＧＢ信号をＣＩＥ１９７６Ｌ^* ａ^* ｂ^* 信号（CIE : Commission International de l'Eclairage、 Ｌ^*： 明度、a^* , ｂ^* ：色度）に変換しても良い。

解像度変換部４４１１は、入力画像データが画像入力装置３にて光学的に変倍されていた場合に、所定の解像度になるように再度変倍する処理部である。また、解像度変換部４４１１では、後段の処理量を軽減するために、画像入力装置３にて等倍時に読込まれる解像度よりも解像度を落とすための解像度変換としても用いられる。例えば、６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換する。

フィルタ処理部４４１２は、画像入力装置の空間周波数特性が機種ごとに異なることを吸収するために用いられる処理部である。ＣＣＤが出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査ムラ等に起因して、画像のぼけなどの劣化が生じている。フィルタ処理部４４１２は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後段の処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調及び平滑化処理を行う。

図４はフィルタ処理部４４１２にて用いられる混合フィルタの一例を示す概念図である。混合フィルタは、例えば、７×７の大きさを有する。入力された画像の画素を走査し、混合フィルタによる演算処理をすべての画素に対して行う。なお、混合フィルタの大きさは、７×７の大きさに限定されるものではなく、３×３、５×５などの大きさであってもよい。また、フィルタ係数の数値は一例であって、これに限定されるものではなく、使用される画像入力装置３の特性などに応じて適宜設定される。

２値化処理部４４１３は、無彩化された画像データから重心算出に適した２値画像データを作成する処理部である。

重心算出部４４１４は、２値化されたデータから連結成分の重心を求め、これを特徴点として特徴量算出部４４２へ出力する。重心の算出方法としては、従来手法を用いることができる。すなわち、２値画像の２値化情報に基づいて各画素に対してラベリングを行い、同一ラベルが付された画素によって連結された連結領域を特定し、特定した連結領域の重心を特徴点として算出する。

図５は特徴点の抽出例を示す模式図である。図５（ａ）は、前述した手法により、「Ａ」の文字が連結領域として特定された例であり、図中の黒丸で示した点が特徴点（重心）として算出された様子を示している。図５（ｂ）は、同様に「書」の文字から連結領域を抽出した例であるが、連結領域が２つの領域に分割されて特定されている様子を示している。この場合、各連結領域から特徴点（重心）が算出されるため、１つの文字から２つの特徴点（特徴点Ａ，特徴点Ｂ）が算出されることになる。

次に、特徴量の算出手法について説明する。特徴量算出部４４２は、特徴点算出部４４１によって算出された複数の特徴点から画像の特徴量を算出する。このとき、算出された特徴点の任意の１つを注目特徴点として選択し、その注目特徴点から距離が小さい４つの特徴点を周辺特徴点として選択する。

図６は注目特徴点及び周辺特徴点を示す説明図である。図６は特徴点算出部４４１によって６つの特徴点Ｐ１〜Ｐ６が算出された様子を示している。このとき、特徴量算出部４４２が特徴点Ｐ３を注目特徴点として選択した場合、特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５が周辺特徴点として選択される。特徴量算出部４４２は、選択した注目特徴点（Ｐ３）及び周辺特徴点（Ｐ１，Ｐ２，Ｐ４，Ｐ５）を用いて、入力画像の傾き、移動、回転等により不変な不変量を算出し、算出した不変量から入力画像の特徴量を算出する。

図７は注目特徴点Ｐ１による不変量の算出例を説明する説明図である。注目特徴点Ｐ３と周辺特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５との間の距離を用いて、不変量Ｈ３ｊを、Ｈ３ｊ＝（Ａ３ｊ／Ｂ３ｊ）×Ｃ／Ｄにより定義する。ここで、ｊ＝１，２，３の値をとり、Ａ３ｊ、Ｂ３ｊはそれぞれ特徴点間の距離を示し、Ｃは規格化の定数、Ｄは予め定められた定数を示す。すなわち、３通りの不変量が算出され、不変量Ｈ３１の値は（Ａ３１／Ｂ３１）×Ｃ／Ｄ（図７（ａ）参照）、不変量Ｈ３２の値は（Ａ３２／Ｂ３２）×Ｃ／Ｄ（図７（ｂ）参照）、不変量Ｈ３３の値は（Ａ３３／Ｂ３３）×Ｃ／Ｄとなる（図７（ｃ）参照）。これらの不変量Ｈ３ｊは、例えば、原稿読取時に原稿が回転、移動、傾いた場合であっても値が変化せず、後段の類似判定において画像の類比判定を精度良く行うことができる。

図８は注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。特徴量算出部４４２は、周辺特徴点として特徴点Ｐ２，Ｐ３，Ｐ５，Ｐ６を選択する。このとき、不変量Ｈ４ｊ（ｊ＝１，２，３）は、前述と同様に、Ｈ４ｊ＝（Ａ４ｊ／Ｂ４ｊ）×Ｃ／Ｄにより算出することができる。すなわち、不変量Ｈ４１の値は（Ａ４１／Ｂ４１）×Ｃ／Ｄ（図８（ａ）参照）、不変量Ｈ４２の値は（Ａ４２／Ｂ４２）×Ｃ／Ｄ（図８（ｂ）参照）、不変量Ｈ４３の値は（Ａ４３／Ｂ４３）×Ｃ／Ｄとなる（図８（ｃ）参照）。

他の特徴点Ｐ１，Ｐ２，Ｐ５，Ｐ６を注目特徴点として選択した場合も同様であり、特徴量算出部４４２は、注目特徴点を順次変更し、各特徴点Ｐ１，Ｐ２，…，Ｐ６を選択した場合の不変量Ｈｉｊ（ｉ＝１，２，…，６：ｊ＝１，２，３）を算出する。

次いで、特徴量算出部４４２は、各注目特徴点により算出された不変量を用いて特徴量（ハッシュ値）Ｈｉを算出する。注目特徴点を特徴点Ｐｉとした場合のハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０² ＋Ｈｉ２×１０¹ ＋Ｈｉ３×１０⁰ ）／Ｅで表される。ここで、Ｅは余りをどの程度設定するかにより決定される定数であり、例えば、Ｅ＝１０とした場合、余りは０〜９の値をとり、これが算出するハッシュ値の取り得る範囲となる。

なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。また、上記では、周辺特徴点として４つを選択する構成としたが、４つに限定されるものではない。例えば、６つを抽出するようにしてもよい。この場合、６つの特徴点から５つを抽出し、５つを抽出する６通り夫々の方法について、５点から３点を抽出して不変量を求め、ハッシュ値を算出するようにしてもよい。

画像データ格納部４４９に登録フォーマットとして記憶される記憶画像はこのようにして算出されるハッシュ値と関連付けられる。図９はハッシュ値と登録フォーマットとの関連付けを示すハッシュテーブルの例を示す概念図である。ハッシュテーブルは、ハッシュ値及び登録フォーマットを表すインデックスの各欄により構成される。すなわち、図９（ａ）に示すように、登録フォーマットを示すインデックスに対応して、画像中の位置を示すポイントインデックス、及び不変量が登録されている。画像の類似度を判定するために、予め照合する画像、文書画像などをハッシュテーブルに登録しておく。なお、図９（ｂ）に示すように、ハッシュ値が等しい場合、（Ｈ１＝Ｈ５）、ハッシュテーブル１２ｂの２つのエントリを１つにまとめることもできる。

投票処理部４４３は、特徴量算出部４４２が算出したハッシュ値（特徴量）に基づいて、ハッシュテーブルを検索し、登録されているインデックスの原稿に投票する。このとき、入力画像のどの特徴点が、どの登録フォーマットのどの特徴点に投票したのかを記憶する。図１０は投票結果を集計するための集計テーブルの一例を示す概念図である。図１０に示した例では、入力画像の特徴点Ｐ１に対して求めた特徴量（ハッシュ値）が登録されている登録フォーマットＩＤ１の特徴点ｆ１の特徴量と一致していると判定されている。入力画像の他の特徴点Ｐ２〜Ｐ７についても同様である。また、事前に、登録フォーマットの各特徴点を識別するインデックスとその特徴点の座標とを格納しておく。図１１は登録フォーマットのインデックスと特徴点の座標とを格納するテーブルの一例を示す概念図である。

図１２は投票結果の一例を示すグラフである。横軸は登録フォーマットの種類、縦軸は投票数を表している。図１２に示した例は、３種類の登録フォーマット（「Ｎ１」〜「Ｎ３」）について投票が行われている様子を示している。投票を累積加算した投票結果は類似度判定処理部４４４へ出力される。

類似度判定処理部４４４は、投票処理部４４３から入力された投票結果に基づいて、画像の類似度を判定し、判定結果を制御部４４０へ通知する。類似度判定処理部４４４は、投票処理部４４３から入力された投票数（得票数）を予め定めた閾値と比較し、投票数が閾値以上である場合、入力画像が登録フォーマットに類似すると判定する。類似度判定処理部４４４は、投票処理部４４３から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を制御部４４０へ通知する。

なお、上記判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数（原稿毎に求められる特徴点の数など）で得票数を除算して正規化した後、類比判定を行ってもよい。

次に、帳票などの定型フォーマットを有する原稿の画像を画像入力装置３にて読み込み、読み込んだ画像について文書照合処理部４４にて処理を行う場合の具体的な処理手順について説明する。図１３は文書照合処理部４４で実行される処理の手順を説明するフローチャートである。文書照合処理部４４は、まず、入力画像の特徴点を算出する特徴点算出処理を実行する（ステップＳ１１）。前述したように、入力画像を２値化した後、２値化情報に基づいて各画素に対してラベリングを行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として算出する。

次いで、文書照合処理部４４は、算出した特徴点に基づいて入力画像の特徴量を算出する特徴量算出処理を行う（ステップＳ１２）。このとき、文書照合処理部４４の特徴量算出部４４２は、算出された特徴点のうち１つを注目特徴点として選択し、注目特徴点と周辺特徴点とを用いて、入力画像の移動、回転等により不変な不変量を算出し、算出した不変量から入力画像の特徴量を算出する。

次いで、文書照合処理部４４は、特徴量算出部４４２が算出した特徴量としてのハッシュ値に基づいて、図１０に示したようなハッシュテーブルを検索し、登録されているインデックスの登録フォーマットに投票する投票処理を行う（ステップＳ１３）。

次いで、文書照合処理部４４は、ステップＳ１３での投票結果に基づいて入力画像と登録フォーマットとの類似度を判定する類似度判定処理を行い（ステップＳ１４）、入力画像が登録フォーマットに類似しているか否かを判定する（ステップＳ１５）。すなわち、ハッシュテーブルに登録されている各登録フォーマットの得票数と予め定めた閾値とを比較し、投票数が閾値以上である場合、入力画像が登録フォーマットに類似であると判定し、閾値以上の得票数を持つ登録フォーマットがない場合、入力画像は登録フォーマットに類似していないと判定する。

入力画像が登録フォーマットに類似していると判断した場合（Ｓ１５：ＹＥＳ）、文書照合処理部４４は、登録フォーマットに対して書き込みが行われた領域を抽出する書き込み領域抽出処理を行う（ステップＳ１６）。書き込み領域抽出処理の詳細については後に詳述することとする。

そして、書き込み領域抽出処理にて書き込みがあると判定された領域については、それぞれ圧縮処理を施し（ステップＳ１７）、登録フォーマットとの関連付けを表すフォームＩＤとともに画像データ格納部４４９に保存する（ステップＳ１８）。また、入力画像が登録フォーマットに類似していないと判断した場合（Ｓ１５：ＮＯ）、フォーマットを登録する旨を操作パネル１に表示する（ステップＳ１９）。

図１４は書き込み領域抽出処理の手順を説明するフローチャートである。書き込み領域抽出部４４５は、読み込まれた入力画像の座標系を登録フォーマットの座標系に変換する（ステップＳ２１）。そのため、まず、ステップＳ１１で入力画像について算出した特徴点の座標と、類似していると判定された登録フォーマットにおける特徴点の座標との対応付けを行う。図１５は入力画像と登録フォーマットとの間の対応付けを説明する説明図である。登録フォーマットについては４つの特徴点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が登録されており、これら４つの特徴点の座標が、入力画像について算出された４つの特徴点の座標（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、（ｘ４’，ｙ４’）と夫々対応付けられている様子を示している。

登録フォーマットの特徴点の座標を用いて作成した行列をＰｉｎ、入力画像の特徴点の座標を用いて作成した行列をＰｏｕｔ、２つの行列Ｐｉｎ，Ｐｏｕｔの間の変換行列をＡとした場合、登録フォーマット上の座標と入力画像上の座標との間には以下の関係式が成り立つ。

行列Ｐｉｎは正方行列ではないので、両辺にＰｉｎの転地行列ＰｉｎT を乗算し、さらにＰｉｎ^T Ｐｉｎの逆行列を乗算することにより、変換行列Ａを求めることができる。

入力画像上の任意の座標（ｘ’，ｙ’）と登録フォーマット上の座標（ｘ，ｙ）との間には以下の関係式が成り立つ。

変換行列Ａを用いた座標変換は、入力画像から抽出すべき領域を求めるために利用される。例えば、登録フォーマットを用いて作成された帳票の画像から領域を抽出する場合について説明する。図１６は登録フォーマットの一例を示す模式図である。図１６（ａ）に示した登録フォーマットは、日付欄、氏名欄、住所欄、電話番号欄、記入事項欄を有している。この登録フォーマットを用いて帳票が作成された場合、日付欄、氏名欄、住所欄、電話番号欄、記入事項欄に文字列が記録されていることになる。なお、帳票に書き込まれる文字列は、人の手によって書き込まれたものであってもよく、コンピュータなどにより電子的に記録されたものであってもよい。

各欄のうち、例えば、氏名欄、住所欄、記入事項欄に記録された文字列を画像として抽出する場合、図１６（ｂ）のハッチングを付した矩形領域を抽出する。そのため、各矩形領域を特定する座標値を登録フォーマット毎に格納しておく。例えば、氏名欄の四隅の座標を（ｘ１１，ｙ１１）、（ｘ１２，ｙ１１）、（ｘ１１，ｙ１２）、（ｘ１２，ｙ１２）とした場合、矩形領域の対角を表す２つの座標（ｘ１１，ｙ１１）及び（ｘ１２，ｙ１２）を格納しておく。住所欄、記入事項欄についても同様である。図１７は各登録フォーマット毎に抽出すべき領域を定めたテーブルの一例を示す概念図である。このテーブルには、登録フォーマットを表すインデックスに対応付けて、抽出すべき領域を定める２つの対角座標と項目名とが格納されている。

変換行列Ａの逆行列を用いて入力画像の座標系を登録フォーマットの座標系に変換した後、入力画像と登録フォーマットとの間の差分を領域毎に算出する（ステップＳ２２）。このとき、原稿を読み込む際の画素値の再現性等も考慮し、画像データが２５６階調で表される場合、画素値が５〜１０程度の差であるときには同じであるとみなして差分をとる。

次いで、登録フォーマットの領域の画素数に対して、同じであると判定された画素数の比率を算出し（ステップＳ２３）、この比率が閾値ＴＨｗｒ（例えば、０．９９）より小さいか否かを判断する（ステップＳ２４）。閾値ＴＨｗｒより小さいと判断した場合（Ｓ２４：ＹＥＳ）、書き込みありと判定し（ステップＳ２５）、閾値ＴＨｗｒ以上であると判断した場合（Ｓ２４：ＮＯ）、書き込みなしと判定する（ステップＳ２６）。

次いで、抽出した全ての領域の処理が終了したか否かを判断し（ステップＳ２７）、終了していないと判断した場合（Ｓ２７：ＮＯ）、処理をステップＳ２２へ戻す。また、抽出した全ての領域の処理が終了したと判断した場合（Ｓ２７：ＹＥＳ）、本フローチャートによる処理を終了する。

このようにして画像データ格納部４４９に格納された画像データを利用する場合、利用者は、まず、対象とする文字列の画像データを選択する。又は、文字列の画像データとキーワードとを対応付けておき、キーワードで検索した結果をサムネイルにより表示、又は順次的に表示し、その中から選択するようにしてもよい。文字列の画像データは、登録フォーマットとフォームＩＤで関連付けがなされているので、対応する登録フォーマットが読み出され、各領域毎の座標位置に基づいて画像が合成される。このとき、ある領域（例えば、氏名の欄）については、出力しないなど編集処理を行うようにしてもよい。編集処理は、操作パネル１を利用し、例えば、編集モードを設け、処理を行う内容を表示部に表示し、パネルにタッチするなどして選択するようにすればよい。

実施の形態２．
実施の形態１では、まず、入力画像と記憶画像（登録フォーマット）との類比を判定し、類似している場合に必要な領域を抽出する構成としたが、入力画像からまず類比判定に用いる領域を抽出し、抽出した領域が登録フォーマットと類似しているか否かを判定するようにしてもよい。本実施の形態では、文字列及び罫線を含む帳票の画像を読み込み、読み込んだ画像から罫線を抽出し、抽出した罫線が予め記憶してある定型のフォーマット（以下、定型フォーマット）と類似しているか否かを判定する構成について説明する。

図１８は本発明の画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。実施の形態２に係る画像処理システムは、操作パネル１、画像入力装置３、画像処理装置５、画像出力装置７を備える。

操作パネル１は、ユーザによる操作を受付けるためのインタフェースであり、各種スイッチ、ボタン等の操作部と、ユーザに対して報知すべき情報、画像等を表示する表示部とを備える。

画像入力装置３は、原稿の画像を光学的に読み取る手段であり、読取用の原稿に光を照射する光源、ＣＣＤ（Charge Coupled Device）のようなイメージセンサ等を備えている。画像入力装置３では、所定の読取位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、ＲＧＢ（R : Red, G : Green, B : Blue）のアナログ電気信号を出力する。画像入力装置３が出力したアナログ電気信号は画像処理装置５へ入力される。本実施の形態では、原稿として帳票がセットされる。

画像処理装置５は、画像入力装置３から出力されるアナログ電気信号をデジタル電気信号に変換した後、適宜の画像処理を行い、得られた画像データを画像出力装置７へ出力する。なお、画像処理装置５の内部構成、動作等については後に詳述することとする。

画像出力装置７は、画像処理装置５が出力する画像信号に基づいて用紙、ＯＨＰフィルム等のシート上に画像形成を行う手段である。そのため、画像出力装置７は、感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等（不図示）を備えており、電子写真方式にて利用者が所望する画像を用紙上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。

次に、画像処理装置５の内部構成について説明する。ＡＤ変換部５１は、画像入力装置３から入力されたＲＧＢのアナログ信号をデジタル信号に変換する。シェーディング補正部５２は、ＡＤ変換部５１から出力されたデジタル形式のＲＧＢ信号に対して、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。シェーディング補正されたＲＧＢ信号は、ファイリング処理部５０及び原稿種別判定部５３へ出力される。

ファイリング処理部５０では、入力画像から罫線及び文字の抽出を行い、抽出した罫線及び文字を互いに関連付けて記憶する。このとき、抽出した罫線が既に登録されている定型フォーマットである場合、抽出した罫線を新たに記憶することはせずに、その定型フォーマットを識別する識別子（以下、フォームＩＤとする）に関連付けて文字画像を記憶する。また、抽出した罫線のフォーマットが登録されていない場合、その罫線のフォーマットに対して新規のフォームＩＤを付与した上で、そのフォームＩＤに関連付けて文字画像を記憶する。

原稿種別判定部５３は、シェーディング補正部５２にて各種の歪みが取り除かれ、カラーバランスの調整がなされたＲＧＢ（ＲＧＢの反射率信号）を濃度信号などカラー画像処理装置に採用されている画像処理システムの扱いやすい信号に変換すると共に、原稿種別の判定を行う。原稿種別の判定には公知の技術を用いることができる。

入力階調補正部５４は、下地濃度の除去やコントラストなどの画質調整処理を行う。領域分離処理部５５は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する処理を行う。領域分離処理部５５は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を後段の黒生成下色除去部５８、空間フィルタ処理部５９、及び階調再現処理部６１へ出力すると共に、入力階調補正部５４から出力された入力信号をそのまま後段の色補正部５６へ出力する。

色補正部５６は、色再現の忠実化再現のために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行うものである。色補正されたＲＧＢ信号は、後段の拡大縮小処理部５７へ出力される。拡大縮小処理部５７は、操作パネル１により入力される信号に基づいて画像の拡大又は縮小を行う。

黒生成下色除去部５８は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いた新たなＣＭＹ信号を生成する処理を行う。この処理によってＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

黒生成処理の一例として、スケルトンブラックによる黒生成を行う方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ、出力されるデータをＣ’，Ｍ’，Ｙ’，Ｋ’、ＵＣＲ率（UCR : Under Color Removal）をα（０＜α＜１）とすると、黒生成下色除去処理は以下の式で表される。

Ｋ’＝ｆ｛ｍｉｎ（Ｃ，Ｍ，Ｙ）｝
Ｃ’＝Ｃ−αＫ’
Ｍ’＝Ｍ−αＫ’
Ｙ’＝Ｙ−αＫ’

空間フィルタ処理部５９は、黒生成下色除去部５８より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒子状劣化を防ぐように処理を行う。

例えば、領域分離処理部５５にて文字に分離された領域は、特に黒文字又は色文字の再現性を高めるために、空間フィルタ処理部５９による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部６１においては、高周波数の再現に適した高解像度のスクリーンでの二値化又は多値化処理が選択される。また、領域分離処理部５５にて網点領域に分離された領域に関しては、空間フィルタ処理部５９において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、出力階調補正部６０において、濃度信号などの信号をカラー画像出力装置の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部６１で最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理を施す。また、領域分離処理部５５にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化又は多値化処理が行われる。

前述した各処理が施された画像データは、一旦記憶手段（不図示）に記憶され、所定のタイミングで読出されて画像出力装置７へ出力される。

図１９はファイリング処理部５０の内部構成を示すブロック図である。ファイリング処理部５０は、制御部５００、２値化処理部５０１、罫線抽出部５０２、照合処理部５０３、文字列抽出部５０４、登録制御部５０５、圧縮／伸張処理部５０６、画像データ格納部５０７、画像データ合成部５０８を備える。

制御部５００は、例えばＣＰＵであり、前述したハードウェア各部の動作の制御を行う。

２値化処理部５０１では、入力画像に基づいて入力２値画像を生成する。まず、ＲＧＢ信号より構成されている入力画像をモノクロ画像に変換する。この変換としては、例えば以下の計算式で求めることができる。

Ｌ = ０.２９９×Ｒ＋０.５８７×Ｇ＋０.１１４×Ｂ

この変換により得られたモノクロ画像から、罫線抽出部５０２以降で使用される２値画像を生成する。２値画像の生成方法の一例を説明する。入力２値画像に対して、２値化処理を行う１ラインを注目ラインとし、注目ラインの各画素をある一定数単位で分割する。ここでの分割された画素数がマスクサイズとなる。例えば、１２８画素単位で分割した場合、マスクサイズは１２８画素Ｘ１２８ラインとなる。このマスクサイズ内の平均値を求め 、平均値より２値化処理に用いる閾値を決定し、その閾値と注目ラインの各画素とを比較することによって２値化を行い、２値画像を生成する。

罫線抽出部５０２では、読取られた画像データから罫線を抽出し、罫線画像を生成する。罫線抽出方法としては、例えば、特開平１−２１４９３４号公報に記載されている方法を用いることができる。この方法は、画像データを一定帯幅で短冊状に分割し、各帯毎に垂直方向の投影をとる。次に、投影データから罫線の一部と考えられる箇所を抽出する。これを各帯毎に抽出した後、ある着目する候補について隣接帯から重なりの最も大きな候補を探し出し、これを同一の罫線候補として連結する。そして、連結された候補について、重なりの最も大きな候補を隣接帯から探し出す作業を繰り返すことにより、同一の罫線と考えられる連結候補群を作成する。これらの連結候補群の水平方向の投影をここでは部分投影と定義し、帯投影とは直角方向の投影をとることによって両端の座標を決定し、罫線を得る。こうして得られた罫線群を一本に合成したり、統合したりする処理を行うことにより、最終的な罫線群が求められる。横罫線だけでなく、縦罫線も同様に抽出できる。

照合処理部５０３では、入力された罫線画像と、すでに登録されている定型フォーマットとの照合を行い、すでに登録されている場合は、登録定型フォーマットに設定されているフォームＩＤを取得し、登録されていない場合は、入力された罫線データを登録定型フォームとして、新しいフォームＩＤを設定する。

定型フォーマットの照合方法としては、例えば、特開平８−２５５２３６号公報に記載されている方法を用いることができる。この方法では、まず、輪郭抽出処理で罫線画像をラスタスキャンしてその追跡開始点を検出した後、その追跡開始点から時計周りあるいは反時計周りに図形境界がつくる閉曲線を追跡することによって行なわれる。このような閉曲線追跡により抽出された輪郭の情報は座標点列として保存される。抽出された輪郭線データをもとに、画像の交差部や角点などの特徴点を検出し、点列の組合せから枠を抽出する。そして、入力枠情報の外接図形を算出する。

次に、各々の枠データの中心座標データを算出する。例えば枠座標を左下隅から（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）とした場合に、対角線の交差点を（ｃｘ，ｃｙ）とする。上の左上の座標と、入力画像上の左上の座標の位置の差分をｄｘ，ｄｙとし、登録定型フォーマットの枠または罫線画像の枠の中心位置を補正する。次に、枠データをそれぞれ対応づける。これは例えば、登録定型フォーマット上の枠データの中心座標を、ｔｃｘ，ｔｃｙとし、罫線画像上の枠データをｉｃｘ，ｉｃｙとした場合の距離Ｄを以下の式により求める。

Ｄ＝（ｉｃｘ−ｔｃｘ）² ＋（ｉｃｙ−ｔｃｙ）²

また、類似度は登録定型フォーマット上の枠に対応する枠がある（Ｄ＜ｄｔｈ，ｄｔｈは距離の閾値）場合に投票し、登録定型フォーマット上で枠全てに投票が終わったら枠数ｎで除算する。すなわち、類似度＝対応する枠の数／登録帳票上の枠数で求める。この類似度を用いて、罫線画像が、定型フォーマットとして登録されているかを判断する。

文字列抽出部５０４では、入力２値画像と罫線画像とから、文字画像を生成する。文字列部分の抽出を行う方法としては、入力２値画像と、罫線抽出部５０２で抽出された罫線画像との排他的論理和をとる方法を用いることができる。排他的論理和をとることにより、入力２値画像及び罫線画像に共通である罫線部分は抽出されず、文字のみが抽出されることとなる。

登録制御部５０５では、罫線画像を画像データ格納部５０７に格納するか否かの判断、文字画像の定型フォーマットとの関連付けを行う。罫線抽出部５０２にて抽出した罫線画像が定型フォーマットである場合、登録制御部５０５は、抽出した罫線画像を格納しないと判断する。また、文字列抽出部５０４にて抽出された文字画像は、定型フォーマットと関連付けられ、画像データ格納部５０７に格納される。

一方、罫線抽出部５０２にて抽出した罫線画像が定型フォーマットでない場合、抽出した罫線画像を定型フォーマットとして格納すると判断し、罫線画像に対してフォームＩＤを付与した上で画像データ格納部５０７に格納する。更に、文字列抽出部５０４にて抽出された文字画像は、新たに定型フォーマットとして格納された罫線画像に関連付けられ、画像データ格納部５０７に格納される。

圧縮／伸張処理部５０６では、画像データ格納部５０７に格納される画像データの圧縮、及び画像データ格納部５０７に圧縮されて格納されている罫線画像、文字画像の伸張を行う。登録制御部５０５で画像データ格納部５０７に格納されると判断された罫線画像、文字画像に対して、圧縮処理を施した後、画像データ格納部５０７に格納される。圧縮方式としては、ＭＨ、ＭＲ、ＭＭＲなどが挙げられる。また、文字画像及び罫線画像を夫々異なる圧縮方式を用いて、圧縮処理を施すことも可能である。

圧縮されて格納されている罫線画像、文字画像の伸張は、上記圧縮処理とは逆の処理がなされる。なお、上記では、罫線画像、文字画像の両方の圧縮を行っているが、罫線画像、文字画像の何れか一方を圧縮するようにしてもよい。

制御部５００は、画像データ格納部５０７に別々に格納されている定型フォーマットの罫線画像と文字画像とを読出す制御を行う。例えば、画像データ格納部５０７に格納されているデータを基に帳票を作成する場合、格納されている複数の文字画像を操作パネル１上に表示し、ユーザに所望の文字画像を選択させる。そして、選択された文字画像に関連付けられているフォームＩＤを取得し、文字画像及び罫線画像のデータを画像データ格納部５０７から読出し、読出したデータを後段の画像データ合成部５０８へ出力する。

なお、文字画像とキーワードとを対応付けておき、キーワードで検索した結果をサムネイル、又は順次表示し、その中から選択させるようにしてもよい。

画像データ合成部５０８では、画像データ格納部５０７から読出した２つの画像データを合成し、合成して得られた画像データ（ＲＧＢ信号）を原稿種別判定部５３へ出力する。原稿種別判定部５３〜階調再現処理部６１での各処理が施された画像データは画像出力装置７へ出力され、用紙上に合成された画像が記録されることで帳票の作成が行われる。

以下、本画像処理システムにおける処理内容について説明する。図２０〜図２２は罫線画像及び文字画像の抽出例を示す模式図、図２３は罫線画像の登録例を示す概念図、図２４は文字画像の登録例を示す概念図である。図２０（ａ）に示した帳票１０の画像が画像入力装置３を通じて入力された場合、画像処理装置５のファイリング処理部５０は、前述した手法により、入力画像から罫線画像１１（図２０（ｂ））と文字画像１２（図２０（ｃ））とを抽出する。抽出した罫線画像１１が、定型フォーマットとして登録されていない場合、新たなフォームＩＤを付与した上で罫線画像１１を画像データ格納部５０７に格納する。図２３に示した登録例は、罫線画像１１に対して「１」というフォームＩＤが付与されており、定型フォーマットとして登録されている様子を示している。更に、同じ帳票１０の画像から抽出した文字画像１２を、罫線画像１１に付与したフォームＩＤに関連付けて画像データ格納部５０７に格納する。図２４に示した登録例では、罫線画像１１に付与したフォームＩＤと同一の値（＝１）を持つ関連フォームＩＤを付与することにより、関連付けを行っている様子を示している。

同様に、図２１（ａ）に示した帳票２０の画像が画像入力装置３を通じて入力された場合、画像処理装置５のファイリング処理部５０は、前述した手法により、入力画像から罫線画像２１（図２１（ｂ））と文字画像２２（図２１（ｃ））とを抽出する。抽出した罫線画像２１が、定型フォーマットとして登録されていない場合、新たなフォームＩＤを付与した上で罫線画像２１を画像データ格納部５０７に格納する。図２３に示した登録例は、罫線画像２１に対して「２」というフォームＩＤが付与されており、定型フォーマットとして登録されている様子を示している。更に、同じ帳票２０の画像から抽出した文字画像２２を、罫線画像２１に関連付けて画像データ格納部５０７に格納する。図２４に示した登録例では、罫線画像２１に付与したフォームＩＤと同一の値（＝２）を持つ関連フォームＩＤを付与することにより、関連付けを行っている様子を示している。

図２２（ａ）に示した帳票３０の画像が画像入力装置３を通じて入力された場合、画像処理装置５のファイリング処理部５０は、前述した手法により、入力画像から罫線画像３１（図２２（ｂ））と文字画像３２（図２２（ｃ））とを抽出する。罫線画像３１のフォーマットは、フォームＩＤが「１」の定型フォーマットと同一であるため、新たなフォームＩＤを付与することなく、前記定型フォーマットに割当てられているフォームＩＤを取得する。また、同じ帳票３０の画像から抽出した文字画像３２を、罫線画像３１のフォームＩＤに関連付けて画像データ格納部５０７に格納する。図７に示した登録例では、罫線画像３１のフォームＩＤと同一の値（＝１）を持つ関連フォームＩＤを付与することにより、関連付けを行っている様子を示している。

以下、本画像処理システムにおいて実行される処理の手順について説明する。図２５は罫線画像及び文字画像の登録手順を示すフローチャートである。まず、本画像処理システムの画像入力装置３は帳票の読込みを行う（ステップＳ３１）。画像入力装置３が帳票の読込みを行うことによって得られるアナログＲＧＢ信号（入力画像）は画像処理装置５へ出力される。

画像処理装置５に入力されたアナログＲＧＢ信号は、ＡＤ変換部５１及びシェーディング補正部５２を経由してファイリング処理部５０に入力される。ファイリング処理部５０の２値化処理部５０１は入力画像から２値画像を生成する（ステップＳ３２）。罫線抽出部５０２は、２値化処理部５０１にて生成された２値画像から罫線画像の抽出を行う（ステップＳ３３）。

次いで、照合処理部５０３は、画像データ格納部５０７に格納されている罫線画像を確認することにより、抽出された罫線画像の登録状況を照合し（ステップＳ３４）、ステップＳ３３で抽出した罫線画像が定型フォーマットとして登録済であるか否かを判断する（ステップＳ３５）。

定型フォーマットとして登録済でないと判断した場合（Ｓ３５：ＮＯ）、罫線画像に対して新規フォームＩＤを付与する（ステップＳ３６）。次に、文字列抽出部５０４は、入力画像と罫線画像との排他的論理和をとることによって、入力画像に含まれる文字列を抽出し、文字画像を生成する（ステップＳ３７）。

次いで、登録制御部５０５は、新規フォームＩＤを付与した罫線画像を画像データ格納部５０７へ格納することにより、罫線画像を定型フォーマットとして保存する（ステップＳ３８）。このとき、罫線画像は圧縮処理部５０６において圧縮された後に画像データ格納部５０７に格納される。

また、登録制御部５０５は、罫線画像に付与したフォームＩＤと同一の値を持つ関連フォームＩＤを文字画像に対して付与することにより、文字画像とフォームＩＤとの関連付けを行う（ステップＳ３９）。そして、文字画像を圧縮処理部５０６にて圧縮した後、画像データ格納部５０７に保存する（ステップＳ４０）。

一方、ステップＳ３５において、抽出した罫線画像が定型フォーマットとして登録済であると判断した場合（Ｓ３５：ＹＥＳ）、その定型フォーマットに割当てられているフォームＩＤを取得する（ステップＳ４１）。次に、文字列抽出部５０４は、入力画像と罫線画像との排他的論理和をとることによって、入力画像に含まれる文字列を抽出し、文字画像を生成する（ステップＳ４２）。

そして、登録制御部５０５は、罫線画像のフォームＩＤと同一の値を持つ関連フォームＩＤを文字画像に対して付与することにより、文字画像とフォームＩＤとの関連付けを行い（Ｓ３９）、文字画像を圧縮処理部５０６にて圧縮した後、画像データ格納部５０７に保存する（Ｓ４０）。

実施の形態３．
実施の形態１及び２では、各処理をハードウェアにより実現する構成としたが、ソフトウェアの処理により本発明を実現する構成としてもよい。

図２６は本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。図中１００は、本実施の形態に係る画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等である。画像処理装置１００はＣＰＵ１０１を備えており、ＣＰＵ１０１にはＲＯＭ１０３、ＲＡＭ１０４、ハードディスク１０５、外部記憶部１０６、入力部１０７、表示部１０８、通信ポート１０９等のハードウェアがバス１０２を介して接続されている。ＣＰＵ１０１は、ＲＯＭ１０３に予め格納された制御プログラムに従って前述のハードウェア各部を制御する。

ＲＡＭ１０４は前述の制御プログラム、又は本発明に係るコンピュータプログラムの実行中に生成される各種データを一時的に記憶する揮発性のメモリである。ハードディスク１０５は、磁気記録媒体を有する記憶手段であり、本発明のコンピュータプログラム等が記憶される。外部記憶部１０６は、本発明のコンピュータプログラムを記録した記録媒体Ｍからコンピュータプログラムを読取るための読取装置を備えている。記録媒体Ｍとしては、ＦＤ（Flexible Disk）、ＣＤ−ＲＯＭ等を用いることができる。外部記憶部１０６によって読取られたコンピュータプログラムはハードディスク１０５に格納される。ＣＰＵ１０１はハードディスク１０５に格納された本発明に係るコンピュータプログラムをＲＡＭ１０４上にロードして実行することにより、装置全体を、実施の形態１で説明したような登録処理を実現する装置として機能させ、登録すべき罫線画像及び文字画像を互いに関連付けてハードディスク１０５に保存させる。

入力部１０７は、外部から画像データを取得するためのインタフェースとして機能する。入力部１０７には、例えば、カラースキャナ装置などが接続される。表示部１０８は、処理対象の画像データ、画像処理中の画像データ、画像処理後の画像データ等を表示するためのインタフェースとして機能する。表示部１０８に液晶ディスプレイ装置などの外部表示装置を接続して画像データを表示する構成であってもよく、表示部１０８自身が表示装置を備え、画像データを表示する構成であってもよい。通信ポート１０９は、外部にプリンタ１５０を接続するためのインタフェースである。画像処理された画像データをプリンタ１５０にて印刷する場合、画像処理装置１００は、前記画像データを基にプリンタ１５０にてデコード可能なプリントデータを生成し、生成したプリントデータをプリンタ１５０へ送信する。

なお、本実施の形態では、各種演算をＣＰＵ１０１が実行する構成としたが、画像処理に係る演算を行う専用のチップを別途設け、ＣＰＵ１０１からの指示により演算を行う構成としてもよい。

また、本発明に係るコンピュータプログラムを記録する記録媒体Ｍとしては、前述したＦＤ及びＣＤ−ＲＯＭの他に、ＭＯ、ＭＤ、ＤＶＤ等の光ディスク、ハードディスク等の磁気記録媒体、ＩＣカード、メモリカード、光カード等のカード型記録媒体、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリの利用も可能である。また、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークから本発明に係るコンピュータプログラムをダウンロードするようにしてもよい。

本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。 文書照合処理部の内部構成を示すブロック図である。 特徴点算出部の構成を示すブロック図である。 フィルタ処理部にて用いられる混合フィルタの一例を示す概念図である。 特徴点の抽出例を示す模式図である。 注目特徴点及び周辺特徴点を示す説明図である。 注目特徴点Ｐ１による不変量の算出例を説明する説明図である。 注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。 ハッシュ値と登録フォーマットとの関連付けを示すハッシュテーブルの例を示す概念図である。 投票結果を集計するための集計テーブルの一例を示す概念図である。 登録フォーマットのインデックスと特徴点の座標とを格納するテーブルの一例を示す概念図である。 投票結果の一例を示すグラフである。 文書照合処理部で実行される処理の手順を説明するフローチャートである。 書き込み領域抽出処理の手順を説明するフローチャートである。 入力画像と登録フォーマットとの間の対応付けを説明する説明図である。 登録フォーマットの一例を示す模式図である。 各登録フォーマット毎に抽出すべき領域を定めたテーブルの一例を示す概念図である。 本発明の画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。 ファイリング処理部の内部構成を示すブロック図である。 罫線画像及び文字画像の抽出例を示す模式図である。 罫線画像及び文字画像の抽出例を示す模式図である。 罫線画像及び文字画像の抽出例を示す模式図である。 罫線画像の登録例を示す概念図である。 文字画像の登録例を示す概念図である。 罫線画像及び文字画像の登録手順を示すフローチャートである。 本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。

符号の説明

１ 操作パネル
３ 画像入力装置
４，５ 画像処理装置
７ 画像出力装置
４４ 文書照合処理部
５０ ファイリング処理部
４４０ 制御部
４４１ 特徴点算出部
４４２ 特徴量算出部
４４３ 投票処理部
４４４ 類似度判定処理部
４４５ 書き込み領域抽出部
４４６ 登録制御部
４４７ 圧縮／復号処理部
４４８ 合成処理部
４４９ 画像データ格納部
５００ 制御部
５０１ ２値化処理部
５０２ 罫線抽出部
５０３ 照合処理部
５０４ 文字列抽出部
５０５ 登録制御部
５０６ 圧縮処理部
５０７ 画像データ格納部
５０８ 画像データ合成部

Claims (15)

1. 入力画像と記憶画像との類比を判定し、判定結果に応じた処理を行う画像処理装置において、
   前記入力画像と前記記憶画像とが類似していると判定した場合、前記入力画像が前記記憶画像に対して書き込みを加えた画像であるか否かを判定する手段と、書き込みを加えた画像であると判定した場合、前記書き込みを含む領域を前記入力画像から抽出する手段と、抽出した領域内の画像を記憶手段に格納する制御手段とを備えることを特徴とする画像処理装置。
2. 前記領域を複数抽出した場合、前記制御手段は、抽出した領域毎に領域内の画像を前記記憶手段に格納することを特徴とする請求項１に記載の画像処理装置。
3. 格納すべき画像を圧縮する手段を備え、前記制御手段は、圧縮した画像を前記記憶手段に格納することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記記憶手段に圧縮して格納されている画像を伸張する手段と、伸張された画像を合成する合成手段とを更に備えることを特徴とする請求項３に記載の画像処理装置。
5. 入力画像に含まれる罫線及び文字を各別に抽出する手段と、抽出した罫線の様式が所定様式であるか否かを判断する判断手段と、所定様式であると判断した場合、抽出した文字を前記所定様式の罫線に関連付けて記憶手段に格納し、所定様式でないと判断した場合、抽出した罫線を前記記憶手段に格納する制御手段とを備えることを特徴とする画像処理装置。
6. 前記制御手段は、前記判断手段が所定様式でないと判断した場合、抽出した文字を前記罫線に関連付けて前記記憶手段に格納することを特徴とする請求項５に記載の画像処理装置。
7. 抽出した罫線及び文字を圧縮する手段を更に備え、前記制御手段は、抽出した罫線及び文字を圧縮して前記記憶手段に格納することを特徴とする請求項６に記載の画像処理装置。
8. 前記記憶手段に圧縮して格納されている罫線及び文字を伸張する手段と、伸張された罫線及び文字を合成する合成手段とを更に備えることを特徴とする請求項７に記載の画像処理装置。
9. 原稿から画像を読み取る読取手段と、請求項１乃至請求項８の何れか１つに記載の画像処理装置とを備え、前記読取手段にて読み取った画像を前記画像処理装置にて処理するようにしてあることを特徴とする画像読取装置。
10. 請求項４又は請求項８に記載の画像処理装置と、合成手段によって合成された画像をシート上に形成する手段とを備えることを特徴とする画像形成装置。
11. 入力画像と記憶画像との類比を判定し、判定結果に応じた処理を行う画像処理方法において、
    前記入力画像と前記記憶画像とが類似していると判定した場合、前記入力画像が前記記憶画像に対して書き込みを加えた画像であるか否かを判定するステップと、書き込みを加えた画像であると判定した場合、前記書き込みを含む領域を前記入力画像から抽出するステップと、抽出した領域内の画像を記憶装置に格納させるステップとを有することを特徴とする画像処理方法。
12. 入力画像に含まれる罫線及び文字を各別に抽出し、抽出した罫線の様式が所定様式であるか否かを判断し、所定様式であると判断した場合、抽出した文字を前記所定様式の罫線に関連付けて記憶装置に格納し、所定様式でないと判断した場合、抽出した罫線を前記記憶装置に格納することを特徴とする画像処理方法。
13. コンピュータに、入力画像と記憶画像とが類似しているかを判定させ、判定結果に応じた処理を実行させるコンピュータプログラムにおいて、
    コンピュータに、前記入力画像と前記記憶画像とが類似していると判定された場合、前記入力画像が前記記憶画像に対して書き込みを加えた画像であるか否かを判定させるステップと、コンピュータに、書き込みを加えた画像であると判定された場合、前記書き込みを含む領域を前記入力画像から抽出させるステップと、コンピュータに、抽出した領域内の画像を記憶装置に格納させるステップとを有することを特徴とするコンピュータプログラム。
14. コンピュータに、入力画像を記憶装置へ格納させるコンピュータプログラムにおいて、
    コンピュータに、入力画像に含まれる罫線及び文字を各別に抽出させるステップと、コンピュータに、抽出させた罫線の様式が所定様式であるか否かを判断させるステップと、コンピュータに、所定様式であると判断した場合、抽出させた文字を前記所定様式の罫線に関連付けて記憶装置へ格納させるステップと、コンピュータに、所定様式でないと判断した場合、抽出させた罫線を前記記憶装置へ格納させるステップとを有することを特徴とするコンピュータプログラム。
15. 請求項１又は請求項１４に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。

Images