JP5298830B2 - 画像処理プログラム、画像処理装置及び画像処理システム - Google Patents

Description

本発明は、画像処理プログラム、画像処理装置及び画像処理システムに関する。

修正前後の画像データを比較して、正確に修正が行われたかの検版作業を補助するデジタル検版装置が知られている（例えば、特許文献１参照。）。

このデジタル検版装置は、修正前のビットマップ形式の画像データを保存する保存手段と、修正後のビットマップ形式の画像データと保存手段により保存された修正前のビットマップ形式とをビット単位で比較することにより、その差異点を検出するデータ比較手段と、データ比較手段により検出された差異点を表示する表示手段とを備える。
特開平７−２１９２０２号公報

本発明の目的は、１つの画像データに形状の並びに同一性を有する文字が複数含まれている場合でも、文字の挿入や削除等の編集が行われた文字を差異として検出することができる画像処理プログラム、画像処理装置及び画像処理システムを提供することにある。

本発明の一態様は、上記目的を達成するため、以下の画像処理プログラム、画像処理装置及び画像処理システムを提供する。

［１］基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力ステップと、
前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択ステップと、
前記第１の画像データにおいて前記複数の第１の単位画像要素列がそれぞれ配置された位置と、前記第２の画像データにおいて前記第２の単位画像要素列が配置された位置との間の相対的な位置関係に基づいて、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断ステップと、
前記判断ステップにおいて前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出ステップとをコンピュータに実行させ、
前記判断ステップは、
前記第２の単位画像要素列が第１の単位画像要素列と形状の並びに同一性を有する場合であっても、
当該第２の単位画像要素列との位置関係において、当該同一性を有する第１の単位画像要素列よりも近い位置に他の第１の単位画像要素列が存在する場合に、
当該他の第１の単位画像要素列との間で当該第２の単位画像要素列が形状の並びに同一性において予め決められた程度よりも同一性を有さないときに、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在しないと判断する
画像処理プログラム。

［２］前記選択ステップは、前記第２の画像データの異なる位置から複数の第２の単位画像要素列を選択し、前記判断ステップは、前記選択ステップにより選択された前記第２の単位画像要素列毎に前記判断を行う前記［１］に記載の画像処理プログラム。

［３］前記判断ステップは、単位画像要素毎に特徴情報を抽出し、前記複数の第１の単位画像要素列と前記第２の単位画像要素列との間の複数の評価情報を前記特徴情報及び前記位置関係情報を用いてそれぞれ算出し、その算出した複数の評価情報を代表する代表評価情報と閾値情報とを比較することにより前記第２の単位画像要素列毎に前記判断を行う前記［２］に記載の画像処理プログラム。

［４］前記判断ステップは、前記複数の第２の単位画像要素列をそれぞれ代表する代表評価情報に統計処理を行うことにより前記閾値情報を算出する前記［３］に記載の画像処理プログラム。

［５］基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、
前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、
前記第１の画像データにおいて前記複数の第１の単位画像要素列が配置された位置と、前記第２の画像データにおいて前記第２の単位画像要素列が配置された位置との間の相対的な位置関係に基づいて、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断手段と、
前記判断手段において前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出手段とを備え、
前記判断手段は、
前記第２の単位画像要素列が第１の単位画像要素列と形状の並びに同一性を有する場合であっても、
当該第２の単位画像要素列との位置関係において、当該同一性を有する第１の単位画像要素列よりも近い位置に他の第１の単位画像要素列が存在する場合に、
当該他の第１の単位画像要素列との間で当該第２の単位画像要素列が形状の並びに同一性において予め決められた程度よりも同一性を有さないときに、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在しないと判断する
画像処理装置。

［６］基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、
前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、
前記第１の画像データにおいて前記複数の第１の単位画像要素列が配置された位置と、前記第２の画像データにおいて前記第２の単位画像要素列が配置された位置との間の相対的な位置関係に基づいて、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断手段と、
前記判断手段において前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出手段と、
前記検出手段により検出された前記単位画像要素を、前記第２の画像データに含まれる他の単位画像要素と比較が可能な状態で出力する出力手段とを備え、
前記判断手段は、
前記第２の単位画像要素列が第１の単位画像要素列と形状の並びに同一性を有する場合であっても、
当該第２の単位画像要素列との位置関係において、当該同一性を有する第１の単位画像要素列よりも近い位置に他の第１の単位画像要素列が存在する場合に、
当該他の第１の単位画像要素列との間で当該第２の単位画像要素列が形状の並びに同一性において予め決められた程度よりも同一性を有さないときに、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在しないと判断する
画像処理システム。

請求項１、５、６に係る発明によれば、１つの画像データに形状の並びに同一性を有する文字が複数含まれている場合でも、文字の挿入や削除等の編集が行われた文字を差異として検出することができる。

請求項２に係る発明によれば、第１及び第２の画像データにそれぞれ含まれる文字からなる文章間で差異を検出することができる。

請求項３に係る発明によれば、画像データに対してＯＣＲ（光学文字認識）処理を行う場合に比較して、より簡便に差異を検出することができる。

請求項４に係る発明によれば、統計処理により閾値情報を算出しない場合に比較して、編集対象外の文字を差異として検出するような誤検出を低減することができる。

本発明の実施の形態に係る画像処理装置は、基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、前記第１の画像データにおいて前記複数の第１の単位画像要素列が配置された位置と、前記第２の画像データにおいて前記第２の単位画像要素列が配置された位置との間の相対的な位置関係情報を用いて、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断手段と、前記判断手段において前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出手段とを備える。

ここで、「単位画像要素」は、画像データにおいて所定の領域を占める画像であり、例えば、文字像を含むものである。単位画像要素が占める領域の形状は、矩形、円形、楕円及びその他多角形等でもよいし、これらに限られない。なお、第１及び第２の実施の形態は、単位画像要素の形状を外接矩形としたものである。また、単位画像要素は、同一のサイズを有する領域でもよいし、単位画像要素毎にサイズが異なる領域でもよい。また、単位画像要素は、文字像自体を示すものでもよい。

「画像データ」は、単位画像要素と、その単位画像要素の形状に関する情報が取得可能なデータであればよく、例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧ、ＪＰＥＧ、ＧＩＦ等のラスタ形式のデータでもよいし、ページ記述言語（ＰＤＬ）等で記述されたベクタ形式のデータでもよいし、独自の形式でもよい。なお、画像データは、文字の他に、例えば、図表、写真等を含んでいてもよい。また、画像データは、原稿を光学的に走査して生成された画像データでもよい。

「文字」は、画像データに文字像として含まれており、点や線等の組み合わせで構成されている。文字は、ある言語において所定の意味・内容を示す、例えば、数字、漢字等の表意文字でもよいし、仮名・アルファベット等の表音文字でもよい。文字には、絵文字、装飾記号、製図記号、電気回路記号、地図記号及び天気記号等も含まれる。また、文字は、活字でもよいし、手書きでもよい。

「相対的な位置関係情報」とは、第１及び第２の画像データにおいて第１及び第２の単位画像要素列がそれぞれ配置された位置を比較することにより得られる情報である。単位画像要素列が配置された位置とは、例えば、画像データに含まれる単位画像要素を一定の方向（例えば、縦書き方向又は横書き方向）に配列したときの先頭からの順番でもよいし、画像データにおける２次元上の位置座標でもよい。

「形状の並びに同一性を有する」とは、比較される第１及び第２の単位画像要素列が、その形状、外観等の並びにおいて完全に同一の場合だけでなく、相似形や類似性の高い場合を含む。また、単位画像要素列に含まれるパターンが同一又は類似する場合も含む。

上記構成において、相対的な位置関係情報が考慮された上で、第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が存在するか判断されるので、例えば、第１の画像データに形状の並びに同一性を有する単位画像要素列が複数含まれている場合でも、相対的な位置関係情報によって位置関係が近い単位画像要素列が、形状の並びに同一性を有していない単位画像要素列として検出される。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像処理装置の構成例を示す概略図である。この画像処理装置１は、オリジナル画像２及びターゲット画像３の２つの画像データを入力する画像入力部１０と、それら２つの画像データからオリジナル文章及びターゲット文章をそれぞれ取得する文章取得部１１と、オリジナル文章に対してターゲット文章を比較して差異のある文字を取得する差異取得部１２と、差異取得部１２により取得された差異のある文字を出力する出力手段としての差異出力部１３と、文章取得部１１によりオリジナル画像２及びターゲット画像３から取得される特徴量をそれぞれ記憶する第１及び第２の記憶部１４Ａ，１４Ｂとから構成されている。

オリジナル画像２は、基準となるオリジナル文章を含む画像データである。ターゲット画像３は、そのオリジナル文章との比較の対象となるターゲット文章を含む画像データである。

オリジナル文章及びターゲット文章は、複数の文字列からなる。文字列は、複数の文字からなる。オリジナル文章及びターゲット文章は、その一方が活字による文章、他方が手書きによる文章でもよく、両方が活字又は手書きによる文章でもよい。また、文章は、活字と手書きからなる文章でもよい。

ここで、「差異のある文字」とは、オリジナル文章とターゲット文章との間で形状の並びに同一性を有していない文字であり、例えば、修正、挿入、削除等によって変更された文字である。

（画像入力部）
画像入力部１０は、ユーザにより指定された画像データとして、オリジナル画像２及びターゲット画像３を入力する。なお、画像入力部１０は、例えば、スキャナ、デジタルカメラ、複合機等の画像読取装置に接続し、画像データを入力してもよい。また、画像入力部１０は、光ディスク、半導体メモリ等の外部記録メディアから画像データを取り込んでもよい。

（文章取得部）
文章取得部１１は、画像入力部１０を介して入力されたオリジナル画像２及びターゲット画像３の２つの画像データに対して一連の画像処理を行い、オリジナル文章及びターゲット文章を取得する。

すなわち、文章取得部１１は、２つの画像データにおいて文字像が含まれる外接矩形を抽出する外接矩形抽出部１１０と、抽出された外接矩形に対して外接矩形特徴量を算出する外接矩形特徴量算出部１１１と、複数の外接矩形からなる文字列候補を抽出する文字列候補抽出部１１２と、抽出された文字列候補に対して画像認識処理により文字列特徴量を算出する文字列特徴量算出部１１３と、抽出された文字列特徴量から文字列候補が文字列であるか否かを判定する文字列判定部１１４と、文字列と判定された文字列候補を連結することによりオリジナル文章及びターゲット文章を算出する文章算出部１１５とを備える。

ここで、「画像認識処理」とは、ＯＣＲ処理に比べて処理量が少ない処理であり、例えば、文字列候補を構成する外接矩形毎に、その外接矩形に含まれる文字像に関する特徴情報を取得する処理である。具体的には、画像認識処理は、ノイズ除去等の前処理を行ってから、外接矩形に含まれる画素の平均輝度、文字像の面積や幅、及びエッジ（文字像の輪郭）方向の分布や曲率等を特徴情報として取得する。

外接矩形特徴量は、例えば、画像認識処理により取得される特徴情報や、画像データにおける外接矩形の位置及びサイズ等の情報である。また、文字列特徴量は、文字列候補を構成する各外接矩形の特徴情報や、画像データにおける文字列候補が配置された領域の位置、サイズ、色及び向き（縦書き、横書き）等の情報である。

（差異取得部）
差異取得部１２は、位置関係算出部１２０、距離算出部１２１、閾値算出部１２２、距離判断部１２３及び差異検出部１２４を備える。

位置関係算出部１２０は、オリジナル文章の異なる位置から選択した第１の文字列と、ターゲット文章の異なる位置から選択した第２の文字列との間の相対的な位置関係情報を算出する。

本実施の形態では、位置関係算出部１２０は、選択した第１の文字列がオリジナル文章において先頭の文字から数えた文字位置と、選択した第２の文字列がターゲット文章において先頭の文字から数えた文字位置との差の絶対値として位置関係情報を算出する。また、位置関係算出部１２０は、距離算出部１２１による文字空間上の距離の算出にその位置関係情報を反映させるために、その位置関係情報から重み係数を決定する。この重み係数は、例えば、位置関係情報が第１及び第２の文字列との間の文字位置が近い程、第１及び第２の文字列の距離が小さな値となるように決定する。

距離算出部１２１は、位置関係算出部１２０により算出された位置関係情報を用いて、オリジナル文章から選択した第１の文字列との間で形状の並びに同一性を有する第２の文字列が、ターゲット文章に存在するか否かを判断するための判断基準値（代表評価情報）を算出する。

本実施の形態では、距離算出部１２１は、第１の文字列及び第２の文字列をそれぞれ構成する外接矩形の外接矩形特徴量と、位置関係情報から決定された重み係数とを用いて、文字空間上の距離を算出することにより、判断基準値を算出する。ここで、文字空間上の距離（以下、「距離」という）とは、文字同士を比較したときに、それらの文字の形状の並びに同一性があるか否かを示す指標であり、同一の文字と判定される場合には相対的に小さな値となる。また、その距離は、オリジナル文章に形状の並びに同一性がある文字列が複数含まれていた場合には、第２の文字列との間で文字位置が近い程小さな値となる。なお、距離算出部１２１は、ユークリッド距離、シティブロック距離等の各種の距離算出方法を用いることができる。

閾値算出部１２２は、距離算出部１２１により算出された複数の判断基準値に対して統計処理を行うことにより閾値情報を算出する。統計処理としては、例えば、平均値、標準偏差等の統計値を演算する処理である。

距離判断部１２３は、距離算出部１２１により算出された判断基準値を、閾値算出部１２２により算出された閾値と比較することにより、第２の文字列がターゲット文章に存在するか否かを判断し、その判断結果を差異検出部１２４に送る。

差異検出部１２４は、距離判断部１２３の判断結果に基づいて、差異のある文字として検出する。

（差異出力部）
差異出力部１３は、例えば、液晶ディスプレイ等により構成され、差異取得部１２により取得された差異のある文字を、ターゲット文章と比較が可能な状態で画面上に表示出力する。なお、差異出力部１３は、表示出力する他に、例えば、プリンタによる印刷出力、記憶装置への書き込み等により出力するようにしてもよい。

（第１及び第２の記憶部）
第１及び第２の記憶部１４Ａ，１４Ｂは、例えば、ＲＯＭ，ＲＡＭ，ハードディスク等により構成されている。

第１の記憶部１４Ａは、オリジナル画像２から外接矩形特徴量算出部１１１により算出された外接矩形特徴量１４０Ａと、文字列特徴量算出部１１３により算出された文字列特徴量１４１Ａとを記憶する。また、第２の記憶部１４Ｂは、ターゲット画像３から同様にして算出された外接矩形特徴量１４０Ｂと、文字列特徴量１４１Ｂとを記憶する。なお、第１及び第２の記憶部１４Ａ，１４Ｂは、１つの記憶部であってもよい。

このような画像処理装置１は、例えば、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ）、携帯電話機等により構成するとよい。

なお、差異取得部１２の各部は、画像処理装置１に設けられたＣＰＵ等を備えた制御部（図示せず）が、例えば、記憶部に記憶された画像処理プログラムに従って動作することにより機能する。また、文章取得部１１の各部は、同様に、制御部が文章取得プログラムに従って動作することにより機能する。なお、画像処理プログラムと文章取得プログラムは、１つのプログラムであってもよい。

（第１の実施の形態の動作）
次に、本実施の形態に係る画像処理装置１の動作の一例を図２〜図１０を用いて説明する。

（１）画像データの入力
まず、ユーザは、オリジナル画像２及びターゲット画像３を指定して、それら２つの画像データを画像入力部１０に入力すると、画像入力部１０は、指定されたオリジナル画像２及びターゲット画像３を文章取得部１１の外接矩形抽出部１１０に送る。

図２（ａ）は、オリジナル画像の一例を示す図である。オリジナル画像２は、例えば、任意の文字列であるタイトル部１００、図表や写真等の図形部１０１、オリジナル文章が含まれるオリジナル文章部１０２等から構成されている。オリジナル文章部１０２は、複数の行に配置された複数の文字からなる。なお、オリジナル画像２は、図形部１０１及びオリジナル文章部１０２を複数含んでいてもよい。

図２（ｂ）は、ターゲット画像の一例を示す図である。ターゲット画像３は、図２（ａ）に例示するオリジナル画像２のオリジナル文章部１０２が部分的に変更された画像データである。すなわち、ターゲット画像３は、オリジナル画像２と同様のタイトル部１００及び図形部１０１の他に、オリジナル文章に対してユーザにより部分的に変更されたターゲット文章が含まれるターゲット文章部１０３等から構成されている。例えば、オリジナル文章部１０２に含まれる「くけこしすさ」の文字列１０２ａに対して、ターゲット文章部１０３では、「くけこさし」の文字列１０３ａに修正されている。また、オリジナル文章部１０２には、その修正後の文字列１０３ａと形状の並びに同一性を有する「くけこさし」の文字列１０２ｂが別の位置に含まれている。

（２）文章の取得
文章取得部１１の外接矩形抽出部１１０は、入力された２つの画像データに対して画像処理をそれぞれ行って、オリジナル文章部１０２及びターゲット文章部１０３において文字と認識される領域を含む複数の外接矩形を抽出する。

図３（ａ）は、外接矩形抽出部１１０により抽出された外接矩形の一例を示す図である。外接矩形抽出部１１０は、オリジナル文章部１０２内のオリジナル文章を構成する各文字に対して外接矩形１０４を抽出する。なお、外接矩形抽出部１１０は、ターゲット文章部１０３においても同様に外接矩形１０４を抽出する。

次に、外接矩形特徴量算出部１１１は、２つの画像データから抽出された外接矩形１０４の各々に対して外接矩形特徴量１４０Ａ,１４０Ｂを算出する。外接矩形特徴量算出部１１１は、その算出した外接矩形特徴量１４０Ａ,１４０Ｂを算出元の外接矩形１０４と関連付けて、２つの画像データにそれぞれ対応する第１及び第２の記憶部１４Ａ，１４Ｂに記憶する。なお、この段階では外接矩形特徴量の特徴情報は算出されていない。

次に、文字列候補抽出部１１２は、外接矩形抽出部１１０により抽出された複数の外接矩形１０４を連結することにより、複数の外接矩形１０４からなる文字列候補を抽出する。例えば、文字列候補抽出部１１２は、２つの外接矩形１０４を取り出して、それら外接矩形１０４の間隔を外接矩形特徴量から算出し、その間隔が所定値以下の場合には、それら２つの外接矩形１０４を連結して１つの文字列候補を抽出する。そして、文字列候補抽出部１１２は、その文字列候補との間隔が所定値以下の他の外接矩形１０４がある場合には、その外接矩形１０４をさらにその文字列候補に連結する。

図３（ｂ）は、文字列候補抽出部１１２により抽出された文字列候補の一例を示す図である。文字列候補抽出部１１２は、オリジナル文章部１０２を構成する各行毎に複数の外接矩形１０４を連結し、複数の文字列候補１０５を抽出する。なお、文字列候補抽出部１１２は、ターゲット画像３においても同様に文字列候補１０５を抽出する。

次に、文字列特徴量算出部１１３は、文字列候補抽出部１１２により抽出された文字列候補１０５の各々に対して、画像認識処理を行って文字列特徴量１４１Ａ，１４１Ｂを算出する。そして、文字列特徴量算出部１１３は、その算出した文字列特徴量を算出元の文字列候補１０５と関連付けて、２つの画像データにそれぞれ対応する第１及び第２の記憶部１４Ａ，１４Ｂに記憶する。

次に、文字列特徴量算出部１１３は、その算出した文字列特徴量１４１Ａ，１４１Ｂを外接矩形１０４毎に分解し、その分解して得られた各特徴情報を、各外接矩形１０４と関連付けて、外接矩形特徴量１４０Ａ，１４０Ｂの特徴情報として第１及び第２の記憶部１４Ａ，１４Ｂに記憶する。

そして、文字列判定部１１４は、文字列特徴量算出部１１３により抽出された文字列特徴量から、文字列候補１０５に文字列が含まれているか否かを判定する。

次に、文章算出部１１５は、文字列が含まれていると判定された文字列候補１０５同士を連結して、オリジナル文章及びターゲット文章を算出する。文章算出部１１５は、例えば、文字列特徴量における文字列候補が配置された領域の位置、サイズ、色及び向き等を用いて文字列候補を連結するか否かを判断し、オリジナル文章及びターゲット文章を算出する。そして、文章算出部１１５は、算出したオリジナル文章及びターゲット文章を差異取得部１２に送る。

図３（ｃ）は、文章算出部１１５により算出されたオリジナル文章の一例を示す図である。文章算出部１１５は、各行毎の文字列候補１０５を連結することにより、オリジナル文章１０６を算出する。なお、文章算出部１１５は、ターゲット画像３においても同様にターゲット文章を算出する。

（３）差異のある文字の取得
差異取得部１２の位置関係算出部１２０は、文章算出部１１５により算出されたオリジナル文章及びターゲット文章を受け取ると、それらを構成する各外接矩形１０４の外接矩形特徴量１４０Ａ，１４０Ｂを第１及び第２の記憶部１４Ａ，１４Ｂから読み出す。

そして、位置関係算出部１２０は、外接矩形単位で順次処理を行うべく、その外接矩形特徴量１４０Ａ，１４０Ｂを、オリジナル線形リストＲｏ（ｉ）（ただし、ｉ＝１，２，…，Ｍ、Ｍはオリジナル文章の文字数）、及びターゲット線形リストＲｔ（ｊ）（ただし、ｊ＝１，２，…，Ｎ、Ｎはターゲット文章の文字数）の各要素にそれぞれ格納する。

（３−１）判断基準値の算出処理
次に、ターゲット文章を構成する各外接矩形の判断基準値Ｓ_ｊ（ｊ＝１，２，…，Ｎ）を算出する処理について図７のフローチャートに従って説明する。

図７は、外接矩形の判断基準値の算出処理の一例を示すフローチャートである。まず、位置関係算出部１２０は、ターゲット線形リストＲｔ（ｊ）において注目する１つの要素を示す第１の注目外接矩形を順次選択するためのターゲットカウンタｊを「１」に初期化する（Ｓ１）。

次に、位置関係算出部１２０は、同様に、オリジナル線形リストＲｏ（ｉ）において注目する１つの要素を示す第２の注目外接矩形を順次選択するためのオリジナルカウンタｉを「１」に初期化する（Ｓ１０）。

次に、位置関係算出部１２０は、オリジナルカウンタｉにより選択した第１の注目外接矩形と、ターゲットカウンタｊにより選択した第２の注目外接矩形との位置関係情報を、例えば、オリジナルカウンタｉとオリジナルカウンタｊとの差の絶対値を演算することにより算出する。そして、位置関係算出部１２０は、その位置関係情報に基づいて重み係数Ｗを以下の関係式（１）により決定する（Ｓ２０）。

なお、重み係数Ｗを決定する方法は、上記の関係式（１）に限られず、例えば、位置関係情報（｜ｉ−ｊ｜）を用いた関数としてもよい。

図４は、位置関係情報の算出方法の一例を説明する図である。図４において、オリジナルカウンタｉが「１０」、ターゲットカウンタｊが「１０」の場合には、第１の注目外接矩形１０７Ａと、第２の注目外接矩形１０７Ｂとの位置関係情報は「０」と算出され、重み係数Ｗは「１」と決定される。また、オリジナルカウンタｉが「ｍ＋３（ｍは１４以上の整数）」、ターゲットカウンタｊが「１０」の場合には、第１の注目外接矩形１０７Ｃと、第２の注目外接矩形１０７Ｂとの位置関係情報は「ｍ−７」と算出され、例えば、ｍの値が２５０の場合には、重み係数Ｗは「２」と決定される。

次に、距離算出部１２１は、オリジナルカウンタｉにより選択した第１の注目外接矩形及びその前後ｋ個の外接矩形と、ターゲットカウンタｊにより選択した第２の注目外接矩形及びその前後ｋ個の外接矩形と間の外接矩形間距離Ｄ_ｉｊを、外接矩形特徴量１４０Ａ，１４０Ｂ及び上記ステップＳ２０で決定した重み係数Ｗを用いて算出する（Ｓ２１）。この算出方法は、以下の計算式（２）により表すことができる。

図５は、外接矩形間距離の算出方法の一例を説明する図である。図５は、オリジナルカウンタｉが「１０」、ターゲットカウンタｊが「１０」の場合であり、このときの第１及び第２の注目外接矩形１０７Ａ，１０７Ｂは、文字「こ」の外接矩形である。また、距離算出文字数ｋは「２」とし、第１の注目外接矩形１０７Ａとその前後２個の外接矩形１０４とを第１の外接矩形列（第１の単位画像要素列）１０８Ａとし、第２の注目外接矩形１０７Ｂとその前後２個の外接矩形１０４を第２の外接矩形列（第２の単位画像要素列）１０８Ｂとする。

このとき、距離算出部１２１は、第１の外接矩形列１０８Ａと、第２の外接矩形列１０８Ｂとの間の外接矩形間距離を、外接矩形の外接矩形特徴量１４０Ａ，１４０Ｂ及び重み係数Ｗを用いて算出する。すなわち、距離算出部１２１は、Ｒｏ（８）とＲｔ（８）、Ｒｏ（９）とＲｔ（９）、Ｒｏ（１０）とＲｔ（１０）、Ｒｏ（１１）とＲｔ（１１）、Ｒｏ（１２）とＲｔ（１２）の計５組の外接矩形特徴量から距離をそれぞれ算出し、それら５つの距離の総和に重み係数Ｗを乗算して外接矩形間距離２００を算出する。

次に、距離算出部１２１は、第１及び第２の外接矩形列１０８Ａ，１０８Ｂに含まれる外接矩形間の関連性をそれぞれ示す第１及び第２の関連性情報を算出する。そして、距離算出部１２１は、その算出した第１及び第２の関連性情報を比較するとともに重み係数Ｗを用いることにより、外接矩形関連性間距離Ｅ_ｉｊを算出する（Ｓ２２）。この算出方法は、以下の計算式（３）により表すことができる。

なお、重み係数Ｗは、本実施の形態のように、式（２）と式（３）で共通の値を用いてもよいし、重み係数Ｗの決定に異なる関係式を採用して、式（２）と式（３）で異なる値を用いてもよい。

図６は、外接矩形関連性間距離の算出方法の一例を説明する図である。図６における注目外接矩形、及び距離算出文字数ｋは、図５と同様である。

このとき、距離算出部１２１は、第１の外接矩形列１０８Ａにおいて、第１の注目外接矩形１０７Ａと、その前後２個の外接矩形との間の各距離を外接矩形特徴量を用いて算出する。すなわち、距離算出部１２１は、Ｒｏ（８）とＲｏ（１０）、Ｒｏ（９）とＲｏ（１０）、Ｒｏ（１１）とＲｏ（１０）、Ｒｏ（１２）とＲｏ（１０）の計４組の外接矩形の特徴量から距離をそれぞれ算出し、それら４つの距離の総和として、第１の関連性情報を算出する。なお、その他の外接矩形の組み合わせ、例えば、Ｒｏ（８）とＲｏ（１２）による距離を第１の関連性情報に加算してもよい。

次に、距離算出部１２１は、第２の外接矩形列１０８Ｂにおいても同様に、第２の注目外接矩形１０７Ｂと、その前後２個の外接矩形との間の各距離を外接矩形特徴量を用いて算出し、それら４つの距離の総和として、第２の関連性情報を算出する。そして、距離算出部１２１は、それら第１及び第２の関連性情報の差を演算し、重み係数Ｗを乗算することにより外接矩形関連性間距離２０１を算出する。

そして、距離算出部１２１は、オリジナルカウンタｉをインクリメントし（Ｓ２３）、オリジナル線形リストＲｏ（ｉ）における第１の注目外接矩形１０７Ａを１つ分シフトする。その結果、オリジナルカウンタｉがオリジナル文章の文字数Ｍを超えていない場合には（Ｓ２４：Ｎｏ）、上記ステップＳ２０に戻る。

一方、オリジナルカウンタｉがオリジナル文章の文字数Ｍを超えている場合には（Ｓ２４：Ｙｅｓ）、距離算出部１２１は、上記で算出した外接矩形間距離Ｄ_ｉｊと、外接矩形関連性間距離Ｅ_ｉｊとを加算した評価値（評価情報）が最小となるターゲットカウントｊを検索する。そして、距離算出部１２１は、その検索した最小値としての判断基準値（代表評価情報）Ｓ_ｊを算出する（Ｓ３０）。この算出方法は、以下の計算式（４）により表すことができる。

そして、距離算出部１２１は、ターゲットカウンタｊをインクリメントし（Ｓ３１）、ターゲット線形リストＲｔ（ｊ）における第２の注目外接矩形１０７Ｂを１つ分シフトする。その結果、ターゲットカウンタｊがターゲット文章の文字数Ｎを超えていない場合には（Ｓ３２：Ｎｏ）、上記ステップＳ１０に戻り、超えている場合には（Ｓ３２：Ｙｅｓ）、処理を終了する。

（３−２）閾値の算出処理及び差異のある文字の検出処理
次に、判断基準値の比較対象となる閾値の算出処理及び差異のある文字の検出処理について図１０のフローチャートに従って説明する。

図１０は、閾値の算出処理及び差異のある文字の検出処理の一例を示すフローチャートである。まず、閾値算出部１２２は、上記のように算出されたＮ個の判断基準値Ｓ_ｊ（１≦ｊ≦Ｎ）に対して統計処理を行い、閾値Ｔｈを算出する（Ｓ１００）。

図８は、判断基準値に基づくヒストグラムの一例を示す図である。図８の例では、閾値算出部１２２は、Ｎ個の判断基準値Ｓ_ｊから統計処理により平均値μと標準偏差σとを算出し、その平均値μ及び標準偏差σを用いた「μ＋２σ」を閾値Ｔｈとして算出したものである。

次に、距離判断部１２３は、カウンタｋを「１」に初期化し（Ｓ１１０）、そのカウンタｋが示す判断基準値Ｓ_ｋと、上記ステップＳ１００で算出された閾値Ｔｈとを比較する（Ｓ１１１）。その結果、距離判断部１２３は、判断基準値Ｓ_ｋが閾値Ｔｈを越えている場合には（Ｓ１１１：Ｙｅｓ）、差異ありと判断し（Ｓ１１２）、判断基準値Ｓ_ｋが閾値Ｔｈを越えていない場合には（Ｓ１１１：Ｎｏ）、差異なしと判断する（Ｓ１１３）。そして、距離判断部１２３は、カウンタｋをインクリメントし（Ｓ１１４）、カウンタｋがターゲット文章の文字数Ｎを超えていない場合には（Ｓ１１５：Ｎｏ）、上記ステップＳ１１１に戻る。

そして、カウンタｋが文字数Ｎを超えると（Ｓ１１５：Ｙｅｓ）、差異検出部１２４は、距離判断部１２３からＮ個の判断基準値Ｓ_ｊに対する判断結果を受け取り、判断基準値が閾値を越えていると判断された外接矩形に対応する文字を差異のある文字として検出する。

（４）差異出力画面の表示
差異出力部１３は、差異検出部１２４により検出された差異のある文字を差異出力画面に表示出力する（Ｓ１２０）。

図９は、差異出力画面の一例を示す図である。この差異出力画面１５には、ターゲット画像３を表示するターゲット画像表示領域１５０が設けられている。ターゲット画像表示領域１５０には、差異のある文字として検出された外接矩形が、例えば、枠線１５１Ａ，１５１Ｂで囲まれた状態で表示される。

第１の枠線１５１Ａは、オリジナル文章に対して文字「さ」が挿入されたことを表示する。すなわち、ターゲット文章に含まれる「くけこさし」の文字列１０３ａは、オリジナル文章にも文字列１０２ｂとして含まれているが、両者の相対的な文字位置が遠いことから、文字列１０２ｂと文字列１０３ａとの比較によって「差異なし」とは判断されずに、文字位置が文字列１０２ｂに比べて近い文字列１０２ａと文字列１０３ａとの比較によって「差異あり」と判断されたことを示している。また、第２の枠線１５１Ｂは、オリジナル文章において文字「ちて」の間に存在した文字「つ」が削除されたことを表示する。

なお、枠線１５１Ａ，１５１Ｂの枠外の部分を、例えば、ぼかし処理を施した状態で表示するようにしてもよい。また、差異出力画面１５には、拡大、縮小、移動等のターゲット画像表示領域１５０を操作する機能が付加されていてもよいし、ターゲット画像表示領域１５０を印刷する機能が設けられていてもよい。

そして、ユーザは、この差異出力画面１５を目視確認して、オリジナル画像２に対する変更箇所、すなわち、第１及び第２の枠線１５１Ａ，１５１Ｂ内の文字を確認し、意図した通りに変更が行われているか、意図しない変更が含まれていないか等を検査する。

以上のようにして、文字列同士を比較することで文字の並びが加味された状態で差異のある文字だけが検出され、差異出力画面１５に表示される。

［第２の実施の形態］
図１１は、本発明の第２の実施の形態に係る画像処理システムの概略構成の一例を示す全体図である。第１の実施の形態では、画像処理装置１が、オリジナル画像２及びターゲット画像３の入力機能、入力された２つの画像データに対する差異検出機能、及び検出された差異のある文字を表示する表示出力機能の３つの機能を備えていた。これに対し、本実施の形態に係る画像処理システム３００は、差異検出機能を備えた画像処理装置１と、入力機能及び表示出力機能を備えた端末装置４と、画像処理装置１及び端末装置４を相互に接続するネットワーク５とから構成されている。なお、ネットワーク５は、ＬＡＮ（ローカルエリアネットワーク）、インターネット等の通信網である。

端末装置４は、入力されたオリジナル画像２及びターゲット画像３を、ネットワーク５を介して画像処理装置１に送信し、その返信として画像処理装置１から画面情報を受信する。そして、端末装置４は、その画面情報に基づいて、図９に例示する差異出力画面を表示する。このような端末装置４は、例えば、コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機等により構成することができる。

画像処理装置１は、端末装置４からネットワーク５を介してオリジナル画像２及びターゲット画像３を受信する画像入力部と、差異取得部により取得された差異のある文字を表示するための画面情報を作成し、その画面情報を端末装置４に送信する差異出力部とを備える。なお、文章取得部、差異取得部及び第１及び第２の記憶部は、第１の実施の形態と同様に構成されている。

以上のようにして、画像処理装置１は、異なる場所に設置された端末装置４にネットワーク５を介して差異検出機能を提供する。

［第３の実施の形態］
第１の実施の形態では、オリジナル画像２及びターゲット画像３の２つの画像データを画像処理装置１に入力したが、本実施の形態では、２つのテキストデータを画像処理装置１に入力するものである。

ここで、「テキストデータ」は、文字列と、各文字の位置、フォント、フォントサイズ等が指定されたデータであり、例えば、ワープロソフト、プレゼンテーションソフト等のアプリケーションにより作成されるデータである。従って、テキストデータには、文章がデータとして記録されており、画像データのように画像認識処理を行って文章データを取得する必要がないデータである。

本実施の形態に係る画像処理装置１について、図１を参照して第１の実施の形態と異なる構成を以下に説明する。

画像処理装置１の画像入力部１０は、２つのテキストデータとして、オリジナルテキスト及びターゲットテキストを入力する。それらオリジナルテキスト及びターゲットテキストは、オリジナル文章及びターゲット文章が取得可能なデータであるため、文章取得部１１を介することなく、差異取得部１２に送られる。

差異取得部１２は、オリジナルテキスト及びターゲットテキストからオリジナル文章及びターゲット文章を取得し、第１の実施の形態と同様の処理を行って差異のある文字を取得する。

なお、画像入力部１０は、１つの画像データと１つのテキストデータを入力してもよい。その場合には、画像データは、文章取得部１１に送られ、テキストデータは、差異取得部１２に送られる。差異取得部１２は、文章取得部１１により画像データから取得された文章データと、テキストデータに含まれる文章データとを比較して、差異のある文字を取得する。

［他の実施の形態］
なお、本発明は、上記各実施の形態に限定されず、本発明の趣旨を逸脱しない範囲内で種々に変形してもよい。例えば、上記各実施の形態では、画像処理装置が有する各部を、制御部と画像処理プログラムとによって実現したが、それらの一部または全部をハードウェアによって実現してもよい。

また、上記各実施の形態で使用されるプログラムは、ＣＤ−ＲＯＭ等の記録媒体から装置内の記憶部に読み込んでもよく、インターネット等のネットワークに接続されているサーバ等から装置内の記憶部にダウンロードしてもよい。

また、上記各実施の形態では、オリジナル文章及びターゲット文章は、日本語で作成されたものを対象としたが、同一の言語であれば、他の言語で作成されていてもよい。

また、上記各実施の形態では、文字の形状の同一性を判断する際に画像認識処理により取得された特徴情報を用いたが、比較対象の文字を含む切り出し画像の差画像を取って、その差画像において差異があるとされる画素の総和と閾値との比較に基づいて、形状の同一性を判断してもよい。

図１は、本発明の第１の実施の形態に係る画像処理装置の概略構成の一例を示す全体図である。 図２（ａ）は、オリジナル画像の一例を示し、図２（ｂ）は、ターゲット画像の一例を示す図である。 図３（ａ）は、外接矩形抽出部により抽出された外接矩形の一例を示し、図３（ｂ）は、文字列候補抽出部により抽出された文字列候補の一例を示し、図３（ｃ）は、文章算出部により算出されたオリジナル文章の一例を示す図である。 図４は、位置関係情報の算出方法の一例を説明する図である。 図５は、外接矩形間距離の算出方法の一例を説明する図である。 図６は、外接矩形関連性間距離の算出方法の一例を説明する図である。 図７は、外接矩形の判断基準値の算出処理の一例を示すフローチャートである。 図８は、判断基準値に基づくヒストグラムの一例を示す図である。 図９は、差異出力画面の一例を示す図である。 図１０は、閾値の算出処理及び差異のある文字の検出処理の一例を示すフローチャートである。 図１１は、本発明の第２の実施の形態に係る画像処理システムの概略構成の一例を示す全体図である。

符号の説明

１…画像処理装置、２…オリジナル画像、３…ターゲット画像、４…端末装置、５…ネットワーク、１０…画像入力部、１１…文章取得部、１２…差異取得部、１３…差異出力部、１４Ａ，１４Ｂ…記憶部、１５…差異出力画面、１００…タイトル部、１０１…図形部、１０２…オリジナル文章部、１０２ａ，１０２ｂ…文字列、１０３…ターゲット文章部、１０３ａ…文字列、１０４…外接矩形、１０５…文字列候補、１０６…オリジナル文章、１０７Ａ〜１０７Ｃ…注目外接矩形、１０８Ａ…外接矩形列、１０８Ｂ…外接矩形列、１１０…外接矩形抽出部、１１１…外接矩形特徴量算出部、１１２…文字列候補抽出部、１１３…文字列特徴量算出部、１１４…文字列判定部、１１５…文章算出部、１２０…位置関係算出部、１２１…距離算出部、１２２…閾値算出部、１２３…距離判断部、１２４…差異検出部、１４０Ａ，１４０Ｂ…外接矩形特徴量、１４１Ａ，１４１Ｂ…文字列特徴量、１５０…ターゲット画像表示領域、１５１Ａ，１５１Ｂ…枠線、２００…接矩形間距離、２０１…外接矩形関連性間距離、３００…画像処理システム

Claims (6)

1. 基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力ステップと、
   前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択ステップと、
   前記第１の画像データにおいて前記複数の第１の単位画像要素列がそれぞれ配置された位置と、前記第２の画像データにおいて前記第２の単位画像要素列が配置された位置との間の相対的な位置関係に基づいて、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断ステップと、
   前記判断ステップにおいて前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出ステップとをコンピュータに実行させ、
   前記判断ステップは、
   前記第２の単位画像要素列が前記第１の単位画像要素列と形状の並びに同一性を有する場合であっても、
   当該第２の単位画像要素列との位置関係において、当該同一性を有する第１の単位画像要素列よりも近い位置に他の第１の単位画像要素列が存在する場合に、
   当該他の第１の単位画像要素列との間で当該第２の単位画像要素列が形状の並びに同一性において予め決められた程度よりも同一性を有さないときに、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在しないと判断する
   画像処理プログラム。
2. 前記選択ステップは、前記第２の画像データの異なる位置から複数の第２の単位画像要素列を選択し、
   前記判断ステップは、前記選択ステップにより選択された前記第２の単位画像要素列毎に前記判断を行う請求項１に記載の画像処理プログラム。
3. 前記判断ステップは、単位画像要素毎に特徴情報を抽出し、前記複数の第１の単位画像要素列と前記第２の単位画像要素列との間の複数の評価情報を前記特徴情報及び前記位置関係情報を用いてそれぞれ算出し、その算出した複数の評価情報を代表する代表評価情報と閾値情報とを比較することにより前記第２の単位画像要素列毎に前記判断を行う請求項２に記載の画像処理プログラム。
4. 前記判断ステップは、前記複数の第２の単位画像要素列をそれぞれ代表する代表評価情報に統計処理を行うことにより前記閾値情報を算出する請求項３に記載の画像処理プログラム。
5. 基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、
   前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、
   前記第１の画像データにおいて前記複数の第１の単位画像要素列が配置された位置と、前記第２の画像データにおいて前記第２の単位画像要素列が配置された位置との間の相対的な位置関係に基づいて、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断手段と、
   前記判断手段において前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出手段とを備え、
   前記判断手段は、
   前記第２の単位画像要素列が前記第１の単位画像要素列と形状の並びに同一性を有する場合であっても、
   当該第２の単位画像要素列との位置関係において、当該同一性を有する第１の単位画像要素列よりも近い位置に他の第１の単位画像要素列が存在する場合に、
   当該他の第１の単位画像要素列との間で当該第２の単位画像要素列が形状の並びに同一性において予め決められた程度よりも同一性を有さないときに、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在しないと判断する
   画像処理装置。
6. 基準となる第１の画像データと、前記第１の画像データとの比較の対象となる第２の画像データとを入力する入力手段と、
   前記第１の画像データの異なる位置から複数の第１の単位画像要素列を選択する選択手段と、
   前記第１の画像データにおいて前記複数の第１の単位画像要素列が配置された位置と、前記第２の画像データにおいて前記第２の単位画像要素列が配置された位置との間の相対的な位置関係に基づいて、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在するか否かの判断を行う判断手段と、
   前記判断手段において前記第２の画像データに存在しないと判断された前記第２の単位画像要素列を、前記第２の画像データのうち前記第１の画像データに対して前記形状の並びに同一性を有していない単位画像要素として検出する検出手段と、
   前記検出手段により検出された前記単位画像要素を、前記第２の画像データに含まれる他の単位画像要素と比較が可能な状態で出力する出力手段とを備え、
   前記判断手段は、
   前記第２の単位画像要素列が前記第１の単位画像要素列と形状の並びに同一性を有する場合であっても、
   当該第２の単位画像要素列との位置関係において、当該同一性を有する第１の単位画像要素列よりも近い位置に他の第１の単位画像要素列が存在する場合に、
   当該他の第１の単位画像要素列との間で当該第２の単位画像要素列が形状の並びに同一性において予め決められた程度よりも同一性を有さないときに、前記複数の第１の単位画像要素列との間で形状の並びに同一性を有する第２の単位画像要素列が前記第２の画像データに存在しないと判断する
   画像処理システム。

Images