JP5489894B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、１文字の文字データの中から、活字又は手書き文字に応じて異なる簡単な特徴を抽出し、対象文字が活字であるか手書き文字であるかを高精度に判定することを課題とし、特徴抽出部は、文字データ抽出部で抽出された１文字の文字データの中から、文字が活字であるか手書き文字であるかを判定するための特徴（文字ストロークの方向性、太さ、直線性など）を抽出し、文字種類判定部は、その特徴に基づいて活字であるか手書き文字であるかを判定し、その判定結果に応じて、活字文字認識部、手書き文字認識部のいずれかを実行させることが開示されている。

特許文献２には、手書き文字と活字文字を高精度に短時間で識別できるようにし、文字認識処理に要する時間を短縮化することを課題とし、文書又は帳票等から読み取られた画像データから文字パターンが抽出され、手書き／活字判別部で手書き文字、活字の判別が行われ、手書き／活字判別部では、文字パターンから、少なくとも文字パターンの複雑さを表す特徴と、直線性を表す特徴を含むＮ個の特徴ベクトルを求め、この特徴ベクトルを用いて、上記文字パターンが手書き文字であるか活字文字であるかを判別し、文字認識部では、文字データが手書き文字か活字かに応じて、対応した文字認識処理を行い、上記文字パターンの特徴として、線幅のバラツキ、文字位置のバラツキ等を用いることもできることが開示されている。

特許文献３には、被読み取り文字が手書き文字であるかあるいは活字であるかを迅速に判断して、手書き文字と活字が混在して記載されている帳票の読み取り速度を向上させることができる光学的文字読取装置を提供することを目的とし、フィールド切出部はシートバッファ内のスキャナで読み取られた文字データからフィールド単位で文字データを切り出して、これをフィールドバッファに格納し、文字種判定部はフィールドバッファ内の文字データの文字種を判定して、この判定結果を認識部に知らせ、認識部は前記判定結果にしたがって手書き辞書又は活字辞書のいずれか一方を使用してフィールドバッファ内の文字データの文字認識を行うことが開示されている。

特許文献４には、文字データの高さ以外の特徴を用い、また複数の特徴を併用することによって文字の判別精度を向上させることを課題とし、文字矩形抽出部は文書画像の所定領域から文字矩形（黒画素連結矩形）を抽出し、文字矩形特徴算出部は抽出した各矩形の面積を算出し、標準偏差算出部は矩形面積値の集合の標準偏差を求め、比較判定部では標準偏差が所定の閾値を越えていたとき、上記所定領域内の文字は手書き文字であると判定し、閾値より小さいとき活字文字であると判定し、それぞれの辞書を用いて認識処理することが開示されている。

特許文献５には、効率よく高精度に文字種を判定でき、判定処理が高速度に実行できることを課題とし、印刷文字列である簡易な複数の条件を確率の高い順に組み合わせて各条件に適合するか否かを判定し、印刷文字例か手書文字列か判定するようにしたものが開示されている。

特開平１０−１６２１０２号公報 特開２０００−１８１９９３号公報 特開平０５−１８９６０４号公報 特開平１０−２１４３０８号公報 特開２０００−３３９４０４号公報

本発明は、文字列画像より文字の線分の角度や長さ、出現頻度の情報を抽出することで、その文字列画像内の文字は活字又は手書きのいずれであるかを判定する画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、文字列を含む文字列画像に対して、細線情報に変換する細線変換手段と、前記細線変換手段によって細線となった文字列画像内に矩形領域を設定する領域設定手段と、前記領域設定手段によって設定された矩形領域に対して、ハフ変換を行うハフ変換手段と、前記ハフ変換手段によるハフ変換の処理結果の線分の角度情報と、その高さ情報を特徴として抽出する特徴抽出手段と、前記特徴抽出手段によって抽出された特徴に基づいて、前記文字列画像内の文字列は活字又は手書きのいずれであるかを判定する判定手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記特徴抽出手段は、前記ハフ変換手段によるハフ変換の前記各矩形の処理結果に対して重みづけを行い、線分情報ではないと判断されるものを除外した該重みづけを行った処理結果を加算する加算手段と、前記加算手段による処理結果を角度における分布と予め定められた値を比較することによって、該処理結果内から第１の値を抽出する第１の値抽出手段と、前記第１の値抽出手段によって抽出された第１の値と予め定められた値との差を特徴量として抽出する第１の特徴量抽出手段を具備することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記特徴抽出手段は、前記ハフ変換手段によるハフ変換の前記各矩形の処理結果に対して重みづけを行い、線分情報ではないと判断されるものを除外した該重みづけを行った処理結果を加算する加算手段と、前記加算手段による処理結果を角度における分布と予め定められた値を比較することによって、該処理結果内から第１の値を抽出する第１の値抽出手段と、前記第１の値抽出手段によって抽出された第１の値に対して予め定められた範囲内における前記加算手段による処理結果の分散を特徴量として抽出する第２の特徴量抽出手段を具備することを特徴とする請求項１に記載の画像処理装置である。

請求項４の発明は、前記特徴抽出手段は、前記第１の値抽出手段によって抽出された第１の値に対して予め定められた範囲内における前記加算手段による処理結果の分散を特徴量として抽出する第２の特徴量抽出手段をさらに具備することを特徴とする請求項２に記載の画像処理装置である。

請求項５の発明は、前記特徴抽出手段は、前記ハフ変換手段によるハフ変換の前記各矩形の処理結果を予め定められた値と比較することによって、該処理結果内から第２の値を抽出する第２の値抽出手段と、前記第２の値抽出手段によって抽出された第２の値の高さと角度を特徴量として抽出する第３の特徴量抽出手段を具備することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。

請求項６の発明は、前記特徴抽出手段は、予め定められた値に対して予め定められた範囲内における前記ハフ変換手段によるハフ変換の前記各矩形の処理結果の分散を算出する分散算出手段と、前記分散算出手段によって算出された前記各矩形の分散の合計と高さを特徴量として抽出する第４の特徴量抽出手段を具備することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。

請求項７の発明は、コンピュータを、文字列を含む文字列画像に対して、細線情報に変換する細線変換手段と、前記細線変換手段によって細線となった文字列画像内に矩形領域を設定する領域設定手段と、前記領域設定手段によって設定された矩形領域に対して、ハフ変換を行うハフ変換手段と、前記ハフ変換手段によるハフ変換の処理結果の線分の角度情報と、その高さ情報を特徴として抽出する特徴抽出手段と、前記特徴抽出手段によって抽出された特徴に基づいて、前記文字列画像内の文字列は活字又は手書きのいずれであるかを判定する判定手段として機能させることを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、文字列画像より文字の線分の角度や長さ、出現頻度の情報を抽出することで、その文字列画像内の文字は活字又は手書きのいずれであるかを判定することができる。

請求項２の画像処理装置によれば、第１の値と予め定められた値との差を特徴量として活字又は手書きのいずれであるかを判定することができる。

請求項３の画像処理装置によれば、第１の値に対して予め定められた範囲内における分散を特徴量として活字又は手書きのいずれであるかを判定することができる。

請求項４の画像処理装置によれば、第１の値と予め定められた値との差、第１の値に対して予め定められた範囲内における分散を特徴量として活字又は手書きのいずれであるかを判定することができる。

請求項５の画像処理装置によれば、第２の値の高さと角度を特徴量として活字又は手書きのいずれであるかを判定することができる。

請求項６の画像処理装置によれば、ハフ変換の処理結果の分散の合計と高さを特徴量として活字又は手書きのいずれであるかを判定することができる。

請求項７の画像処理プログラムによれば、文字列画像より文字の線分の角度や長さ、出現頻度の情報を抽出することで、その文字列画像内の文字は活字又は手書きのいずれであるかを判定することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 文字列抽出モジュールによって抽出された文字列画像の例を示す説明図である。 細線化処理モジュールによって細線化処理された結果の例を示す説明図である。 文字高さの例を示す説明図である。 文字列画像を矩形分割処理モジュールによって分割する矩形の例を示す説明図である。 ハフ変換処理モジュールによるハフ変換の処理結果の例を示す説明図である。 閾値処理モジュールによる閾値処理の結果の例を示す説明図である。 特徴抽出モジュール内の構成例についての概念的なモジュール構成図（１）である。 特徴抽出モジュールによる処理例を示すフローチャートである。 教師データテーブルのデータ構造例を示す説明図である。 加算処理モジュールによる加算処理の結果の例を示す説明図である。 ピーク・教師データ比較モジュールの処理の例を示す説明図である。 特徴抽出モジュール内の構成例についての概念的なモジュール構成図（２）である。 特徴抽出モジュールによる処理例を示すフローチャートである。 ピーク抽出モジュールによる処理例を示す説明図である。 ピーク特徴抽出モジュールによる処理例を示す説明図である。 特徴抽出モジュール内の構成例についての概念的なモジュール構成図（３）である。 特徴抽出モジュールによる処理例を示すフローチャートである。 分散合計・高さ抽出モジュールによる処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置は、画像内の文字列は活字又は手書きのいずれであるかを判定するものであって、図１の例に示すように、画像受付モジュール１１０、文字列抽出モジュール１２０、細線化処理モジュール１３０、矩形サイズ決定モジュール１４０、矩形分割処理モジュール１５０、ハフ変換処理モジュール１６０、閾値処理モジュール１７０、特徴抽出モジュール１８０、距離測定モジュール１８５、判定モジュール１９０、出力モジュール１９５を有している。

画像受付モジュール１１０は、文字列抽出モジュール１２０と接続されており、画像を受け付けて、その画像を文字列抽出モジュール１２０へ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等で映像を撮影すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、文字列が含まれていれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。

文字列抽出モジュール１２０は、画像受付モジュール１１０、細線化処理モジュール１３０と接続されており、画像受付モジュール１１０から画像を受け取り、文字列を含む文字列画像を抽出して、その文字列画像を細線化処理モジュール１３０へ渡す。文字列画像の抽出は、構造解析等の既存技術を用いる。例えば、画像から予め定められた幅以上の空白を検出し、その空白によって領域に区分し、その区分された領域の種別（文字領域、図形領域、写真領域等）を画素塊の大きさの分布等によって判断して、文字領域の座標（例えば、左上のＸ座標、Ｙ座標、その領域の幅と高さ）を抽出する。そして、その文字領域内から文字列画像の座標（例えば、左上のＸ座標、Ｙ座標、その文字列画像の幅と高さ）を抽出する。例えば、その文字領域内で、横方向及び縦方向に画素を計数し、規則的に並んでいる列を文字列と判断するようにしてもよい。
なお、画素塊とは、４連結又は８連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含む。これらの画素領域の集合とは、４連結等で連続した画素領域が複数あり、その複数の画素領域は近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの、文章としての１行から１文字ずつ切り出すように縦又は横方向に射影し、空白地点で切り出した画像領域、又は一定間隔で切り出した画像領域等がある。
また、ここでの文字列とは、文字が横方向に並んだ文字列であってもよいし、文字が縦方向に並んだ文字列であってもよい。

細線化処理モジュール１３０は、文字列抽出モジュール１２０、矩形サイズ決定モジュール１４０と接続されており、文字列抽出モジュール１２０から文字列画像を受け取り、その文字列画像に対して、細線情報に変換し、その細線化された文字列画像を矩形サイズ決定モジュール１４０へ渡す。細線情報に変換する細線化処理は、既存技術を用いる。例えば、除去する画素を定めたフィルタを用いて細線化するようにしてもよい。また、輪郭線を抽出するようにしてもよい。ここでの細線化処理とは、画像を文字の太さに影響されない線分だけの情報に変換することをいう。

矩形サイズ決定モジュール１４０は、細線化処理モジュール１３０、矩形分割処理モジュール１５０と接続されており、細線化処理モジュール１３０によって細線化処理された文字列画像を区切る矩形の大きさを決定し、その矩形の大きさとともに細線化処理された文字列画像を矩形分割処理モジュール１５０へ渡す。矩形は、長方形であってもよいし、正方形であってもよい。決定する矩形の大きさとは、長方形の場合は高さと幅であり、正方形の場合は一辺の長さである。
矩形の大きさは、例えば、文字列画像内の文字の大きさとしてもよい。この場合、文字列画像内の画素塊の大きさから矩形の大きさを決定するようにしてもよい。例えば、前述のように画素塊を抽出した場合、１つの画素塊として、１文字の画像となる場合が多くなる。また、横方向に長い文字列画像である場合、文字列画像内の文字の高さを一辺とする正方形としてもよい。縦方向に長い文字列画像である場合は、文字列画像内の文字の幅を一辺とする正方形としてもよい。また、画素塊の大きさ、文字の高さ等に予め定められた値（０以上の値）を加算した値を矩形の大きさとしてもよい。

矩形分割処理モジュール１５０は、矩形サイズ決定モジュール１４０、ハフ変換処理モジュール１６０と接続されており、細線化処理モジュール１３０によって細線化処理された文字列画像内を、矩形サイズ決定モジュール１４０によって決定された矩形に分割し、その分割された矩形の画像をハフ変換処理モジュール１６０へ渡す。ここでの矩形の分割は、端から順に矩形の大きさ毎に分割してもよいし、画素ができるだけ存在しない位置で分割してもよいし（つまり、その矩形内に文字（１つの文字であってもよいし、複数の文字であってもよい）が収まるように分割する）、矩形が重なる（オーバーラップする）ように分割してもよいし（つまり、重なった部分では同じ画像が含まれていることになり、矩形の境界で線分が途切れた場合に対応するものである）、矩形間に距離があってもよい（つまり、隣の矩形とは離れている状態に矩形を設定する）。
したがって、矩形サイズ決定モジュール１４０と矩形分割処理モジュール１５０によって、細線化処理モジュール１３０によって細線となった文字列画像内に矩形領域を設定することを行っている。

ハフ変換処理モジュール１６０は、矩形分割処理モジュール１５０、閾値処理モジュール１７０と接続されており、矩形分割処理モジュール１５０によって分割された矩形の画像に対して、ハフ（Ｈｏｕｇｈ）変換を行い、その処理結果を閾値処理モジュール１７０へ渡す。ハフ変換は、直線の検出を行うものであり、中心（原点）から対象とする直線までの距離（その直線に引いた法線の長さ）と角度の組を算出し、それを計数する。なお、ハフ変換の処理結果とは、中心（原点）から対象とする直線までの距離と角度の組と、その組の計数結果（以下、高さともいう）である。例えば、図７に示すように、中心から直線までの距離の軸、角度の軸、高さの軸によって構成されるハフ空間上で、表現することができる。

閾値処理モジュール１７０は、ハフ変換処理モジュール１６０、特徴抽出モジュール１８０と接続されており、ハフ変換処理モジュール１６０によるハフ変換の処理結果の高さに対して、予め定められた閾値と比較することによって、その処理結果を選択し、選択した処理結果を特徴抽出モジュール１８０へ渡す。ここでの選択処理は、線分情報ではないと判断されるものを除外する処理である。例えば、高さがその閾値より大きい特徴量（前述の選択した処理結果に該当し、これを矩形特徴量ともいう）を、文字を構成する線分の方向情報として抽出する。また、この閾値は、矩形サイズ決定モジュール１４０によって決定された矩形の大きさに基づいて設定するようにしてもよい。例えば、矩形の大きさと対応付けて閾値を記憶しているテーブルを予め用意しておき、このテーブルを用いて、矩形の大きさから閾値を設定する。また、矩形の大きさが大きくなれば、閾値も大きくなるような関数に基づいて、矩形の大きさから閾値を設定するようにしてもよい。なお、処理結果を選択するとは、そのまま処理結果を選択することの他に、処理結果の高さから閾値を引き、その結果０以下となったものを削除してもよい。結果として、高さが閾値分減少した処理結果が選択されたことになる。なお、閾値処理モジュール１７０はなくてもよい。つまり、ハフ変換処理モジュール１６０によるハフ変換の処理結果を特徴抽出モジュール１８０に渡すようにしてもよい。
また、閾値処理モジュール１７０は、ハフ変換処理モジュール１６０によるハフ変換の各矩形の処理結果に対して重みづけを行うようにしてもよい。そして、前述した選択処理によって、重みづけを行った処理結果を選択するようにしてもよい。なお、後述する加算処理モジュール９１０による処理を行う場合は、この処理を行う。

特徴抽出モジュール１８０は、閾値処理モジュール１７０、距離測定モジュール１８５と接続されており、閾値処理モジュール１７０によって選択された処理結果の角度に基づいて特徴を抽出し、抽出した特徴を距離測定モジュール１８５へ渡す。特徴抽出モジュール１８０内のモジュール構成例、処理例等は、図９〜図２０を用いて後述する。なお、閾値処理モジュール１７０がない場合は、ハフ変換処理モジュール１６０によるハフ変換の処理結果を対象とする。そして、その処理結果の線分の角度情報と、その高さ情報を特徴として抽出する。なお、ハフ変換の処理結果として高さ情報は、線分の長さと線分らしさを表している。

距離測定モジュール１８５は、特徴抽出モジュール１８０、判定モジュール１９０と接続されており、特徴空間における活字の特徴と特徴抽出モジュール１８０によって抽出された特徴との距離を測定する。ここでの活字の特徴とは、いわゆる教師データであり、予め活字について特徴抽出して作成されたものである。
判定モジュール１９０は、距離測定モジュール１８５、出力モジュール１９５と接続されており、距離測定モジュール１８５によって測定された距離に基づいて、文字列画像内の文字列は活字又は手書きのいずれであるかを判定し、判定結果を出力モジュール１９５へ渡す。例えば、距離測定モジュール１８５によって測定された距離が予め定められた範囲内にあれば、活字であると判定し、それ以外の場合は手書き文字であると判定する。

出力モジュール１９５は、判定モジュール１９０と接続されており、判定モジュール１９０による判定結果を出力する。出力先は、記憶装置であってもよいし、通信回線を介して他の情報処理装置であってもよい。例えば、出力先の情報処理装置として、次のような処理を行う。
（１）活字と手書き文字が混在している文書に対して文字認識を行う際、本実施の形態による処理を行って、活字部分は活字用文字認識装置、手書き文字部分は手書き用文字認識装置を使用する。
（２）本実施の形態による処理を行って、手書きで追記した部分を判別し、その部分を消去して、原画像を再生する。
（３）文書の画像の中から手書きで追記した文書を検索する。

図２は、本実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、画像受付モジュール１１０が、画像を受け付ける。
ステップＳ２０４では、文字列抽出モジュール１２０が、構造解析を行い、文字列の画像を抽出する。例えば、図３に示した文字列画像３００を抽出する。ここでは、横書きの文字列の画像を抽出した例である。
ステップＳ２０６では、細線化処理モジュール１３０が、文字列画像に対して細線化処理を行う。例えば、図３に示した文字列画像３００に対して、細線化処理を施した結果が図４に示した細線化画像４００である。太さのある線分を１ドットの線分に変換している。

ステップＳ２０８では、矩形サイズ決定モジュール１４０が、矩形サイズを決定する。例えば、図５に示した細線化画像４００内の文字画像の文字高さ５１０を矩形（正方形）の一辺の大きさとして矩形サイズを決定している。
ステップＳ２１０では、矩形分割処理モジュール１５０が、文字列画像を矩形サイズを用いて矩形の画像に分割する。図６は、文字列画像を矩形分割処理モジュール１５０によって分割する矩形の例を示す説明図である。この例では、細線化画像４００を矩形６１１〜６１８の８つの矩形の画像に分割している。なお、ここでは、矩形が重ならないように順に分割している。また、矩形内には、１文字とは限らず、複数文字（代表的には２文字）があってもよい。

ステップＳ２１２では、ハフ変換処理モジュール１６０が、各々の矩形の画像に対してハフ変換処理を施す。図７は、ハフ変換処理モジュール１６０によるハフ変換の処理結果の例を示す説明図である。これは、図６に例示した矩形６１１に対するハフ変換の処理結果をグラフ表現したものである。
ステップＳ２１４では、閾値処理モジュール１７０が、ハフ変換の処理結果に対して閾値処理を施す。図８は、閾値処理モジュール１７０による閾値処理の結果の例を示す説明図である。これは、図７に例示したハフ変換の処理結果に対して閾値処理を施したものである。つまり、予め定められた閾値より大きい高さの処理結果を取り出したものである。なお、前述したようにステップＳ２１４はなくてもよい。

ステップＳ２１６では、特徴抽出モジュール１８０が、特徴抽出処理を行う。
ステップＳ２１８では、距離測定モジュール１８５が、ステップＳ２１６で抽出された特徴と活字の教師データとの距離を測定する。
ステップＳ２２０では、判定モジュール１９０が、対象としている文字列の画像は手書き文字か活字であるかを判定する。
ステップＳ２２２では、出力モジュール１９５が、判定結果を出力する。

図９は、特徴抽出モジュール１８０内の構成例についての概念的なモジュール構成図（１）である。
特徴抽出モジュール１８０は、加算処理モジュール９１０、ヒストグラム作成処理モジュール９２０、ピーク抽出モジュール９３０、ピーク処理モジュール９４０、特徴量格納モジュール９５０を有している。

加算処理モジュール９１０は、ヒストグラム作成処理モジュール９２０と接続されており、閾値処理モジュール１７０によって選択された各矩形の処理結果を加算する。ここで、処理結果を加算するとは、処理結果のうち中心から直線までの距離と角度が一致するものの高さを加算することをいう。
ヒストグラム作成処理モジュール９２０は、加算処理モジュール９１０、ピーク抽出モジュール９３０と接続されており、加算処理モジュール９１０による処理結果の角度における分布（以下、ヒストグラムともいう）を作成する。例えば、図１３に示すようなグラフになる。これは、ハフ空間における角度の軸に対して、加算処理モジュール９１０による処理によって残ったハフ変換の処理結果の個数を計数している。計数した結果は、その角度における頻度となる。
ピーク抽出モジュール９３０は、ヒストグラム作成処理モジュール９２０、ピーク処理モジュール９４０と接続されており、ヒストグラム作成処理モジュール９２０によって作成されたヒストグラム内の頻度と予め定められた値を比較することによって、その処理結果内から第１の値を抽出する。第１の値を、以下、ピーク値という。例えば、予め定められた値よりも大きい値の頻度を示している角度をピーク値として抽出する。

ピーク処理モジュール９４０は、ピーク抽出モジュール９３０、特徴量格納モジュール９５０と接続されており、ピーク・教師データ比較モジュール９４２、ピーク周囲分散算出モジュール９４４を有している。
ピーク・教師データ比較モジュール９４２は、ピーク抽出モジュール９３０によって抽出されたピーク値と予め定められた値との差を特徴量として抽出する。予め定められた値としては、例えば、図１１に例示する教師データテーブル１１００のように、教師データである活字の文字画像に対しての処理結果（画像受付モジュール１１０から閾値処理モジュール１７０、加算処理モジュール９１０からピーク・教師データ比較モジュール９４２までの処理を行った結果）であってもよいし、教師データに対しての処理結果を用いずに９０度、１８０度、４５度等の値であってもよい。これらは、活字の文字画像内で頻繁に出現する文字を構成する線の角度である。したがって、この差が小さい場合は活字の可能性が高いことを示しており、この差が大きい場合は手書き文字の可能性が高いことを示している。判定モジュール１９０が、この特徴量（差）を用いる場合は、この差と予め定められた値との比較によって、文字列画像内の文字列は活字又は手書きのいずれであるかを判定する。

ピーク周囲分散算出モジュール９４４は、ピーク抽出モジュール９３０によって抽出されたピーク値に対して予め定められた範囲内（以下、ピーク値の周囲ともいう）における加算処理モジュール９１０による処理結果の分散を特徴量として抽出する。予め定められた範囲としては、例えば、ピーク値を中心としてそのピーク値から予め定められた距離以内であることをいう。この特徴量は線分の方向一致度を示していることになる。この範囲内における分散が小さい場合は活字の可能性が高いことを示しており、この差が大きい場合は手書き文字の可能性が高いことを示している。活字の場合は、予め定められた文字であるためブレが少ないが、手書き文字であるとブレが発生するためである。判定モジュール１９０が、この特徴量（分散）を用いる場合は、この分散と予め定められた値との比較によって、文字列画像内の文字列は活字又は手書きのいずれであるかを判定する。
なお、ピーク・教師データ比較モジュール９４２、ピーク周囲分散算出モジュール９４４は、いずれか一方だけであってもよいし、両方あってもよい。
特徴量格納モジュール９５０は、ピーク処理モジュール９４０と接続されており、ピーク・教師データ比較モジュール９４２、ピーク周囲分散算出モジュール９４４のいずれか一方、又は両方によって抽出された特徴量を記憶装置に記憶する。距離測定モジュール１８５、判定モジュール１９０は、この記憶装置に記憶された特徴量を用いる。

図１０は、特徴抽出モジュール１８０による処理例を示すフローチャートである。
ステップＳ１００２では、加算処理モジュール９１０が、各矩形において閾値処理されたハフ変換の処理結果を加算する。図１２は、加算処理モジュール９１０による加算処理の結果の例を示す説明図である。図６に例示した矩形６１１〜６１８の画像に対してハフ変換処理モジュール１６０、閾値処理モジュール１７０による処理結果の高さを加算したものである。
ステップＳ１００４では、ヒストグラム作成処理モジュール９２０が、角度についてのヒストグラムを作成する。図１３は、ピーク・教師データ比較モジュール９４２の処理の例を示す説明図である。図１２に例示した加算結果の角度における頻度分布を生成したものである。

ステップＳ１００６では、ピーク抽出モジュール９３０が、ヒストグラム内のピーク値を抽出する。図１３に示した例では、０度、９０度、１８０度の近辺をピーク値として抽出する。
ステップＳ１００８では、ピーク・教師データ比較モジュール９４２が、ピーク値と教師データを比較することによって、その差を算出する。

ステップＳ１０１０では、ピーク周囲分散算出モジュール９４４が、ピーク値の周囲の分散を算出する。
ステップＳ１０１２では、特徴量格納モジュール９５０が、特徴量を格納する。
なお、ステップＳ１００８、ステップＳ１０１０の処理は、いずれか一方であってもよい。また、いずれを先に行ってもよいし、並列して処理を行ってもよい。

図１４は、特徴抽出モジュール１８０内の構成例についての概念的なモジュール構成図（２）である。
特徴抽出モジュール１８０は、ピーク抽出モジュール１４１０、ピーク特徴抽出モジュール１４２０、特徴量格納モジュール１４３０を有している。

ピーク抽出モジュール１４１０は、ピーク特徴抽出モジュール１４２０と接続されており、閾値処理モジュール１７０によって選択された各矩形のハフ変換の処理結果（矩形特徴量）を予め定められた値と比較することによって、その処理結果内から第２の値を抽出する。第２の値を、以下、ピーク値という。例えば、予め定められた値よりも大きい値の高さを示しているものをピーク値として抽出する。
ピーク特徴抽出モジュール１４２０は、ピーク抽出モジュール１４１０、特徴量格納モジュール１４３０と接続されており、ピーク抽出モジュール１４１０によって抽出されたピーク値の高さと角度を特徴量として抽出する。判定モジュール１９０が、この特徴量（ピーク値の高さと角度の組）を用いる場合は、このピーク値の高さと角度の組の分散と予め定められた値との比較によって、文字列画像内の文字列は活字又は手書きのいずれであるかを判定する。活字であるならば分散が小さくなり、手書き文字であるならばブレの発生によって分散が大きくなることを用いている。
特徴量格納モジュール１４３０は、ピーク特徴抽出モジュール１４２０と接続されており、ピーク特徴抽出モジュール１４２０によって抽出された特徴量を記憶装置に記憶する。距離測定モジュール１８５、判定モジュール１９０は、この記憶装置に記憶された特徴量を用いる。

図１５は、特徴抽出モジュール１８０による処理例を示すフローチャートである。
ステップＳ１５０２では、ピーク抽出モジュール１４１０が、各矩形において閾値処理されたハフ変換の処理結果からピーク値を抽出する。図１６は、ピーク抽出モジュール１４１０による処理例を示す説明図である。図８に例示した閾値処理された結果では、ピーク１６１２、ピーク１６１４、ピーク１６１６の３つを抽出している。
ステップＳ１５０４では、ピーク特徴抽出モジュール１４２０が、ピーク値の高さと角度をその矩形の特徴として抽出する。図１７は、ピーク特徴抽出モジュール１４２０による処理例を示す説明図である。特徴量として抽出したピーク値の高さと角度を、高さと角度の２次元空間にマッピングしたものである。
ステップＳ１５０６では、特徴量格納モジュール１４３０が、特徴量を格納する。

図１８は、特徴抽出モジュール１８０内の構成例についての概念的なモジュール構成図（３）である。
特徴抽出モジュール１８０は、分散算出モジュール１８１０、分散合計・高さ抽出モジュール１８２０、特徴量格納モジュール１８３０を有している。

分散算出モジュール１８１０は、分散合計・高さ抽出モジュール１８２０と接続されており、予め定められた値に対して予め定められた範囲内（以下、代表角度の周囲ともいう）における閾値処理モジュール１７０によって選択された各矩形のハフ変換の処理結果（矩形特徴量）の分散を算出する。角度について、活字の教師データの代表角度（水平（０度、１８０度）、垂直（９０度）、斜体角度（４５度、１３５度等）等）周囲のデータの角度方向の分散を算出する。

分散合計・高さ抽出モジュール１８２０は、分散算出モジュール１８１０、特徴量格納モジュール１８３０と接続されており、分散算出モジュール１８１０によって算出された各矩形の分散の合計と高さを特徴量として抽出する。前述のように、活字の教師データの代表角度は複数あるので、その代表角度の周囲における各分散を合計する。また、高さは、分散の対象となった矩形特徴量の高さの平均、最頻値等を用いるようにしてもよい。
判定モジュール１９０が、この特徴量（分散の合計と高さの組）を用いる場合は、この分散の合計と高さの組を２次元空間にマッピングし、予め定めた閾値との位置関係によって、文字列画像内の文字列は活字又は手書きのいずれであるかを判定する。図２０は、分散合計・高さ抽出モジュール１８２０による処理例を示す説明図である。横軸に教師データの代表角度の周囲における矩形特徴量の分散の合計をとり、縦軸に高さをとった２次元空間に、各矩形の特徴量をマッピングしたものである。閾値２０１０の上側（活字領域２０２０）は、文字を構成している直線にブレがないので、ピーク値が高くなりやすく、その角度にもブレがないので、教師データに対しての分散も小さくなる。閾値２０１０の下側（手書き文字領域２０３０）は、活字に比べると文字を構成している直線にブレが発生しており、ピークの値が低くなりやすく、また、活字のように直角、水平等にはなりにくいため、教師データに対しての分散が大きくなる。

特徴量格納モジュール１８３０は、分散合計・高さ抽出モジュール１８２０と接続されており、分散合計・高さ抽出モジュール１８２０によって抽出された特徴量を記憶装置に記憶する。距離測定モジュール１８５、判定モジュール１９０は、この記憶装置に記憶された特徴量を用いる。

図１９は、特徴抽出モジュール１８０による処理例を示すフローチャートである。
ステップＳ１９０２では、分散算出モジュール１８１０が、教師データの周囲の分散を算出する。
ステップＳ１９０４では、分散合計・高さ抽出モジュール１８２０が、分散の合計と高さをその矩形の特徴として抽出する。
ステップＳ１９０６では、特徴量格納モジュール１８３０が、特徴量を格納する。

図２１を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図２１に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部２１１７と、プリンタなどのデータ出力部２１１８を備えたハードウェア構成例を示している。

ＣＰＵ２１０１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字列抽出モジュール１２０、細線化処理モジュール１３０、矩形サイズ決定モジュール１４０、矩形分割処理モジュール１５０、ハフ変換処理モジュール１６０、閾値処理モジュール１７０、特徴抽出モジュール１８０、距離測定モジュール１８５、判定モジュール１９０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０２は、ＣＰＵ２１０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ２１０３は、ＣＰＵ２１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス２１０４により相互に接続されている。

ホストバス２１０４は、ブリッジ２１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２１０６に接続されている。

キーボード２１０８、マウス等のポインティングデバイス２１０９は、操作者により操作される入力デバイスである。ディスプレイ２１１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２１１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ２１０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた画像、文字列画像、特徴抽出モジュール１８０の結果データなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ２１１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２１１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２１０７、外部バス２１０６、ブリッジ２１０５、及びホストバス２１０４を介して接続されているＲＡＭ２１０３に供給する。リムーバブル記録媒体２１１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート２１１４は、外部接続機器２１１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２１１４は、インタフェース２１０７、及び外部バス２１０６、ブリッジ２１０５、ホストバス２１０４等を介してＣＰＵ２１０１等に接続されている。通信部２１１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部２１１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２１１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図２１に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２１に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２１に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、前述の実施の形態内の各種の特徴抽出モジュール１８０を組み合わせてもよく、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。例えば、特徴量として、ピーク・教師データ比較モジュール９４２、ピーク周囲分散算出モジュール９４４、ピーク特徴抽出モジュール１４２０、分散合計・高さ抽出モジュール１８２０のうちの２つ以上のモジュールによって抽出された特徴量を組み合わせてもよい。さらに、既存技術を用いた特徴量（文字同士の間隔の分散、上下のブレ、面積の分散等）と組み合わせてもよい。
そして、この特徴量の組み合わせによる特徴空間における距離を距離測定モジュール１８５は測定し、判定モジュール１９０は、分布の違いにより文字列画像内の文字列は活字又は手書きのいずれであるかを判定する。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１１０…画像受付モジュール
１２０…文字列抽出モジュール
１３０…細線化処理モジュール
１４０…矩形サイズ決定モジュール
１５０…矩形分割処理モジュール
１６０…ハフ変換処理モジュール
１７０…閾値処理モジュール
１８０…特徴抽出モジュール
１８５…距離測定モジュール
１９０…判定モジュール
１９５…出力モジュール
９１０…加算処理モジュール
９２０…ヒストグラム作成処理モジュール
９３０…ピーク抽出モジュール
９４０…ピーク処理モジュール
９４２…ピーク・教師データ比較モジュール
９４４…ピーク周囲分散算出モジュール
９５０…特徴量格納モジュール
１１００…教師データテーブル
１４１０…ピーク抽出モジュール
１４２０…ピーク特徴抽出モジュール
１４３０…特徴量格納モジュール
１８１０…分散算出モジュール
１８２０…分散合計・高さ抽出モジュール
１８３０…特徴量格納モジュール

Claims (7)

1. 文字列を含む文字列画像に対して、細線情報に変換する細線変換手段と、
   前記細線変換手段によって細線となった文字列画像内に矩形領域を設定する領域設定手段と、
   前記領域設定手段によって設定された矩形領域に対して、ハフ変換を行うハフ変換手段と、
   前記ハフ変換手段によるハフ変換の処理結果の線分の角度情報と、その高さ情報を特徴として抽出する特徴抽出手段と、
   前記特徴抽出手段によって抽出された特徴に基づいて、前記文字列画像内の文字列は活字又は手書きのいずれであるかを判定する判定手段
   を具備することを特徴とする画像処理装置。
2. 前記特徴抽出手段は、
   前記ハフ変換手段によるハフ変換の前記各矩形の処理結果に対して重みづけを行い、線分情報ではないと判断されるものを除外した該重みづけを行った処理結果を加算する加算手段と、
   前記加算手段による処理結果を角度における分布と予め定められた値を比較することによって、該処理結果内から第１の値を抽出する第１の値抽出手段と、
   前記第１の値抽出手段によって抽出された第１の値と予め定められた値との差を特徴量として抽出する第１の特徴量抽出手段
   を具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴抽出手段は、
   前記ハフ変換手段によるハフ変換の前記各矩形の処理結果に対して重みづけを行い、線分情報ではないと判断されるものを除外した該重みづけを行った処理結果を加算する加算手段と、
   前記加算手段による処理結果を角度における分布と予め定められた値を比較することによって、該処理結果内から第１の値を抽出する第１の値抽出手段と、
   前記第１の値抽出手段によって抽出された第１の値に対して予め定められた範囲内における前記加算手段による処理結果の分散を特徴量として抽出する第２の特徴量抽出手段
   を具備することを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴抽出手段は、
   前記第１の値抽出手段によって抽出された第１の値に対して予め定められた範囲内における前記加算手段による処理結果の分散を特徴量として抽出する第２の特徴量抽出手段
   をさらに具備することを特徴とする請求項２に記載の画像処理装置。
5. 前記特徴抽出手段は、
   前記ハフ変換手段によるハフ変換の前記各矩形の処理結果を予め定められた値と比較することによって、該処理結果内から第２の値を抽出する第２の値抽出手段と、
   前記第２の値抽出手段によって抽出された第２の値の高さと角度を特徴量として抽出する第３の特徴量抽出手段
   を具備することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記特徴抽出手段は、
   予め定められた値に対して予め定められた範囲内における前記ハフ変換手段によるハフ変換の前記各矩形の処理結果の分散を算出する分散算出手段と、
   前記分散算出手段によって算出された前記各矩形の分散の合計と高さを特徴量として抽出する第４の特徴量抽出手段
   を具備することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. コンピュータを、
   文字列を含む文字列画像に対して、細線情報に変換する細線変換手段と、
   前記細線変換手段によって細線となった文字列画像内に矩形領域を設定する領域設定手段と、
   前記領域設定手段によって設定された矩形領域に対して、ハフ変換を行うハフ変換手段と、
   前記ハフ変換手段によるハフ変換の処理結果の線分の角度情報と、その高さ情報を特徴として抽出する特徴抽出手段と、
   前記特徴抽出手段によって抽出された特徴に基づいて、前記文字列画像内の文字列は活字又は手書きのいずれであるかを判定する判定手段
   として機能させることを特徴とする画像処理プログラム。

Images