JP4697387B2 - 原稿画像判定装置、原稿画像判定方法及びそのプログラム - Google Patents

Description

本発明は、原稿から読み取られた原稿画像に基づいて、この原稿画像の方向を判定する原稿画像判定装置に関する。

例えば、特許文献１は、１文字サイズのエリアにおける句読点の分布、又は、文字画像の中に存在する空白部の分布に基づいて文字画像の向きを判別する画像読取装置を開示する。また、特許文献２は、１以上の文字領域に対して文字認識処理を行い、この認識結果に基づいて原稿の文書方向を判別し、１枚の原稿中に複数の文書方向が判別された場合に、それぞれの文字領域の合計面積を各判別方向毎に算出し、この合計面積が最も大きくなる方向を当該現行の方向と判断する画像方向判別装置を開示する。
特開平７−０６５１２０号公報 特開２００１−３１２６９７号公報

本発明は、上述した背景からなされたものであり、汎用性の高い原稿画像判定装置を提供することを目的とする。

[原稿画像判定装置]
上記目的を達成するために、本発明にかかる原稿画像判定装置は、原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得する特徴量取得手段と、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、基準方向に対応付けられた基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出する特徴距離算出手段と、前記特徴距離算出手段により算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する方向判定手段とを有する。

好適には、前記特徴距離算出手段は、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、基準方向に配置された１枚以上の基準原稿からなる基準原稿群に基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出する。

好適には、前記特徴距離算出手段は、原稿画像と基準画像群との間の特徴距離を、相対的に複数の方向で算出し、前記方向判定手段は、複数の方向で判定された特徴距離に基づいて、原稿画像の方向を判定する。

好適には、前記特徴距離算出手段は、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、基準方向、この基準方向から右に略９０度回転した右方向、この基準方向から左に略９０度回転した左方向、及び、この基準方向から略１８０度回転した反転方向にある基準原稿群それぞれに基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれと、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれとに基づいて、基準方向、右方向、左方向及び反転方向にある基準原稿群それぞれと原稿画像との特徴距離を算出する。

好適には、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間は、マハラノビス空間であり、前記方向判定手段は、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、基準方向に配置された１枚以上の基準原稿からなる基準原稿群に基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれとの間のマハラノビスの距離を算出する。

好適には、原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域を抽出する領域抽出手段をさらに有し、前記特徴距離算出手段は、前記領域抽出手段により抽出された文字画像領域ごとに、前記特徴距離を算出し、前記方向判定手段は、文字画像領域ごとに判定された特徴距離に基づいて、原稿画像の方向を判定する。

好適には、複数の基準原稿群の中から１つの基準原稿群を選択する基準選択手段をさらに有し、前記特徴距離算出手段は、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、基前記基準選択手段により選択された基準原稿群に基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれと前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれとの間の特徴距離を算出する。

また、本発明にかかる原稿画像判定装置は、基準原稿として入力された画像データに基づいて、基準原稿に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得する基準取得手段と、原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得する特徴量取得手段と、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、前記基準取得手段により取得された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出する特徴距離算出手段と、前記特徴距離算出手段により算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する方向判定手段とを有する。

[原稿画像判定方法]
また、本発明にかかる原稿画像判定方法は、原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得し、前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、基準方向に対応付けられた基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出し、前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する。

また、本発明にかかる原稿画像判定方法は、基準原稿として入力された画像データに基づいて、基準原稿に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得し、原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得し、前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、前記取得された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出し、前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する。

[プログラム]
また、本発明にかかるプログラムは、コンピュータを含む原稿画像判定装置において、原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得するステップと、前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、基準方向に対応付けられた基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出するステップと、前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定するステップとを前記原稿画像判定装置のコンピュータに実行させる。

また、本発明にかかるプログラムは、コンピュータを含む原稿画像判定装置において、基準原稿として入力された画像データに基づいて、基準原稿に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得するステップと、原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得するステップと、前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、前記取得された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出するステップと、前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定するステップとを前記原稿画像判定装置のコンピュータに実行させる。

本発明の原稿画像判定装置によれば、様々な原稿について原稿方向の判別を行うことができる。

まず、本発明の理解を助けるために、その背景及び概略を説明する。
スキャナなどにより原稿から読み取られた画像（以下、原稿画像）は、人が読める方向（すなわち正立方向）を向いているとは限らず、他の方向（上下が反転した方向、右に９０度傾いた方向、左に９０度傾いた方向）を向いていることもある。したがって、読み取られた原稿画像に対して編集作業などを行う場合には、原稿画像の方向を修正する必要がある。特に、自動原稿送り装置を用いて大量の原稿に対してスキャン処理を実施した場合には、読み取られた原稿画像の方向を一枚ごとに目視確認して方向を修正することは面倒である。そこで、原稿画像の方向を自動的に判定して正立方向に修正する技術が提案されている。
例えば、原稿画像判定方法には、複数の文字領域を抽出し、抽出された複数の文字領域において複数の方向で文字認識処理（ＯＣＲ）を行い、文字認識の信頼度が最も高くなる方向を当該文字領域の方向として判定する方法がある。この場合に、複数の文字領域に対する判定結果（判定方向）が互いに異なる場合には、複数の文字領域の大きさを判定方向別に合算し、算出された大きさが最も大きくなる判別方向を原稿の方向として判別する。しかし、この方法は、原稿中の文字を認識できること（すなわち、文字種が特定されていること）が前提である。
また、他の原稿画像判定方法としては、原稿画像中から句読点を抽出し、抽出された句読点が文字列中に占める位置を特定して原稿の方向を判定する方法がある。しかし、この方式では、原稿中から認識対象とする句読点を厳密に抽出し、それが文字列中に占める位置まで正確に把握しなければならない。例えば、アルファベット圏の言語では句読点をＯＣＲ技術なしに安定して判別することは容易ではない。
これらの原稿方法判定方法は、上記のように、予め対象となる原稿中の言語又は文字種が特定されていることを前提としており、汎用性に乏しい。

そこで、本実施形態における文書処理装置２は、入力された原稿画像と基準となる原稿画像（１枚以上の基準原稿からなる基準原稿群）との相関度（類似度）に基づいて、入力された原稿画像の方向を判定する。より具体的には、文書処理装置２は、原稿画像中の文字画像から複数の特徴量を抽出し、抽出された特徴量と、複数の方向に対応する基準特徴量（複数の方向に置かれた基準原稿群から抽出された特徴量）それぞれとを比較して、相関度が最も高い方向を入力原稿の方向として判定する。これにより、文書処理装置２は、ＯＣＲを用いることなく、様々な言語及び文字種で作成された原稿画像に対して方向判定を行うことができる。

図１は、本実施形態の概略を説明する図であり、図１（Ａ）は、入力される原稿画像を例示し、図１（Ｂ）は、原稿画像と基準原稿群との相関度を判定するための基準空間を例示する。
図１（Ａ）に例示するように、原稿画像は、文字、写真及び表などの種々のオブジェクトからなる。これらのオブジェクトは、正立方向を基準として配置され、それぞれのオブジェクト内では、正立方向を基準として文字等の画像要素が配置される。したがって、この原稿画像から抽出される特徴量は、原稿の方向となんらかの相関関係を有する。なお、本例の特徴量は３つであり、例えば、文字領域における文頭及び文末の余白の分布（ｆ１）、文字領域が配置されている位置（ｆ２）、及び文字領域から隣接するオブジェクトまでの距離（ｆ３）である。
図１（Ｂ）に例示するように、本例の文書処理装置２は、正立方向から左に９０度回転した基準原稿群に対応する基準空間と、正立方向から右に９０度回転した基準原稿群に対応する基準空間と、正立方向の基準原稿群に対応する基準空間と、正立方向から１８０度回転した基準原稿群に対応する基準空間とを予め準備している。基準空間とは、それぞれの特徴量の項目（評価項目）を軸とした多次元空間であり、本例では、３種類の特徴量（ｆ１，ｆ２，ｆ３）をそれぞれ軸とした３次元空間である。また、本例の基準空間は、それぞれの基準特徴量の標準偏差に基づいて正規化されているため、特徴量のばらつきやすさも加味した類似度（相関度）の評価を可能にする。

文書処理装置２は、これらの基準空間において、原稿画像から抽出した特徴量に対応する点（対象点）を特定し、この対象点と基準点（基準原稿群から抽出した基準特徴量の原点に相当）との間の距離（以下、特徴距離）を算出する。算出される特徴距離は、図１（Ｂ）に例示するように、基準空間によって異なる。
本実施形態における文書処理装置２は、算出される特徴距離が最も短い基準空間を特定し、特定された基準空間に対応する方向を原稿画像の方向として判定する。本例では、正立方向に対応する基準空間で算出される特徴距離が最小となるため、文書処理装置２は、原稿画像が正立方向を向いていると判定する。
このように、文書処理装置２は、特定の画像特徴（例えば、句読点の位置）にのみ着目して論理的に方向の判定を実施するのではなく、様々な特徴量を統計的に処理することにより原稿の方向を判定するため、幅広い種類の原稿に対応できる。

［ハードウェア構成］
次に、文書処理装置２のハードウェア構成を説明する。
図２は、本発明にかかる原稿画像判定方法が適応される文書処理装置２のハードウェア構成を、制御装置を中心に例示する図である。
図２に例示するように、文書処理装置２（原稿画像判定装置）は、本装置全体を制御するためのＣＰＵ２０２と、制御用プログラムあるいは制御用データなどを記憶するＲＯＭ２０４と、各種データを一時的に記憶するためのＲＡＭ２０６と、ＣＰＵ２０２に直結された高速バス２１４と、周辺機器を接続するための低速バス２１６と、これらのバスを結ぶバスブリッジ２１２と、各種表示を行う表示部２１８と、各種データを入力するためのマウス又はデジタイザなどのポインティングデバイスあるいはキーボード等を含む操作部２２０と、原稿を読み取って原稿画像のデータを生成するスキャナ２２２と、電子文書の出力を行うための電子写真方式又はインクジェット方式のプリンタ２２４とを備える。さらに、文書処理装置２には、原稿画像のデータ、及び、これに基づいて生成された電子文書データなどを蓄積するための記録装置２０８が高速バス２１４に設けられている。なお、本発明にかかる方向判定プログラム５（後述）は、例えば記録装置２０８に蓄積されており、ＣＰＵ２０２により実行される。また、表示部２１８、操作部２２０、スキャナ２２２及びプリンタ２２４は、インタフェース（不図示）を介して低速バス２１６と接続されている。さらに、文書処理装置２は、通信部２２６を有し、ネットワーク２２８を介して外部との間で情報の伝達を行うことができる。

［方向判定プログラム］
図３は、ＣＰＵ２０２（図２）により実行され、本発明にかかる原稿画像判定方法を実現する方向判定プログラム５の機能構成を例示する図である。
図３に例示するように、方向判定プログラム５は、解像度変換部５１０、領域抽出部５２０、特徴量取得部５３０、基準空間選択部５４０、基準空間データベース（基準空間ＤＢ）５５０、特徴距離算出部５６０、方向判定部５７０及び画像回転部５８０を有する。

方向判定プログラム５において、解像度変換部５１０は、入力された原稿画像の解像度が既定値よりも高い場合に、当該原稿画像の解像度を後段の方向判定処理に支障を来さない程度のより低い解像度に変換する。
領域抽出部５２０は、レイアウト解析を適用して、文字領域の抽出処理を実施する。また、領域抽出部５２０は、原稿画像の画像データが多値データである場合には、レイアウト解析の前処理として原稿画像の画像データを二値化する。

特徴量取得部５３０は、領域抽出部５２０により抽出された各文字領域について、複数の特徴量を取得する。取得される複数の特徴量は、複数の評価項目に関して評価された値であり、例えば、文字領域中で使われている文字の大きさ、文字領域内の文字数、句読点の位置、及び、文頭及び文末における余白の分布などの、各文字領域における文字に関する特徴量と、原稿画像における文字領域の位置、文字領域に隣接するオブジェクトの種類、及び、文字領域から隣接するオブジェクトまでの距離などの、オブジェクトのレイアウトに関する特徴量などを含む。

基準空間ＤＢ５５０は、複数の基準空間群を有する。これらの基準空間群は、互いに属性（言語、文字種、フォント／手書き）の異なる基準原稿に基づいて作成されたものであり、それぞれ複数の基準空間のパラメータを有する。同一の基準空間群に属する基準空間は、同一の基準原稿に基づいて作成されたものであるが、互いに異なる方向（正立方向、右方向、左方向及び反転方向）に配置された基準原稿から抽出された特徴量（すなわち、基準特徴量）に基づいて作成されたものである。すなわち、基準空間ＤＢ５５０は、基準原稿の属性及び基準原稿の方向（基準方向）に対応付けて、基準空間のパラメータ（例えば、基準原稿から抽出された特徴量の平均値、標準偏差及び相関係数など）を格納する。本実施形態における文書処理装置２は、この基準空間のパラメータ（平均値、標準偏差及び相関係数など）に基づいてマハラノビス空間を定義し、このマハラノビス空間における距離（特徴距離）に基づいて、入力された原稿画像と基準原稿との相関度（類似度）を判定する。

基準空間選択部５４０は、操作部１０７からの指示（すなわち、利用者の指示）に応じて、基準空間ＤＢ５５０に格納された複数の基準空間群の中から、いずれか一つの基準空間群を選択し、選択された基準空間群に属する各基準空間のパラメータを特徴距離算出部５６０に対して出力する。
特徴距離算出部５６０は、特徴量算出部５３０により各文字領域について算出された複数の特徴量を、基準空間選択部５４０により選択された基準特徴量空間群に属する複数の基準空間にマッピングし、それぞれの基準空間において、それぞれ基準特徴量とマッピングされた対象点との間の特徴距離を算出する。本実施形態における特徴距離算出部５６０は、基準空間選択部５４０により選択された基準空間のパラメータ（基準原稿について算出された平均値、標準偏差及び相関係数）に基づいて、マハラノビスの距離を特徴距離として算出する。

方向判定部５７０は、特徴距離算出部５０６により文字領域ごとに算出された特徴距離に基づき、１枚の原稿全体としてのページ方向を判定する。より具体的には、方向判定部５７０は、特徴距離算出部５０６により文字領域ごとに算出されたマハラノビスの距離が最小となる基準空間を特定し、特定された基準空間に対応付けられた方向をこの文字領域の方向として決定し、決定された文字領域の方向に基づいてページ方向を判定する。なお、方向判定部５７０は、１ページに含まれる全ての文字領域について、特徴距離を合算し、合算された特徴距離が最も小さい方向をページ方向として判定してもよいし、各文字領域の方向を決定した後、多数決により最も文字領域の数が多い方向をページ方向として判定してもよい。また、方向判定部５７０は、各文字領域の特徴距離又は各領域方向の判定結果に対し、文字領域の大きさ又は文字領域に含まれる文字数などで重み付けを行い、ページ方向を判定してもよい。
また、方向判定部５７０は、判定結果の信頼度をページごとに判定する。例えば、方向判定部５７０は、基準空間の方向毎に特徴距離を合算し、合算された特徴距離の大きさに基づいて信頼度を算出する。方向判定部５７０は、方向毎に合算された特徴距離が相対的に近いか否かに基づいて、信頼度を算出してもよい。すなわち、方向毎に合算された特徴量の差分が小さい場合には信頼度が低いと定義し、特徴量の差分が大きい場合には信頼度が高いと定義することができる。

画像回転部５８０は、方向判定部５７０により判定されたページ方向に基づいて、原稿画像が正立方向となるように原稿画像を回転させる。なお、本実施形態における画像回転部５８０は、判定結果の信頼度が基準値以上である場合に、判定されたページ方向に基づいて原稿画像を回転させて記録装置等に出力し、判定結果の信頼度が基準値未満である場合に、原稿画像を回転せずにそのまま記録装置等に出力する。

図４は、基準空間ＤＢ５５０に記憶されている基準空間群を例示する図である。
図４に例示するように、基準空間ＤＢ５５０は、基準原稿の属性（言語及び文字種）に対応付けて、基準空間群を記憶する。また、基準空間群は、正立方向（基準方向）に対応付けられた基準空間「＃１．１」と、右方向に対応付けられた基準空間「＃１．２」と、左方向に対応付けられた基準空間「＃１．３」と、反転方向に対応付けられた基準空間「＃１．４」とを含む。例えば、基準空間「＃１．１」は、文字種Ａを用いた日本語の基準原稿を正立方向に配置して、この基準原稿から抽出された特徴量（基準特徴量）に基づいて作成されるマハラノビス空間である。同様に、基準空間「＃１．２」、「＃１．３」及び「＃１．４」は、文字種Ａを用いた日本語の基準原稿をそれぞれ右方向（基準方向から右に９０度の方向）、左方向（基準方向から左に９０度の方向）及び反転方向（基準方向と上下反転した方向）に配置して、それぞれの基準原稿から抽出された特徴量（基準特徴量）に基づいて作成されるマハラノビス空間である。

また、基準空間ＤＢ５５０は、利用者により入力された基準原稿に対応付けて、この基準原稿に基づいて作成された基準空間群を記憶する。すなわち、文書処理装置２は、利用者からいずれか一方向（例えば正立方向）を指定して基準原稿の画像データが入力されると、入力された基準原稿を複数の方向に置いた場合の特徴量を複数抽出し、抽出された複数の特徴量（すなわち、基準特徴量）の平均値及び標準偏差等に基づいてそれぞれの方向に対応するマハラノビス空間を生成する。
これにより、文書処理装置２は、利用者が頻繁に利用する原稿の属性に特化した基準空間を生成できるため、原稿画像の方向判定の精度（信頼度）を向上させることができる。
すなわち、文書処理装置２は、基準空間を作成する際の基準原稿として用途を限定することにより、利用環境に適した判定基準を容易に構築できる。例えば、文書処理装置２は、日本語原稿、韓国語原稿及び中国語原稿などの各国語の原稿を基準原稿として基準空間群を作成し基準空間ＤＢ５５０に登録することにより、それぞれの言語に特化した判定基準で原稿画像の方向を判定でき、それぞれの言語からなる原稿について高い判定精度を実現できる。また、文書処理装置２は、活字原稿及び手書き原稿をそれぞれ基準原稿として基準空間群を作成し基準空間ＤＢ５５０に登録することにより、活字原稿又は手書き原稿に特化した判定基準で原稿画像の方向を判定してもよい。同様に、文書処理装置２は、特定のフォーマットからなる原稿（帳票、はがきなど）を基準原稿として基準空間群を作成し基準空間ＤＢ５５０に登録することにより、各フォーマットの原稿に特化した判定基準で原稿画像の方向を判定してもよい。
なお、文書処理装置２は、ネットワーク２２８を介して基準空間のパラメータを取得し、取得された基準空間のパラメータを基準空間ＤＢ５５０に格納してもよい。

図５は、基準空間のパラメータを例示する図である。
図５に例示するように、基準空間ＤＢ５５０は、それぞれの基準空間のパラメータを記憶する。記憶される基準空間パラメータは、複数ページからなる基準原稿により作成されたものである。より具体的には、基準空間パラメータは、基準原稿から抽出された複数の特徴量（すなわち、複数の評価項目に関する特徴量）の平均値（基準特徴量）と、これら特徴量の標準偏差とを含む。本例の基準空間パラメータは、利用者が方向を指定して入力した複数の原稿画像（基準原稿）から、それぞれのページごとに複数の特徴量を抽出し、抽出された特徴量に基づいて評価項目ごとに算出された平均値（基準特徴量）及び標準偏差である。この基準特徴量及び標準偏差に基づいてマハラノビス空間が定義され、マハラノビスの距離（特徴距離）が算出される。

なお、利用者は、原稿の方向判定の判定精度（信頼度）を向上させたい場合には、特定の属性に特化した基準原稿に基づいて基準空間群を作成させればよく、１つの基準空間群で様々な判定対象に対して方向判定を行う場合には、様々な属性の基準原稿に基づいて１つの基準空間群を作成させればよい。
また、本例の文書処理装置２は、図４に例示するように、４方向に対応した基準空間を作成することにより、９０度を単位として原稿画像の方向を判定しているが、これに限定されるものではなく、より細かい単位（例えば４５度）で原稿画像の方向を判定したい場合、又は、より大まかな単位（例えば１８０度）で原稿画像の方向を判定したい場合には、それぞれの方向に対応した基準空間を作成して方向判定を行う。

図６は、領域抽出部５２０によりなされる領域抽出処理を説明する図である。
図６に例示するように、領域抽出部５２０は、原稿画像に対してレイアウト解析を行い、文字画像からなる文字領域と、写真画像又はＣＧ画像からなるイメージ領域とを抽出する。レイアウト解析は、例えば、特開２０００−９０１９４号公報に記載されている手法を用いる。なお、領域抽出部５２０は、入力された原稿画像が二値画像でない場合に、レイアウト解析の前処理として二値化処理を実施してもよい。二値化処理は、既定のしきい値を用いて単純に二値化するものでもよいし、特開２００１−６０２４７号公報又は特開２００２−１７５５３２号公報に記載されている手法であってもよい。
図６に例示するように、原稿画像から、写真画像からイメージ領域１、このイメージ領域１の右側に隣接する文字領域１、このイメージ領域の下方に隣接する文字領域２、罫線を構成するイメージ領域２、このイメージ領域２の上方に隣接する文字領域４、このイメージ領域２の中に配置された文字領域５及び文字領域６など、このイメージ領域２の左側に隣接する文字領域３、並びに、原稿画像のフッタ領域に配置された文字領域７などが抽出される。文字領域に含まれる文字は、原稿画像における位置によって異なることが多く、例えば、フッタ領域に配置される文字（ページ数など）は、原稿画像の中央部に配置される文字（原稿のコンテンツ）よりも小さい場合が多い。
また、罫線の中に配置される文字（文字領域５及び文字領域６の文字）は、罫線との関係において既定の位置（例えば、中央位置又は左寄せ位置）に配置されることが多い。
文書処理装置２は、これらの特性を特徴量として原稿画像から抽出して、基準原稿の基準特徴量と比較することにより、原稿画像と基準原稿との相関度（類似度）を判定する。

図７は、マハラノビス空間を説明する図である。図７において、横軸が「特徴量１」に関する数値であり、縦軸が「特徴量２」に関する数値である二次元の基準空間が示されている。本図の基準空間は、基準特徴量の平均値と標準偏差で正規化した空間である。すなわち、原点（０，０）は、基準特徴量の平均値に相当する。また、基準空間上の点Ａは、原稿画像Ａから取得された特徴量１及び特徴量２に基づいてマッピングされた点であり、基準空間上の点Ｂは、原稿画像Ｂから取得された特徴量１及び特徴量２に基づいてマッピングされた点である。また、他の点は、複数の基準原稿それぞれから取得された特徴量１及び特徴量２に基づいてマッピングされた点である。また、基準空間上に表示された楕円は、等マハラノビス距離線である。
図７に示すように、基準原稿に関して特徴量１及び特徴量２は正の相関を有する。しがって、原稿画像の特徴量１及び特徴量２も、同様に正の相関を有するほうが基準原稿に近い（すなわち、基準原稿との相関が高い）と判定できる。そこで、本実施形態における文書処理装置２は、複数の特徴量の間の相関関係も加味したマハラノビスの距離を特徴距離として適用する。本例における点Ａ及び点Ｂについて検討すると、原点からのユークリッド距離は同一であるが、特徴量１及び特徴量２の相関という観点も加味して比較すると、点Ａは負の相関を有し、点Ｂは正の相関を有するため、点Ｂは点Ａよりも基準原稿に近いと判定でき、等マハラノビス距離線を基準として比較しても同様の結論となる。
すなわち、文書処理装置２は、４方向に配置された基準原稿群から複数の特徴量を抽出し、抽出された特徴量に基づいて基準特徴量（平均値）及び標準偏差を方向毎に算出して４つのマハラノビス空間を作成しておく。そして、文書処理装置２は、これら４つのマハラノビス空間に、原稿画像から取得された複数の特徴量をそれぞれマッピングしてマハラノビスの距離を算出し、原稿画像と最も相関度の高い基準原稿の向きを特定する。
このように、本実施形態における文書処理装置２は、マハラノビス空間を適用するため、基準を正常状態としたとき正常状態の情報からのみ評価基準を作成することができるため、基準原稿に対する相関度（類似度）については汎用性の高い尺度を与えることができる。換言すると、本実施形態における文書処理装置２は、マハラノビス空間を適用することにより、異常状態における情報（特徴量）を入力せずに、評価基準を生成することができる。

図８は、本実施形態における原稿方向判定処理の動作フローを示している。
図８に示すように、ステップ１００（Ｓ１００）において、文書処理装置２は、スキャナ２２２（図２）を介して、原稿から読み取られた原稿画像の画像データを取得し、取得された原稿画像の画像データを方向判定プログラム５（図３）に入力する。なお、方向判定プログラム５の基準空間選択部５４０（図３）は、予め、操作部２２０（図２）を介して、利用者から基準空間群の指定操作（言語、文字種などの指定）を受け付け、指定された基準空間群に属する各基準空間のパラメータを基準空間ＤＢ５５０から読み出し、読み出された基準空間パラメータを特徴距離算出部５６０に対して出力している。

ステップ１０５（Ｓ１０５）において、解像度変換部５１０は、入力された原稿画像の解像度が既定値よりも高い場合に、当該原稿画像の解像度を後段の原稿方向判定処理に支障を来さない程度のより低い解像度に変換する。なお、入力された原稿画像の解像度が上記既定値以下である場合には、この原稿画像はそのまま領域抽出部５２０に出力される。

ステップ１１０（Ｓ１１０）において、領域抽出部５２０は、解像度変換部５１０から入力された原稿画像（すなわち、解像度変換後の画像データ）から、文字領域を抽出する。
ステップ１１５（Ｓ１１５）において、特徴量取得部５３０は、領域抽出部５２０により抽出された１つの文字領域から、複数の評価項目に関する特徴量を抽出する。

ステップ１２０（Ｓ１２０）において、特徴距離算出部５４０は、特徴量取得部５３０により取得された複数の特徴量に基づいて、原稿画像の対象点を４つの基準空間（マハラノビス空間）にマッピングする。これらの基準空間は、正立方向、左方向、右方向及び反転方向にそれぞれ対応付けられている。
ステップ１２５（Ｓ１２５）において、特徴距離算出部５４０は、これら４つの基準空間において、基準特徴量（マハラノビス空間における原点）とマッピングされた対象点との距離（マハラノビスの距離）を特徴距離として算出する。
ステップ１３０（Ｓ１３０）において、方向判定プログラム５は、抽出された全ての文字領域について特徴距離の算出が終了したか否かを判定し、全ての文字領域について終了した場合に、Ｓ１３５の処理に移行し、これ以外の場合に、Ｓ１１５の処理に戻って次の文字領域に関する特徴距離を算出する。

ステップ１３５（Ｓ１３５）において、方向判定部５７０は、特徴距離算出部５４０により文字領域ごとに算出された特徴距離に基づいて、１枚の原稿としてのページ方向を判定する。方向判定部５７０は、例えば、それぞれの文字領域について算出された特徴距離を基準空間の方向毎に合算し、合算された特徴距離が最も小さい方向をページ方向として判定する。
ステップ１４０（Ｓ１４０）において、方向判定部５７０は、ページ方向の判定結果に対して信頼度を算出する。例えば、方向判定部５７０は、方向毎に合算された特徴距離の大きさを、評価項目の数などで正規化して信頼度とする。

ステップ１４５（Ｓ１４５）において、画像回転部５８０は、方向判定部５７０により算出された信頼度が基準値以上であるか否かを判定する。方向判定プログラム５は、信頼度が基準値以上であると判定された場合に、Ｓ１５０の処理に移行し、信頼度が基準値未満であると判定された場合に、方向判定の信頼度が低いために原稿画像の回転を行わない旨を表示して処理（Ｓ１０）を終了する。
ステップ１５０（Ｓ１５０）において、画像回転部５８０は、方向判定部５７０により判定されたページ方向に基づいて、原稿画像の方向が正立方向となるように原稿画像を回転させる。

以上説明したように、本実施形態における文書処理装置２は、複数の特徴量に基づいて、入力された原稿画像と基準原稿群（複数の方向に対応した基準原稿群）との相関度を判定し、判定された相関度に基づいて原稿画像の方向を判定する。これにより、ＯＣＲ等を用いなくても原稿画像の方向を判定できるため、ＯＣＲで対応できない言語、文字種又は手書き文字などからなる原稿であっても原稿の方向判定が可能となる。
また、文書処理装置２は、利用者が用意した原稿を基準原稿として用いることができる。これにより、それぞれの利用環境に特化した方向判定処理を行い、高い判定精度を実現することができる。
また、文書処理装置２は、マハラノビスの距離を適用することにより、複数の特徴量の相関も加味して原稿画像と基準原稿群との相関度を判定できるため、高い判定精度が期待できる。

本実施形態の概略を説明する図であり、（Ａ）は、入力される原稿画像を例示し、（Ｂ）は、原稿画像と基準原稿群との相関度を判定するための基準空間を例示する。 本発明にかかる原稿画像判定方法が適応される文書処理装置２のハードウェア構成を、制御装置を中心に例示する図である。 ＣＰＵ２０２（図２）により実行され、本発明にかかる原稿画像判定方法を実現する方向判定プログラム５の機能構成を例示する図である。 基準空間ＤＢ５５０に記憶されている基準空間群を例示する図である。 基準空間のパラメータを例示する図である。 領域抽出部５２０によりなされる領域抽出処理を説明する図である。 マハラノビス空間を説明する図である。 本実施形態における原稿方向判定処理の動作フローを示している。

符号の説明

２・・・文書処理装置
２２２・・・スキャナ
５・・・方法判定プログラム
５１０・・・解像度変換部
５２０・・・領域抽出部
５３０・・・特徴量取得部
５４０・・・基準空間選択部
５５０・・・基準空間データベース
５６０・・・特徴距離算出部
５７０・・・方向判定部
５８０・・・画像回転部

Claims (12)

1. 原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得する特徴量取得手段と、
   前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、基準方向に対応付けられた基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出する特徴距離算出手段と、
   前記特徴距離算出手段により算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する方向判定手段と
   を有する原稿画像判定装置。
2. 前記特徴距離算出手段は、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、基準方向に配置された１枚以上の基準原稿からなる基準原稿群に基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出する
   請求項１に記載の原稿画像判定装置。
3. 前記特徴距離算出手段は、原稿画像と基準画像群との間の特徴距離を、相対的に複数の方向で算出し、
   前記方向判定手段は、複数の方向で判定された特徴距離に基づいて、原稿画像の方向を判定する
   請求項２に記載の原稿画像判定装置。
4. 前記特徴距離算出手段は、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、基準方向、この基準方向から右に略９０度回転した右方向、この基準方向から左に略９０度回転した左方向、及び、この基準方向から略１８０度回転した反転方向にある基準原稿群それぞれに基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれと、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれとに基づいて、基準方向、右方向、左方向及び反転方向にある基準原稿群それぞれと原稿画像との特徴距離を算出する
   請求項３に記載の原稿画像判定装置。
5. 前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間は、マハラノビス空間であり、
   前記方向判定手段は、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、基準方向に配置された１枚以上の基準原稿からなる基準原稿群に基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれとの間のマハラノビスの距離を算出する
   請求項４に記載の原稿画像判定装置。
6. 原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域を抽出する領域抽出手段
   をさらに有し、
   前記特徴距離算出手段は、前記領域抽出手段により抽出された文字画像領域ごとに、前記特徴距離を算出し、
   前記方向判定手段は、文字画像領域ごとに判定された特徴距離に基づいて、原稿画像の方向を判定する
   請求項１に記載の原稿画像判定装置。
7. 複数の基準原稿群の中から１つの基準原稿群を選択する基準選択手段
   をさらに有し、
   前記特徴距離算出手段は、前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、基前記基準選択手段により選択された基準原稿群に基づいて算出された基準分布、基準位置及び基準距離に対応する点それぞれと前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれとの間の特徴距離を算出する
   請求項１に記載の原稿画像判定装置。
8. 基準原稿として入力された画像データに基づいて、基準原稿に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得する基準取得手段と、
   原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得する特徴量取得手段と、
   前記特徴量取得手段により取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記特徴量取得手段により取得された分布、位置及び距離に対応する点それぞれと、前記基準取得手段により取得された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出する特徴距離算出手段と、
   前記特徴距離算出手段により算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する方向判定手段と
   を有する原稿画像判定装置。
9. 原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得し、
   前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、基準方向に対応付けられた基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出し、
   前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する
   原稿画像判定方法。
10. 基準原稿として入力された画像データに基づいて、基準原稿に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得し、
    原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得し、
    前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、前記取得された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出し、
    前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定する
    原稿画像判定方法。
11. コンピュータを含む原稿画像判定装置において、
    原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得するステップと、
    前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、基準方向に対応付けられた基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出するステップと、
    前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定するステップと
    を前記原稿画像判定装置のコンピュータに実行させるプログラム。
12. コンピュータを含む原稿画像判定装置において、
    基準原稿として入力された画像データに基づいて、基準原稿に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得するステップと、
    原稿から読み取られた原稿画像の画像データに基づいて、原稿画像に含まれる文字画像領域の文頭及び文末の余白の分布、該文字画像領域が配置されている位置、及び、該文字画像領域から該文字画像領域以外のオブジェクトまでの距離を取得するステップと、
    前記取得される分布、位置及び距離それぞれを軸とした３次元空間において、前記取得された分布、位置及び距離に対応する点それぞれと、前記取得された基準分布、基準位置及び基準距離に対応する点それぞれとの間の特徴距離を算出するステップと、
    前記算出された特徴距離に、文字画像領域の大きさ及び文字画像領域に含まれる文字数を重み付けた距離が最小となる３次元空間を特定し、特定された３次元空間に対応付けられた方向を文字画像領域の方向とし、この文字画像領域の方向に基づいて原稿画像の方向を判定するステップと
    を前記原稿画像判定装置のコンピュータに実行させるプログラム。

Images