JP4145014B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に、デジタルカメラで撮影した画像を画像処理可能な画像データに補正し、補正した画像データの文字認識や、撮影した複数の画像データを合成し、ユーザが画像データの内容を容易に認識することを可能にするための画像処理装置に関する。
【０００２】
詳しくは、平面上の対象物を分割撮影した複数の画像を補正し、合成された画像を生成するための画像処理装置に関する。
【０００３】
【従来の技術】
デジタルカメラ等の画像入力装置から画像を取得して、当該画像を簡単に読み易い画像データを生成する従来の技術として以下のような手法がある。
【０００４】
まず、平面上の対象物（例えば、文書）を分割撮影する方法として、特開平１１−２３２３７８「デジタルカメラ、そのデジタルカメラを用いた文書処理システム、コンピュータ可読の記憶媒体及びプログラムコード送出装置」がある。
【０００５】
この手法は、被写体である一枚の紙面を分割して、デジタルカメラで複数枚の画像として撮影し、ユーザが画面を見ながら対話的に変形パラメータを指定して、被写体に正対して撮影した画像に変形するパース補正を行い、ＯＣＲ処理によりパース補正された画像から文字列を読み取る。このようにして撮影画像データから読み取られた文字列を、分割撮影の配置に応じて結合し、元の紙面全体に対応する文字列を出力する。これにより、解像度の低いカメラを使って大きな文書を高解像度で取り込んだ場合と同様にＯＣＲ処理することができる。
【０００６】
しかしながら、上記従来のデジタルカメラで文書分割撮影する方法は、ユーザがパース補正のためのパラメータ手動で設定する必要があり、分割撮影した全ての画像に対し、それぞれ設定するのは手間がかかる。また、分割撮影したデータから統合された画像データは生成されず、最終的に統合されて出力されるのはテキストデータのみであり、文字と写真が混在するような文書や、レイアウトやデザインが重要な文書に対して、統合された画像データを生成し、出力できないという問題がある。
【０００７】
また、ＯＣＲのためのスキュー補正処理として、特開平６−２０３２０２「画像処理装置」がある。
【０００８】
この手法は、画像データに縮小、膨張処理を施し、語、行などに対応する連結成分を抽出し、各連結成分位置を各方向に投影した結果のヒストグラムを求め、その最頻値から画像全体の傾きを推定し、逆方向に回転することにより、各行が水平になるよう画像を補正するものである。
【０００９】
また、ＯＣＲのためのスキュー補正処理のもう一つの方法として、特開平６−１５００６０「画像傾き検出方法及び表処理方法」がある。
【００１０】
この手法は、各連結成分の外接矩形から、その方向を以下のように推定する。この例を図１７に示す。
【００１１】
・外接矩形ａ内の黒画素数をカウントする。
【００１２】
・黒画素数を外接矩形の長辺の長さｂで割り、黒画素領域の幅を推定する。
【００１３】
・外接矩形の短辺の長さｃから推定された黒画素領域の幅ｄを引いた結果と、長辺の長さｂとの比をその連結成分の勾配ｅ（推定された勾配）とする。
【００１４】
また、上記従来のスキュー補正処理では、画像全体を画像面内で回転することにより補正するため、カメラで撮影した画像のように、透視変換によって画像内の位置により行の傾きが変化する画像では補正しきれないという問題がある。
【００１５】
【発明が解決しようとする課題】
本発明は、上記の問題を解決するためになされたもので、撮影された文字と写真が混在する文書や、レイアウトやデザインが重要な文書等を含む画像を容易に読み取ることが可能な画像処理装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記の目的は、被写体を撮影し、撮影された画像から読み易い画像データを生成する画像処理装置であって、平面状の被写体を撮影して画像データを生成する撮影データ生成手段と、生成された一枚の画像データから被写体面の一方向を検出する方向検出手段と、検出された被写体面上の一方向に対応する画像上の直線群が一定の方向を向くように画像データを補正する画像データ補正手段とを有することを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、デジタルカメラで撮影された一枚の画像データから、場所によって異なる方向を持つ文書の行方向を揃える補正を行うことにより読みやすい画像データを生成することが可能となる。
【００１７】
また、上記の方向検出手段は、撮影データ生成手段で撮影された一枚の画像データから、該画像データの連結成分を抽出し、抽出された連結成分の位置と方向に基づいて複数の方向の候補を算出する方向候補算出手段と、算出された方向候補を平面に投影し、平面上のヒストグラムをとることにより被写体の方向を求める方向算出手段とを有することにより、連結成分がノイズのために必ずしも被写体面上の平行方向に対応していない場合でも、ノイズによる影響を低減させることが可能となる。
【００１８】
また、上記の画像データ補正手段は、方向検出手段で検出された被写体上の一方向が、画像データ上の水平／垂直のいずれに近いかを判定する方向判定手段と、判定された方向から、補正後の前記画像データの直線群の方向を決定する方向決定手段とを有することにより、被写体が縦書きか横書きか、また、撮影時のカメラ配置が縦位置か横位置に関わらず、行方向を水平または、垂直に揃え、読みやすい画像データを生成することが可能となる。
【００１９】
また、本発明の目的は、被写体を撮影し、撮影された画像の文字を認識する画像処理装置であって、平面状の被写体を撮影して画像データを生成する撮影データ生成手段と、画像データ生成手段で生成された一枚の画像データから被写体面の一方向を検出する方向検出手段と、方向検出手段で検出された被写体面上の一方向に基づいて、画像データを認識する文字認識手段とを有することを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、１枚の撮影画像のみを用いて、歪を補正した後、文字認識処理を行うため、カメラを使って簡単に誤認識率の低い正確なテキストデータを得ることが可能となる。
また、本発明の目的は、被写体を撮影し、撮影された複数画像から画像データを合成する画像処理装置であって、平面上の被写体を複数回撮影して画像データを生成する画像データ生成手段と、撮影された一枚の画像データから被写体面上の一方向を検出する方向検出手段と、検出された被写体面上の方向に基づいて、画像データに対して文字認識を行う文字認識手段と、認識された文字の種類と位置から変形パラメータを算出する変形パラメータ算出手段と、変形パラメータを用いて、撮影された複数の画像データを合成する合成手段とを有することを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、文字の位置を含む文字認識処理の結果を利用して合成処理を行うため、文字種以外に対応付けの手掛かりが少ない文書に対しても正確な張り合わせ合成を行うことが可能となる。
【００２０】
また、本発明の目的は、撮影された複数の画像から画像データを合成する画像処理装置であって、デジタルカメラから撮影された画像データを取得する画像取得手段と、取得した画像データから被写体面上の一方向を検出する方向検出手段と、方向検出手段で検出された被写体面上の方向に基づいて、画像データに対して文字認識を行う文字認識手段と、認識された文字の種類と位置から変形パラメータを算出する変形パラメータ算出手段と、変形パラメータを用いて、撮影された複数の画像データを合成する合成手段とを有することを特徴とする画像処理装置を提供することにより達成される。これにより、デジタルカメラが、方向検出・補正・合成機能を持たなくとも、当該デジタルカメラを通信等により方向検出・補正・合成機能を有するコンピュータと接続し、撮影した画像データを当該コンピュータに渡すことにより、デジタルカメラに特別なハードウェアを使用しなくとも、正確に合成された画像データを得ることが可能となる。
【００２１】
【発明の実施の形態】
以下、図面と共に、本発明の各実施の形態を説明する。
【００２２】
以下の説明において、本発明では、被写体として表面に文字列が描画された平面状の物体を想定している。
【００２３】
［実施の形態１］
文書を拡大撮影した一枚の画像データでは、行方向以外に被写体の向き、つまり、あおり歪のパラメータを推定する情報を取得することが困難な場合がある。そのような場合、完全なあおり歪の補正は原理的に不可能であるが、行方向だけでも揃えることができれば、例え、行と垂直方向には歪が残っていても、文書の読みやすさは向上する。例えば、図１（ａ）の横書きの文書の画像から、同図（ｂ）の完全な補正画像は取得できなくとも、同図（ｃ）のように、行方向のみを揃えると画像データの読みやすさが向上することがわかる。なお、図１では、横書きの場合を示しており、同図では、横書きの場合において水平に揃えた例であり、縦書きの場合には、垂直に揃えるものとする。
【００２４】
そこで、本発明の実施の形態１では、デジタルカメラ内において、面状の被写体を撮影した一枚の画像データから、画像上の行方向が一定の方向になるように補正した画像データを生成し、記録媒体に記録する例を説明する。
【００２５】
図２は、本発明の実施の形態１に係る装置の構成を示す。
【００２６】
同図に示す装置は、画像撮影部１１、画像メモリ１２、行方向推定部１３、変形パラメータ設定部１４、画像補正部１５、画像圧縮部１６、不揮発性メモリ１７、ＣＰＵ１８、インタフェース回路１９、及びＬＣＤパネル２０から構成される。
【００２７】
画像撮影部１１は、通常のデジタルカメラと同様に、レンズ、ＣＣＤセンサ、Ａ／Ｄ変換回路、色変換／フィルタ処理回路などを使用し、被写体を撮影してデジタル画像データ（以下、画像データと記す）をデジタルカメラ内部の画像メモリ１２に記録する。
【００２８】
行方向推定部１３は、図３に示すように、画像メモリ１２から撮影した画像データを取得して、被写体平面ａ上の行方向を撮像面座標系での３次元方向として推定する。詳細は後述する。
【００２９】
変形パラメータ設定部１４は、行方向推定部１３において、推定された行方向に基づいて、補正画像を得るための仮想的な投影面を設定し、撮影画像をこの面に投影するための透視変換パラメータを計算する。詳細は後述する。
【００３０】
画像補正部１５は、変形パラメータ設定部１４で計算された透視変換パラメータを使用して、画像メモリ１２から取得した撮影された画像データを透視変換により撮影画像を補正し、被写体の各行が水平に並んだ画像を生成する。
【００３１】
画像圧縮部１６は、通常のデジタルカメラと同様に、透視変換された画像データを圧縮処理し、不揮発性メモリ１７に記録する。
【００３２】
不揮発性メモリ１７は、画像圧縮部１６で圧縮処理された画像データを記録し、当該画像データは、ＣＰＵ１８からの要求に応じて読み出される。
【００３３】
ＣＰＵ１８は、イタンタフェース回路１９や、ＬＣＤパネル２０への不揮発性メモリ１７からの画像データの読出し、及びその動作を制御する。これにより、インタフェース回路１９は、不揮発性メモリ１７から取得した画像データを外部の計算機やプリンタに転送し、ＬＣＤパネル２０は、ＣＰＵ１８の制御により装置の状態の情報を表示する。
【００３４】
ここで、上記の行方向推定部１３について詳述する。
【００３５】
行方向推定部１３は、基本的には撮影画像の行に相当する領域を認識し、その方向を検出する。但し、行の認識にはノイズが伴い、また、対象となる文書には、図、見出しなど、行以外に方向を持つ領域が存在する可能性がある。そこで、本実施の形態１では、行に相当すると思われる領域を多数検出し、その最頻値を求めることによって、安定的に行方向を検出する。
【００３６】
図４は、本発明の実施の形態１に係る行方向推定部の動作のフローチャートである。
【００３７】
以下、行方向推定部１３の動作を図４のフローチャートに沿って説明する。
【００３８】
ステップ１０１） 行方向推定部１３は、画像撮影部で撮影され、画像メモリ１２に保存されている補正対象の画像データを入力する。
【００３９】
ステップ１０２） 行方向推定部１３は、連結成分を抽出する。連結成分の抽出は、画像メモリ１２から取得した画像データを２値化し、縮小、膨張処理を行い、連結成分を求める。隣接する文字同士が連結し、行または、その一部分に相当する大きな領域となる。但し、図５に示すように、一部は短か過ぎたり、複数の行に跨がるなど、期待する「行または、その一部」に対応しない成分を含んでいることも考えられる。
【００４０】
ステップ１０３） 次に、位置／傾きを算出する。ステップ１０１において、抽出された連結成分に含まれる画素のＸＹ座標の最大最小値から外接矩形を求める。外接矩形の中心を当該連結成分の位置として記録する。本実施の形態では、この処理として、図１７に示された前述の特開平６−１５００６０に開示されている方法を用いるものとする。当該方法は、まず、外接矩形ａ内の黒画素数をカウントし、当該黒画素数を外接矩形の長辺の長さｂで割り、黒画素領域の幅を推定する。外接矩形の短辺の長さｃから推定された黒画素領域の幅ｄを引いた結果と長辺の長さｂとの比をその連結成分の勾配ｅとして、各連結成分の傾きを算出し記録する。
【００４１】
ステップ１０４） 次に、方向候補を算出する。ステップ１０２で求められた連結成分から、ステップ１０３で算出された位置と傾きから２つの連結成分の交点の位置を求め、さらに、光学中心からこの交点へのベクトルを求める。図６は、本発明の実施の形態１に係る行方向推定部における被写体面上の平行線と消失点ベクトルを説明するための図である。カメラの光学中心ａから画像面上の消失点ｂへ向かうベクトルｄ，ｄ’は、消失点ｂに対応する被写体面ｃ上の平行線ｅ，ｅ’と平行であり、消失点ｂの位置を求めることは、被写体面ｃに含まれる特定の方向を求めることと同等である。全ての連結成分の２つ組に対してこの候補ベクトル（方向候補）を求める。
【００４２】
ステップ１０５） 更に、行方向判定を行う。この段階で、それぞれの連結成分について、傾きが水平／垂直のどちらに近いかを判断し、その数をカウントして比較する。水平に近いものの方が多い場合は、対象文書は横書き、そうでなければ縦書きと判断する。以下では、説明の簡単化のため文書が横書きの場合について主に説明するが、縦書きと推定された場合には、以下の説明において、縦／横を入れ替えた処理を行えばよい。また、この判定結果は、次段の変形パラメータ算出処理でも利用する。
【００４３】
ステップ１０６） 次に、最頻値算出を行う。上記のステップ１０４で求めた連結成分の方向は、ノイズのため、必ずしも被写体面上の平行方向に対応しているとは限らない。そのため、前段の候補ベクトル（方向候補）は全てが一致することはない。そこで、多数の候補ベクトルについてヒストグラムを作成し、その最頻値を求めることにより、ノイズによる影響を低減し、信頼性の高い方法推定処理を行う。ヒストグラムは、ｘ軸成分１に正規化した方向ベクトルのｙｚ成分について採る（縦書きの場合は、ｙ軸成分を正規化したｘｚ成分を用いる）。ヒストグラムの範囲とステップは、例えば、±０．２の範囲で、０．０２刻みでとれば、ｔａｎ（０．２）≒１１．６度、ｔａｎ（０．０２）≒１．１度より、１０度程度の被写体の角度変動幅に対応して、１度程度の精度で方向を求めることができる。
【００４４】
上記のように、原理的には、方向ベクトルと消失点位置は同等であるが、図７に示すように、方向ベクトルは、ｘ軸に近い方向を向いている。そのため、消失点位置は連結成分のわずかなノイズによって大きく変動するので、その分布範囲は広がり、最頻値は取りにくい。一方、同じく方向ベクトルがｘ軸方向に近いという理由から、そのｙｚ成分は連結成分のノイズに影響されにくく、その分布範囲も限られているため、安定的に最頻値を採ることができる。
【００４５】
ステップ１０７） 上記ステップ１０６で求められた最頻値を行方向の推定結果（行方向ベクトル）として出力する。
【００４６】
ステップ１０８） 上記ステップ１０５で求められた行方向の判定結果（縦／横判定結果）を出力する。
【００４７】
次に、変形パラメータ設定部１４の動作について詳述する。
【００４８】
変形パラメータ設定部１４では、行方向推定部１３で推定された行方向に基づいて、補正画像を得るための仮想的な投影面を設定し、撮影された画像データをこの面に投影するための透視変換パラメータを計算する。
【００４９】
図８は、本発明の実施の形態１に係る変形パラメータ設定部における仮想投影面の設定を説明するための図である。
【００５０】
同図に示すように、この投影面は、撮像面ｂのｙ軸方向に傾きが無いと仮定した被写体平面ａとする。つまり、推定された行方向ベクトルと撮像面ｃのｙ軸ベクトル（縦書きの場合はｘ軸）で張られる平面とする。また、仮想投影面ｃのｘ軸（縦書きの場合はｙ軸）は、行方向推定部１３で推定された行方向と一致させる。
【００５１】
前段の行方向推定部１３の推定処理が正しければ、この平面ｃは、被写体平面ａ上の行方向と平行である。よって、撮影画像データをこの面に投影すれば、被写体を行方向と平行な面に透視変換した場合と同じ画像が得られるので、投影画像上では行は水平に並ぶことになる。
【００５２】
撮影された画像データを仮想投影面ｃに投影するための透視変換パラメータは、撮像面座標から仮想投影面座標への座標変換行列Ｒを経由して、以下のように求める。
【００５３】
撮像面座標系のｘ軸、ｙ軸、ｚ軸方向の単位ベクトルとそれぞれｅｘ，ｅｙ，ｅｚ（推定された行方向ベクトルと一致させた）仮想投影面上のｘ軸向き単位ベクトルをｖｘとする。仮想平面の単位法線ベクトルｎと、仮想平面上の単位ｙ軸ベクトルｖｙはそれぞれ、
ｎ＝（ｅｙ×ｖｘ）／｜ｅｙ×ｖｘ｜
ｖｙ＝（ｎ×ｖｘ）
である。撮像面座標系の単位ベクトルは変換行列Ｒによって、
ｖｘ＝Ｒ ｅｘ
ｖｙ＝Ｒ ｅｙ
ｎ＝Ｒ ｅｚ
と変換されるので、
［ｖｘ，ｖｙ，ｎ］＝Ｒ［ｅｘ，ｅｙ，ｅｚ］
よって、変換行列Ｒは、
３×３行列 ［ｖｘ，ｖｙ，ｎ］
である。
【００５４】
上記で求められた変換行列Ｒは、撮像面座標系と下層的な投影面座標系の関係を示すものである。よって、変換行列Ｒを用いて、斉次座標表現での透視変換パラメータを、
【００５５】
【数１】

として求め、この行列を使って投影面への変換を実行する。但し、ｋは、補正画像の大きさを決める係数、ｆは焦点距離である。当該変換行列Ｒから透視変換パラメータを求める方法は、特願２０００−２４３３１１における回転行列Ｒを用いて透視変換パラメータを求める方法と同様である。
【００５６】
なお、上記の式の焦点距離ｆ及び、方向候補ベクトルを求めるための焦点距離について、実際に撮影に使用した値以外を使用しても、被写体面上の行を水平にするという効果は変わらない。但し、その場合、余分な補正が生じるため、カメラ内部で撮影に使用した値を検出して使用することが望ましい。
【００５７】
上記のようにして求められた変形パラメータを画像補正部１５に渡すことで、画像補正部１５は、画像メモリ１２から取得した画像データを変形パラメータを用いて補正し、被写体の各行が水平に並んだ画像データを生成することができる。
【００５８】
この後段の画像圧縮部１６等の処理は、前述の通りである。
【００５９】
［実施の形態２］
本実施の形態では、前述の実施の形態１において、撮影した画像データを変形パラメータを用いて補正した後、当該画像データを２値化してＯＣＲ処理（文字認識処理）を行う例を説明する。
【００６０】
ＯＣＲ処理する対象は通常は文書であるため、被写体に行構造が存在する可能性が非常に高い。それは、前述の実施の形態１で説明した補正処理にとって有利な条件である。
【００６１】
また、前述の実施の形態１のような補正処理を行うことにより、補正された画像データは、行方向が水平に揃うため、撮影画像そのものを利用する場合よりもＯＣＲ処理の精度を向上させることができる。一方、縦方向には歪が残り各行で文字の大きさが変化するが、通常、ＯＣＲ処理は文字の大きさの変化には対応できるので、このような画像は行により文字の大きさの変化する文書と同様に、問題なく処理できる。
【００６２】
図９は、本発明の実施の形態２に係る装置の構成を示す。同図において、実施の形態１の図２に示す構成と同一部分には同一符号を付し、その説明を省略する。
【００６３】
図９に示す装置は、図２の画像圧縮部１６を用いずに、２値化部２１とＯＣＲ部２２を設けた構成である。
【００６４】
２値化部２１では、画像補正部１５で補正された画像データを２値化し、ＯＣＲ部２２に渡す。
【００６５】
ＯＣＲ部２２では、補正され、２値化された画像データに対して文字認識処理を行い、処理結果を不揮発性メモリ１７に記録する。
【００６６】
これにより、１枚の撮影画像データだけを使って、歪を補正した後に、ＯＣＲ処理を行うため、カメラを使って簡単に誤認識率の低い正確なテキストデータを得ることができる。
【００６７】
［実施の形態３］
本実施の形態では、被写体を複数枚に分割して撮影された画像データに対して、前述の実施の形態２と同様に、画像データの補正及びＯＣＲ処理（文字認識処理）を行い、ＯＣＲ結果を利用して、分割された画像データの貼り合わせ合成処理を行う。
【００６８】
図１０（ａ）に示すように、紙面全体を含むように撮影した画像データであれば、当該画面内に、紙の上下・左右など２方向の平行線が写っている可能性が大きいが、文書画像を分割撮影して張り合わせ合成する場合、図１０（ｂ）に示すように、文字種以外に対応点探索の手掛かりがないことがある。そのような場合でも、ＯＣＲ結果の文字種を利用して対応点探索を行うことにより、正確な貼り合わせ処理を行うことができる。
【００６９】
図１１は、本発明の実施の形態３に係る装置の構成を示す。同図において、実施の形態１の図２及び実施の形態２の図９の構成と同一構成部分には同一符号を付し、その説明を省略する。
【００７０】
図１１に示す装置は、前述の実施の形態２の構成において、ＯＣＲ部２２の後段に貼り合わせ合成部２３を付加した構成である。
【００７１】
本実施の形態３において、ＯＣＲ部２２は、後段の貼り合わせ合成部２３の合成処理のため、処理結果として、各文字の種類と画像上の位置（ｘｙ座標値）を要素とする２次元配列を出力する。但し、このＯＣＲ部２２は、あおり補正処理後の画像データを対象に実行するので、ＯＣＲ部２２が出力する位置データは、あおり補正処理画像データ上の位置である。そのため、ＯＣＲ部２２は、画像補正部１５より入力された透視変換パラメータを用いて、対応位置にあおり補正の逆変換を施した結果を出力する。
【００７２】
図１２は、本発明の実施の形態３に係るＯＣＲ部の出力データを示す。同図に示すように、ＯＣＲ部２２は、文字コード、撮影された画像データ上のｘｙ座標値の組（位置データ）を要素とする、画像中の行構造を反映した２次元配列である。
【００７３】
貼り合わせ合成部２３は、ＯＣＲ部２２から取得した対応位置情報に基づいて、合成のための変形パラメータを算出し、画像メモリ１２から撮影された画像データを取得して画像データの合成を行う。但し、対応位置を探索するために、画像ブロックの相関ではなく、以下のようにＯＣＲ処理結果を利用する。
【００７４】
ここで、複数の画像データの対応位置を探索する動作を説明する。
【００７５】
図１３は、本発明の実施の形態３に係る貼り合わせ合成部における複数の画像データの対応位置探索処理のフローチャートである。
【００７６】
ステップ２０１） 貼り合わせ合成部２３は、画像メモリ１２から取得した第１の画像データから１行分の文字コード列を選択する。
【００７７】
ステップ２０２） 図１４に示すように、画像メモリ１２から取得した第２の画像データの全ての行について、開始位置をずらしながら、第１の画像データと第２の画像データの２行の文字コード列の内容が一致する文字数を求める。
【００７８】
ステップ２０３） ステップ２０２で求められた一致文字数が最大となる行及び、開始位置を求める。
【００７９】
ステップ２０４） ステップ２０３において、求められた開始位置での各文字を対応する文字と判定し、各文字の画像上での位置を対応位置として記録する。上記の処理により求められた対応位置データを近似する透視変換パラメータを求め、当該透視変換パラメータに基づいて画像データを合成する。
【００８０】
上記のように、本実施の形態３では、画像メモリ１２から画像データを取得してあおり補正処理を施した結果に対して合成処理を行うことにより、ぼけを生じる変形処理を２回かけるよりも、あおり補正と合成処理に必要な変形を纏めて１回の変形処理で済むため、ぼけが少なく高画質な結果を得ることができる。
【００８１】
また、文字画像のように細かい濃淡構造が多く含まれる画像データを使ったマッチングで発生する傾きやノイズによる誤対応を、先にＯＣＲ処理による対応点探索を行うことで削減することができる。
【００８２】
なお、上記の実施の形態１〜３までの画像処理装置は、デジタルカメラとして一つの筐体に収容し、上記の画像処理装置の各構成要素をプログラムとして構築して小型記録媒体に格納して、デジタルカメラに装着し、当該プログラムをデジタルカメラに実行させることにより、デジタルカメラに上記の画像処理の機能を持たせることが可能となる。
【００８３】
［実施の形態４］
本実施の形態４では、実施の形態１〜３で適用された補正機能等を持たない通常のデジタルカメラを使用し、撮影した画像データをカメラ外部の計算機に取り込んだ後、その計算機上で動作するソフトウェアで前述の実施の形態３と同等の処理を行うものである。
【００８４】
図１５は、本発明の実施の形態４に係るシステム構成を示す。
【００８５】
同図に示すシステムは、ＣＰＵ３１、メモリ３２、ディスク装置３３、ディスプレイ３４、プリンタ３５、通信装置３６、フロッピーディスク装置３７及びデジタルカメラ４０から構成され、通信装置３６とデジタルカメラ４０は通信等または、接続機器等により接続されている。
【００８６】
前述の実施の形態３の装置構成のうち、行方向推定部１３、変形パラメータ設定部１４、画像補正部１５、二値化部２１、ＯＣＲ部２２、貼り合わせ合成部２３の各機能をソフトウェアとして構築し、記憶媒体（メモリ３２、ディスク装置３３、または、フロッピーディスク装置３７のいずれか）に格納しておき、デジタルカメラ４０で撮影された画像データを通信装置３６を介して取得して、記憶媒体（メモリ３２、ディスク装置３３、または、フロッピーディスク装置３７のいずれか）に格納する。
【００８７】
図１６は、本発明の実施の形態４に係るシステムにおける動作を示すフローチャートである。
【００８８】
ステップ４０１） ＣＰＵ３１は、画像データを格納した記憶媒体から画像データを入力する。
【００８９】
ステップ４０２） ＣＰＵ３１は、ソフトウェアを格納した記憶媒体から上記の機能を有するソフトウェアを起動させ、前述の実施の形態３の行方向推定部１３と同様に、行方向推定処理を行う。
【００９０】
ステップ４０３） ＣＰＵ３１は、前述の実施の形態３の変形パラメータ設定部１４と同様に、変形パラメータの設定を行う。
【００９１】
ステップ４０４） ＣＰＵ３１は、前述の実施の形態３の画像補正部１５と同様に画像データの補正処理を行う。
【００９２】
ステップ４０５） ＣＰＵ３１は、前述の実施の形態３の二値化部２１と同様に、補正された画像データを２値化する処理を行う。
【００９３】
ステップ４０６） ＣＰＵ３１は、前述の実施の形態３のＯＣＲ部２２と同様に各文字の種類と画像データ上の位置を求める処理を行う。
【００９４】
ステップ４０７） ＣＰＵ３１は、前述の実施の形態３の張り合わせ合成部２３と同様に、対応位置情報に基づいて、合成のための変形パラメータを算出し、画像データの合成を行う。
【００９５】
ステップ４０８） ＣＰＵ３１は、合成された画像データをディスプレイ３４に表示したり、または、記憶媒体（メモリ３２、ディスク装置３３、または、フロッピーディスク装置３７のいずれか）に記録する等の出力処理を行う。
【００９６】
なお、上記の全ての実施形態に係る画像処理装置の各構成要素は、コンピュータプログラムにより記述可能である。従って、当該プログラムをＣＤ−ＲＯＭやフロッピーディスク等のコンピュータ読み取り可能な記憶媒体に格納し、本発明を実施するコンピュータに装着し、当該プログラムをコンピュータにインストールすることにより容易に本発明の画像処理を実現することができる。
【００９７】
なお、本発明は、上記の実施の形態の例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【００９８】
【発明の効果】
上述のように、本発明に係る画像処理装置によれば、文書をデジタルカメラで撮影した一枚の画像データから、場所によって異なる方向を有する被写体（文書）の行方向を、透視変換により補正することにより、容易に読みやすい文書の画像データを得ることができる。
【００９９】
また、画像データの連結成分を抽出し、当該連結成分の位置と方向から複数の方向の候補を求め、当該方向候補を平面に投影し、平面上のヒストグラムをとることにより、連結成分のノイズに影響されにくく、安定的な文書の行方向を検出することが可能である。
【０１００】
また、被写体文書が横書きか縦書きかを判定すると共に、撮影時のカメラの配置が縦位置か横位置に関わらず、行方向を水平または、垂直に揃える補正することにより読みやすい画像データを生成することができる。
【０１０１】
また、方向を検出し、文字認識を行うことにより、ユーザは、撮影方向を意識することなく、文書をデジタルカメラで撮影するだけでよく、ユーザの撮影時の負担を軽減することができる。
【０１０２】
また、文字認識により取得した文字の種類と位置から求められた変形パラメータを用いて撮影された複数の画像データを貼り合わせることにより、ユーザの撮影方向などの指示を必要とせず、正確な画像データの合成を行うことができる。さらに、デジタルカメラ自体に行方向の検出、画像データの方向の補正、文字認識や合成処理等の機能を備えていなくても、これらの機能をコンピュータに搭載させることにより、一般的な構成のデジタルカメラを用いてもこれらの画像処理を実行することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像データの補正の概要を説明するための図である。
【図２】本発明の実施の形態１に係る装置の構成図である。
【図３】本発明の実施の形態１に係る行方向推定部における被写体面上の行方向の推定動作を説明するための図である。
【図４】本発明の実施の形態１に係る行方向推定部の動作のフローチャートである。
【図５】本発明の実施の形態１に係る行方向推定部における連結成分抽出時の例である。
【図６】本発明の実施の形態１に係る行方向推定部における被写体面上の平行線と消失点ベクトルを説明するための図である。
【図７】本発明の実施の形態１に係る行方向推定部における商品点位置とベクトルの変動を説明するための図である。
【図８】本発明の実施の形態１に係る変形パラメータ設定部における仮想投影面の設定を説明するための図である。
【図９】本発明の実施の形態２に係る装置の構成図である。
【図１０】本発明の実施の形態３に係る撮像された画像データの例である。
【図１１】本発明の実施の形態３に係る装置の構成図である。
【図１２】本発明の実施の形態３に係るＯＣＲ部の出力データである。
【図１３】本発明の実施の形態３の張り合わせ合成部における複数の画像データの対応位置探索処理のフローチャートである。
【図１４】本発明の実施の形態３におけるＯＣＲ処理結果の対応探索を説明するための図である。
【図１５】本発明の実施の形態４に係るシステム構成図である。
【図１６】本発明の実施の形態４に係るシステムにおける動作のフローチャートである。
【図１７】被写体面上の行方向判定ブロック図である。
【符号の説明】
１１ 画像撮影部
１２ 画像メモリ
１３ 行方向推定部
１４ 変形パラメータ設定部
１５ 画像補正部
１６ 画像圧縮部
１７ 不揮発性メモリ
１８ ＣＰＵ
１９ インタフェース回路
２０ ＬＣＤパネル
２１ 二値化部
２２ ＯＣＲ部
２３ 張り合わせ合成部
３１ ＣＰＵ
３２ メモリ
３３ ディスク装置
３４ ディスプレイ
３５ プリンタ
３６ 通信装置
３７ フロッピーディスク装置
４０ デジタルカメラ

Claims (4)

1. 被写体を撮影し、撮影された画像から読み易い画像データを生成する画像処理装置であって、
   平面状の被写体を撮影して画像データを生成する撮影データ生成手段と、
   前記画像データ生成手段で生成された一枚の画像データから前記被写体面の一方向を検出する方向検出手段と、
   前記方向検出手段で検出された前記被写体面上の一方向に対応する画像上の直線群が一定の方向を向くように、計算された透視変換パラメータを利用して前記画像データを補正する画像データ補正手段と、を有し、
   前記方向検出手段は、
   連結成分の位置と傾きから２つの連結成分の交点の位置を求め、光学中心から該交点へのベクトルを方向候補とする手段と、
   前記連結成分毎の傾きが水平または垂直のどちらに近いかをカウントし、水平に近いカウントの方が多い場合は、横書きと判定し、垂直に近いカウントの方が多い場合は、縦書きと判定する手段と、
   前記方向候補についてヒストグラムを作成し、横書きの場合はｘ成分１に正規化した方向ベクトルのｙｚ成分を用い、縦書きの場合はｙ成分を正規化したｘｚ成分を用いて方向を求める手段と、
   を含むことを特徴とする画像処理装置。
2. 前記画像データ補正手段に代えて、前記方向検出手段で検出された前記被写体面上の一方向に基づいて、前記画像データを認識する文字認識手段を
   有する請求項１記載の画像処理装置。
3. 前記撮影データ生成手段は、
   前記平面状の被写体を複数回撮影する手段を含み、
   前記文字認識手段で認識された文字の種類と位置から変形パラメータを算出する変形パラメータ算出手段と、
   前記変形パラメータ算出手段で求められた変形パラメータを用いて、撮影された複数の前記画像データを合成する合成手段と、を
   更に有する請求項２記載の画像処理装置。
4. 前記撮影データ生成手段の代えて、撮影手段で撮影された画像データを取得する画像取得手段を有し、
   前記文字認識手段で認識された文字の種類と位置から変形パラメータを算出する変形パラメータ算出手段と、
   前記変形パラメータ算出手段で求められた変形パラメータを用いて、撮影された複数の前記画像データを合成する合成手段と、を
   更に有する請求項２記載の画像処理装置。

Images