JP4010754B2 - 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置と画像処理方法及びコンピュータ記録媒体に関し、さらに詳しくは、撮像状態によらず適正な画像を得るための画像処理装置と画像処理方法、及び該方法を実現するためのプログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
コンピュータネットワークの急速な進歩と共にビジネスのあり方も多様化し、あらゆる局面で重要な情報を素早く取得する必要が生じている。それに伴い、至る所で携帯型の入力装置を駆使してビジネスに必要な文書情報を簡便かつ高精細に入力することへの要求が高まっている。特に、デジタルスチルカメラの急速な普及及びその高解像化に伴い、撮影した画像に加工処理を施すことにより、仕事や娯楽に有効な電子情報として活用しようという応用例も見られるようになった。
【０００３】
代表的な第一の応用例としては、Ａ４紙面や大型のポスター等の被写体面を撮影するとき、撮像面と被写体面が平行でない状態で撮影した場合には、画像の歪み（これを「あおり歪み」ともいう。）が生じるが、これを補正することによって取得した文書画像情報の判読性を向上させる技術がある。そして、このような技術に関しては特開平３−９４３８３号公報において、既知の想定された固定形状内に入力画像を配置して該固定形状の歪み方を調べることにより、本来の被写体面上での形状に合致させるための変換パラメータを発見し、あおり歪みを補正するという技術が開示されている。
【０００４】
しかしながら、この技術では撮影対象を形状が既に知られた固定図形内に配置させる必要があり、また該固定図形に対するデータを予め得ておく必要もある。
【０００５】
また、特開平５−１０１２２１号公報においては、被写体面に直交格子を導入して各格子点の空間座標を求め、撮像面に設けられた座標系に直交変換を施して射影することにより、画像歪みを補正するという技術が開示されている。しかしながら、このような技術においては、上記各格子点の２次元座標を手動で入力する必要があるため、簡便な操作により被写体面を撮影するのは困難である。
【０００６】
また、特開平６−１９７２６１号公報においては、被写体像の輪郭を検出して得られた輪郭情報からあおり歪みに対する補正量を算出した上で補正処理を行い、該補正処理後の画像に対して最大補間量分を間引くような画像処理を行うことにより、画質を均一にするという技術が開示されている。しかしながら、上記のような処理においては被写体の縦横比を考慮することなく、例えば台形の被写体像を横方向に引き伸ばして長方形に変換するので、得られる被写体像は本来の被写体と相似でない図形に変形されるという問題がある。
【０００７】
また、特開平９−２８９６００号公報においては、カメラの撮像面と被写体面とのなす傾斜角を入力する角度設定手段と、被写体までの距離を測定する測距手段とを備え、角度設定手段へ傾斜角を入力した状態で被写体を撮影することにより、上記傾斜角と測距手段で検出された被写体距離に基づいて被写体を正面から見た画像に補正するという技術が開示されている。しかしながら、このような技術において上記傾斜角を正確に手動で入力するのは非常に困難であり、その結果高い精度で画像のあおり歪みを補正することは困難となる。
【０００８】
また、特開平１１−９８４８５号公報においては、回転軸に固定されたカメラの方向に関する情報に基づいて、撮影対象の幾何形状が正しく再現されるように画像のあおり歪みを補正するという技術が開示されている。しかし、この技術においてはカメラを回転軸に固定する必要があるため装置規模が増大し、利用者による撮影の自由度が低下するという問題がある。
【０００９】
また、特開平１１−２３８１２３号公報においては、撮像により得られた画像が表示されるディスプレイ画面上で、画像要素及び画像要素間の関係を指示することにより、該画像のあおり歪みを補正する方法等が開示されている。しかし、この方法では被写体面の法線ベクトルと底辺とにより作られる平面と、撮像板の底辺とが平行である状態において被写体を撮影した場合以外には、あおり歪みを正確に補正することができず、限定された撮影条件下でのみしか該方法を適用できないという問題がある。
【００１０】
また、第二の応用例としては、携帯可能な画像入力装置で新聞紙等の大面積の紙面情報やパネルや壁に描かれた絵柄等を分割撮影して、得られた複数枚の画像を貼り合わせることにより１枚の合成画像を作成するものがある。すなわち、ＣＣＤ（Charge Coupled Device）に代表される撮像素子の画素数が増加するに伴い、デジタルカメラの解像度は近年向上しているが、上記のように細かいパターンを有する被写体、すなわち高い周波数成分を含む被写体を撮影して電子化するにはまだまだ解像度が不足する。従って、画像を貼り合わせることにより擬似的に高精細画像を作成して、デジタルカメラの解像度不足を補うというアプローチがなされている。
【００１１】
このような応用例は、被写体が平面状とみなせる場合にアフィン変換や射影変換のような幾何補正式を用いて、被写体の一部分を分割撮影した画像を貼り合わせる技術であり、各分割画像の被写体像を基準となる画像における被写体の見え方に変換して貼り合わせるというものである。なお、このような技術の概要は文献『コンピュータビジョン−技術評論と将来展望−』（松山隆司ほか、新技術コミュニケーションズ）に記載されている。
【００１２】
しかしながら、このような応用例において、基準となる画像において被写体像にあおり歪みが生じていた場合には、貼り合わせた合成画像においてもあおり歪みが含まれてしまうという問題がある。この問題について図１を参照しつつ説明する。なお、図中ｆは撮影装置に含まれた光学系の焦点距離を示す。
【００１３】
図１に示されるように、例えば被写体面１を位置Ｐ１と位置Ｐ２から撮影することによって得られた二つの画像を合成する場合を考える。ここで、位置Ｐ２から撮影して得られた分割画像７は、位置Ｐ１からの撮影において基準とされる画像面３を引き伸ばした面に写像すると被写体像５となる。従って図１に示されるように、分割画像７は被写体像５として、画像面３上において位置Ｐ１から撮影された画像と合成される。そして、このようにして得られた合成画像は、基準となる画像面が拡大される広画角の光学系を用いて被写体面１を撮影した画像と等価なものとなる。
【００１４】
従って、上記のように作成された合成画像では、被写体に対する遠近効果が通常の撮影で得られる画像よりも大きくなるため、より大きなあおり歪みが生じやすいという問題がある。
【００１５】
【発明が解決しようとする課題】
本発明は、上述の問題を解消するためになされたもので、撮影条件によらず簡易に適正な画像を得ることができる画像処理装置と画像処理方法及び該方法を実現するためのプログラムを記録した記録媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記の目的は、被写体面を撮影することにより得られる画像のあおり歪みを補正する画像処理装置であって、互いに平行な２つのパターンを含む平行パターン対を少なくとも 2 つ含む被写体面が撮像された入力画像を入力する入力部と、前記入力画像における、２つの前記平行パターン対の投写像である画像パターン対を検出する平行パターン検出部と、
前記２つの画像パターン対に基づいて前記入力画像のあおり歪みを補正する画像歪み補正部とを具備し、前記平行パターン検出部は、前記入力画像における、２つの前記画像パターン対の入力を受け付け又は検出し、さらに、前記画像パターン対を投写像とする前記２つの平行パターン対が前記被写体面においてなす角度の入力を受け付け、前記画像歪み補正部は、前記２つの画像パターン対の各々について、該画像パターン対を構成するパターンの交点である消失点の座標を検出する消失点検出手段と、前記２つの消失点の座標と前記入力された角度とに基づいて、前記入力画像が撮影された光学系における焦点距離を算出する焦点距離算出手段と、前記２つの消失点の座標と前記焦点距離とに基づいて、前記入力画像が有するあおり歪みを補正する補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータに基づいて、前記入力画像のあおり歪みを補正した補正画像を生成する生成手段と、を具備することを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、様々な撮影条件において撮影されることにより生じた画像の歪みを、簡易な構成を有する画像処理装置により補正することができる。
【００１７】
また、本発明の画像処理装置によれば、様々な撮影条件において撮影されることにより生じた画像の歪みを、簡易な構成を有する画像処理装置により確実に補正することができる。
【００１８】
また、ここで画像補正手段は、被写体を撮影した光学系の画像パラメータ及び消失点を用いることによって、変換行列を算出するものとすれば、補正後の画像を被写体の表面に描かれた原像と相似なものとすることができる。
【００１９】
また、画像補正手段は、被写体を部分的に撮影することにより得られた複数の画像がつなぎ合わされることにより生成された合成画像を入力する場合には、合成画像の作成の際に基準とされた画像を撮影した光学系の画像パラメータ及び消失点を用いることにより、変換行列を算出するものとすることができる。このような手段によれば、あおり歪みが生じ易い合成画像に対して、簡易な構成を有する画像処理装置により該歪みを補正することができる。なお、上記画像パラメータは、光学系における焦点距離を含むものとすることができる。
【００２０】
また、画像補正手段は、少なくとも二組の線分が被写体上でなす角度及び消失点を用いて変換行列を算出するものとすれば、被写体を撮影した光学系の焦点距離が未知の場合においても、該歪みを高精度に補正することができる。
【００２１】
また、画像補正手段は、一組の線分における座標変換後の方向がユーザにより指定された場合には、方向に応じて変換行列を算出するものとすることができる。このような手段によれば、歪みが補正された画像の向きを画像面内において自由に変更することができる。
【００２２】
また、本発明の目的は、被写体面を撮影することにより得られる画像のあおり歪みを補正する画像処理方法であって、互いに平行な２つのパターンを含む平行パターン対を少なくとも 2 つ含む被写体面が撮像された入力画像を入力する入力ステップと、前記入力画像における、２つの前記平行パターン対の投写像である画像パターン対を検出する平行パターン検出ステップと、前記２つの画像パターン対に基づいて前記入力画像のあおり歪みを補正する画像歪み補正ステップとを具備し、前記平行パターン検出ステップは、前記入力画像における、２つの前記画像パターン対の入力を受け付け又は検出し、さらに、前記画像パターン対を投写像とする前記２つの平行パターン対が前記被写体面においてなす角度の入力を受け付け、前記画像歪み補正ステップは、前記２つの画像パターン対の各々について、該画像パターン対を構成するパターンの交点である消失点の座標を検出する消失点検出ステップと、前記２つの消失点の座標と前記入力された角度とに基づいて、前記被写体面が撮影された光学系における焦点距離を算出する焦点距離算出ステップと、前記２つの消失点の座標と前記焦点距離とに基づいて、前記入力画像が有するあおり歪みを補正する補正パラメータを算出する補正パラメータ算出ステップと、前記補正パラメータに基づいて、前記入力画像のあおり歪みを補正した補正画像を生成する生成ステップと、を具備することを特徴とする画像処理方法を提供することにより達成される。このような手段によれば、様々な撮影条件において撮影されることにより生じた画像の歪みを、簡易な画像処理により補正することができる。
【００２３】
また、本発明の目的は、被写体を撮影することにより得られる画像の歪みを補正する画像処理方法であって、画像から抽出された少なくとも二組の線分をそれぞれ外挿することによって少なくとも二つの消失点を算出する第一のステップと、少なくとも二つの消失点を用いて変換行列を求める第二のステップと、変換行列により、画像を構成する各点を座標変換する第三のステップとを有することを特徴とする画像処理方法を提供することにより達成される。このような手段によれば、様々な撮影条件において撮影されることにより生じた画像の歪みを、簡易な画像処理により確実に補正することができる。
【００２４】
また、第二のステップでは、被写体を撮影した光学系の画像パラメータ及び消失点を用いることによって、変換行列を算出することとすれば、容易に補正後の画像を被写体の表面に描かれた原像と相似なものとすることができる。
【００２５】
また、被写体を部分的に撮影することにより得られた複数の画像がつなぎ合わされることにより生成された合成画像を画像処理する場合には、第二のステップにおいて、合成画像の作成の際に基準とされた画像を撮影した光学系の画像パラメータ及び消失点を用いることにより変換行列を算出することとすれば、あおり歪みが生じ易い合成画像に対して、簡易な画像処理により該歪みを補正することができる。なお、上記画像パラメータは、光学系における焦点距離を含むものとすることができる。
【００２６】
また、第二のステップでは、少なくとも二組の線分が被写体上でなす角度及び消失点を用いて変換行列を算出することとすれば、被写体を撮影した光学系の焦点距離が未知の場合においても、該歪みを高精度に補正することができる。
【００２７】
また、一組の線分における座標変換後の方向がユーザにより指定された場合には、第二のステップにおいて、方向に応じて変換行列を算出することとすれば、歪みが補正された画像の向きを画像面内において容易に変更することができる。
【００２８】
また、本発明の目的は、被写体を撮影することにより得られる画像の歪みをコンピュータによる画像処理により補正するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、コンピュータに対して、画像から抽出された対向する少なくとも二組の線分をそれぞれ外挿することによって得られる少なくとも二つの交点を算出させ、少なくとも二つの交点を用いて変換行列を求めさせ、画像を構成する各点を変換行列により座標変換させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。このような手段によれば、上記プログラムをコンピュータに実行させることによって、様々な撮影条件において撮影されることにより生じた画像の歪みを、簡易な画像処理により補正することができる。
【００２９】
また、本発明の目的は、コンピュータに本発明の画像処理方法を実行させるプログラムを格納したコンピュータ読取可能な記録媒体を提供することにより達成される。このような手段によれば、上記プログラムをコンピュータに実行させることによって、様々な撮影条件において撮影されることにより生じた画像の歪みを、簡易な画像処理により確実に補正することができる。
【００３０】
【発明の実施の形態】
以下において、本発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
【００３１】
一般的に、被写体面においては、互いに向かい合う境界線の組や、同一方向に描かれた罫線の組、あるいは互いに平行な向きに並んでいる文字列の組等のように、相互に平行な直線状パターンが存在することが多い。以下においては、このような被写体面における平行な直線状パターンの組を「平行パターン対」と呼ぶことにする。
【００３２】
また、上記平行パターン対は、縦及び横方向の両方向に存在することが多い。すなわち、一の被写体面において２組の平行パターン対が存在することが頻繁にある。ここで、この２組の平行パターン対を画像に投影した場合の歪み方と、被写体面と撮像面の相対的な向きとの間には、ある代数的な関係が成立する。従って、平行パターン対を画像に投影して形成される像（以下「画像パターン対」と呼ぶ）を２組以上入力又は検出することができれば、被写体面と撮像面の相対的な向きを計算により求め、それに基づいてあおり歪み補正を行うことができる。
【００３３】
本発明は、このような原理に基づいて上記目的を達成するものである。すなわち、本発明の実施の形態に係る画像処理装置２によれば、例えば図２（ａ）に示されるように、「ＡＢＣ」という文字が書かれた被写体面１を該被写体面１に対して傾いた方向から撮影した場合であっても、あおり歪みを有する画像４ではなく、図２（ｂ）に示される歪みが補正された画像６を得ることができる。なお以下においては、説明を簡単にするために、撮影する平面状の被写体の形状は矩形であると仮定する。
【００３４】
図３は、本発明の実施の形態に係る画像処理装置の基本構成を示すブロック図である。図３に示されるように、本実施の形態に係る画像処理装置は、中央演算処理装置（ＣＰＵ）１１と、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）１２と、ハードディスクドライブ（ＨＤＤ）１３と、入力インタフェース（入力Ｉ／Ｆ）１４と、電源１５と、表示インタフェース（表示Ｉ／Ｆ）１６と、記録装置１７と、外部インタフェース（外部Ｉ／Ｆ）１８と、ディスプレイ１９と、バスＢＵＳとを備える。
【００３５】
ここで、ＣＰＵ１１と、ＳＤＲＡＭ１２と、ＨＤＤ１３と、入力Ｉ／Ｆ１４と、電源１５と、表示Ｉ／Ｆ１６と、記録装置１７と、外部Ｉ／Ｆ１８は、共にバスＢＵＳに接続される。また、ディスプレイ１９は表示Ｉ／Ｆ１６に接続される。
【００３６】
上記において、入力Ｉ／Ｆ１４は、マウス等のポインティングデバイスやキーボード、ボタンなどからなり、ディスプレイ１９はＣＲＴなどからなる。また、記録装置１７はＣＤ−ＲＷ（Compact Disk ReWritable）ドライブ等により構成され、外部Ｉ／Ｆ１８はデジタルカメラやプリンタ等の外部機器やインターネットなどの電気通信回線に対して、有線又は無線接続するために使用される。
【００３７】
また、ＳＤＲＡＭ１２はＣＰＵ１１の作業領域として利用され、以下に説明する画像処理方法を実行するための処理プログラムや、その他の制御プログラムなどの固定情報が記憶される。そして、該処理プログラムは例えば記録装置１７を介してＳＤＲＡＭ１２にロードされ、又はＨＤＤ１３に一旦保存された後であって必要なときにＳＤＲＡＭ１２にロードされ、あるいは外部Ｉ／Ｆ１８に接続された電気通信回線を介してＳＤＲＡＭ１２にロードされる。
【００３８】
一方、画像処理の対象とされる画像信号は、記録装置１７又は外部Ｉ／Ｆ１８に接続されたデジタルカメラなどのデバイス若しくは電気通信回線から供給される。
【００３９】
図４は、本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。図４に示されるように、本実施の形態に係るデジタルカメラは、ＣＰＵ１１と、ＳＤＲＡＭ１２と、入力インタフェース（入力Ｉ／Ｆ）１４と、電源１５と、表示インタフェース（表示Ｉ／Ｆ）１６と、記録装置１７と、外部インタフェース（外部Ｉ／Ｆ）１８と、ディスプレイ１９と、読み出し専用メモリ（ＲＯＭ）２０と、レンズ２１と、絞り機構２２と、シャッタ２３と、光電変換素子２４と、駆動部２５と、前処理回路２６と、モータ駆動部２７と、液晶ディスプレイ（ＬＣＤ）２８とを備える。
【００４０】
ここで、ＣＰＵ１１とＳＤＲＡＭ１２、入力Ｉ／Ｆ１４、電源１５、表示Ｉ／Ｆ１６、記録装置１７、外部Ｉ／Ｆ１８、ＲＯＭ２０、前処理回路２６、及びモータ駆動部２７はバスＢＵＳに接続され、レンズ２１と絞り機構２２及びシャッタ２３はモータ駆動部２７に接続される。また、光電変換素子２４及び前処理回路２６は共に駆動部２５に接続され、ＬＣＤ２８は表示Ｉ／Ｆ１６に接続される。
【００４１】
このような構成を有するデジタルカメラにおいては、入力Ｉ／Ｆ１４はペン等のポインティングデバイスやカメラ本体に設置されたボタン等からなり、光電変換素子２４はＣＣＤ等からなる。
【００４２】
また、駆動部２５は光電変換素子２４を制御すると共に、光電変換素子２４により得られた画像信号に対して、プリアンプやＡＧＣ（Auto Gain Control）回路等により増幅やクランプ等のアナログ信号処理を施し、アナログ−デジタル（Ａ／Ｄ）変換器により該変換を実行する。また、前処理回路２６は、駆動部２５で生成されたデジタル信号に対して自動ホワイトバランス（Automatic White Balance −ＡＷＢ）や、エッジ強調、γ補正等の前処理を施すと共に、画像圧縮／伸長処理を実行する。
【００４３】
また、モータ駆動部２７は被写体の撮像に際し、フォーカスやズーム、アイリス、シャッタースピード等を制御するため、レンズ２１や絞り機構２２、シャッター２３を駆動する。そして、ＲＯＭ２０はＣＰＵ１１の作業領域として利用されると共に、以下に説明する画像処理方法を実行するための処理プログラムを記憶する。また、ＳＤＲＡＭ１２はＣＰＵ１１の作業領域として利用されると共に、以下に説明する画像処理方法を実行するための処理プログラムやその他の制御プログラムなどの固定情報を記憶する。ここで、該処理プログラムは、例えばＲＯＭ２０に予め格納され、又は記録装置１７を介してＳＤＲＡＭ１２にロードされ、又は外部Ｉ／Ｆ１８に接続された電気通信回線を介してＳＤＲＡＭ１２にロードされる。一方、上記制御プログラムは、例えばＲＯＭ２０に予め格納される。
【００４４】
以下において、本実施の形態に係る画像処理装置と画像処理方法についてより詳しく説明する。
［実施の形態１］
図５は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図５に示されるように、実施の形態１に係る画像処理装置は、撮像部３１と、信号処理部３２と、メモリ制御部３３と、主制御部３４と、フレームメモリ３５と、インタフェース（Ｉ／Ｆ）３６と、表示部３７と、外部記憶部３８と、平行パターン検出部３９と、画像歪み補正部４０とを備える。
【００４５】
ここで、撮像部３１は信号処理部３２に接続され、信号処理部３２はメモリ制御部３３と主制御部３４及びインタフェース３６に接続され、フレームメモリ３５はメモリ制御部３３に接続される。また、平行バターン検出部３９は主制御部３４とメモリ制御部３３及びフレームメモリ３５に接続され、画像歪み補正部４０は平行パターン検出部３９とフレームメモリ３５に接続される。
【００４６】
また、表示部３７及び外部記憶部３８はインタフェース３６に接続される。以下において、図５に示された実施の形態１に係る画像処理装置と図３及び図４に示された実施の形態との対応関係について説明する。
【００４７】
図５に示された撮像部３１には図４に示されたレンズ２１と絞り機構２２、シャッタ２３、光電変換素子２４、駆動部２５、及び前処理回路２６が含まれ、信号処理部３２及びメモリ制御部３３はＣＰＵ１１により構成される。また、主制御部３４はＣＰＵ１１とＲＯＭ２０により構成され、フレームメモリ３５はＳＤＲＡＭ１２により構成される。そして、インタフェース３６は表示Ｉ／Ｆ１６と外部Ｉ／Ｆ１８を含み、表示部３７はディスプレイ１９又はＬＣＤ２８により構成される。
【００４８】
また、外部記憶部３８はＨＤＤ１３又は記録装置１７により構成され、より具体的にはＣＤ−ＲＷや光磁気ディスクなどが使用できるが、モデムカード等を利用することにより電気通信回線を介して画像信号を直接遠隔地の記録媒体に送信できるようにしても良い。
【００４９】
また、平行パターン検出部３９及び画像歪み補正部４０は、ＣＰＵ１１と入力Ｉ／Ｆ１４により構成される。
【００５０】
そして、上記のような構成を有する画像処理装置において、信号処理部３２は撮像部３１で撮像され又はインタフェース３６を介して外部から入力された画像に対して所定の処理を施す。また、主制御部３４は画像処理装置を構成する各部を集中的に制御し、フレームメモリ３５はメモリ制御部３３の命令により画像信号を蓄積する。また、表示部３７はインタフェース３６を介して供給された画像信号を表示し、外部記憶部３８はインタフェース３６を介して画像信号等の種々の信号を読み書きする。
【００５１】
以下において、図５に示された各部の動作を具体的に説明する。まず信号処理部３２は供給された画像信号に対して圧縮や伸長、色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。また、メモリ制御部３３は信号処理部３２において処理された画像信号をフレームメモリ３５に格納したり、その逆にフレームメモリ３５に格納された画像信号を読み出す。そして、この場合にはフレームメモリ３５から読み出された画像信号は、信号処理部３２において圧縮などが施されたのちインタフェース３６を介して外部記憶部３８に保存される。
【００５２】
また、外部記憶部３８に記憶された画像信号を読み出す場合は、まずインタフェース３６を介して信号処理部３２に画像信号が供給され、信号処理部３２において画像伸長が施される。一方、外部記憶部３８及びフレームメモリ３５から読み出された画像信号を表示する場合は、まず読み出された該信号が信号処理部３２においてデジタル−アナログ変換（Ｄ／Ａ変換）され、増幅などの信号処理がなされる。そして、該処理がなされた信号は、インタフェース３６を介して表示部３７に送信される。
【００５３】
また、平行パターン検出部３９は、被写体面における平行パターン対の投影像である画像パターン対を、少なくとも二組入力または検出するが、この動作については後に詳しく説明する。また、画像歪み補正部４０は、フレームメモリ３５に記憶された画像における被写体像のあおり歪みを補正するが、この動作についても後に詳しく説明する。
【００５４】
次に、図５に示された画像処理装置における動作を、図６に示されたフローチャートを参照しつつ説明する。まず、ステップＳ１において、信号処理部３２は撮像部３１により撮影された被写体面の画像、あるいは予め別途撮影されインタフェース３６を介して供給された画像を入力する。
【００５５】
そして、ステップＳ２において、平行パターン検出部３９は、被写体面上における平行パターン対の画像への投影像である画像パターン対を入力又は検出する。なお、各画像パターン対は２つの線状パターンにより構成されている。
【００５６】
以下において、平行パターン検出部３９について詳しく説明する。図７は、図５に示された平行パターン検出部の構成及び動作を説明する図である。図７に示されるように、平行パターン検出部３９は表示部３７の表面に設置された透明タッチパネル３９１と、画像パターン対を指定するポインティングデバイス３９２により構成される。
【００５７】
そして、表示部３７において「平行パターン入力」という文字がオーバレイ表示されると、ユーザは表示部３７に表示された画像上に存在する線状パターンを指定することにより、画像パターン対を二組入力する。具体的には、表示部３７において、ユーザに対し一組目の画像パターン対を入力するよう指示されると、該ユーザはポインティングデバイス３９２を用いて第一の線状パターンの始点位置を指定する。すると、表示部３７に十字型のポインタ及び「１−１」という字が表示され、第一の線状パターンの始点が入力されたことがユーザに通知される。
【００５８】
続いて、第一の線状パターンの終点を指定すると、表示部３７上に十字型のポインタ及び「１−２」という字が表示され、第一の線状パターンの終点が入力されたことがユーザに通知される。
【００５９】
これにより、図７に示されるように、「１−１」及び「１−２」と表示された二つのポインタを結ぶ直線３９３ａが、上記第一の線状パターンとして平行パターン検出部３９に記憶される。同様に、ユーザは第二の線状パターンの始点と終点をポインティングデバイス３９２で指定することにより、「２−１」及び「２−２」と表示された二つのポインタを結ぶ直線３９３ｂが、上記第二の線状パターンとして平行パターン検出部３９に記憶される。
【００６０】
以上より、第一及び第二の線状パターンからなる一組の画像パターン対の平行パターン検出部３９に対する入力が完了される。そして、同様な動作により、二組目以降の画像パターン対が平行パターン検出部３９に入力される。
【００６１】
また、図５に示された平行パターン検出部３９は、以下のように文字列上の一点をユーザが指定することによって、該文字列を構成する線状パターンを順次記憶するものとしても良い。すなわち、このような平行パターン検出部３９は、図８に示されるように、ユーザがポインティングデバイス３９２により表示部３７に示された文字列などの線状パターン付近を指定したとき、該指定された点付近の線状パターンを自動検出して第一の線状パターンを示す直線３９３ａを表示する。なおこのとき、図８に示されるように、直線３９３ａの周辺に「１」という数字が表示され、第一の線状パターンの入力が完了したことがユーザに通知される。
【００６２】
ここで、線状パターンの自動検出方法について簡単に説明する。線状パターンが直線である場合には、例えば画像にソベル（Sobel）フィルタ等の微分オペレータを施す。これにより、微分値がしきい値より大きな部分は白色、小さな部分は黒色で示されるエッジ画像を生成し、該エッジ画像において、指定された点付近のエッジセグメントを統合することにより該直線が自動検出される。
【００６３】
そして、線状パターンが文字列である場合には、例えば特許第２８９５１２２号公報に示されるような矩形の局所的統合処理によって、指定された点付近の行又は列を切り出し、文字列を自動検出することができる。
【００６４】
また、図８に示されるように、ユーザが第二の線状パターン付近の点をポインティングデバイス３９２により指定すると、第二の線状パターンを示す直線３９３ｂ及び「２」という数字が表示され、第二の線状パターンが入力されたことがユーザに通知される。そして、以上のような動作により、一組目の画像パターン対の入力が完了される。なお、同様な動作を繰り返すことにより、二組以上の画像パターン対が平行パターン検出部３９に入力される。
【００６５】
次に、画像歪み補正部４０は、図６に示されたステップＳ３において、信号処理部３２に供給された画像のあおり歪みを補正するためのあおり歪み補正パラメータを算出し、ステップＳ４において該パラメータを用いてあおり歪みを補正した画像（以下「歪み補正画像」ともいう）を生成する。
【００６６】
以下において、図５に示された画像歪み補正部４０の構成及び動作について詳しく説明する。画像歪み補正部４０は、平行パターン検出部３９に入力され、あるいは検出された二組の画像パターン対に基づいて、該画像のあおり歪みを補正する。ここで、該画像のあおり歪みを補正するためには、各々の画像パターン対を構成する互いの線状パターンがなす角度に基づいて、該画像上において局所的な拡大や縮小を施す方法もあるが、ここでは射影変換を利用して該あおり歪みを補正する例について説明する。
【００６７】
図９は、図５に示された画像歪み補正部４０の構成を示すブロック図である。図９に示されるように、画像歪み補正部４０は消失点検出部４０１と、射影変換部４０２と、座標変換部４０３とを含む。ここで、消失点検出部４０１は平行パターン検出部３９及びフレームメモリ３５に接続され、射影変換部４０２は消失点検出部４０１に接続される。また、座標変換部４０３は射影変換部４０２に接続される。
【００６８】
以下においては、図５に示された撮像部３１の光学系が図１０に示されるように、焦点距離をｆとする中心射影モデル（又は透視変換モデル）で近似されると仮定して図９に示された各部の動作を説明する。なお、「中心射影モデル」とは、図１０に示されるように、画像中心ＣＩを有する画像面３に対象点ＰＯの画像を形成する場合、光学中心ｏと対象点ＰＯを結ぶ直線が画像面３と交わる点Ｑ（ｘ，ｙ）を対象点ＰＯの像とするモデルをいう。なお、該点Ｑは視線ベクトルＥＶにより表現される。
【００６９】
図９に示された消失点検出部４０１は、平行パターン検出部３９で得られた二組の画像パターン対におけるそれぞれの交点を検出する。なお、消失点検出部４０１には、フレームメモリ３５から画像パラメータが供給される。ここで、「画像パラメータ」とは、図１０に示された画像面３と光軸（ｚ軸）とが交差する点（画像中心ＣＩ）の座標や焦点距離ｆ等といった画像撮影時における撮像部３１の光学的なパラメータを指称する。
【００７０】
一方、撮像部３１の光学系が上記のように中心射影モデルである場合、実空間中の平行線は画像面内では一点で交わるという定理が成り立ち、該交点は「消失点」と呼ばれている。
【００７１】
そして、例えば図１１（ａ）に示されるような点Ｐ_１及び点Ｐ_２、点Ｑ_２、点Ｑ_１に囲まれた矩形の被写体を画像処理装置２によって斜め方向から撮影することによって、図１１（ｂ）に示されるような対応する点ｐ_１及び点ｐ_２、点ｑ_２、点ｑ_１に囲まれる画像が得られた場合について説明する。
【００７２】
この場合、図１１（ａ）に示されるように、実空間においては、点Ｐ_１と点Ｐ_２を結ぶ直線と、点Ｑ_１と点Ｑ_２を結ぶ直線、及び点Ｐ_１と点Ｑ_１を結ぶ直線と、点Ｐ_２と点Ｑ_２を結ぶ直線とはそれぞれ互いに平行である。
【００７３】
しかしながら、図１１（ｂ）に示されるように、点ｐ_１と点ｐ_２を結ぶ直線と、点ｑ_１と点ｑ_２を結ぶ直線は消失点Ｖ１で交わり、点ｐ_１と点ｑ_１を結ぶ直線と、点ｐ_２と点ｑ_２を結ぶ直線とは消失点Ｖ２において交わる。なお、上記消失点の座標は、画像バターン対を構成する２つの線状パターンについてそれぞれ直線方程式を求め、求められた二つの直線方程式を連立させて解く等の一般的な方法によって得ることができる。
【００７４】
また、図９に示された射影変換部４０２は、消失点検出部４０１により得られた二つの消失点の座標、及び消失点検出部４０１から供給された画像パラメータにより、被写体像におけるあおり歪みを補正するための射影変換を求めるものである。そして、該射影変換では、次の式（１）により点（ｘ，ｙ）が点（ｘ’，ｙ’）に写像される。
【００７５】
【数１】

ここで、上記の式（１）における９つの未知数ｂ_１からｂ_９を以下の行列Ｂとしてまとめることができる。
【００７６】
【数２】

なお、上記行列Ｂを射影変換行列と呼ぶこととする。そして、この射影変換行列Ｂを用いると、上記式（１）により示された射影変換は次の式（３）により表すことができる。
【００７７】
【数３】

なお、上記式（３）においてｓは、左辺の第三要素を１に正規化するための定数を示す。ここで、上記式（１）及び式（３）から明らかなように、行列Ｂはスケール倍の自由度を有しているため、実質的な自由度は８となる。以下においては、射影幾何学に基づき被写体像のあおり歪みを補正する射影変換行列を求める手順を詳しく説明する。
【００７８】
射影幾何学においては、画像面上の点（ｘ，ｙ）に定数ｚを付け加えた３次元ベクトル（ｘ，ｙ，ｚ）を計算に用いると便利なことが知られている。以下においては、この３次元ベクトルを拡張ベクトルと呼ぶことにする。そして特に、定数ｚの値が焦点距離ｆに一致する場合は、拡張ベクトルが画像面上の点（ｘ，ｙ）に対応する視線の向きを示す。そこで、以下においては画像面上の点（ｘ，ｙ）に焦点距離ｆを付加した３次元ベクトル（ｘ，ｙ，ｆ）を視線ベクトルと呼ぶこととする。
【００７９】
ここで、図１１（ｂ）に示された消失点Ｖ１及び消失点Ｖ２の視線ベクトルを、それぞれ以下の式（４）及び式（５）とおく。
【００８０】
【数４】

そして、射影幾何学においては、拡張ベクトルの第三要素ｚが焦点距離ｆである場合に限り、空間中で方向ベクトルがｍである直線は、画像面上において視線ベクトルがｍである消失点を持つという定理が成り立つ。すなわち、消失点Ｖ１を持つ画像パターン対に対応する平行パターン対の空間中の方向は視線ベクトルｖ_１で表され、消失点Ｖ２を持つ画像パターン対に対応する平行パターン対の空間中の方向は視線ベクトルｖ_２で表される。従って、被写体面の向きは視線ベクトルｖ_１及び視線ベクトルｖ_２の両方に直交し、次の式（６）により示されるベクトルｎにより表すことができる。
【００８１】
【数５】

なお、式（６）においてＮはベクトル（ｖ_１×ｖ_２）を単位ベクトルに正規化する作用素であり、任意のベクトルｖに対して以下の式（７）に示される演算を施すものである。
【００８２】
【数６】

なお、式（７）において｜ｖ｜はベクトルｖのノルムを示す。
【００８３】
次に、あおり歪みを補正する射影変換行列Ｂの算出手順を詳しく説明する。ここで、本実施の形態では撮像部３１における光軸の向きと被写体面の向きとの関係に基づいて、あおり歪みを補正するパラメータを計算する。具体的には、図１２に示されるように、上記式（６）により算出されたベクトルｎを単位法線ベクトルとする平面、すなわち被写体面に平行な平面を被投影面１０１として、該被投影面１０１に向かってあおり歪みを含んだ被写体像を持つ画像面１００を投影（射影変換）することにより歪み補正画像１０２を生成する。
【００８４】
以下において、あおり歪みを補正するパラメータの計算方法を説明する。まず、図１３に示されるように、撮像部３１の光軸をなすｚ軸を被投影面１０１の単位法線ベクトルｎに一致させる座標変換を表す回転行列Ｒを求める。この場合、次の式（８）に示された関係が成立する。
【００８５】
【数７】

そして、上記式（８）を満たす回転行列Ｒは多数存在するが、ここでは回転行列Ｒを次の式（９）により定義する。
【００８６】
【数８】

但し、行列Ｒ_ｘ及び行列Ｒ_ｙは次の式（１０）により示される。
【００８７】
【数９】

ここで、上記式（９）及び式（１０）により示された回転行列は、図１４に示されるように、以下の順序でｘｙｚ座標系を回転させることにより、ｘ’ｙ’ｚ’座標系に変換する演算に相当する。すなわち、最初にｘｙｚ座標系をｙ軸周りに角度βだけ回転させる。そして、このような回転により得られた座標系をｘ_１ｙ_１ｚ_１座標系とするとき、このｘ_１ｙ_１ｚ_１座標系をｘ_１軸周りに角度αだけ回転する。
【００８８】
ここで、ベクトルｎを次の式（１１）のように表す。
【００８９】
【数１０】

そして、上記の式（８）及び式（９）を用いると、回転角は次式のように導出される。
【００９０】
【数１１】

ここで、求められた回転角を式（９）及び式（１０）に代入することによって、行列Ｒを一意に定めることができる。
【００９１】
次に、上記のような手順により求められた回転行列Ｒを用いて、画像面上の任意の点（ｘ，ｙ，ｆ）を被投影面上の点（ｘ’，ｙ’，ｚ’）に座標変換する。そして、この座標変換は次式（１４）により示される射影変換により表すことができる。
【００９２】
【数１２】

ここで、ｋは撮像部３１の光学中心ｏから被投影面１０１までの距離を示す拡大係数であるため、ｋは作成される歪み補正画像の大きさを表す係数を意味する。また、ｓは射影変換後のベクトルのｚ’座標をｋにするための定数である。そして、以上の手順で式（３）の行列Ｂを以下の式（１５）により示される行列とすることにより、あおり歪みを補正するための射影変換行列Ｂを求めることができる。
【００９３】
【数１３】

そして、図９に示された座標変換部４０３は、射影変換部４０２により算出された射影変換行列Ｂを基に、被写体像を座標変換して歪み補正画像を作成する。ここで、より具体的には、射影変換後の点（ｘ’，ｙ’）に対応する変換前の点（ｘ，ｙ）を式（３）により計算し、計算された座標（ｘ，ｙ）の近傍における画素値を基に、歪み補正画像を構成する点（ｘ’，ｙ’）における画素値を補間演算により決定する。
【００９４】
なお、該補間演算は、双一次補間法やＢ−スプライン補間法などの方法を用いて行うことができる。
【００９５】
また、上記において消失点が無限遠点となる場合、すなわち画像パターン対を構成する２つの線状パターンが平行となる場合には、線状パターンの画像面上での向きが（ｍ_ｘ，ｍ_ｙ）であるとき、消失点の視線ベクトルを第三要素として０を加えた（ｍ_ｘ，ｍ_ｙ，０）とすればよい。
【００９６】
また、焦点距離ｆが未知である場合でも、適当な値ｆ’を用いて点（ｘ，ｙ）に対し拡張ベクトル（ｘ，ｙ，ｆ’）を生成し、上記手順を実行することによって、被写体像のあおり歪みを補正することができる。但し、この場合は実空間中における方向ベクトルと画像面上の消失点との間に成立する上記定理は成立しないため、実際には元の被写体面の縦横比が一致しない歪み補正画像が得られる。従って、焦点距離及び画像中心などの画像パラメータを用いて視線ベクトル（ｘ，ｙ，ｆ）を生成することにより、元の被写体面に相似な被写体像を持つ歪み補正画像を得ることができる。
【００９７】
以上より、本発明の実施の形態１に係る画像処理装置及び画像処理方法によれば、二組の画像パターン対を用いて被写体面の向きを求めることにより、あらゆる撮影条件下で撮影された被写体像であっても、簡易に該被写体像のあおり歪みを補正して適正な画像を得ることができる。また、上記画像パラメータを利用することにより、被写体面に相似であると共にあおり歪みが補正された画像を生成することもできる。
【００９８】
さらには、該あおり歪みの補正において上記のような射影変換を用いることにより、少ない処理コストで信頼性の高い該補正を実現することができる。
［実施の形態２］
図１５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１５に示されるように、実施の形態２に係る画像処理装置は、図５に示された実施の形態１に係る画像処理装置と同様な構成を有するが、インタフェース３６には予め生成された合成画像が外部から入力されると共に、撮像部３１を備えていない点で相違するものである。
【００９９】
すなわち、本実施の形態２に係る画像処理装置は、合成画像に対してあおり歪みを補正するものである。ここで上記合成画像は、図１６（ａ）に示されるように、被写体面１０の一部を画像処理装置２００によって複数の視点Ｄ１〜Ｄｎから分割的に撮影し、該撮影により得られた複数の画像４ａ，４ｂ，４ｎを貼り合わせることによって生成されるものである。
【０１００】
より具体的には、図１６（ｂ）に示されるように、ある一つの画像例えば画像４ｎを基準として、分割された各画像４ａ，４ｂをこの画像４ｎに対して貼り合わせることにより合成画像４１が生成される。そして、本実施の形態２に係る画像処理装置２００においては、該合成画像４１のあおり歪みが補正され、図１６（ｃ）に示された歪み補正画像６０が得られる。
【０１０１】
以下において、本実施の形態２に係る画像処理装置の動作を、図１７のフローチャートを参照しつつ説明する。まず、ステップＳ１において、インタフェース３６を介して予め生成された合成画像を入力し、フレームメモリ３５に記憶する。そして、該合成画像の入力が終了すると、平行パターン検出部３９はステップＳ２において、被写体面における平行パターン対の投影像である画像パターン対を二組入力または検出する。
【０１０２】
次に、画像歪み補正部４０は、ステップＳ３において、入力された合成画像のあおり歪みを補正するためのあおり歪み補正パラメータを算出し、ステップＳ４において該パラメータを用いてあおり歪みを補正した合成画像を生成する。
【０１０３】
ここで、上記実施の形態１に係る画像処理方法と同様な方法によって、合成画像におけるあおり歪みを補正する場合、該合成画像の画像パラメータが既知である必要があるが、該合成画像の画像パラメータを知ることは可能である。例えば、被写体面の一部分をそれぞれ撮影した分割画像を、射影変換を用いて貼り合わせることにより合成画像を生成する場合には、各分割画像を基準となる画像に整合するよう変換して貼り合わせる。
【０１０４】
そして、このような方法により生成された合成画像は、上記基準となる画像を撮影した時の画像面を拡大する広画角の光学系を用いて、被写体面を撮影することにより得られる画像と等価なものとなる。すなわち、合成画像の焦点距離及び画像中心は、貼り合わせの基準となる画像の焦点距離及び画像中心とそれぞれ一致することとなる。
【０１０５】
従って、貼り合わせの基準となる画像の画像パラメータが既知ならば、合成画像の焦点距離及び画像中心を得ることができ、上記実施の形態１に係る画像処理方法を適用することによって、合成画像における被写体像のあおり歪みを補正することが可能である。
【０１０６】
以上より、本発明の実施の形態２に係る画像処理装置及び画像処理方法によれば、二組の画像パターン対を入力又は検出することによって、分割画像を貼り合わせるためあおり歪みが目立ち易い合成画像のあおり歪みを補正し、適正な合成画像を得ることができる。
【０１０７】
また、本実施の形態２に係る画像処理装置及び画像処理方法によれば、画像パラメータを利用することによって、被写体面に相似であると共に歪み補正が施された被写体像を生成することができる。そしてさらには、あおり歪み補正に射影変換を用いることによって、少ない処理コストで信頼性の高いあおり歪み補正を実現することができる。
［実施の形態３］
本発明の実施の形態３に係る画像処理装置は、図５に示された実施の形態１に係る画像処理装置と同様な構成を有するが、画像歪み補正部４０の機能が相違するものである。
【０１０８】
すなわち、本実施の形態３に係る画像処理装置は、被写体面において既知の角度で交わる２組以上の平行パターン対の投影像である画像パターン対を入力または検出する。ここで、入力した画像パターン対に対応する２組の平行パターン対が被写体面上でなす角度が既知である場合には、焦点距離ｆが未知でも被写体面に相似であると共に歪み補正がなされた被写体像を生成することができる。
【０１０９】
以下においては、被写体面における２組の平行パターン対のなす角度がψであると仮定して、本実施の形態を説明する。
【０１１０】
図１８は、本発明の実施の形態３に係る画像処理方法を示すフローチャートである。図１８に示されるように、まずステップＳ１においては、ユーザは撮像部により被写体面を撮像し、又は予め撮影された画像を外部から入力する。次に、ステップＳ２において、平行パターン検出部は被写体面においてなす角度がψである平行パターン対の投影像である画像パターン対を検出すると共に、インタフェースを介して上記角度ψを外部から入力する。なお、上記角度ψとしては、一例として９０度とすることができる。
【０１１１】
そして、画像歪み補正部は、ステップＳ３においてあおり歪み補正パラメータを算出し、ステップＳ４において算出された該パラメータを利用してあおり歪みを補正した画像を作成する。
【０１１２】
以下において、本実施の形態３に係る画像歪み補正部の動作について説明する。なお、本実施の形態３に係る画像歪み補正部は、図９に示された実施の形態１に係る画像歪み補正部４０と同様な構成を有する。
【０１１３】
まず、消失点検出部は、平行パターン検出部で得られた二組の画像パターン対における各消失点を検出する。なお、消失点の座標は、上記実施の形態１において説明された方法により求めることができる。
【０１１４】
また、射影変換部は、消失点検出部により求められた二組の消失点の座標及び上記角度ψに基づき、被写体像におけるあおり歪みを補正するための射影変換行列Ｂを求める。ここで、消失点検出部が検出した二つの消失点の拡張ベクトルを、それぞれ以下の式（１６）及び式（１７）とおく。
【０１１５】
【数１４】

なお、上記式（１６）及び式（１７）におけるｚは、定数を意味する。
【０１１６】
ここで、二つの消失点に対応する拡張ベクトルｖ_１’，ｖ_２’のなす角度はψであるとわかっているため、空間中における方向ベクトルと画面上における消失点との関係についての上記定理により、上記拡張ベクトルｖ_１’，ｖ_２’の第三要素ｚが焦点距離ｆである場合に限り、次式（１８）が成立する。
【０１１７】
【数１５】

すなわち、上記式（１８）を解くことにより、焦点距離ｆを計算することができる。
【０１１８】
以上のような方法により、既知の角度ψで交わる平行パターン対の投影像である画像パターン対を入力することによって、焦点距離ｆを計算することができる。そして、このように求められた焦点距離ｆと上記式（４）乃至式（１５）を用いて、上記実施の形態１と同様な方法により、あおり歪みを補正するための射影変換行列Ｂを求めることができる。
【０１１９】
また、座標変換部は、上記射影変換部により算出された射影変換行列Ｂを基に、画像を座標変換して歪み補正画像を作成する。具体的には、射影変換後の座標（ｘ’，ｙ’）に対応する変換前の座標（ｘ，ｙ）を式（３）に基づいて計算し、計算された座標（ｘ，ｙ）の近傍における画素値を基に座標（ｘ’，ｙ’）における画素値を補間演算により決定する。なお、この補間演算は、双一次補間法やＢ−スプライン補間法などの既存の方法を用いて行うことができる。
【０１２０】
また、ほとんどの被写体面においては、縦及び横方向の境界線や縦罫線及び横罫線など、少なくとも二組の平行パターン対が互いに直交しているため、上記平行パターン検出部においては、互いに直交している平行パターン対の投影像である画像パターン対を検出するようにしても良い。なお、この場合には、式（１８）において角度ψに９０度を代入して焦点距離ｆを求めればよいが、該焦点距離ｆは次式（１９）により求められる。
【０１２１】
【数１６】

すなわち、上記式（１９）によれば、式（１８）による計算よりも遥かに簡単に焦点距離ｆを求めることができる。そしてさらに、互いに直交している平行パターン対に対応する画像パターン対を入力するよう予め設定することとすれば、上記角度ψを別途入力する必要がなくなり、利便性を一層高めることができる。
【０１２２】
なお、上記において、いずれか一方の消失点が無限遠点となる場合には、焦点距離ｆを計算することはできない。このとき、上記実施の形態１と同様に、焦点距離ｆが未知の場合でも、適当な値ｆ’を用いて点（ｘ，ｙ）より拡張ベクトル（ｘ，ｙ，ｆ’）を生成して上記手順を実行することができるが、この場合にはあおり歪みを補正することはできるものの、実際の被写体面と縦横比が一致しない画像が生成される。
【０１２３】
以上より、本発明の実施の形態３に係る画像処理装置及び画像処理方法によれば、平行パターン対のなす角度が既知の画像パターン対を二組用いることにより、いずれか一方の消失点が無限遠点でない限り、撮影時の焦点距離が未知であっても、被写体面に相似であると共に歪み補正がなされた被写体像を生成することができる。
［実施の形態４］
本発明の実施の形態４に係る画像処理装置は、図５に示された上記実施の形態１に係る画像処理装置と同様な構成を有するが、画像歪み補正部４０の機能が相違するものである。以下においては、該相違点について詳しく説明する。
【０１２４】
本実施の形態４に係る画像処理装置は、あおり歪みを補正した画像における被写体像の傾きを補正することを特徴とする。例えば、上記実施の形態１においては、式（１４）に示された回転行列Ｒを用いて座標変換することにより、画像のあおり歪みを補正すると説明したが、この座標変換は被写体面の法線ベクトルを回転軸とする１軸周りの自由度を残している。すなわち、図１９（ａ）に示されるように、画像処理装置２が被写体面１に対して傾いている場合などには、撮影時の撮像部３１の姿勢により、画像面３内で被写体像が傾いた歪み補正画像が得られることがある。
【０１２５】
従って、本実施の形態に係る画像処理装置は、図１９（ｂ）に示されるように、画像処理装置２が被写体面１に対して傾いていない状態で撮影されたときに得られる歪み補正画像、すなわち画像面内３で被写体像が傾いていない補正画像を得ることを目的とするものである。
【０１２６】
以下において、本実施の形態４に係る画像処理装置の動作を、図２０に示されたフローチャートを参照しつつ説明する。まず、ステップＳ１において、信号処理部３２は撮像部３１により撮影された被写体面の画像を入力する。
【０１２７】
そして、ステップＳ２において、平行パターン検出部３９は、被写体面上における平行パターン対の画像への投影像である画像パターン対を入力又は検出する。なお、各画像パターン対は２つの線状パターンにより構成されている。
【０１２８】
次に、ステップＳ３において、ステップＳ２で入力された画像パターン対のうち一の画像パターン対に対して、あおり歪み補正後の向きを指定する。そして、以下に詳しく説明する画像歪み補正部４１は、ステップＳ４において、ステップＳ２において入力された画像パターン対と、ステップＳ３で指定された上記向きとに基づいて、撮影した画像のあおり歪みを補正するパラメータを算出する。またステップＳ５では、画像歪み補正部４１は、ステップＳ４で算出されたパラメータを用いてあおり歪みを補正した画像を作成する。
【０１２９】
以下において、本実施の形態４に係る画像歪み補正部４１について詳しく説明する。図２１は、本実施の形態４に係る画像歪み補正部４１の構成を示すブロック図である。図２１に示されるように、この画像歪み補正部４１は消失点検出部４０１と、射影変換部４０２と、座標変換部４０３と、向き指定部４０４とを備える。ここで、消失点検出部４０１は平行パターン検出部３９に接続され、射影変換部４０２は消失点検出部４０１に接続される。また、座標変換部４０３は射影変換部４０２に接続され、向き指定部４０４は射影変換部４０２に接続される。
【０１３０】
上記のような構成を有する画像歪み補正部４１においては、消失点検出部４０１は平行パターン検出部３９で得られた二組の画像パターン対においてそれぞれ消失点を検出する。そして、射影変換部４０２は、消失点検出部４０１から供給された二つの消失点の座標に基づき、被写体におけるあおり歪みを補正するための射影変換行列Ｂを求める。また、座標変換部４０３は、射影変換部４０２により算出された射影変換行列Ｂを基に、画像を座標変換して歪み補正画像を作成する。
【０１３１】
また、向き指定部４０４は、図２２に示されるように、表示部３７の表面に設置された透明タッチパネル４０４ａと、入力された画像パターン対のうち一つの画像パターン対に対してあおり歪み補正後の向きを指定するポインティングデバイス４０４ｂとにより構成される。
【０１３２】
ここで例えば、図２２（ａ）に示されるように、画像パターン対を入力した後、表示部３７において「向き指定」という文字がオーバレイ表示される。すると、ユーザはポインティングデバイス４０４ｂにより、表示部３７上で入力した画像パターン対のうち一つの画像パターン対に対して、あおり歪みを補正した後の画像における該画像パターンの向きを入力する。
【０１３３】
すなわち、例えば図２２（ｂ）に示されるように、第一の画像パターン対を構成する直線３９３ａ及び直線３９３ｂに対し、あおり歪み補正後に横方向（水平方向）を向くように指定すると、該画像パターン対はそれぞれ直線３９３ｃ及び直線３９３ｄのように横方向（水平方向）を向くように補正される。
【０１３４】
以下において、このような画像処理を実行するときの動作を説明する。まず、撮像部３１の光軸（ｚ軸）を被投影面の単位法線ベクトルｎに一致させる座標変換を示す回転行列Ｒは、上記式（８）で与えられる。次に、第一の画像パターン対の消失点に対応する単位視線ベクトルをｖ_１とおくと、ｖ_１を横方向すなわち単位ベクトル［１，０，０］^Ｔ に変換する座標変換は、回転行列Ｒを用いて以下の式（２０）により示される。
【０１３５】
【数１７】

ここで、回転行列Ｒは直交行列なので、同一直線上にない変換前後のベクトルが二組与えられれば一意に求められ、式（８）及び式（２０）により以下の式（２１）が求められる。
【０１３６】
【数１８】

但し、ｕはｎとｖ_１の両方に直交する単位ベクトルであり、次式（２２）で表される。
【０１３７】
【数１９】

これは、式（８）から式（１３）による計算において残された回転行列Ｒの１軸周りの自由度が、一つの画像パターン対における補正後の向きを規定することにより拘束されることを意味する。そして、以上の計算によって求められた回転行列Ｒを式（１５）に代入することにより、あおり歪みを補正する射影変換行列Ｂが求められる。
【０１３８】
また、座標変換部４０３は、射影変換部４０２により算出された射影変換行列Ｂを基に、画像を座標変換して歪み補正画像を生成する。具体的には、射影変換後の座標（ｘ’，ｙ’）に対応する変換前の座標（ｘ，ｙ）を式（３）に基づいて計算し、計算された座標（ｘ、ｙ）の近傍における画素値を基に座標（ｘ’，ｙ’）における画素値を補間演算により決定する。なお、該補間演算は、双一次補間法やＢ−スプライン補間法などの既存の方法を用いて行えばよい。
【０１３９】
以上より、本実施の形態４に係る画像処理装置及び画像処理方法によれば、上記実施の形態１と同様な効果を得ることができると共に、さらに、あおり歪みが補正された画像の画像面内における傾きを任意に変更することができるため、一層見た目の良い画像を得ることができる。
【０１４０】
また、例えば、得られた該画像に対して文字認識処理などを行う場合においては、該認識精度が向上するため、文書情報の取得から符号化までの後処理コストを大幅に減らすこともできる。
［実施の形態５］
本発明の実施の形態５に係る画像処理装置は、図５に示された上記実施の形態１に係る画像処理装置と同様な構成を有するが、画像歪み補正部４０の機能が相違するものである。以下においては、該相違点について詳しく説明する。
【０１４１】
また、本実施の形態５に係る画像処理装置は、上記実施の形態４と同様に、あおり歪みを補正した画像における被写体像の傾きを補正することを特徴とする。
【０１４２】
以下において、本実施の形態５に係る画像処理装置の動作を図２３のフローチャートを参照しつつ説明する。まず、ステップＳ１において、信号処理部３２は撮像部３１により撮影された被写体面の画像、あるいは予め撮影された画像を入力する。そして、ステップＳ２において、平行パターン検出部３９は、被写体面内における二つの平行パターン対の画像への投影像である二組の画像パターン対を入力又は検出する。なお、各画像パターン対は２つの線状パターンにより構成されている。
【０１４３】
次に、以下に詳しく説明する画像歪み補正部４２は、ステップＳ３において、撮影した画像のあおり歪みを補正するパラメータを算出し、ステップＳ４で該算出されたパラメータを用いてあおり歪みを補正した画像を作成する。そして、ステップＳ５において、歪み補正がなされた画像における被写体像の画面内における傾きを補正する。
【０１４４】
以下において、本実施の形態５に係る画像歪み補正部４２について詳しく説明する。図２４は、本実施の形態５に係る画像歪み補正部４２の構成を示すブロック図である。図２１に示されるように、この画像歪み補正部４２は消失点検出部４０１と、射影変換部４０２と、座標変換部４０３と、傾き補正部４０５とを備える。ここで、消失点検出部４０１は平行パターン検出部３９に接続され、射影変換部４０２は消失点検出部４０１に接続される。また、座標変換部４０３は射影変換部４０２に接続され、傾き補正部４０５は座標変換部４０３に接続される。
【０１４５】
上記のような構成を有する画像歪み補正部４２においては、消失点検出部４０１は平行パターン検出部３９で得られた二組の画像パターン対においてそれぞれ消失点を検出する。そして、射影変換部４０２は、消失点検出部４０１から供給された二つの消失点の座標に基づき、被写体におけるあおり歪みを補正するための射影変換行列Ｂを求める。また、座標変換部４０３は、射影変換部４０２により算出された射影変換行列Ｂを基に、画像を座標変換して歪み補正画像を作成する。
【０１４６】
また、傾き補正部４０５は、図２５に示されるように、表示部３７の表面に設置された透明タッチパネル４０５ａと、傾きを補正する角度を入力するポインティングデバイス４０５ｂにより構成され、歪み補正画像の画像面内における傾きを補正するための座標変換を求めるものである。例えば、本実施の形態に係る画像処理装置の筐体に配設されたスイッチ（図示していない）を押して、傾き補正モードを起動すると、図２５に示されるように、表示部３７の透明タッチパネル４０５ａ上において「傾き補正」という文字がオーバレイ表示される。すると、ユーザはポインティングデバイス４０５ｂにより表示部３７上で円弧を描き、被写体像の傾きを補正する回転の方向及び回転の大きさをゼスチャ入力する。
【０１４７】
そして、このようにして入力された回転角をθとすると、次式（２３）により歪み補正画像における点（ｘ’，ｙ’）から点（ｘ’’，ｙ’’）への合同変換を算出する。
【０１４８】
【数２０】

但し、点（ｘ_０’，ｙ_０’）は回転の中心となる座標であり、通常は画像中心が回転中心座標として選択される。
【０１４９】
そして、傾き補正部４０５の算出結果は座標変換部４０３に出力され、式（２３）の合同変換式を基に、歪み補正画像における被写体像の傾きを補正した画像を作成する。具体的には、射影変換後の座標（ｘ’’，ｙ’’）に対応する変換前の座標（ｘ’，ｙ’）を式（２３）に基づいて計算し、計算された座標（ｘ’、ｙ’）の近傍における画素値を基に座標（ｘ’’，ｙ’’）における画素値を補間演算により決定する。なお、該補間演算は、双一次補間法やＢ−スプライン補間法などの既存の方法を用いて行えばよい。
【０１５０】
以上より、本実施の形態５に係る画像処理装置及び画像処理方法によっても、上記実施の形態４と同様な効果を得ることができる。
［実施の形態６］
本発明の実施の形態６に係る画像処理装置は、図５に示された上記実施の形態１に係る画像処理装置と同様な構成を有するが、画像歪み補正部４０の機能が相違するものである。以下においては、該相違点について詳しく説明する。
【０１５１】
ここで、本実施の形態６に係る画像処理装置は、さらにあおり歪みを補正した画像の大きさを該補正前の画像の大きさと概ね等しくすることを特徴とするものである。
【０１５２】
以下において、本実施の形態６に係る画像処理装置の動作を図２６のフローチャートを参照しつつ説明する。まず、ステップＳ１において、信号処理部３２は撮像部３１により撮影された被写体面の画像、あるいは予め撮影された画像を入力する。そして、ステップＳ２において、平行パターン検出部３９は、被写体面内における二つの平行パターン対の画像への投影像である二組の画像パターン対を入力又は検出する。なお、各画像パターン対は２つの線状パターンにより構成されている。
【０１５３】
次に、以下に詳しく説明する画像歪み補正部４３は、ステップＳ３において、撮影した画像のあおり歪みを補正するパラメータを算出し、ステップＳ４で、あおり歪みを補正した画像の大きさを該補正前の大きさとほぼ同じにするための拡大係数ｋを計算する。そしてさらに、ステップＳ５において、画像歪み補正部４３は、該算出されたパラメータ及び拡大係数ｋを用いてあおり歪みを補正した画像を作成する。
【０１５４】
以下において、本実施の形態６に係る画像歪み補正部４３について詳しく説明する。図２７は、本実施の形態６に係る画像歪み補正部４３の構成を示すブロック図である。図２７に示されるように、この画像歪み補正部４３は消失点検出部４０１と、射影変換部４０２と、座標変換部４０３と、画像正規化部４０６とを備える。ここで、消失点検出部４０１は平行パターン検出部３９に接続され、射影変換部４０２は消失点検出部４０１に接続される。また、座標変換部４０３は射影変換部４０２に接続され、画像正規化部４０６は消失点検出部４０１と座標変換部４０３との間に射影変換部４０２と並列に接続される。
【０１５５】
上記のような構成を有する画像歪み補正部４３においては、消失点検出部４０１は平行パターン検出部３９で得られた二組の画像パターン対においてそれぞれ消失点を検出する。そして、射影変換部４０２は、消失点検出部４０１から供給された二つの消失点の座標に基づき、被写体におけるあおり歪みを補正するための射影変換行列Ｂを求める。また、座標変換部４０３は、射影変換部４０２により算出された射影変換行列Ｂを基に、画像を座標変換して歪み補正画像を作成する。
【０１５６】
また、画像正規化部４０５は、式（１４）において、あおり歪みを補正した画像を補正前とほぼ同じ大きさとするための拡大係数ｋの値を求める。ここで拡大係数ｋは、図２８に示されるように、撮像部３１の光学中心ｏと被写体面に平行な被投影面１０１との距離を表し、作成される歪み補正画像の大きさを規定する。
【０１５７】
そこで、図２８に示されるように、焦点距離ｆ、及び撮像部３１の光軸（ｚ軸）と被投影面１０１の法線ベクトルとのなす角φを用いて、拡大係数ｋを次式（２４）により算出される値とする。
【０１５８】
【数２１】

これにより、あおり歪みを補正した画像１０４の大きさは、図２８に示された斜線部で示されるように、補正前の画像１０３の大きさと概ね等しくなる。ここで、撮像部３１の光軸（ｚ軸）の単位ベクトルと、式（８）により示された被投影面１０１の法線ベクトルｎを用いて、以下の式（２５）で示される関係が成立する。
【０１５９】
【数２２】

これにより、上記式（２４）は次式（２６）のように変形される。
【０１６０】
【数２３】

従って、上記式（２６）により算出された拡大係数ｋを用いて式（１４）により示される座標変換を行うことにより、あおり歪み補正前後の画像の大きさをほぼ同じにすることができる。
【０１６１】
なお、上記拡大係数ｋの算出方法は、式（２６）を用いる方法に限定されるものでない。すなわち例えば、あおり歪み補正前の画像における図２９（ａ）に示された点Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４に対し、一旦ｋを１と置いて式（１４）に示された座標変換を施すことにより、図２９（ｂ）に示されたあおり歪み補正後の点Ｐ_１’，Ｐ_２’，Ｐ_３’，Ｐ_４’をそれぞれ計算する。次に、該点Ｐ_１’，Ｐ_２’，Ｐ_３’，Ｐ_４’に囲まれた外接矩形の面積Ｓ’を求める。ここで、あおり歪み補正前の画像における点Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４により囲まれた矩形の面積をＳとすると、上記拡大係数ｋは次式（２７）によっても算出することができる。
【０１６２】
【数２４】

以上より、本実施の形態６に係る画像処理装置及び画像処理方法によれば、上記実施の形態１と同様な効果を得ることができると共に、さらに、あおり歪みを補正した画像を所望の大きさにすることができる。
［実施の形態７］
本発明の実施の形態７に係る画像処理装置は、図５に示された上記実施の形態１に係る画像処理装置と同様な構成を有するが、画像歪み補正部４０の機能が相違するものである。以下においては、該相違点について詳しく説明する。
【０１６３】
ここで、本実施の形態７に係る画像処理装置についても、上記実施の形態６と同様に、あおり歪みを補正した画像の大きさを該補正前の画像の大きさと概ね等しくすることができることを特徴とするものである。
【０１６４】
そして、本実施の形態７に係る画像処理装置は、上記実施の形態６に係る画像処理装置と同様に動作するが、図２６に示されたステップＳ４においては、ユーザが画像歪み補正部に対して、あおり歪みを補正した画像の大きさを設定する。これにより、ステップＳ５において、本実施の形態７に係るあおり歪み補正部４４は、ステップＳ３において算出されたあおり歪み補正パラメータと上記のようにユーザによって設定された大きさとにより、あおり歪みを補正した画像を生成する。
【０１６５】
以下において、本実施の形態７に係る画像歪み補正部４４について詳しく説明する。図３０は、本実施の形態７に係る画像歪み補正部４４の構成を示すブロック図である。図３０に示されるように、この画像歪み補正部４４は消失点検出部４０１と、射影変換部４０２と、座標変換部４０３と、画像サイズ設定部４０７とを備える。ここで、消失点検出部４０１は平行パターン検出部３９に接続され、射影変換部４０２は消失点検出部４０１に接続される。また、座標変換部４０３は射影変換部４０２に接続され、画像サイズ設定部４０７は消失点検出部４０１と座標変換部４０３との間に射影変換部４０２と並列に接続される。
【０１６６】
上記において、画像サイズ設定部４０７は、図３１に示されるように、表示部３７の表面に設置された透明タッチパネル４０７ａと、あおり歪み補正前後の画像の拡大倍率を設定するポインティングデバイス４０７ｂにより構成される。
【０１６７】
ここで、例えば本実施の形態６に係る画像処理装置の筐体に配設されたスイッチを押すことにより、画像サイズ設定モードを起動すると、図３１に示されるように表示部３７において「画像サイズ設定」という文字がオーバレイ表示される。すると、ユーザはポインティングデバイス４０７ｂを用いて表示部３７上に表された倍率を選択することにより、歪み補正がなされた画像の倍率が入力される。
【０１６８】
このとき、該入力された倍率をｇとすると、上記実施の形態５に係る画像処理方法と同様に、式（１４）の拡大係数ｋを次式（２８）により算出する。
【０１６９】
【数２５】

従って、式（２８）により算出された拡大係数ｋの値を用いて式（１４）の座標変換を行うことにより、所望の大きさの歪み補正画像を得ることができる。なお、拡大係数ｋの計算方法は、式（２８）による計算に限定されるものではなく、式（２７）のｋの値に基づいて以下の式（２９）により算出することもできる。
【０１７０】
【数２６】

以上より、本発明の実施の形態７に係る画像処理装置及び画像処理方法によっても、上記実施の形態６と同様な効果を得ることができる。
【０１７１】
なお、上記全ての実施の形態に係る画像処理方法は、コンピュータプログラムにより記述できる。従って、該プログラムを例えばＣＤ−ＲＯＭ１７１やフロッピーディスク等のコンピュータ読み取り可能な記録媒体に記録して、図３２（ａ）に示されるようにコンピュータＰＣに装着することにより、該プログラムをコンピュータＰＣに実行させることにより容易に該画像処理を実現することができる。
【０１７２】
また、図３２（ｂ）に示されるように、上記全ての実施の形態に係る画像処理装置は、デジタルカメラ２ａとして一つの筐体に収容してもよく、この場合には上記プログラムが記録されたフロッピーディスク１７２等の小型記録媒体を該デジタルカメラ２ａに装着して、該プログラムを該デジタルカメラ２ａ自身に実行させることにより、該デジタルカメラ２ａに上記画像処理の機能を持たせることができる。
【０１７３】
【発明の効果】
上述の如く、本発明に係る画像処理によれば、様々な撮影条件において撮影されることにより生じた画像の歪みを簡易に補正することができるため、適正な画像を容易に得ることができる。
【０１７４】
また、少なくとも二つの消失点を用いて変換行列を求めることとすれば、様々な撮影条件において撮影されることにより生じた画像の歪みを簡易な画像処理により確実に補正することができるため、精度の高い適正な画像を得ることができる。
【０１７５】
また、光学系の画像パラメータ及び消失点を用いることによって変換行列を算出することとすれば、容易に補正後の画像を被写体の表面に描かれた原像と相似なものとすることができるため、より高精度な補正を実現することができる。
【０１７６】
また、合成画像を画像処理する場合には、合成画像の作成の際に基準とされた画像を撮影した光学系の画像パラメータ及び消失点を用いることにより変換行列を算出することとすれば、あおり歪みが生じ易い合成画像に対しても、簡易な画像処理により該歪みを補正することができる。
【０１７７】
また、少なくとも二組の線分が被写体上でなす角度及び消失点を用いて変換行列を算出することとすれば、被写体を撮影した光学系の焦点距離が未知の場合においても該歪みを高精度に補正することができるため、該焦点距離を得るための装置及び動作が不用となり、より簡易に適正な画像を得ることができる。
【０１７８】
また、一組の平行な線分における座標変換後の方向がユーザにより指定された場合には、該方向に応じて変換行列を算出することとすれば、歪みが補正された画像の向きを画像面内において容易に変更することができるため、一層見た目の良い画像を得ることができ、また、得られた画像に対する後処理コストを低減することもできる。
【図面の簡単な説明】
【図１】合成画像を得る際の従来からの問題を説明する図である。
【図２】本発明の実施の形態に係る画像処理装置の動作を説明する図である。
【図３】本発明の実施の形態に係る画像処理装置の基本構成を示すブロック図である。
【図４】本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図５】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図６】図５に示された画像処理装置の動作を示すフローチャートである。
【図７】図５に示された平行パターン検出部の構成及び動作を説明する図である。
【図８】図５に示された平行パターン検出部の他の動作を説明する図である。
【図９】図５に示された画像歪み補正部の構成を示すブロック図である。
【図１０】図５に示された撮像部の光学系を説明する図である。
【図１１】図９に示された消失点検出部の動作を説明する図である。
【図１２】図５に示された画像歪み補正部によるパラメータ算出動作を説明する第一の図である。
【図１３】図５に示された画像歪み補正部によるパラメータ算出動作を説明する第二の図である。
【図１４】図５に示された画像歪み補正部によるパラメータ算出動作を説明する第三の図である。
【図１５】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１６】本発明の実施の形態２に係る画像処理装置の動作を説明する図である。
【図１７】図１５に示された画像処理装置の動作を示すフローチャートである。
【図１８】本発明の実施の形態３に係る画像処理装置の動作を示すフローチャートである。
【図１９】本発明の実施の形態４に係る画像処理装置の動作を説明する図である。
【図２０】本発明の実施の形態４に係る画像処理装置の動作を示すフローチャートである。
【図２１】本発明の実施の形態４に係る画像歪み補正部の構成を示すブロック図である。
【図２２】図２１に示された向き指定部の構成及び動作を説明する図である。
【図２３】本発明の実施の形態５に係る画像処理装置の動作を示すフローチャートである。
【図２４】本発明の実施の形態５に係る画像歪み補正部の構成を示すブロック図である。
【図２５】図２４に示された傾き補正部の構成及び動作を説明する図である。
【図２６】本発明の実施の形態６に係る画像処理装置の動作を説明するフローチャートである。
【図２７】本発明の実施の形態６に係る画像歪み補正部の構成を示すブロック図である。
【図２８】図２７に示された画像歪み補正部の動作を説明する第一の図である。
【図２９】図２７に示された画像歪み補正部の動作を説明する第二の図である。
【図３０】本発明の実施の形態７に係る画像歪み補正部の構成を示すブロック図である。
【図３１】図３０に示された画像サイズ設定部の構成及び動作を説明する図である。
【図３２】本発明に係る他の実施の形態を説明する図である。
【符号の説明】
１，１０ 被写体面
２，２００ 画像処理装置
２ａ デジタルカメラ
３，１００ 画像面
４，４ａ〜４ｎ，６，４１，６０，１０３，１０４ 画像
５ 被写体像
７ 分割画像
１１ 中央演算処理装置（ＣＰＵ）
１２ 同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）
１３ ハードディスクドライブ（ＨＤＤ）
１４ 入力インタフェース（入力Ｉ／Ｆ）
１５ 電源
１６ 表示インタフェース（表示Ｉ／Ｆ）
１７ 記録装置
１８ 外部インタフェース（外部Ｉ／Ｆ）
１９ ディスプレイ
２０ 読み出し専用メモリ（ＲＯＭ）
２１ レンズ
２２ 絞り機構
２３ シャッタ
２４ 光電変換素子
２５ 駆動部
２６ 前処理回路
２７ モータ駆動部
２８ 液晶ディスプレイ（ＬＣＤ）
３１ 撮像部
３２ 信号処理部
３３ メモリ制御部
３４ 主制御部
３５ フレームメモリ
３６ インタフェース（Ｉ／Ｆ）
３７ 表示部
３８ 外部記憶部
３９ 平行パターン検出部
４０，４１，４２，４３，４４ 画像歪み補正部
１０１ 被投影面
１０２ 歪み補正画像
１７１ ＣＤ−ＲＯＭ
１７２ フロッピーディスク
３９０ ポインタ
３９１，４０４ａ，４０５ａ，４０７ａ 透明タッチパネル
３９２，４０４ｂ，４０５ｂ，４０７ｂ ポインティングデバイス
３９３ａ〜３９３ｄ 直線
４０１ 消失点検出部
４０２ 射影変換部
４０３ 座標変換部
４０４ 向き指定部
４０５ 傾き補正部
４０６ 画像正規化部
４０７ 画像サイズ設定部
ＢＵＳ バス
ＰＯ 対象点
ＣＩ 画像中心
ＥＶ 視線ベクトル
ｖ１，ｖ２ 消失点
Ｄ１〜Ｄｎ 視点
Ｐ１，Ｐ２ 位置
ＰＣ コンピュータ

Claims (13)

1. 被写体面を撮影することにより得られる画像のあおり歪みを補正する画像処理装置であって、
   互いに平行な２つのパターンを含む平行パターン対を少なくとも 2 つ含む被写体面が撮像された入力画像を入力する入力部と、
   前記入力画像における、２つの前記平行パターン対の投写像である画像パターン対を検出する平行パターン検出部と、
   前記２つの画像パターン対に基づいて前記入力画像のあおり歪みを補正する画像歪み補正部とを具備し、
   前記平行パターン検出部は、
   前記入力画像における、２つの前記画像パターン対の入力を受け付け又は検出し、さらに、前記画像パターン対を投写像とする前記２つの平行パターン対が前記被写体面においてなす角度の入力を受け付け、
   前記画像歪み補正部は、
   前記２つの画像パターン対の各々について、該画像パターン対を構成するパターンの交点である消失点の座標を検出する消失点検出手段と、
   前記２つの消失点の座標と前記入力された角度とに基づいて、前記被写体面が撮影された光学系における焦点距離を算出する焦点距離算出手段と、
   前記２つの消失点の座標と前記焦点距離とに基づいて、前記入力画像が有するあおり歪みを補正する補正パラメータを算出する補正パラメータ算出手段と、
   前記補正パラメータに基づいて、前記入力画像のあおり歪みを補正した補正画像を生成する生成手段と、
   を具備することを特徴とする画像処理装置。
2. 前記生成手段は、
   前記補正パラメータを含む変換行列を用いて、所定の被投影面に投影される際のあおり歪みが補正された補正画像を生成することを特徴とする請求項２に記載の画像処理装置。
3. 前記被投影面は、前記被写体面に平行な平面であることを特徴とする請求項２に記載の画像処理装置。
4. 前記変換行列は、射影変換行列であり、
   前記補正画像を生成する手段は、前記射影変換行列を用い、前記画像を構成する各点が前記被投影面上の点に座標変換された補正画像を生成すること
   を特徴とする請求項２又は３に記載の画像処理装置。
5. 前記算出手段は、
   前記被投影面上の前記補正画像の、前記入力画像に対する拡大率のパラメータを、前記２つの消失点の座標と前記焦点距離とに基づいて算出し、
   前記変換行列は、前記拡大率のパラメータを含むことを特徴とする請求項４記載の画像処理装置。
6. 前記画像歪み補正部は、前記入力画像が、前記被写体面を部分的に撮影することにより得られた複数の画像がつなぎ合わされることにより生成された合成画像の場合には、前記合成画像の作成の際に基準とされた画像を撮影した光学系のパラメータ及び前記消失点を用いることにより、前記変換行列を算出することを特徴とする請求項１ないし５何れか一項に記載の画像処理装置。
7. 被写体面を撮影することにより得られる画像のあおり歪みを補正する画像処理方法であって、
   互いに平行な２つのパターンを含む平行パターン対を少なくとも 2 つ含む被写体面が撮像された入力画像を入力する入力ステップと、
   前記入力画像における、２つの前記平行パターン対の投写像である画像パターン対を検出する平行パターン検出ステップと、
   前記２つの画像パターン対に基づいて前記入力画像のあおり歪みを補正する画像歪み補正ステップとを具備し、
   前記平行パターン検出ステップは、
   前記入力画像における、２つの前記画像パターン対の入力を受け付け又は検出し、さらに、前記画像パターン対を投写像とする前記２つの平行パターン対が前記被写体面においてなす角度の入力を受け付け、
   前記画像歪み補正ステップは、
   前記２つの画像パターン対の各々について、該画像パターン対を構成するパターンの交点である消失点の座標を検出する消失点検出ステップと、
   前記２つの消失点の座標と前記入力された角度とに基づいて、前記被写体面が撮影された光学系における焦点距離を算出する焦点距離算出ステップと、
   前記２つの消失点の座標と前記焦点距離とに基づいて、前記入力画像が有するあおり歪みを補正する補正パラメータを算出する補正パラメータ算出ステップと、
   前記補正パラメータに基づいて、前記入力画像のあおり歪みを補正した補正画像を生成する生成ステップと、
   を具備することを特徴とする画像処理方法。
8. 前記生成ステップにおいて、
   前記補正パラメータを含む変換行列を用いて、所定の被投影面に投影される際のあおり歪みが補正された補正画像を生成することを特徴とする請求項７に記載の画像処理方法。
9. 前記被投影面は、前記被写体面に平行な平面であることを特徴とする請求項８に記載の画像処理方法。
10. 前記変換行列は、射影変換行列であり、
    前記補正画像を生成するステップは、前記射影変換行列を用い、前記画像を構成する各点が前記被投影面上の点に座標変換された補正画像を生成すること
    を特徴とする請求項８又は９に記載の画像処理方法。
11. 前記算出ステップにおいて、
    前記被投影面上の前記補正画像の、前記入力画像に対する拡大率のパラメータを、前記２つの消失点の座標と前記焦点距離とに基づいて算出し、
    前記変換行列は、前記拡大率のパラメータを含むことを特徴とする請求項１０記載の画像処理方法。
12. 前記画像歪み補正ステップは、前記入力画像が、前記被写体面を部分的に撮影することにより得られた複数の画像がつなぎ合わされることにより生成された合成画像の場合には、前記合成画像の作成の際に基準とされた画像を撮影した光学系のパラメータ及び前記消失点を用いることにより、前記変換行列を算出することを特徴とする請求項７ないし１１何れか一項に記載の画像処理方法。
13. コンピュータに、請求項７ないし１２何れか一項に記載の画像処理方法を実行させるプログラムを格納したコンピュータ読取可能な記録媒体。

Images