JP3957888B2 - 撮像装置及び撮像画像合成方法 - Google Patents
撮像装置及び撮像画像合成方法 Download PDFInfo
- Publication number
- JP3957888B2 JP3957888B2 JP23218198A JP23218198A JP3957888B2 JP 3957888 B2 JP3957888 B2 JP 3957888B2 JP 23218198 A JP23218198 A JP 23218198A JP 23218198 A JP23218198 A JP 23218198A JP 3957888 B2 JP3957888 B2 JP 3957888B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- plane
- captured
- angle
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は入力対象平面上の画像を一部が重なるようにして複数回撮像し、撮像した各画像を１画面上に合成して復元する撮像装置及び撮像画像合成方法、特に撮像対象となる入力対象平面が大きい場合等に分割した画像の歪を軽減して、高精細な平面画像の合成に関するものである。
【０００２】
【従来の技術】
平面上の文字又は写真を簡便、且つ、高精度に入力及び復元する装置が求められている。Ａ４サイズ又はＡ３サイズ等の通常サイズの紙面上の画像の場合には複写機又はスキャナ等で高精度な画像入力が可能である。このように複写機又はスキャナ等は通常サイズの紙面上の画像を高精度に読み込むことができるが、大きな紙面上の情報、壁に書かれた情報又はパネルに掲げられた情報等のように大きい画像あるいは動かすことのできない媒体に描かれた画像等を入力することができない。そこで、電子カメラを用いてこれらの大きい画像あるいは動かすことのできない媒体に描かれた画像などを入力する装置として、例えば特開平６−１４１２２８号公報に示された電子カメラや特開平９-９０５３０号公報に示されたパノラマ画像合成装置等が使用されている。
【０００３】
特開平６−１４１２２８号公報に示された電子カメラは、被写体像を撮影レンズ及び鏡を介して撮像素子上に結像し、前画像の一部に現画像の一部が重なるように被写体像を間欠的に複数回取り込み、現画像を前画像に適切に接続する位置に移動している。また、特開平９−９０５３０号公報に示されたパノラマ画像合成装置は、画像を合成するためのパラメータを算出し、算出したパラメータに基づいて画像を合成することにより、電子カメラの分割画像から高精度な画像を得ようとしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平６−１４１２２８号公報に掲載された電子カメラでは、鏡及びその駆動機構が必要となり、装置規模が大きくなるので、通常の電子カメラに搭載することは困難である。
【０００５】
また、原稿又はパネル上の画像を撮像する場合、カメラと被写体との距離は近ため、特開平９−９０５３０号公報に掲載されたパノラマ画像合成装置では、カメラの並進移動による透視投影の影響により合成画像に歪が生じる。また、人間が電子カメラを保持しているため任意に回転が画像に生じ、これが合成画像の歪の原因になる。
【０００６】
この発明はかかる短所を解消するためになされたものであり、分割画像を合成する際の歪を軽減することにより、簡便、且つ、高精細な平面画像を入力することができる撮像装置及び撮像画像合成方法を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明に係る撮像装置は、先に撮像した画像と一部が重複するようにして複数の視点から入力対象平面を撮像する手段と、前記撮像手段により各画像を撮像する際の前記入力対象面に対する前記撮像する手段の角度である姿勢角を検出する手段と、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出する手段と、前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記撮像する手段の並進運動成分を検出する手段と、前記検出した姿勢角と、前記抽出した特徴点及び対応点と、前記検出された並進運動成分とにより前記各特徴点の３次元位置を算出する手段と、前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の３次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出する手段と、前記検出した姿勢角と、各特徴点の並進運動成分と、前記算出した平面の情報とに基づいて前記撮像した各画像を任意の同一画像面に投影して前記画像を合成する手段とを備えたことを特徴とする。
【００１２】
前記画像を合成する手段は、前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整する手段を有して、さらに歪のない高精度の画像復元を行なう。
【００１３】
この発明に係る第２の撮像装置は、先に撮像した画像と一部が重複するようにして入力対象平面を撮像する手段と、前記撮像する手段により各画像を撮像する際の前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段と、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記の特徴点に相当する対応点を抽出する手段と、前記検出した画像面の位置と姿勢角変化及び視点位置変化と、前記抽出した特徴点及び対応点とに基づいて前記各特徴点に相当する入力対象平面上の各点の３次元位置を算出する手段と、前記算出した入力対象平面上の各点の３次元位置に基づいて入力対象平面上の各点を通る平面の情報を示す平面方程式を算出する手段と、前記算出した平面方程式で表せられる画像面に、前記撮像した各画像を再投影して画像を合成する手段とを備え、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに得られた画像面の基準座標系に対する姿勢角を算出する手段と、前記算出した画像面の基準座標系に対する姿勢角と、前記対応点を抽出する手段で得られた対応関係により前記撮像する手段の並進移動成分を算出する手段とを有することを特徴とする。
【００１５】
また、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに検出した前記画像面の姿勢角の変化と並進移動成分を検出する手段と、前記検出した姿勢角の変化と並進移動成分とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有しても良い。
【００１６】
さらに、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記対応点を抽出する手段で得られた複数の特徴点と対応点の位置関係から前記撮像する手段の姿勢変化と並進移動を算出する手段と、前記算出した前記撮像する手段の姿勢変化と並進移動とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有しても良い。
【００２１】
この発明の撮像画像合成方法は、先に撮像した画像と一部が重複するようにして入力対象平面を撮像し、前記各画像を撮像する際の前記入力対象面に対する撮像角度である姿勢角を検出し、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出し、前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記各画像を撮像したときの並進運動成分を検出し、前記検出した姿勢角と、前記抽出した特徴点及び対応点と前記検出された並進運動成分とにより前記各特徴点の３次元位置を算出し、前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の３次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出し、前記検出した姿勢角と各特徴点の並進運動成分と前記算出した平面の情報とに基づいて、前記撮像した各画像を任意の同一画像面に投影して前記画像を合成することを特徴とする。
【００２４】
前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整することが望ましい。
【００２７】
【発明の実施の形態】
この発明の撮像装置は、画像撮像部と運動検出部と対応関係抽出部と３次元位置算出部と平面算出部と投影部とを有する。画像撮像部は先に撮像した画像と一部が重複するようにして異なる複数例えば２点の視点から入力対象平面を撮像する。運動検出部は画像撮像部による各撮像の際の視点における画像撮像部の角度である姿勢角の変化及び視点の位置の変化を検出する。対応関係抽出部は先に撮像した画像から複数の特徴点を抽出し、特徴点を抽出した画像の次ぎに撮像した画像において先の画像で抽出した特徴点に対応する点である対応点を抽出する。３次元位置算出部は運動検出部が検出した姿勢角変化及び視点位置変化並びに対応関係抽出部が抽出した特徴点及び対応点を基に各特徴点の３次元位置を算出する。この特徴点の３次元位置を算出するには、例えば先に撮像した第１視点から次ぎに撮像した第２視点への姿勢変化を基に、第１視点の光学中心から各特徴点までの視線ベクトルと第２視点の光学中心から各対応点までの視線ベクトルを算出し、算出した視線ベクトルと第１視点と第２視点の位置変化を基に三角測量の原理により、各特徴点の３次元位置を算出する。
【００２８】
平面算出部は対応関係抽出部が抽出した各特徴点が同一平面上にあるものとして、３次元位置算出部が計測した各特徴点の３次元位置を基に、例えば最小自乗法を用いて各特徴点が存在する平面の情報を示す平面方程式を算出する。投影部は運動検出部が検出した姿勢角変化及び視点位置変化並びに平面算出部が算出した平面の情報を基に、画像撮像部が撮像した各画像を任意な同一画像面に投影して複数の視点から撮像した画像を合成し、入力対象平面上の画像を復元する。
【００２９】
【実施例】
図１はこの発明の一実施例の撮像装置の構成図である。図に示すように、撮像装置は、例えば画像撮像部１と運動検出部２と対応関係抽出部３と３次元位置算出部４と平面算出部５と投影部６と調整部７とを有する。画像撮像部１は、例えばＣＣＤエリアセンサ等を備え、図２（ａ）に示すように、被写体１０の入力対象平面Ｇｃを第１視点Ｏｎと第２視点Ｏ（ｎ＋１）でそれぞれ撮像した画像の一部が、図２（ｂ）及び図２（ｃ）に示すように重複するようにして撮像する。図２（ｂ）に示す第１視点Ｏｎで撮像した画像Ｇｎの１つの特徴点Ａを定めると、図２（ｂ）に示す第２視Ｏ（ｎ＋１）で撮像した画像Ｇ（ｎ＋１）において画像Ｇｎの特徴点Ａに対応する対応点は点Ｂになる。
【００３０】
運動検出部２は画像撮像部１による各撮像の際の入力対象平面Ｇｃに対する画像撮像部１の角度である姿勢角の変化及び視点の位置の変化を検出する。対応関係抽出部３は第１視点Ｏｎで撮像した第１画像Ｇｎから複数の特徴点Ａｉ（ｉは整数であり、各特徴点の順番を表わす。）を抽出し、第２視点Ｏ（ｎ＋１）で撮像した第２画像Ｇ（ｎ＋１）において第１画像Ｇｎの特徴点Ａｉに対応する第２画像Ｇ（ｎ＋１）の対応点Ｂｉを抽出する。３次元位置算出部４は運動検出部２が検出した姿勢角変化と視点位置変化及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する。このように特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出するには、第１視点Ｏｎで撮像した第１画像面の光学中心を原点とし、第１視点Ｏｎから第２視点Ｏ（ｎ＋１）に移動したときの画像撮像部１の姿勢変化を基に、第１視点Ｏｎの光学中心から各特徴点Ａｉまでの視線ベクトルＶ１ｉと第２視点Ｏ（ｎ＋１）の光学中心から対応点Ｂｉまでの視線ベクトルＶ２ｉを算出し、算出した視線ベクトルＶ１ｉ，Ｖ２ｉと各視点の位置変化を基に三角測量の原理により、各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する。
【００３１】
平面算出部５は対応関係抽出部３が抽出した各特徴点Ａｉが同一平面上にあるとして、３次元位置算出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を基に、例えば最小自乗法を用いて各特徴点Ａｉが存在する平面の情報として平面方程式を算出する。投影部６は運動検出部５が検出した姿勢角変化及び視点位置変化並びに平面算出部５が算出した平面方程式を基に、画像撮像部１が撮像した各画像を任意の同一画像面に投影して、複数の視点から撮像した各画像を合成する。ここで、画像撮像部１が撮像した各画像を任意の同一画像面に投影する動作について、図３を参照して説明する。
【００３２】
ある視点で得た画像面Ｉｎ上の点Ｐｎとこの視点の光学中心Ｏｎとを結ぶ直線が平面算出部５が算出した平面Ｇｃと交差する点をＰｃとする。また、新たに合成する画像を投影する画像面をＩｍとし、この光学中心をＯｍとする。点Ｐｃと光学中心Ｏｍとを結ぶ直線が画像面Ｉｍと交差する点Ｐｍに画素をマッチングする。この動作を必要な画素全てに対して行なうことにより、図４に示すように画像面Ｉｍに新たな画像を形成する。この処理を画像撮像部１が撮像した各画像に対して行ない、画像撮像部１が撮像した各画像を任意な同一画像面に投影することにより複数の視点から撮像した画像を合成する。ここで、このようにして形成した画像は記憶装置に保存しても良いし、表示装置に表示したり、印刷装置から印刷するようにしても良い。
【００３３】
調整部７は、画像撮像部１が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する。入力対象平面Ｇｃ上の画像は一部が重複するように撮像されているので、画像を投影する画像面Ｉｍにおいて重複して撮像された領域は重複して投影されている。第１画像の重複部画像をＩｎ（ｘ，ｙ）とし、第２画像の重複部画像をＩｍ（ｘ，ｙ）としたとき、下記（１）式で示す相関関数の値Ｓが最大となるようにδｘ及びδｙを求め、第２画像の全画素をδｘ及びδｙだけシフトする。
【００３４】
【数１】
【００３５】
上記のように構成した撮像装置の動作を図５のフローチャートを参照して説明する。画像撮像部１は入力対象平面Ｇｃを第１視点から撮像し、撮像した第１画像を記憶装置に記憶する（ステップＳ１，Ｓ２）。その後、ユーザが画像撮像部１を撮像した画像の一部が重複するように第２視点に移動した後に第２視点から撮像し、撮像した第２画像を記憶装置に記憶する（ステップＳ３，Ｓ４）。このように、第１画像と第２画像の一部が重複するように撮像するので、画像撮像部１が撮像した各画像の関連を容易に検出することができる。
【００３６】
運動検出部２は第１画像を撮像した際から第２画像を撮像する際までの画像撮像部１の姿勢角の変化及び視点の位置の変化を検出する（ステップＳ５）。対応関係抽出部３は第１画像から複数の特徴点Ａｉを抽出し、第２画像から対応点Ｂｉを抽出する（ステップＳ６）。これにより、第１画像と第２画像との対応関係を検出することができる。３次元位置算出部４は運動検出部２が検出した姿勢角変化及び視点位置変化並びに対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基にして各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する（ステップＳ７）。平面算出部５は対応関係抽出部３が抽出した各特徴点Ａｉが同一平面上にあるものとして、３次元位置算出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を基に最小自乗法を用いて各特徴点Ａｉが存在する平面の平面方程式を算出する（ステップＳ８）。投影部６は運動検出部５が検出した姿勢角変化及び視点位置変化並びに平面算出部５が算出した平面方程式を基に、画像撮像部１が撮像した各画像を任意の同一画像面Ｉｍに投影して、複数の視点から撮像した各画像を合成する（ステップＳ９）。このようにして、画像撮像部１が並進移動することによる影響により合成画像に歪が生じることを防止できるとともに、画像撮像部１の回転が合成画像の歪の原因になることを防止できる。
【００３７】
調整部７は、画像撮像部１が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する（ステップＳ１０）。これにより、合成した各画像にずれが生じることを防止でき、さらに正確に画像の合成を行なうことができる。
【００３８】
次ぎに、この発明の第２の実施例の撮像装置について説明する。第２の実施例の撮像装置は、図６の構成図に示すように、画像撮像部１と姿勢検出部８と対応関係抽出部３と並進運動検出部９と３次元位置算出部４と平面算出部５と投影部６と調整部７を有する。
【００３９】
姿勢検出部８は、例えば図７に示すようにＸ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８１と姿勢角検知部８３とを有する。Ｘ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８２はそれぞれ画像面に垂直な方向をＺ軸とした場合のＸ軸方向とＺ軸方向の磁気の検出信号を出力する。ここで検出する磁気方位は地磁気によるものでも、人工的に発生させた磁界によるものでも良い。姿勢角検知部８３はＸ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８２からの信号を基に画像撮像部１で撮像するときの各視点における画像撮像部１の角度である姿勢角を検知する。
【００４０】
並進運動検出部９は姿勢検出部８が検出した姿勢角並びに対応関係抽出部３が抽出した特徴点Ａｉ及び対応点Ｂｉを基に画像撮像部１の並進運動成分Ｔを算出する。並進運動成分Ｔを算出するには、例えば並進運動検出部９は姿勢検出部８が検出した第１画像撮像の際の姿勢角と第２画像撮像の際の姿勢角から姿勢角の変化を算出し、図８に示すような同じ座標系で特徴点Ａｉを通る視線ベクトルＶ１ｉと対応点Ｂｉを通る視線ベクトルＶ２ｉを算出する。視線ベクトルＶ１ｉ，Ｖ２ｉと並進運動ベクトルＴのスカラーの三重積は理想的には「０」である。そこで、並進運動ベクトルＴは各特徴点Ａｉにおけるスカラーの三重積の総和である下記（２）式に示す値を最小化する値として算出する。
【００４１】
【数２】
【００４２】
３次元位置算出部４は、姿勢検出部８が検出した姿勢角と対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉ及び並進運動検出部９が検出した並進運動ベクトルＴを基に三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００４３】
上記のように構成した撮像装置の動作を図９のフローチャートを参照して説明する。画像撮像部１は入力対象平面Ｇｃを第１視点で撮像し、撮像した第１画像を記憶装置に記憶する（ステップＳ１１）。姿勢検出部８は画像撮像部１が第１視点から撮像した際の画像撮像部１の姿勢角を検出する（ステップＳ１２）。その後、ユーザが画像撮像部１をそれぞれ撮像した画像の一部が重複するように第２視点に移動した後に第２視点で撮像し、撮像した第２画像を記憶装置に記憶する（ステップＳ１３）。姿勢検出部８は画像撮像部１が第１視点から撮像した際と同様に画像撮像部１が第１視点から撮像した際の画像撮像部１の姿勢角を検出し、さらに第１視点から撮像した際の姿勢角と第２視点から撮像した際の姿勢角の変化を検出する（ステップＳ１４）。このように、第１画像と第２画像の一部が重複するように撮像するとともにその際の姿勢角を検出するので、画像撮像部１が撮像した各画像の関連を容易に検出することができるとともに画像撮像部１の姿勢角の変化による影響をなくすことができる。
【００４４】
対応関係抽出部３は第１画像から複数の特徴点Ａｉを抽出し、第２画像から対応点Ｂｉを抽出する（ステップＳ１５）。これにより第１画像と第２画像との対応関係を検出することができる。並進運動検出部９は姿勢検出部８が検出した姿勢角並びに対応関係抽出部３が抽出した特徴点Ａi及び対応点Ｂiを基に画像撮像部１の並進運動ベクトルＴを算出する（ステップＳ１６）。３次元位置算出部４は運動検出部２が検出した姿勢角変化と視点位置変化と対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉ及び並進運動検出部９が検出した並進運動ベクトルＴを基に各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する（ステップＳ１７）。平面算出部５は対応関係抽出部３が抽出した各特徴点Ａｉが同一平面上にあるものとして、３次元位置算出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を基に最小自乗法を用いて各特徴点Ａｉが存在する平面の平面方程式を算出する（ステップＳ１８）。投影部６は運動検出部５が検出した姿勢角変化及び視点位置変化並びに平面算出部５が算出した平面方程式を基に、画像撮像部１が撮像した各画像を任意な同一画像面Ｉｍに投影して、複数の視点から撮像した各画像を合成する（ステップＳ１９）。これにより、画像撮像部１が平行移動することによる影響により合成画像に歪が生じることを防止できるとともに、画像撮像部１の回転が合成画像の歪の原因になることを防止できる。調整部７は、画像撮像部１が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する（ステップＳ２０）。これにより、合成した各画像にずれが生じることを防止でき、さらに正確に画像の合成を行なうことができる。
【００４５】
上記実施例では姿勢検出部８にＸ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８２と姿勢角検知部８３を設けた場合について説明したが、さらにＹ軸方向磁気方位センサを設けても良い。
【００４６】
また、姿勢検出部８に、例えば図１０に示すようにＸ軸方向磁気方位センサ８１とＹ軸方向磁気方位センサ８４と画像撮像部１の重力方向に対する角度を検出する重力方向検出器８５と姿勢角検知部８３を設けても良い。ここで重力方向検出器８５としては、例えばＸ軸，Ｙ軸，Ｚ軸の各軸方向の加速度を検出する加速度センサを用いて画像撮像部１の姿勢角を検出するようにしても良いし、水準器を用いて姿勢角を検出するようにしても良い。このように重力方向に対する角度を重力方向検出器８５で検出し、重力方向周りの回転角度をＸ軸方向磁気方位センサ８１とＹ軸方向磁気方位センサ８４で検出することができるので、より正確に姿勢角を検出することができる。また重力方向検出器８は、２軸方向の磁気を検出するもので良いが、大きく傾く場合には３軸回り磁気を検出するようにすると良い。
【００４７】
さらに、姿勢検出部８に、例えば図１１に示すようにＸ軸回りジャイロ８６とＹ軸回りジャイロ８７と姿勢角検知部８３を設けても良い。Ｘ軸回りジャイロ８６とＹ軸回りジャイロ８７は、Ｘ軸回りとＹ軸回りの回転角速度を検出する角速度検出部としての機能を有し、それぞれＸ軸回りの回転角速度及びＹ軸回りの回転角速度を示す信号を出力する。姿勢角検知部８３はＸ軸回りジャイロ８６とＹ軸回りジャイロ８７が出力した信号をデジタル変換した後に積分して姿勢角を検出する。このようにして磁気が不安定な場所又は磁気を検出するのが困難な場合であっても正確に画像撮像部１の姿勢角を検出することができる。
【００４８】
次ぎにこの発明の第３の実施例の撮像装置について説明する。第３の実施例の撮像装置は、図１２の構成図に示すように、画像撮像部１と位置検出部１１と対応関係抽出部３と３次元位置算出部４と平面算出部５と投影部６を有する。位置検出部１１は、図２に示すように、画像撮像部１で入力対象平面Ｇｃを第１視点Ｏｎと第２視点Ｏ（ｎ＋１）でそれぞれ撮像したときの画像面の基準座標系における位置と姿勢角を検出する。３次元位置算出部４は、位置検出部１１で検出した画像面の基準座標系における位置と姿勢角及び対応関係抽出部３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ（ｎ＋１）の対応点Ｂｉを基に各特徴点Ａｉの３次元座標値を算出する。
【００４９】
上記のように構成された撮像装置の動作を図１３のフローチャートを参照して説明する。画像撮像部１で対象物を第１視点Ｏｎにおいて撮像したときの画像Ｇｎを記憶し、位置検出部１１で基準座標系における画像面の位置と姿勢を算出する（ステップＳ２１）。その後、画像撮像部１を第２視点Ｏ（ｎ＋１）に移動して対象物を撮像し、撮像した画像Ｇ（ｎ＋１）を記憶し、位置検出部１１で基準座標系における画像面の位置と姿勢を算出して３次元位置算出部４に送る（ステップＳ２２）。対応関係抽出部３は第１視点Ｏｎにおいて撮像した画像Ｇｎ上の特徴点Ａｉを抽出し（ステップＳ２３）、第２視点Ｏ（ｎ＋１）で撮像した画像Ｇ（ｎ＋１）の特徴点Ａｉに対応する対応点Ｂｉを抽出し３次元位置算出部４に送る（ステップＳ２４）。３次元位置算出部４は位置検出部１１で検出した各視点Ｏｎ，Ｏ（ｎ＋１）における画像面の位置と姿勢角及び対応関係抽出部３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ（ｎ＋１）の対応点Ｂｉを基に各特徴点Ａｉの３次元座標値を算出し平面算出部５に送る（ステップＳ２５）。平面算出部５は複数の対象平面上の各特徴点Ａｉの座標値より平面方程式を算出する（ステップＳ２６）。投影部６は平面算出部５で算出した平面方程式で表せる画像面に各視点Ｏｎ，Ｏ（ｎ＋１）で撮像した画像を再投影して合成する（ステップＳ２７）。複数の視点で画像を撮像した場合は、上記処理を繰り返す（ステップＳ２８，Ｓ２９）。そして必要な場合、別の画像面へ再投影する（ステップＳ３０）。
【００５０】
このようにして複数の視点で分割した撮像した画像を簡単に合成することができるとともに、歪がなく精細な画像を得ることができる。
【００５１】
上記第３の実施例の位置検出部１１を、図１４に示すように、姿勢算出部１２と並進計算部１３で構成しても良い。姿勢算出部１２は、例えば加速度センサと磁気方位センサとジャイロのいずれか又はこれらの組合せを有し、各視点における画像撮像部１の姿勢角あるいは姿勢角変化を算出する。並進計算部１３は姿勢算出部１２で算出した姿勢角から各視点で得られた画像面の基準座標系に対する姿勢角を算出し、対応関係抽出部３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ（ｎ＋１）の対応点Ｂｉの対応関係より、図８に示す画像撮像部１の並進運動ベクトルＴを算出する。この並進計算部１３で算出した各視点で得られた画像面の基準座標系に対する姿勢角と画像撮像部１の並進運動ベクトルＴ及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に３次元位置算出部４で三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００５２】
姿勢算出部１２として３軸加速度センサと２軸磁気方位センサを用いた場合、図１５に示すように、重力方向をＹ軸とした基準座標系Ｘ，Ｙ，Ｚ軸及び画像撮像部１の光軸をＷ軸と一致させた撮像部座標系Ｕ，Ｖ，Ｗ軸を定義し、基準座標系Ｘ，Ｙ，Ｚ軸に対する撮像部座標系Ｕ，Ｖ，Ｗ軸の傾きを姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）とする。回転の順序は、基準座標系と撮像部座標系が一致する状態からＶ（Ｙ）軸回りにθ（Ｖ）だけ回転させてから、移動した撮像部座標系を基準にＵ軸回りにθ（Ｕ）だけ回転させ、移動した撮像部座標系を基準にＷ軸回りにθ（Ｗ）だけ回転させる。それぞれの回転行列をＲ（Ｖ），Ｒ（Ｕ），Ｒ（Ｕ）として、回転行列Ｒ＝Ｒ（Ｖ）・Ｒ（Ｕ）・Ｒ（Ｗ）を下記（３）式で表す。
【００５３】
【数３】
【００５４】
また、３軸加速度センサの出力Ａと２軸磁気方位センサの出力Ｍを下記（４）式で表す。
【００５５】
【数４】
【００５６】
ただし、２軸磁気方位センサを用いる場合Ｍ（Ｙ）は不定である。また、重力加速度ベクトルＧは下記（５）式で表せる。
【００５７】
【数５】
【００５８】
ここで地磁気の伏角φを既知とすると、地磁気べクトルＤは下記（６）式となる。
【００５９】
【数６】
【００６０】
ここで回転行列Ｒと３軸加速度センサの出力Ａと重力加速度ベクトルＧは下記（７）式の関係があるから（８）式が得られる。
【００６１】
【数７】
【００６２】
（８）式より姿勢角θ（Ｕ），θ（Ｗ）は下記（９）式で得られる。（９）式においてcosθ（Ｕ）が０の場合、θ（Ｗ）は任意に定めて良い。
【００６３】
【数８】
【００６４】
さらに、回転行列Ｒと２軸磁気方位センサの出力Ｍと地磁気べクトルＤは下記（１０）式の関係があるから（１１）式が得られる。
【００６５】
【数９】
【００６６】
（１１）式より下記（１２）式が算出され、（１２）式より姿勢角θ（Ｖ）は（１３）式で得られる。
【００６７】
【数１０】
【００６８】
このようにして姿勢算出部１２により３軸加速度センサと２軸磁気方位センサの出力から基準座標系Ｘ，Ｙ，Ｚ軸に対する画像撮像部座標系Ｕ，Ｖ，Ｗ軸の傾きを姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）を算出することができる。
【００６９】
次ぎに、姿勢算出部１２として３軸加速度センサと３軸磁気方位センサの出力から基準座標系Ｘ，Ｙ，Ｚ軸に対する画像撮像部座標系Ｕ，Ｖ，Ｗ軸の傾きを姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）を算出する場合を示す。この場合、姿勢角θ（Ｕ），θ（Ｗ）は上記（９）式で得られる。ここで地磁気の伏角は未知として良く、地磁気ベクトルＤを下記（１４）とする。
【００７０】
【数１１】
【００７１】
ここでベクトルＤ１を下記（１５）とおくと（１６）式が得られる。
【００７２】
【数１２】
【００７３】
（１６）式より（１７）式が得られる。
【００７４】
【数１３】
【００７５】
（１７）式より姿勢角θ（Ｖ）が下記（１８）式で得ることができる。
【００７６】
【数１４】
【００７７】
また、位置検出部１１を、図１６に示すように、運動検出部１４と位置姿勢計算部１５で構成しても良い。運動検出部１４は、例えば加速度センサとジャイロからなり、画像撮像部１が視点を変えて撮像するときに、画像撮像部１が移動する過程における姿勢角変化と並進運動成分を検出する。位置姿勢計算部１５は検出した画像撮像部１の姿勢角変化と並進運動成分から各視点で得られた画像面の基準座標系に対する位置と姿勢を算出する。この算出した各視点で得られた画像面の基準座標系に対する位置と姿勢及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に３次元位置算出部４で三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００７８】
さらに、図１７に示すように、運動計算部１６で基準座標系に対する各画像面の位置と姿勢を算出するようにしても良い。この場合、運動計算部１６は対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉの対応関係より視点間の画像撮像部１の位置変化と姿勢角変化を求め、求めた位置変化と姿勢角変化より基準座標系における各画像面の位置と姿勢を算出する。この算出した各視点で得られた画像面の基準座標系に対する位置と姿勢及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に３次元位置算出部４で三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００７９】
また、上記各実施例で投影部６において各撮像画像を任意の位置と姿勢の画像面に再投影後、その位置を微調整することにより合成画像の歪みを軽減することができる。すなわち、被写体は一部が重なるよう撮像されているので、再投影される画像面において、その領域は重複して投影される。そこで第１視点から投影されるこの重複部画像と第２視点から投影される重複部画像の（１）式に示す相関関数が最大となる微小量δｘ、δｙを求め、第２視点から投影される全画像に対して、δｘ、δｙだけ平行移動させる。ここで位置の微調整は相互相関値を用いるものに限られず、サブピクセルレベルの位置合わせを行っても良い。
【００８０】
次ぎにこの発明の他の実施例の撮像装置について説明する。この実施例の撮像装置は、図１８の構成図に示すように、画像撮像部１と３次元位置検出部１７と平面算出部５ａと投影部６ａ及び再調整部１８を有する。画像撮像部１は、図２（ａ）に示すように，平面状の被写体１０を視点を変えて撮像する。この視点を変えて撮像するときに、撮像する画像の一部が必ずしも重なり合っていなくても良い。３次元位置検出部１７は、例えば超音波やレーザーなどを用いた測距センサからなり、視点を変えて撮像したときに撮像対象物平面の複数の特徴点の距離を計測して各特徴点の３次元位置を検出する。平面算出部５ａは３次元位置検出部１７で検出した各特徴点の３次元位置から、最小自乗法などにより、被写体１０の面の空間上での平面方程式を算出する。ただし、この場合、算出した平面は各視点を基準とした平面となり、視点の数だけ存在し、図１９に示すように、視点Ｏｎと視点Ｏ（ｎ＋１）で撮像したとき、視点Ｏｎを基準にした平面Ｇｃｎと視点Ｏ（ｎ＋１）を基準とした平面Ｇｃ（ｎ＋１）を算出する。投影部６ａは視点Ｏｎで撮像した画像Ｇｎを平面Ｇｃｎへ再投影し、視点Ｏ（ｎ＋１）で撮像した画像Ｇ（ｎ＋１）を平面Ｇｃ（ｎ＋１）へ再投影する。再調整部１８は画像Ｇｎを投影した平面Ｇｃｎと画像Ｇ（ｎ＋１）を投影した平面Ｇｃ（ｎ＋１）の位置と姿勢を調整して合成画像を得る。この調整方法としては、画像Ｇｎと画像Ｇ（ｎ＋１）に重なる部分がある場合は、それらが適合するように調整し、重なる部分がほとんどない場合は、画像Ｇｎと画像Ｇ（ｎ＋１）が滑らかにつながるよう調整する。投影部６ａは調整して合成画像を、必要ならば任意の仮想的な視点の画像面Ｇｐへ投影して新たな画像を得る。
【００８１】
上記のように構成した撮像装置の動作を図２０のフローチャートを参照して説明する。第１視点において画像撮像部１で対象物を撮像したときの画像Ｇｎを記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の３次元位置を求める。平面算出部５ａは各特徴点の３次元位置により画像撮像部１に対する対象平面Ｇｃｎの位置と姿勢を示す平面方程式を算出する（ステップＳ３１）。投影部６ａは算出した平面Ｇｃｎに撮像した画像Ｇｎを投影する（ステップＳ３２）。次ぎに第２視点において画像撮像部１で対象物を撮像したときの画像Ｇ（ｎ＋１）を記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測し、各特徴点の３次元位置を求める。平面算出部５ａは各特徴点の３次元位置から画像撮像部１に対する対象平面Ｇｃ（ｎ＋１）の位置と姿勢を示す平面方程式を算出する（ステップＳ３３，Ｓ３４）。投影部６ａは算出した平面Ｇｃ（ｎ＋１）に撮像した画像Ｇ（ｎ＋１）を投影する（ステップＳ３５）。再調整部１８は画像Ｇｎを投影した平面Ｇｃｎと画像Ｇ（ｎ＋１）を投影した平面Ｇｃ（ｎ＋１）の位置と姿勢を調整して合成画像を得る（ステップＳ３６）。この処理を視点を変えて撮像するたびに繰り返し、所定の各視点で撮像と処理が終了したら（ステップＳ３７）、投影部６ａは合成した画像を別の画像面へ再投影する（ステップＳ３８）。
【００８２】
このように各視点で複数の特徴点の距離を直接検出して対象平面の位置と姿勢を定めるから、対象平面を算出する処理の高速化を図ることができる。
【００８３】
上記実施例は３次元位置検出部１７に超音波やレーザーなどを用いた測距センサを使用した場合について説明したが、画像撮像部１の画像面に対象物平面上の特徴点が合焦したときのレンズと画像面の位置関係から特徴点の距離を算出するようにしても良い。
【００８４】
また、図２１に示すように、３次元位置検出部１７とともに姿勢算出部１２を設け、３次元位置検出部１７で検出した各特徴点の３次元位置と姿勢算出部１２で得られた画像撮像部１の姿勢から基準座標系における平面方程式を算出することにより、対象平面の位置と姿勢を示す平面方程式を算出するとき、姿勢角の調整を行う必要がなく処理の高速化を図ることができる。
【００８５】
この場合の動作を図２２のフローチャートを参照して説明する。第１視点において、画像撮像部１で対象物を撮像したときの画像Ｇｎを記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の３次元位置を求め、姿勢算出部１２で画像撮像部１の基準座標に対する姿勢を算出する。平面算出部５ａは各特徴点の３次元位置から、画像撮像部１に対する対象平面の位置と姿勢を示す平面方程式を算出する（ステップＳ４１）。この平面方程式を画像撮像部１の基準座標に対する姿勢をもとに基準座標へ変換する（ステップＳ４２）。投影部６ａは変換した平面方程式で示す平面に画像Ｇｎを投影する（ステップＳ４３）。次ぎに第２視点において画像撮像部１で対象物を撮像したときの画像Ｇ（ｎ＋１）を記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の３次元位置を求め、姿勢算出部１２で画像撮像部１の基準座標に対する姿勢を算出する。平面算出部５ａは各特徴点の３次元位置から、画像撮像部１に対する対象平面の位置と姿勢を示す平面方程式を算出し（ステップＳ４４，Ｓ４５）、平面方程式を画像撮像部１の基準座標に対する姿勢をもとに基準座標へ変換する（ステップＳ４６）。投影部６ａは変換した平面方程式で示す平面に画像Ｇ（ｎ＋１）を投影する（ステップＳ４７）。再調整部１８は画像Ｇｎを投影した平面と画像Ｇ（ｎ＋１）を投影した平面の位置と姿勢を調整して合成画像を得る（ステップＳ４８）。この処理を視点を変えて撮像するたびに繰り返し、各視点で撮像と処理が終了したら（ステップＳ４９）、投影部６ａは合成した画像を別の画像面へ再投影する（ステップＳ５０）。
【００８６】
【発明の効果】
この発明は以上説明したように、入力対象平面をそれぞれ一部が重複するようにして複数の視点から撮像した際の姿勢角を算出し、算出した姿勢角と各視点で撮像した画像の対応関係から視点を変えたときの並進移動成分を検出し、姿勢角と特徴点と対応点及び並進運動成分を基に各特徴点に相当する入力対象平面上の３次元位置を算出して撮像した入力対象平面の各画像を任意の同一画像面に投影するので、姿勢角の変化による影響を取り除いて、複数の視点から撮像した画像をより正確に合成することができる。
【００８７】
また、複数の視点から撮像した画像を合成し、入力対象平面上の画像を復元するので、入力対象平面上の画像が大きい場合及び入力対象平面を有する対象物を移動できない場合であっても画像を撮像し復元をすることができる。
【００９１】
また、互いに直交する２軸周り又は３軸周りの角速度から撮像するときの姿勢角を検出することにより、磁気による方位検出が困難な場合であっても簡単に撮像するときの姿勢角を検出することができる。
【００９２】
また、各視点において撮像した入力対象平面の画像を投影した際に、その重複部分の相互相関値が最大になるように投影位置及びスケールを微調整するので、歪のない高精度の画像を再生することができる。
【００９３】
また、視点を変えて撮像するときに、基準座標系における画像面の位置と姿勢を算出し、各視点における画像面の位置と姿勢角及び各画像の対応関係から各特徴点の３次元座標値を算出して平面方程式を算出するから、平面状の被写体を分割撮像して合成するときに、歪みなしで合成することができ、簡単な構成で高精細な画像を得ることができる。
【００９４】
また、各視点で撮像するときの姿勢角を算出し、各視点で得られた画像面の基準座標系に対する姿勢角を算出し、算出した画像面の基準座標系に対する姿勢角と各視点で撮像した画像の対応関係から視点を変えたときの並進移動成分を算出するから、視点を変えたときの位置と姿勢を簡単に検出することができ、各特徴点の３次元座標値を算出して平面方程式を簡単に算出することができる。
【００９６】
また、視点を変えて撮像した画像の対応関係から視点間の姿勢変化と並進移動を算出することにより、撮像部の動きを検出するセンサが不要となり、装置全体の構成を簡略化できる。
【００９７】
さらに、各視点で撮像した画像を合成するときに隣接画像間で位置合わせを行うから、良質な合成画像を得ることができる。
【図面の簡単な説明】
【図１】この発明の実施例を示す構成図である。
【図２】入力対象平面に対する第１画像及び第２画像の関係を示す説明図である。
【図３】画像投影の原理を示す説明図である。
【図４】画像合成の原理を示す説明図である。
【図５】撮像装置の動作を示すフローチャートである。
【図６】第２の実施例の構成図である。
【図７】姿勢検出部の構成図である。
【図８】並進運動ベクトルを算出する原理を示す説明図である。
【図９】第２の実施例の動作を示すフローチャートである。
【図１０】重力方向検出器を有する姿勢検出部の構成図である。
【図１１】ジャイロを有する姿勢検出部の構成図である。
【図１２】第３の実施例の構成図である。
【図１３】第３の実施例の動作を示すフローチャートである。
【図１４】第４の実施例の構成図である。
【図１５】基準座標系と画像撮像部座標系を示す説明図であ。
【図１６】第５の実施例の構成図である。
【図１７】第６の実施例の構成図である。
【図１８】第７の実施例の構成図である。
【図１９】第７の実施例の画像合成を示す説明図である。
【図２０】第７の実施例の動作を示すフローチャートである。
【図２１】第８の実施例の構成図である。
【図２２】第８の実施例の動作を示すフローチャートである。
【符号の説明】
１ 画像撮像部
２ 運動検出部
３ 対応関係抽出部
４ ３次元位置算出部
５ 平面算出部
６ 投影部
７ 調整部
８ 姿勢検出部
９ 並進運動検出部
１１ 位置検出部
１２ 姿勢算出部
１３ 並進計算部
１４ 運動検出部
１５ 位置姿勢計算部
１６ 運動計算部
１７ ３次元位置検出部
１８ 再調整部
【発明の属する技術分野】
この発明は入力対象平面上の画像を一部が重なるようにして複数回撮像し、撮像した各画像を１画面上に合成して復元する撮像装置及び撮像画像合成方法、特に撮像対象となる入力対象平面が大きい場合等に分割した画像の歪を軽減して、高精細な平面画像の合成に関するものである。
【０００２】
【従来の技術】
平面上の文字又は写真を簡便、且つ、高精度に入力及び復元する装置が求められている。Ａ４サイズ又はＡ３サイズ等の通常サイズの紙面上の画像の場合には複写機又はスキャナ等で高精度な画像入力が可能である。このように複写機又はスキャナ等は通常サイズの紙面上の画像を高精度に読み込むことができるが、大きな紙面上の情報、壁に書かれた情報又はパネルに掲げられた情報等のように大きい画像あるいは動かすことのできない媒体に描かれた画像等を入力することができない。そこで、電子カメラを用いてこれらの大きい画像あるいは動かすことのできない媒体に描かれた画像などを入力する装置として、例えば特開平６−１４１２２８号公報に示された電子カメラや特開平９-９０５３０号公報に示されたパノラマ画像合成装置等が使用されている。
【０００３】
特開平６−１４１２２８号公報に示された電子カメラは、被写体像を撮影レンズ及び鏡を介して撮像素子上に結像し、前画像の一部に現画像の一部が重なるように被写体像を間欠的に複数回取り込み、現画像を前画像に適切に接続する位置に移動している。また、特開平９−９０５３０号公報に示されたパノラマ画像合成装置は、画像を合成するためのパラメータを算出し、算出したパラメータに基づいて画像を合成することにより、電子カメラの分割画像から高精度な画像を得ようとしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平６−１４１２２８号公報に掲載された電子カメラでは、鏡及びその駆動機構が必要となり、装置規模が大きくなるので、通常の電子カメラに搭載することは困難である。
【０００５】
また、原稿又はパネル上の画像を撮像する場合、カメラと被写体との距離は近ため、特開平９−９０５３０号公報に掲載されたパノラマ画像合成装置では、カメラの並進移動による透視投影の影響により合成画像に歪が生じる。また、人間が電子カメラを保持しているため任意に回転が画像に生じ、これが合成画像の歪の原因になる。
【０００６】
この発明はかかる短所を解消するためになされたものであり、分割画像を合成する際の歪を軽減することにより、簡便、且つ、高精細な平面画像を入力することができる撮像装置及び撮像画像合成方法を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明に係る撮像装置は、先に撮像した画像と一部が重複するようにして複数の視点から入力対象平面を撮像する手段と、前記撮像手段により各画像を撮像する際の前記入力対象面に対する前記撮像する手段の角度である姿勢角を検出する手段と、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出する手段と、前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記撮像する手段の並進運動成分を検出する手段と、前記検出した姿勢角と、前記抽出した特徴点及び対応点と、前記検出された並進運動成分とにより前記各特徴点の３次元位置を算出する手段と、前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の３次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出する手段と、前記検出した姿勢角と、各特徴点の並進運動成分と、前記算出した平面の情報とに基づいて前記撮像した各画像を任意の同一画像面に投影して前記画像を合成する手段とを備えたことを特徴とする。
【００１２】
前記画像を合成する手段は、前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整する手段を有して、さらに歪のない高精度の画像復元を行なう。
【００１３】
この発明に係る第２の撮像装置は、先に撮像した画像と一部が重複するようにして入力対象平面を撮像する手段と、前記撮像する手段により各画像を撮像する際の前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段と、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記の特徴点に相当する対応点を抽出する手段と、前記検出した画像面の位置と姿勢角変化及び視点位置変化と、前記抽出した特徴点及び対応点とに基づいて前記各特徴点に相当する入力対象平面上の各点の３次元位置を算出する手段と、前記算出した入力対象平面上の各点の３次元位置に基づいて入力対象平面上の各点を通る平面の情報を示す平面方程式を算出する手段と、前記算出した平面方程式で表せられる画像面に、前記撮像した各画像を再投影して画像を合成する手段とを備え、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに得られた画像面の基準座標系に対する姿勢角を算出する手段と、前記算出した画像面の基準座標系に対する姿勢角と、前記対応点を抽出する手段で得られた対応関係により前記撮像する手段の並進移動成分を算出する手段とを有することを特徴とする。
【００１５】
また、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに検出した前記画像面の姿勢角の変化と並進移動成分を検出する手段と、前記検出した姿勢角の変化と並進移動成分とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有しても良い。
【００１６】
さらに、前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記対応点を抽出する手段で得られた複数の特徴点と対応点の位置関係から前記撮像する手段の姿勢変化と並進移動を算出する手段と、前記算出した前記撮像する手段の姿勢変化と並進移動とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有しても良い。
【００２１】
この発明の撮像画像合成方法は、先に撮像した画像と一部が重複するようにして入力対象平面を撮像し、前記各画像を撮像する際の前記入力対象面に対する撮像角度である姿勢角を検出し、前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出し、前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記各画像を撮像したときの並進運動成分を検出し、前記検出した姿勢角と、前記抽出した特徴点及び対応点と前記検出された並進運動成分とにより前記各特徴点の３次元位置を算出し、前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の３次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出し、前記検出した姿勢角と各特徴点の並進運動成分と前記算出した平面の情報とに基づいて、前記撮像した各画像を任意の同一画像面に投影して前記画像を合成することを特徴とする。
【００２４】
前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整することが望ましい。
【００２７】
【発明の実施の形態】
この発明の撮像装置は、画像撮像部と運動検出部と対応関係抽出部と３次元位置算出部と平面算出部と投影部とを有する。画像撮像部は先に撮像した画像と一部が重複するようにして異なる複数例えば２点の視点から入力対象平面を撮像する。運動検出部は画像撮像部による各撮像の際の視点における画像撮像部の角度である姿勢角の変化及び視点の位置の変化を検出する。対応関係抽出部は先に撮像した画像から複数の特徴点を抽出し、特徴点を抽出した画像の次ぎに撮像した画像において先の画像で抽出した特徴点に対応する点である対応点を抽出する。３次元位置算出部は運動検出部が検出した姿勢角変化及び視点位置変化並びに対応関係抽出部が抽出した特徴点及び対応点を基に各特徴点の３次元位置を算出する。この特徴点の３次元位置を算出するには、例えば先に撮像した第１視点から次ぎに撮像した第２視点への姿勢変化を基に、第１視点の光学中心から各特徴点までの視線ベクトルと第２視点の光学中心から各対応点までの視線ベクトルを算出し、算出した視線ベクトルと第１視点と第２視点の位置変化を基に三角測量の原理により、各特徴点の３次元位置を算出する。
【００２８】
平面算出部は対応関係抽出部が抽出した各特徴点が同一平面上にあるものとして、３次元位置算出部が計測した各特徴点の３次元位置を基に、例えば最小自乗法を用いて各特徴点が存在する平面の情報を示す平面方程式を算出する。投影部は運動検出部が検出した姿勢角変化及び視点位置変化並びに平面算出部が算出した平面の情報を基に、画像撮像部が撮像した各画像を任意な同一画像面に投影して複数の視点から撮像した画像を合成し、入力対象平面上の画像を復元する。
【００２９】
【実施例】
図１はこの発明の一実施例の撮像装置の構成図である。図に示すように、撮像装置は、例えば画像撮像部１と運動検出部２と対応関係抽出部３と３次元位置算出部４と平面算出部５と投影部６と調整部７とを有する。画像撮像部１は、例えばＣＣＤエリアセンサ等を備え、図２（ａ）に示すように、被写体１０の入力対象平面Ｇｃを第１視点Ｏｎと第２視点Ｏ（ｎ＋１）でそれぞれ撮像した画像の一部が、図２（ｂ）及び図２（ｃ）に示すように重複するようにして撮像する。図２（ｂ）に示す第１視点Ｏｎで撮像した画像Ｇｎの１つの特徴点Ａを定めると、図２（ｂ）に示す第２視Ｏ（ｎ＋１）で撮像した画像Ｇ（ｎ＋１）において画像Ｇｎの特徴点Ａに対応する対応点は点Ｂになる。
【００３０】
運動検出部２は画像撮像部１による各撮像の際の入力対象平面Ｇｃに対する画像撮像部１の角度である姿勢角の変化及び視点の位置の変化を検出する。対応関係抽出部３は第１視点Ｏｎで撮像した第１画像Ｇｎから複数の特徴点Ａｉ（ｉは整数であり、各特徴点の順番を表わす。）を抽出し、第２視点Ｏ（ｎ＋１）で撮像した第２画像Ｇ（ｎ＋１）において第１画像Ｇｎの特徴点Ａｉに対応する第２画像Ｇ（ｎ＋１）の対応点Ｂｉを抽出する。３次元位置算出部４は運動検出部２が検出した姿勢角変化と視点位置変化及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する。このように特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出するには、第１視点Ｏｎで撮像した第１画像面の光学中心を原点とし、第１視点Ｏｎから第２視点Ｏ（ｎ＋１）に移動したときの画像撮像部１の姿勢変化を基に、第１視点Ｏｎの光学中心から各特徴点Ａｉまでの視線ベクトルＶ１ｉと第２視点Ｏ（ｎ＋１）の光学中心から対応点Ｂｉまでの視線ベクトルＶ２ｉを算出し、算出した視線ベクトルＶ１ｉ，Ｖ２ｉと各視点の位置変化を基に三角測量の原理により、各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する。
【００３１】
平面算出部５は対応関係抽出部３が抽出した各特徴点Ａｉが同一平面上にあるとして、３次元位置算出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を基に、例えば最小自乗法を用いて各特徴点Ａｉが存在する平面の情報として平面方程式を算出する。投影部６は運動検出部５が検出した姿勢角変化及び視点位置変化並びに平面算出部５が算出した平面方程式を基に、画像撮像部１が撮像した各画像を任意の同一画像面に投影して、複数の視点から撮像した各画像を合成する。ここで、画像撮像部１が撮像した各画像を任意の同一画像面に投影する動作について、図３を参照して説明する。
【００３２】
ある視点で得た画像面Ｉｎ上の点Ｐｎとこの視点の光学中心Ｏｎとを結ぶ直線が平面算出部５が算出した平面Ｇｃと交差する点をＰｃとする。また、新たに合成する画像を投影する画像面をＩｍとし、この光学中心をＯｍとする。点Ｐｃと光学中心Ｏｍとを結ぶ直線が画像面Ｉｍと交差する点Ｐｍに画素をマッチングする。この動作を必要な画素全てに対して行なうことにより、図４に示すように画像面Ｉｍに新たな画像を形成する。この処理を画像撮像部１が撮像した各画像に対して行ない、画像撮像部１が撮像した各画像を任意な同一画像面に投影することにより複数の視点から撮像した画像を合成する。ここで、このようにして形成した画像は記憶装置に保存しても良いし、表示装置に表示したり、印刷装置から印刷するようにしても良い。
【００３３】
調整部７は、画像撮像部１が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する。入力対象平面Ｇｃ上の画像は一部が重複するように撮像されているので、画像を投影する画像面Ｉｍにおいて重複して撮像された領域は重複して投影されている。第１画像の重複部画像をＩｎ（ｘ，ｙ）とし、第２画像の重複部画像をＩｍ（ｘ，ｙ）としたとき、下記（１）式で示す相関関数の値Ｓが最大となるようにδｘ及びδｙを求め、第２画像の全画素をδｘ及びδｙだけシフトする。
【００３４】
【数１】
上記のように構成した撮像装置の動作を図５のフローチャートを参照して説明する。画像撮像部１は入力対象平面Ｇｃを第１視点から撮像し、撮像した第１画像を記憶装置に記憶する（ステップＳ１，Ｓ２）。その後、ユーザが画像撮像部１を撮像した画像の一部が重複するように第２視点に移動した後に第２視点から撮像し、撮像した第２画像を記憶装置に記憶する（ステップＳ３，Ｓ４）。このように、第１画像と第２画像の一部が重複するように撮像するので、画像撮像部１が撮像した各画像の関連を容易に検出することができる。
【００３６】
運動検出部２は第１画像を撮像した際から第２画像を撮像する際までの画像撮像部１の姿勢角の変化及び視点の位置の変化を検出する（ステップＳ５）。対応関係抽出部３は第１画像から複数の特徴点Ａｉを抽出し、第２画像から対応点Ｂｉを抽出する（ステップＳ６）。これにより、第１画像と第２画像との対応関係を検出することができる。３次元位置算出部４は運動検出部２が検出した姿勢角変化及び視点位置変化並びに対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基にして各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する（ステップＳ７）。平面算出部５は対応関係抽出部３が抽出した各特徴点Ａｉが同一平面上にあるものとして、３次元位置算出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を基に最小自乗法を用いて各特徴点Ａｉが存在する平面の平面方程式を算出する（ステップＳ８）。投影部６は運動検出部５が検出した姿勢角変化及び視点位置変化並びに平面算出部５が算出した平面方程式を基に、画像撮像部１が撮像した各画像を任意の同一画像面Ｉｍに投影して、複数の視点から撮像した各画像を合成する（ステップＳ９）。このようにして、画像撮像部１が並進移動することによる影響により合成画像に歪が生じることを防止できるとともに、画像撮像部１の回転が合成画像の歪の原因になることを防止できる。
【００３７】
調整部７は、画像撮像部１が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する（ステップＳ１０）。これにより、合成した各画像にずれが生じることを防止でき、さらに正確に画像の合成を行なうことができる。
【００３８】
次ぎに、この発明の第２の実施例の撮像装置について説明する。第２の実施例の撮像装置は、図６の構成図に示すように、画像撮像部１と姿勢検出部８と対応関係抽出部３と並進運動検出部９と３次元位置算出部４と平面算出部５と投影部６と調整部７を有する。
【００３９】
姿勢検出部８は、例えば図７に示すようにＸ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８１と姿勢角検知部８３とを有する。Ｘ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８２はそれぞれ画像面に垂直な方向をＺ軸とした場合のＸ軸方向とＺ軸方向の磁気の検出信号を出力する。ここで検出する磁気方位は地磁気によるものでも、人工的に発生させた磁界によるものでも良い。姿勢角検知部８３はＸ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８２からの信号を基に画像撮像部１で撮像するときの各視点における画像撮像部１の角度である姿勢角を検知する。
【００４０】
並進運動検出部９は姿勢検出部８が検出した姿勢角並びに対応関係抽出部３が抽出した特徴点Ａｉ及び対応点Ｂｉを基に画像撮像部１の並進運動成分Ｔを算出する。並進運動成分Ｔを算出するには、例えば並進運動検出部９は姿勢検出部８が検出した第１画像撮像の際の姿勢角と第２画像撮像の際の姿勢角から姿勢角の変化を算出し、図８に示すような同じ座標系で特徴点Ａｉを通る視線ベクトルＶ１ｉと対応点Ｂｉを通る視線ベクトルＶ２ｉを算出する。視線ベクトルＶ１ｉ，Ｖ２ｉと並進運動ベクトルＴのスカラーの三重積は理想的には「０」である。そこで、並進運動ベクトルＴは各特徴点Ａｉにおけるスカラーの三重積の総和である下記（２）式に示す値を最小化する値として算出する。
【００４１】
【数２】
３次元位置算出部４は、姿勢検出部８が検出した姿勢角と対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉ及び並進運動検出部９が検出した並進運動ベクトルＴを基に三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００４３】
上記のように構成した撮像装置の動作を図９のフローチャートを参照して説明する。画像撮像部１は入力対象平面Ｇｃを第１視点で撮像し、撮像した第１画像を記憶装置に記憶する（ステップＳ１１）。姿勢検出部８は画像撮像部１が第１視点から撮像した際の画像撮像部１の姿勢角を検出する（ステップＳ１２）。その後、ユーザが画像撮像部１をそれぞれ撮像した画像の一部が重複するように第２視点に移動した後に第２視点で撮像し、撮像した第２画像を記憶装置に記憶する（ステップＳ１３）。姿勢検出部８は画像撮像部１が第１視点から撮像した際と同様に画像撮像部１が第１視点から撮像した際の画像撮像部１の姿勢角を検出し、さらに第１視点から撮像した際の姿勢角と第２視点から撮像した際の姿勢角の変化を検出する（ステップＳ１４）。このように、第１画像と第２画像の一部が重複するように撮像するとともにその際の姿勢角を検出するので、画像撮像部１が撮像した各画像の関連を容易に検出することができるとともに画像撮像部１の姿勢角の変化による影響をなくすことができる。
【００４４】
対応関係抽出部３は第１画像から複数の特徴点Ａｉを抽出し、第２画像から対応点Ｂｉを抽出する（ステップＳ１５）。これにより第１画像と第２画像との対応関係を検出することができる。並進運動検出部９は姿勢検出部８が検出した姿勢角並びに対応関係抽出部３が抽出した特徴点Ａi及び対応点Ｂiを基に画像撮像部１の並進運動ベクトルＴを算出する（ステップＳ１６）。３次元位置算出部４は運動検出部２が検出した姿勢角変化と視点位置変化と対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉ及び並進運動検出部９が検出した並進運動ベクトルＴを基に各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を算出する（ステップＳ１７）。平面算出部５は対応関係抽出部３が抽出した各特徴点Ａｉが同一平面上にあるものとして、３次元位置算出部４が計測した各特徴点Ａｉの３次元位置（Ｘｉ１，Ｙｉ１，Ｚｉ１）を基に最小自乗法を用いて各特徴点Ａｉが存在する平面の平面方程式を算出する（ステップＳ１８）。投影部６は運動検出部５が検出した姿勢角変化及び視点位置変化並びに平面算出部５が算出した平面方程式を基に、画像撮像部１が撮像した各画像を任意な同一画像面Ｉｍに投影して、複数の視点から撮像した各画像を合成する（ステップＳ１９）。これにより、画像撮像部１が平行移動することによる影響により合成画像に歪が生じることを防止できるとともに、画像撮像部１の回転が合成画像の歪の原因になることを防止できる。調整部７は、画像撮像部１が撮像した各画像を画像面に投影した際にその重複部分の相互相関値が最大になるように投影位置及びスケールを微調整する（ステップＳ２０）。これにより、合成した各画像にずれが生じることを防止でき、さらに正確に画像の合成を行なうことができる。
【００４５】
上記実施例では姿勢検出部８にＸ軸方向磁気方位センサ８１とＺ軸方向磁気方位センサ８２と姿勢角検知部８３を設けた場合について説明したが、さらにＹ軸方向磁気方位センサを設けても良い。
【００４６】
また、姿勢検出部８に、例えば図１０に示すようにＸ軸方向磁気方位センサ８１とＹ軸方向磁気方位センサ８４と画像撮像部１の重力方向に対する角度を検出する重力方向検出器８５と姿勢角検知部８３を設けても良い。ここで重力方向検出器８５としては、例えばＸ軸，Ｙ軸，Ｚ軸の各軸方向の加速度を検出する加速度センサを用いて画像撮像部１の姿勢角を検出するようにしても良いし、水準器を用いて姿勢角を検出するようにしても良い。このように重力方向に対する角度を重力方向検出器８５で検出し、重力方向周りの回転角度をＸ軸方向磁気方位センサ８１とＹ軸方向磁気方位センサ８４で検出することができるので、より正確に姿勢角を検出することができる。また重力方向検出器８は、２軸方向の磁気を検出するもので良いが、大きく傾く場合には３軸回り磁気を検出するようにすると良い。
【００４７】
さらに、姿勢検出部８に、例えば図１１に示すようにＸ軸回りジャイロ８６とＹ軸回りジャイロ８７と姿勢角検知部８３を設けても良い。Ｘ軸回りジャイロ８６とＹ軸回りジャイロ８７は、Ｘ軸回りとＹ軸回りの回転角速度を検出する角速度検出部としての機能を有し、それぞれＸ軸回りの回転角速度及びＹ軸回りの回転角速度を示す信号を出力する。姿勢角検知部８３はＸ軸回りジャイロ８６とＹ軸回りジャイロ８７が出力した信号をデジタル変換した後に積分して姿勢角を検出する。このようにして磁気が不安定な場所又は磁気を検出するのが困難な場合であっても正確に画像撮像部１の姿勢角を検出することができる。
【００４８】
次ぎにこの発明の第３の実施例の撮像装置について説明する。第３の実施例の撮像装置は、図１２の構成図に示すように、画像撮像部１と位置検出部１１と対応関係抽出部３と３次元位置算出部４と平面算出部５と投影部６を有する。位置検出部１１は、図２に示すように、画像撮像部１で入力対象平面Ｇｃを第１視点Ｏｎと第２視点Ｏ（ｎ＋１）でそれぞれ撮像したときの画像面の基準座標系における位置と姿勢角を検出する。３次元位置算出部４は、位置検出部１１で検出した画像面の基準座標系における位置と姿勢角及び対応関係抽出部３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ（ｎ＋１）の対応点Ｂｉを基に各特徴点Ａｉの３次元座標値を算出する。
【００４９】
上記のように構成された撮像装置の動作を図１３のフローチャートを参照して説明する。画像撮像部１で対象物を第１視点Ｏｎにおいて撮像したときの画像Ｇｎを記憶し、位置検出部１１で基準座標系における画像面の位置と姿勢を算出する（ステップＳ２１）。その後、画像撮像部１を第２視点Ｏ（ｎ＋１）に移動して対象物を撮像し、撮像した画像Ｇ（ｎ＋１）を記憶し、位置検出部１１で基準座標系における画像面の位置と姿勢を算出して３次元位置算出部４に送る（ステップＳ２２）。対応関係抽出部３は第１視点Ｏｎにおいて撮像した画像Ｇｎ上の特徴点Ａｉを抽出し（ステップＳ２３）、第２視点Ｏ（ｎ＋１）で撮像した画像Ｇ（ｎ＋１）の特徴点Ａｉに対応する対応点Ｂｉを抽出し３次元位置算出部４に送る（ステップＳ２４）。３次元位置算出部４は位置検出部１１で検出した各視点Ｏｎ，Ｏ（ｎ＋１）における画像面の位置と姿勢角及び対応関係抽出部３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ（ｎ＋１）の対応点Ｂｉを基に各特徴点Ａｉの３次元座標値を算出し平面算出部５に送る（ステップＳ２５）。平面算出部５は複数の対象平面上の各特徴点Ａｉの座標値より平面方程式を算出する（ステップＳ２６）。投影部６は平面算出部５で算出した平面方程式で表せる画像面に各視点Ｏｎ，Ｏ（ｎ＋１）で撮像した画像を再投影して合成する（ステップＳ２７）。複数の視点で画像を撮像した場合は、上記処理を繰り返す（ステップＳ２８，Ｓ２９）。そして必要な場合、別の画像面へ再投影する（ステップＳ３０）。
【００５０】
このようにして複数の視点で分割した撮像した画像を簡単に合成することができるとともに、歪がなく精細な画像を得ることができる。
【００５１】
上記第３の実施例の位置検出部１１を、図１４に示すように、姿勢算出部１２と並進計算部１３で構成しても良い。姿勢算出部１２は、例えば加速度センサと磁気方位センサとジャイロのいずれか又はこれらの組合せを有し、各視点における画像撮像部１の姿勢角あるいは姿勢角変化を算出する。並進計算部１３は姿勢算出部１２で算出した姿勢角から各視点で得られた画像面の基準座標系に対する姿勢角を算出し、対応関係抽出部３で抽出した第１画像Ｇｎの特徴点Ａｉと第２画像Ｇ（ｎ＋１）の対応点Ｂｉの対応関係より、図８に示す画像撮像部１の並進運動ベクトルＴを算出する。この並進計算部１３で算出した各視点で得られた画像面の基準座標系に対する姿勢角と画像撮像部１の並進運動ベクトルＴ及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に３次元位置算出部４で三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００５２】
姿勢算出部１２として３軸加速度センサと２軸磁気方位センサを用いた場合、図１５に示すように、重力方向をＹ軸とした基準座標系Ｘ，Ｙ，Ｚ軸及び画像撮像部１の光軸をＷ軸と一致させた撮像部座標系Ｕ，Ｖ，Ｗ軸を定義し、基準座標系Ｘ，Ｙ，Ｚ軸に対する撮像部座標系Ｕ，Ｖ，Ｗ軸の傾きを姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）とする。回転の順序は、基準座標系と撮像部座標系が一致する状態からＶ（Ｙ）軸回りにθ（Ｖ）だけ回転させてから、移動した撮像部座標系を基準にＵ軸回りにθ（Ｕ）だけ回転させ、移動した撮像部座標系を基準にＷ軸回りにθ（Ｗ）だけ回転させる。それぞれの回転行列をＲ（Ｖ），Ｒ（Ｕ），Ｒ（Ｕ）として、回転行列Ｒ＝Ｒ（Ｖ）・Ｒ（Ｕ）・Ｒ（Ｗ）を下記（３）式で表す。
【００５３】
【数３】
また、３軸加速度センサの出力Ａと２軸磁気方位センサの出力Ｍを下記（４）式で表す。
【００５５】
【数４】
ただし、２軸磁気方位センサを用いる場合Ｍ（Ｙ）は不定である。また、重力加速度ベクトルＧは下記（５）式で表せる。
【００５７】
【数５】
ここで地磁気の伏角φを既知とすると、地磁気べクトルＤは下記（６）式となる。
【００５９】
【数６】
ここで回転行列Ｒと３軸加速度センサの出力Ａと重力加速度ベクトルＧは下記（７）式の関係があるから（８）式が得られる。
【００６１】
【数７】
（８）式より姿勢角θ（Ｕ），θ（Ｗ）は下記（９）式で得られる。（９）式においてcosθ（Ｕ）が０の場合、θ（Ｗ）は任意に定めて良い。
【００６３】
【数８】
さらに、回転行列Ｒと２軸磁気方位センサの出力Ｍと地磁気べクトルＤは下記（１０）式の関係があるから（１１）式が得られる。
【００６５】
【数９】
（１１）式より下記（１２）式が算出され、（１２）式より姿勢角θ（Ｖ）は（１３）式で得られる。
【００６７】
【数１０】
このようにして姿勢算出部１２により３軸加速度センサと２軸磁気方位センサの出力から基準座標系Ｘ，Ｙ，Ｚ軸に対する画像撮像部座標系Ｕ，Ｖ，Ｗ軸の傾きを姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）を算出することができる。
【００６９】
次ぎに、姿勢算出部１２として３軸加速度センサと３軸磁気方位センサの出力から基準座標系Ｘ，Ｙ，Ｚ軸に対する画像撮像部座標系Ｕ，Ｖ，Ｗ軸の傾きを姿勢角θ（Ｕ），θ（Ｖ），θ（Ｗ）を算出する場合を示す。この場合、姿勢角θ（Ｕ），θ（Ｗ）は上記（９）式で得られる。ここで地磁気の伏角は未知として良く、地磁気ベクトルＤを下記（１４）とする。
【００７０】
【数１１】
ここでベクトルＤ１を下記（１５）とおくと（１６）式が得られる。
【００７２】
【数１２】
（１６）式より（１７）式が得られる。
【００７４】
【数１３】
（１７）式より姿勢角θ（Ｖ）が下記（１８）式で得ることができる。
【００７６】
【数１４】
また、位置検出部１１を、図１６に示すように、運動検出部１４と位置姿勢計算部１５で構成しても良い。運動検出部１４は、例えば加速度センサとジャイロからなり、画像撮像部１が視点を変えて撮像するときに、画像撮像部１が移動する過程における姿勢角変化と並進運動成分を検出する。位置姿勢計算部１５は検出した画像撮像部１の姿勢角変化と並進運動成分から各視点で得られた画像面の基準座標系に対する位置と姿勢を算出する。この算出した各視点で得られた画像面の基準座標系に対する位置と姿勢及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に３次元位置算出部４で三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００７８】
さらに、図１７に示すように、運動計算部１６で基準座標系に対する各画像面の位置と姿勢を算出するようにしても良い。この場合、運動計算部１６は対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉの対応関係より視点間の画像撮像部１の位置変化と姿勢角変化を求め、求めた位置変化と姿勢角変化より基準座標系における各画像面の位置と姿勢を算出する。この算出した各視点で得られた画像面の基準座標系に対する位置と姿勢及び対応関係抽出部３が抽出した特徴点Ａｉと対応点Ｂｉを基に３次元位置算出部４で三角測量の原理を用いて各特徴点Ａｉの３次元位置を算出する。
【００７９】
また、上記各実施例で投影部６において各撮像画像を任意の位置と姿勢の画像面に再投影後、その位置を微調整することにより合成画像の歪みを軽減することができる。すなわち、被写体は一部が重なるよう撮像されているので、再投影される画像面において、その領域は重複して投影される。そこで第１視点から投影されるこの重複部画像と第２視点から投影される重複部画像の（１）式に示す相関関数が最大となる微小量δｘ、δｙを求め、第２視点から投影される全画像に対して、δｘ、δｙだけ平行移動させる。ここで位置の微調整は相互相関値を用いるものに限られず、サブピクセルレベルの位置合わせを行っても良い。
【００８０】
次ぎにこの発明の他の実施例の撮像装置について説明する。この実施例の撮像装置は、図１８の構成図に示すように、画像撮像部１と３次元位置検出部１７と平面算出部５ａと投影部６ａ及び再調整部１８を有する。画像撮像部１は、図２（ａ）に示すように，平面状の被写体１０を視点を変えて撮像する。この視点を変えて撮像するときに、撮像する画像の一部が必ずしも重なり合っていなくても良い。３次元位置検出部１７は、例えば超音波やレーザーなどを用いた測距センサからなり、視点を変えて撮像したときに撮像対象物平面の複数の特徴点の距離を計測して各特徴点の３次元位置を検出する。平面算出部５ａは３次元位置検出部１７で検出した各特徴点の３次元位置から、最小自乗法などにより、被写体１０の面の空間上での平面方程式を算出する。ただし、この場合、算出した平面は各視点を基準とした平面となり、視点の数だけ存在し、図１９に示すように、視点Ｏｎと視点Ｏ（ｎ＋１）で撮像したとき、視点Ｏｎを基準にした平面Ｇｃｎと視点Ｏ（ｎ＋１）を基準とした平面Ｇｃ（ｎ＋１）を算出する。投影部６ａは視点Ｏｎで撮像した画像Ｇｎを平面Ｇｃｎへ再投影し、視点Ｏ（ｎ＋１）で撮像した画像Ｇ（ｎ＋１）を平面Ｇｃ（ｎ＋１）へ再投影する。再調整部１８は画像Ｇｎを投影した平面Ｇｃｎと画像Ｇ（ｎ＋１）を投影した平面Ｇｃ（ｎ＋１）の位置と姿勢を調整して合成画像を得る。この調整方法としては、画像Ｇｎと画像Ｇ（ｎ＋１）に重なる部分がある場合は、それらが適合するように調整し、重なる部分がほとんどない場合は、画像Ｇｎと画像Ｇ（ｎ＋１）が滑らかにつながるよう調整する。投影部６ａは調整して合成画像を、必要ならば任意の仮想的な視点の画像面Ｇｐへ投影して新たな画像を得る。
【００８１】
上記のように構成した撮像装置の動作を図２０のフローチャートを参照して説明する。第１視点において画像撮像部１で対象物を撮像したときの画像Ｇｎを記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の３次元位置を求める。平面算出部５ａは各特徴点の３次元位置により画像撮像部１に対する対象平面Ｇｃｎの位置と姿勢を示す平面方程式を算出する（ステップＳ３１）。投影部６ａは算出した平面Ｇｃｎに撮像した画像Ｇｎを投影する（ステップＳ３２）。次ぎに第２視点において画像撮像部１で対象物を撮像したときの画像Ｇ（ｎ＋１）を記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測し、各特徴点の３次元位置を求める。平面算出部５ａは各特徴点の３次元位置から画像撮像部１に対する対象平面Ｇｃ（ｎ＋１）の位置と姿勢を示す平面方程式を算出する（ステップＳ３３，Ｓ３４）。投影部６ａは算出した平面Ｇｃ（ｎ＋１）に撮像した画像Ｇ（ｎ＋１）を投影する（ステップＳ３５）。再調整部１８は画像Ｇｎを投影した平面Ｇｃｎと画像Ｇ（ｎ＋１）を投影した平面Ｇｃ（ｎ＋１）の位置と姿勢を調整して合成画像を得る（ステップＳ３６）。この処理を視点を変えて撮像するたびに繰り返し、所定の各視点で撮像と処理が終了したら（ステップＳ３７）、投影部６ａは合成した画像を別の画像面へ再投影する（ステップＳ３８）。
【００８２】
このように各視点で複数の特徴点の距離を直接検出して対象平面の位置と姿勢を定めるから、対象平面を算出する処理の高速化を図ることができる。
【００８３】
上記実施例は３次元位置検出部１７に超音波やレーザーなどを用いた測距センサを使用した場合について説明したが、画像撮像部１の画像面に対象物平面上の特徴点が合焦したときのレンズと画像面の位置関係から特徴点の距離を算出するようにしても良い。
【００８４】
また、図２１に示すように、３次元位置検出部１７とともに姿勢算出部１２を設け、３次元位置検出部１７で検出した各特徴点の３次元位置と姿勢算出部１２で得られた画像撮像部１の姿勢から基準座標系における平面方程式を算出することにより、対象平面の位置と姿勢を示す平面方程式を算出するとき、姿勢角の調整を行う必要がなく処理の高速化を図ることができる。
【００８５】
この場合の動作を図２２のフローチャートを参照して説明する。第１視点において、画像撮像部１で対象物を撮像したときの画像Ｇｎを記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の３次元位置を求め、姿勢算出部１２で画像撮像部１の基準座標に対する姿勢を算出する。平面算出部５ａは各特徴点の３次元位置から、画像撮像部１に対する対象平面の位置と姿勢を示す平面方程式を算出する（ステップＳ４１）。この平面方程式を画像撮像部１の基準座標に対する姿勢をもとに基準座標へ変換する（ステップＳ４２）。投影部６ａは変換した平面方程式で示す平面に画像Ｇｎを投影する（ステップＳ４３）。次ぎに第２視点において画像撮像部１で対象物を撮像したときの画像Ｇ（ｎ＋１）を記憶し、３次元位置検出部１７で撮像対象物平面の複数の特徴点の距離を計測して、各特徴点の３次元位置を求め、姿勢算出部１２で画像撮像部１の基準座標に対する姿勢を算出する。平面算出部５ａは各特徴点の３次元位置から、画像撮像部１に対する対象平面の位置と姿勢を示す平面方程式を算出し（ステップＳ４４，Ｓ４５）、平面方程式を画像撮像部１の基準座標に対する姿勢をもとに基準座標へ変換する（ステップＳ４６）。投影部６ａは変換した平面方程式で示す平面に画像Ｇ（ｎ＋１）を投影する（ステップＳ４７）。再調整部１８は画像Ｇｎを投影した平面と画像Ｇ（ｎ＋１）を投影した平面の位置と姿勢を調整して合成画像を得る（ステップＳ４８）。この処理を視点を変えて撮像するたびに繰り返し、各視点で撮像と処理が終了したら（ステップＳ４９）、投影部６ａは合成した画像を別の画像面へ再投影する（ステップＳ５０）。
【００８６】
【発明の効果】
この発明は以上説明したように、入力対象平面をそれぞれ一部が重複するようにして複数の視点から撮像した際の姿勢角を算出し、算出した姿勢角と各視点で撮像した画像の対応関係から視点を変えたときの並進移動成分を検出し、姿勢角と特徴点と対応点及び並進運動成分を基に各特徴点に相当する入力対象平面上の３次元位置を算出して撮像した入力対象平面の各画像を任意の同一画像面に投影するので、姿勢角の変化による影響を取り除いて、複数の視点から撮像した画像をより正確に合成することができる。
【００８７】
また、複数の視点から撮像した画像を合成し、入力対象平面上の画像を復元するので、入力対象平面上の画像が大きい場合及び入力対象平面を有する対象物を移動できない場合であっても画像を撮像し復元をすることができる。
【００９１】
また、互いに直交する２軸周り又は３軸周りの角速度から撮像するときの姿勢角を検出することにより、磁気による方位検出が困難な場合であっても簡単に撮像するときの姿勢角を検出することができる。
【００９２】
また、各視点において撮像した入力対象平面の画像を投影した際に、その重複部分の相互相関値が最大になるように投影位置及びスケールを微調整するので、歪のない高精度の画像を再生することができる。
【００９３】
また、視点を変えて撮像するときに、基準座標系における画像面の位置と姿勢を算出し、各視点における画像面の位置と姿勢角及び各画像の対応関係から各特徴点の３次元座標値を算出して平面方程式を算出するから、平面状の被写体を分割撮像して合成するときに、歪みなしで合成することができ、簡単な構成で高精細な画像を得ることができる。
【００９４】
また、各視点で撮像するときの姿勢角を算出し、各視点で得られた画像面の基準座標系に対する姿勢角を算出し、算出した画像面の基準座標系に対する姿勢角と各視点で撮像した画像の対応関係から視点を変えたときの並進移動成分を算出するから、視点を変えたときの位置と姿勢を簡単に検出することができ、各特徴点の３次元座標値を算出して平面方程式を簡単に算出することができる。
【００９６】
また、視点を変えて撮像した画像の対応関係から視点間の姿勢変化と並進移動を算出することにより、撮像部の動きを検出するセンサが不要となり、装置全体の構成を簡略化できる。
【００９７】
さらに、各視点で撮像した画像を合成するときに隣接画像間で位置合わせを行うから、良質な合成画像を得ることができる。
【図面の簡単な説明】
【図１】この発明の実施例を示す構成図である。
【図２】入力対象平面に対する第１画像及び第２画像の関係を示す説明図である。
【図３】画像投影の原理を示す説明図である。
【図４】画像合成の原理を示す説明図である。
【図５】撮像装置の動作を示すフローチャートである。
【図６】第２の実施例の構成図である。
【図７】姿勢検出部の構成図である。
【図８】並進運動ベクトルを算出する原理を示す説明図である。
【図９】第２の実施例の動作を示すフローチャートである。
【図１０】重力方向検出器を有する姿勢検出部の構成図である。
【図１１】ジャイロを有する姿勢検出部の構成図である。
【図１２】第３の実施例の構成図である。
【図１３】第３の実施例の動作を示すフローチャートである。
【図１４】第４の実施例の構成図である。
【図１５】基準座標系と画像撮像部座標系を示す説明図であ。
【図１６】第５の実施例の構成図である。
【図１７】第６の実施例の構成図である。
【図１８】第７の実施例の構成図である。
【図１９】第７の実施例の画像合成を示す説明図である。
【図２０】第７の実施例の動作を示すフローチャートである。
【図２１】第８の実施例の構成図である。
【図２２】第８の実施例の動作を示すフローチャートである。
【符号の説明】
１ 画像撮像部
２ 運動検出部
３ 対応関係抽出部
４ ３次元位置算出部
５ 平面算出部
６ 投影部
７ 調整部
８ 姿勢検出部
９ 並進運動検出部
１１ 位置検出部
１２ 姿勢算出部
１３ 並進計算部
１４ 運動検出部
１５ 位置姿勢計算部
１６ 運動計算部
１７ ３次元位置検出部
１８ 再調整部
Claims (7)
- 先に撮像した画像と一部が重複するようにして複数の視点から入力対象平面を撮像する手段と、
前記撮像手段により各画像を撮像する際の前記入力対象面に対する前記撮像する手段の角度である姿勢角を検出する手段と、
前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出する手段と、
前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記撮像する手段の並進運動成分を検出する手段と、
前記検出した姿勢角と、前記抽出した特徴点及び対応点と、前記検出された並進運動成分とにより前記各特徴点の３次元位置を算出する手段と、
前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の３次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出する手段と、
前記検出した姿勢角と、各特徴点の並進運動成分と、前記算出した平面の情報とに基づいて前記撮像した各画像を任意の同一画像面に投影して前記画像を合成する手段と、
を備えたことを特徴とする撮像装置。 - 前記画像を合成する手段は、前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整する手段を有する請求項１記載の撮像装置。
- 先に撮像した画像と一部が重複するようにして入力対象平面を撮像する手段と、
前記撮像する手段により各画像を撮像する際の前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段と、
前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記の特徴点に相当する対応点を抽出する手段と、
前記検出した画像面の位置と姿勢角変化及び視点位置変化と、前記抽出した特徴点及び対応点とに基づいて前記各特徴点に相当する入力対象平面上の各点の３次元位置を算出する手段と、
前記算出した入力対象平面上の各点の３次元位置に基づいて入力対象平面上の各点を通る平面の情報を示す平面方程式を算出する手段と、
前記算出した平面方程式で表せられる画像面に、前記撮像した各画像を再投影して画像を合成する手段とを備え、
前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに得られた画像面の基準座標系に対する姿勢角を算出する手段と、前記算出した画像面の基準座標系に対する姿勢角と、前記対応点を抽出する手段で得られた対応関係により前記撮像する手段の並進移動成分を算出する手段とを有することを特徴とする撮像装置。 - 前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記各画像を撮像したときに検出した前記画像面の姿勢角の変化と並進移動成分を検出する手段と、前記検出した姿勢角の変化と並進移動成分とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有する請求項３記載の撮像装置。
- 前記撮像する手段の画像面の位置と角度である姿勢角を検出する手段は、前記対応点を抽出する手段で得られた複数の特徴点と対応点の位置関係から前記撮像する手段の姿勢変化と並進移動を算出する手段と、前記算出した前記撮像する手段の姿勢変化と並進移動とに基づいて前記各画像を撮像したときに得られた画像面の基準座標系に対する位置と姿勢を算出する手段とを有する請求項４記載の撮像装置。
- 先に撮像した画像と一部が重複するようにして入力対象平面を撮像し、
前記各画像を撮像する際の前記入力対象面に対する撮像角度である姿勢角を検出し、
前記先に撮像した画像と後に撮像した画像との重複部分から先に撮像した画像の複数の特徴点を抽出し、後に撮像した画像から前記特徴点に対応する対応点を抽出し、
前記検出した姿勢角と、前記抽出した特徴点及び対応点とに基づいて前記各画像を撮像したときの並進運動成分を検出し、
前記検出した姿勢角と、前記抽出した特徴点及び対応点と前記検出された並進運動成分とにより前記各特徴点の３次元位置を算出し、
前記抽出した各特徴点が同一平面上にあるものとして、前記算出した各特徴点の３次元位置を基に前記各特徴点が同一平面上に存在する平面の情報を算出し、
前記検出した姿勢角と各特徴点の並進運動成分と前記算出した平面の情報とに基づいて、前記撮像した各画像を任意の同一画像面に投影して前記画像を合成することを特徴とする撮像画像合成方法。 - 前記先に撮像した画像と後に撮像した画像との重複部分の相互相関値が最大になるように前記画像の投影位置及びスケールを微調整する請求項６記載の撮像画像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23218198A JP3957888B2 (ja) | 1997-08-20 | 1998-08-19 | 撮像装置及び撮像画像合成方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-237854 | 1997-08-20 | ||
| JP23785497 | 1997-08-20 | ||
| JP23218198A JP3957888B2 (ja) | 1997-08-20 | 1998-08-19 | 撮像装置及び撮像画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11136575A JPH11136575A (ja) | 1999-05-21 |
| JP3957888B2 true JP3957888B2 (ja) | 2007-08-15 |
Family
ID=26530325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23218198A Expired - Fee Related JP3957888B2 (ja) | 1997-08-20 | 1998-08-19 | 撮像装置及び撮像画像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3957888B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8264554B2 (en) | 2007-07-27 | 2012-09-11 | Ricoh Company, Ltd. | Imaging apparatus and method of obtaining a roll angle of the imaging apparatus, and correcting detected roll angle |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6021229A (en) * | 1995-11-14 | 2000-02-01 | Sony Corporation | Imaging processing method for mapping video source information onto a displayed object |
| JP3433204B2 (ja) * | 2000-04-27 | 2003-08-04 | 株式会社東北テクノアーチ | ３次元モデル構成装置 |
| JP3515751B2 (ja) * | 2000-11-29 | 2004-04-05 | 東京商船大学長 | 海底三次元構造の再構成方法 |
| CN100366059C (zh) * | 2001-02-15 | 2008-01-30 | 英业达股份有限公司 | 影像播放方法及系统 |
| JP3975736B2 (ja) | 2001-12-07 | 2007-09-12 | ソニー株式会社 | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
| JP2004153691A (ja) | 2002-10-31 | 2004-05-27 | Casio Comput Co Ltd | 撮像装置、撮像方法及びプログラム |
| JP4536524B2 (ja) * | 2005-01-11 | 2010-09-01 | 株式会社エヌ・ティ・ティ・データ | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム |
| JP3837710B2 (ja) * | 2005-02-07 | 2006-10-25 | 株式会社日立製作所 | デジタルカメラ |
| JP4784329B2 (ja) * | 2006-02-15 | 2011-10-05 | トヨタ自動車株式会社 | 画像処理装置、その方法、および画像処理用プログラム |
| JP5011387B2 (ja) | 2007-07-13 | 2012-08-29 | パナソニック株式会社 | 撮像装置 |
| JP4962460B2 (ja) * | 2008-10-03 | 2012-06-27 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
| JP5363878B2 (ja) * | 2009-06-02 | 2013-12-11 | 株式会社トプコン | ステレオ画像撮影装置及びその方法 |
| JP5554654B2 (ja) * | 2010-07-13 | 2014-07-23 | キヤノン電子株式会社 | 画像処理方法、携帯情報端末及びプログラム |
| JP2019097050A (ja) * | 2017-11-24 | 2019-06-20 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置及び画像読取プログラム |
| JP6717887B2 (ja) * | 2018-07-12 | 2020-07-08 | ファナック株式会社 | 距離補正機能を有する測距装置 |
| CN114909999A (zh) * | 2022-07-18 | 2022-08-16 | 深圳市超准视觉科技有限公司 | 一种基于结构光的三维测量系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0667293A (ja) * | 1992-08-14 | 1994-03-11 | Olympus Optical Co Ltd | カメラ |
| JPH06105214A (ja) * | 1992-09-24 | 1994-04-15 | Ricoh Co Ltd | ジャイロセンサ付カメラ及びビデオプリンタ装置 |
| JP2883265B2 (ja) * | 1993-09-24 | 1999-04-19 | キヤノン株式会社 | 画像処理装置 |
| JPH08191419A (ja) * | 1995-01-10 | 1996-07-23 | Yamaha Corp | 頭部装着型表示システム |
| JP3253478B2 (ja) * | 1995-03-20 | 2002-02-04 | シャープ株式会社 | 映像記録装置 |
| JPH0918750A (ja) * | 1995-06-29 | 1997-01-17 | Canon Inc | 電子カメラおよびこれを用いた電子カメラシステム、撮像装置、信号処理装置 |
-
1998
- 1998-08-19 JP JP23218198A patent/JP3957888B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8264554B2 (en) | 2007-07-27 | 2012-09-11 | Ricoh Company, Ltd. | Imaging apparatus and method of obtaining a roll angle of the imaging apparatus, and correcting detected roll angle |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11136575A (ja) | 1999-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3957888B2 (ja) | 撮像装置及び撮像画像合成方法 | |
| US6038074A (en) | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image | |
| JP5491235B2 (ja) | カメラキャリブレーション装置 | |
| JP5163409B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP4770924B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| US8970690B2 (en) | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment | |
| JP4962460B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP4618370B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP4010753B2 (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
| JP3732335B2 (ja) | 画像入力装置及び画像入力方法 | |
| JP2010136302A (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP2004213355A (ja) | 情報処理方法 | |
| JPH11118425A (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
| JP2000283720A (ja) | ３次元データ入力方法及び装置 | |
| US6809771B1 (en) | Data input apparatus having multiple lens unit | |
| JP4809134B2 (ja) | 画像処理装置及びその処理方法 | |
| JP2002099902A (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| JP2000134537A (ja) | 画像入力装置及びその方法 | |
| JPH1023465A (ja) | 撮像方法及び装置 | |
| JP2001057652A (ja) | 画像入力装置および画像入力方法 | |
| US20080252746A1 (en) | Method and apparatus for a hybrid wide area tracking system | |
| JPH1118007A (ja) | 全方向性画像表示システム | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 | |
| JP2001177850A (ja) | 画像信号記録装置および方法、画像信号再生方法並びに記録媒体 | |
| JP2000228748A (ja) | 画像入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050801 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070509 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |