JP2004056779A - Image inputting device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device capable of inputting images with a wide visual field at fast speed when synthesizing a plurality of partial images obtained by revolving a mirror at the front of a camera. <P>SOLUTION: This device comprises two cameras 601u and 601d, a double-faced mirror 602b, a mirror revolving mechanism 603, and a processing means 500. The two cameras 601u and 601d are located opposite to each other by bringing the optical axes of their lenses into line and image a field. The double-faced mirror 602b is located between the two cameras and changes a path of the reflected light from the field to the direction of the lenses of the cameras. The mirror revolving mechanism revolves the double-faced mirror around the optical axes of the two cameras. The processing means 500 generates an image with a wide visual field by synthesizing a plurality of images input by the two cameras following the revolution of the mirror. <P>COPYRIGHT: (C)2004,JPO

Description

となる。ここでは、先に述べたように、φは固定、ρ＝０、θ＝θｉであるため、
【数２】

となる。同様に視点ｏ３０１は、φ、ρ、θに対して、
【数３】

となるが、本実施例では、
【数４】

となる。ここで、数式においては各３次元空間上の列ベクトルを太字で表現し、特に大文字の場合は行列を示すものとする。また左上に置かれたｔは転置演算を表わすものとする。
【００５４】
視点ｏ３０１から点ｐ３１１を通る直線は、３次元座標系において、パラメータｓを用いて、
【数５】

と表現される。視点ｏ３０１から点ｐ３１１を通る直線３０７と投影面３０６との交点として定まる点ｐ’３０８は、視点ｏ３０１を投影の中心として点ｐ３１１を投影面３０６上に投影したものである。しかしながらこの投影点ｐ’３０８をそのまま利用すると、カメラ００５の向きによって視点ｏ３０１が移動するため、単一の３次元空間上の点がカメラ００５の向きによって異なった投影上の点に投影され、合成画像上に形状や位置の不連続が発生する場合がある。図２９は、この視差の問題を説明するための図であり、空間上の点ｑ３０９が、破線および実線で示されるようにカメラ００５が異なる向きの時に、投影面３０６上の異なる２点ｐ’３０８に投影されることを示している。この視差は、投影面３０６への投影の中心である視点ｏ３０１が移動することに起因するものである。
【００５５】
この問題を解決するために、本発明における画像入力装置では、画像合成手段００９における画像合成処理においてカメラ回転中心ｃ３１３を投影の中心として、各部分画像を投影面３０６上に投影することを最大の特徴とする。
図２８は、カメラ回転中心ｃ３１３を投影中心とする投影手法を説明するための図である。
式（５）で表現される直線３０７上の点ｑ３０９とカメラ回転中心ｃ３１３を結ぶ直線と、投影面３０６の交点ｐ’’３１０を考えると、式（５）中には点ｑ３０９の空間上の位置を定めるパラメータｓが含まれていることから、カメラ回転中心ｃ３１３を投影の中心とした場合には、図２８に示すように、パラメータｓの値、すなわち点ｑ３０９の視点ｏ３０１からの距離に応じて点ｐ’’３１０の位置が変化することを示している。
【００５６】
しかしながら、空間上の点ｑ３０９が遠方、すなわち、パラメータｓの値が大きくなっていく場合を考えると、カメラ回転中心ｃ３１３と点ｑ３０９を結ぶ直線の方向ベクトルは徐々に、直線３０７の方向ベクトルに近づき、最終的には平行な方向に収束するという特性がある。すなわち、カメラ回転中心ｃ３１３から見た直線３０７上の点を投影面３０６上に投影した場合、交点ｐ’３１０は、直線３０７と平行でカメラ回転中心ｃ３１３を通る直線と投影面３０６との交点に収束する。これは、視点ｏ３０１と画像平面３０２上の点ｐ３１１とを結ぶ直線上にある空間上の点のほとんどが、この交点に投影されることを示している。このことから、この収束点を投影点３１２とすることにより、上記の視差の問題を大幅に低減可能であり、得られる合成画像の品質を著しく向上させられる。
【００５７】
そこで、ステップＥ９５においては、部分画像ｉ上の各点（ｘｊ，ｙｊ）から、式（５）で示される直線３０７と同じ方向ベクトルを持ちカメラ回転中心ｃ３１３を通る直線と、投影面３０６である半径Ｄの円筒面との交点の位置ベクトル、すなわち、部分画像ｉ上の点ｐ３１１に対応する投影面３０６上の点３１２の３次元位置（Ｘ，Ｙ，Ｚ）を、まず、
【数６】

から求める。ここで、式（６）中における添字は、列ベクトルの成分であることを示している。そしてさらに、投影点３１２を、図３０に示すような投影面３０６上の円周に沿ってＸ’軸、Ｚ軸方向にＹ’軸を設定した座標系に変換することで投影面３０６を平面に展開した合成画像上における位置を求める。投影点３１２のＸ、Ｙ、Ｚの各成分から合成画像上の位置（Ｘｊ，Ｙｊ）への変換は、
【数７】

となる。
【００５８】
このようにして求めた合成画像上の位置（Ｘｊ，Ｙｊ）の画素値を、部分画像ｉ上の位置（ｘｊ，ｙｊ）の画素値で置換することで部分画像ｉ上の点を合成画像上に投影する（ステップＥ９６）。（Ｘｊ，Ｙｊ）が整数値でない場合は、少数点以下を四捨五入すれば良い。
なお、合成画像の大きさは、部分画像上の各画素を投影する際に必要に応じて適宜更新するものとするが、本実施例のように各部分画像の取得位置が決まっている場合には、ステップＡ０１の初期化処理において、各部分画像の大きさと取得位置から合成画像の大きさをあらかじめ決定しておくように構成することも可能である。すなわち、ステップＡ０１の初期化処理において、あらかじめすべての部分画像について、部分画像取得位置θｉを用いて、含まれる画素の合成画像上の位置を計算し、得られたＸ方向、Ｙ方向それぞれの位置の最小値及び最大値から合成画像の大きさを決定し、その結果を画像メモリに格納しておくのである。この合成画像の大きさを示す値を参照することで、合成画像の大きさ更新等の処理が不要になり、画像合成処理をより高速に実現可能となる。
【００５９】
部分画像ｉ上の点（ｘｊ，ｙｊ）の合成画像上への投影が終了した後、次の点を処理するように、変数ｊの値を増加し、ステップＥ９３に戻る（ステップＥ９７）。
部分画像ｉ上の全画素の合成画像上への投影処理が終了したか否かを全画素数を示すＪと変数ｊの比較により判断し、全画素への処理が終了した場合には、画像合成処理を終了する（ステップＥ９３）。
合成処理（ステップＥ００）における部分画像ｉの合成画像への投影処理が終了した後、表示制御手段０１１は、更新された合成画像を画像メモリ００８から読み出し、表示手段０１２に表示する（ステップＧ００）。本実施例においては、合成画像全体を表示するものとするが、合成画像の一部だけをユーザの指示に応じて選択的に表示するように構成することも可能である。
【００６０】
更新された合成画像の表示が終了した後、次の部分画像を取得するべく、ｉの値を１増加し、図１８におけるステップＡ０２以降を繰り返す。なお、ｉの値がＮ−１を超えた場合には、０に初期化することで、Ｎ枚の部分画像の取得、合成画像の更新を継続的に行うことが可能となる。
図３１は、このような継続的に更新される合成画像を用いた機能の例を説明するための図であり、複数のユーザが同一の合成画像上から異なった地点を切り出して表示手段０１２に表示する例を示している。合成画像の更新とともに、各ユーザが選択した領域の画像も更新され、各ユーザは最新の情報を常に得ることができる。
このように、単一のカメラを用いた装置でありながら、擬似的に複数の異なる視点を提供可能なことも、本発明における画像入力装置の大きな特徴である。
【００６１】
なお、上記の説明においては、カメラ移動、撮像、画像合成、表示の各処理を順に実行するものとして説明したが、これらは並列に実行するように構成することも可能である。
以下、第２の実施例として、各処理を並列に構成した場合について、第１の実施例と比較しながら、図を用いて詳細に説明する。
第２の実施例においても、外観、各手段の構成、投影面、座標系の設定など、処理の流れに関わる個所以外は、第１の実施例とすべて同一とする。
図８は、各処理を並列に構成した場合の全体の処理の流れを説明するための図である。
図８における各処理は、図１８における第１の実施例における処理の流れと比較して、カメラ移動（ステップＢ’００），撮像（ステップＣ００）、画像合成（ステップＥ００）、表示（ステップＧ００）の各処理が同期をとりながら、並列に実行されることを特徴とする。
【００６２】
第１の実施例と同様の初期化処理（ステップＡ０１）、終了確認処理（ステップＡ０２）を経た後、各処理はそれぞれ動作を開始する。
図９は、第２の実施例におけるカメラ移動処理（ステップＢ’００）の処理の流れを詳細に説明するための図である。
第２の実施例におけるカメラ移動処理は、第１の実施例と比較して、カメラ００５を個々の画像取得位置に移動するのではなく、カメラ００５の向きを記録しながら継続的に移動することに特徴がある。
すなわち、カメラ移動処理は、図８における終了確認処理（ステップＡ０２）からの指示があるまで、パルス出力（ステップＢ’９２）からカメラ位置計算（ステップＢ’９４）の処理を継続して行ない、得られたカメラ位置を姿勢制御手段０１５内に記録（ステップＢ’９６）という処理を繰り返す。
【００６３】
撮像処理（ステップＣ００）はこのカメラ位置を参照して処理を行なう。ここではカメラ位置として水平方向の角度が伝えられるものとするが、出力パルス数を直接送出する等、撮像処理においてカメラの向きが確認できる手法であればどのような形態でもよい。また水平だけではなく、各軸周りの回転量を伝えるように構成することも可能である。
パルス出力（ステップＢ’９２）からカメラ位置計算（ステップＢ’９４）までの各処理は、第１の実施例における処理の流れを説明する図である図６において同一名称を持つ処理と同様の処理である。
【００６４】
図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＢ’９７）、第１の実施例と同様に、カメラ００５の移動を停止し、処理を終了する。
図１０は、第２の実施例における撮像処理（ステップＣ００）の処理の流れを詳細に説明するための図である。
第２の実施例における撮像処理は、第１の実施例と比較して、カメラ移動処理により送信された水平方向のカメラ００５の向きの情報と次に取得すべき部分画像の取得位置の情報とから、部分画像取得のタイミングを自ら判断して継続的に撮像を行うことに特徴がある。
【００６５】
すなわち、まず、姿勢制御手段０１５に記録されたカメラの水平方向の角度を参照し（ステップＣ９１）、得られた情報と次に取得すべき部分画像ｉの取得位置を比較して（ステップＣ９２）、部分画像ｉの取得位置であれば、第１の実施例と同様に、部分画像ｉを取得し、画像メモリ００８に部分画像を、取得時の位置および属性情報を画像属性メモリ００４に記録すると共に、新規に取得した部分画像に対して画像合成処理が必要なことを示す投影処理フラグをセットする（ステップＣ９３）。
投影処理フラグは、一般の計算機処理において利用されるフラグと同様に画像属性メモリ００４上の部分画像の属性を追加することで容易に実現可能であり、ステップＡ０１において初期化時にすべて解除されているものとする。セットされた投影処理フラグは、取得した部分画像への画像合成処理が終了した時に解除される。なお、投影処理フラグは一実施例であり、部分画像の取得および合成処理の適用を確認可能な手段であればどのような手段を用いてもよい。
【００６６】
ステップＣ９２において、カメラ００５の向きが、次の取得位置と異なっている場合は、ステップＣ９１〜ステップＣ９２を繰り返すことで、カメラ００５の向きが取得位置に達するまで待機する。
図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＣ９４）、第１の実施例と同様に、撮像処理を終了する。指示がない間は、次の部分画像を取得するべく、ｉの値を１増加し、図１０におけるステップＣ９１〜ステップＣ９３の処理を繰り返す。なお、ｉの値がＮ−１を超えた場合には、０に初期化することで、Ｎ枚の部分画像の取得、合成画像の更新を継続的に行う。
【００６７】
図１１は、第２の実施例における合成処理（ステップＥ００）の処理の流れを詳細に説明するための図である。
第２の実施例における合成処理は、第１の実施例と比較して、画像属性メモリ００４の部分画像ｉの投影処理フラグを監視することで、処理すべき部分画像の取得を判断し、部分画像とその取得位置から、部分画像の合成画像上への投影処理を継続的に行うことに特徴がある。
すなわち、まず、図１１において、処理の対象となる部分画像ｉの取得を画像属性メモリ００４に格納されている部分画像ｉの投影処理フラグがセットされているか否かにより判断し、セットされている場合は、第１の実施例における処理の流れを説明する図である図７において同一名称を持つ処理と同様に、ステップＥ９１〜ステップＥ９７の処理を適用し、部分画像を合成画像上に投影する。部分画像ｉの投影処理が終了した場合には、投影処理フラグを解除することにより部分画像ｉに対する処理が終わったことを記録する（ステップＥ９８）。
【００６８】
そして、図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＥ９９）、合成処理を終了する。指示がない間は、上記のステップＥ９０以降の処理を繰り返す。
表示処理は、表示制御手段０１１が、合成画像を継続的に画像メモリ００８から読み出し、表示手段０１２に表示する（ステップＧ００）。継続的に読み出し、表示されるため、更新された合成画像は直ちに表示手段０１２に表示される。なお、合成画像の一部だけをユーザの指示に応じて選択的に表示するように構成することや、複数のユーザが同一の合成画像上から異なった地点を切り出して表示手段０１２に表示する機能を提供可能なことは第１の実施例と同様である。
【００６９】
このように各処理を並列に構成することで、第１の実施例と比較して、画像取得から画像を合成するに至る一連の処理の流れにおいて、一つの処理の遅れが他の処理にも影響を与え全体の動作速度が低下するという問題を防げるという長所が生じる。
次に、本発明の画像入力装置における第２の実施の形態の実施例を、図を参照して詳細に説明する。
【００７０】
第１の実施の形態においては、部分画像の取得のすべき位置と実際に部分画像を取得した際のカメラの向きには差が発生しないものとして構成されている。しかしながら、カメラ移動手段０１４によるカメラ向き検出精度が低い場合、さらには、画像取得指示から実際に部分画像が取得されるまでの遅延が大きい場合には、特にカメラ００５を継続的に移動している時に部分画像の取得位置に大きな誤差が含まれる可能性が高く、合成画像の精度が著しく低下するという問題がある。
【００７１】
本発明の第２の実施の形態はこのような問題を解消するためになされたものであり、第１の実施の形態と比較して、各部分画像の取得位置に含まれる誤差を解消し高精度の合成画像を取得可能とするために、部分画像間に位置あわせを適用する位置あわせ手段が追加されたことを特徴とする。
【００７２】
本実施例においても、第１の実施の形態における実施例の構成を説明するための図である図２５と同様の外観を持つが、筐体１０１には、姿勢制御手段０１５、画像属性メモリ００４、撮像手段００６、撮像制御手段００７、画像メモリ００８、画像合成手段００９、表示制御手段０１１の各構成要素に加えて、さらに、位置合わせ手段０１３が格納されており、他の構成要素とケーブルにより接続されている。第１の実施の形態の第１の実施例と比較して、同じ名称を持つ構成要素は同じ機能を提供するが、画像属性メモリ００４は、部分画像取得時のカメラ００５の向きの情報および位置合わせ手段０１３により求められた各部分画像の合成位置の位置補正量、をそれぞれ格納する。また画像合成手段００９は、画像属性メモリ００４内の部分画像の取得位置と、位置合わせ手段０１３により求めた部分画像の位置補正量を利用して合成位置を求めるように構成されている。
【００７３】
図１２は、本実施例における処理の流れを説明するための図である。図１２において、第１の実施の形態の第１の実施例における処理の流れを説明するための図である図５と同じ名称を持つ構成要素は同じ機能を提供するものとする。なお、第２の実施の形態の実施例において、外観、各手段の構成、投影面、座標系の設定など、位置合わせ手段０１３および位置合わせ処理（ステップＤ００）に関わる個所以外は、第１の実施の形態の実施例とすべて同一とする。
図１２における初期化（ステップＡ０１）は、第１の実施の形態の第１の実施例と比較して、部分画像の合成位置を求める際の位置補正量値を０に初期化する処理が追加されている。終了確認（ステップＡ０２）、カメラ移動（ステップＢ’００）、撮像（ステップＣ００）は、第１の実施の形態の第１の実施例と同様である。
【００７４】
図１３は、本発明の第２の実施の形態の実施例における位置合わせ処理（ステップＤ００）の処理の流れを説明するための図である。
図１３において、まず位置合わせ処理は、部分画像ｉおよび、部分画像ｉの位置補正量を求める際の基準となる基準画像を求める（ステップＤ９１）。ここでは直前に撮像した部分画像、すなわち、部分画像ｉ−１を基準画像とする。ｉ−１が０未満の場合は、部分画像ｉ−１＋Ｎを基準画像とする。なお、ここで用いた基準画像選択手法は仮に設定したものであり、処理対象である部分画像ｉと相関がある画像であれば他の選択手法を用いても良い。また、部分画像ではなく、合成画像そのものを基準画像とすることも、当然のことながら、可能である。なお、基準となる画像が存在しない場合は（ステップＤ９１１）、位置合わせ処理を行わずに、位置補正量を０として（ステップＤ９１２）処理を終了する。
【００７５】
本実施例では、位置合わせ処理として、通常の画像処理にて用いられる手法と同様に相互相関係数を用いた逐次探索手法を利用する。すなわち、部分画像ｉの取得位置θｉとその最大誤差ｄθに対して、θｉ−ｄθ≦θ≦θｉ＋ｄθとなる範囲内から、基準画像と部分画像ｉの重複部における相互相関係数が最も高くなるθを求める処理として実装される。ｄθは用いるカメラ移動手段の駆動精度および位置検出精度から決定される値であるが、ここでは撮像間隔２４度の３分の１とする。カメラ移動手段の駆動精度および位置検出精度が高い場合にはより小さく、低い場合にはより大きくすれば良い。
【００７６】
まず、変数θを範囲内の最小値である、θｉ−ｄθに、最大の相互相関係数示すＣｍａｘを相互相関係数の下限値よりもさらに小さい値（ここでは−２）に、最大の相互相関係数を与えた時の位置θｍａｘを取得位置θｉに、それぞれ初期化する（ステップＤ９２）。そして変数θが所定の範囲内に収まっている間、ステップＤ９４以降の処理を適用することで、部分画像ｉが基準画像と最も良く重なり合う位置を求める（ステップＤ９３）。
【００７７】
そのために、まず、基準画像と部分画像を、第１の実施の形態の実施例における合成処理と同様の手法で投影した際に少なくとも両者を包含可能な大きさを持つ作業用の画像を画像メモリ００８上に確保し、各画素をすべて空白にし、基準画像を第１の実施の形態の実施例における合成処理と同様の視差の影響を低減する手法により作業用の画像上に投影する。次に、変数θに対して、同様の投影手法により部分画像ｉの各画素の投影位置を求め、基準画像と部分画像ｉが重複する領域を求める（ステップＤ９４）。得られた重複領域において相互相関係数Ｃを求め（ステップＤ９５）、それまでに得られていた最大の相互相関係数を示すＣｍａｘとＣとを比較し（ステップＤ９６）、ＣがＣｍａｘを上回っていた場合には、ＣｍａｘをＣで置き換え、更にθｍａｘをθで置き換える（ステップＤ９７）。そして、次の位置における相互相関係数を求めるために、
θ←θ＋Δθ
としてθを更新し、ステップＤ９３以降の処理を繰り返す（ステップＤ９８）。
【００７８】
ここでΔθは、必要な精度に応じて設定されるべき値であり、ここでは、位置検出の最小分解能である１度の半分である０．５度とする。
範囲内のすべての位置について相互相関係数を求めた後、Ｃｍａｘには最大の相互相関係数が、θｍａｘにはＣｍａｘを与えた時の位置が格納されている。位置合わせ処理は、このθｍａｘから部分画像ｉの位置補正量を、
θｍａｘ−θｉ
として求め、画像属性メモリ００４に格納する（ステップＤ９９）。
ここでは、位置合わせ処理と画像合成処理を並列に実行する場合にも対応できるように、部分画像ｉの予め定められた取得位置とその補正量を明確に区別するために、位置補正量を求める形態で実行しているが、両者を明確に区別する必要が無い場合には、部分画像ｉの部分画像ｉの取得位置を直接θと置き換えるように処理を構成してもよい。
なお、ここでは、カメラの水平方向の移動量をのみを対象範囲としたが、他の座標軸についても変動が見られる時は、各座標軸の可動範囲から構成される３次元領域を候補とすればよい。
【００７９】
また上で述べた以外の位置合わせ手法を用いることも可能であり、例えば、相互相関係数は計算量が多いため、より簡便な、対応する画素値の差の絶対値の和や、この和を重複領域の面積で平均化したものなどが利用可能である。また３次元空間の単純な逐次検索ではなく、対応点を利用したより計算量の少ない手法も利用可能である。これらの処理は、位置合わせまたはマッチング処理として、通常の画像処理にて用いられる手法であり、従来の技術を利用可能である。従来の位置合わせ処理技術については、「共立出版、ｂｉｔ別冊『コンピュータ・サイエンス』，エーシーエム・コンピューティング・サーベイズ’９２、７７〜１１９頁」に詳しく述べられているため、詳細は割愛する。
【００８０】
ステップＤ００における位置合わせ処理結果を利用して、画像合成手段００９は、第１の実施の形態における実施例と同様に、部分画像に含まれる視差の影響を低減しながら各部分画像を合成画像上に投影する（ステップＥ００）。本実施例においては、第１の実施の形態の第１の実施例における合成処理の処理の流れを説明する図である図７のステップＥ９１において、画像属性メモリ００４に格納された部分画像を取得した時のカメラ００５の向き情報と、位置合わせ手段０１３により求めた位置補正量とを足しあわせることで部分画像の位置を求める点が異なるのみであり、その他の投影手法に関しては第１の実施の形態と同様である。
【００８１】
このように、位置合わせ手段０１３により部分画像ｉの取得位置に含まれる誤差を解消し、高精度の合成画像を生成することが可能となる。
第２の実施の形態においても、第１の実施の形態と同様に、各処理が並列に実行されるように構成することが可能である。この時、位置合わせ処理は、図８における処理の流れを示す図におけるカメラ移動処理、撮像処理、画像合成処理と同様に並列に実行され、図１５に示すような処理の流れとなる。
位置合わせ処理は、第１の実施の形態において各処理が並列に実行されるように構成された実施例における画像合成処理と同様に、画像属性メモリ００４に格納されている位置合わせ処理を適用するか否かを示す位置合わせ処理フラグを参照して位置合わせ処理が実行される。
【００８２】
すなわち、撮像処理（ステップＣ００）において、新規に取得した部分画像に対して、画像メモリ００８に部分画像を、取得時の位置および属性情報を画像属性メモリ００４に記録すると共に、位置合わせ処理が必要なことを示す位置合わせ処理フラグが画像属性メモリ００４にセットされる（ステップＣ９３）。位置合わせ処理フラグは、ここでは一般の計算機処理において利用されるフラグと同様に画像属性メモリ００４上の部分画像の属性を追加することで容易に実現可能であり、ステップＡ０１における初期化時にすべて解除されているものとする。この位置合わせ処理フラグは、取得した部分画像への位置合わせ処理が終了した時に解除される。なお、位置合わせ処理フラグは一実施例であり、部分画像の取得および位置合わせ処理の適用を確認可能な手段であれば、どのような手段を用いてもよい。
【００８３】
位置合わせ処理は、第２の実施の形態の上記の実施例と比較して、画像属性メモリ００４の部分画像ｉの位置合わせ処理フラグを監視することで、処理すべき部分画像の取得を判断し、部分画像とその取得位置から、部分画像の合成画像上への投影処理を継続的に行うことに特徴がある。
すなわち、まず、図１５において、処理の対象となる部分画像ｉの取得を画像属性メモリ００４に格納されている部分画像ｉの位置合わせ処理フラグがセットされているか否かにより判断し、セットされている場合は、第２の実施の形態の上記の実施例における処理の流れを説明する図である図１３において同一名称を持つ処理と同様に、ステップＤ９１〜ステップＤ９１２の処理を適用し、部分画像の位置補正量を決定する。部分画像ｉの位置合わせ処理が終了した場合には、位置合わせ処理フラグを解除し、投影処理フラグを設定することにより部分画像ｉに対する位置合わせ処理が終了し合成処理の適用が必要なことを記録する（ステップＤ９１３）。
【００８４】
そして図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＤ９１０）、合成処理を終了する。指示がない間は、上記のステップＤ９０以降の処理を繰り返す。
画像合成処理（ステップＥ００）は、この位置合わせ処理により設定された投影処理フラグを参照して、第１の実施の形態の第２の実施例と同様の処理の流れで、画像合成処理を実行する。
【００８５】
また、部分画像の取得および画像合成が継続的に、かつ、同じ位置を目標に行われる場合には、各部分画像の取得位置に含まれる誤差は安定すると考えられる。すなわち、継続的に画像取得および合成が行われている時、ある時点で求めた部分画像ｉに対する位置補正量は、次に部分画像ｉを取得する時にも高い精度で利用できると考えられる。このことを利用して、第１の実施例に対して、図１４のように、位置合わせ処理（ステップＤ００）と合成処理（ステップＥ００）が並列に実行されるように構成可能である。この時、合成処理における合成位置を求める際には（ステップＥ０２）、以前に部分画像ｉに対して求めた位置補正量が利用されることになる。この構成により、他の処理と比較して処理コストが高く、全体の処理速度を低下させる原因となりやすい位置合わせ処理の影響を低減できる。
【００８６】
また、上記の各実施の形態の実施例における画像合成処理では、部分画像ｉを合成画像上に投影するという手法を説明したが、逆に、合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定するように構成することも可能である。
図１６は合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定するように構成した画像合成処理の処理の流れの例を説明するための図である。
なお、合成画像の大きさは、ステップＡ０１の初期化処理において予め決定されており、Ｘ方向、Ｙ方向の大きさをＭｘ、Ｍｙとする。この値は、すべての部分画像について、取得位置θｉを用いて、部分画像に含まれる画素の合成画像上の位置を上記実施例における合成処理と同様の手法により求めた位置のＸ方向、Ｙ方向それぞれの最小値および最大値から決定可能である。
【００８７】
上記の実施例における画像合成処理における処理の流れを説明するための図である図７と同様に画像合成手段００９は、画像メモリ００８内から取得直後の部分画像ｉと合成画像を、それぞれの取得位置θｉを始めとする属性情報を画像属性メモリ００４から取得する（ステップＥ’９１）。ここで、合成画像に含まれる各画素には重複がなく、かつ、０から順に番号ｋ（０≦ｋ≦Ｋ）が付加されており、このｋを指定することで、合成画像上の画素の位置が決定するものとする。これは、説明を容易にするために仮に設定するものであり、各画素を重複なくかつ順番に選択できる手法であればどのようなものでも利用可能である。例えば、通常用いられるラスタスキャンのようにＸ方向およびＹ方向の各軸毎に値を変化させていく手法等を用いても、本発明の本質に影響を与えない。
【００８８】
画像合成手段は、画像合成上の画素を指定する変数ｋを初期化し、全画素数を示すＫを求める（ステップＥ’９２）。具体的には、
ｋ←０
Ｋ←Ｍｘ×Ｍｙ
となる。
そして、すべての画素について、ステップＥ’９４以降の処理を適用する（Ｅ’９３）。まず、番号ｋに対応する、合成画像上の位置（Ｘｋ，Ｙｋ）を、
Ｘｋ　←　（ｋ　ＭＯＤ　Ｍｘ）　−Ｍｘ÷２
Ｙｋ　←　（ｋ　ＤＩＶ　Ｍｘ）　−Ｍｙ÷２
として求める。ここで、ＭＯＤはｋをＭｘで割った余りを求める整数演算子であり、ＤＩＶはｋをＭｘで割った際の商を求める整数演算子である。（Ｘｋ，Ｙｋ）は、合成画像の中心を原点とする座標系で表現されている。
【００８９】
そして得られた合成画像上の画素位置（Ｘｋ，Ｙｋ）を示す点に対応する部分画像上の画素位置（ｘｋ，ｙｋ）を示す点を求める（ステップＥ’９５）。すなわち、合成画像上の点（Ｘｋ，Ｙｋ）から投影面３０６上の投影点３１２の３次元座標（Ｘ，Ｙ，Ｚ）が、式（７）の逆変換として
【数８】

と表現されることから、この投影点３１２とカメラ回転中心ｃ３１３とを結ぶ直線に平行で、視点ｏ３０１を通る直線と画像平面３０２との交点として点ｐ３１１を求めることができる。ここで、カメラ回転中心ｃ３１３から投影点３１２に向かうベクトルを方向ベクトルに持ち、視点ｏ３０１を通る直線３０７上の点ｑ３０９の位置ベクトルは、変数ｓを用いて、
【数９】

と書ける。
【００９０】
また画像平面３０２の法線ベクトルが視点ｏ３１２の位置ベクトルと平行で、かつ、光軸と画像平面の交点、すなわち、φ＝ρ＝θ＝０の時に（０，０，ｆ＋Ｌ）に相当する点を、φ、ρ、θに従って回転させた点を通ることから、画像平面３０２上の点ｐ３１１の位置ベクトルは、
【数１０】

を満たす。これに、ρ＝０、θ＝θｉを代入すると、
【数１１】

となる。
【００９１】
合成画像上の点（Ｘｋ，Ｙｋ）に対応する画像平面３０２上の点は、直線３０７と画像平面３０２の交点として求められることから、点ｐ３１１の３次元座標を定める定数ｓは
【数１２】

にρ＝０、θ＝θｉを代入した、
【数１３】

となる。このｓを式（９）に代入して定まる点ｐ３１１の３次元座標（ｘ，ｙ，ｚ）を式（１）の逆、すなわち、Ｘ、Ｙ、Ｚの各軸周りに（−φ，−ρ，−θ）回転させる変換
【数１４】

にρ＝０、θ＝θｉを代入した、
【数１５】

を適用して得られる３次元座標のＸ、Ｙ成分（ｘｋ，ｙｋ）が、部分画像座標系における合成画像上の点（Ｘｋ，Ｙｋ）に対応する位置になる。
【００９２】
そこで画像合成処理では、上記の計算手法に従って各合成画像上の画素に対応する部分画像座標系上の座標値を求め（ステップＥ’９５）、その値が部分画像の存在する範囲、すなわち、（−Ｓｘ／２，−Ｓｙ／２）〜（Ｓｘ／２，Ｓｙ／２）に収まっているか否かを判断して（ステップＥ’９６）、収まっている場合には、共一次内挿処理により部分画像の点（ｘｋ，ｙｋ）の周囲の４点の画素値から合成画像上の点（Ｘｋ，Ｙｋ）の画素値を決定する。これらの内挿処理は、通常の画像処理に利用されているものであればどのようなものでも利用可能である。内挿処理については、「『画像解析ハンドブック』、ｐｐ．４４１−４４４、東京大学出版会、１９９２」に詳しく説明されているため、詳細は割愛する。
【００９３】
ｋに対応する合成画像上の画素値を決定した後、画像合成処理は、ｋの値を１増やし、次の画素を処理対象に、上記の処理の実行を継続する（ステップＥ’９７）。
このように合成画像上の点から部分画像上の対応点を求める場合は、座標の丸め誤差に伴う空白画素の発生が合成画像上に生じないという特徴がある。
また上記画像合成処理では合成画像の大きさを予め部分画像の投影位置から計算しておくものとしたが、合成画像の大きさをユーザからの指示などにより別途、設定したい場合がある。このような場合にも、計算により求めた合成画像サイズが指定サイズに収まるように拡大・縮小比率を求め、この比率を合成画像の座標系に適用することで上記の画像投影手法を利用することが可能である。例えば、計算により求めた大きさが２０００×２００画素であり、指定された大きさが５００×５０画素の場合、指定された大きさの座標値をＸ，Ｙ成分とも４倍することで、計算により求めた大きさの合成画像を用いた場合の座標に変換可能であり、この座標値を用いることで部分画像上の対応点を求められる。
【００９４】
なお、このように合成画像上の座標から部分画像上の対応点を求める画像合成処理も、他の処理と並列に実行されるように構成可能であり、図１７がこの画像合成処理を並列に実行する場合の処理の流れを示している。図１７に示された処理の流れは、図７で示される画像合成処理に対する図１１の並列処理向けの画像合成処理と同様に、処理対象の画像の存在を投影処理フラグを参照して行うように図１６で示される画像合成処理に変更を加えたものであり、詳細は割愛する。
【００９５】
また、第２の実施の形態の実施例においては、カメラ移動手段０１４が部分画像取得時のカメラ００５の向きを検出するとしたが、位置合わせ手段０１３を構成要素とする場合は、θの存在範囲を適切に設定することでカメラ００５の向きの検出機構を省くことも可能である。
【００９６】
次に、本発明における画像入力装置１００の第３および第４の実施の形態における画像入力装置を、具体的な実施例を挙げて各構成の処理内容を図面を参照しながら詳しく説明する。
第３および第４の実施の形態は、第１および第２の実施の形態が、カメラ００５そのものを回転して得た複数の部分画像を合成するのに対し、カメラ００５の前面でミラー００１を回転させて複数の部分画像を取得することに特徴がある。図３２は、ミラー００１の回転とカメラ００５の回転の対応を説明するための図であり、右側がカメラを回転した場合、左側がカメラ前面でミラーを回転した場合の視野を図示している。
【００９７】
図３２に示すように、画像と実際の上下左右の対応が変化することや幾何的な歪みを除けば、ミラー００１をカメラ００５の光軸周りに回転させることはカメラ００５のパン操作に、また、ミラー００１をカメラ光軸に垂直な軸周りに回転させることはカメラ００５のチルト操作に相当する。そのため、ミラー００１を用いた場合においても、単純に合成したのでは視差の影響を受けて合成画像上に形状や位置の不連続が発生する場合がある。第３および第４の実施の形態では、この視差による画質低下の影響を、第１および第２の実施の形態と同様の合成手法を適用することで低減する。
【００９８】
以下の説明において、第１および第２の実施の形態の実施例と同じ名称を持つ構成要素は基本的に同じ機能を提供する。特に説明の無い個所は、第１および第２の実施の形態の実施例とすべて同一とし、第１および第２の実施の形態の実施例との差異を中心に説明する。
図３３は、第３の実施の形態の実施例の構成を説明するための図であり、この図を用いて画像を入力する際の各構成の説明を行う。
図３３において、筐体１０１には、上記実施の形態におけるミラー制御手段００３、画像属性メモリ００４、撮像手段００６、撮像制御手段００７、画像メモリ００８、画像合成手段００９、表示制御手段０１１が格納されており、他の構成要素とケーブルにより接続されている。
【００９９】
ミラー００１は、ミラー移動手段００２により保持されており、水平方向に回転可能である。ミラー移動手段００２は、第１および第２の実施の形態の実施例におけるカメラ移動手段０１４と同様に、ステッピングモータ、原点検出器、ギア、ミラー保持治具を用いて、ステッピングモータの回転出力をギアを介して適切に減速して保持治具の回転として取り出すことで治具に接続されたミラー００１の水平方向の回転を実現する。原点検出器は、ミラーの水平方向の回転量を０とみなす基準点を検出するものであり、例えば、ギアに取り付けた磁石とホール素子を組み合せてミラーの水平方向１回転毎に１パルスを発生させるような構成を利用可能である。このような原点検出器は、ステッピングモータと共に頻繁に利用される機器であるため、詳細は割愛する。
【０１００】
上記の構成を持つミラー移動手段００２の場合、ミラー００１の向き、すなわち水平方向における角度は、原点検出器の出力を基準として、ステッピングモータへの出力パルス数と１パルス辺りの回転量、ギアの減速比から求められる。当然のことながら、ミラー移動手段００２はここにあげた以外の構成とすることも可能であり、例えば、ＤＣモータ、減速ギア、ミラー固定治具とロータリーエンコーダを用いる構成など様々な実現方法を利用可能である。
ミラー制御手段００３は、上記ミラー移動手段００２へのパルス送出、送出パルス数の計算および保持、原点検出器による原点検出を行うものであり、通常のステッピングモータ制御に利用される機構と同様であり詳細は割愛する。これはパーソナルコンピュータと、その出力をステッピングモータに適した形式へ変換する機構とを組み合せることでも容易に実現可能である。
【０１０１】
本実施例においては、ステッピングモータの１パルス当たりの回転量が１８度、ギアの減速比１８分の１であるとする。この時、ミラー００１はステッピングモータへの出力１パルスにつき１度水平方向に回転する。これらは説明を容易にするために仮に設定するものであり、本発明の適用範囲を限定するものではない。当然のことながら、他の回転量を持つステッピングモータ、他の減速比を利用することが可能である。
また、本実施例の説明においてはミラー００１は、水平方向に対してのみ回転するものとし、光軸上に回転中心が存在するものとするが、これは説明を容易にするために設定するものであり、本発明の実施例を規定するものではない。ミラー移動手段００２の構成を変更することによりミラー００１の水平および垂直方向への回転を適用することや、回転中心が光軸上に存在しない場合にも容易に対応可能である。
【０１０２】
カメラ００５は通常のビデオカメラであり、支柱４００を介してカメラ００５の光軸とミラー００１の回転軸が一致するように固定されており、ミラー００１を経由した外界の映像がカメラ００５により入力されるように配置されている。図３４は、カメラ００５により撮像した部分画像を合成して合成画像を生成することを説明するためのイメージ図であり、ミラー００１、カメラ００５、ミラー移動手段００２、投影面３０６と座標系の関係を示している。
【０１０３】
図３４にあるように、本実施例においては、ミラー００１を経由してカメラ００５により撮像された部分画像３００は、ミラー００１の回転軸と軸を共有する円筒状の投影面３０６上に投影され、他の部分画像と合成される。なお、本実施例においては投影面３０６として円筒面を用いるが、ミラー００１の回転中心を中心とする球面等に対応することも可能である。これらの投影面３０６を平面に展開したものを合成画像とする。
また、ミラー００１の回転範囲が１８０度未満の場合は、円筒面上や球面上ではなく、平面とすることも可能なことは、第１および第２の実施の形態の実施例と同様である。
【０１０４】
図３５は、投影による合成処理を説明するための図であり、ミラー００１を経由してカメラ００５の画像平面と投影面との関係を示している。
図３５においては、ピンホールカメラモデルにて表現したカメラ００５の視点ｏ３０１を原点として、カメラ００５により取得される部分画像に相当する画像平面３０２の各軸と平行なＸ軸、Ｙ軸、および、カメラ００５の光軸方向にＺ軸を持つ３次元座標系が設定されている。カメラ００５の焦点距離をｆとすると、画像平面３０２はＺ軸方向の距離ｆの位置に存在する。ミラー００５は平面として表現され、Ｚ軸上の回転中心ｃ３０４を中心に回転し、その単位法線ベクトルをｎ３０３とする。投影面３０６はＺ軸を軸とする円筒面であり、その半径をＤとする。
【０１０５】
ミラー００１の単位法線ベクトルｎ３０３は、水平、すなわちＸＹ平面と平行な状態を基準に、Ｘ軸、Ｙ軸、Ｚ軸の各軸周りの回転量φ、ρ、θを用いて、
【数１６】

と求められる。本実施例では水平方向のみの回転を考えるため、垂直方向への回転量に相当するφは固定であり、かつ、Ｙ軸周りの回転量に相当するρ＝０であるとみなせる。水平方向の回転量、すなわちＺ軸周りの回転量θはミラー移動手段００２により観測される値を用いる。
【０１０６】
図１８は、本実施例における処理の流れを説明するための図である。
以下、図１８に基づいて、本実施例における処理の流れを詳細に説明する。
本実施例における画像入力装置１００は、まず、１枚の広視野画像を構成する画像数、各部分画像を取得すべき位置、ミラー移動手段００２の原点への移動、ミラー制御手段００３内の出力パルス数を計数するカウンタの初期化等、各構成要素に必要な初期化を行う（ステップＡ０１）。第１および第２の実施の形態の実施例と同様であるため詳細は割愛する。
なお、部分画像ｉを取得すべきミラー００１の向きを水平方向の角度θｉで表現するものとする。これらは説明のために仮に設定するものであり、本説明の適用範囲を限定するものではなく、他の表現手法を利用可能である。ミラー００１の水平方向、すなわちＺ軸周り以外の回転も可能な場合は、各軸周りの回転量も含めて取得すべき向きを設定すれば良い。
【０１０７】
また、画像メモリ００８は、Ｎ枚の部分画像及び合成画像を格納するのに必要十分な大きさを持っており、画像属性メモリ００４は、部分画像の大きさ、取得時のミラーの姿勢、部分画像が格納されている画像メモリ上の位置、合成画像の大きさ、合成画像が格納される画像メモリ上の位置の各属性情報が格納されているものとする。各部分画像や合成画像の画素値は、これらの属性情報を利用することで参照可能である。このような画像メモリ００８および画像属性メモリ００４はメモリ素子の組み合わせや、または、コンピュータに搭載されている記憶装置を流用することで容易に実現可能である。
【０１０８】
初期化終了後、本発明における画像入力装置１００は撮像処理を終了するまで、ステップＢ００〜ステップＧ００の処理を繰り返す（ステップＡ０２）。処理を終了する条件については、ユーザからの指示、既定時間実行した後終了する等様々な手法を実施可能であるが、本発明の本質ではないので詳細は割愛する。
ミラー制御手段００３は、ミラー移動手段００２を用いてミラー００１の向きを部分画像ｉの取得位置θｉに移動する（ステップＢ００）。
【０１０９】
図１９は、ミラー移動処理の処理の流れを説明するための図である。
図１９において、ミラー制御手段００３は、まず、ミラー移動手段００２に指示を出し、ミラー００１の移動を開始する。すなわち、ミラー移動手段００２は、ステッピングモータにパルスを出力してミラーの向きを移動し（ステップＢ９２）、出力パルス数を更新する（ステップＢ９３）。そして出力パルス数から、第１のおよび第２の実施の形態のカメラの角度を求める場合と同様の計算に基づき、ミラー００１の向きθを求める（ステップＢ９４）。
【０１１０】
ここでは、ステップＢ９２においては１パルスを出力し、ステップＢ９４においては、出力パルス数を示すカウンタ値を１増加させるものとする。ただし、これらは仮に設定するものであり、例えば、カメラの水平方向の回転の分解能がより細かな値を持つ場合などは２パルスを一度に出力するなど、ここにあげた例とは異なった値を利用することも可能なことは、第１および第２の実施の形態における実施例と同様である。
その後、ミラー制御手段００３は、求めたθと部分画像ｉを取得すべき位置を示すθｉを比較することでミラー００１が目的の向きに移動したか否かを監視し（ステップＢ９５）、目的の向きに達した場合はミラー００１の移動を終了する。そうでない場合は、再びステップＢ９２に戻り、パルス出力以降の処理を繰り返す。
【０１１１】
次に、撮像制御手段００７は、第１および第２の実施の形態の実施例における撮像処理と同様に、ミラー００１を経由してカメラ００５が取得した外界の映像を撮像手段００６により部分画像として画像メモリ００８に、取得時のミラー００１の向き、すなわちθｉを画像属性メモリ００４に、それぞれ取り込む（ステップＣ００）。ここで、撮像手段の構成は、第１および第２の実施の形態における実施例と同様である。
続いて、画像合成手段００９は、取得した部分画像を、視差の影響が低減するように投影面３０６に投影し、この投影面３０６を展開して合成画像を更新する（ステップＥ００）。
【０１１２】
本実施例における合成処理の流れは、第１および第２の実施の形態の実施例の合成処理の流れを示す図である図７と同様の処理の流れであるが、第１および第２の実施の形態の実施例では、カメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点およびステップＥ９５における投影手法がミラーの回転中心ｃ３０４を利用する点が異なっている。
図７において、画像合成手段００９はまず、取得直後の部分画像ｉを合成画像上に投影するために、画像メモリ００８内から部分画像ｉを、また、その取得位置θｉを画像属性メモリ００４から取得する（ステップＥ９１）。本実施例において、部分画像の各画素に付加された番号、およびその番号を用いて部分画像ｉ上の画素の位置を決定する処理（ステップＥ９２、ステップＥ９３、およびステップＥ９４）は、第１および第２の実施の形態における実施例と同様である。
【０１１３】
以下、ステップＥ９５およびステップＥ９６における、部分画像上の画素の投影面３０６への投影処理を、図を用いて詳細に説明する。
まず、部分画像ｉ取得時のミラー位置θｉから、部分画像ｉを取得した時のミラー００１の単位法線ベクトルｎ３０３を式（１６）に対して、θ＝θｉ、ρ＝０を代入した、
【数１７】

に従って求める。これはφ＝ρ＝θ＝０の時に（０，０，１）である単位ベクトルを、Ｘ、Ｙ、Ｚ軸周りに回転する変換を示している。ここで、部分画像ｉ上の点ｐ３１１（ｘｊ，ｙｊ）を考えると、その３次元空間における座標は（ｘｊ，ｙｊ，ｆ）となる。すなわち、
【数１８】

である。
視点ｏ３０１から点ｐ３１１を通る直線は、パラメータｓを用いて、
【数１９】

と表現される。
【０１１４】
ミラー００１上の点ｒ３０５と、単位法線ベクトルｎ３０３と、回転中心ｃ３０４の間の関係は、内積を用いて、
【数２０】

と表現でき、特に点ｒ３０５が式（１９）で示される直線と、ミラー００１との交点である場合は、
【数２１】

と表現できる。
【０１１５】
ここで、直線の方向ベクトルｌが、単位法線ベクトルｎで示される平面において反射した後の方向ベクトルは、単位法線ベクトルのＸ、Ｙ、Ｚ成分により構成される反射を示す行列Ｒを用いて
【数２２】

と表現できることから、視点ｏ３０１から点ｐ３１１を通る直線が、ミラー００１上の点ｒ３０５において反射した後の直線（＝反射直線３０７）上の点ｑ３０９は、行列Ｒとパラメータｓを用いて、
【数２３】

と表現できる。この反射直線３０７と投影面３０６との交点として定まる投影点ｐ’３０８は、視点ｏ３０１を投影の中心として点ｐ３１１を投影面３０６上に投影したものである。本発明において、ミラー００１の回転はカメラ００５前方にある軸周りの回転と同じ効果をもたらすため、ミラー００１の回転に伴う視点ｏ３０１の移動により視差が発生するという問題がある。すなわち、３次元空間上の点がミラー００１の向きによって異なった投影上の点に投影されるため、形状や位置の不連続が発生する場合がある。
【０１１６】
図３７は、この視差の問題を説明するための図であり、上記の投影手法では、空間上の点ｑ３０９が、破線および実線で示されるようにミラー００１が異なる向きの時に、投影面３０６上の異なる２点ｐ’３０８に投影されることを示している。この視差は、ミラー００１の回転中心ｃ３０４と投影面３０６への投影の中心が一致していないことに起因するものである。
この問題を解決するために、本発明における画像入力装置では、第１および第２の実施の形態の実施例において、カメラ回転中心を投影の中心としたのと同様に、画像合成手段００９における画像合成処理において回転中心ｃ３０４を投影の中心として、各部分画像を投影面３０６上に投影する。
【０１１７】
図３６は、回転中心ｃ３０４を投影中心とする投影手法を説明するための図である。回転中心ｃ３０４から式（２３）で表現される反射直線３０７上の点ｑ３０９へのベクトルは、
【数２４】

であり、このベクトルを延長して得られる直線は媒介変数ｔを用いて、
【数２５】

と書ける。この直線と投影面３０６の交点ｐ’’３１０を考えると、式（２５）中には点ｑ３０９の空間上の位置を定めるパラメータｓが含まれていることから、回転中心ｃ３０４を投影の中心とした場合には、図３６に示すように、パラメータｓの値、すなわち点ｑ３０９の点ｒ３０５からの距離に応じて点ｐ’’３１０の位置が変化することを示している。
【０１１８】
しかしながら、空間上の点ｑ３０９が遠方、すなわち、パラメータｓの値が大きくなっていく場合を考えると、回転中心ｃ３０４と点ｐ’’３１０を結ぶベクトルは徐々に、反射直線３０７の方向ベクトルに近づき、最終的には平行な方向に収束するという特性がある。例えば、レンズの焦点距離５．５、回転中心が（０，０，３０）の時には、反射点からの距離が約１０００程度でほぼ収束する。すなわち、回転中心ｃ３０４から見た反射直線３０７上の点を投影面３０６上に投影した場合、交点ｐ’３１０は、反射直線３０７と平行で回転中心ｃ３０４を通る直線と投影面３０６との交点に収束する。これは、視点ｏ３０１と画像平面３０２上の点ｐ３１１とを結ぶ直線がミラー００１により反射した反射直線３０７上にある空間上の点のほとんどが、この交点に投影されることを示している。このことから、この収束点を投影点３１２とすることにより、上記の視差の問題を大幅に低減可能であり、得られる合成画像の品質を著しく向上させられる。
【０１１９】
そこで、ステップＥ９５においては、部分画像ｉ上の各点（ｘｊ，ｙｊ，ｆ）から、式（２３）で示される反射直線３０７と同じ方向ベクトルを持ち回転中心ｃ３０４を通る直線と、投影面３０６である半径Ｄの円筒面との交点の位置ベクトルを、
【数２６】

として求めて、まず、部分画像ｉ上の点ｐ３１１に対応する投影面３０６上の投影点３１２の３次元位置（Ｘ，Ｙ，Ｚ）を求める。そしてさらに、第１および第２の実施の形態の実施例と同様に、式（７）に従って投影点３１２に対応する投影面３０６を平面に展開した合成画像上における位置（Ｘｊ，Ｙｊ）を求める。そして、ステップＥ９６において、画像メモリ００８に格納されている合成画像の対応する位置の画素値を部分画像ｉ上の画素値で置換することで部分画像ｉ上の各点を合成画像上に投影する。（Ｘｊ，Ｙｊ）が整数値でない場合は、少数点以下を四捨五入すれば良いのも、第１及び第２の実施の形態の実施例と同様である。
【０１２０】
また、合成画像の大きさの更新タイミングおよび手法についても第１および第２の実施の形態の実施例と同様である。
部分画像ｉ上の全画素の合成画像上への投影処理が終了したか否かを全画素数を示すＪと変数ｊの比較により判断し、全画素への処理が終了した場合には、画像合成処理を終了する（ステップＥ９３）。
合成処理（ステップＥ００）における部分画像ｉの合成画像への投影処理が終了した後、表示制御手段０１１は、更新された合成画像を画像メモリ００８から読み出し、第１および第２の実施の形態の実施例と同様に、表示手段０１２に表示する（ステップＧ００）。
【０１２１】
更新された合成画像の表示が終了した後、第１および第２の実施の形態の実施例と同様に、次の部分画像を取得するべく、図１８におけるステップＡ０２以降を繰り返す。図３１に示したような、継続的に更新される合成画像を用いた機能の例を利用可能なことも第１および第２の実施の形態の実施例と同様である。
なお、上記の説明においては、ミラー移動、撮像、画像合成、表示の各処理を順に実行するものとして説明したが、これらは並列に実行するように構成することも可能である。
【０１２２】
以下、第３の実施の形態の第２の実施例として、各処理を並列に構成した場合について、第３の実施の形態の第１の実施例と比較しながら、図を用いて詳細に説明する。
第３の実施の形態の第２の実施例においても、外観、各手段の構成、投影面、座標系の設定など、処理の流れに関わる個所以外は、第３の実施の形態の第１の実施例とすべて同一とする。
図２０は、各処理を並列に構成した場合の全体の処理の流れを説明するための図である。
図２０における各処理は、図１８における第３の実施の形態の第１の実施例における処理の流れと比較して、ミラー移動（ステップＢ００），撮像（ステップＣ００）、画像合成（ステップＥ００）、表示（ステップＧ００）の各処理が同期をとりながら、並列に実行されることを特徴とする。
【０１２３】
第３の実施の形態の第１の実施例と同様の初期化処理（ステップＡ０１）、終了確認処理（ステップＡ０２）を経た後、各処理はそれぞれ動作を開始する。
図２１は、第３の実施の形態の第２の実施例におけるミラー移動処理（ステップＢ００）の処理の流れを詳細に説明するための図である。
第２の実施例におけるミラー移動処理は、第１の実施例と比較して、ミラー００１を個々の画像取得位置に移動するのではなく、ミラーの向きを記録しながら継続的に移動することに特徴がある。
すなわち、ミラー移動処理は、図２０における終了確認処理（ステップＡ０２）からの指示があるまで、パルス出力（ステップＢ９２）からミラー位置計算（ステップＢ９４）の処理を継続して行い、得られたミラー位置をミラー制御手段０１５内に記録（ステップＢ９６）という処理を繰り返す。撮像処理（ステップＣ００）は、第１および第２の実施の形態における実施例と同様に、このミラー位置を参照して処理を行う。ここではミラー位置として水平方向の角度が伝えられるものとするが、出力パルス数を直接送出する等、撮像処理においてミラーの向きが確認できる手法であれば、どのような形態でも良い。また、水平だけでなく、各軸周りの回転量を伝えるように構成可能なことも、第１および第２の実施の形態における実施例と同様である。
【０１２４】
パルス出力（ステップＢ９２）からミラー位置計算（ステップＢ９４）までの各処理は、第３の実施の形態の第１の実施例における処理の流れを説明する図である図１９において同一名称を持つ処理と同様の処理である。
図２０における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＢ９７）、第３の実施の形態における第１の実施例と同様に、ミラー００１の移動を停止し、処理を終了する。
【０１２５】
図２２は、第３の実施の形態の第２の実施例における撮像処理（ステップＣ００）の処理の流れを詳細に説明するための図である。
本実施例における撮像処理の流れは、第１の実施の形態の第２の実施例における撮像処理の流れを示す図である図１０と同様の処理の流れであるが、先の実施例ではカメラ００５の向きを取得したのに対して（ステップＣ９１）、本実施例ではミラー００１の向きを取得し（ステップＣ９５）、利用する点が異なっているのみであり、詳細は割愛する。
【０１２６】
本実施例における合成処理の流れは、第１の実施の形態の第２の実施例における合成処理の流れを示す図である図１１と同様の処理の流れであるが、第１の実施の形態の第２の実施例ではカメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点、およびステップＥ０４における投影手法が、第３の実施の形態の第１の実施例における処理と同様に、ミラーの回転中心ｃ３０４を利用する点が異なっている。
表示処理は、表示制御手段０１１が、合成画像を継続的に画像メモリ００８から読み出し、表示手段０１２に表示する（ステップＧ００）。継続的に読み出し、表示されるため、更新された合成画像は直ちに表示手段０１２に表示される点や、合成画像の一部だけをユーザの指示に応じて選択的に表示するように構成することや、複数のユーザが同一の合成画像上から異なった地点を切り出して表示手段０１２に表示する機能を提供可能なことは先の実施例と同様である。
【０１２７】
このように各処理を並列に構成することで、第３の実施の形態の第１の実施例と比較して、画像取得から画像を合成するに至る一連の処理の流れにおいて、一つの処理の遅れが他の処理にも影響を与え全体の動作速度が低下するという問題を防げるという長所が生じる。
次に、本発明の画像入力装置における第４の実施の形態の実施例を、図を参照して詳細に説明する。
【０１２８】
第３の実施の形態においては、部分画像の取得のすべき位置と実際に部分画像を取得した際のミラーの向きには差が発生しないものとして構成されている。しかしながら、ミラー移動手段００２によるミラー向き検出精度が低い場合、さらには、画像取得指示から実際に部分画像が取得されるまでの遅延が大きい場合には、部分画像の取得位置に大きな誤差が含まれる場合があり、合成画像の精度を著しく低下させるという問題が発生する場合がある。
【０１２９】
本発明の第４の実施の形態は、第１の実施の形態に対する第２の実施の形態と同様に、このような取得位置に含まれる誤差の問題を解消するためになされたものであり、第３の実施の形態と比較して、各部分画像の取得位置に含まれる誤差を解消し高精度の合成画像を取得可能とするために、部分画像間に位置あわせを適用する位置あわせ手段が追加されたことを特徴とする。
【０１３０】
本実施例においても、第３の実施の形態における実施例の構成を説明するための図である図３３と同様の外観を持つが、筐体１０１には、ミラー制御手段００３、画像属性メモリ００４、撮像手段００６、撮像制御手段００７、画像メモリ００８、画像合成手段００９、表示制御手段０１１の各構成要素に加えて、さらに、位置合わせ手段０１３が格納されており、他の構成要素とケーブルにより接続されている。第３の実施の形態の第１の実施例と比較して、同じ名称を持つ構成要素は同じ機能を提供するが、画像属性メモリ００４は、部分画像取得時のミラーの向きの情報および位置合わせ手段０１３により求められた各部分画像の位置補正量をそれぞれ、格納する。また画像合成手段００９は、画像属性メモリ００４内の部分画像の取得位置と、位置合わせ手段０１３により求めた部分画像の位置補正量を利用して合成位置を求めるように構成されている。
【０１３１】
図２３は、本実施例における処理の流れを説明するための図である。図２３において、第３の実施の形態の第１の実施例における処理の流れを説明するための図である図１８と同じ名称を持つ構成要素は同じ機能を提供するものとする。なお、第４の実施の形態の実施例において、外観、各手段の構成、投影面、座標系の設定など、位置合わせ手段０１３および位置合わせ処理（ステップＤ００）に関わる個所以外は、第３の実施の形態の実施例とすべて同一とする。
図２３における初期化（ステップＡ０１）は、第３の実施の形態の第１の実施例と比較して、部分画像の合成位置を求める際の位置補正量値を０に初期化する処理が追加されている。終了確認（ステップＡ０２）、ミラー移動（ステップＢ００）、撮像（ステップＣ００）は、第３の実施の形態の第１の実施例と同様である。
【０１３２】
本実施例における位置合わせ処理（ステップＤ００）の流れは、第２の実施の形態の実施例における位置合わせ処理の流れを示す図である図１３と同様の処理の流れであるが、第２の実施の形態の実施例ではカメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点が異なっている。
ステップＤ００における位置合わせ処理結果を利用して、画像合成手段００９は、第３の実施の形態における実施例と同様に、部分画像に含まれる視差の影響を低減しながら各部分画像を合成画像上に投影する（ステップＥ００）。本実施例においては、第３の実施の形態の第１の実施例における合成処理の処理の流れを説明する図である図７と、ステップＥ０２において、画像属性メモリ００４に格納された部分画像を取得した時のミラー００１の向き情報と、位置合わせ手段０１３により求めた合成位置補正量とを用いて部分画像の合成位置を求める点が異なるのみであり、その他の投影手法に関しては第３の実施の形態の第１の実施例と同様である。
【０１３３】
このように、位置合わせ手段０１３により部分画像ｉの取得位置に含まれる誤差を解消し、高精度の合成画像を生成することが可能となる。
第４の実施の形態においても、第３の実施の形態と同様に、各処理が並列に実行されるように構成することが可能であり、この時、ステップＤ００における位置合わせ処理は、第２の実施の形態の実施例における位置合わせ処理の流れを示す図である図１５と同じ処理の流れとなるが、第２の実施の形態の実施例ではカメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点が異なっている。
【０１３４】
また、第２の実施の形態の実施例と同様に、部分画像の取得および画像合成が継続的に、かつ、同じ位置を目標に行われる場合には、各部分画像の取得位置に含まれる誤差は安定すると考えられるため、継続的に画像取得および合成が行われている時、ある時点で求めた部分画像ｉに対する位置補正量は、次に部分画像ｉを取得する時にも高い精度で利用できる。このことから、第４の実施の形態の第１の実施例に対して、図２４のように、位置合わせ処理（ステップＤ００）と合成処理（ステップＥ００）が並列に実行されるように構成可能である。図２４は、第２の実施の形態の実施例における処理の流れを示す図である図１４と同様の処理の流れであるが、カメラ００５ではなく、ミラー００１の移動を行う点（ステップＢ’００）と、各処理においてカメラ００５の向きではなくミラー０００１の向きの情報を利用する点が異なっている。
【０１３５】
また、第３および第４の実施の形態の実施例における画像合成処理では、部分画像ｉを合成画像上に投影するという手法を説明したが、第１および第２の実施の形態の実施例と同様に、合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定するように構成することも可能である。
このときの画像合成処理の流れは、第１及び第２の実施の形態における実施例と同様に、図１６および図１７となる。図１７は、画像合成処理を他の処理と並列に実行する場合を示している。
【０１３６】
この画像合成処理における各処理は、第１および第２の実施の形態の実施例においてはカメラ００５の向きを利用したのに対してミラー００１の向きを利用するように構成される点、および、合成画像上の位置（Ｘｋ，Ｙｋ）から部分画像上の位置（ｘｋ，ｙｋ）を求める際の計算が異なるのみである。以下、第３及び第４の実施の形態の実施例において、合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定する場合の計算手法について説明する。
【０１３７】
合成画像上の点（Ｘｋ，Ｙｋ）から投影面３０６上の投影点３１２の３次元座標（Ｘ，Ｙ、Ｚ）は、第１および第２の実施の形態における実施例と同様に、
【数２７】

と表現される。この投影点３１２に対応する部分画像ｉ上の点は、投影点３１２とミラー回転中心ｃ３０４を通る直線に平行で、かつミラー００１によって反射した場合に視点ｏ３０１を通る直線と、画像平面３０２との交点として求められる。
【０１３８】
投影点３１２とミラー回転中心３０４を通る直線の方向ベクトルは、
【数２８】

であり、ミラー００１において反射した直線の方向ベクトルは、反射を示す行列Ｒを用いて、
【数２９】

と書ける。
【０１３９】
この方向ベクトルを持ち、視点ｏ３０１、すなわち、原点を通る直線は、パラメータｓを用いて
【数３０】

となる。画像平面３０２との交点ｐ３１１の座標（ｘ，ｙ，ｚ）はこの直線上の点のうち、Ｚ成分が焦点距離ｆと一致する点として求められ、その時のＸ成分およびＹ成分が部分画像ｉ上の点の位置（ｘｋ，ｙｋ）となる。すなわち、
【数３１】

と表現される。
求めた位置（ｘｋ，ｙｋ）から合成画像上の画素値を決定する手法は、第１および第２の実施の形態における実施例と同様であり、詳細は割愛する。
【０１４０】
このように合成画像上の点から部分画像上の対応点を求める場合は、座標の丸め誤差に伴う空白画素の発生が合成画像上に生じないという特徴があるのは、第１および第２の実施の形態における実施例と同様である。また計算により求めた合成画像サイズが指定サイズに収まるように拡大・縮小比率を求め、この比率を合成画像の座標系に適用することで上記の画像投影手法を利用可能なことも、同様である。さらには、他の処理と並列に実行されるように構成可能なことも、第１および第２の実施の形態における実施例と同様である。
【０１４１】
図４０は第４の実施の形態における実施例において、合成画像上の画素値を部分画像上の対応点から共一次内挿により求めた画像の例を示している。図４０（Ａ）が画像合成処理において得られる合成画像の一状態を示しており、図４０（Ｂ）は表示処理において、合成画像から中央部のみを切り出して表示される様子を示している。
【０１４２】
また、各第３および第４の実施の形態における実施例においては、図３３に示すように、カメラ００５が上方に、ミラー００１が下方にある形態について説明したが、本発明の適用範囲はこれに限定されるものではない。図３８および図３９は、他の実施の例を示したものであり、カメラ００５を下方に、ミラー００１を上方に設置する場合の例を示している。図３９が外観を、図３８が断面図をそれぞれ示している。このような構成とした場合、ミラー移動手段００２の構成要素であるミラー保持治具をミラー両端にして各部分画像に治具が映り込まないようにすることで、カメラ００５を支える支柱４００が視界に入ることを防ぐことが可能となる。
【０１４３】
また、第４の実施の形態における実施例においては、ミラー移動手段００２が部分画像取得時のミラー００１の向きを検出するとしたが、位置合わせ手段０１３を構成要素とする場合は、θの存在範囲を適切に設定することでミラー００１の向きの検出機構を省くことも可能である。
また、上記の各実施の形態における実施例においては、ビデオカメラを、固定焦点距離を持つものとして扱ったが、ズームレンズ等により焦点距離が可変な場合にも、現在の焦点距離を装置に伝える手段を設けることで容易に対応可能である。
【０１４４】
また、上記各実施の形態における実施例においてはカメラ００５の光学系を周辺減光や歪曲収差を持たない単純なピンホールモデルにて説明したが、これらの歪みを取り除く手段を撮像制御手段００７に追加することによりこのような光学系に起因する歪みを生じるカメラ００５に対しても本発明は適用可能である。このようなカメラパラメータの測定技術については、「出口『カメラキャリブレーション手法の最近の動向』、情処研報Ｖｏｌ．９３、Ｎｏ．２５、ＣＶ８２−１、１９９３」に詳しく紹介されているため、ここでは割愛する。
また、各実施例において、カメラ００５またはミラー００１を、それぞれカメラ移動手段０１４またはミラー移動手段００２により自動的に移動するものとしたが、これらを簡略化してユーザが手動でカメラ００５またはミラー００１を移動可能な構成にすることも可能である。
【０１４５】
次に本発明の第５の実施の形態に係る画像入力装置の構成を図４１及び図４２に示す。図４１は画像入力装置の機構部を含む全体構成を示し、図４２は図４１に示す機構部の側面を示している。これらの図において、本実施の形態に係る画像入力装置は、機構部と制御部とからなり、具体的には、機構部は、カメラ本体６１０とカメラレンズ６１１からなり被写界を撮像するカメラ６００と、その側面のうち２面に反射面６０２ａ−１、６０２ａ−２が形成され、被写界からの反射光をカメラ６００のカメラレンズ６１１方向に光路変換するためにカメラ６００の前方に配置された三角柱ミラー６０２ａと、三角柱ミラー６０２ａをカメラ６００の光軸回りに回転させるミラー回転機構６０３とを有している。尚、カメラ６００、ミラー６０２ａは図４に示す第４の実施の形態に係る画像入力装置のカメラ００５、ミラー００１に相当し、ミラー回転機構６０３は図４に示す第４の実施の形態に係る画像入力装置におけるミラー移動手段００２に相当する。
【０１４６】
また制御部は、三角柱ミラー６０２ａの回転に伴ってカメラより入力される複数の画像を合成して広視野角画像を生成する処理手段５００と、処理手段５００からの制御信号に従ってミラー回転機構６０３を制御するミラー回転制御手段５０１とを有している。ミラー回転制御手段５０１は、図４に示す第４の実施の形態に係る画像入力装置のミラー制御手段００３に相当する。
【０１４７】
処理手段５００は、カメラ６００により撮像された画像を取得して処理する画像取得手段５０２と、画像取得手段５０２で処理された画像を反射面６０２ａ−１からの反射光を撮像することにより得られた画像と反射面６０２ａ−２からの反射光を撮像することにより得られる画像に分離する画像分離手段５０５と、画像分離手段５０５で分離された画像をそれぞれ独立に合成処理する画像合成手段５０３−１、５０３−２と、画像合成手段５０３−１、５０３−２で合成された画像を、それぞれの更新部分が広視野画像に反映されるように統合することで合成画像を更新する画像更新手段５０４とを有している。画像合成手段５０３−１は第１の画像合成手段に、画像合成手段５０３−２は本発明の第２の画像合成手段に、それぞれ相当する。
尚、画像取得手段５０２は図４に示す第４の実施の形態に係る画像入力装置の撮像手段００６及び撮像制御手段００７に相当する。画像合成手段５０３−１及び５０３−２は、図４に示す第４の実施の形態に係る画像入力装置の画像合成手段００９に相当する。
【０１４８】
上記構成からなる本発明の第５の実施の形態に係る画像入力装置の動作について説明する。上記構成において、処理手段５００は、ミラー回転制御手段５０１を介してミラー回転機構６０３を制御し、三角柱ミラー６０２ａを回転制御する。
処理手段５００は、三角柱ミラー６０２ａの回転速度を自由に設定できるが、通常は一定速度で回転させるように制御する。被写界からの反射光は、三角柱ミラー６０２ａの反射面６０２ａ−１と反射面６０２ａ−２で光路変換されてカメラ６００に入力され、この結果、カメラ６００により被写界が撮像され、その映像信号がカメラ本体６１０から画像取得手段５０２に送出される。
【０１４９】
画像取得手段５０２は、三角柱ミラー６０２ａが回転した状態で、カメラ本体６１０より順次、画像を取得し処理する。三角柱ミラー６０２ａが一定速度で回転している場合は、一定時間毎に画像を取得すれば、画像入力装置の周囲における被写界の画像を一定間隔で取得することが可能となる。
さて、画像取得手段５０２で取得された画像は、三角柱ミラー６０２ａの反射面６０２ａ−１からの反射光を撮像することにより得られた画像と、反射面６０２ａ−２からの反射光を撮像することにより得られた画像が合わさったものである。
【０１５０】
そこで画像分離手段５０５は、画像取得手段５０２により取得され処理された各画像を三角柱ミラー６０２ａの２つの反射面６０２ａ−１、６０２ａ−２に対応させて分離して、分離された画像をそれぞれ画像合成手段５０３−１と画像合成手段５０３−２に送出する。
画像合成手段５０３−１、５０３−２では、それぞれ独立に画像の合成処理を行い、合成された結果を画像更新手段５０４へ送出する。
画像更新手段５０４では、画像合成手段５０３−１、５０３−２から送られてきた各画像から更新された部分を広視野画像上に重ね書きすることで順次広視野画像を更新し、図示していない表示手段に出力する。
【０１５１】
画像合成手段５０３−１及び５０３−２における合成処理は、本発明における第１〜第４の実施の形態における合成処理と同様である。
【０１５２】
図４３は、図４１に示した画像入力装置におけるカメラ６００で撮像された各画像Ｍ１、Ｍ２、Ｍ３、Ｍ４、…の例を示しており、上下方向が一致するように回転して配置した様子を示している。
図４３にあるように三角柱ミラー６０２ａの２つの反射面６０２ａ−１と反射面６０２ａ−２を介して撮像された各画像領域における境界線Ｌの位置は，カメラ６００のカメラレンズ６１１の光軸に対する三角柱ミラー６０２ａの相対角度で決まる。画像分離手段５０５は、この境界線Ｌに従って撮像した画像を２つに分離する。分離された各画像は取得時のミラー角度が１８０度異なる２枚の部分画像とみなすことができるため、画像合成手段５０３−１及び５０３−２において、本発明における第１〜第４の実施の形態における画像合成処理と同様の処理でそれぞれ独立に合成される。
【０１５３】
画像更新手段５０４は、画像合成手段５０３−１及び５０３−２において生成された各合成画像のうち、撮像した画像が反映されている部分のみを抜き出して広視野画像上の対応部分に重ね書きすることで広視野画像を更新する。撮像した画像が反映されている部分は、例えば、分離後の画像上の各画素が合成画像上に投影される領域の外接矩形とすることで容易に判断可能である。また図４４は図４３における画像Ｍ２が広視野画像に合成される様子を説明するための図である。　図４４において、画像Ｍ２は、三角柱ミラー６０２ａの反射面６０２ａ−１を介して撮像された画像Ｍ２−１と、反射面６０２ａ−２を介して撮像された画像Ｍ２−２とに分離された後、それぞれ独立に合成画像１及び合成画像２上に合成される。この時、両者の合成位置は互いに１８０度異なっている。画像更新手段５０４は、合成画像１、合成画像２それぞれの更新された部分の外接矩領域Ｒ−１とＲ−２を抜き出して重ね書きすることで広視野画像を更新する。
以上のように、本実施の形態においては、個々の撮像した画像には、カメラから見たある方向の被写体と、それと１８０度反対方向の被写体がそれぞれ同時に撮像されている。したがって、三角柱ミラー６０２ａが１８０度回転しただけで３６０度全方位の広視野画像を取得することができる。すなわち、三角柱ミラー６０２ａが３６０度回転する度に、広視野画像は２回更新されることになる。すなわち、本発明の第４の実施の形態に係る画像入力装置に比べて、広視野画像を入力する際のフレームレートを２倍、高速化することができる。ここでは、２つの独立した画像合成手段が存在するものとして説明したが、各合成処理を並列に行う必要がない場合は、本発明における第１〜第４の実施の形態において利用した画像合成手段を、分離後の各画像に順番に適用するように構成することも可能である。
【０１５４】
以上説明したように本発明の第５の実施の形態に係る画像入力装置によれば、三角柱ミラーを用いてカメラにより撮像した２方向の画像を同時に合成し、更新することにより、ミラーがカメラの光軸回りを１回転するのに要する時間の１／２で３６０度全方位の広視野画像を１回、更新することが可能となる。
【０１５５】
次に本発明の第６の実施の形態に係る画像入力装置の構成を図４５及び図４６に示す。図４５は画像入力装置の機構部を含む全体構成を示し、図４６は図４５に示す機構部の側面を示している。これらの図において、本実施の形態に係る画像入力装置は、機構部と制御部とからなり、具体的には、機構部は、カメラ本体６１０ｕとカメラレンズ６１１ｕからなるカメラ６０１ｕと、カメラ本体６１０ｄとカメラレンズ６１１ｄからなり、カメラ６０１ｕとカメラレンズの光軸を一致させて互いに向き合うように配置されたカメラ６０１ｄと、カメラ６０１ｕとカメラ６０１ｄとの間に配置され反射面６０２ｂ−１、６０２ｂ−２を有し、被写界からの反射光をカメラ６０１ｕ、６０１ｄのカメラレンズ方向に光路変換する両面ミラー６０２ｂと、両面ミラー６０２ｂをカメラ６０１ｕ、６０１ｄの光軸回りに回転させるミラー回転機構６０３と、ミラー回転機構６０３の回転を両面ミラー６０２ｂに伝達するための両面ミラー６０２ｂを保持している中空ギア６０４及びギア６０５とを有している。カメラ６０１ｕは、本発明の第１のカメラに、カメラ６０１ｄは、本発明の第２のカメラに、それぞれ相当する。
尚、両面ミラー６０２ｂは、図４に示す本発明の第４の実施の形態に係る画像入力装置のミラー００１に、ミラー回転機構６０３は図４のミラー移動手段００２に、それぞれ相当する。
【０１５６】
また制御部は、ミラーの回転に伴ってカメラ６０１ｕ、６０１ｄより入力される複数の画像を合成して広視野角の画像を生成する処理手段５００と、処理手段５００から出力される制御信号に従ってミラー回転機構６０３を制御するミラー回転制御手段５０１とを有している。
処理手段５００は、カメラ６０１ｕにより撮像された画像を取得して処理する画像取得手段５０２ｕと、画像取得手段５０２ｕで処理された画像を合成処理する画像合成手段５０３ｕと、カメラ６０１ｄにより撮像された画像を取得して処理する画像取得手段５０２ｄと，画像取得手段５０２ｄで処理された画像を合成処理する画像合成手段５０３ｄと、画像合成手段５０３ｕ、５０３ｄにより合成された各画像から更新された部分を広視野画像に重ね書きして更新する画像更新手段５０４とを有している。尚、ミラー回転制御手段５０１は、図４に示す本発明の第４の実施の形態に係る画像入力装置のミラー制御手段００３に、画像取得手段５０２ｕ、５０２ｄは、図４に示す本発明の第４の実施の形態に係る画像入力装置の撮像手段００６及び撮像制御手段００７に、画像合成手段５０３ｕ、５０３ｄは、図４に示す本発明の第４の実施の形態に係る画像入力装置の画像合成手段００９に、それぞれ相当する。
【０１５７】
ここで、画像取得手段５０２ｕは本発明の第１の画像取得手段に、画像取得手段５０２ｄは本発明の第２の画像取得手段に、画像合成手段５０３ｕは本発明の第１の画像合成手段に、画像合成手段５０３ｄは本発明の第２の画像合成手段に、それぞれ相当する。
【０１５８】
次に上記構成からなる本発明の第６の実施の形態に係る画像入力装置の動作について説明する。上記構成において、処理手段５００は、ミラー回転制御手段５０１を介してミラー回転機構６０３を制御し、ギア６０５を回転駆動する。ギア６０５の回転は、中空ギア６０４を介して両面ミラー６０２ｂに伝達される．中空ギア６０４は、両面ミラー６０２ｂの反射面６０２ｂ−２で反射された光をカメラ６０１ｄに入力されるように中空形状をしている。
【０１５９】
処理手段５００は、両面ミラー６０２ｂの回転速度を自由に設定できるが、通常は一定速度で回転させるように制御する。被写界からの反射光は、両面ミラー６０２ｂの反射面６０２ｂ−１と反射面６０２ｂ−２で光路変換されてそれぞれ、カメラ６０１ｕ及びカメラ６０１ｄに入力され、この結果、カメラ６０１ｕ及びカメラ６０１ｄにより被写界が撮像され、その映像信号がカメラ本体６１０ｕ及びカメラ本体６１０ｄから、画像取得手段５０２ｕ及び画像取得手段５０２ｄに送出される。
【０１６０】
画像取得手段５０２ｕ及び画像取得手段５０２ｄは、両面ミラー６０２ｂが回転した状態で、カメラ本体６１０ｕ及びカメラ本体６１０ｄから順次、画像を取得し、処理する。両面ミラー６０２ｂが一定速度で回転している場合は、一定時間毎に画像を取得すれば、画像入力装置の周囲における被写界の画像を一定間隔で取得することが可能となる。
画像取得手段５０２ｕ及び画像取得手段５０２ｄで取得された画像は、それぞれ画像合成手段５０３ｕ及び画像合成手段５０３ｄで合成処理され、画像更新手段５０４へ送出される。
画像更新手段５０４では、画像合成手段５０３ｕ及び画像合成手段５０３ｄから送られてきた各画像から更新された部分を広視野画像上に重ね書きすることで順次広視野画像を更新し、図示していない表示手段に出力する。
【０１６１】
図４７は、本実施の形態における撮像から広視野画像更新に至る処理を説明するための図である。本実施の形態では、２つのカメラと、それらに挟まれた両面ミラー６０２ｂを用いているため、あるミラー位置に対して撮像位置が１８０度異なる２枚の画像が取得されることを特徴とする。この２枚の画像を、本発明における第５の実施の形態と同様に、画像合成手段５０３ｕ及び画像合成手段５０３ｄによりそれぞれ合成して合成画像を生成し、画像更新手段５０４により各合成画像の更新された部分を広視野画像上に重ね書きすることで広視野画像を更新する。すなわち、図４７において、あるミラー角度に対して両面ミラー６０２ｂの反射面６０２ｂ−１を経由して撮像された画像Ｍ１−１と、同じく反射面６０２ｂ−２を経由して撮像された画像Ｍ１−２は、それぞれ合成画像１及び合成画像２に合成される。この時、両者の合成位置は互いに１８０度異なっている、それぞれの更新領域の外接矩形領域Ｒ−１とＲ−２に相当する部分画像が広視野画像上に重ね書きされる。
本実施の形態における画像合成は、カメラ６０１ｕとカメラ６０１ｄのそれぞれの処理系統に対して本発明の第４の実施の形態に係る画像入力方法をそのまま適用できる。
本実施の形態では、２つのカメラと、それらに挟まれた両面ミラー６０２ｂを用いているため、ミラーが１回転する間に２つの３６０度全方位広視野画像が生成される。言い換えれば，両面ミラー６０２ｂが１回転する間に、３６０度全方位広視野画像が２回更新されることになる。すなわち、第５の実施の形態と同様に、第４の実施の形態に係る画像入力装置に比べて，広視野画像を入力する際のフレームレートを２倍、高速化することができる。
尚、ここでは、２つの独立した画像合成手段が存在するものとして説明したが、各合成処理を並列に行う必要がない場合は、本発明における第１〜第４の実施の形態において利用した画像合成手段を、各画像に順番に適用するように構成することも可能である。
【０１６２】
以上　説明したように本発明の第６の実施の形態に係る画像入力装置によれば、両面ミラーを用いてカメラにより撮像した２方向の画像を同時に合成し、更新することにより、ミラーがカメラの光軸回りを１回転するのに要する時間の１／２で３６０度全方位の広視野画像を１回、更新することが可能となる。
また２台のカメラと両面ミラーを組み合せることによりで広視野画像を高速に入力することが可能になると共に、更に本発明の第４の実施の形態に係る画像入力装置と同様の解像度の広視野画像を生成することができる。
【０１６３】
尚、回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に前記カメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６４】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、カメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピューシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６５】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、カメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
【０１６６】
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、カメラ移動手段を構成するカメラの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
また部分画像取得時におけるカメラの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、カメラ移動手段を構成するカメラの角度検出機構を省くことができる。
【０１６７】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６８】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６９】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた合成位置の位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、ミラー移動手段を構成するミラーの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
また部分画像取得時におけるミラーの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、ミラー移動手段を構成するミラーの角度検出機構を省くことができる。
【０１７０】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記カメラの回転中心とを結ぶ直線に平行で、かつカメラの視点を通る直線と前記取得した複数の各部分画像が形成される画像平面との交点から前記投影面上の点に対応する合成画像面上の画素を求める画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７１】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記カメラの回転中心とを結ぶ直線に平行で、かつカメラの視点を通る直線と前記取得した複数の各部分画像が形成される画像平面との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７２】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた合成位置の位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、空間上に設定された投影面上の点と前記カメラの回転中心とを結ぶ直線に平行で、かつカメラの視点を通る直線と前記取得した複数の各部分画像が形成される画像平面との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
【０１７３】
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
またカメラ移動手段を構成するカメラの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
更に部分画像取得時におけるカメラの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、カメラ移動手段を構成するカメラの角度検出機構を省くことができる。
【０１７４】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記ミラーの回転中心とを結ぶ直線を前記ミラー上で反射した反射光線を示す直線と平行で、かつ前記カメラの視点に入射する直線と前記部分画像が形成される画像平面上との交点から前記投影面上の点に対応する合成画像面上の画素を求める画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７５】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記ミラーの回転中心とを結ぶ直線を前記ミラー上で反射した反射光線を示す直線と平行で、かつ前記カメラの視点に入射する直線と前記部分画像が形成される画像平面上との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７６】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた合成位置の位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、空間上に設定された投影面上の点と前記ミラーの回転中心とを結ぶ直線を前記ミラー上で反射した反射光線を示す直線と平行で、かつ前記カメラの視点に入射する直線と前記部分画像が形成される画像平面上との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
更にミラー移動手段を構成するミラーの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
また部分画像取得時におけるミラーの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、ミラー移動手段を構成するミラーの角度検出機構を省くことができる。
【０１７７】
【発明の効果】
請求項１、２に記載の発明によれば、被写界を撮像するカメラと、被写界からの反射光を前記カメラのカメラレンズ方向に光路変換するために前記カメラの前方に配置されたミラーと、前記ミラーを前記カメラの光軸回りに回転させるミラー回転機構と、前記ミラーの回転に伴って前記カメラより入力される複数の画像を合成して広視野角の画像を生成する処理手段とを有する画像入力装置であって、前記ミラーは、側面のうち２面が反射面となっている三角柱ミラーであり、前記カメラは、前記ミラーの２面の前記反射面で光路変換された被写体からの反射光を撮像し、前記処理手段は、前記カメラにより撮像された複数の各画像を前記ミラーの反射面に対応させて分離して独立に画像合成するようにしたので、２方向の画像を同時に撮像、合成及び更新することができ、それ故、ミラーをカメラ前面にて回転することにより取得した複数の部分画像を合成する際に、広視野画像を高速に入力することが可能となる。
【０１７８】
請求項３、４に記載の発明によれば、カメラレンズの光軸を一致させて互いに向き合うように配置され被写界を撮像する第１、第２の２台のカメラと、前記第１、第２のカメラの間に配置され、被写界からの反射光を前記第１、第２のカメラのカメラレンズ方向に光路変換する両面ミラーと、前記両面ミラーを前記第１、第２のカメラの光軸回りに回転させるミラー回転機構と、前記記ミラーの回転に伴って前記第１、第２のカメラより入力される複数の画像を合成して広視野角の画像を生成する処理手段とを有するので、ミラーをカメラ前面にて回転することにより取得した複数の部分画像を合成する際に、高速に広視野画像を入力することができると共に、請求項２９、３０に記載の発明に係る画像入力装置により得られる広視野画像より高い解像度の広視野画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像入力装置の構成を示すブロック図。
【図２】本発明の第２の実施の形態に係る画像入力装置の構成を示すブロック図。
【図３】本発明の第３の実施の形態に係る画像入力装置の構成を示すブロック図。
【図４】本発明の第４の実施の形態に係る画像入力装置の構成を示すブロック図。
【図５】本発明の第１の実施の形態の第１実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図６】本発明の第１の実施の形態の実施例に係る画像入力装置のカメラ移動処理の内容を示すフローチャート。
【図７】本発明の第１の実施の形態の実施例に係る画像入力装置の画像合成処理の内容を示すフローチャート。
【図８】本発明の第１の実施の形態の第２実施例に係る画像入力装置の処理内容を示すフローチャート。
【図９】本発明の第１の実施の形態の第２実施例に係る画像入力装置のカメラ移動処理の内容を示すフローチャート。
【図１０】本発明の第１の実施の形態の第２実施例に係る画像入力装置の撮像処理の内容を示すフローチャート。
【図１１】本発明の第１の実施の形態の第２実施例に係る画像入力装置の画像合成処理の内容を示すフローチャート。
【図１２】本発明の第２の実施の形態の第１実施例に係る画像入力装置の処理内容を示すフローチャート。
【図１３】本発明の第２の実施の形態の第１実施例に係る画像入力装置の位置合わせ処理の内容を示すフローチャート。
【図１４】本発明の第２の実施の形態の第２実施例に係る画像入力装置の処理内容を示すフローチャート。
【図１５】本発明の第２の実施の形態の第２実施例に係る画像入力装置の位置合わせ処理の内容を示すフローチャート。
【図１６】本発明の実施の形態に係る画像入力装置における画像合成処理の他の例の内容を示すフローチャート。
【図１７】本発明の実施の形態に係る画像入力装置における画像合成処理の更に他の例の内容を示すフローチャート。
【図１８】本発明の第３の実施の形態の第１実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図１９】本発明の第３の実施の形態の実施例に係る画像入力装置のミラー移動処理の内容を示すフローチャート。
【図２０】本発明の第３の実施の形態の第２実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図２１】本発明の第３の実施の形態の第２実施例に係る画像入力装置のミラー移動処理の内容を示すフローチャート。
【図２２】本発明の実第３の実施の形態の第２実施例に係る画像入力装置の撮像処理の内容を示すフローチャート。
【図２３】本発明の第４の実施の形態の第１実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図２４】本発明の第４の実施の形態の第２の実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図２５】本発明の第１および第２の実施の形態の実施例に係る画像入力装置の外観の一例を示す説明図。
【図２６】本発明の第１および第２の実施の形態の実施例に係る画像入力装置と投影面との関係を示す説明図。
【図２７】本発明の第１および第２の実施の形態の実施例に係る画像入力装置に適用される投影手法を説明するためのモデル図。
【図２８】本発明の第１および第２の実施の形態の実施例に係る画像入力装置に適用されるカメラの回転中心を投影中心とする投影手法を説明するためのモデル図。
【図２９】画像入力装置において、カメラの視点が移動することに起因して視差が生じる状態を説明するためのモデル図。
【図３０】本発明の各実施の形態に係る画像入力装置において投影面を平面に展開する手法を示す説明図。
【図３１】本発明に係る画像入力装置を利用した機能の一例を示す説明図。
【図３２】本発明における画像入力装置において、カメラを回転させた
場合、およびカメラ前面でミラーを回転させた場合の各々について撮像範囲を示す説明図。
【図３３】本発明の第３および第４の実施の形態の実施例に係る画像入力装置の外観の一例を示す説明図。
【図３４】本発明の第３および第４の実施の形態の実施例に係る画像入力装置と投影面との関係を示す説明図。
【図３５】本発明の第３および第４の実施の形態の実施例に係る画像入力装置に適用される投影手法を説明するためのモデル図。
【図３６】本発明の第３および第４の実施の形態の実施例に係る画像入力装置に適用されるミラーの回転中心を投影中心とずる投影手法を説明するためのモデル図。
【図３７】カメラ前面に設けられたミラーの回転中心と投影中心とが一致しないために視差が生じる状態を説明するためのモデル図。
【図３８】本発明の第３および第４の実施の形態の実施例に係る画像入力装置の他の構成例を示す断面図。
【図３９】図３８に示す画像入力装置の外観を示す説明図。
【図４０】本発明の第４の実施の形態に係る画像入力装置により、合成画像上の画素値を部分画像上の対応点から求めた合成画像の一例を示す図。
【図４１】本発明の第５の実施の形態に係る画像入力装置の機構部を含む構成を示すブロック図。
【図４２】図４１に示した画像入力装置の機構部の側面を示す説明図。
【図４３】図４１に示した画像入力装置におけるカメラにより撮像される画像例を示す説明図。
【図４４】本発明の第５の実施の形態に係る画像入力装置による撮像から広視野画像更新に至る処理を示す説明図。
【図４５】本発明の第６の実施の形態に係る画像入力装置の機構部を含む構成を示すブロック図。
【図４６】図４５に示した画像入力装置の機構部の側面を示す説明図。
【図４７】本発明の第６の実施の形態に係る画像入力装置による撮像から広視野画像更新に至る処理を示す説明図。
【符号の説明】
１００…画像入力装置
００１…ミラー
００２…ミラー移動手段
００３…ミラー制御手段
００４…画像属性メモリ
００５…カメラ
００６…撮像手段
００７…撮像制御手段
００８…画像メモリ
００９…画像合成手段
０１１…表示制御手段
０１２…表示手段
０１３…位置合わせ手段
０１４…カメラ移動手段
０１５…姿勢制御手段
１０１…筐体
５００…処理手段
５０２，５０２ｕ，５０２ｄ…画像取得手段
５０３−１，５０３−２，５０３ｕ，５０３ｄ…画像合成手段
５０４…画像更新手段
５０５…画像分離手段
６００，６０１ｕ，６０１ｄ…カメラ
６０２ａ…三角柱ミラー
６０２ｂ…両面ミラー
６０３…ミラー回転機構[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image input device that acquires a wide range of images by combining a plurality of images.
[0002]
[Prior art]
It is considered that an image input device such as a video camera which is usually used has only a limited field of view, and thus reflects only a very small part of the external information surrounding the user. By using an image input device capable of expanding such a limited field of view and obtaining a wide field of view image, for example, in monitoring inside a store or outdoors, conventionally, only an image near the area watched by the observer can be obtained. On the other hand, visibility can be remarkably improved because it can be checked at a glance, including surrounding conditions. In addition, in the case of a wide-field image input device, it is expected that the range to be monitored by a single device is widened, which leads to a reduction in overall cost.
[0003]
The conventional wide-field image acquisition method uses a form (a so-called panoramic camera) in which light projected from a slit moving on the opposite side scans a film attached to the side of a cylinder (a so-called panoramic camera) or a fisheye lens / wide-angle lens. The main mode was to directly acquire a wide-field image. The main purpose is to use the wide-field image as it is as a panoramic photograph or, in the case of a fish-eye lens or the like, to project it on a screen through an optical system that applies an inverse transform. Input by a scanner or the like is required.
[0004]
With the advancement of hardware, as images can be directly input to a computer, a form of obtaining a wide-field image by applying a geometric transformation or a synthesis process to an image input on the computer has come to be used. This wide-field image acquisition method based on processing on a computer is based on an image synthesis type that synthesizes partial images taken with a normal camera to generate a wide-field image, and a wide-field image directly using a wide-angle lens or mirror. Can be broadly classified into optical types that obtain
[0005]
The image synthesis type further acquires a plurality of partial images using a tripod / head that is adjusted so that the camera rotates, and combines them to generate a wide-field image. And a method of combining the partial images. In the former, the obtained wide-view image has a high resolution to combine multiple images acquired by a normal camera, but the conventional method avoids the problem of parallax that occurs between images due to viewpoint movement. In addition, a mechanism configured to rotate the camera about the principal point of the lens is required (for example, see Patent Documents 1 and 2). In addition, the task of acquiring partial images is complicated, the weight and size of the camera is large, and it is difficult to continuously acquire a wide-field image because the camera cannot be rotated continuously and at high speed due to the characteristics of the signal and power cables. There was a problem that is.
[0006]
In the latter case, once the correct settings are obtained since the cameras are fixedly arranged, the image acquisition itself does not require time and the real-time property is high.On the other hand, since a large number of cameras are arranged, the device size becomes large, and the camera size increases. Is fixed, it is difficult to change the resolution and the imaging range. Furthermore, when the number of cameras to be used increases, the mechanism for inputting images from each camera to a computer also becomes large-scale.
[0007]
The optical type directly captures a wide-field image using a wide-angle lens / mirror, and reconstructs the image by geometric transformation. The one using a fisheye lens, the one using a mirror, and the like have been developed. In any of the methods, since a wide-field image can be acquired by a single imaging, the lens / mirror is fixed and the real-time property is high, but the resolution of the obtained wide-field image is low. In particular, in the method using a fisheye lens, distortion at the end of the image is large, and only a very coarse image can be obtained even when the geometric transformation is applied. There is also a method of combining a wide-field image input device using a mirror and a camera for acquiring a point-of-regard image, but the resolution of the point-of-regard image is high, but the resolution of the wide-field image itself has not been solved yet. As a method to solve the problems of the conventional wide-field image input method and obtain continuous, high-speed wide-field images with high resolution, multiple partial images obtained by rotating a mirror in front of the camera are combined. There is a method. Rotating the mirror around the camera's optical axis can be used for panning the camera, and the mirror can be used to move the mirror perpendicular to the camera's optical axis, except that the correspondence between the image and the actual top, bottom, left, and right changes and geometric distortions. Since rotating around corresponds to a tilt operation of the camera, multiple partial images are acquired using the rotation of the mirror, and the obtained partial images are combined by applying geometric transformation to form a wide-field image. What you get.
[0008]
[Patent Document 1]
JP-A-9-18750
[Patent Document 2]
JP-A-8-116490
[0009]
[Problems to be solved by the invention]
However, as pointed out in the specification of Japanese Patent Application Laid-Open No. Hei 9-18750, image input for inputting a wide-field image by synthesizing a partial image obtained by rotating a conventional mirror. The equipment includes
1. The mirror for switching the shooting range becomes larger,
2. When the photographing range is switched by a mirror disposed on the front surface of the lens, there is a problem that parallax occurs. In particular, the latter is a problem that occurs even when the camera is rotated at a position other than the principal point of the lens, and has a problem that the continuity of the synthesized image is impaired and the image quality of a wide-field image is significantly reduced.
[0010]
The present invention has been made in view of such circumstances, and according to the present invention, when combining a plurality of partial images obtained by rotating a mirror in front of a camera, a wide-field image is input at high speed. It is an object of the present invention to provide an image input device capable of performing such operations.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 includes a camera for imaging an object scene, and a camera in front of the camera for changing the optical path of reflected light from the object field toward a camera lens of the camera. An arranged mirror, a mirror rotating mechanism for rotating the mirror around the optical axis of the camera, and a plurality of images input from the camera with the rotation of the mirror to generate an image with a wide viewing angle The mirror is a triangular prism mirror of which two of the side surfaces are reflection surfaces, and the camera is configured to perform an optical path conversion on the two reflection surfaces of the mirror. The reflected light from the subject is imaged, and the processing means separates the plurality of images captured by the camera corresponding to the reflection surface of the mirror and independently synthesizes the images.
[0012]
According to a second aspect of the present invention, in the image input device according to the first aspect, the processing unit obtains an image captured by the camera and digitally processes the image. An image separating unit that separates each of the acquired and digitally processed images in accordance with the two reflecting surfaces of the mirror, and an image separating unit that corresponds to a first reflecting surface of the two reflecting surfaces of the mirror; First image combining means for combining separated images, and second image combining means for combining images separated by the image separating means corresponding to a second reflecting surface of the two reflecting surfaces of the mirror Means, and an image updating means for updating the image synthesized by the first and second image synthesizing means by overwriting the wide-field image.
[0013]
According to the first and second aspects of the present invention, the camera is arranged in front of the camera for imaging the object field and for changing the optical path of the reflected light from the object field toward the camera lens of the camera. A mirror, a mirror rotation mechanism for rotating the mirror around the optical axis of the camera, and processing means for generating a wide viewing angle image by combining a plurality of images input from the camera with the rotation of the mirror Wherein the mirror is a triangular prism mirror whose two side surfaces are reflecting surfaces, and the camera is a subject whose optical path is changed by the two reflecting surfaces of the mirror. The reflected light from the camera is imaged, and the processing unit separates the plurality of images captured by the camera in correspondence with the reflection surface of the mirror and independently synthesizes the images. Imaging at the same time It can be synthesized and updating, therefore, when synthesizing a plurality of partial images obtained by rotating the mirror by the camera front, it is possible to enter the wide-field image at high speed.
[0014]
According to a third aspect of the present invention, there are provided first and second two cameras arranged to face each other with the optical axes of camera lenses coincident with each other and imaging the object scene, and the first and second cameras. A double-sided mirror disposed between the cameras and configured to change the optical path of reflected light from an object field toward camera lenses of the first and second cameras, and to connect the double-sided mirror to an optical axis of the first and second cameras; A mirror rotating mechanism for rotating the mirror, and processing means for generating a wide viewing angle image by combining a plurality of images input from the first and second cameras with the rotation of the mirror. It is characterized by.
[0015]
According to a fourth aspect of the present invention, in the image input device according to the third aspect, the processing means is imaged by the first camera which images reflected light from a first reflecting surface of the double-sided mirror. First image acquiring means for acquiring and digitally processing the acquired image, and acquiring and digitally processing an image captured by the second camera which captures the reflected light from the second reflecting surface of the double-sided mirror. A second image obtaining means, a first image synthesizing means for synthesizing the image digitally processed by the first image obtaining means, and a second image synthesizing means for synthesizing the image digitally processed by the second image obtaining means. And an image updating unit that updates the image synthesized by the first and second image synthesizing units by overwriting the image over a wide-field image.
[0016]
According to the third and fourth aspects of the present invention, the first and second two cameras are arranged so that the optical axes of the camera lenses coincide with each other and face each other, and image the scene. A double-sided mirror disposed between the second cameras for changing the optical path of reflected light from the object field toward camera lenses of the first and second cameras; A mirror rotation mechanism for rotating about the optical axis, and processing means for generating a wide-viewing-angle image by combining a plurality of images input from the first and second cameras with the rotation of the mirror. According to the present invention, when a plurality of partial images acquired by rotating a mirror in front of a camera are combined, a wide-field image can be input at a high speed. Wide-field image obtained by image input device It is possible to generate a wide-field image of high resolution.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram for explaining the first embodiment of the present invention.
In FIG. 1, the image input apparatus 100 according to the present invention issues a camera moving unit 014 for changing the shooting direction of the camera 005, that is, the direction, and instructs the camera moving unit 014 to change the direction of the camera 005. At the same time, a posture control unit 015 for transmitting posture information of the camera 005 to each unit, a camera 005 for acquiring an image of the outside world, an imaging unit 006 for capturing an image projected by the camera 005 into the apparatus, and a part for controlling the imaging unit 006 The image control unit 007 stores the image in the image memory 008, stores the orientation of the camera 005 at the time of obtaining the partial image, and the attribute information of the partial image and the composite image in the image attribute memory 004, and stores the image control unit 007. An image memory 008 for storing a partial image and a combined image created by combining the obtained partial images, An image attribute memory 004 for storing image attribute information and information on the orientation of the camera 005 at the time of acquisition of the partial image; and the effect of parallax included in the partial image, using the rotation center of the camera as the center of projection, and Each partial image is synthesized by referring to the image attribute memory 004 and the image memory 008 while reducing the projection point by using the infinite point of a straight line on the space corresponding to the pixel on the image, and determining the projection point. And an image synthesizing unit 009 for storing an image in the image memory 008. Note that the imaging unit 006 and the imaging control unit 007 correspond to the partial image acquisition unit of the present invention, the image memory 008 corresponds to the first storage unit of the present invention, and the image attribute memory 004 corresponds to the second storage unit of the present invention. Equivalent to.
[0018]
The outline of the operation of the first embodiment of the image input device 100 according to the present invention is as follows.
The direction of the camera 005 can be changed by the camera moving unit 014. The camera moving unit 014 changes the direction of the camera 005 in accordance with an instruction from the posture control unit 015.
The camera 005 is capable of capturing an image of the outside world, and the range projected by the camera 005 changes according to its orientation.
The attitude control means 015 instructs the camera movement means 014 to change the direction of the camera 005, and the camera movement means 014 moves the direction of the camera 005 in response to the instruction from the attitude control means 015.
[0019]
Next, the imaging control unit 007 instructs the imaging unit 006 to acquire a partial image.
Further, when the imaging unit 006 receives the instruction from the imaging control unit 007, the imaging unit 006 captures a partial image with the camera 005 whose direction has been changed according to the instruction from the posture control unit 015, and takes it into the apparatus.
The imaging control unit 007 stores the image captured by the imaging unit 006 in the image memory 008, and stores information on the orientation of the camera 005 at the time of image acquisition in the image attribute memory 004.
[0020]
The image combining unit 009 obtains a combined position of the partial images using the attitude information of the camera 005 when the partial images stored in the image attribute memory 004 are acquired by the imaging control unit 007. The partial image stored in the image memory 008 is projected using the center of rotation of the camera as the center of projection and the infinite point of a straight line in space corresponding to the pixel on each partial image in accordance with the obtained combining position. By determining a point, i.e., with the rotation center of the camera as the center of projection, parallel to the straight line connecting the viewpoint of the camera and the pixels on the partial image on the image plane on which the plurality of partial images are formed, In addition, by setting the intersection of a straight line passing through the rotation center of the camera and a projection plane set in space as a projection point of a pixel on the partial image, the image is reduced while reducing the influence of parallax included between the partial images. The combined image is updated on the combined image stored in the memory 008 to update the combined image.
[0021]
By repeating the above processes, the image input device 100 according to the present invention can acquire a wide-field composite image.
The partial image or the composite image obtained by the image input device 100 is, for example, selected by the display control unit 011 and then displayed on the display unit 012 and presented to the user.
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 2 is a diagram for explaining the configuration of the second exemplary embodiment of the present invention.
Components having the same names as in the first embodiment basically provide the same functions. Hereinafter, differences from the first embodiment will be described.
[0022]
In the second embodiment, a positional relationship between partial images is obtained by applying a registration process between partial images in the image memory 008 to the first embodiment, and based on the result, an image is obtained. A positioning unit 013 for obtaining a position correction amount of the acquisition position of each partial image stored in the attribute memory 004 and storing the position correction amount in the image attribute memory 004 is added.
[0023]
Further, among the components in the second embodiment, the image attribute memory 004 stores information on the orientation of the camera 005 at the time of acquisition of the partial image acquired by the imaging control unit 007 using the camera 005 and the imaging unit 006. And the attribute information relating to the partial image and the composite image, and the position correction amount of the composite position of each partial image obtained by the positioning unit 013. In step 007, the combined position of the partial image is obtained by using the orientation information of the camera 005 when the partial image stored in the image attribute memory 004 is obtained and the position correction amount of the combined position obtained by the positioning unit 013. According to the synthesized position, the partial image stored in the image memory 008 is converted to a pixel on each partial image using the rotation center of the camera as the center of projection. By determining the projection point using the infinite point of a straight line on the corresponding space, that is, with the rotation center of the camera as the center of projection, the viewpoint of the camera and the image plane on which the plurality of partial images are formed By making the intersection of a straight line passing through the rotation center of the camera and a projection plane set in space into a projection point of a pixel on the partial image, Each of them is changed so that the combined image is updated on the combined image stored in the image memory 008 while reducing the influence of the parallax included between the partial images.
[0024]
The operation of the second embodiment will be briefly described.
The direction of the camera 005 can be changed by the camera moving means 014. The camera moving unit 014 changes the direction of the camera 005 in accordance with an instruction from the posture control unit 015.
The camera 005 is capable of capturing an image of the outside world, and the range projected by the camera 005 changes according to its orientation.
The attitude control means 015 instructs the camera movement means 014 to change the direction of the camera 005, and the camera movement means 014 receives the instruction from the attitude control means 015 and moves the direction of the camera 005.
[0025]
Next, the imaging control unit 007 instructs the imaging unit 006 to acquire a partial image.
Next, upon receiving the instruction from the imaging control unit 007, the imaging unit 006 captures a partial image with the camera 005 whose direction has been changed according to the instruction from the posture control unit 015, and takes it into the apparatus.
The imaging control unit 007 stores the partial image captured by the imaging unit 006 in the image memory 008, and stores information on the direction of the camera 005 at the time of image acquisition in the image attribute memory 004.
The positioning unit 013 applies a positioning process between the partial images in the image memory 008 to obtain a positional relationship between the partial images, and based on the result, a position correction amount of each partial image in the image attribute memory 004. And stores it in the image attribute memory 004.
[0026]
The image synthesizing unit 009 uses the orientation information of the camera 005 when the partial image stored in the image attribute memory 004 is acquired by the imaging control unit 007 and the position correction amount obtained by the positioning unit 013 to obtain the partial image. The combining position is determined, the partial image stored in the image memory 008 is determined according to the determined combining position, the influence of parallax included in the partial image is determined, the rotation center of the camera is set as the projection center, and the pixels on each partial image are displayed. By determining the projection point using the infinite point of a straight line on the space corresponding to, that is, the rotation center of the camera as the center of projection, the viewpoint of the camera and the image plane on which the plurality of partial images are formed The intersection of the straight line passing through the rotation center of the camera with the straight line connecting the pixels on the partial image above and the projection plane set in space is defined as the pixel of the partial image. With Kageten, while reducing, similarly synthesized on stored by being combined image in the image memory 008 to update the composite image.
[0027]
By repeating the above processes, the image input device 100 according to the present invention can acquire a wide-field composite image.
The partial image or the composite image obtained by the image input device 100 is, for example, selected by the display control unit 011 and then displayed on the display unit 012 and presented to the user.
FIG. 3 is a diagram for explaining a third embodiment of the present invention.
Components having the same names as the first and second embodiments basically provide the same functions. Hereinafter, differences from the first embodiment will be described.
[0028]
The third embodiment is different from the first embodiment in that the camera moving means 014 and the attitude control means 015 are deleted, the camera is held in front of the lens of the camera 005, and the direction can be changed by the mirror moving means 002. A mirror 001, a mirror moving unit 002 for changing the direction of the mirror 001, and a mirror control unit 003 for instructing the mirror moving unit 002 to change the direction of the mirror 001 are added.
[0029]
Further, among the constituent elements in the first embodiment, the camera 005 can capture an image of the outside world via the mirror 001, and the range of the camera 005 projected changes according to the direction of the mirror 001. Then, the imaging control unit 007 instructs the imaging unit 006 to acquire a partial image, stores the image captured by the imaging unit 006 in the image memory 008, and stores information on the orientation of the mirror 001 at the time of image acquisition in the image position memory. The image position memory 004 stores the information on the mirror orientation at the time of acquisition of the partial image acquired by the imaging control unit 007 using the camera 005 and the imaging unit 006, respectively. The synthesizing unit 009 determines the orientation of the mirror 001 when the imaging control unit 007 acquires the partial image stored in the image position memory 004. The synthesis position of the partial image is obtained using the information, and the influence of the parallax included in the partial image is determined by using the center of rotation of the mirror as the projection center, and the infinity of a straight line in the space corresponding to the pixel on each partial image. By determining the projection point using the points, i.e., with the center of rotation of the mirror as the center of projection, light rays passing through the pixels of the partial image on the image plane where the partial image is formed from the viewpoint of the camera are reflected on the mirror. By reducing the intersection of a straight line passing through the rotation center of the mirror and a projection plane set in space as a projection point of the partial image, while being parallel to the reflection straight line indicating the reflected light ray after reflection, The respective partial images are changed so as to be synthesized.
[0030]
The outline of the operation of the third embodiment of the image input device 100 according to the present invention is as follows.
The mirror 001 is held on the front of the camera 005, and its direction can be changed by the mirror moving means 002. The mirror moving unit 002 changes the direction of the mirror 001 according to an instruction from the mirror control unit 003.
The camera 005 can capture an image of the outside world via the mirror 001, and the range that the camera 005 projects changes according to the direction of the mirror 001.
The mirror control unit 003 issues an instruction to the mirror moving unit 002 to change the direction of the mirror 001, and the mirror moving unit 002 receives the instruction from the mirror control unit 003 and moves the direction of the mirror 001.
[0031]
Next, the imaging control unit 007 instructs the imaging unit 006 to acquire a partial image.
Next, when the imaging unit 006 receives the instruction from the imaging control unit 007, the camera 005 captures a partial image via the mirror 001 whose direction has been changed according to the instruction from the mirror control unit 003, and takes it into the apparatus.
The image capturing control unit 007 stores the image captured by the image capturing unit 006 in the image memory 008, and stores information on the orientation of the mirror at the time of image acquisition and attribute information of the partial image in the image attribute memory 004.
[0032]
The image combining unit 009 obtains the combined position of the partial images by using the orientation information of the mirror 001 when the partial images stored in the image attribute memory 004 are acquired by the imaging control unit 007. In accordance with the obtained combining position, the partial image stored in the image memory 008 is converted to the influence of parallax included in the partial image by using the rotation center of the mirror as the center of projection and the space corresponding to the pixel on each partial image. By determining the projection point using the point at infinity of the straight line, i.e., with the center of rotation of the mirror as the center of projection and passing through the pixels of the partial image on the image plane where the partial image is formed from the viewpoint of the camera The intersection of a straight line passing through the rotation center of the mirror and a straight line passing through the center of rotation of the mirror and a projection plane set in space is defined as a projection point of the partial image. Thus, the image is synthesized with the synthesized image stored in the image memory 008 while reducing, and the synthesized image is updated.
[0033]
By repeating the above processes, the image input device 100 according to the present invention can acquire a wide-field composite image.
The partial image or the composite image obtained by the image input device 100 is, for example, selected by the display control unit 011 and then displayed on the display unit 012 and presented to the user.
Next, a fourth embodiment of the present invention will be described in detail with reference to the drawings. FIG. 4 is a diagram for explaining the configuration of the fourth embodiment of the present invention.
Components having the same names as those of the third embodiment basically provide the same functions. Hereinafter, differences from the third embodiment will be described.
[0034]
The fourth embodiment is different from the third embodiment in that
A positional relationship between the partial images is obtained by applying the registration processing between the partial images in the image memory 008, and based on the result, a combined position correction amount of each partial image in the image attribute memory 004 is obtained, Positioning means 013 for storing in the attribute memory 004 is added.
Further, among the components in the second embodiment, the image attribute memory 004 stores information on the orientation of the mirror at the time of acquiring the partial image acquired by the imaging control unit 007 using the camera 005 and the imaging unit 006, The image synthesizing unit 009 is controlled by the imaging control unit 007 to store the attribute information of the partial image and the synthesized image and the position correction amount of the synthesized position of each partial image obtained by the positioning unit 013. The combined position of the partial image is obtained using the orientation information of the mirror 001 at the time of acquiring the partial image stored in 004 and the position correction amount of the combined position obtained by the positioning unit 013, and according to the obtained combined position, The influence of the parallax included in the partial image stored in the image memory 008 is determined by using the center of rotation of the mirror as the center of projection, and An image plane on which a partial image is formed from the viewpoint of the camera by determining a projection point by using a point at infinity on a space corresponding to a pixel on the image, that is, using the rotation center of the mirror as the center of projection. The intersection of a straight line passing through the center of rotation of the mirror and a projection plane set in space is parallel to a reflection straight line indicating a reflected light ray after the light ray passing through the pixel of the partial image on the mirror is reflected on the mirror. The projection points of the partial images are changed so that they are combined with the combined image stored in the image memory 008 while being reduced, and the combined image is updated.
[0035]
An outline of the operation of the fourth embodiment will be described.
The mirror 001 is held on the front of the camera 005, and its direction can be changed by the mirror moving means 002. The mirror moving unit 002 changes the direction of the mirror 001 according to an instruction from the mirror control unit 003.
The camera 005 can capture an image of the outside world via the mirror 001, and the field of view of the camera 005 changes according to the direction of the mirror 001.
The mirror control unit 003 issues an instruction to the mirror moving unit 002 to change the direction of the mirror 001, and the mirror moving unit 002 receives the instruction from the mirror control unit 003 and moves the direction of the mirror 001.
[0036]
The imaging control unit 007 instructs the imaging unit 006 to acquire a partial image.
When the imaging unit 006 receives the instruction from the imaging control unit 007, the camera 005 captures an image via the mirror 001 whose direction has been changed according to the instruction from the mirror control unit 003, and captures the image into the apparatus.
The image capturing control unit 007 stores the image captured by the image capturing unit 006 in the image memory 008, and stores information on the orientation of the mirror at the time of image acquisition and attribute information of the partial image in the image attribute memory 004.
[0037]
The positioning unit 013 applies a positioning process between the partial images in the image memory 008 to obtain a positional relationship between the partial images, and, based on the result, determines the combined position of each partial image in the image attribute memory 004. The position correction amount is obtained and stored in the image attribute memory 004.
The image synthesizing unit 009 uses the orientation information of the mirror 001 when the partial image stored in the image attribute memory 004 is obtained by the imaging control unit 007 and the position correction amount of the synthesized position obtained by the positioning unit 013. The combined position of the partial images is determined, the partial image stored in the image memory 008 is determined according to the determined combined position, the influence of parallax included in the partial image is determined, the rotation center of the mirror is set as the projection center, and each partial image is stored. By determining the projection point using the infinity point of a straight line on the space corresponding to the upper pixel, that is, with the rotation center of the mirror as the center of projection, on the image plane where a partial image is formed from the viewpoint of the camera The light ray passing through the pixel of the partial image at is reflected on the mirror and is parallel to the reflection straight line indicating the reflected light ray, and is set on the space with the straight line passing the rotation center of the mirror. With the projected point of intersection point of the partial image of the projection surface, while reducing, similarly synthesized on stored by being combined image in the image memory 008 to update the composite image.
[0038]
By repeating the above processes, the image input device 100 according to the present invention can acquire a wide-field composite image.
The partial image or the composite image obtained by the image input device 100 is, for example, selected by the display control unit 011 and then displayed on the display unit 012 and presented to the user.
Next, the image input device according to the first embodiment of the image input device 100 of the present invention will be described in detail with reference to the drawings, with reference to the drawings, with specific examples.
FIG. 25 is a diagram for describing the configuration of the present embodiment. Each configuration when an image is input will be described with reference to FIG.
[0039]
In FIG. 25, the housing 101 stores the attitude control unit 015, the image attribute memory 004, the imaging unit 006, the imaging control unit 007, the image memory 008, the image synthesis unit 009, and the display control unit 011 in the above embodiment. And are connected to other components by cables.
The camera 005 is held by the camera moving means 014, and is rotatable in the horizontal direction. The camera moving means 014 uses a stepping motor, an origin detector, a gear, and a camera holding jig to appropriately reduce the rotation output of the stepping motor via a gear and take out the rotation output of the holding jig to obtain a jig. A horizontal rotation of the connected camera 005 is realized. The origin detector detects a reference point at which the horizontal rotation amount of the camera is regarded as 0. For example, a magnet attached to a gear and a Hall element are combined to generate one pulse every one horizontal rotation of the camera. Such a configuration can be used. Since such an origin detector is a device that is frequently used together with a stepping motor, its details are omitted.
[0040]
In the case of the camera moving means 014 having the above configuration, the direction of the camera 005, that is, the angle in the horizontal direction, is based on the output of the origin detector, the number of output pulses to the stepping motor, the rotation amount per pulse, and the gear rotation. It is obtained from the reduction ratio. As a matter of course, the camera moving means 014 may have a configuration other than those described above. For example, various realization methods such as a configuration using a DC motor, a reduction gear, a camera fixing jig and a rotary encoder are used. It is possible.
The attitude control unit 015 performs pulse transmission to the camera moving unit 014, calculates and holds the number of transmitted pulses, and performs origin detection by an origin detector. The attitude control unit 015 is similar to a mechanism used for normal stepping motor control. Details are omitted. This can be easily realized by combining a personal computer with a mechanism for converting the output into a format suitable for a stepping motor.
[0041]
In this embodiment, it is assumed that the rotation amount per pulse of the stepping motor is 18 degrees and the gear reduction ratio is 1/18. At this time, the camera 005 rotates in the horizontal direction once per pulse output to the stepping motor. These are set temporarily for ease of explanation, and do not limit the scope of the present invention. Of course, it is possible to use a stepping motor with other amounts of rotation and other reduction ratios.
In the description of the present embodiment, it is assumed that the camera 005 rotates only in the horizontal direction and that the center of rotation exists on the optical axis, but this is set for ease of explanation. And does not define an embodiment of the present invention. By changing the configuration of the camera moving unit 014, the horizontal and vertical rotation of the camera 005 can be applied, and the case where the center of rotation does not exist on the optical axis can be easily handled.
[0042]
The display unit 012 is a commonly used TV monitor, and presents a display image generated by the display control unit 011 to the user.
FIG. 26 is an image diagram for explaining that a partial image captured by the camera 005 is combined to generate a combined image, and shows the relationship between the camera 005, the camera moving unit 014, the projection plane 306, and the coordinate system. I have. As shown in FIG. 26, in this embodiment, the partial image 300 captured by the camera 005 is projected onto a cylindrical projection surface 306 sharing the axis with the rotation axis of the camera 005, and combined with other partial images. Is done. In the present embodiment, a cylindrical surface is used as the projection surface 306, but it is also possible to use a spherical surface or the like around the rotation center of the camera 005. An image obtained by developing these projection surfaces 306 into a plane is referred to as a composite image.
[0043]
When the rotation range of the camera 005 is less than 180 degrees, the camera 005 may be not a cylindrical surface or a spherical surface but a flat surface. In this case, the process of expanding the projection plane 306 becomes unnecessary.
FIG. 27 is a diagram for explaining the combining process by projection, and shows the relationship between the image plane 302 of the camera 005 and the projection plane 306.
In FIG. 27, X, Y, and Z axes are set with the rotation center c313 of the camera as the origin. The camera 005 is represented by a pinhole camera model using a viewpoint o301 separated by a distance L from the camera rotation center c313 and an image plane 302 corresponding to the acquired partial image. A partial image coordinate system is set on the image plane 302, and the axes are X 'and Y'. Assuming that the focal length of the camera 005 is f, the image plane 302 is located at a distance f from the viewpoint o301 on a straight line connecting the camera rotation center c313 and the viewpoint o301. The projection surface 306 is a cylindrical surface whose axis is the Z axis, and its radius is D.
[0044]
The posture of the camera 005 is such that the XY plane and the image plane 302 are parallel, that is, the line of sight of the camera and the Z axis are the same, and the X ′ axis and the X axis, and the Y ′ axis and the Y axis are parallel. It can be expressed using the rotation amounts φ, ρ, and θ around the X axis, the Y axis, and the Z axis as a reference.
In the present embodiment, since rotation only in the horizontal direction is considered, φ corresponding to the rotation amount in the vertical direction is fixed, and ρ corresponding to the rotation amount around the optical axis can be regarded as ρ = 0. As the horizontal rotation amount, that is, the rotation amount θ about the Z axis, a value observed by the camera moving unit 014 is used.
[0045]
FIG. 5 is a diagram for explaining the flow of processing in the present embodiment. Hereinafter, the flow of the processing in the present embodiment will be described in detail with reference to FIG.
First, the image input apparatus 100 according to the present embodiment includes the number of images constituting one wide-field image, the position where each partial image is to be obtained, the movement of the camera moving unit 014 to the origin, and the output in the posture control unit 015. Initialization necessary for each component such as initialization of a counter for counting the number of pulses is performed (step A01). In this embodiment, it is assumed that these values are stored in the apparatus in advance. For example, using a video camera having a focal length of 5.5 mm, a horizontal angle of view of 50 degrees, and a vertical angle of view of about 38 degrees, to acquire a 360-degree wide-field image around the periphery, it is necessary to acquire about 15 partial images. good. At this time, the acquisition interval of each partial image is about 24 degrees. Naturally, various methods can be realized, such as a configuration in which the user gives these values from the outside or a configuration in which only one of the number of images and the acquisition position is given from the outside and the other is obtained by calculation. is there.
[0046]
In the following description, the number of partial images constituting one wide-field image is represented by N, and each partial image is represented by a number i (0 ≦ i ≦ N−1), and i = 0 during the initialization processing in step A01. Shall be initialized to All the partial images have the same size, and the sizes in the X ′ direction and the Y ′ direction are expressed as Sx and Sy, respectively. Each image is a grayscale image expressed in 256 gradations, and the larger the pixel value, the brighter the image. Further, the direction of the camera 005 from which the partial image i is to be obtained is represented by a horizontal angle θi. These are tentatively set for the description, do not limit the scope of the present description, and other expression methods can be used. The present invention can be applied to a color image, a binary image, and the like. Further, when the camera 005 can be rotated in a direction other than the horizontal direction, that is, around the Z axis, the rotation amount around each axis is also acquired. The direction should be set.
[0047]
The partial image memory 008 has a size necessary to store N partial images and a composite image, and the image attribute memory 004 stores the size of the partial image and the camera size at the time of obtaining the partial image. It is assumed that attribute information of a posture, a position on a partial image memory, a size of a composite image, and a position on the image memory are stored. The pixel value of each partial image or composite image can be referred to by using such attribute information. Such a partial image memory 008 and an image attribute memory 004 can be easily realized by using a combination of memory elements or by using a storage device mounted on a computer.
After the end of the initialization, the image input device 100 according to the present invention repeats the processing of Step B'00 to Step G00 until the imaging processing ends (Step A02). As for the condition for terminating the process, various methods such as an instruction from the user, terminating after executing for a predetermined time, and the like can be implemented, but the details are omitted because they are not the essence of the present invention.
[0048]
The posture control unit 015 moves the direction of the camera 005 to the acquisition position θi of the partial image i using the camera moving unit 014 (step B′00).
FIG. 6 is a diagram for explaining the flow of the camera moving process.
In FIG. 6, the attitude control unit 015 issues an instruction to the camera moving unit 014 to start the movement of the camera 005. That is, the camera moving unit 014 outputs a pulse to the stepping motor to move the direction of the camera 005 (step B'92), and updates the number of output pulses (step B'93). Then, the direction θ of the camera 005 is obtained from the number of output pulses (step B′94). Here, one pulse is output in step B′92, and the counter value indicating the number of output pulses is incremented by one in step B′94. However, these are tentatively set. For example, when the resolution of the horizontal rotation of the camera has a finer value, two pulses are output at a time. It is also possible to use.
[0049]
Since the camera rotates in the horizontal direction once per pulse output to the stepping motor, the horizontal direction θ of the camera is
θ ← number of output pulses × 1 (degree / pulse) MOD 360
Is required. Here, MOD is an operator for obtaining a remainder.
Thereafter, the attitude control unit 015 monitors whether the camera 005 has moved in the target direction by comparing the obtained θ with θi indicating the position at which the partial image i should be acquired (step B′02), If the target orientation has been reached, the movement of the camera 005 is terminated. If not, the process returns to step B'92 again, and repeats the processing after the pulse output.
[0050]
Next, the imaging control unit 007 takes in the image acquired by the camera 005 into the device (Step C00). That is, the imaging control unit 007 captures the external image projected by the camera 005 into the apparatus as a partial image i by the imaging unit 006, and stores the orientation of the camera 005 at the time of acquiring the partial image, that is, θi in the image attribute memory 004. The partial image i is stored in the image memory 008. As the imaging means 006, it is possible to use a device that stores a video signal in a memory after AD conversion, or a device that combines a personal computer and a video capture board.
[0051]
Subsequently, the image synthesizing unit 009 projects the acquired partial image onto the projection plane 306 so as to reduce the influence of parallax, and develops the projection plane 306 to update the synthesized image (step E00).
FIG. 7 is a diagram for explaining the flow of the combining process.
In FIG. 7, the image synthesizing unit 009 first obtains the partial image i from the image memory 008 and obtains the obtained position θi from the image attribute memory 004 in order to project the obtained partial image onto the synthesized image. (Step E91). In this embodiment, each pixel included in the partial image i is assigned a number j (0 ≦ j ≦ J) in order from 0 without duplication, and by specifying this j, the partial image i It is assumed that the position of the upper pixel is determined. This is tentatively set for ease of explanation, and any method can be used as long as each pixel can be selected in order without duplication. For example, even if a method of changing a value for each axis in the X 'direction and the Y' direction, such as a commonly used raster scan, is used, the essence of the present invention is not affected. For that purpose, first, a variable j specifying a pixel on the partial image is initialized, and J indicating the total number of pixels is obtained (step E92). In particular,
j ← 0
J ← Sx × Sy
It becomes.
Then, the processing after step E94 is applied to all the pixels (step E93).
[0052]
First, the position (xj, yj) on the partial image corresponding to the number J is
xj ← (j MOD Sx) −Sx ÷ 2
yj ← (j DIV Sx) −Sy ÷ 2
Asking. Here, MOD is an integer operator for obtaining a remainder obtained by dividing j by Sx, and DIV is an integer operator for obtaining a quotient obtained by dividing j by Sx. As shown in FIG. 27, (xj, yj) is represented by a coordinate system with the origins at the centers of both images. Next, a position (Xj, Yj) on the composite image corresponding to the obtained position (xj, yj) on the partial image is obtained (step E95).
[0053]
Hereinafter, the projection processing of the pixels on the partial image onto the projection plane 306 in step E95 and step E96 will be described in detail with reference to the drawings.
First, a point p311 on the partial image i is considered, and if coordinates in the partial image coordinate system are (xj, yj), coordinates (x, y, z) in the three-dimensional space are X-axis, Y-axis, Z-axis. Using the rotation amounts φ, ρ, and θ around each axis,
(Equation 1)

It becomes. Here, as described above, since φ is fixed, ρ = 0 and θ = θi,
(Equation 2)

It becomes. Similarly, the viewpoint o301 is given by φ, ρ, and θ.
[Equation 3]

However, in this embodiment,
(Equation 4)

It becomes. Here, in the mathematical formulas, the column vectors in each three-dimensional space are expressed in bold, and particularly in the case of capital letters, a matrix is shown. Also, t placed at the upper left represents transposition operation.
[0054]
A straight line passing from the viewpoint o301 to the point p311 is expressed by using a parameter s in a three-dimensional coordinate system.
(Equation 5)

Is expressed as A point p'308 determined as an intersection of a straight line 307 passing from the viewpoint o301 to a point p311 and the projection plane 306 is obtained by projecting the point p311 on the projection plane 306 with the viewpoint o301 as the center of projection. However, if the projection point p ′ 308 is used as it is, the viewpoint o301 moves depending on the direction of the camera 005, so that a single point in the three-dimensional space is projected on a different projection point depending on the direction of the camera 005, and is synthesized. Discontinuities in shape and position may occur on an image. FIG. 29 is a diagram for explaining this parallax problem. When a point q309 in the space is in a different direction of the camera 005 as indicated by a broken line and a solid line, two different points p ′ on the projection plane 306. 308 is projected. This parallax is caused by the movement of the viewpoint o301, which is the center of projection on the projection plane 306.
[0055]
In order to solve this problem, in the image input device according to the present invention, it is the largest that the image synthesis processing in the image synthesis means 009 projects each partial image on the projection plane 306 with the camera rotation center c313 as the projection center. Features.
FIG. 28 is a diagram for explaining a projection method using the camera rotation center c313 as the projection center.
Considering a straight line connecting the point q309 on the straight line 307 expressed by the equation (5) and the camera rotation center c313 and an intersection p ″ 310 of the projection plane 306, in the equation (5), Since the parameter s for determining the position is included, when the camera rotation center c313 is set as the projection center, as shown in FIG. 28, according to the value of the parameter s, that is, the distance of the point q309 from the viewpoint o301. This indicates that the position of the point p ″ 310 changes.
[0056]
However, considering that the point q309 in the space is distant, that is, the value of the parameter s increases, the direction vector of the straight line connecting the camera rotation center c313 and the point q309 gradually approaches the direction vector of the straight line 307. And finally converges in a parallel direction. That is, when a point on the straight line 307 viewed from the camera rotation center c 313 is projected on the projection plane 306, the intersection p ′ 310 is the intersection of the straight line passing through the camera rotation center c 313 and the projection plane 306 in parallel with the straight line 307. Converge. This indicates that most points in space on a straight line connecting the viewpoint o301 and the point p311 on the image plane 302 are projected to this intersection. Therefore, by setting the convergence point as the projection point 312, the above-described problem of parallax can be significantly reduced, and the quality of the obtained composite image can be significantly improved.
[0057]
Therefore, in step E95, from each point (xj, yj) on the partial image i, a straight line passing through the camera rotation center c313 and having the same direction vector as the straight line 307 represented by Expression (5), and the projection plane 306. First, the position vector of the intersection with the cylindrical surface having the radius D, that is, the three-dimensional position (X, Y, Z) of the point 312 on the projection plane 306 corresponding to the point p311 on the partial image i is
(Equation 6)

Ask from. Here, the suffix in equation (6) indicates that it is a component of the column vector. Further, the projection point 312 is converted into a coordinate system in which the X ′ axis is set along the circumference on the projection plane 306 and the Y ′ axis is set in the Z axis direction as shown in FIG. Is obtained on the synthesized image developed in the above. The conversion from the X, Y, and Z components of the projection point 312 to the position (Xj, Yj) on the composite image is as follows.
(Equation 7)

It becomes.
[0058]
By replacing the pixel value at the position (Xj, Yj) on the composite image obtained in this way with the pixel value at the position (xj, yj) on the partial image i, the point on the partial image i is changed on the composite image. (Step E96). If (Xj, Yj) is not an integer value, the value after the decimal point may be rounded off.
Note that the size of the composite image is appropriately updated as necessary when projecting each pixel on the partial image. However, when the acquisition position of each partial image is determined as in the present embodiment, In the initialization processing of step A01, the size of the composite image may be determined in advance from the size and the acquisition position of each partial image. That is, in the initialization processing in step A01, the positions of the included pixels on the composite image are calculated in advance for all the partial images using the partial image acquisition positions θi, and the obtained positions in the X direction and the Y direction are obtained. The size of the composite image is determined from the minimum value and the maximum value of, and the result is stored in the image memory. By referring to the value indicating the size of the synthesized image, processing such as updating the size of the synthesized image is not required, and the image synthesis processing can be realized at higher speed.
[0059]
After the projection of the point (xj, yj) on the partial image i onto the composite image is completed, the value of the variable j is increased so as to process the next point, and the process returns to step E93 (step E97).
It is determined whether or not the projection processing of all the pixels on the partial image i on the composite image has been completed by comparing the variable J with J indicating the number of all pixels. The combining process ends (step E93).
After the projection processing of the partial image i onto the composite image in the composite processing (step E00) is completed, the display control unit 011 reads the updated composite image from the image memory 008, and displays it on the display unit 012 (step G00). . In the present embodiment, the entire composite image is displayed, but it is also possible to configure such that only a part of the composite image is selectively displayed according to a user's instruction.
[0060]
After the display of the updated composite image is completed, the value of i is increased by 1 in order to acquire the next partial image, and the steps from step A02 in FIG. 18 are repeated. When the value of i exceeds N-1, initialization to 0 enables acquisition of N partial images and continuous updating of the composite image.
FIG. 31 is a diagram for explaining an example of a function using such a continuously updated composite image. A plurality of users cut out different points from the same composite image and display them on the display unit 012. An example of the display is shown. Along with updating the composite image, the image of the area selected by each user is also updated, and each user can always obtain the latest information.
As described above, a great feature of the image input device according to the present invention is that it can provide a plurality of different viewpoints in a pseudo manner even though the device uses a single camera.
[0061]
In the above description, it is described that the respective processes of camera movement, imaging, image synthesis, and display are sequentially executed. However, these processes may be configured to be executed in parallel.
Hereinafter, as a second embodiment, a case where each process is configured in parallel will be described in detail with reference to the drawings while comparing with the first embodiment.
The second embodiment is also the same as the first embodiment except for locations related to the processing flow, such as the appearance, the configuration of each means, the projection plane, and the setting of the coordinate system.
FIG. 8 is a diagram for explaining the flow of the entire process when each process is configured in parallel.
Each process in FIG. 8 is different from the process flow in the first embodiment in FIG. 18 in that the camera is moved (step B'00), the image is captured (step C00), the image is synthesized (step E00), and the display is performed (step G00). ) Is performed in parallel while synchronizing.
[0062]
After the same initialization process (step A01) and end confirmation process (step A02) as in the first embodiment, each process starts its operation.
FIG. 9 is a diagram for explaining in detail the flow of the camera moving process (step B'00) in the second embodiment.
The camera moving process according to the second embodiment is different from the first embodiment in that the camera 005 is not moved to each image acquisition position, but is continuously moved while recording the direction of the camera 005. There is a feature.
That is, in the camera moving process, the process from the pulse output (step B'92) to the camera position calculation (step B'94) is continued until there is an instruction from the end confirmation process (step A02) in FIG. The process of recording the obtained camera position in the attitude control means 015 (step B'96) is repeated.
[0063]
The imaging process (step C00) is performed with reference to the camera position. Here, it is assumed that the angle in the horizontal direction is transmitted as the camera position, but any form may be used as long as the camera direction can be confirmed in the imaging processing, such as by directly sending the number of output pulses. It is also possible to configure so as to transmit not only the horizontal but also the rotation amount around each axis.
Each process from the pulse output (step B'92) to the camera position calculation (step B'94) is the same as the process having the same name in FIG. 6, which is a diagram for explaining the process flow in the first embodiment. Processing.
[0064]
When the end confirmation process (step A02) in FIG. 8 is instructed (step B'97), the movement of the camera 005 is stopped and the process ends, as in the first embodiment.
FIG. 10 is a diagram for explaining in detail the flow of the imaging process (step C00) in the second embodiment.
The imaging process in the second embodiment is different from the first embodiment in that the information on the orientation of the camera 005 in the horizontal direction and the information on the acquisition position of the partial image to be acquired next are transmitted by the camera movement process. Therefore, it is characterized in that the timing of acquiring the partial image is determined by itself and the imaging is continuously performed.
[0065]
That is, first, the horizontal angle of the camera recorded in the attitude control unit 015 is referred to (step C91), and the obtained information is compared with the acquisition position of the partial image i to be acquired next (step C92). If the position is the acquisition position of the partial image i, as in the first embodiment, the partial image i is acquired, the partial image is recorded in the image memory 008, and the position and attribute information at the time of acquisition are recorded in the image attribute memory 004. At the same time, a projection processing flag indicating that image synthesis processing is necessary for the newly acquired partial image is set (step C93).
The projection processing flag can be easily realized by adding the attribute of the partial image on the image attribute memory 004 in the same manner as the flag used in the general computer processing, and is all cleared at the time of initialization in step A01. Shall be. The set projection processing flag is released when the image synthesis processing on the acquired partial image is completed. Note that the projection processing flag is an example, and any means may be used as long as it is a means capable of confirming the application of the partial image acquisition and the synthesis processing.
[0066]
If the orientation of the camera 005 is different from the next acquisition position in step C92, the process waits until the orientation of the camera 005 reaches the acquisition position by repeating steps C91 to C92.
When the end confirmation process (step A02) in FIG. 8 is instructed (step C94), the imaging process is terminated as in the first embodiment. While there is no instruction, the value of i is increased by 1 in order to acquire the next partial image, and the processing of steps C91 to C93 in FIG. 10 is repeated. When the value of i exceeds N-1, initialization of the partial image is initialized to 0, so that the acquisition of N partial images and the update of the composite image are continuously performed.
[0067]
FIG. 11 is a diagram for explaining in detail the flow of the combining process (step E00) in the second embodiment.
In the synthesizing process in the second embodiment, the acquisition of the partial image to be processed is determined by monitoring the projection processing flag of the partial image i in the image attribute memory 004 as compared with the first embodiment. The feature is that projection processing of a partial image onto a composite image is continuously performed from an image and its acquisition position.
That is, first, in FIG. 11, the acquisition of the partial image i to be processed is determined based on whether or not the projection processing flag of the partial image i stored in the image attribute memory 004 has been set. In this case, similarly to the process having the same name in FIG. 7 illustrating the flow of the process in the first embodiment, the processes of steps E91 to E97 are applied, and the partial image is projected on the composite image. . When the projection processing of the partial image i is completed, the completion of the processing on the partial image i is recorded by releasing the projection processing flag (step E98).
[0068]
Then, when there is an instruction of the end confirmation processing (step A02) in FIG. 8 (step E99), the combining processing is ended. As long as there is no instruction, the processing from step E90 is repeated.
In the display processing, the display control unit 011 continuously reads out the composite image from the image memory 008 and displays it on the display unit 012 (step G00). Since the image is continuously read and displayed, the updated composite image is immediately displayed on the display unit 012. A function of selectively displaying only a part of the composite image in accordance with a user's instruction, or a function of a plurality of users cutting out different points from the same composite image and displaying the same on the display unit 012 Can be provided as in the first embodiment.
[0069]
By configuring each process in parallel in this manner, compared to the first embodiment, in a series of processes from image acquisition to image synthesis, one process is delayed even in other processes. This has the advantage of preventing the problem of influencing and lowering the overall operating speed.
Next, an example of the second embodiment in the image input apparatus of the present invention will be described in detail with reference to the drawings.
[0070]
In the first embodiment, the configuration is such that there is no difference between the position where the partial image should be obtained and the direction of the camera when the partial image is actually obtained. However, when the camera direction detection accuracy of the camera moving unit 014 is low, or when the delay from the image acquisition instruction to the actual acquisition of the partial image is large, the camera 005 is particularly continuously moved. At times, there is a high possibility that a large error is included in the acquisition position of the partial image, and there is a problem that the accuracy of the composite image is significantly reduced.
[0071]
The second embodiment of the present invention has been made to solve such a problem. Compared with the first embodiment, the second embodiment of the present invention eliminates an error included in the acquisition position of each partial image, and In order to enable acquisition of a composite image with high accuracy, a positioning means for applying positioning between partial images is added.
[0072]
This embodiment also has an appearance similar to that of FIG. 25 for describing the configuration of the embodiment of the first embodiment, but the housing 101 includes an attitude control unit 015 and an image attribute memory 004. , An imaging unit 006, an imaging control unit 007, an image memory 008, an image synthesizing unit 009, and a display control unit 011. In addition, a positioning unit 013 is stored. It is connected. Compared with the first embodiment of the first embodiment, components having the same name provide the same function, but the image attribute memory 004 stores the information and the position of the camera 005 at the time of acquiring the partial image. The position correction amount of the combined position of each partial image obtained by the matching unit 013 is stored. Further, the image synthesizing unit 009 is configured to obtain the synthesizing position using the acquisition position of the partial image in the image attribute memory 004 and the position correction amount of the partial image obtained by the alignment unit 013.
[0073]
FIG. 12 is a diagram for explaining the flow of processing in the present embodiment. In FIG. 12, components having the same names as those in FIG. 5, which is a diagram for describing a processing flow in the first example of the first embodiment, are assumed to provide the same functions. Note that, in the example of the second embodiment, except for the position related to the positioning unit 013 and the positioning process (step D00), such as the appearance, the configuration of each unit, the projection plane, and the setting of the coordinate system, the first unit is used. All examples are the same as those of the embodiment.
The initialization (step A01) in FIG. 12 is different from the first example of the first embodiment in that a process for initializing a position correction amount value to obtain a combined position of a partial image to 0 is added. Have been. The end confirmation (step A02), camera movement (step B'00), and imaging (step C00) are the same as in the first example of the first embodiment.
[0074]
FIG. 13 is a diagram for explaining the flow of the positioning process (Step D00) in the example of the second embodiment of this invention.
In FIG. 13, first, in the positioning process, a partial image i and a reference image serving as a reference when calculating the position correction amount of the partial image i are obtained (step D91). Here, the partial image taken immediately before, that is, the partial image i-1 is set as the reference image. If i-1 is less than 0, the partial image i-1 + N is set as the reference image. Note that the reference image selection method used here is temporarily set, and another selection method may be used as long as the image has a correlation with the partial image i to be processed. Also, it is naturally possible to use not the partial image but the composite image itself as the reference image. When there is no reference image (step D911), the position correction amount is set to 0 (step D912) without performing the position alignment processing, and the processing is terminated.
[0075]
In the present embodiment, a sequential search method using a cross-correlation coefficient is used as the positioning process, similarly to the method used in normal image processing. That is, with respect to the acquisition position θi of the partial image i and the maximum error dθ, from the range of θi−dθ ≦ θ ≦ θi + dθ, the cross-correlation coefficient at the overlapping portion of the reference image and the partial image i becomes the highest θ. Is implemented as a process for determining dθ is a value determined from the driving accuracy and the position detection accuracy of the camera moving means to be used. Here, it is set to one third of the imaging interval of 24 degrees. When the driving accuracy and the position detecting accuracy of the camera moving means are high, the value may be smaller, and when the driving accuracy and the position detecting accuracy are low, the value may be larger.
[0076]
First, the variable θ is set to θi−dθ, which is the minimum value in the range, and the maximum cross-correlation coefficient Cmax is set to a value (here, −2) smaller than the lower limit of the cross-correlation coefficient, and the maximum cross-correlation coefficient is set. The position θmax when the correlation coefficient is given is initialized to the acquisition position θi (step D92). Then, while the variable θ falls within the predetermined range, the position at which the partial image i overlaps the reference image best is obtained by applying the processing after step D94 (step D93).
[0077]
For this purpose, first, when the reference image and the partial image are projected by the same method as the synthesizing process in the example of the first embodiment, a working image having a size capable of including at least both is stored in the image memory. 008, all pixels are left blank, and the reference image is projected onto the working image by the same technique of reducing the effect of parallax as in the synthesis processing in the example of the first embodiment. Next, for the variable θ, the projection position of each pixel of the partial image i is obtained by the same projection method, and an area where the reference image and the partial image i overlap is obtained (step D94). A cross-correlation coefficient C is obtained in the obtained overlapping area (step D95), and Cmax indicating the maximum cross-correlation coefficient obtained so far is compared with C (step D96), and C exceeds Cmax. If so, Cmax is replaced with C, and θmax is replaced with θ (step D97). Then, to find the cross-correlation coefficient at the next position,
θ ← θ + Δθ
Is updated, and the processing after step D93 is repeated (step D98).
[0078]
Here, Δθ is a value to be set according to the required accuracy, and here, it is 0.5 degrees which is half of 1 degree which is the minimum resolution of position detection.
After obtaining the cross-correlation coefficients for all the positions in the range, the maximum cross-correlation coefficient is stored in Cmax, and the position when Cmax is given is stored in θmax. In the positioning process, the position correction amount of the partial image i is calculated from θmax.
θmax−θi
And stores it in the image attribute memory 004 (step D99).
Here, in order to cope with the case where the positioning process and the image synthesizing process are performed in parallel, the position correction amount is obtained in order to clearly distinguish the predetermined acquisition position of the partial image i from the correction amount. Although it is executed in the form, when it is not necessary to clearly distinguish the two, the processing may be configured to directly replace the acquisition position of the partial image i of the partial image i with θ.
In this case, only the movement amount of the camera in the horizontal direction is set as the target range. However, when fluctuations are observed in other coordinate axes, a three-dimensional area including the movable range of each coordinate axis may be used as a candidate. Good.
[0079]
It is also possible to use an alignment method other than those described above. For example, since the cross-correlation coefficient requires a large amount of calculation, a simpler method of summing the absolute values of the differences between the corresponding pixel values, and this sum Can be used. Instead of a simple sequential search in a three-dimensional space, a method using a corresponding point and having a smaller amount of calculation can also be used. These processes are methods used in normal image processing as alignment or matching processes, and conventional techniques can be used. The conventional alignment processing technology is described in detail in "Kyoritsu Shuppan, Bit Separate Volume" Computer Science ", ACM Computing Survey '92, pp. 77-119", and will not be described in detail.
[0080]
Using the result of the alignment processing in step D00, the image combining unit 009 combines each partial image on the composite image while reducing the effect of parallax included in the partial image, as in the example of the first embodiment. (Step E00). In the present embodiment, a partial image stored in the image attribute memory 004 is acquired in step E91 in FIG. 7 which is a diagram for explaining the flow of the combining process in the first embodiment of the first embodiment. The only difference is that the position information of the partial image is obtained by adding the orientation information of the camera 005 at the time of the addition and the position correction amount obtained by the alignment means 013. Same as the form.
[0081]
As described above, it is possible to eliminate an error included in the acquisition position of the partial image i by the positioning unit 013 and generate a high-accuracy composite image.
Also in the second embodiment, similarly to the first embodiment, it is possible to configure so that each process is executed in parallel. At this time, the positioning process is executed in parallel in the same manner as the camera moving process, the imaging process, and the image synthesizing process in the diagram showing the process flow in FIG. 8, and the process flow is as shown in FIG.
As the position alignment process, the position alignment process stored in the image attribute memory 004 is applied in the same manner as the image synthesis process in the example in which each process is configured to be executed in parallel in the first embodiment. The alignment processing is executed with reference to an alignment processing flag indicating whether or not the alignment processing is performed.
[0082]
That is, in the imaging process (step C00), for the newly acquired partial image, the partial image is recorded in the image memory 008, the position and the attribute information at the time of acquisition are recorded in the image attribute memory 004, and the alignment process is necessary. Is set in the image attribute memory 004 (step C93). Here, the alignment processing flag can be easily realized by adding the attribute of the partial image in the image attribute memory 004 in the same manner as the flag used in the general computer processing. It is assumed that This alignment processing flag is released when the alignment processing for the acquired partial image is completed. The alignment processing flag is an example, and any means may be used as long as it is a means that can confirm the acquisition of the partial image and the application of the alignment processing.
[0083]
In the alignment processing, the acquisition of the partial image to be processed is determined by monitoring the alignment processing flag of the partial image i in the image attribute memory 004, as compared with the above-described example of the second embodiment. It is characterized in that the projection processing of the partial image onto the composite image is continuously performed from the partial image and its acquisition position.
That is, first, in FIG. 15, the acquisition of the partial image i to be processed is determined based on whether or not the alignment processing flag of the partial image i stored in the image attribute memory 004 has been set. In the case where there is, the processing of steps D91 to D912 is applied similarly to the processing having the same name in FIG. 13 which is a diagram for explaining the processing flow in the above example of the second embodiment, and the partial image Is determined. When the alignment processing of the partial image i is completed, the alignment processing flag is released, and the projection processing flag is set, thereby recording that the alignment processing for the partial image i is completed and the application of the combination processing is necessary. (Step D913).
[0084]
Then, when there is an instruction of the end confirmation processing (step A02) in FIG. 8 (step D910), the combining processing ends. As long as there is no instruction, the processing from step D90 is repeated.
In the image synthesizing process (step E00), the image synthesizing process is executed in the same processing flow as in the second example of the first embodiment with reference to the projection processing flag set by the alignment process. I do.
[0085]
In addition, when the acquisition of the partial images and the image synthesis are performed continuously and at the same position as the target, the error included in the acquisition position of each partial image is considered to be stable. That is, when the image acquisition and the synthesis are continuously performed, it is considered that the position correction amount for the partial image i obtained at a certain time can be used with high accuracy even when the next partial image i is obtained. Taking advantage of this, the first embodiment can be configured so that the alignment process (step D00) and the combining process (step E00) are executed in parallel as shown in FIG. At this time, when obtaining the synthesis position in the synthesis processing (step E02), the position correction amount previously obtained for the partial image i is used. With this configuration, the processing cost is higher than the other processing, and the influence of the alignment processing which tends to cause a reduction in the overall processing speed can be reduced.
[0086]
Further, in the image synthesis processing in the examples of the above embodiments, the method of projecting the partial image i on the synthesized image has been described. On the contrary, the point on the synthesized image is projected on the image plane. Can be configured to determine the pixel value of a point on the composite image.
FIG. 16 is a diagram for explaining an example of a processing flow of an image composition process configured to determine a pixel value of a point on the composite image by projecting a point on the composite image onto the image plane.
Note that the size of the composite image is determined in advance in the initialization processing in step A01, and the sizes in the X and Y directions are Mx and My. This value is obtained by obtaining the position of the pixel included in the partial image on the composite image using the acquisition position θi for all the partial images in the X direction and the Y direction of the position obtained by the same method as the synthesis processing in the above embodiment. It can be determined from the respective minimum and maximum values.
[0087]
The image synthesizing unit 009 obtains the partial image i and the synthesized image immediately after being obtained from the image memory 008 in the same manner as in FIG. 7, which is a diagram for explaining the flow of the image synthesizing process in the above embodiment. The attribute information including the position θi is acquired from the image attribute memory 004 (step E′91). Here, each pixel included in the composite image has no overlap, and a number k (0 ≦ k ≦ K) is added in order from 0. By specifying this k, the pixel of the composite image is The position shall be determined. This is tentatively set for ease of explanation, and any method can be used as long as each pixel can be selected in order without duplication. For example, a method of changing the value for each axis in the X direction and the Y direction, such as a commonly used raster scan, does not affect the essence of the present invention.
[0088]
The image synthesizing means initializes a variable k specifying a pixel on the image synthesizing, and obtains K indicating the total number of pixels (step E'92). In particular,
k ← 0
K ← Mx × My
It becomes.
Then, the processing after step E'94 is applied to all the pixels (E'93). First, the position (Xk, Yk) on the composite image corresponding to the number k is
Xk ← (k MOD Mx) −Mx ÷ 2
Yk ← (k DIV Mx) −My ÷ 2
Asking. Here, MOD is an integer operator for obtaining a remainder obtained by dividing k by Mx, and DIV is an integer operator for obtaining a quotient obtained by dividing k by Mx. (Xk, Yk) is expressed in a coordinate system having the origin at the center of the composite image.
[0089]
Then, a point indicating the pixel position (xk, yk) on the partial image corresponding to the point indicating the pixel position (Xk, Yk) on the obtained composite image is obtained (step E'95). That is, the three-dimensional coordinates (X, Y, Z) of the projection point 312 on the projection plane 306 from the point (Xk, Yk) on the composite image are calculated as the inverse transform of the equation (7).
(Equation 8)

Thus, the point p311 can be obtained as the intersection of the straight line passing through the viewpoint o301 and the image plane 302, which is parallel to the straight line connecting the projection point 312 and the camera rotation center c313. Here, a direction vector from the camera rotation center c 313 to the projection point 312 is used as a direction vector, and a position vector of a point q 309 on a straight line 307 passing through the viewpoint o 301 is obtained by using a variable s,
(Equation 9)

Can be written.
[0090]
Also, the point where the normal vector of the image plane 302 is parallel to the position vector of the viewpoint o312 and the intersection of the optical axis and the image plane, that is, (0, 0, f + L) when φ = ρ = θ = 0 Passes through a point rotated according to φ, ρ, θ, the position vector of the point p311 on the image plane 302 is
(Equation 10)

Meet. Substituting ρ = 0 and θ = θi into this gives:
[Equation 11]

It becomes.
[0091]
Since the point on the image plane 302 corresponding to the point (Xk, Yk) on the composite image is obtained as the intersection of the straight line 307 and the image plane 302, the constant s that determines the three-dimensional coordinates of the point p311 is
(Equation 12)

Is substituted for ρ = 0 and θ = θi,
(Equation 13)

It becomes. The three-dimensional coordinates (x, y, z) of the point p311 determined by substituting this s into the equation (9) are converted to the inverse of the equation (1), that is, (−φ, − ρ, −θ) Rotate conversion
[Equation 14]

Is substituted for ρ = 0 and θ = θi,
[Equation 15]

The X and Y components (xk, yk) of the three-dimensional coordinates obtained by applying are the positions corresponding to the point (Xk, Yk) on the composite image in the partial image coordinate system.
[0092]
Therefore, in the image synthesizing process, the coordinate values on the partial image coordinate system corresponding to the pixels on each synthesized image are obtained in accordance with the above calculation method (step E'95), and the values are in the range where the partial image exists, ie, ( -Sx / 2, -Sy / 2) to (Sx / 2, Sy / 2) are determined (step E'96), and if so, bilinear interpolation is performed. The pixel value of the point (Xk, Yk) on the composite image is determined from the four pixel values around the point (xk, yk) of the partial image. Any of these interpolation processes can be used as long as they are used in normal image processing. The interpolation process is described in detail in “Image Analysis Handbook”, pp. 441-444, The University of Tokyo Press, 1992, and will not be described in detail.
[0093]
After determining the pixel value on the composite image corresponding to k, the image compositing process increases the value of k by one, and continues the execution of the above-described processing for the next pixel to be processed (step E'97).
When the corresponding point on the partial image is obtained from the point on the composite image as described above, there is a feature that the generation of a blank pixel due to the rounding error of the coordinate does not occur on the composite image.
In the above-described image combining process, the size of the combined image is calculated in advance from the projection position of the partial image. However, there is a case where the size of the combined image needs to be separately set in accordance with an instruction from the user. Even in such a case, the above-described image projection method is used by calculating the enlargement / reduction ratio so that the calculated composite image size falls within the designated size and applying the ratio to the coordinate system of the composite image. Is possible. For example, if the size obtained by calculation is 2000 × 200 pixels and the specified size is 500 × 50 pixels, the calculation is performed by multiplying the coordinate value of the specified size by 4 times for both the X and Y components. The coordinates can be converted into coordinates in the case of using the synthesized image of the size obtained by the above. A corresponding point on the partial image can be obtained by using the coordinate values.
[0094]
It should be noted that the image synthesizing process for obtaining the corresponding point on the partial image from the coordinates on the synthetic image as described above can be configured to be executed in parallel with other processes, and FIG. The flow of the process when executing is shown. The flow of the processing shown in FIG. 17 is similar to the image synthesis processing for parallel processing in FIG. 11 with respect to the image synthesis processing shown in FIG. 7, and the presence of the processing target image is performed with reference to the projection processing flag. Is a modification of the image combining process shown in FIG. 16, and the details are omitted.
[0095]
In the example of the second embodiment, the camera moving unit 014 detects the direction of the camera 005 at the time of acquiring the partial image. However, when the positioning unit 013 is a component, the existence range of θ It is also possible to omit the detection mechanism of the direction of the camera 005 by setting.
[0096]
Next, the image input device according to the third and fourth embodiments of the image input device 100 according to the present invention will be described in detail with reference to the drawings, with reference to the drawings, using specific examples.
In the third and fourth embodiments, the first and second embodiments combine a plurality of partial images obtained by rotating the camera 005 itself, whereas the mirror 001 is arranged in front of the camera 005. It is characterized in that a plurality of partial images are acquired by rotating. FIG. 32 is a diagram for explaining the correspondence between the rotation of the mirror 001 and the rotation of the camera 005. The right side shows the field of view when the camera is rotated, and the left side shows the field of view when the mirror is rotated in front of the camera.
[0097]
As shown in FIG. 32, rotating the mirror 001 around the optical axis of the camera 005 can be used for panning of the camera 005, except for the fact that the correspondence between the image and the actual top, bottom, left, and right changes and geometric distortion. Rotating the mirror 001 about an axis perpendicular to the optical axis of the camera corresponds to a tilt operation of the camera 005. For this reason, even when the mirror 001 is used, discontinuity of the shape or position may occur on the synthesized image due to the effect of parallax if simply synthesized. In the third and fourth embodiments, the influence of the image quality deterioration due to the parallax is reduced by applying the same combining method as in the first and second embodiments.
[0098]
In the following description, components having the same names as the examples of the first and second embodiments basically provide the same functions. Unless otherwise described, the same parts as those of the first and second embodiments are all described, and differences from the first and second embodiments will be mainly described.
FIG. 33 is a diagram for explaining the configuration of the example of the third embodiment. Each component when an image is input will be described with reference to FIG.
33, the housing 101 stores the mirror control unit 003, the image attribute memory 004, the imaging unit 006, the imaging control unit 007, the image memory 008, the image synthesis unit 009, and the display control unit 011 in the above embodiment. And are connected to other components by cables.
[0099]
The mirror 001 is held by the mirror moving means 002, and is rotatable in the horizontal direction. The mirror moving unit 002 controls the rotation output of the stepping motor using a stepping motor, an origin detector, a gear, and a mirror holding jig, similarly to the camera moving unit 014 in the examples of the first and second embodiments. The rotation of the mirror 001 connected to the jig is realized in a horizontal direction by appropriately decelerating through the gear and taking out the rotation as the holding jig. The origin detector detects a reference point at which the horizontal rotation amount of the mirror is regarded as 0. For example, a combination of a magnet mounted on a gear and a Hall element generates one pulse per one horizontal rotation of the mirror. It is possible to use a configuration for causing the above. Since such an origin detector is a device that is frequently used together with a stepping motor, its details are omitted.
[0100]
In the case of the mirror moving means 002 having the above configuration, the orientation of the mirror 001, that is, the angle in the horizontal direction, is based on the output of the origin detector, the number of pulses output to the stepping motor, the rotation amount per pulse, and the gear rotation. It is obtained from the reduction ratio. As a matter of course, the mirror moving means 002 can have a configuration other than those described above. For example, various realization methods such as a configuration using a DC motor, a reduction gear, a mirror fixing jig and a rotary encoder are used. It is possible.
The mirror control means 003 performs pulse transmission to the mirror moving means 002, calculates and holds the number of transmitted pulses, and performs origin detection by an origin detector, and is the same as a mechanism used for ordinary stepping motor control. Details are omitted. This can be easily realized by combining a personal computer and a mechanism for converting the output into a format suitable for a stepping motor.
[0101]
In the present embodiment, it is assumed that the rotation amount per pulse of the stepping motor is 18 degrees and the gear reduction ratio is 1/18. At this time, the mirror 001 rotates in the horizontal direction once per pulse output to the stepping motor. These are set temporarily for ease of explanation, and do not limit the scope of the present invention. Of course, it is possible to use a stepping motor with other amounts of rotation and other reduction ratios.
In the description of the present embodiment, it is assumed that the mirror 001 rotates only in the horizontal direction and that the center of rotation exists on the optical axis, but this is set for ease of explanation. And does not define an embodiment of the present invention. By changing the configuration of the mirror moving unit 002, it is possible to easily apply the rotation of the mirror 001 in the horizontal and vertical directions, and to easily cope with the case where the center of rotation does not exist on the optical axis.
[0102]
The camera 005 is a normal video camera. The camera 005 is fixed so that the optical axis of the camera 005 and the rotation axis of the mirror 001 coincide with each other via the support 400, and an image of the outside world via the mirror 001 is input by the camera 005. It is arranged so that. FIG. 34 is an image diagram for explaining that a partial image captured by the camera 005 is combined to generate a combined image. The relationship between the mirror 001, the camera 005, the mirror moving unit 002, the projection plane 306, and the coordinate system is illustrated. Is shown.
[0103]
As shown in FIG. 34, in this embodiment, the partial image 300 captured by the camera 005 via the mirror 001 is projected onto a cylindrical projection surface 306 sharing the axis with the rotation axis of the mirror 001. , And other partial images. Although a cylindrical surface is used as the projection surface 306 in the present embodiment, the projection surface 306 may correspond to a spherical surface around the rotation center of the mirror 001. An image obtained by developing these projection surfaces 306 into a plane is referred to as a composite image.
Further, when the rotation range of the mirror 001 is less than 180 degrees, it is possible to make the mirror not a cylindrical surface or a spherical surface but a flat surface, as in the examples of the first and second embodiments. .
[0104]
FIG. 35 is a diagram for explaining the combining process by projection, and shows the relationship between the image plane of the camera 005 and the projection plane via the mirror 001.
In FIG. 35, with the viewpoint o301 of the camera 005 expressed by the pinhole camera model as the origin, an X axis, a Y axis parallel to each axis of the image plane 302 corresponding to the partial image acquired by the camera 005, and A three-dimensional coordinate system having a Z axis in the optical axis direction of the camera 005 is set. Assuming that the focal length of the camera 005 is f, the image plane 302 is located at a distance f in the Z-axis direction. The mirror 005 is expressed as a plane, rotates around a rotation center c304 on the Z axis, and sets its unit normal vector to n303. The projection surface 306 is a cylindrical surface whose axis is the Z axis, and its radius is D.
[0105]
The unit normal vector n303 of the mirror 001 is horizontal, that is, on the basis of a state parallel to the XY plane, using rotation amounts φ, ρ, and θ around each of the X axis, the Y axis, and the Z axis.
(Equation 16)

Is required. In the present embodiment, since only rotation in the horizontal direction is considered, φ corresponding to the rotation amount in the vertical direction is fixed, and ρ = 0 corresponding to the rotation amount around the Y axis can be considered. As the rotation amount in the horizontal direction, that is, the rotation amount θ about the Z axis, a value observed by the mirror moving unit 002 is used.
[0106]
FIG. 18 is a diagram for explaining the flow of processing in this embodiment.
Hereinafter, the flow of the process in the present embodiment will be described in detail with reference to FIG.
First, the image input apparatus 100 according to the present embodiment includes the number of images constituting one wide-field image, the position where each partial image should be obtained, the movement of the mirror moving unit 002 to the origin, and the output in the mirror control unit 003. Initialization necessary for each component such as initialization of a counter for counting the number of pulses is performed (step A01). The details are omitted because they are the same as the examples of the first and second embodiments.
Note that the direction of the mirror 001 from which the partial image i is to be obtained is represented by a horizontal angle θi. These are tentatively set for the description, do not limit the scope of the present description, and other expression methods can be used. When the mirror 001 can be rotated in a direction other than the horizontal direction, that is, around the Z axis, the orientation to be acquired may be set including the amount of rotation around each axis.
[0107]
The image memory 008 has a size sufficient to store the N partial images and the composite image. The image attribute memory 004 stores the size of the partial image, It is assumed that attribute information of a position on the image memory where the image is stored, a size of the composite image, and a position on the image memory where the composite image is stored are stored. The pixel value of each partial image or composite image can be referred to by using such attribute information. Such an image memory 008 and an image attribute memory 004 can be easily realized by combining memory elements or by diverting a storage device mounted on a computer.
[0108]
After the completion of the initialization, the image input device 100 according to the present invention repeats the processing of step B00 to step G00 until the imaging processing ends (step A02). As for the condition for terminating the process, various methods such as an instruction from the user, terminating after executing for a predetermined time, and the like can be implemented, but the details are omitted because they are not the essence of the present invention.
The mirror control unit 003 uses the mirror moving unit 002 to move the direction of the mirror 001 to the acquisition position θi of the partial image i (Step B00).
[0109]
FIG. 19 is a diagram for explaining the flow of the mirror moving process.
In FIG. 19, the mirror control unit 003 first issues an instruction to the mirror moving unit 002 to start the movement of the mirror 001. That is, the mirror moving means 002 outputs a pulse to the stepping motor to move the direction of the mirror (step B92), and updates the number of output pulses (step B93). Then, the direction θ of the mirror 001 is obtained from the number of output pulses based on the same calculation as that for obtaining the camera angle in the first and second embodiments (step B94).
[0110]
Here, it is assumed that one pulse is output in step B92, and the counter value indicating the number of output pulses is incremented by one in step B94. However, these are tentatively set. For example, when the resolution of the horizontal rotation of the camera has a finer value, two pulses are output at a time. Can be used as in the examples in the first and second embodiments.
Thereafter, the mirror control means 003 monitors whether or not the mirror 001 has moved in the target direction by comparing the obtained θ with θi indicating the position where the partial image i is to be obtained (step B95). When the orientation has been reached, the movement of the mirror 001 is terminated. If not, the flow returns to step B92 again to repeat the processing after the pulse output.
[0111]
Next, similarly to the imaging processing in the examples of the first and second embodiments, the imaging control unit 007 converts the external image acquired by the camera 005 via the mirror 001 into a partial image by the imaging unit 006. The orientation of the mirror 001 at the time of acquisition, that is, θi, is taken into the image attribute memory 004 in the image memory 008 (step C00). Here, the configuration of the imaging unit is the same as that of the examples in the first and second embodiments.
Subsequently, the image synthesizing unit 009 projects the acquired partial image onto the projection plane 306 so as to reduce the influence of parallax, and develops the projection plane 306 to update the synthesized image (step E00).
[0112]
The flow of the synthesizing process in the present embodiment is the same as the flow of the synthesizing process in the example of the first and second embodiments, and is the same as that of FIG. In the example of the embodiment, the direction of the camera 005 is used, whereas in the present example, the direction of the mirror 001 is used, and the projection method in step E95 uses the rotation center c304 of the mirror. ing.
In FIG. 7, the image synthesizing unit 009 first obtains the partial image i from the image memory 008 and obtains its acquisition position θi from the image attribute memory 004 in order to project the partial image i immediately after the acquisition onto the composite image. (Step E91). In the present embodiment, the process of determining the position of the pixel on the partial image i using the number added to each pixel of the partial image and the number (Step E92, Step E93, and Step E94) is the first and the second. This is the same as the example in the second embodiment.
[0113]
Hereinafter, the projection processing of the pixels on the partial image onto the projection plane 306 in step E95 and step E96 will be described in detail with reference to the drawings.
First, from the mirror position θi at the time of acquiring the partial image i, the unit normal vector n303 of the mirror 001 at the time of acquiring the partial image i is substituted into Expression (16) by θ = θi and ρ = 0.
[Equation 17]

Ask according to. This indicates a transformation in which the unit vector of (0, 0, 1) when φ = ρ = θ = 0 is rotated around the X, Y, and Z axes. Here, considering the point p311 (xj, yj) on the partial image i, the coordinates in the three-dimensional space are (xj, yj, f). That is,
(Equation 18)

It is.
A straight line passing from the viewpoint o301 to the point p311 is obtained by using the parameter s,
[Equation 19]

Is expressed as
[0114]
The relationship between the point r305 on the mirror 001, the unit normal vector n303, and the rotation center c304 is obtained by using the inner product,
(Equation 20)

In particular, when the point r305 is an intersection between the straight line represented by the equation (19) and the mirror 001,
(Equation 21)

Can be expressed as
[0115]
Here, the direction vector after the straight line direction vector 1 is reflected on the plane indicated by the unit normal vector n is represented by a matrix R indicating the reflection formed by the X, Y, and Z components of the unit normal vector. hand
(Equation 22)

From the viewpoint o301, a point q309 on a straight line (= reflection straight line 307) after the straight line passing from the viewpoint o301 to the point p311 reflected at the point r305 on the mirror 001 is obtained by using the matrix R and the parameter s.
(Equation 23)

Can be expressed as A projection point p′308 determined as an intersection between the reflection straight line 307 and the projection plane 306 is obtained by projecting a point p311 on the projection plane 306 with the viewpoint o301 as the center of projection. In the present invention, since the rotation of the mirror 001 has the same effect as the rotation around the axis in front of the camera 005, there is a problem that parallax is generated by the movement of the viewpoint o301 due to the rotation of the mirror 001. That is, since a point on the three-dimensional space is projected on a different projection point depending on the direction of the mirror 001, a discontinuity in shape or position may occur.
[0116]
FIG. 37 is a diagram for explaining this parallax problem. In the above-described projection method, when the point q309 in the space is different in direction from the mirror 001 as indicated by the broken line and the solid line, the projection is performed on the projection plane 306. Are projected on two different points p ′ 308. This parallax results from the fact that the center of rotation c304 of the mirror 001 does not coincide with the center of projection on the projection plane 306.
In order to solve this problem, in the image input device according to the present invention, in the examples of the first and second embodiments, similarly to the case where the rotation center of the camera is set to the center of projection, the image In the synthesizing process, each partial image is projected on the projection plane 306 with the rotation center c304 as the projection center.
[0117]
FIG. 36 is a diagram for explaining a projection method using the rotation center c304 as the projection center. The vector from the rotation center c304 to the point q309 on the reflection straight line 307 expressed by Expression (23) is
[Equation 24]

And a straight line obtained by extending this vector is obtained by using the parameter t,
(Equation 25)

Can be written. Considering the intersection point p ″ 310 between this straight line and the projection plane 306, since the equation (25) includes the parameter s that determines the position of the point q 309 in space, the rotation center c 304 is defined as the projection center. In this case, as shown in FIG. 36, the position of the point p ″ 310 changes according to the value of the parameter s, that is, the distance of the point q 309 from the point r 305.
[0118]
However, considering the case where the point q309 in the space is distant, that is, the value of the parameter s increases, the vector connecting the rotation center c304 and the point p ″ 310 gradually approaches the direction vector of the reflection straight line 307. And finally converges in a parallel direction. For example, when the focal length of the lens is 5.5 and the center of rotation is (0, 0, 30), the distance from the reflection point converges at about 1000. That is, when a point on the reflection straight line 307 viewed from the rotation center c304 is projected on the projection plane 306, the intersection point p'310 is defined by Converge. This indicates that most of the points in the space on the reflection straight line 307 reflected by the mirror 001 are projected onto the intersection, the straight line connecting the viewpoint o301 and the point p311 on the image plane 302. Therefore, by setting the convergence point as the projection point 312, the above-described problem of parallax can be significantly reduced, and the quality of the obtained composite image can be significantly improved.
[0119]
Therefore, in step E95, from each point (xj, yj, f) on the partial image i, a straight line having the same direction vector as the reflection straight line 307 represented by Expression (23) and passing through the rotation center c304, and the projection plane 306 Is the position vector of the intersection with the cylindrical surface of radius D
(Equation 26)

First, the three-dimensional position (X, Y, Z) of the projection point 312 on the projection plane 306 corresponding to the point p311 on the partial image i is determined. Further, similarly to the examples of the first and second embodiments, the position (Xj, Yj) on the composite image obtained by developing the projection surface 306 corresponding to the projection point 312 on a plane is calculated according to Expression (7). . Then, in step E96, each point on the partial image i is projected on the composite image by replacing the pixel value at the corresponding position of the composite image stored in the image memory 008 with the pixel value on the partial image i. . When (Xj, Yj) is not an integer value, the decimal point or less may be rounded off, similarly to the examples of the first and second embodiments.
[0120]
The timing and method for updating the size of the composite image are the same as those in the examples of the first and second embodiments.
It is determined whether or not the projection processing of all the pixels on the partial image i on the composite image has been completed by comparing the variable J with J indicating the number of all pixels. The combining process ends (step E93).
After the projection processing of the partial image i onto the composite image in the composite processing (step E00) is completed, the display control unit 011 reads the updated composite image from the image memory 008, and reads the updated composite image in the first and second embodiments. Similar to the embodiment, the information is displayed on the display unit 012 (step G00).
[0121]
After the display of the updated composite image is completed, steps A02 and subsequent steps in FIG. 18 are repeated in order to acquire the next partial image, as in the examples of the first and second embodiments. An example of a function using a continuously updated composite image as shown in FIG. 31 can be used, similarly to the examples of the first and second embodiments.
In the above description, each process of mirror movement, imaging, image synthesis, and display has been described as being executed sequentially. However, these processes may be configured to be executed in parallel.
[0122]
Hereinafter, as a second example of the third embodiment, a case where each process is configured in parallel will be described in detail with reference to the drawings while comparing with the first example of the third embodiment. I do.
Also in the second example of the third embodiment, the first embodiment of the third embodiment is the same as the first embodiment of the third embodiment except for parts related to the processing flow, such as the appearance, the configuration of each means, the projection plane, and the setting of the coordinate system. All are the same as the examples.
FIG. 20 is a diagram for explaining the flow of the entire processing when each processing is configured in parallel.
Each process in FIG. 20 is different from the process flow in the first example of the third embodiment in FIG. 18 in that the mirror is moved (step B00), the image is captured (step C00), and the image is synthesized (step E00). , Display (step G00) are executed in parallel while being synchronized.
[0123]
After an initialization process (step A01) and an end confirmation process (step A02) similar to those of the first example of the third embodiment, each process starts its operation.
FIG. 21 is a diagram for explaining in detail the flow of the mirror moving process (step B00) in the second example of the third embodiment.
The mirror moving process in the second embodiment is different from the first embodiment in that the mirror 001 is not moved to each image acquisition position, but is continuously moved while recording the direction of the mirror. There are features.
That is, in the mirror moving process, the process from the pulse output (step B92) to the mirror position calculation (step B94) is continuously performed until there is an instruction from the end confirmation process (step A02) in FIG. The process of recording the position in the mirror control means 015 (step B96) is repeated. The imaging process (step C00) is performed with reference to the mirror position, as in the examples in the first and second embodiments. Here, it is assumed that the angle in the horizontal direction is transmitted as the mirror position, but any form may be used as long as the direction of the mirror can be confirmed in the imaging processing, such as by directly sending the number of output pulses. Further, it is possible to transmit not only the horizontal but also the amount of rotation about each axis similarly to the examples in the first and second embodiments.
[0124]
Each process from the pulse output (step B92) to the mirror position calculation (step B94) has the same name in FIG. 19 which is a diagram for explaining the flow of the process in the first example of the third embodiment. This is the same processing as.
When the end confirmation process (step A02) in FIG. 20 is instructed (step B97), the movement of the mirror 001 is stopped and the process ends, as in the first example of the third embodiment. .
[0125]
FIG. 22 is a diagram for explaining in detail the flow of the imaging process (step C00) in the second example of the third embodiment.
The flow of the imaging process in the present embodiment is the same as the flow of the imaging process in the second embodiment of the first embodiment shown in FIG. In contrast to the acquisition of the orientation of 005 (step C91), in the present embodiment, the orientation of the mirror 001 is acquired (step C95), and the only difference is that the mirror 001 is used.
[0126]
The flow of the synthesizing process according to the present embodiment is the same as the flow of the synthesizing process according to the second embodiment of the first embodiment shown in FIG. 11, which is a diagram showing the flow of the synthesizing process according to the first embodiment. In the second embodiment, the direction of the camera 005 is used, whereas in the present embodiment, the point of using the orientation of the mirror 001 and the projection method in step E04 are the same as those in the first embodiment. As in the processing in the embodiment, the difference is that the rotation center c304 of the mirror is used.
In the display processing, the display control unit 011 continuously reads out the composite image from the image memory 008 and displays it on the display unit 012 (step G00). Since the image is continuously read and displayed, the updated composite image is immediately displayed on the display unit 012, or only a part of the composite image is selectively displayed according to a user instruction. Also, as in the previous embodiment, it is possible for a plurality of users to provide a function of cutting out different points from the same composite image and displaying the same on the display unit 012.
[0127]
By configuring each process in parallel in this way, compared to the first example of the third embodiment, one process is performed in a series of processes from image acquisition to image synthesis. There is an advantage that the delay can affect other processes and prevent the problem that the overall operation speed is reduced.
Next, an example of the fourth embodiment in the image input apparatus of the present invention will be described in detail with reference to the drawings.
[0128]
In the third embodiment, the configuration is such that there is no difference between the position where the partial image should be obtained and the direction of the mirror when the partial image is actually obtained. However, when the mirror direction detection accuracy by the mirror moving unit 002 is low, or when the delay from the image acquisition instruction to the actual acquisition of the partial image is large, a large error is included in the acquisition position of the partial image. In some cases, a problem that the accuracy of the composite image is significantly reduced may occur.
[0129]
The fourth embodiment of the present invention is made to solve such a problem of the error included in the acquisition position, as in the second embodiment with respect to the first embodiment. Compared with the third embodiment, in order to eliminate an error included in the acquisition position of each partial image and enable acquisition of a high-accuracy composite image, a registration unit that applies registration between partial images is used. It is characterized by being added.
[0130]
This embodiment also has the same appearance as that of FIG. 33 illustrating the configuration of the embodiment in the third embodiment, but the housing 101 has a mirror control unit 003 and an image attribute memory 004. , An imaging unit 006, an imaging control unit 007, an image memory 008, an image synthesizing unit 009, and a display control unit 011. In addition, a positioning unit 013 is stored. It is connected. Compared with the first embodiment of the third embodiment, components having the same name provide the same function, but the image attribute memory 004 stores information on the orientation of the mirror at the time of partial image acquisition and alignment. The position correction amount of each partial image obtained by the means 13 is stored. Further, the image synthesizing unit 009 is configured to obtain the synthesizing position using the acquisition position of the partial image in the image attribute memory 004 and the position correction amount of the partial image obtained by the alignment unit 013.
[0131]
FIG. 23 is a diagram for explaining the flow of processing in the present embodiment. In FIG. 23, components having the same names as those in FIG. 18, which is a diagram for describing the processing flow in the first example of the third embodiment, are assumed to provide the same functions. Note that, in the example of the fourth embodiment, the third unit except for the position related to the positioning unit 013 and the positioning process (step D00), such as the appearance, the configuration of each unit, the projection plane, and the setting of the coordinate system, is used. All examples are the same as those of the embodiment.
In the initialization (step A01) in FIG. 23, compared with the first example of the third embodiment, a process of initializing a position correction amount value to obtain a combined position of a partial image to 0 is added. Have been. The end confirmation (step A02), the mirror movement (step B00), and the imaging (step C00) are the same as in the first example of the third embodiment.
[0132]
The flow of the positioning process (step D00) in the present embodiment is the same as the flow of the positioning process in the example of the second embodiment shown in FIG. The difference between the embodiment of the embodiment and the embodiment is that the orientation of the mirror 001 is used, whereas the orientation of the camera 005 is used.
Using the result of the alignment processing in step D00, the image combining unit 009 combines each partial image on the combined image while reducing the effect of parallax included in the partial image, as in the example of the third embodiment. (Step E00). In the present embodiment, FIG. 7 is a diagram for explaining the flow of the combining process in the first embodiment of the third embodiment, and the partial image stored in the image attribute memory 004 in step E02. The only difference is that the combined position of the partial images is obtained using the orientation information of the mirror 001 at the time of acquisition and the combined position correction amount obtained by the alignment means 013. This is the same as the first embodiment of the embodiment.
[0133]
As described above, it is possible to eliminate an error included in the acquisition position of the partial image i by the positioning unit 013 and generate a high-accuracy composite image.
In the fourth embodiment as well, similarly to the third embodiment, it is possible to configure so that each process is executed in parallel. At this time, the positioning process in step D00 is the second process. FIG. 15 is a diagram showing the flow of the alignment processing in the example of the second embodiment, but the flow of the processing is the same as that in FIG. 15. This embodiment is different in that the direction of the mirror 001 is used.
[0134]
Further, similarly to the example of the second embodiment, when the acquisition of the partial images and the image synthesis are performed continuously and targeting the same position, the error included in the acquisition position of each partial image is set. Is considered stable, the position correction amount for the partial image i obtained at a certain point in time when image acquisition and composition are continuously performed can be used with high accuracy even when the next partial image i is obtained. . Therefore, as compared with the first example of the fourth embodiment, as shown in FIG. 24, it is possible to configure so that the alignment processing (step D00) and the synthesis processing (step E00) are executed in parallel. It is. FIG. 24 is a diagram showing the flow of processing in the example of the second embodiment. The flow of processing is similar to that of FIG. 14 except that the mirror 001 is moved instead of the camera 005 (step B ′). 00) is different from that of the first embodiment in that information of the orientation of the mirror 0001 is used instead of the orientation of the camera 005 in each process.
[0135]
Further, in the image combining process in the examples of the third and fourth embodiments, the method of projecting the partial image i on the combined image has been described. However, the method of the first and second embodiments is different from that of the first and second embodiments. Similarly, it is also possible to configure so that the pixel value of the point on the composite image is determined by projecting the point on the composite image onto the image plane.
The flow of the image synthesizing process at this time is as shown in FIGS. 16 and 17, similarly to the examples in the first and second embodiments. FIG. 17 shows a case where the image synthesis processing is executed in parallel with other processing.
[0136]
Each processing in the image synthesis processing is configured to use the orientation of the mirror 001 while using the orientation of the camera 005 in the examples of the first and second embodiments, and The only difference is the calculation for obtaining the position (xk, yk) on the partial image from the position (Xk, Yk) on the composite image. Hereinafter, a description will be given of a calculation method in the case of determining the pixel value of a point on the composite image by projecting a point on the composite image on the image plane in the examples of the third and fourth embodiments.
[0137]
The three-dimensional coordinates (X, Y, Z) of the projection point 312 on the projection plane 306 from the point (Xk, Yk) on the composite image are similar to the examples in the first and second embodiments.
[Equation 27]

Is expressed as A point on the partial image i corresponding to the projection point 312 is parallel to a straight line passing through the projection point 312 and the mirror rotation center c304, and passing through the viewpoint o301 when reflected by the mirror 001, and an image plane 302. Required as an intersection.
[0138]
The direction vector of a straight line passing through the projection point 312 and the mirror rotation center 304 is
[Equation 28]

And the direction vector of the straight line reflected by the mirror 001 is calculated using a matrix R indicating the reflection,
(Equation 29)

Can be written.
[0139]
A line having this direction vector and passing through the viewpoint o301, that is, the origin, is obtained by using the parameter s.
[Equation 30]

It becomes. The coordinates (x, y, z) of the intersection point p311 with the image plane 302 are obtained as points on this straight line where the Z component coincides with the focal length f, and the X component and Y component at that time are represented by the partial image i. The position of the upper point is (xk, yk). That is,
(Equation 31)

Is expressed as
The method of determining the pixel value on the synthesized image from the obtained position (xk, yk) is the same as in the examples in the first and second embodiments, and the details are omitted.
[0140]
When the corresponding point on the partial image is obtained from the point on the composite image in this way, the first and second embodiments have a feature that blank pixels do not occur on the composite image due to coordinate rounding errors. This is the same as the example in the embodiment. It is also the same that the above-described image projection method can be used by calculating an enlargement / reduction ratio such that the calculated composite image size falls within the specified size and applying the ratio to the coordinate system of the composite image. . Furthermore, it can be configured to be executed in parallel with other processing, as in the examples in the first and second embodiments.
[0141]
FIG. 40 shows an example of an image obtained by bi-linear interpolation of pixel values on a composite image from corresponding points on a partial image in the example of the fourth embodiment. FIG. 40A shows one state of a synthesized image obtained in the image synthesis processing, and FIG. 40B shows a state in which only the center portion is cut out from the synthesized image and displayed in the display processing.
[0142]
Further, in the examples of the third and fourth embodiments, the configuration in which the camera 005 is located above and the mirror 001 is located below as shown in FIG. 33 has been described. However, the present invention is not limited to this. FIGS. 38 and 39 show another embodiment, in which the camera 005 is placed below and the mirror 001 is placed above. FIG. 39 shows the appearance, and FIG. 38 shows a sectional view. In the case of such a configuration, the mirror holding jig, which is a component of the mirror moving unit 002, is set at both ends of the mirror so that the jig is not reflected in each partial image, so that the support column 400 supporting the camera 005 can be seen. Can be prevented from entering.
[0143]
Further, in the example of the fourth embodiment, the mirror moving unit 002 detects the orientation of the mirror 001 at the time of acquiring the partial image. However, when the positioning unit 013 is a component, the existence range of θ Can be properly set to eliminate the mechanism for detecting the orientation of the mirror 001.
Further, in the examples in the above embodiments, the video camera is treated as having a fixed focal length. However, even when the focal length is variable by a zoom lens or the like, the current focal length is transmitted to the device. By providing the means, it can be easily handled.
[0144]
Further, in the examples in each of the above embodiments, the optical system of the camera 005 has been described as a simple pinhole model having no peripheral dimming or distortion, but a means for removing these distortions is provided to the imaging control means 007. The present invention is also applicable to a camera 005 that causes distortion due to such an optical system when added. Such a camera parameter measurement technique is described in detail in “Exit“ Recent Trends of Camera Calibration Techniques ”, Jikken Kenho Vol.93, No.25, CV82-1, 1993. I omit it here.
In each embodiment, the camera 005 or the mirror 001 is automatically moved by the camera moving unit 014 or the mirror moving unit 002, respectively. A movable configuration is also possible.
[0145]
Next, the configuration of an image input device according to a fifth embodiment of the present invention is shown in FIGS. FIG. 41 shows the overall configuration of the image input apparatus including the mechanism, and FIG. 42 shows a side view of the mechanism shown in FIG. In these drawings, the image input device according to the present embodiment includes a mechanism unit and a control unit. Specifically, the mechanism unit includes a camera body 610 and a camera lens 611, and captures an image of an object field. 600 and reflection surfaces 602a-1 and 602a-2 are formed on two of the side surfaces thereof, and are disposed in front of the camera 600 in order to convert the light reflected from the object field toward the camera lens 611 of the camera 600. And a mirror rotating mechanism 603 for rotating the triangular prism mirror 602a around the optical axis of the camera 600. Note that the camera 600 and the mirror 602a correspond to the camera 005 and the mirror 001 of the image input device according to the fourth embodiment shown in FIG. 4, and the mirror rotation mechanism 603 according to the fourth embodiment shown in FIG. It corresponds to the mirror moving means 002 in the image input device.
[0146]
The control unit also includes a processing unit 500 that combines a plurality of images input from the camera with the rotation of the triangular prism mirror 602a to generate a wide viewing angle image, and a mirror rotation mechanism 603 according to a control signal from the processing unit 500. And a mirror rotation control means 501 for controlling. The mirror rotation control unit 501 corresponds to the mirror control unit 003 of the image input device according to the fourth embodiment shown in FIG.
[0147]
The processing unit 500 obtains an image obtained by capturing the image captured by the camera 600 and processes the image, and obtains the image processed by the image obtaining unit 502 by capturing the reflected light from the reflective surface 602a-1. Separating means 505 for separating the separated image and an image obtained by imaging the reflected light from the reflecting surface 602a-2, and an image combining means 503 for independently combining the images separated by the image separating means 505. Image updating means for updating the synthesized image by integrating the images synthesized by the image synthesis means 1 and 503-2 with the image synthesizing means 503-1 and 503-2 so that the respective updated portions are reflected in the wide-field image. 504. The image combining unit 503-1 corresponds to a first image combining unit, and the image combining unit 503-2 corresponds to a second image combining unit of the present invention.
Note that the image acquisition unit 502 corresponds to the imaging unit 006 and the imaging control unit 007 of the image input device according to the fourth embodiment shown in FIG. The image combining units 503-1 and 503-2 correspond to the image combining unit 009 of the image input device according to the fourth embodiment shown in FIG.
[0148]
The operation of the image input device according to the fifth embodiment of the present invention having the above configuration will be described. In the above configuration, the processing unit 500 controls the mirror rotation mechanism 603 via the mirror rotation control unit 501, and controls the rotation of the triangular prism mirror 602a.
The processing unit 500 can freely set the rotation speed of the triangular prism mirror 602a, but normally controls the rotation so as to rotate at a constant speed. Light reflected from the object scene is subjected to optical path conversion by the reflecting surfaces 602a-1 and 602a-2 of the triangular prism mirror 602a and input to the camera 600. As a result, the object scene is imaged by the camera 600, and the image thereof is displayed. A signal is sent from the camera body 610 to the image acquisition unit 502.
[0149]
The image obtaining unit 502 sequentially obtains and processes images from the camera body 610 with the triangular prism mirror 602a rotated. When the triangular prism mirror 602a is rotating at a constant speed, if images are acquired at regular intervals, images of the scene around the image input device can be acquired at regular intervals.
Now, the image obtained by the image obtaining unit 502 includes an image obtained by imaging the reflected light from the reflecting surface 602a-1 of the triangular prism mirror 602a and an image obtained by imaging the reflected light from the reflecting surface 602a-2. Are combined.
[0150]
Therefore, the image separating unit 505 separates each image obtained and processed by the image obtaining unit 502 in correspondence with the two reflecting surfaces 602a-1 and 602a-2 of the triangular prism mirror 602a, and separates the separated images into images. The data is sent to the combining means 503-1 and the image combining means 503-2.
The image synthesizing units 503-1 and 503-2 independently perform image synthesizing processing, and transmit the synthesized result to the image updating unit 504.
The image updating unit 504 sequentially updates the wide-field image by superimposing the updated portion from each image sent from the image combining units 503-1 and 503-2 on the wide-field image, and illustrates it. No output to display means.
[0151]
The combining process in the image combining units 503-1 and 503-2 is the same as the combining process in the first to fourth embodiments of the present invention.
[0152]
FIG. 43 shows an example of images M1, M2, M3, M4,... Taken by the camera 600 in the image input device shown in FIG. Is shown.
As shown in FIG. 43, the position of the boundary line L in each image area imaged via the two reflecting surfaces 602a-1 and 602a-2 of the triangular prism mirror 602a is positioned with respect to the optical axis of the camera lens 611 of the camera 600. It is determined by the relative angle of the triangular prism mirror 602a. The image separating unit 505 separates the image captured according to the boundary line L into two. Each of the separated images can be regarded as two partial images whose mirror angles at the time of acquisition are different by 180 degrees. Therefore, the image synthesizing units 503-1 and 503-2 execute the first to fourth embodiments of the present invention. The images are independently synthesized by the same processing as the image synthesis processing in the embodiment.
[0153]
The image updating unit 504 extracts only the portion in which the captured image is reflected from the combined images generated by the image combining units 503-1 and 503-2, and overwrites the corresponding portion on the wide-field image. To update the wide-field image. The portion where the captured image is reflected can be easily determined by, for example, setting a circumscribed rectangle of an area where each pixel on the separated image is projected on the composite image. FIG. 44 is a diagram for explaining how the image M2 in FIG. 43 is combined with a wide-field image. In FIG. 44, after the image M2 is separated into an image M2-1 captured via the reflection surface 602a-1 of the triangular prism mirror 602a and an image M2-2 captured via the reflection surface 602a-2. Are independently synthesized on the synthesized image 1 and the synthesized image 2. At this time, their combined positions are different from each other by 180 degrees. The image updating means 504 updates the wide-field image by extracting and overwriting the circumscribed rectangular regions R-1 and R-2 of the updated portions of the composite image 1 and the composite image 2, respectively.
As described above, in the present embodiment, in each captured image, a subject in a certain direction viewed from the camera and a subject in a direction opposite to the subject by 180 degrees are simultaneously captured. Therefore, a 360-degree omnidirectional wide-field image can be acquired only by rotating the triangular prism mirror 602a by 180 degrees. That is, each time the triangular prism mirror 602a rotates 360 degrees, the wide-field image is updated twice. That is, compared to the image input device according to the fourth embodiment of the present invention, the frame rate for inputting a wide-field image can be twice as high. Here, the description has been made assuming that there are two independent image synthesizing means. However, when it is not necessary to perform each synthesizing process in parallel, the image synthesizing means used in the first to fourth embodiments of the present invention is used. Can be sequentially applied to the separated images.
[0154]
As described above, according to the image input device according to the fifth embodiment of the present invention, the two-directional images captured by the camera are simultaneously synthesized and updated by using the triangular prism mirror, so that the mirror becomes It is possible to update a 360-degree omnidirectional wide-field image once in half the time required for one rotation around the optical axis.
[0155]
Next, the configuration of an image input device according to a sixth embodiment of the present invention is shown in FIGS. FIG. 45 shows the overall configuration of the image input device including the mechanism, and FIG. 46 shows a side view of the mechanism shown in FIG. In these figures, the image input device according to the present embodiment includes a mechanism and a controller. Specifically, the mechanism includes a camera 601u including a camera body 610u and a camera lens 611u, and a camera body 610d. And a camera lens 611d, the camera 601u and the camera 601d arranged so as to face each other with the optical axes of the camera lenses coincident with each other, and the reflection surfaces 602b-1 and 602b-2 arranged between the camera 601u and the camera 601d. A double-sided mirror 602b that changes the optical path of reflected light from the object field toward the camera lens of the cameras 601u and 601d, a mirror rotation mechanism 603 that rotates the double-sided mirror 602b around the optical axes of the cameras 601u and 601d, Double-sided mirror 602b for transmitting the rotation of mirror rotation mechanism 603 to double-sided mirror 602b And a hollow gear 604 and the gear 605 is held. The camera 601u corresponds to the first camera of the present invention, and the camera 601d corresponds to the second camera of the present invention.
The double-sided mirror 602b corresponds to the mirror 001 of the image input device according to the fourth embodiment of the present invention shown in FIG. 4, and the mirror rotating mechanism 603 corresponds to the mirror moving means 002 in FIG.
[0156]
The control unit also includes a processing unit 500 that combines a plurality of images input from the cameras 601u and 601d with the rotation of the mirror to generate an image with a wide viewing angle, and a mirror according to a control signal output from the processing unit 500. And a mirror rotation control unit 501 for controlling the rotation mechanism 603.
The processing unit 500 includes an image acquisition unit 502u that acquires and processes an image captured by the camera 601u, an image synthesis unit 503u that synthesizes an image processed by the image acquisition unit 502u, and an image captured by the camera 601d. Image obtaining means 502d for obtaining and processing the image, an image synthesizing means 503d for synthesizing the images processed by the image obtaining means 502d, and a portion updated from each image synthesized by the image synthesizing means 503u and 503d. Image updating means 504 for updating the field of view image by overwriting. It should be noted that the mirror rotation control means 501 is different from the mirror control means 003 of the image input device according to the fourth embodiment of the present invention shown in FIG. The image synthesizing units 503u and 503d are different from the image synthesizing unit 506 and the image control unit 007 of the image input device according to the fourth embodiment in that the image synthesizing unit 503u and 503d are the image synthesizing units according to the fourth embodiment of the present invention shown in FIG. Each corresponds to the means 009.
[0157]
Here, the image acquiring unit 502u is a first image acquiring unit of the present invention, the image acquiring unit 502d is a second image acquiring unit of the present invention, and the image combining unit 503u is a first image combining unit of the present invention. , Image synthesizing means 503d correspond to the second image synthesizing means of the present invention.
[0158]
Next, the operation of the image input device having the above-described configuration according to the sixth embodiment of the present invention will be described. In the above configuration, the processing unit 500 controls the mirror rotation mechanism 603 via the mirror rotation control unit 501 and drives the gear 605 to rotate. The rotation of the gear 605 is transmitted to the double-sided mirror 602b via the hollow gear 604. The hollow gear 604 has a hollow shape such that the light reflected by the reflection surface 602b-2 of the double-sided mirror 602b is input to the camera 601d.
[0159]
The processing means 500 can freely set the rotation speed of the double-sided mirror 602b, but normally controls the rotation so as to rotate at a constant speed. Light reflected from the object scene is subjected to optical path conversion by the reflecting surfaces 602b-1 and 602b-2 of the double-sided mirror 602b, and is input to the cameras 601u and 601d, respectively. An image of a scene is captured, and the video signal is transmitted from the camera main body 610u and the camera main body 610d to the image obtaining means 502u and the image obtaining means 502d.
[0160]
The image acquiring unit 502u and the image acquiring unit 502d sequentially acquire and process images from the camera body 610u and the camera body 610d with the double-sided mirror 602b rotated. When the double-sided mirror 602b is rotating at a constant speed, if images are acquired at regular time intervals, images of the scene around the image input device can be acquired at regular intervals.
The images acquired by the image acquiring unit 502u and the image acquiring unit 502d are combined by the image combining unit 503u and the image combining unit 503d, respectively, and sent to the image updating unit 504.
The image updating unit 504 sequentially updates the wide-field image by overwriting the updated portion from each image sent from the image synthesizing unit 503u and the image synthesizing unit 503d on the wide-field image, not shown. Output to display means.
[0161]
FIG. 47 is a diagram for describing processing from imaging to wide-field image updating in the present embodiment. In the present embodiment, since two cameras and the double-sided mirror 602b sandwiched therebetween are used, two images whose imaging positions are different by 180 degrees from a certain mirror position are obtained. . The two images are combined by the image combining unit 503u and the image combining unit 503d to generate a combined image in the same manner as in the fifth embodiment of the present invention, and the combined image is updated by the image updating unit 504. The wide field-of-view image is updated by overwriting the selected portion on the wide-field-of-view image. That is, in FIG. 47, an image M1-1 captured via the reflecting surface 602b-1 of the double-sided mirror 602b and an image M1- captured via the same reflecting surface 602b-2 for a certain mirror angle. 2 is combined with a combined image 1 and a combined image 2 respectively. At this time, partial images corresponding to the circumscribed rectangular regions R-1 and R-2 of the respective update regions, which are different from each other by 180 degrees, are overwritten on the wide-field image.
In the image synthesis according to the present embodiment, the image input method according to the fourth embodiment of the present invention can be applied to each processing system of the camera 601u and the camera 601d as they are.
In the present embodiment, since two cameras and the double-sided mirror 602b sandwiched therebetween are used, two 360-degree omnidirectional wide-field images are generated during one rotation of the mirror. In other words, the 360-degree omnidirectional wide-field image is updated twice while the double-sided mirror 602b makes one rotation. That is, similarly to the fifth embodiment, the frame rate for inputting a wide-field image can be twice as fast as that of the image input device according to the fourth embodiment.
Here, the description has been made assuming that there are two independent image synthesizing means. However, if it is not necessary to perform each synthesizing process in parallel, the image used in the first to fourth embodiments of the present invention is used. The synthesizing means may be configured to be applied to each image in order.
[0162]
As described above, according to the image input apparatus according to the sixth embodiment of the present invention, the two-way images captured by the camera are simultaneously synthesized and updated by using the double-sided mirror, so that the mirror is connected to the camera. It is possible to update a 360-degree omnidirectional wide-field image once in half the time required for one rotation around the optical axis.
In addition, by combining two cameras and a double-sided mirror, a wide-field image can be input at a high speed, and a wide-angle image having the same resolution as that of the image input device according to the fourth embodiment of the present invention can be obtained. A field-of-view image can be generated.
[0163]
Note that, by rotating a camera rotatably held, a part of the scene is photographed while changing the photographing direction, and a plurality of partial images of the acquired scene are projected on a projection surface, and the projection is performed. In an image input device that synthesizes on a synthesized image plane based on the result and inputs a synthesized image with a wide field of view, the center of rotation of the camera is used as the center of projection when the plurality of partial images are synthesized, and the viewpoint of the camera and the viewpoint The intersection of a straight line passing through the rotation center of the camera and a straight line passing through the rotation center of the camera and a projection plane set in space is defined as the portion on the image plane on which the plurality of partial images are formed. A program for realizing the function of the image input device, which has an image synthesizing unit that sets a projection point of a pixel on an image as a projection point, is recorded on a computer-readable recording medium. To read the recorded program in the computer system, it may be performed an image input by executing.
By causing the computer system to read and execute the program recorded on the recording medium, even when the camera is rotated around a point other than the principal point of the lens, the effect of parallax included in the partial image is reduced. A synthesized image with a wide field of view is obtained.
[0164]
In addition, by rotating a camera rotatably held, a portion of the scene is photographed while changing the photographing direction, and a plurality of partial images of the acquired scene are projected on a projection surface, and the projection result is obtained. In an image input device that synthesizes on a synthesized image plane based on the above and inputs a wide-field synthesized image, a camera moving unit that changes the shooting direction of the camera, and the camera moving unit changes the shooting direction of the camera. An attitude control means for instructing and transmitting the attitude information of the camera to each section, a first storage means for storing a partial image and a synthetic image created by synthesizing the partial image, and Second storage means for storing the attribute information and the posture information of the camera at the time of acquiring the partial image, and acquiring an image taken by the camera to acquire a partial image from the acquired image; A part storing the attitude information at the time of obtaining the partial image of the camera and the attribute information related to the partial image and the composite image received from the attitude control means in the second storage means; Image acquisition means, the rotation center of the camera being the center of projection, the camera being parallel to a straight line connecting a viewpoint of the camera and a pixel on a partial image on an image plane on which the plurality of partial images are formed, and The projection point is determined such that the intersection of the straight line passing through the rotation center of the pixel and the projection plane set in the space is the projection point of the pixel on the partial image, and the storage contents of the first and second storage means are determined. A computer for reading a program for realizing the function of the image input device, comprising: synthesizing the respective partial images with reference to the image storing means; and storing the synthesized image in the first storage means. Recorded in Do recording medium, the program recorded on the recording medium to read to the computer system may perform an image input by executing.
By causing the computer system to read and execute the program recorded on the recording medium, even when the camera is rotated around a point other than the principal point of the lens, the influence of parallax included in the partial image is reduced. A good wide-field composite image can be obtained.
[0165]
In addition, by rotating a camera rotatably held, a portion of the scene is photographed while changing the photographing direction, and a plurality of partial images of the acquired scene are projected on a projection surface, and the projection result is obtained. In an image input device that synthesizes on a synthesized image plane based on the above and inputs a wide-field synthesized image, a camera moving unit that changes the shooting direction of the camera, and the camera moving unit changes the shooting direction of the camera. An attitude control means for instructing and transmitting the attitude information of the camera to each section, a first storage means for storing a partial image and a synthetic image created by synthesizing the partial image, and Second storage means for storing the attribute information and the posture information of the camera at the time of acquiring the partial image, and acquiring an image taken by the camera to acquire a partial image from the acquired image; A part storing the attitude information at the time of obtaining the partial image of the camera and the attribute information related to the partial image and the composite image received from the attitude control means in the second storage means; A positional relationship between the image acquisition unit and each of the partial images stored in the first storage unit is obtained, and the partial images stored in the second storage unit are combined based on the obtained positional relationship. Position adjusting means for obtaining a position correction amount of a position and storing the position correction amount in the second storage means; camera posture information at the time of acquiring each partial image stored in the second storage means; The combined position of each partial image is obtained using the position correction amount obtained by the above, and according to the obtained combined position, the rotation center of the camera is set as the center of projection, and the viewpoint of the camera and the plurality of partial images are formed. Picture The intersection of a straight line passing through the rotation center of the camera and a straight line connecting the pixels on the partial image on the plane and the projection plane set on the space is defined as a projection point of the pixel on the partial image. Image synthesizing means for determining a projection point, synthesizing each partial image with reference to the storage contents of the first and second storage means, and storing the synthesized image in the first storage means. A program for realizing the function of the image input device as a feature is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to input an image. You may do so.
[0166]
By causing the computer system to read and execute the program recorded on the recording medium, even when the camera is rotated around a point other than the principal point of the lens, the effect of parallax included in the partial image is reduced. It is possible to obtain a composite image with a wide field of view, reduce errors in the angle detection mechanism of the camera constituting the camera moving means, and create a composite image with high accuracy.
In addition, by appropriately setting the range of the orientation of the camera at the time of acquiring the partial image, the angle detection mechanism of the camera constituting the camera moving means can be omitted from the configuration of the image input device.
[0167]
Further, by rotating a mirror rotatably held on the front of the camera, a portion of the scene is photographed while changing the photographing range in the scene of the camera, and a plurality of portions of the acquired scene are acquired. An image input device that projects an image on a projection surface, combines the images on a combined image surface based on the projection result, and inputs a combined image with a wide field of view. With the center of projection, light rays passing through the pixels of the partial image on the image plane on which the partial image is formed from the viewpoint of the camera are parallel to the reflection straight line indicating the reflected light rays after being reflected on the mirror, and of the mirror A process for realizing the function of the image input apparatus, characterized by comprising image synthesizing means for setting an intersection of a straight line passing through the center of rotation and a projection plane set in space as a projection point of a pixel on the partial image. Record the grams in a computer-readable recording medium, to read the program recorded in this recording medium into a computer system, it may be performed an image input by executing.
By causing the computer system to read and execute the program recorded on the recording medium, it is possible to obtain a favorable wide-field-of-view composite image in which the influence of parallax included in the partial image is reduced.
[0168]
Further, by rotating a mirror rotatably held on the front of the camera, a portion of the scene is photographed while changing the photographing range in the scene of the camera, and a plurality of portions of the acquired scene are acquired. In an image input device that projects an image on a projection surface, synthesizes the image on a synthesized image surface based on the projection result, and inputs a wide-field synthesized image, the direction of the mirror is changed so that the shooting direction of the camera is changed. A mirror moving means for changing, a mirror controlling means for instructing the mirror moving means to change the orientation of the mirror and transmitting mirror position information to each part, a partial image and a partial image, A first storage unit for storing the combined image obtained, a second storage unit for storing attribute information relating to the partial image and the combined image, and attitude information of the mirror at the time of obtaining the partial image; An image captured by a camera is captured, a partial image is obtained from the captured image, the partial image is stored in the first storage unit, and attitude information at the time of obtaining the partial image of the mirror received from the mirror control unit and A partial image acquisition unit for storing attribute information relating to the partial image and the composite image in the second storage unit, and an image in which a partial image is formed from the viewpoint of the camera, with the center of rotation of the mirror being the center of projection. An intersection point between a straight line passing through the pixel of the partial image on the plane and a reflection straight line indicating a reflected light beam after being reflected on the mirror and passing through the rotation center of the mirror and a projection plane set in space Is determined as a projection point of a pixel on the partial image, the respective partial images are synthesized with reference to the storage contents of the first and second storage means, and the synthesized image is defined as the first image. Memory A program for realizing the function of the image input device having an image synthesizing means for storing the program in a computer-readable recording medium; and storing the program recorded in the recording medium in a computer system. The image input may be performed by reading and executing.
By causing the computer system to read and execute the program recorded on the recording medium, it is possible to obtain a favorable wide-field-of-view composite image in which the influence of parallax included in the partial image is reduced.
[0169]
Further, by rotating a mirror rotatably held on the front of the camera, a portion of the scene is photographed while changing the photographing range in the scene of the camera, and a plurality of portions of the acquired scene are acquired. In an image input device that projects an image on a projection surface, synthesizes the image on a synthesized image surface based on the projection result, and inputs a wide-field synthesized image, the direction of the mirror is changed so that the shooting direction of the camera is changed. A mirror moving means for changing, a mirror controlling means for instructing the mirror moving means to change the orientation of the mirror and transmitting mirror position information to each part, a partial image and a partial image, A first storage unit for storing the combined image obtained, a second storage unit for storing attribute information relating to the partial image and the combined image, and attitude information of the mirror at the time of obtaining the partial image; An image captured by a camera is captured, a partial image is obtained from the captured image, the partial image is stored in the first storage unit, and attitude information at the time of obtaining the partial image of the mirror received from the mirror control unit and A positional relationship between partial image acquisition means for storing attribute information related to the partial image and the composite image in the second storage means, and a positional relationship between each partial image stored in the first storage means. A position correcting unit for obtaining a position correction amount of a combined position of each partial image stored in the second storage unit based on the positional relationship obtained, and storing the position correction amount in the second storage unit; The combined position of each partial image is obtained by using the posture information of the camera at the time of acquiring each partial image and the position correction amount of the combined position obtained by the positioning unit, and the obtained combined position is A reflection indicating a reflected ray after a ray passing through a pixel of a partial image on an image plane where a partial image is formed from the viewpoint of the camera is reflected on the mirror with the rotation center of the mirror as a projection center. A projection point is determined so that an intersection point between a straight line that is parallel to the straight line and passes through the rotation center of the mirror and a projection plane set in space is set as a projection point of a pixel on the partial image. An image synthesizing unit for synthesizing each partial image with reference to the storage content of the second storage unit and storing the synthesized image in the first storage unit, thereby realizing the function of the image input apparatus. May be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed to input an image. No.
By causing the computer system to read and execute the program recorded on the recording medium, it is possible to obtain a composite image having a wide field of view in which the effect of parallax included in the partial image is reduced, and to configure a mirror moving unit. It is possible to reduce the error of the angle detection mechanism and create a highly accurate composite image.
In addition, by appropriately setting the existing range of the orientation of the mirror at the time of acquiring the partial image, it is possible to omit the mirror angle detection mechanism that constitutes the mirror moving unit in the configuration of the image input device.
[0170]
In addition, by rotating the camera rotatably held, the camera shoots a portion of the scene while changing the shooting direction, synthesizes a plurality of acquired partial images of the scene, and inputs a wide-field synthesized image. In the image input device, when the plurality of partial images are combined, a straight line that connects a point on a projection plane set in space and a rotation center of the camera and a straight line that passes through the viewpoint of the camera is acquired. The image input device according to the present invention includes an image synthesizing unit that obtains a pixel on a synthesized image plane corresponding to a point on the projection plane from an intersection with an image plane on which each of the plurality of partial images is formed. Program is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to input an image. Unishi may be.
By causing the computer system to read and execute the program recorded on the recording medium, even when the camera is rotated around a point other than the principal point of the lens, the effect of parallax included in the partial image is reduced. In addition to obtaining a synthesized image with a wide field of view, blank pixels are generated on the synthesized image due to rounding errors in coordinate values indicating pixel positions when pixel values on the synthesized image are determined by arithmetic processing such as linear interpolation. There is an effect that there is no.
[0171]
In addition, by rotating the camera rotatably held, the camera shoots a portion of the scene while changing the shooting direction, synthesizes a plurality of acquired partial images of the scene, and inputs a wide-field synthesized image. A camera moving means for changing a shooting direction of a camera, a posture control means for instructing the camera moving means to change a shooting direction of the camera and transmitting posture information of the camera to each unit; A first storage unit for storing an image and a combined image created by combining the partial images; and a second storage unit for storing attribute information relating to the partial image, the combined image, and camera posture information at the time of acquiring the partial image. Means for capturing an image taken by the camera, obtaining a partial image from the captured image, storing the partial image in the first storage means, and receiving the partial image from the attitude control means. Position information of the camera at the time of obtaining the partial image, and partial image obtaining means for storing attribute information relating to the partial image and the composite image in the second storage means; The projection is performed from the intersection of a straight line passing through the viewpoint of the camera and the image plane on which each of the plurality of acquired partial images is formed, which is parallel to a straight line connecting a point on the set projection plane and the rotation center of the camera. A pixel on the combined image plane corresponding to a point on the plane is obtained, and the partial images are combined with reference to the contents stored in the first and second storage units, and the combined image is stored in the first storage unit. A program for realizing the function of the image input apparatus characterized by having an image synthesizing means for performing the function of the image input apparatus, and recording the program recorded on the recording medium on a computer system. Read into, it may be performed image input by executing.
By causing the computer system to read and execute the program recorded on the recording medium, even when the camera is rotated around a point other than the principal point of the lens, the effect of parallax included in the partial image is reduced. In addition to obtaining a synthesized image with a wide field of view, blank pixels are generated on the synthesized image due to rounding errors in coordinate values indicating pixel positions when pixel values on the synthesized image are determined by arithmetic processing such as linear interpolation. There is an effect that there is no.
[0172]
In addition, by rotating the camera rotatably held, the camera shoots a portion of the scene while changing the shooting direction, synthesizes a plurality of acquired partial images of the scene, and inputs a wide-field synthesized image. A camera moving means for changing a shooting direction of a camera, a posture control means for instructing the camera moving means to change a shooting direction of the camera and transmitting posture information of the camera to each unit; A first storage unit for storing an image and a combined image created by combining the partial images; and a second storage unit for storing attribute information relating to the partial image, the combined image, and camera posture information at the time of acquiring the partial image. Means for capturing an image taken by the camera, obtaining a partial image from the captured image, storing the partial image in the first storage means, and receiving the partial image from the attitude control means. The partial image acquiring means for storing the attitude information of the camera at the time of acquiring the partial image and the attribute information relating to the partial image and the composite image in the second storage means, and is stored in the first storage means. A positional relationship between the partial images is determined, and a position correction amount of a combined position of each partial image stored in the second storage unit is determined based on the determined positional relationship, and stored in the second storage unit. Each of the partial images using position information of the camera at the time of acquiring each of the partial images stored in the second storage means and the position correction amount of the combined position obtained by the position adjusting means. In accordance with the obtained synthesis position, a straight line passing through the viewpoint of the camera and the straight line passing through the viewpoint of the camera and parallel to a line connecting a point on the projection plane set in space and the rotation center of the camera. Each partial image Determining a pixel on the composite image plane corresponding to a point on the projection plane from an intersection with the image plane to be formed, synthesizing each partial image with reference to the storage contents of the first and second storage means, An image synthesizing means for storing the synthesized image in the first storage means. A program for realizing the function of the image input apparatus is recorded on a computer-readable recording medium, and the recording medium The computer may read the program recorded in the computer and execute the program to input an image.
[0173]
By causing the computer system to read and execute the program recorded on the recording medium, even when the camera is rotated around a point other than the principal point of the lens, the effect of parallax included in the partial image is reduced. In addition to obtaining a synthesized image with a wide field of view, blank pixels are generated on the synthesized image due to rounding errors in coordinate values indicating pixel positions when pixel values on the synthesized image are determined by arithmetic processing such as linear interpolation. There is an effect that there is no.
Further, it is possible to reduce an error of the angle detection mechanism of the camera constituting the camera moving means, and to create a highly accurate composite image.
Furthermore, by appropriately setting the range of the camera orientation when acquiring the partial image, it is possible to omit the angle detection mechanism of the camera constituting the camera moving means due to the configuration of the image input device.
[0174]
Further, by rotating a mirror rotatably held on the front of the camera, a portion of the scene is photographed while changing the photographing range in the scene of the camera, and a plurality of portions of the acquired scene are acquired. In an image input apparatus for synthesizing images and inputting a synthesized image having a wide field of view, a line connecting a point on a projection plane set in space at the time of synthesizing the plurality of partial images and a rotation center of the mirror is defined as the mirror. On a composite image plane corresponding to a point on the projection plane from an intersection of a straight line incident on the viewpoint of the camera and a line on the image plane on which the partial image is formed, which is parallel to the straight line indicating the reflected light beam reflected above A program for realizing the function of the image input device characterized by having an image synthesizing means for obtaining the number of pixels is recorded on a computer-readable recording medium, and the program recorded on this recording medium is recorded. To read a gram to a computer system, it may be performed an image input by executing.
The program recorded on the recording medium is read and executed by a computer system, whereby the program recorded on the recording medium is read and executed by the computer system, thereby reducing the influence of parallax included in the partial image. A good synthesized image with a wide field of view can be obtained, and blank pixels due to a rounding error of the coordinate value indicating the position of the pixel when the pixel value on the synthesized image is determined by arithmetic processing such as linear interpolation are displayed on the synthesized image. Does not occur.
[0175]
Further, by rotating a mirror rotatably held on the front of the camera, a portion of the scene is photographed while changing the photographing range in the scene of the camera, and a plurality of portions of the acquired scene are acquired. In an image input device for synthesizing an image and inputting a synthesized image having a wide field of view, a mirror moving unit that changes the direction of the mirror so as to change a shooting direction of a camera, and changes the direction of the mirror to the mirror moving unit Mirror control means for instructing each part to perform the operation and transmitting the mirror posture information to each part; first storage means for storing a partial image and a synthetic image created by synthesizing the partial image; Second storage means for storing attribute information related to an image and attitude information of the mirror at the time of obtaining the partial image; An image is acquired, the partial image is stored in the first storage unit, and the attitude information at the time of acquiring the partial image of the mirror received from the mirror control unit and the attribute information relating to the partial image and the composite image are stored in the first storage unit. A partial image acquisition unit stored in a second storage unit, and a straight line connecting a point on a projection plane set in space and a rotation center of the mirror when the plurality of partial images are combined is reflected on the mirror. A pixel on the composite image plane corresponding to a point on the projection plane is determined from an intersection of a straight line parallel to the straight line indicating the reflected light ray and incident on the viewpoint of the camera and the image plane on which the partial image is formed. And an image synthesizing means for synthesizing each partial image with reference to the contents stored in the first and second storage means and storing the synthesized image in the first storage means. To realize the function of And recording a program in a computer-readable recording medium, to read the program recorded in this recording medium into a computer system, it may be performed an image input by executing.
By causing the computer system to read and execute the program recorded on the recording medium, it is possible to obtain a good wide-field composite image in which the influence of parallax included in the partial image is reduced, and to obtain pixel values on the composite image. For example, there is an effect that a blank pixel due to a rounding error of a coordinate value indicating a pixel position does not occur on a composite image when the pixel value is determined by an arithmetic process such as linear interpolation.
[0176]
Further, by rotating a mirror rotatably held on the front of the camera, a portion of the scene is photographed while changing the photographing range in the scene of the camera, and a plurality of portions of the acquired scene are acquired. In an image input device for synthesizing an image and inputting a synthesized image having a wide field of view, a mirror moving unit that changes the direction of the mirror so as to change a shooting direction of a camera, and changes the direction of the mirror to the mirror moving unit Mirror control means for instructing each part to perform the operation and transmitting the mirror posture information to each part; first storage means for storing a partial image and a synthetic image created by synthesizing the partial image; Second storage means for storing attribute information related to an image and attitude information of the mirror at the time of obtaining the partial image; An image is acquired, the partial image is stored in the first storage unit, and the attitude information at the time of acquiring the partial image of the mirror received from the mirror control unit and the attribute information relating to the partial image and the composite image are stored in the first storage unit. The positional relationship between the partial image acquisition unit stored in the second storage unit and each of the partial images stored in the first storage unit is obtained, and the second storage unit is stored on the basis of the obtained positional relationship. A position correction amount of the combined position of each of the stored partial images is obtained, and a position adjusting unit that stores the partial image in the second storage unit and a position correction amount when each of the partial images stored in the second storage unit are acquired. Using the posture information of the camera and the position correction amount of the combined position obtained by the positioning means, a combined position of each partial image is obtained, and according to the obtained combined position, a point on a projection plane set in space and the Mirror times A straight line connecting the center is parallel to a straight line indicating a reflected light beam reflected on the mirror, and an intersection point between a straight line incident on the viewpoint of the camera and an image plane on which the partial image is formed on the projection plane. Image synthesis for obtaining a pixel on a synthesized image plane corresponding to a point, synthesizing each partial image with reference to the storage contents of the first and second storage means, and storing the synthesized image in the first storage means Recording a program for realizing the function of the image input apparatus characterized by having means on a computer-readable recording medium, and reading and executing the program recorded on the recording medium by a computer system Thus, image input may be performed.
By causing the computer system to read and execute the program recorded on the recording medium, it is possible to obtain a good wide-field composite image in which the influence of parallax included in the partial image is reduced, and to obtain pixel values on the composite image. For example, there is an effect that a blank pixel due to a rounding error of a coordinate value indicating a pixel position does not occur on a composite image when the pixel value is determined by an arithmetic process such as linear interpolation.
Furthermore, it is possible to reduce errors in the mirror angle detection mechanism that constitutes the mirror moving means, and to create a highly accurate composite image.
In addition, by appropriately setting the existing range of the orientation of the mirror at the time of acquiring the partial image, it is possible to omit the mirror angle detection mechanism that constitutes the mirror moving unit in the configuration of the image input device.
[0177]
【The invention's effect】
According to the first and second aspects of the present invention, the camera is arranged in front of the camera for imaging the object field and for changing the optical path of the reflected light from the object field toward the camera lens of the camera. A mirror, a mirror rotation mechanism for rotating the mirror around the optical axis of the camera, and processing means for generating a wide viewing angle image by combining a plurality of images input from the camera with the rotation of the mirror Wherein the mirror is a triangular prism mirror whose two side surfaces are reflecting surfaces, and the camera is a subject whose optical path is changed by the two reflecting surfaces of the mirror. The reflected light from the camera is imaged, and the processing unit separates the plurality of images captured by the camera in correspondence with the reflection surface of the mirror and independently synthesizes the images. Imaging at the same time It can be synthesized and updating, therefore, when synthesizing a plurality of partial images obtained by rotating the mirror by the camera front, it is possible to enter the wide-field image at high speed.
[0178]
According to the third and fourth aspects of the present invention, the first and second two cameras are arranged so that the optical axes of the camera lenses coincide with each other and face each other, and image the scene. A double-sided mirror disposed between the second cameras for changing the optical path of reflected light from the object field toward camera lenses of the first and second cameras; A mirror rotation mechanism for rotating about the optical axis, and processing means for generating a wide-viewing-angle image by combining a plurality of images input from the first and second cameras with the rotation of the mirror. According to the present invention, when a plurality of partial images acquired by rotating a mirror in front of a camera are combined, a wide-field image can be input at a high speed. Wide-field image obtained by image input device It is possible to generate a wide-field image of high resolution.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image input device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an image input device according to a second embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of an image input device according to a third embodiment of the present invention.
FIG. 4 is a block diagram showing a configuration of an image input device according to a fourth embodiment of the present invention.
FIG. 5 is a flowchart showing the content of an image input process of the image input device according to the first example of the first embodiment of the present invention.
FIG. 6 is a flowchart showing the contents of a camera moving process of the image input device according to the example of the first embodiment of the present invention.
FIG. 7 is a flowchart showing the content of an image combining process of the image input device according to the example of the first embodiment of the present invention.
FIG. 8 is a flowchart showing processing contents of the image input device according to the second example of the first embodiment of the present invention.
FIG. 9 is a flowchart showing the contents of a camera moving process of the image input device according to the second example of the first embodiment of the present invention.
FIG. 10 is a flowchart showing the contents of an imaging process of the image input device according to the second example of the first embodiment of the present invention.
FIG. 11 is a flowchart showing the content of an image combining process of the image input device according to the second example of the first embodiment of the present invention.
FIG. 12 is a flowchart showing processing contents of the image input apparatus according to the first example of the second embodiment of the present invention.
FIG. 13 is a flowchart showing the contents of a positioning process of the image input device according to the first example of the second embodiment of the present invention.
FIG. 14 is a flowchart showing processing contents of an image input device according to a second example of the second embodiment of the present invention.
FIG. 15 is a flowchart showing the contents of a positioning process of the image input apparatus according to the second example of the second embodiment of the present invention.
FIG. 16 is a flowchart showing the contents of another example of the image synthesizing process in the image input device according to the embodiment of the present invention.
FIG. 17 is a flowchart showing the contents of still another example of the image synthesizing process in the image input device according to the embodiment of the present invention.
FIG. 18 is a flowchart showing the content of an image input process of the image input device according to the first example of the third embodiment of the present invention.
FIG. 19 is a flowchart showing the contents of a mirror moving process of the image input device according to the example of the third embodiment of the present invention.
FIG. 20 is a flowchart showing the content of an image input process of the image input device according to the second example of the third embodiment of the present invention.
FIG. 21 is a flowchart showing the contents of a mirror moving process of the image input device according to the second example of the third embodiment of the present invention.
FIG. 22 is a flowchart showing the contents of an imaging process of the image input device according to Example 2 of the third embodiment of the present invention;
FIG. 23 is a flowchart showing the content of image input processing of the image input device according to Example 1 of the fourth embodiment of the present invention.
FIG. 24 is a flowchart showing the content of an image input process of the image input device according to the second example of the fourth embodiment of the present invention.
FIG. 25 is an explanatory diagram illustrating an example of an external appearance of an image input device according to an example of the first and second embodiments of the present invention.
FIG. 26 is an explanatory diagram showing a relationship between an image input device and a projection plane according to an example of the first and second embodiments of the present invention.
FIG. 27 is a model diagram for explaining a projection method applied to the image input device according to the examples of the first and second embodiments of the present invention.
FIG. 28 is a model diagram for explaining a projection method using a rotation center of a camera as a projection center, which is applied to the image input device according to the first and second embodiments of the present invention.
FIG. 29 is a model diagram for explaining a state in which parallax occurs due to movement of a viewpoint of a camera in the image input apparatus.
FIG. 30 is an explanatory diagram showing a method of developing a projection plane into a plane in the image input device according to each embodiment of the present invention.
FIG. 31 is an explanatory diagram showing an example of a function using the image input device according to the present invention.
FIG. 32 shows the image input device according to the present invention in which the camera is rotated.
FIG. 7 is an explanatory diagram showing an imaging range in each case and when a mirror is rotated in front of the camera.
FIG. 33 is an explanatory diagram showing an example of an external appearance of an image input device according to an example of the third and fourth embodiments of the present invention.
FIG. 34 is an explanatory diagram showing a relationship between an image input device and a projection plane according to examples of the third and fourth embodiments of the present invention.
FIG. 35 is a model diagram for explaining a projection method applied to the image input device according to the examples of the third and fourth embodiments of the present invention.
FIG. 36 is a model diagram for explaining a projection method applied to the image input device according to the third and fourth embodiments of the present invention, in which a rotation center of a mirror is shifted from a projection center.
FIG. 37 is a model diagram for explaining a state in which parallax occurs because the center of rotation of a mirror provided on the front surface of the camera does not match the center of projection.
FIG. 38 is a sectional view showing another configuration example of the image input device according to the examples of the third and fourth embodiments of the present invention.
FIG. 39 is an explanatory view showing the appearance of the image input device shown in FIG. 38;
FIG. 40 is a diagram illustrating an example of a composite image in which pixel values on a composite image are obtained from corresponding points on a partial image by the image input device according to the fourth embodiment of the present invention.
FIG. 41 is a block diagram showing a configuration including a mechanism of an image input device according to a fifth embodiment of the present invention.
FIG. 42 is an explanatory diagram showing a side surface of a mechanism of the image input device shown in FIG. 41;
FIG. 43 is an explanatory diagram showing an example of an image captured by a camera in the image input device shown in FIG. 41;
FIG. 44 is an explanatory diagram showing processing from imaging by the image input device according to the fifth embodiment of the present invention to updating a wide-field image.
FIG. 45 is a block diagram showing a configuration including a mechanism of an image input apparatus according to a sixth embodiment of the present invention.
FIG. 46 is an explanatory view showing a side surface of a mechanism of the image input apparatus shown in FIG. 45;
FIG. 47 is an explanatory diagram showing processing from imaging to wide-field image updating by the image input device according to the sixth embodiment of the present invention.
[Explanation of symbols]
100 image input device
001 ... Mirror
002: mirror moving means
003: mirror control means
004: Image attribute memory
005… Camera
006 ... Imaging means
007 ... Imaging control means
008 ... Image memory
009 ... Image synthesis means
011... Display control means
012 ... display means
013: Positioning means
014: Camera moving means
015 ... Attitude control means
101 ... housing
500 processing means
502, 502u, 502d ... Image acquisition means
503-1, 503-2, 503u, 503d ... image combining means
504 ... Image updating means
505 ... Image separation means
600, 601u, 601d ... camera
602a: Triangular prism mirror
602b ... Double-sided mirror
603: mirror rotation mechanism

Claims (4)

A camera for imaging the object scene, a mirror arranged in front of the camera for changing the optical path of the reflected light from the object direction toward the camera lens of the camera, and the mirror around the optical axis of the camera. An image input device comprising: a mirror rotating mechanism for rotating; and a processing unit configured to combine a plurality of images input from the camera with the rotation of the mirror to generate an image with a wide viewing angle,
The mirror is a triangular prism mirror in which two of the side surfaces are reflection surfaces,
The camera captures an image of reflected light from a subject whose optical path has been changed by the two reflecting surfaces of the mirror,
The image input device, wherein the processing means separates and independently synthesizes a plurality of images taken by the camera in correspondence with the reflecting surface of the mirror. The processing means includes:
Image acquisition means for acquiring an image taken by the camera and performing digital processing,
Image separating means for separating each image obtained and digitally processed by the image obtaining means in accordance with two reflecting surfaces of the mirror,
First image synthesizing means for synthesizing an image separated by the image separating means corresponding to a first reflecting surface of the two reflecting surfaces of the mirror;
Second image synthesizing means for synthesizing an image separated by the image separating means corresponding to a second reflecting surface of the two reflecting surfaces of the mirror;
An image updating unit that updates the image synthesized by the first and second image synthesizing units by overwriting from a wide-field image,
The image input device according to claim 1, further comprising: First and second two cameras arranged so that the optical axes of the camera lenses coincide with each other and face each other, and image the scene;
A double-sided mirror disposed between the first and second cameras, for changing the optical path of reflected light from the object field toward a camera lens of the first and second cameras;
A mirror rotating mechanism for rotating the double-sided mirror around the optical axis of the first and second cameras;
Processing means for combining a plurality of images input from the first and second cameras with the rotation of the mirror to generate an image with a wide viewing angle;
An image input device comprising: The processing means includes:
A first image acquisition unit that acquires an image captured by the first camera that captures light reflected from a first reflection surface of the double-sided mirror, and performs digital processing;
A second image acquisition unit that acquires an image captured by the second camera that captures light reflected from a second reflection surface of the double-sided mirror, and performs digital processing;
First image synthesizing means for synthesizing an image digitally processed by the first image obtaining means;
A second image synthesizing unit that synthesizes an image digitally processed by the second image obtaining unit;
An image updating unit that updates the image synthesized by the first and second image synthesizing units by overwriting from a wide-field image,
The image input device according to claim 3, comprising:

Images