JP2000115639A

JP2000115639A - 画像入力装置及びその方法

Info

Publication number: JP2000115639A
Application number: JP28397298A
Authority: JP
Inventors: Norihiko Murata; 憲彦村田; Takashi Kitaguchi; 貴史北口
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-10-06
Filing date: 1998-10-06
Publication date: 2000-04-21

Abstract

(57)【要約】【課題】対象平面の画像が３枚以上得られた場合にお
いても、高精度かつ高速に合成画像を作成することが可
能である。【解決手段】任意の距離にある対象平面を多数枚撮影
した場合でも、簡単な計算で高精度に平面の情報を算出
することができ、美しい合成画像を得ることができる。
また、画像の重なる範囲を予め強制していないので、操
作者は比較的自由な条件で対象平面を撮影することがで
きる。さらに、撮影した画像の順序を操作者が手動で設
定する必要がないので、操作性や利用性の高い画像合成
が可能となる。また、平面方程式を最適化することによ
り、画像入力装置の姿勢又は運動検出結果に誤差が含ま
れた場合においても、正確な平面方程式を算出すること
ができる。その結果、より美しい合成画像を作成するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルスチルカ
メラやデジタルビデオカメラをはじめとする複数枚の画
像を撮影する画像入力装置及びその画像入力方法に関す
るものである。

【０００２】

【従来の技術】従来より普及されている画像入力装置
は、光学系を通過した画像をＣＣＤセンサ等の撮像素子
により光電変換し、さらに光電変換された画像信号をＡ
／Ｄ変換されてメモリカード等の外部記憶装置に保存す
るものであった。このような画像入力装置は、画像をデ
ジタル信号として扱うことができるため、画像の加工・
処理・伝送が手軽に行えるという利点がある。

【０００３】一方、現在看板やパネル等の平面状の文字
や写真を簡便かつ高精度に入力できる装置が求められて
いる。Ａ３程度の大きさの紙面像は複写機やスキャナ等
の装置により簡単に読み込むことができるが、上記画像
入力装置では新聞紙等の大面積の紙面情報やパネル壁に
描かれた情報を読み込むことは不可能である。そこで、
携帯可能な画像入力装置を用いて、これらの大きな被写
体を分割撮影し、得られた複数枚の画像を貼り合わせ
て、高解像度のパノラマ画像を合成するという方法（従
来例１）が現れた。この方法では、互いの画像の一部が
重複するか、またはそれぞれの画像が継ぎ目なく繋がる
ようにして撮影した被写体像を、球面等の投影面に逆投
影して張り合わせることにより、パノラマ画像を合成し
ている。

【０００４】また、従来例２としての特開平７−９５４
６７号公報において、合成する画像間の連続性を良くす
るために、複数の画像入力手段から得られた画像におい
て互いに共通する部分画像を判定し、その部分画像にお
ける対応点対を抽出し、その対応点対の３次元位置から
合成画像を作成してこの合成画像を分割する装置を設け
るという画像処理装置が提案されている。

【０００５】この他、従来例３としての特開平９−３２
２０４０号公報において、被写体を一部が重複するよう
に分割撮影して得られた画像を合成する際に、一連の画
像が遠距離撮影したものか近距離撮影したものかを判別
した結果に基づいて、近距離画像合成と遠距離画像合成
を選択的に切り替えるという画像生成装置が提案されて
いる。詳細には、近距離撮影の場合は画面上における上
下左右の並進と光軸回りの回転角、さらに光軸に沿った
並進による倍率変化に基づき画像を合成し、遠距離撮影
の場合は先に撮影した画像と次に撮影した画像との間の
装置の回転角より画像を合成するというものである。

【０００６】

【発明が解決しようとする課題】しかし、上記従来例１
では、画像入力装置を平行移動させても被写体像が殆ど
変化しないような遠景画像にのみ適用可能であり、近距
離にある被写体像を合成するのには適さない。

【０００７】また、上記従来例２によれば、予め装置に
実装された複数の画像入力手段より得た画像を合成する
ため、使用者の好む撮影条件で被写体を撮影することが
不可能である。また、３次元位置より合成画像を作成す
る技術については全く開示されていない。

【０００８】更に、上記従来例３によれば、近距離画像
合成と遠距離画像合成を切り替えるという煩雑な処理が
必要なうえ、両者の判別はフォーカス情報や回転角の大
きさを閾値処理することにより行われているため、合成
画像の近距離画像合成と遠距離画像合成とが切り替わる
部分に不自然な継ぎ目が生じやすいという問題点があ
る。また、近距離撮影の場合には、装置の光軸回りの回
転角（ロール角）しか考慮されていないため、装置の上
下方向の回転角（ピッチ角）及び左右方向の回転角（ヨ
ー角）によって画像に歪みが生じると、画像を継ぎ目な
く貼り合わせることは不可能である。

【０００９】本発明はこれらの問題点を解決するための
ものであり、対象平面の画像が３枚以上得られた場合に
おいても、高精度かつ高速に合成画像を作成することが
可能な画像入力装置及びその方法を提供することを目的
とする。

【００１０】

【課題を解決するための手段】本発明は前記問題点を解
決するために、先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の撮像手段の姿勢を検出する姿勢検
出手段と、基準画像と、基準画像と重複する部分を持つ
画像である参照画像との画像対に基づいて、基準画像に
おける複数の特徴点を抽出すると共に、参照画像におけ
る特徴点と同一の箇所を示す対応点を検出する対応検出
手段と、撮像手段の姿勢、特徴点及び対応点に基づい
て、撮像手段の並進運動成分を検出する並進運動検出手
段と、撮像手段の姿勢、特徴点、対応点及び並進運動成
分に基づいて、各特徴点の３次元位置を算出する３次元
位置計測手段と、３次元位置計測手段が計測した各特徴
点の３次元位置が同一平面上にあるものとして各特徴点
の３次元位置に適合する平面の情報を算出する平面算出
手段と、各画像対を利用して求めた各特徴点の３次元位
置、及び平面算出手段が算出した平面の情報に基づい
て、各並進成分及び各３次元位置の拡大係数を算出する
拡大係数算出手段と、撮像手段の姿勢と並進成分、及び
平面算出手段が計算した平面の情報に基づいて、各画像
を任意の同一画像面に投影して複数の視点から撮像した
画像を合成する投影手段とを有することに特徴がある。

【００１１】更に別の発明として、先に撮像した画像で
ある基準画像と一部が重複するように複数の視点から対
象平面を撮像する撮像手段と、各撮像時の撮像手段の姿
勢及び並進成分を検出する運動検出手段と、基準画像及
び基準画像と重複する部分を持つ画像である参照画像の
画像対に基づいて、基準画像における複数の特徴点を抽
出すると共に、参照画像における特徴点と同一の箇所を
示す対応点を検出する対応検出手段と、撮像手段の姿勢
と並進成分、及び特徴点と対応点に基づいて、各特徴点
の３次元位置を算出する３次元位置計測手段と、３次元
位置計測手段が計測した各特徴点の３次元位置が同一平
面上にあるものとして各特徴点の３次元位置に適合する
平面の情報を算出する平面算出手段と、各画像対を利用
して求めた各特徴点の３次元位置、及び平面算出手段が
算出した平面の情報に基づいて、各並進成分及び各３次
元位置の拡大係数を算出する拡大係数算出手段と、撮像
手段の姿勢と並進成分、及び平面算出手段が計算した平
面の情報に基づいて、各画像を任意の同一画像面に投影
して、複数の視点から撮像した画像を合成する投影手段
とを有することに特徴がある。よって、上記２つの発明
によれば、任意の距離にある対象平面を多数枚撮影した
場合でも、簡単な計算で高精度に平面の情報を算出する
ことができ、美しい合成画像を得ることができる。ま
た、画像の重なる範囲を予め強制していないのでユーザ
は比較的自由な条件で対象平面を撮影することができ
る。更に、撮影した画像の順序をユーザが手動で設定す
る必要がないので、操作性・利用性の高い画像合成が可
能となる。

【００１２】また別の発明として、先に撮像した画像で
ある基準画像と一部が重複するように複数の視点から対
象平面を撮像する撮像手段と、各撮像時の撮像手段の姿
勢を検出する姿勢検出手段と、基準画像と、基準画像と
重複する部分を持つ画像である参照画像との画像対に基
づいて、基準画像における複数の特徴点を抽出すると共
に、参照画像における特徴点と同一の箇所を示す対応点
を検出する対応検出手段と、撮像手段の姿勢、特徴点及
び対応点に基づいて、撮像手段の並進運動成分を検出す
る並進運動検出手段と、撮像手段の姿勢、特徴点、対応
点及び並進運動成分に基づいて、各特徴点の３次元位置
を算出する３次元位置計測手段と、３次元位置計測手段
が計測した各特徴点の３次元位置が同一平面上にあるも
のとして各特徴点の３次元位置に適合する平面の情報を
算出する平面算出手段と、平面算出手段が算出した平面
の情報に基づいて、対象平面の平面情報を最適化する平
面最適化手段と、各画像対を利用して求めた各特徴点の
３次元位置、及び平面最適化手段が最適化した平面の情
報に基づいて、各並進成分及び各３次元位置の拡大係数
を算出する拡大係数算出手段と、撮像手段の姿勢と並進
成分、及び平面最適化手段が最適化した平面の情報に基
づいて、各画像を任意の同一画像面に投影して複数の視
点から撮像した画像を合成する投影手段とを有すること
に特徴がある。

【００１３】更に別の発明として、先に撮像した画像で
ある基準画像と一部が重複するように複数の視点から対
象平面を撮像する撮像手段と、各撮像時の撮像手段の姿
勢及び並進成分を検出する運動検出手段と、基準画像及
び基準画像と重複する部分を持つ画像である参照画像の
画像対に基づいて、基準画像における複数の特徴点を抽
出すると共に、参照画像における特徴点と同一の箇所を
示す対応点を検出する対応検出手段と、撮像手段の姿勢
と並進成分、及び特徴点と対応点に基づいて、各特徴点
の３次元位置を算出する３次元位置計測手段と、３次元
位置計測手段が計測した各特徴点の３次元位置が同一平
面上にあるものとして各特徴点の３次元位置に適合する
平面の情報を算出する平面算出手段と、平面算出手段が
算出した平面の情報に基づいて、対象平面の平面情報を
最適化する平面最適化手段と、各画像対を利用して求め
た各特徴点の３次元位置、及び平面最適化手段が最適化
した平面の情報に基づいて、各並進成分及び各３次元位
置の拡大係数を算出する拡大係数算出手段と、撮像手段
の姿勢と並進成分、及び平面最適化手段が最適化した平
面の情報に基づいて、各画像を任意の同一画像面に投影
して、複数の視点から撮像した画像を合成する投影手段
とを有することに特徴がある。よって、上記２つの発明
によれば、画像入力装置の姿勢または運動検出結果に誤
差が含まれた場合においても、正確な平面方程式を算出
することができる。その結果、より美しい合成画像を作
成することができる。

【００１４】

【発明の実施の形態】先に撮像した画像である基準画像
と一部が重複するように複数の視点から対象平面を撮像
する撮像手段と、各撮像時の撮像手段の姿勢を検出する
姿勢検出手段と、基準画像と、基準画像と重複する部分
を持つ画像である参照画像との画像対に基づいて、基準
画像における複数の特徴点を抽出すると共に、参照画像
における特徴点と同一の箇所を示す対応点を検出する対
応検出手段と、撮像手段の姿勢、特徴点及び対応点に基
づいて、撮像手段の並進運動成分を検出する並進運動検
出手段と、撮像手段の姿勢、特徴点、対応点及び並進運
動成分に基づいて、各特徴点の３次元位置を算出する３
次元位置計測手段と、３次元位置計測手段が計測した各
特徴点の３次元位置が同一平面上にあるものとして各特
徴点の３次元位置に適合する平面の情報を算出する平面
算出手段と、各画像対を利用して求めた各特徴点の３次
元位置、及び平面算出手段が算出した平面の情報に基づ
いて、各並進成分及び各３次元位置の拡大係数を算出す
る拡大係数算出手段と、撮像手段の姿勢と並進成分、及
び平面算出手段が計算した平面の情報に基づいて、各画
像を任意の同一画像面に投影して複数の視点から撮像し
た画像を合成する投影手段とを有する。

【００１５】

【実施例】以下、本発明の実施例について図面に基づい
て説明する。図１は本発明の画像入力装置を用いた撮影
の様子を示す図である。同図からわかるように、画像入
力装置１を用いて、異なる場所、つまり複数の視点１〜
Ｋから同一の対象平面の静止画像を、画像の一部が重複
するように順次撮影する。ここで、視点１で撮影した画
像を画像１、視点２で撮影した画像を画像２などと呼ぶ
ことにする。また、説明を簡単にするため、画像１と画
像２、画像２と画像３のように、隣り合う順序で撮影し
た画像ｊ（図示せず）と画像（ｊ＋１）（図示せず）と
の間で重複領域を持つと仮定する。

【００１６】図２は、本発明の第１の実施例に係る画像
入力装置の構成を示すブロック図である。同図に示す画
像入力装置１は、主として、撮像手段１１と、撮像手段
１１により得られた画像信号に処理を施す信号処理手段
１２と、信号処理手段１２によって処理された出力が供
給されるメモリ制御手段１３、主制御手段１４及びイン
ターフェース（以下Ｉ／Ｆと略す）１６と、メモリ制御
手段１３の指令により画像信号を蓄積するフレームメモ
リ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表
示手段１７と、Ｉ／Ｆ１６を経由して画像信号をはじめ
とする種々の信号の読み出し／書き込みを行う外部記憶
手段１８とを有する。その他、画像撮影時の画像入力装
置１の姿勢を検出する姿勢検出手段１９と、フレームメ
モリ１５に蓄積された互いに重複する領域を持つ画像間
の特徴点及び対応点を抽出する対応検出手段２０と、姿
勢検出手段１９及び対応検出手段２０からの出力より画
像入力装置１の並進運動を検出する並進運動検出手段２
１と、姿勢検出手段１９、対応検出手段２０及び並進運
動検出手段２１からの出力より各特徴点の３次元位置を
算出する３次元位置計測手段２２と、３次元位置計測手
段２２から出力された各特徴点の３次元位置が適合する
平面の情報を算出する平面算出手段２３と、３次元位置
計測手段２２から出力された各特徴点の３次元位置及び
平面算出手段２３より出力された平面情報に基づいて、
各画像対より求めた並進成分及び３次元位置の拡大係数
を算出する拡大係数算出手段２４と、姿勢検出手段１
９、並進運動検出手段２１、平面算出手段２３及び拡大
係数算出手段２４より供給された出力に基づき、フレー
ムメモリ１５に蓄積された各画像を任意の同一画像面に
投影する投影手段２５をも有している。

【００１７】以下、各ブロックの詳細を説明する。撮像
手段１１は、レンズ１１１、絞り１１２、シャッタ１１
３、及び光電変換素子１１４及び前処理手段１１５より
構成されている。光電変換素子１１４には、例えばＣＣ
Ｄ（ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ）が
使用される。また、前処理手段１１５は、プリアンプや
ＡＧＣ（ａｕｔｏｇａｉｎｃｏｎｔｒｏｌ）等のア
ナログ信号処理やアナログ−デジタル変換器（以下Ａ／
Ｄ変換器と略す）を備えており、光電変換素子１１４よ
り出力されたアナログ映像信号に対して増幅・クランプ
等の前処理を施した後、Ａ／Ｄ変換器により上記アナロ
グ映像信号をデジタル映像信号に変換する。信号処理手
段１２は、デジタル信号処理プロセッサ（以下ＤＳＰプ
ロセッサと略す）等により構成されており、撮像手段１
１より得られたデジタル映像信号に対して色分解、ホワ
イトバランス調整、γ補正等の種々の画像処理を施す。
メモリ制御手段１３は、信号処理手段１２により処理さ
れた画像信号をフレームメモリ１５に格納したり、逆に
フレームメモリ１５に格納された画像信号を読み出す。
フレームメモリ１５は、少なくとも２枚の画像を格納可
能であり、一般的にＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等が
使用される。フレームメモリ１５から読み出された画像
信号の記録は、信号処理手段１２において画像信号に対
して画像圧縮等の信号処理を施した後、Ｉ／Ｆ１６を介
して外部記憶手段１８に保存することによって行われ
る。外部記憶手段１８は、ＩＣメモリカードや光磁気デ
ィスク等が使用できるが、モデムカードやＩＳＤＮカー
ドを利用して、ネットワークを経由して画像信号を直接
遠隔地の記録媒体に送信しても構わない。逆に、外部記
憶装置１８に記録された画像信号の読み出しは、Ｉ／Ｆ
１６を介して信号処理手段１２に画像信号を送信し、信
号処理手段１２において画像伸長を施すことによって行
われる。一方、外部記憶手段１８及びフレームメモリ１
５から読み出された画像信号の表示は、信号処理手段１
２において画像信号に対してデジタル−アナログ変換
（以後Ｄ／Ａ変換と略す）や増幅等の信号処理を施した
後、Ｉ／Ｆ１６を介して表示手段１７に送信することに
よって行われる。表示手段１７は、例えば画像入力装置
１の筐体に設置された液晶表示装置より構成される。

【００１８】次に、姿勢検出手段１９は、基準画像撮影
時と参照画像撮影時における画像入力装置１の姿勢を、
直交する３軸回りの回転角という形式で検出する。画像
入力装置１の姿勢を検出する素子として、加速度セン
サ、角速度センサ、磁気センサ等を単独または併用する
という形態を取り得るが、ここでは姿勢検出手段の構成
を示す図３のように、互いに直交する３軸方向の重力加
速度を検知する３軸加速度センサ１９１、その３軸方向
の地磁気を検出する３軸磁気センサ１９２、センサ信号
処理手段１９３及び姿勢算出手段１９４より構成された
場合の動作を説明する。まず、装置座標系、ワールド座
標系の２つの座標系を定義し、それぞれ以下のように定
義する。ここで、磁場は地磁気以外に存在しないと仮定
する。

【００１９】（ａ）装置座標系：ｘｙｚ座標系（図４参
照）ｘ軸：画像面右向きを正ｙ軸：画像面下向きを正ｚ軸：光軸方向；対象に向かう向きを正原点ｏ：撮像手段１１の光学中心なお、ｆ、ｐについては後述するものとする。

【００２０】（ｂ）ワールド座標系：ＸＹＺ座標系（図
５参照）Ｘ軸：東向きを正Ｙ軸：重力加速度の向きを正Ｚ軸：磁気の向き（北向き）を正原点Ｏ：基準画像を撮影した時の視点位置

【００２１】３軸加速度センサ１９１は重力加速度のｘ
軸、ｙ軸成分を、３軸磁気センサ１９２は地磁気のｘ
軸、ｙ軸、ｚ軸成分を検出するように設置されている。
これらのセンサ信号はセンサ信号処理手段１９３におい
て、フィルタリングや増幅等の信号処理や、Ａ／Ｄ変換
が行われ、姿勢算出手段１９４に送られる。

【００２２】そして、姿勢算出手段１９４は、処理済み
センサ信号より画像入力装置１の姿勢を算出する。画像
入力装置１の姿勢は、ワールド座標系を基準とした以下
の回転行列で記述する。

【００２３】Ｒ＝Ｒ_YＲ_XＲ_Z （１）但し、

【００２４】

【数１】

【００２５】である。今、重力加速度ベクトルと地磁気
ベクトルが、ワールド座標系においてそれぞれ

【００２６】

【数２】

【００２７】と表され、また３軸加速度センサ、３軸磁
気センサにより検出された、装置座標系を基準とした加
速度ベクトル、地磁気ベクトルをそれぞれ

【００２８】

【数３】

【００２９】とする。以上のｇとａ、及びＭとｍの関係
は、回転行列Ｒを用いて以下の数式で記述される。

【００３０】Ｒａ＝ｇ（５）Ｒｍ＝Ｍ（６）

【００３１】（５）式より、Ｘ軸回りの回転角αとＺ軸
回りの回転角γが計算される。

【００３２】

【数４】

【００３３】（７）式、（８）式で求めたαとγを利用
して、地磁気ベクトルｍからＹ軸回りの回転角βが次の
ようにして計算される。

【００３４】

【数５】

【００３５】但し、

【００３６】

【数６】

【００３７】である。以上の計算により、α、β、γ及
び回転行列Ｒを、３軸加速度センサ及び３軸磁気センサ
の検出値より算出し、ワールド座標系に対する画像入力
装置１の姿勢を記述することができる。

【００３８】次に、対応検出手段２０の一例として、互
いに重複した領域を持つ２枚の画像において、相関演算
により対応点を検出する方法について説明する。対応検
出手段２０は、対応検出手段の構成を示す図６のよう
に、特徴点設定手段２０１、相関演算手段２０２より構
成される。図２のフレームメモリ１５には、先に撮影し
た画像（基準画像）と、基準画像と重複した領域を持つ
参照画像が蓄積されている。そこで、特徴点設定手段２
０１は、当該基準画像において、特徴点の位置を決定
し、特徴点を中心とする（２Ｎ＋１）（２Ｐ＋１）の濃
淡パターンを抽出して相関窓を作成する。この特徴点の
位置は、角（ｃｏｒｎｅｒ）のように画像の濃度パター
ンが特徴的である箇所を抽出することにより決定され
る。また、相関演算手段２０２は、上記基準画像で作成
した相関窓の濃淡パターンとほぼ一致する箇所を、上記
参照画像において相関演算により検出し、これを対応点
と決定する。ここで、相関演算によるブロックマッチン
グにより対応点を検出する一例について説明する。図７
のように、（２Ｎ＋１）（２Ｐ＋１）の相関窓を用いた
ブロックマッチングで、基準画像におけるｉ番目の特徴
点Ｐ_i（ｘ_i0，ｙ_i0）と、参照画像における点（ｘ_i0＋
ｄｘ_i，ｙ_i0＋ｄｙ_i）の相互相関値Ｓ_iは、次式により
計算される。

【００３９】

【数７】

【００４０】ここで、（１１）式における各記号の意味
は以下の通りである。Ｉ_s（ｘ，ｙ）：基準画像の点（ｘ，ｙ）における濃度Ｉ_r（ｘ，ｙ）：参照画像の点（ｘ，ｙ）における濃度

【００４１】ＭＩ_s（ｘ，ｙ）：基準画像の点（ｘ，
ｙ）を中心とする（２Ｎ＋１）（２Ｐ＋１）の相関窓に
おける平均濃度ＭＩ_r（ｘ，ｙ）：参照画像の点（ｘ，ｙ）を中心とす
る（２Ｎ＋１）（２Ｐ＋１）の相関窓における平均濃度Ｋ：定数

【００４２】各特徴点Ｐ_iに対して、相互相関値Ｓ_iの最
大値が予め定められた閾値以上である点を求めることに
より、参照画像における対応点（ｘ_i0＋ｄｘ_i，ｙ_i0＋
ｄｙ_i ）が求められる。Ｓ_iの最大値が閾値以下ならば、
対応点は存在しないとする。

【００４３】また、並進運動検出手段２１は、撮像手段
１１の光学系の焦点距離ｆ、姿勢検出手段１９により検
出された姿勢情報、及び基準画像における特徴点と参照
画像における対応点の組より、以下のような処理を行う
ことにより画像入力装置１の並進運動成分を求める。ま
ず、基準画像における特徴点及び参照画像における対応
点に対して、ワールド座標系を基準とした視線ベクトル
を算出する。撮像手段１１の光学系は図４のように、焦
点距離をｆとする中心射影モデルであると仮定すると、
画像上の点（ｘ，ｙ）に対する単位視線ベクトルｐは、
以下のように求められる。

【００４４】

【数８】

【００４５】但し（１２）式のｐは、撮像座標系を基準
とした視線ベクトルである。例えば図８のように、基準
画像における特徴点（ｘ_s，ｙ_s）と参照画像における対
応点（ｘ_r，ｙ_r）に対しては、以下の単位視線ベクトル
が算出される。

【００４６】

【数９】

【００４７】但し、（１３），（１４）式のｐ_sは基準
画像における撮像座標系を基準とした単位視線ベクト
ル、ｐ_rは参照画像における撮像座標系を基準とした単
位視線ベクトルである。ｐ_s、ｐ_rをワールド座標系を基
準とした視線ベクトルに変換するには、基準画像撮影時
及び参照画像撮影時における姿勢情報（すなわち（１）
式の回転行列）を必要とする。しかし、両画像における
回転行列（それぞれＲ_s 、Ｒ_rとする）は姿勢検出手段１
９により求められるため、これらを用いてｐ_s、ｐ_rは共
に、ワールド座標系を基準とした視線ベクトルＰ_s、Ｐ_r
に変換される。すなわち、

【００４８】Ｐ_s＝Ｒ_sｐ_s （１５）Ｐ_r＝Ｒ_rｐ_r （１６）

【００４９】である。以上で求められた特徴点及び対応
点のワールド座標系を基準とした視線ベクトル群より、
撮像手段１１の並進成分を算出する。例えば図８におい
て、視線ベクトルＰ_s、Ｐ_rが対応関係にあるとすると、
Ｐ_s、Ｐ_r、並進成分を示す単位ベクトルｔの３つのベク
トルは同一平面上に存在する。これを式で表すと、以下
のスカラ３重積の数式で表される。

【００５０】（Ｐ_s×ｔ，Ｐ_r）＝０（１７）

【００５１】従って、（１７）式を満たすベクトルｔが
並進運動ベクトルであるが、通常画像のノイズ等の影響
により、（１７）式は全ての特徴点の視線ベクトルＰ
_s,i（ｉ＝１，・・・，Ｎ）と、対応点の視線ベクトル
Ｐ_r,i（ｉ＝１，・・・，Ｎ）に対しては成立しない。
そこで、以下のスカラ３重積の絶対値の総和を最小化す
るｔを求めればよい。

【００５２】

【数１０】

【００５３】以上の計算より、基準画像撮影時から参照
画像撮影時に至る画像入力装置１の並進運動を求めるこ
とができる。

【００５４】但し、並進運動の絶対値を求めることはで
きないため、並進運動ベクトルｔの大きさを１とする。

【００５５】次に、３次元位置計測手段２２は、特徴点
と対応点に対する視線ベクトルＰ_s, _i、Ｐ_r,i、及び並進
運動検出手段２１より求められた並進運動ベクトルを用
いて、三角測量の原理により各特徴点の３次元位置（Ｘ
_i，Ｙ_i，Ｚ_i）を計算する。ここで、ワールド座標系の
原点は基準画像撮影時の視点位置であるので、算出され
る（Ｘ_i，Ｙ_i，Ｚ_i）は基準画像撮影時の視点位置を原
点としているに注意する。

【００５６】また、平面算出手段２３は、対応検出手段
２０が検出した各特徴点が同一平面上にあるものとし
て、３次元位置計測手段２２が算出した各特徴点の３次
元位置（Ｘ_i，Ｙ_i，Ｚ_i）に基づいて、平面の情報を算
出する。具体的には、求める平面のワールド座標系を基
準にした方程式を、

【００５７】ａＸ＋ｂＸ＋ｃＺ＋ｄ＝０（ａ²＋ｂ²＋ｃ²＝１）（１９）

【００５８】とおき、（Ｘ_i，Ｙ_i，Ｚ_i）を用いてより
平面の情報である４つのパラメータ（ａ，ｂ，ｃ，ｄ）
を、例えば最小自乗法により算出する。

【００５９】拡大係数算出手段２４は、３次元位置計測
手段２２より出力された各特徴点の３次元位置（Ｘ_i，
Ｙ_i，Ｚ_i）及び平面算出手段２３より出力された平面情
報に基づいて、各画像対より求めた並進成分及び３次元
位置の拡大系数を算出する。例えば、対象平面を多視点
で撮影して特徴点の３次元位置（Ｘ_i，Ｙ_i，Ｚ_i）を計
算する場合、図９の（ａ）のように、（Ｘ_i，Ｙ_i，
Ｚ_i）はほぼ同一平面上に存在するはずである。しか
し、３次元位置計測手段２２で算出された（Ｘ_i，Ｙ_i ，
Ｚ_i）は、基準画像撮影時から参照画像撮影時に至る並
進運動ベクトルｂを単位ベクトルとして計算されている
ので、図９の（ｂ）のように、各視点間の並進運動の大
きさがそれぞれ等しい場合の３次元位置である。これ
は、撮影時の画像入力装置１の位置関係が互いに未知で
ある２枚の画像より被写体の３次元形状を復元する場
合、実際の被写体の大きさと並進運動の大きさは計算不
可能であり、被写体の大きさと並進運動の大きさの比と
いう形で３次元形状が求められるためである。このよう
に、単眼視において遠くて大きいものと近くて小さいも
のとを区別できないことは、拡大係数未知と呼ばれてい
る。以下、被写体が同一平面上にあるという拘束条件を
用いて、各画像対より求めた並進運動及び３次元位置の
拡大係数を求める手順を述べる。

【００６０】まず、変数を以下のように定義する。

【００６１】ｔ_i：画像ｊを基準画像、画像（ｊ＋１）
を参照画像として算出した単位並進運動ベクトル。

【００６２】Ｐ^m _j,i：視点ｍを原点としたワールド座標
系で表した、画像ｊにおけるｉ番目の特徴点に対する３
次元位置。

【００６３】画像ｊを基準画像、画像（ｊ＋１）を参照
画像として求められる。ｋ_j：画像ｊに対する拡大係数。Ｎ_j：画像ｊにおける特徴点の数。

【００６４】図１０において、画像２を基準画像、画像
３を参照画像として算出した３次元位置

【００６５】

【数１１】

【００６６】を、画像１を基準画像、画像２を参照画像
として算出した並進運動ベクトル

【００６７】

【数１２】

【００６８】及び３次元位置より求めた平面

【００６９】ａ₁Ｘ＋ｂ₁Ｙ＋ｃ₁Ｚ＋ｄ₁＝０（ａ₁ ²＋ｂ₁ ²＋ｃ₁ ²＝１）（２２）

【００７０】に当てはめる例を用いて説明する。ここで
は求める拡大係数ｋ₂は未知変数であり、Ｎ₂個の特徴点
に対する３次元位置ｋ₂Ｐ² _2,jが（２２）式の平面に最
もよく当てはまるｋ₂を計算する。ここで、（２２）式
の平面は画像１を基準画像とした時の平面方程式であ
る。したがって、Ｐ² _2,jを視点１を基準にした３次元位
置に変換する必要がある。視点１から視点２に至る並進
運動ベクトルｋ₁ｔ₁及びｋ₂を用いて、次式によりＰ²
_2,jを、視点１を基準にした３次元位置Ｐ¹ _2,jに変換す
る。

【００７１】Ｐ¹ _2,j＝ｋ₁ｔ₁＋ｋ₂Ｐ² _2,j （２３）

【００７２】したがって、（２２）式の平面方程式に最
もよく当てはまるＰ¹ _2,jを計算すればよいが、例えば最
小自乗法を用いて次式を解けばよい。

【００７３】

【数１３】

【００７４】但し、ｎは平面の法線ベクトルであり、

【００７５】

【数１４】

【００７６】と表される。ｋ₁＝１を利用して（２４）
式をさらに変形すると次式が得られる。

【００７７】

【数１５】

【００７８】上式より、拡大係数ｋ₂を簡単な線形計算
により求めることができる。

【００７９】以上、３視点から撮影した場合の拡大係数
の計算法を説明したが、より多数の視点から撮影した場
合にも適用可能である。具体的には、以下に示す反復処
理により、画像ｊ（ｊ＝１，・・・，Ｋ）に対する拡大
係数を順次求めることができる。

【００８０】（１）画像１を基準画像、画像２を参照画
像として求めた（２２）式の平面を、当てはめる平面と
して設定する。ここで、（２２）式の平面を求める際に
ｋ₁の値は任意に設定でき、例えばｋ₁＝１とする。

【００８１】（２）ｊ＝２，・・・，Ｋ−１に対して、
以下の（３）〜（５）の処理を繰り返す。

【００８２】（３）画像ｊにおける各特徴点に対応す
る、視点ｊを原点とした３次元位置Ｐ^j _j _,i（ｉ＝１，・
・・，Ｎ_j）をｋ_j倍する。

【００８３】（４）ｋ_jＰ^j _j,iを、視点１を基準にした
３次元位置に変換する。

【００８４】

【数１６】

【００８５】（５）以下の最小自乗計算により、次式を
満たすｋ_jを算出する。

【００８６】

【数１７】

【００８７】次に、投影手段２５は、姿勢検出手段１
９、並進運動検出手段２１、平面算出手段２３及び拡大
係数算出手段２４より供給された出力に基づいた投影条
件を用いて、フレームメモリ１５に蓄積された各画像を
平面に投影することにより画像を合成する。以下、各画
像を同一平面上に投影する動作について、図１１を参照
して説明する。視点ｊで得た画像上の点Ｐ_j,iと、この
視点の光学中心とを結ぶ直線が、平面算出手段２３が算
出した平面Ｇ_cと交差する点をＰ_cとおく。また、新たに
合成する画像を投影する面積面をＩ_mとし、この光学中
心をＯ_mとする。点Ｐ_cと光学中心Ｏ_mとを結ぶ直線が画
像面と交差する点Ｐ_mに画素を投影する。この動作を、
必要な画素全てに対して行うことにより、図１２に示す
ように、画像面Ｉ_mに新たな画像を形成する。この処理
を、撮像手段１１が撮像した各画像ｊ（ｊ＝１，・・
・，Ｋ）に対して行い、撮像手段１１が撮像した各画像
を任意の同一画像面Ｉ_mに投影することにより、複数の
視点から撮影した画像を合成する。このようにして作成
された合成画像は、別途設けた記憶手段（図示せず）に
保存されたり、表示手段１７に表示される。

【００８８】次に、第１の実施例の画像入力装置の動作
について、図１３に示す動作フローにより説明する。ま
ず、撮像手段１１により入力対象平面を撮影し、この画
像を基準画像として記憶すると同時に、撮影時の画像入
力装置１の姿勢を検出する（ステップＳ１０１）。続い
て、基準画像と一部が重複するように視点及び画像入力
装置１の姿勢を変化させて撮像手段１１により入力対象
平面を撮影し、この画像を参照画像として記憶すると同
時に、撮影時の画像入力装置１の姿勢を検出する（ステ
ップＳ１０２）。基準画像において特徴点を抽出すると
共に、参照画像において該特徴点と同じ箇所を示す対応
点を検出する（ステップＳ１０３）。このようにして得
られた特徴点と対応点を上述の（１５）式と（１６）式
を用いてワールド座標系を基準とした視線ベクトル
Ｐ_s、Ｐ_rにそれぞれ変換し、各画像撮影時の画像入力装
置１の姿勢を用いて、（１８）式により画像入力装置１
の並進運動ベクトルｔを求める（ステップＳ１０４）。
その並進運動ベクトルｔと視線ベクトルＰ_s、Ｐ_rとを用
いて、基準画像撮影時の視点を原点として、三角測量の
原理で各特徴点に対する３次元位置を計算する（ステッ
プＳ１０５）。以上の処理を終えて平面の情報が既に算
出されているかを判断し（ステップＳ１０６）、まだ算
出されていない場合は平面方程式を算出し（ステップＳ
１０７）、既に平面方程式が存在する場合には求めた３
次元位置がその平面方程式に当てはまるように拡大係数
を算出し（ステップＳ１０８）、平面方程式と拡大係数
に基づいて、先に説明した方法で基準画像及び参照画像
をある同一画像面Ｉｍに投影し、合成画像を作成する
（ステップＳ１０９）。その後、さらに画像を撮影して
合成する画像を増やす場合には、以上の処理で参照画像
として使用した画像を基準画像に置き換えて、ステップ
Ｓ１０２からステップＳ１０９の動作を繰り返し、そう
でない場合には処理を終了する（ステップＳ１１０，Ｓ
１１１）。

【００８９】なお、上述の説明は、本発明の一例を説明
したにすぎない。例えば、姿勢検出手段１９に関して
は、３軸加速度センサ及び３軸磁気センサで構成される
例について述べたが、角速度センサを利用するなど別の
形態をとっても構わない。また、画像を１枚撮影する度
に画像を合成する処理を行うと説明したが、画像を全て
撮り終えてから一括処理により合成画像を作成しても構
わない。また、各画像における３次元位置を、画像１を
基準画像、画像２を参照画像として算出した平面に当て
はめると説明したが、互いに重複領域を持つ任意の画像
対を選んで平面を算出しても構わない。

【００９０】図１４は本発明の第２の実施例に係る画像
入力装置の構成を示すブロック図であり、図１５は本実
施例の動作を示すフローチャートである。図１４におい
て、画像入力装置１は、撮像手段１１と、撮像手段１１
により得られた画像信号に処理を施す信号処理手段１２
と、信号処理手段１２の出力が供給されるメモリ制御手
段１３、主制御手段１４及びＩ／Ｆ１６と、メモリ制御
手段１３の指令により画像信号を蓄積するフレームメモ
リ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表
示手段１７と、Ｉ／Ｆ１６を経由して画像信号をはじめ
とする種々の信号の読み出し／書き込みを行う外部記憶
手段１８とを有する。その他、画像撮影時の画像入力装
置１の位置と姿勢を検出する運動検出手段２６と、フレ
ームメモリ１５に蓄積された互いに重複する領域を持つ
画像間の特徴点及び対応点を抽出する対応検出手段２０
と、運動検出手段２６及び対応検出手段２０の出力より
各特徴点の３次元位置を算出する３次元位置計測手段２
２と、３次元位置計測手段２２の出力した特徴点の３次
元位置が適合する平面の情報を算出する平面算出手段２
３と、３次元位置計測手段２２より出力された各特徴点
の３次元位置及び平面算出手段２３より出力された平面
情報に基づいて、各画像対より求めた並進成分及び３次
元位置の拡大係数を算出する拡大係数算出手段２４と、
運動検出手段２６、平面算出手段２３及び拡大係数算出
手段２４より供給された出力に基づき、フレームメモリ
１５に蓄積された各画像を任意の同一画像面に投影する
投影手段２５をも有している。また、撮像手段１１、信
号処理手段１２、メモリ制御手段１３、主制御手段１
４、フレームメモリ１５、Ｉ／Ｆ１６、表示手段１７、
外部記憶手段１８、対応検出手段２０、３次元位置計測
手段２２、平面算出手段２３、拡大係数算出手段２４、
及び投影手段２５の動作は、第１の実施例と同様である
ので、説明を省略する。ここでは、運動検出手段２６の
動作について説明する。

【００９１】運動検出手段２６は、基準画像撮影時と参
照画像撮影時との間における画像入力装置１の並進運動
成分と姿勢を検出するものであり、例えば加速度セン
サ、角速度センサ、磁気センサ、超音波センサ、赤外線
センサ等を、単独または併用して構成することができ
る。加速度センサを使用する場合は、既に説明したよう
に重力加速度の向きを検知することにより画像入力装置
１の傾斜を知ることができるほか、画像入力装置１を視
点間で移動させる過程で生じる加速度成分を積分するこ
とにより並進運動成分を算出することができる。磁気セ
ンサを使用する場合は、既に説明したように地磁気を３
軸方向で検出して画像入力装置１の方位を算出すること
により姿勢を検出することができる。また、人工的に発
生させた磁場の強弱や向きより画像入力装置１の位置と
姿勢を同時に検出することも可能である。超音波センサ
を使用する場合は、例えば画像入力装置１を使用する環
境内に超音波を発生する発信部を、また装置側に超音波
センサを設置して、受信した超音波の強弱や位相差より
画像入力装置１の位置と姿勢を検出することができる。
赤外線センサを使用する場合は、例えば画像入力装置１
を使用する環境内に赤外線スポット光を照射する装置
と、ＰＳＤ（ｐｏｓｉｔｉｏｎｓｅｎｓｉｔｉｖｅ
ｄｅｔｅｃｔｏｒ）やＣＣＤ等の光電変換素子を設置し
て、画像入力装置１に照射された赤外線スポット光の反
射光を光電変換素子で検出することにより、三角測量の
原理で画像入力装置１までの距離を算出することができ
る。この反射光を３点以上で検出することにより、位置
及び姿勢を検出することができる。

【００９２】以上の処理により検出された画像入力装置
１の並進運動成分と、特徴点及び対応点により、３次元
位置計測手段２２において、各特徴点に対する３次元位
置を算出し、その３次元位置を用いて平面算出手段２３
において並進運動の向きだけでなく大きさの情報を持っ
ているため、先に説明した拡大係数未知の問題は解消さ
れている。しかし、使用する環境内に存在する外乱やセ
ンサノイズ等により、運動検出手段２６の出力した並進
運動成分に誤差が含まれる可能性があるため、拡大係数
算出手段２４において拡大係数を算出する。計算された
拡大係数、平面方程式及びフレームメモリ１５に蓄積さ
れた画像は投影手段２５に送られ、先に説明した方法で
合成画像を作成する。

【００９３】次に、第２の実施例の画像入力装置の動作
について、図１５に基づいて説明する。まず、撮像手段
１１により入力対象平面を投影し、この画像を基準画像
として記憶すると同時に、撮影時の画像入力装置１の位
置及び姿勢を検出する（ステップＳ２０１）。続いて、
基準画像と一部が重複するように視点及び画像入力装置
１の姿勢を変化させて撮像手段１１により入力対象平面
を撮影し、この画像を参照画像として記憶すると同時
に、撮影時の画像入力装置１の位置及び姿勢を検出する
（ステップＳ２０２）。基準画像において特徴点を抽出
すると共に、参照画像において該特徴点と同じ箇所を示
す対応点を検出する（ステップＳ２０３）。このように
して得られた特徴点と対応点を（１５）式と（１６）式
を用いてワールド座標系を基準とした視線ベクトル
Ｐ_s、Ｐ_rにそれぞれ変換し、各画像撮影時の画像入力装
置１の位置及び姿勢を用いて、基準画像撮影時の視点を
原点として、三角測量の原理で各特徴点に対する３次元
位置を計算する（ステップＳ２０４）。以上の処理を終
えて平面の情報が既に算出されているかを判断し（ステ
ップＳ２０５）、まだ算出されていない場合は平面方程
式を算出し（ステップＳ２０６）、既に平面方程式が存
在する場合には求めた３次元位置がその平面方程式に当
てはまるように拡大係数を算出し（ステップＳ２０
７）、平面方程式と拡大係数に基づいて、先に説明した
方法で基準画像及び参照画像をある同一画像面Ｉｍに投
影し、合成画像を作成する（ステップＳ２０８）。その
後、さらに画像を撮影して合成する画像を増やす場合に
は、以上の処理で参照画像として使用した画像を基準画
像に置き換えて、ステップＳ２０２からステップＳ２０
８の動作を繰り返し、そうでない場合には処理を終了す
る（ステップＳ２０９，Ｓ２１０）。

【００９４】なお、上述の説明は、本発明の一例を説明
したにすぎない。例えば、画像を１枚撮影する度に画像
を合成する処理を行うと説明したが、画像を全て撮り終
えてから一括処理により合成画像を作成しても構わな
い。また、各画像における３次元位置を、画像１を基準
画像、画像２を参照画像として算出した平面に当てはめ
ると説明したが、互いに重複領域を持つ任意の画像対を
選んで平面を算出しても構わない。

【００９５】次に、図１６は本発明の第３の実施例に係
る画像入力装置の構成を示すブロック図であり、図１７
は第３の実施例の動作を示すフローチャートである。上
述の第１及び第２の実施例において、ある画像対を用い
て一方を基準画像、他方を参照画像として平面方程式を
算出して、その他の画像対より求めた３次元位置及び並
進運動成分の拡大係数を逐次計算すると説明したが、全
ての画像対を用いてそれぞれにおいて平面方程式を算出
し、これらの平面方程式より平面の法線ベクトルを最適
化しても構わない。例えば画像入力装置１は、図１６の
ように、撮像手段１１と、撮像手段１１により得られた
画像信号に処理を施す信号処理手段１２と、信号処理手
段１２の出力が供給されるメモリ制御手段１３、主制御
手段１４及びＩ／Ｆ１６と、メモリ制御手段１３の指令
により画像信号を蓄積するフレームメモリ１５と、Ｉ／
Ｆ１６を経由して画像信号を表示する表示手段１７と、
Ｉ／Ｆ１６を経由して画像信号をはじめとする種々の信
号の読み出し／書き込みを行う外部記憶手段１８とを有
する。その他、画像撮影時の画像入力装置１の姿勢を検
出する姿勢検出手段１９と、フレームメモリ１５に蓄積
された互いに重複する領域を持つ画像間の特徴点及び対
応点を抽出する対応検出手段２０と、姿勢検出手段１９
及び対応検出手段２０の出力より画像入力装置１の並進
運動を検出する並進運動検出手段２１と、姿勢検出手段
１９、対応検出手段２０及び並進運動検出手段２１の出
力より各特徴点の３次元位置を算出する３次元位置計測
手段２２と、３次元位置計測手段２２の出力した特徴点
の３次元位置が適合する平面の情報を算出する平面算出
手段２３と、平面算出手段２３により出力された複数の
平面の情報に基づいて最適な平面方程式を算出する平面
最適化手段２７と、３次元位置計測手段２２より出力さ
れた各特徴点の３次元位置及び平面算出手段２３より出
力された平面情報に基づいて、各画像対より求めた並進
成分及び３次元位置の拡大係数を算出する拡大係数算出
手段２４と、姿勢検出手段１９、並進運動検出手段２
１、平面算出手段２３及び拡大係数算出手段２４より供
給された出力に基づき、フレームメモリ１５に蓄積され
た各画像を任意の同一画像面に投影する投影手段２５を
も有している。撮像手段１１、信号処理手段１２、メモ
リ制御手段１３、主制御手段１４、フレームメモリ１
５、Ｉ／Ｆ１６、表示手段１７、外部記憶手段１８、姿
勢検出手段１９、対応検出手段２０、並進運動検出手段
２１、３次元位置計測手段２２、平面算出手段２３、拡
大係数算出手段２４、及び投影手段２５の動作は、第１
の実施例と同様であるので、説明を省略する。ここで
は、平面最適化手段２７の動作について説明する。

【００９６】図１のように、撮影した画像がＫ枚である
とすると、（Ｋ−１）組の画像対が得られるため、平面
算出手段２３によって（Ｋ−１）個の平面方程式が算出
可能である。これらの平面方程式の法線ベクトルをそれ
ぞれｎ_j（ｊ＝１，・・・，Ｋ−１）とすると、ｎ_jはそ
れぞれ図５に示す座標系を基準としたものである。平面
最適化手段２７は、これらの当てはめる平面方程式の法
線ベクトルｎを、例えばｎ_jを平均化することによって
出力する。

【００９７】以上の処理により出力された法線ベクトル
ｎを用いて、拡大係数算出手段２４は第１の実施例で説
明した計算法を用いて拡大係数を算出する。計算された
拡大係数、平面方程式及びフレームメモリ１５に蓄積さ
れた画像は投影手段２５に送られ、先に説明した方法で
合成画像を作成する。

【００９８】次に、第３の実施例の画像入力装置の動作
について、図１７に基づいて説明する。まず、撮像手段
１１により入力対象平面を投影し、この画像を基準画像
として記憶すると同時に、撮影時の画像入力装置１の姿
勢を検出する（ステップＳ３０１）。続いて、基準画像
と一部が重複するように視点及び画像入力装置１の姿勢
を変化させて撮像手段１１により入力対象平面を撮影
し、この画像を参照画像として記憶すると同時に、撮影
時の画像入力装置１の位置及び姿勢を検出する（ステッ
プＳ３０２）。基準画像において特徴点を抽出すると共
に、参照画像において該特徴点と同じ箇所を示す対応点
を検出する（ステップＳ３０３）。このようにして得ら
れた特徴点と対応点を（１５）式と（１６）式を用いて
ワールド座標系を基準とした視線ベクトルＰ_s、Ｐ_rにそ
れぞれ変換し、各画像撮影時の画像入力装置１の姿勢を
用いて、（１８）式により画像入力装置１の並進運動ベ
クトルｔを求める（ステップＳ３０４）。その並進運動
ベクトルｔと視線ベクトルＰ_s、Ｐ_rとを用いて、基準画
像撮影時の視点を原点として、三角測量の原理で各特徴
点に対する３次元位置を計算する（ステップＳ３０
５）。以上の処理を終えて得られた３次元位置より、平
面方程式を算出する（ステップＳ３０６）。さらに画像
を撮影して合成する画像を増やす場合には、以上の処理
で参照画像として使用した画像を基準画像に置き換え
て、ステップＳ３０２からステップＳ３０６の動作を繰
り返し、そうでない場合には対象平面の撮影を終了する
（ステップＳ３０７，Ｓ３０８）。撮影終了後、各々の
画像対より求めた平面方程式に基づき平面の法線ベクト
ルｎを最適化して、平面方程式を決定する（ステップＳ
３０９）。ｎが求まると、各々の画像対より求めた３次
元位置がその平面方程式に当てはまるように拡大係数を
算出し（ステップＳ３１０）、平面方程式と拡大係数に
基づいて、先に説明した方法で基準画像及び参照画像を
ある同一画像面Ｉ_mに投影し、合成画像を作成する（ス
テップＳ３１１）。

【００９９】なお、上述の説明は、本発明の一例を説明
したにすぎない。例えば、各画像対より求めた平面の法
線ベクトルを平均化すると説明したが、その他の法線ベ
クトル最適化処理を使用しても構わない。

【０１００】本発明は上記各実施例に限定されるもので
はなく、特許請求の範囲内の記載であれば、各種変形や
置換可能であることは言うまでもない。

【０１０１】

【発明の効果】以上説明したように、本発明によれば、
先に撮像した画像である基準画像と一部が重複するよう
に複数の視点から対象平面を撮像する撮像手段と、各撮
像時の撮像手段の姿勢を検出する姿勢検出手段と、基準
画像と、基準画像と重複する部分を持つ画像である参照
画像との画像対に基づいて、基準画像における複数の特
徴点を抽出すると共に、参照画像における特徴点と同一
の箇所を示す対応点を検出する対応検出手段と、撮像手
段の姿勢、特徴点及び対応点に基づいて、撮像手段の並
進運動成分を検出する並進運動検出手段と、撮像手段の
姿勢、特徴点、対応点及び並進運動成分に基づいて、各
特徴点の３次元位置を算出する３次元位置計測手段と、
３次元位置計測手段が計測した各特徴点の３次元位置が
同一平面上にあるものとして各特徴点の３次元位置に適
合する平面の情報を算出する平面算出手段と、各画像対
を利用して求めた各特徴点の３次元位置、及び平面算出
手段が算出した平面の情報に基づいて、各並進成分及び
各３次元位置の拡大係数を算出する拡大係数算出手段
と、撮像手段の姿勢と並進成分、及び平面算出手段が計
算した平面の情報に基づいて、各画像を任意の同一画像
面に投影して複数の視点から撮像した画像を合成する投
影手段とを有することに特徴がある。

【０１０２】更に別の発明として、先に撮像した画像で
ある基準画像と一部が重複するように複数の視点から対
象平面を撮像する撮像手段と、各撮像時の撮像手段の姿
勢及び並進成分を検出する運動検出手段と、基準画像及
び基準画像と重複する部分を持つ画像である参照画像の
画像対に基づいて、基準画像における複数の特徴点を抽
出すると共に、参照画像における特徴点と同一の箇所を
示す対応点を検出する対応検出手段と、撮像手段の姿勢
と並進成分、及び特徴点と対応点に基づいて、各特徴点
の３次元位置を算出する３次元位置計測手段と、３次元
位置計測手段が計測した各特徴点の３次元位置が同一平
面上にあるものとして各特徴点の３次元位置に適合する
平面の情報を算出する平面算出手段と、各画像対を利用
して求めた各特徴点の３次元位置、及び平面算出手段が
算出した平面の情報に基づいて、各並進成分及び各３次
元位置の拡大係数を算出する拡大係数算出手段と、撮像
手段の姿勢と並進成分、及び平面算出手段が計算した平
面の情報に基づいて、各画像を任意の同一画像面に投影
して、複数の視点から撮像した画像を合成する投影手段
とを有することに特徴がある。

【０１０３】よって、上記２つの発明によれば、任意の
距離にある対象平面を多数枚撮影した場合でも、簡単な
計算で高精度に平面の情報を算出することができ、美し
い合成画像を得ることができる。また、画像の重なる範
囲を予め強制していないのでユーザは比較的自由な条件
で対象平面を撮影することができる。更に、撮影した画
像の順序をユーザが手動で設定する必要がないので、操
作性・利用性の高い画像合成が可能となる。

【０１０４】また別の発明として、先に撮像した画像で
ある基準画像と一部が重複するように複数の視点から対
象平面を撮像する撮像手段と、各撮像時の撮像手段の姿
勢を検出する姿勢検出手段と、基準画像と、基準画像と
重複する部分を持つ画像である参照画像との画像対に基
づいて、基準画像における複数の特徴点を抽出すると共
に、参照画像における特徴点と同一の箇所を示す対応点
を検出する対応検出手段と、撮像手段の姿勢、特徴点及
び対応点に基づいて、撮像手段の並進運動成分を検出す
る並進運動検出手段と、撮像手段の姿勢、特徴点、対応
点及び並進運動成分に基づいて、各特徴点の３次元位置
を算出する３次元位置計測手段と、３次元位置計測手段
が計測した各特徴点の３次元位置が同一平面上にあるも
のとして各特徴点の３次元位置に適合する平面の情報を
算出する平面算出手段と、平面算出手段が算出した平面
の情報に基づいて、対象平面の平面情報を最適化する平
面最適化手段と、各画像対を利用して求めた各特徴点の
３次元位置、及び平面最適化手段が最適化した平面の情
報に基づいて、各並進成分及び各３次元位置の拡大係数
を算出する拡大係数算出手段と、撮像手段の姿勢と並進
成分、及び平面最適化手段が最適化した平面の情報に基
づいて、各画像を任意の同一画像面に投影して複数の視
点から撮像した画像を合成する投影手段とを有するに特
徴がある。

【０１０５】更に別の発明として、先に撮像した画像で
ある基準画像と一部が重複するように複数の視点から対
象平面を撮像する撮像手段と、各撮像時の撮像手段の姿
勢及び並進成分を検出する運動検出手段と、基準画像及
び基準画像と重複する部分を持つ画像である参照画像の
画像対に基づいて、基準画像における複数の特徴点を抽
出すると共に、参照画像における特徴点と同一の箇所を
示す対応点を検出する対応検出手段と、撮像手段の姿勢
と並進成分、及び特徴点と対応点に基づいて、各特徴点
の３次元位置を算出する３次元位置計測手段と、３次元
位置計測手段が計測した各特徴点の３次元位置が同一平
面上にあるものとして各特徴点の３次元位置に適合する
平面の情報を算出する平面算出手段と、平面算出手段が
算出した平面の情報に基づいて、対象平面の平面情報を
最適化する平面最適化手段と、各画像対を利用して求め
た各特徴点の３次元位置、及び平面最適化手段が最適化
した平面の情報に基づいて、各並進成分及び各３次元位
置の拡大係数を算出する拡大係数算出手段と、撮像手段
の姿勢と並進成分、及び平面最適化手段が最適化した平
面の情報に基づいて、各画像を任意の同一画像面に投影
して、複数の視点から撮像した画像を合成する投影手段
とを有することに特徴がある。

【０１０６】よって、上記２つの発明によれば、画像入
力装置の姿勢または運動検出結果に誤差が含まれた場合
においても、正確な平面方程式を算出することができ
る。その結果、より美しい合成画像を作成することがで
きる。

【図面の簡単な説明】

【図１】本発明の画像入力装置を用いた撮影の様子を示
す図である。

【図２】本発明の第１の実施例に係る画像入力装置の構
成を示すブロック図である。

【図３】図２の姿勢検出手段の構成を示すブロック図で
ある。

【図４】装置座標系を示す図である。

【図５】ワールド座標系を示す図である。

【図６】図２の対応検出手段の構成を示すブロック図で
ある。

【図７】基準画像と参照画像の相関演算によるマッチン
グの様子を示す図である。

【図８】基準画像と参照画像の対象平面に対する視線ベ
クトルを示す図である。

【図９】各視点間の並進運動における並進運動ベクトル
を示す図である。

【図１０】視点２を基準にした３次元位置を示す図であ
る。

【図１１】各画像を同一平面上に投影する例の様子を示
す図である。

【図１２】画像合成の様子を示す図である。

【図１３】第１の実施例の動作を示すフローチャートで
ある。

【図１４】本発明の第２の実施例に係る画像入力装置の
構成を示すブロック図である。

【図１５】第２の実施例の動作を示すフローチャートで
ある。

【図１６】本発明の第３の実施例に係る画像入力装置の
構成を示すブロック図である。

【図１７】第３の実施例の動作を示すフローチャートで
ある。

【符号の説明】

１１撮像手段１２信号処理手段１３メモリ制御手段１４主制御手段１５フレームメモリ１６インターフェース１７表示手段１８外部記憶手段１９姿勢検出手段２０対応検出手段２１並進運動検出手段２２３次元位置計測手段２３平面算出手段２４拡大係数算出手段２５投影手段２６運動検出手段２７平面最適化手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 CA13 CB12 CE10 DA07 DB03 DC05 DC08 5C023 AA11 AA31 AA36 AA37 AA38 BA01 BA11 CA01 DA04

Claims

【特許請求の範囲】

【請求項１】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢を検出する姿勢検出手段
と、基準画像と、基準画像と重複する部分を持つ画像である
参照画像との画像対に基づいて、基準画像における複数
の特徴点を抽出すると共に、参照画像における特徴点と
同一の箇所を示す対応点を検出する対応検出手段と、前記撮像手段の姿勢、特徴点及び対応点に基づいて、前
記撮像手段の並進運動成分を検出する並進運動検出手段
と、前記撮像手段の姿勢、特徴点、対応点及び並進運動成分
に基づいて、各特徴点の３次元位置を算出する３次元位
置計測手段と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、各画像対を利用して求めた各特徴点の３次元位置、及び
前記平面算出手段が算出した平面の情報に基づいて、各
並進成分及び各３次元位置の拡大係数を算出する拡大係
数算出手段と、前記撮像手段の姿勢と並進成分、及び前記平面算出手段
が計算した平面の情報に基づいて、各画像を任意の同一
画像面に投影して複数の視点から撮像した画像を合成す
る投影手段とを有することを特徴とする画像入力装置。
【請求項２】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢を検出する姿勢検出手段
と、基準画像と、基準画像と重複する部分を持つ画像である
参照画像との画像対に基づいて、基準画像における複数
の特徴点を抽出すると共に、参照画像における特徴点と
同一の箇所を示す対応点を検出する対応検出手段と、前記撮像手段の姿勢、特徴点及び対応点に基づいて、前
記撮像手段の並進運動成分を検出する並進運動検出手段
と、前記撮像手段の姿勢、特徴点、対応点及び並進運動成分
に基づいて、各特徴点の３次元位置を算出する３次元位
置計測手段と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、該平面算出手段が算出した平面の情報に基づいて、対象
平面の平面情報を最適化する平面最適化手段と、各画像対を利用して求めた各特徴点の３次元位置、及び
前記平面最適化手段が最適化した平面の情報に基づい
て、各並進成分及び各３次元位置の拡大係数を算出する
拡大係数算出手段と、前記撮像手段の姿勢と並進成分、及び前記平面最適化手
段が最適化した平面の情報に基づいて、各画像を任意の
同一画像面に投影して複数の視点から撮像した画像を合
成する投影手段とを有することを特徴とする画像入力装
置。
【請求項３】撮像手段を用いて先に撮像した画像であ
る基準画像と一部が重複するように複数の視点から対象
平面を撮像すると共に、各撮像時の前記撮像手段の姿勢
を検出する工程と、基準画像及び基準画像と重複する部分を持つ画像である
参照画像の画像対に基づいて、基準画像における複数の
特徴点を抽出すると共に、参照画像における特徴点と同
一の箇所を示す対応点を検出する工程と、前記撮像手段の姿勢、特徴点と対応点に基づいて、前記
撮像手段の並進運動成分を検出する工程と、前記撮像手段の姿勢、特徴点と対応点、及び並進運動成
分に基づいて、各特徴点の３次元位置を算出する工程
と、計測した各特徴点の３次元位置が同一平面上にあるもの
として各特徴点の３次元位置に適合する平面の情報を算
出する工程と、各画像対を利用して求めた各特徴点の３次元位置、及び
算出された平面の情報に基づいて、各並進成分及び各３
次元位置の拡大係数を算出する工程と、前記撮像手段の姿勢と並進成分、及び算出された平面の
情報に基づいて、各画像を任意の同一画像面に投影し
て、複数の視点から撮像した画像を合成する工程とを有
することを特徴とする画像入力方法。
【請求項４】前記撮像手段を用いて先に撮像した画像
である基準画像と一部が重複するように複数の視点から
対象平面を撮像すると共に、各撮像時の撮像手段の姿勢
を検出する工程と、基準画像及び基準画像と重複する部分を持つ画像である
参照画像の画像対に基づいて、基準画像における複数の
特徴点を抽出すると共に、参照画像における特徴点と同
一の箇所を示す対応点を検出する工程と、前記撮像手段の姿勢、特徴点と対応点に基づいて、前記
撮像手段の並進運動成分を検出する工程と、前記撮像手段の姿勢、特徴点と対応点、及び並進運動成
分に基づいて、各特徴点の３次元位置を算出する工程
と、計測した各特徴点の３次元位置が同一平面上にあるもの
として各特徴点の３次元位置に適合する平面の情報を算
出する工程と、各画像対より求めた各々の平面の情報に基づいて、対象
平面の平面情報を最適化する工程と、各画像対を利用して求めた各特徴点の３次元位置、及び
最適化された平面の情報に基づいて、各並進成分及び各
３次元位置の拡大係数を算出する工程と、前記撮像手段の姿勢と並進成分、及び最適化された平面
の情報に基づいて、各画像を任意の同一画像面に投影し
て、複数の視点から撮像した画像を合成する工程とを有
することを特徴とする画像入力方法。
【請求項５】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢及び並進成分を検出する
運動検出手段と、基準画像及び基準画像と重複する部分を持つ画像である
参照画像の画像対に基づいて、基準画像における複数の
特徴点を抽出すると共に、参照画像における特徴点と同
一の箇所を示す対応点を検出する対応検出手段と、前記撮像手段の姿勢と並進成分、及び特徴点と対応点に
基づいて、各特徴点の３次元位置を算出する３次元位置
計測手段と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、各画像対を利用して求めた各特徴点の３次元位置、及び
前記平面算出手段が算出した平面の情報に基づいて、各
並進成分及び各３次元位置の拡大係数を算出する拡大係
数算出手段と、前記撮像手段の姿勢と並進成分、及び前記平面算出手段
が計算した平面の情報に基づいて、各画像を任意の同一
画像面に投影して、複数の視点から撮像した画像を合成
する投影手段とを有することを特徴とする画像入力装
置。
【請求項６】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢及び並進成分を検出する
運動検出手段と、基準画像及び基準画像と重複する部分を持つ画像である
参照画像の画像対に基づいて、基準画像における複数の
特徴点を抽出すると共に、参照画像における特徴点と同
一の箇所を示す対応点を検出する対応検出手段と、前記撮像手段の姿勢と並進成分、及び特徴点と対応点に
基づいて、各特徴点の３次元位置を算出する３次元位置
計測手段と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、該平面算出手段が算出した平面の情報に基づいて、対象
平面の平面情報を最適化する平面最適化手段と、各画像対を利用して求めた各特徴点の３次元位置、及び
前記平面最適化手段が最適化した平面の情報に基づい
て、各並進成分及び各３次元位置の拡大係数を算出する
拡大係数算出手段と、前記撮像手段の姿勢と並進成分、及び前記平面最適化手
段が最適化した平面の情報に基づいて、各画像を任意の
同一画像面に投影して、複数の視点から撮像した画像を
合成する投影手段とを有することを特徴とする画像入力
装置。
【請求項７】撮像手段を用いて先に撮像した画像であ
る基準画像と一部が重複するように複数の視点から対象
平面を撮像すると共に、各撮像時の前記撮像手段の姿勢
及び並進成分を検出する工程と、基準画像及び基準画像と重複する部分を持つ画像である
参照画像の画像対に基づいて、基準画像における複数の
特徴点を抽出すると共に、参照画像における特徴点と同
一の箇所を示す対応点を検出する工程と、前記撮像手段の姿勢と並進成分、特徴点と対応点に基づ
いて、各特徴点の３次元位置を算出する工程と、計測した各特徴点の３次元位置が同一平面上にあるもの
として各特徴点の３次元位置に適合する平面の情報を算
出する工程と、各画像対を利用して求めた各特徴点の３次元位置、及び
算出された平面の情報に基づいて、各並進成分及び各３
次元位置の拡大係数を算出する工程と、前記撮像手段の姿勢と並進成分、及び計算した平面の情
報に基づいて、各画像を任意の同一画像面に投影して、
複数の視点から撮像した画像を合成する工程とを有する
ことを特徴とする画像入力方法。
【請求項８】撮像手段を用いて先に撮像した画像であ
る基準画像と一部が重複するように複数の視点から対象
平面を撮像すると共に、各撮像時の前記撮像手段の姿勢
及び並進成分を検出する工程と、基準画像及び基準画像と重複する部分を持つ画像である
参照画像の画像対に基づいて、基準画像における複数の
特徴点を抽出すると共に、参照画像における特徴点と同
一の箇所を示す対応点を検出する工程と、前記撮像手段の姿勢と並進成分、特徴点と対応点に基づ
いて、各特徴点の３次元位置を算出する工程と、計測した各特徴点の３次元位置が同一平面上にあるもの
として各特徴点の３次元位置に適合する平面の情報を算
出する工程と、各画像対より求めた各々の平面の情報に基づいて、対象
平面の平面情報を最適化する工程と、各画像対を利用して求めた各特徴点の３次元位置、及び
最適化された平面の情報に基づいて、各並進成分及び各
３次元位置の拡大係数を算出する工程と、前記撮像手段の姿勢と並進成分、及び最適化された平面
の情報に基づいて、各画像を任意の同一画像面に投影し
て、複数の視点から撮像した画像を合成する工程とを有
することを特徴とする画像入力方法。