JPH09322055A

JPH09322055A - 電子カメラシステム

Info

Publication number: JPH09322055A
Application number: JP8133647A
Authority: JP
Inventors: Tatsushi Katayama; 達嗣片山; Kotaro Yano; 光太郎矢野; Kenji Hatori; 健司羽鳥; Hideo Takiguchi; 英夫滝口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-05-28
Filing date: 1996-05-28
Publication date: 1997-12-12

Abstract

(57)【要約】【課題】高品質のパノラマ画像を簡便に得る高性能な
電子カメラシステムを提供する。【解決手段】角度検出部１２６は、装置の移動により
発生する装置の角度成分を検出する。画像メモリ１３０
には、角度検出部１２６で検出された角度成分の情報及
び信号処理ユニット１９０で検出された撮影条件を付加
情報として、撮影して得られた各画像に対応して記憶さ
れる。画像合成処理部１７２において、重複領域予測手
段は、画像メモリ１３０に記憶された付加情報に基づい
て、合成する各画像間の重複領域を予測する。また、対
応検出手段は、合成する各画像において、上記重複領域
予測手段で予測された重複領域内での対応点を検出す
る。そして、画像合成手段は、上記対応検出手段で検出
された対応点に基づいて、一連の複数の画像を合成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パノラマ撮影モー
ドで撮影して得られた複数の画像を合成してパノラマ画
像を生成する電子カメラシステムに関するものである。

【０００２】

【従来の技術】従来より、隣り合う画面の一部が重複す
るように被写体像を複数画面に分割して撮影（パノラマ
撮影）し、その撮影で得られた複数の画像を合成してパ
ノラマ画像を生成する電子カメラシステムとして、例え
ば、特開平４−５２６３５に開示されている電子カメラ
とその再生装置がある。この電子カメラシステムは、装
置の三次元位置や方位等のコマ間あるいはカット間を関
係づける情報を検出して映像信号と共に記憶し、該情報
に基づいて映像信号を再生するようになされたものであ
る。これにより、上記電子カメラシステムは、撮影した
画像のコマ間あるいはカット間の位置関係を保持して再
生を行うことにより、コンピュータ内部で三次元空間で
再現する等、種々のアプリケーションに対応することが
できるとしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上述の
ような従来の電子カメラシステムは、複数の画像を合成
してパノラマ画像を生成する場合、ズーム倍率の情報に
基づいて各画像を等倍率の画像に変換してフレームメモ
リに記録すると共に、三次元位置及び方位等の情報を付
帯情報として各画像に対応づけて同時に記録し、その記
録した各画像データを単に合成してパノラマ画像を生成
していた。すなわち、上記電子カメラシステムは、パノ
ラマ撮影して得られた複数の画像を三次元位置及び方位
等の情報に従ってフレームメモリ上にはりつけるのみで
あったため、合成して得られるパノラマ画像は、各画像
が単に配置されたものであった。したがって、つなぎ目
が不連続となり非常に見苦しいパノラマ画像となってし
まっていた。

【０００４】そこで、本発明は、上記の欠点を除去する
ために成されたもので、高品質のパノラマ画像を簡便に
得る高性能な電子カメラシステムを提供することを目的
とする。

【０００５】

【課題を解決するための手段】本発明に係る電子カメラ
システムは、撮像手段により画面の一部が重複するよう
に被写体像を複数画面に分割して撮影し、上記撮像手段
で得られた一連の複数の画像を合成してパノラマ画像を
生成する電子カメラシステムであって、撮影時の撮影条
件を検出する撮影条件検出手段と、撮影時の装置の移動
状態を検出する移動状態検出手段と、撮影して得られた
複数の画像と共に、各画像に対応して上記撮影条件検出
手段で検出された撮影条件及び上記移動状態検出手段で
検出された移動状態の情報を付加情報として記憶する記
憶手段と、上記記憶手段に記憶された付加情報に基づい
て各画像の重複領域を予測して検出する重複領域予測手
段と、上記重複領域予測手段で得られた重複領域を用い
て各画像の該重複領域内の対応関係を検出する対応点検
出手段と、上記対応点検出手段で得られた対応関係の情
報に基づいて上記記憶手段に記憶された一連の複数の画
像を合成してパノラマ画像を生成する画像合成手段とを
備えることを特徴とする。また、本発明に係る電子カメ
ラシステムは、上記移動状態検出手段により、装置の移
動により発生した角度成分を検出することを特徴とす
る。また、本発明に係る電子カメラシステムは、上記移
動状態検出手段で、角速度センサにより上記角度成分を
検出することを特徴とする。また、本発明に係る電子カ
メラシステムは、上記移動状態検出手段により、装置の
移動により発生した並進成分を検出することを特徴とす
る。また、本発明に係る電子カメラシステムは、上記移
動状態検出手段で、加速度センサにより上記並進成分を
検出することを特徴とする。また、本発明に係る電子カ
メラシステムは、撮影時の装置の位置を検出する位置検
出手段を備え、上記記憶手段は、上記位置検出手段で検
出された位置の情報を上記付加情報に含めて記憶するこ
とを特徴とする。また、本発明に係る電子カメラシステ
ムは、上記位置検出手段により、装置の三次元位置を検
出することを特徴とする。また、本発明に係る電子カメ
ラシステムは、上記撮影条件検出手段で検出された撮影
条件及び上記移動状態検出手段で検出された移動状態の
情報に基づいて、上記撮像手段に画像が入力される毎に
各画像の重複領域を示す重複度を逐次検出する重複領域
検出手段と、上記重複領域検出手段で得られた重複度と
所定値とを比較する比較手段と、上記比較手段の比較結
果に基づいて撮影タイミングを制御する制御手段とを備
えることを特徴とする。また、本発明に係る電子カメラ
システムは、上記記憶手段に記憶された一連の複数の画
像を各々球面上に投影変換して球面投影画像を生成する
球面投影変換手段と、上記記憶手段に記憶された一連の
複数の画像及び上記球面投影変換手段で得られた複数の
球面投影画像を選択的に切り換えて上記対応点検出手段
に出力する切換手段と、上記記憶手段に記憶された付加
情報から撮影状況を検出する撮影状況検出手段と、上記
撮影状況検出手段の検出結果に基づいて上記球面投影変
換手段の動作制御を行うと共に、上記切換手段の切り換
え動作を制御する切換制御手段とを備えることを特徴と
する。また、本発明に係る電子カメラシステムは、上記
画像合成手段で得られたパノラマ画像を外部出力する出
力手段を備えることを特徴とする。

【０００６】

【作用】本発明によれば、移動状態検出手段は、装置の
移動により発生する装置の姿勢を移動状態の情報として
検出する。記憶手段には、上記移動状態検出手段で検出
された装置の移動状態の情報及び撮影条件検出手段で検
出された撮影条件を付加情報として、撮影して得られた
各画像に対応して記憶される。重複領域予測手段は、上
記記憶手段に記憶された付加情報に基づいて、合成する
各画像間の重複領域を予測する。対応検出手段は、合成
する各画像において、上記重複領域予測手段で予測され
た重複領域内での対応点を検出する。画像合成手段は、
上記対応検出手段で検出された対応点に基づいて、一連
の複数の画像を合成する。また、本発明によれば、上記
移動状態検出手段は、撮影時の装置の回転移動により発
生した装置の角度成分を検出する。また、本発明によれ
ば、上記移動状態検出手段は、角速度センサにより、上
記角度成分を検出する。また、本発明によれば、上記移
動状態検出手段は、撮影時の装置の並進移動により発生
した装置の並進成分を検出する。また、本発明によれ
ば、上記移動状態検出手段は、加速度センサにより、上
記並進成分を検出する。また、本発明によれば、位置検
出手段は、撮影時の装置の移動により発生した装置の位
置を検出する。上記記憶手段は、上記位置検出手段で得
られた位置の情報を上記付加情報に含めて記憶する。ま
た、本発明によれば、上記位置検出手段は、撮影時の装
置の移動により発生した装置の三次元位置を検出する。
また、本発明によれば、重複領域検出手段は、上記移動
情報検出手段で検出された装置の移動状態の情報及び撮
影条件検出手段で検出された撮影条件に基づいて、逐次
入力される各画像の重複度を演算により逐次検出する。
比較手段は、上記重複領域検出手段で検出された重複度
と予め設定されているしきい値とを比較する。制御手段
は、上記比較手段の比較結果により、上記重複度が上記
しきい値と同等であると判断したタイミングで、装置が
撮影状態となるように装置全体の動作制御を行う。ま
た、本発明によれば、撮影状況検出手段は、記憶手段に
記憶された付加情報から、合成する複数の画像がどのよ
うな撮影により得られたものであるかを検出する。切換
制御手段は、上記撮影状況検出手段の検出結果により、
合成する複数の画像が回転移動により得られたものであ
った場合に、その複数の画像を各々球面上に投影変換し
て球面投影画像を生成するように球面投影変換手段を制
御すると共に、上記球面投影変換手段で得られた球面投
影画像を選択し出力するように切換手段を制御する。ま
た、本発明によれば、出力手段は、上記画像合成手段で
生成されたパノラマ画像を外部出力する。

【０００７】

【発明の実施の形態】まず、本発明の第１の実施の形態
について図面を用いて説明する。

【０００８】本発明に係る電子カメラシステムは、例え
ば、図１に示すような電子カメラシステム１００に適用
される。

【０００９】この電子カメラシステム（以下、単に電子
カメラと言う）１００は、上記図１に示すように、被写
体側から順次設けられた撮像レンズ１０１、絞り１０
２、シャッタ１０８及び撮像素子１０３と、撮像素子１
０３の出力が供給される増幅器１０４と、増幅器１０４
の出力が供給される自動利得制御（ＡＧＣ）回路１０５
と、ＡＧＣ回路１０５の出力が供給されるアナログ／デ
ィジタル（Ａ／Ｄ）変換器１０６と、Ａ／Ｄ変換器１０
６の出力が供給される映像信号処理部１０７と、映像信
号処理部１０７の出力が各々供給される画像メモリ１３
０、合焦検出部１４２及び露出検出部１４３と、映像信
号処理部１０７と接続されたホワイトバランス検出部１
４１及び信号処理ユニット１９０と、信号処理ユニット
１９０の出力が供給されるコントローラ１２０と、コン
トローラ１２０の出力が各々供給されるズーム制御部１
２１、フォーカス制御部１２２、絞り制御部１２３、シ
ャッタ制御部１２４及びフラッシュ制御部１２５と、信
号処理ユニット１９０に接続された撮影モード設定部１
６０及び入出力インターフェース（Ｉ／Ｆ）部１７０
と、Ｉ／Ｆ部１７０の出力が供給される画像合成処理部
１７２と、画像合成処理部１７２の出力が供給される表
示部１７３とを備えている。また、電子カメラ１００
は、フラッシュ制御部１２５により制御されるフラッシ
ュ１０９と、レリーズボタン検出部１５０とを備えてい
る。さらに、電子カメラ１００は、図示していない位置
センサを備えており、上記位置センサの出力は信号処理
ユニット１９０に供給されるようになされている。そし
て、信号処理ユニット１９０の出力はＡＧＣ回路１０５
及び画像メモリ１３０にも供給され、合焦検出部１４２
及び露出検出部１４３の各出力は信号処理ユニット１９
０に供給されるようになされている。また、画像メモリ
１３０の出力はＩ／Ｆ部１７０に供給され、レリーズボ
タン検出部１５０の出力は信号処理ユニット１９０に供
給されるようになされている。

【００１０】ここで、電子カメラ１００は、上述したよ
うな各構成要件に加えて、信号処理ユニット１９０に接
続された角度検出部１２６を備えている。

【００１１】この角度検出部１２６は、ジャイロ等を使
用しており、撮影時に電子カメラ１００が移動されたこ
とにより発生する装置の姿勢を角度成分として検出する
ものである。すなわち、角度検出部１２６は、図２に示
すように、角速度センサ１２６ａと、角速度センサ１２
６ａの出力が供給されるＡ／Ｄ変換器１２６ｂと、Ａ／
Ｄ変換器１２６ｂの出力が供給される角度演算器１２６
ｃからなり、角度演算器１２６ｃの出力が信号処理ユニ
ット１９０に供給されるようになされている。

【００１２】角度センサ１２６ａは、装置の移動により
発生する角度変化に従った出力信号ＶをＡ／Ｄ変換器１
２６ｂに供給する。この出力信号Ｖのレベルは、角速度
に比例したものである。Ａ／Ｄ変換器１２６ｂは、角度
センサ１２６ａからの出力信号Ｖをディジタル化してデ
ィジタルデータＤとして角度演算器１２６ｃに供給す
る。角度演算器１２６ｃは、Ａ／Ｄ変換器１２６ｂから
のディジタルデータＤを、例えば、１ｓ分積分すること
により平均レベルＤａｖｇを求め、この平均レベルＤａ
ｖｇを角度成分に変換して角度信号を得る。そして、角
度演算器１２６ｃで得られた角度信号は、信号処理ユニ
ット１９０に供給される。

【００１３】したがって、この電子カメラ１００は、撮
影時の撮影条件に関する情報等と共に、上述のようにし
て角度検出部１２６で得られた角度信号とを用いてパノ
ラマ画像を生成するようになされている。

【００１４】そこで、まず、パノラマ撮影について説明
する。

【００１５】電子カメラ１００は、撮影モード設定部１
６０を操作することにより、通常撮影モード及びパノラ
マ撮影モード等の撮影モードを設定することができるよ
うになされており、例えば、パノラマ撮影モードに設定
され、図３に示すような遠距離の風景２０を撮影する場
合、近距離の被写体を撮影する場合とは異なり、電子カ
メラ１００を上下左右に並進させても撮影領域は殆どか
わらない。このため、上記図３に示すように、先ず、電
子カメラ１００を位置Ｐ２１に設置した状態（状態１）
において、座標系ＸＹＺ、各座標軸まわりの回転角を
「Ψ」、「Φ」及び「θ」とし、Ｙ軸まわりの回転（パ
ン）あるいはＸ軸まわりの回転（チルト）の動作を行う
ことにより、風景２０の領域Ｒ２１を撮影する。また、
電子カメラ１００を位置Ｐ２２及びＰ２３に設置した状
態（状態２及び状態３）においても、位置Ｐ２１の場合
と同様にして、パンあるいはチルト動作を行うことによ
り、風景２０の領域Ｒ２２及びＲ２３を撮影する。この
とき、領域Ｒ２１と領域Ｒ２２を互いに一部が重複する
ように、また、領域Ｒ２２と領域Ｒ２３を互いに一部が
重複するように撮影する。

【００１６】したがって、位置Ｐ２１での撮影では、図
４に示すような画像Ｉ２１が得られ、位置Ｐ２２での撮
影では、同図に示すような画像Ｉ２２が得られ、位置Ｐ
２３での撮影では、同図に示すような画像Ｉ２３が得ら
れる。そして、３つの画像Ｉ２１，Ｉ２２，Ｉ２３は、
上述した角度検出部１２６で得られた角度信号を用い
て、画像合成処理部１７２により合成された結果、図５
に示すような各画像のつなぎ目（点線部分）が連続とな
るパノラマ画像Ｉ２４が得られる。

【００１７】つぎに、電子カメラ１００の動作について
具体的に説明する。

【００１８】先ず、被写体像は、撮像レンズ１０１によ
り、絞り１０２を介して撮像素子１０３の受光面に投影
される。このとき、撮像レンズ１０１のズーム位置及び
フォーカス位置は、各々コントローラ１２０に接続され
たズーム制御部１２１及びフォーカス制御部１２２によ
り制御される。また、絞り１０２の絞り量も、コントロ
ーラ１２０に接続された絞り制御部１２３により制御さ
れる。

【００１９】撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ
ｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）等からなり、受光
した被写体像を電気信号に変換して増幅器１０４に供給
する。増幅器１０４は、撮像素子１０３からの電気信号
（以下、映像信号と言う）を増幅してＡＧＣ回路１０５
に供給する。ＡＧＣ回路１０５は、信号処理ユニット１
９０からの制御信号に基づいて、増幅器１０４からの映
像信号を増幅又は減衰してＡ／Ｄ変換器１０６に供給す
る。Ａ／Ｄ変換器１０６は、ＡＧＣ回路１０５からの映
像信号をディジタル化して画像データとして映像信号処
理部１０７に供給する。このとき、信号処理ユニット１
９０は、映像信号処理部１０７に供給された画像データ
の信号レベルを検出し、検出した信号レベルが所定のレ
ベルより低い場合には、ＡＧＣ回路１０５で映像信号に
与える利得が上がるような制御信号を生成してＡＧＣ回
路１０５に供給し、検出した信号レベルが所定のレベル
より高い場合には、ＡＧＣ回路１０５で映像信号に与え
る利得が下がるような制御信号を生成してＡＧＣ回路１
０５に供給する。これにより、ＡＧＣ回路１０５から出
力される映像信号は、映像信号処理部１０７で行われる
信号処理に適した所定のレベル幅の信号となる。

【００２０】映像信号処理部１０７は、Ａ／Ｄ変換器１
０６からの画像データに所定の信号処理を施して画像メ
モリ１３０に記憶すると共に、ホワイトバランス検出部
１４１、合焦検出部１４２及び露出検出部１４３に各々
供給する。ホワイトバランス検出部１４１は、映像信号
処理部１０７からの画像データのホワイトバランスの状
態を検出し、その検出結果を映像信号処理部１０７に供
給する。合焦検出部１４２は、映像信号処理部１０７か
らの画像データから撮像レンズ１０１の焦点を検出し、
その検出結果を信号処理ユニット１９０に供給する。露
出検出部１４３は、映像信号処理部１０７からの画像デ
ータから撮像素子１０３における露光量を検出し、その
検出結果を信号処理ユニット１９０に供給する。

【００２１】映像信号処理部１０７は、ホワイトバラン
ス検出部１４１からの検出結果に基づいて、Ａ／Ｄ変換
器１０６からの画像データに対してカラーバランスの調
整を行う。したがって、画像メモリ１３０には、カラー
バランスの調整が行われた画像データが記憶されること
となる。信号処理ユニット１９０は、合焦検出部１４２
及び露出検出部１４３からの各検出結果に基づいて、撮
影条件設定のための制御信号を生成してコントローラ１
２０に供給する。また、信号処理ユニット１９０は、撮
影条件に関する情報を画像メモリ１３０に記憶する。コ
ントローラ１２０は、信号処理ユニット１９０からの制
御信号に基づいて、ズーム制御部１２１、フォーカス制
御部１２２、絞り制御部１２３、シャッタ制御部１２４
及びフラッシュ制御部１２５に各々制御信号を供給す
る。

【００２２】したがって、ズーム制御部１２１、フォー
カス制御部１２２及び絞り制御部１２３は、各々、コン
トローラ１２０からの制御信号に基づいて、撮像レンズ
１０１のズーム位置、撮像レンズ１０１のフォーカス位
置、及び絞り１０２の絞り量が適切な状態となるように
制御することとなる。

【００２３】上述のようにして、電子カメラ１００にお
ける撮影条件が適切に設定される。

【００２４】次に、撮影者は、撮影モード設定部１６０
を操作することにより、撮影モードを、例えば、パノラ
マ撮影モードに設定して撮影を開始する。また、撮影者
は、図示していないレリーズボタンを操作することによ
り、撮影条件の設定（ロック）又は撮影の実行を指示す
る。

【００２５】撮影モード設定部１６０は、撮影者の操作
により、どの撮影モードが設定されたかを検出し、その
検出信号を信号処理ユニット１９０に供給する。レリー
ズボタン検出部１５０は、上記レリーズボタンの操作に
より、第１のストローク位置まで押し下げられたか、又
は第２のストローク位置まで押し下げられたかを検出
し、その検出信号を信号処理ユニット１９０に供給す
る。

【００２６】角度検出部１２６は、上述のようにして、
電子カメラ１００の移動により発生する角度変化に基づ
いた角度信号を生成して信号処理ユニット１９０に供給
する。また、図示していない位置センサは、電子カメラ
１００の三次元位置や方位等を検出し、その検出信号を
信号処理ユニット１９０に供給する。

【００２７】信号処理ユニット１９０は、撮影モード設
定部１６０からの検出信号により、設定された撮影モー
ド応じた制御信号を生成してコントローラ１２０に供給
する。また、信号処理ユニット１９０は、レリーズボタ
ン検出部１５０からの検出信号により、第１ストローク
位置まで押し下げられたと判断した場合には、撮影条件
がロックされるような制御信号を生成してコントローラ
１２０に供給する。これと同時に、信号処理ユニット１
９０は、上記位置センサの検出信号、及び角度検出部１
２６からの角度信号をリセットする。一方、第２ストロ
ーク位置まで押し下げられたと判断された場合、信号処
理ユニット１９０は、シャッタ動作が行われるような制
御信号を生成してコントローラ１２０に供給する。

【００２８】コントローラ１２０は、信号処理ユニット
１９０からの制御信号に基づいて、ズーム制御部１２
１、フォーカス制御部１２２、絞り制御部１２３、シャ
ッタ制御部１２４及びフラッシュ制御部１２５に各々制
御信号を供給すると共に、シャッタ制御部１２４及びフ
ラッシュ制御部１２５にも供給する。

【００２９】したがって、撮像レンズ１０１のズーム位
置、撮像レンズ１０１のフォーカス位置、及び絞り１０
２の絞り量は、撮影者の操作に応じた状態となる。ま
た、シャッタ制御部１２４がコントローラ１２０からの
制御信号に基づいてシャッタ１０８を制御することによ
り、シャッタ１０８が撮影者の操作に応じたシャッタ速
度に制御され、フラッシュ制御部１２５がコントローラ
１２０からの制御信号に基づいてフラッシュ１０９を制
御することにより、撮影者の操作に応じてフラッシュ１
０９のＯＮ／ＯＦＦ動作が制御される。

【００３０】上述のようにして撮影が開始されると、映
像信号処理部１０７から出力される画像データは、画像
メモリ１３０に記憶される。このとき、信号処理ユニッ
ト１９０は、レリーズボタン検出部１５０からの検出信
号に基づいて、フォーカス距離、焦点距離、撮影モード
の識別情報等の撮影条件に関する情報、上述した位置セ
ンサの検出信号及び角度検出部１２６からの角度信号の
情報を付加情報として、映像信号処理部１０７から出力
される画像データに対応づけて画像メモリ１３０に記憶
する。

【００３１】画像合成処理部１７２は、画像メモリ１３
０に記憶されたデータをＩ／Ｆ部１７０を介して読み出
してパノラマ画像を生成する。

【００３２】具体的に説明すると、この画像合成処理部
１７２は、図６に示すように、上記図１のＩ／Ｆ回路１
７０からの画像データが入出力（Ｉ／Ｏ）回路１７２ａ
を介して供給される画像情報分離部１７２ｆと、画像情
報分離部１７２ｆの出力が供給されるコントローラ１７
２ｅ及び画像メモリ１７２ｇと、画像メモリ１７２ｇの
出力が供給される対応点検出部１７２ｂと、対応点検出
部１７２ｂの出力が供給されるパラメータ抽出部１７２
ｄと、パラメータ抽出部１７２ｄの出力が供給される座
標変換処理部１７２ｈと、座標変換処理部１７２ｈの出
力が供給される合成画像用メモリ１７２ｉとを備えてお
り、合成画像用メモリ１７２ｉの出力はＩ／Ｏ回路１７
２ａを介して上記図１の表示部１７３に供給されるよう
になされている。また、画像合成処理部１７２は、コン
トローラ１７２ｅの出力が供給される重複領域予測部１
７２ｃを備えており、重複領域予測部１７２ｃの出力は
対応点検出部１７２ｂに供給されるようになされてい
る。そして、コントローラ１７２ｅは、画像メモリ１７
２ｇと接続されており、画像メモリ１７２ｇの出力は、
座標変換処理部１７２ｈにも供給されるようになされて
いる。

【００３３】上述のような画像合成処理部１７２におい
て、先ず、画像情報分離部１７２ｆは、Ｉ／Ｏ回路１７
２ａからのデータ、すなわち画像メモリ１３０に記憶さ
れた画像データ及び付加情報からなるデータを分離し
て、画像データを画像メモリ１７２ｇに記憶し、付加情
報をコントローラ１７２ｅに供給する。

【００３４】コントローラ１７２ｅは、画像情報分離部
１７２ｆからの付加情報により、各部を制御する。ま
た、コントローラ１７２ｅは、上記付加情報に含まれる
撮影モードの識別情報に基づいて、パノラマ撮影により
得られた一連の複数の画像に対応する画像データを画像
メモリ１７２ｇから順次読み出して対応点検出部１７２
ｂ及び座標変換処理部１７２ｈに供給する。さらに、コ
ントローラ１７２ｅは、上記付加情報に含まれる焦点距
離、三次元位置等の検出信号及び角度信号の情報を重複
領域予測部１７２ｃに供給する。

【００３５】重複領域予測部１７２ｃは、コントローラ
１７２ｅからの焦点距離、三次元位置等の検出信号及び
角度信号の情報をデコードすることにより、各画像の重
複領域を求める。

【００３６】ここで、上記重複領域を求める処理につい
て具体的に説明すると、例えば、図７に示すように、原
点Ｏを中心とするパンニングによりパノラマ撮影する場
合、三次元位置及び角度信号の情報は、上記図３に示し
たＹ軸まわりの回転「Φ」のみの情報となる。そこで、
上記図７において、パン角度（パンニング動作前後の各
光軸３１ａ，３１ｂからなる角度）を「Φ」、電子カメ
ラ１００の画角を「２α」、焦点距離（原点Ｏからセン
サ面３２ａ，３２ｂまでの距離）を「ｆ」とすると、重
複角βは、 β＝２α−β ・・・（１）なる式（１）により得られる。また、各センサ面３２
ａ，３２ｂの各サイズを「Ｈ（ｍｍ）×Ｖ（ｍｍ）」と
すると、センサ面３２ａ，３２ｂにおける各領域ｄｘ
は、ｄｘ＝ｆ・（ｔａｎ（α）−ｔａｎ（α−β））・・・（２）なる式（２）により得られる。これらの式（１）及び
（２）により、各画像３３ａ，３３ｂの重複領域Ｓは、
画像メモリ１７２ｇから読み出された画像３３ａ，３３
ｂの各サイズを「ｎｘ×ｎｙ」とすると、Ｓ＝ｎｘ・ｄｘ／Ｈ・・・（３）なる式（３）により得られる。

【００３７】したがって、重複領域予測部１７２ｃは、
式（１）〜式（３）を用いて各画像の重複領域を求め
る。すなわち、三次元位置等の検出信号及び角度信号の
情報を基に重複領域を予測する。そして、重複領域予測
部１７２ｃは、予測した重複領域の情報を対応点検出部
１７２ｂに供給する。

【００３８】対応点検出部１７２ｂは、例えば、図８に
示すように、画像メモリ１７２ａからの画像３３ａにお
いて、重複領域予測部１７２ｃからの重複領域の情報が
示す領域（重複領域）Ｓから「ｍ×ｍ」サイズの任意の
テンプレートＴを切り出す。そして、対応点検出部１７
２ｂは、切り出したテンプレートＴと、画像３３ａに隣
り合う画像３３ｂのサーチ領域Ｓ’内の画像との間でテ
ンプレートマッチング法による演算を行うことにより、
サーチ領域Ｓ’からテンプレートＴに対応する位置を決
定する。尚、サーチ領域Ｓ’のサイズは、重複領域Ｓと
同じサイズとする。したがって、図９に示すように、上
述のようなテンプレートマッチング法による演算処理
が、重複領域Ｓ内に含まれる各テンプレートＴ₁，
Ｔ₂，・・・，Ｔ _nに対して順次行われることにより、
同図の矢印で示されるような対応点が検出される。そし
て、対応点検出部１７２ｂで検出された対応点の情報
は、パラメータ抽出部１７２ｄに供給される。

【００３９】パラメータ抽出部１７２ｄは、対応点検出
部１７２ｂからの対応点の情報に基づいて、合成処理の
ためのパラメータを抽出し、そのパラメータを座標変換
処理部１７２ｈに供給する。

【００４０】座標変換処理部１７２ｈは、パラメータ抽
出部１７２ｄからのパラメータを用いて、コントローラ
１７２ｅにより読み出された一連の複数の画像データに
アフィン変換等の座標変換処理を施すことによりパノラ
マ画像を生成し、そのパノラマ画像を合成画像用メモリ
１７２ｉに書き込む。

【００４１】合成画像用メモリ１７２ｉに書き込まれた
パノラマ画像は、Ｉ／Ｆ回路１７２ａを介して上記図１
の表示部１７３に供給され、表示部１７３により画面表
示される。

【００４２】上述のように、電子カメラ１００は、装置
の三次元位置及び角度成分に基づいて各画像の重複領域
を予測し、予測した重複領域内の各画像の対応関係を検
出して合成処理を行うようになされているため、つなぎ
目が連続した自然なパノラマ画像を得ることができる。
また、電子カメラ１００は、上記角度成分の情報を各画
像に対応させて画像メモリ１３０に記憶するようになさ
れているため、各画像の重複領域内における対応関係を
検出する際、各画像のデータと共に、各画像に対応した
角度成分の情報を瞬時に得ることができる。このため、
画像のデータのみで重複領域内における対応関係を検出
した場合に比べて、誤対応の発生を低減することができ
ると共に、その検出処理時間を著しく短縮することがで
きる。

【００４３】尚、上述した電子カメラ１００では、角速
度センサ１２６ａを設けることにより、電子カメラ１０
０の移動により発生する角度成分を検出することとした
が、加速度センサ等を設けることにより、電子カメラ１
００の移動により発生する並進成分を検出するようにし
てもよい。また、画像合成処理部１７２で得られたパノ
ラマ画像は、表示部１７３で画面表示されることとした
が、ハードディスク等の記録媒体に保存するようにして
もよい。また、画像合成処理部１７２において、合成す
る画像用の画像メモリ１７２ｇと、パノラマ画像用の合
成画像用メモリ１７２ｈとを各々設けることとしたが、
１つの画像メモリを合成する画像用とパノラマ画像用で
共用するようにしてもよい。また、パノラマ撮影時にチ
ルト動作等が伴う場合にも、上述したパンニング動作に
よる撮影時と同様に、装置の三次元位置及び角度成分を
基に、各画像の重複領域を予測することにより、高品質
のパノラマ画像を生成することができることは言うまで
もない。

【００４４】つぎに、本発明の第２の実施の形態につい
て図面を用いて説明する。

【００４５】本発明に係る電子カメラシステムは、例え
ば、図１０に示すような電子カメラシステム２００に適
用される。

【００４６】この電子カメラシステム（以下、単に電子
カメラと言う）２００は、上記図１の電子カメラ１００
に重複領域演算部２０１を設けたものである。そして、
重複領域演算部２０１には、映像信号処理回路１０７の
出力が供給され、重複領域演算部２０１の出力は、レリ
ーズボタン検出部１５０に供給されるようになされてい
る。

【００４７】尚、上記図１０の電子カメラ２００におい
て、上記図１の電子カメラ１００と同様に動作する箇所
には同じ符号を付し、その詳細な説明は省略する。

【００４８】ここで、上記図３に示したように、パンニ
ング動作により、遠距離の風景２０を各画像の一部が重
複するように撮影し、この重複領域２５，２６の画像情
報を基にパノラマ画像を生成するためには、撮影時に、
重複領域２５，２６が適切に設定される必要がある。

【００４９】そこで、この電子カメラ２００は、重複領
域演算部２０１により、画像が入力される毎に重複領域
を逐次検出するようになされている。

【００５０】例えば、図１１に示すように、パンニング
動作により、映像信号処理部１０７には、第１フレーム
の画像Ｆ₁が入力された後、第２フレームの画像Ｆ₂，
・・・，第ｎフレームの画像Ｆ_n，第（ｎ＋１）フレー
ムの画像Ｆ_n+1，第（ｎ＋２）フレームの画像Ｆ_n+2が
順次入力される。そして、映像信号処理部１０７で所定
の信号処理が行われた各フレームの画像データは、重複
領域演算部２０１に順次供給される。

【００５１】重複領域演算部２０１は、映像信号処理部
１０７から画像データが供給される毎に、例えば、第１
フレームの画像Ｆ₁と第ｎフレームの画像Ｆ_nの重複領
域４０ａ、第１フレームの画像Ｆ₁と第（ｎ＋１）フレ
ームの画像Ｆ_n+1の重複領域４０ｂ、第１フレームの画
像Ｆ₁と第（ｎ＋２）フレームの画像Ｆ_n+2の重複領域
４０ｃを逐次求める。すなわち、重複領域演算部２０１
は、上記図１の電子カメラ１００における重複領域の検
出処理と同様にして、電子カメラ２００の三次元位置及
び角度成分等の情報を用いてパンニング角を求め、上記
式（１）及び式（２）により重複領域を求める。そし
て、重複領域演算部２０１は、求めた重複領域と、予め
設定されているしきい値ｋとを逐次比較し、上記重複領
域としきい値ｋが略等しくなったとき、レリーズボタン
検出部１５０にシャッタ制御信号を供給する。したがっ
て、上記図１１では、第（ｎ＋２）フレームの画像Ｆ
_n+2の入力時にレリーズボタン検出部１５０にシャッタ
制御信号が供給されることとなる。

【００５２】レリーズボタン検出部１５０は、重複領域
演算部２０１からシャッタ制御信号が供給されると、第
２ストローク位置まで押し下げられたことを示す検出信
号に相当する信号、すなわちシャッタ動作を指示する検
出信号を信号処理ユニット１９０に供給する。

【００５３】信号処理ユニット１９０は、レリーズボタ
ン検出部１５０からの検出信号に基づいて、シャッタ制
御部１２４に制御信号を供給する。これにより、シャッ
タ制御部１２４がシャッタ１０８の動作を制御し、シャ
ッタがきられる。

【００５４】上述のように、電子カメラ２００では、上
記図１の電子カメラ１００における重複領域の検出処理
と同様にして、順次入力された各画像の重複領域を逐次
求めし、求めた重複領域が予め設定されたしきい値と略
等しくなったとき、自動的にシャッタ動作するようにな
されているため、パノラマ画像を生成するために適切な
重複度で一連の複数の画像を得ることができる。したが
って、撮影を失敗することなく、つなぎ目が連続した自
然なパノラマ画像を得ることができる。

【００５５】つぎに、本発明の第３の実施の形態につい
て図面を用いて説明する。

【００５６】本発明に係る電子カメラシステムは、例え
ば、図１２に示すような画像合成処理部３００を備える
電子カメラシステムに適用される。

【００５７】この電子カメラシステム（以下、単に電子
カメラと言う）は、上記図１の電子カメラ１００に設け
られた上記図６の画像合成処理部１７２の代わりに上記
図１２の画像合成処理部３００を設けたものである。ま
た、上記電子カメラは、上記図１の電子カメラ１００の
構成要件に加えて、図示していないが、上述したような
電子カメラの移動の際に発生する並進成分を検出するた
めの角速度センサ等の検出部を設けた構成としている。

【００５８】尚、画像合成処理部３００の構成及び動作
以外は、上記図１の電子カメラ１００と同様であるた
め、画像合成処理部３００以外の各部についての詳細な
説明は省略する。また、上記図１２の画像合成処理部３
００において、上記図６の画像合成処理部１７２と同様
に動作する箇所には同じ符号を付し、その詳細な説明は
省略する。

【００５９】ここで、例えば、図１３に示すように、電
子カメラ１００で近距離の原稿４０をパノラマ撮影する
場合、電子カメラ１００を位置Ｐ４１に設置して原稿４
０の領域Ｒ４１を撮影し、電子カメラ１００を位置Ｐ４
１から位置Ｐ１２へ並進移動（上下左右の並進Δｘ及び
Δｙ）させて原稿１０の領域Ｒ４２を撮影する。これに
対して、遠距離の被写体を撮影する場合には、電子カメ
ラ１００を上下左右に並進させても撮影領域は殆どかわ
らないため、上記図３に示したように、パンニングによ
り風景２０等を撮影する。このパンニングによる撮影で
は、例えば、風景２０の中央領域Ｒ２２の画像を基準と
したとき、その両端の領域Ｒ２１，Ｒ２３の画像に台形
状の歪みが発生する。このため、各画像を合成する際に
は、その発生した画像の歪みを考慮する必要ある。

【００６０】しかしながら、上述のようなパンニングに
よる撮影で発生する画像の歪みは、並進移動による撮影
時の画像合成処理では一般に考慮されていないため、パ
ンニングによる撮影と並進移動による撮影に対して同一
の画像合成処理を行うと、画像の劣化が生じることにな
る。

【００６１】そこで、この電子カメラは、画像合成処理
部３００により、合成する各画像の重複領域を予測する
と共に、パンニングによる撮影と並進移動による撮影の
各々に対して最適な画像合成処理を行うようになされて
いる。

【００６２】すなわち、画像合成処理部３００は、上記
図１２に示すように、上記図６の画像合成処理部１７２
の構成要件に加えて、コントローラ１７２ｅ及び画像メ
モリ１７２ｇの各出力が供給されるセレクタ３０４と、
セレクタ３０４の出力が供給される球面写像変換処理部
３０２とを備えており、対応点検出部１７２ｂには、セ
レクタ３０４の出力が直接供給されると共に、セレクタ
３０４の出力が球面写像変換処理部３０２を介して供給
されるようになされている。

【００６３】以下、画像合成処理部３００の動作につい
て説明する。

【００６４】先ず、コントローラ１７２ａは、画像情報
分離部１７２ｆからの付加情報に含まれる三次元位置及
び角度成分の情報を抽出することによりパンニング角度
を得る。そして、コントローラ１７２ａは、そのパンニ
ング角度と予め設定されているしきい値を比較し、パン
ニング角度がしきい値より大きい場合には上記図３に示
したようなパンニングにより撮影されたものであると判
別し、その判別信号をセレクタ３０４に供給する。ま
た、コントローラ１７２ａは、パンニングにより撮影さ
れたものであると判別した場合には、上記付加情報に含
まれる焦点距離の情報もセレクタ３０４に供給する。さ
らに、コントローラ１７２ａは、画像情報分離部１７２
ｆからの付加情報に含まれるフォーカス位置（被写体距
離）、焦点距離、三次元位置及び角度成分の情報を重複
領域予測部３０１に供給する。

【００６５】セレクタ３０４は、コントローラ１７２ａ
からの判別信号により、パンニングによる撮影であった
場合、画像メモリ１７２ｇに書き込まれた一連の複数の
画像データを読み出して球面写像変換処理部３０２に供
給すると共に、コントローラ１７２ａからの焦点距離の
情報も球面写像変換処理部３０２に供給する。一方、並
進移動による撮影であった場合、セレクタ３０４は、画
像メモリ１７２ｇから読み出した一連の複数の画像デー
タを直接対応点検出部１７２ｂに供給する。

【００６６】球面写像変換処理部３０２は、セレクタ３
０４からの各画像データに対して球面写像変換処理を施
す。

【００６７】具体的に説明すると、まず、球面写像変換
処理とは、図１４に示すように、任意の画像Ｉ５１に接
する球面５０を仮定し、上記図１の撮影レンズ１０１の
主点Ｏについて画像Ｉ５１を球面５０に投影することに
より、球面画像Ｉ５２を生成する処理のことである。

【００６８】そこで、図１５に示すように、球面写像変
換処理部３０２に供給される画像データを、例えば、任
意の位置で遠距離撮影された画像Ｉ５１ａと、任意の角
度パンニングして得られた画像Ｉ５１ｂとした場合、球
面写像変換処理部３０２は、セレクタ３０４からの焦点
距離の情報を用いて、焦点距離ｆ１として画像Ｉ５１ａ
を球面５０に投影することにより球面画像Ｉ５２ａを生
成し、また、焦点距離ｆ１として画像Ｉ５１ｂを球面５
０に投影することにより球面画像Ｉ５２ｂを生成する。

【００６９】したがって、焦点距離ｆ１が同一で、かつ
光軸まわりの回転がない場合、球面写像変換処理部３０
２で得られた球面画像Ｉ５２ａと球面画像Ｉ５２ｂは、
球面５０上で連続しているため、これらの球面画像を座
標変換する際に用いるパラメータは、上記図１３に示し
たような上下左右の並進Δｘ及びΔｙのみのパラメータ
とすることができる。しかしながら、実際には、焦点距
離ｆ１及び光軸まわりの回転θの誤差等があるため、こ
こでは、座標変換処理を行う際に、上下左右の並進Δｘ
及びΔｙと、焦点距離ｆ１と、光軸まわりの回転θとを
上記パラメータとして用いる。これにより、パンニング
による撮影時の座標変換処理に、並進移動による撮影時
と同一のパラメータを用いることができる。

【００７０】上述のようにして、パンニングにより撮影
された画像であった場合には、球面写像変換処理部３０
２で球面写像変換処理が行われ、その処理により得られ
た一連の複数の球面画像データが対応点検出部１７２ｂ
に供給される。また、並進移動により撮影された画像で
あった場合には、画像メモリ１７２ｇに書き込まれた一
連の複数の画像データがそのまま対応点検出部１７２ｂ
に供給される。

【００７１】一方、重複領域予測部３０１は、コントロ
ーラ１７２ｅからの被写体距離、焦点距離、三次元位置
及び角度成分の情報を用いて、各画像の重複領域を予測
する。

【００７２】例えば、各画像の位置関係を上下左右の並
進Δｘ及びΔｙで略表すことができるとした場合、図１
６に示すように、被写体距離を「Ｌ」、並進量を「Δ
ｘ」、センサ面の幅を「ｈ」、焦点距離を「ｆ」とする
と、重複領域Ｓは、Ｓ＝ｈ−ｆ・Δｘ／Ｌ・・・（５）なる式（５）により得ることができる。

【００７３】したがって、重複領域予測部３０１は、上
記（５）を用いて、重複領域Ｓを画像メモリ１７２ｇに
書き込まれた画像データのサイズに変換して重複領域を
予測し、その結果得られた重複領域の情報を対応点検出
部１７２ｂに供給する。

【００７４】対応点検出部１７２ｂは、重複領域予測部
３０１からの重複領域の情報に基づいて、セレクタ３０
４又は球面写像変換処理部３０２からの各画像の重複領
域内の対応点を検出してパラメータ抽出部３０３に供給
する。

【００７５】パラメータ抽出部３０３は、対応点検出部
１７２ｂからの対応点の情報に基づいて、合成処理のた
めのパラメータを抽出し、そのパラメータを座標変換処
理部１７２ｈに供給する。

【００７６】座標変換処理部１７２ｈは、パラメータ抽
出部１７２ｄからのパラメータを用いて、コントローラ
１７２ｅにより読み出された一連の複数の画像データに
アフィン変換等の座標変換処理を施すことによりパノラ
マ画像を生成し、そのパノラマ画像を合成画像用メモリ
１７２ｉに書き込む。

【００７７】上述のように、この電子カメラでは、パン
ニングして得られた画像であると判別された画像に対し
て球面写像変換処理を行うようになされているため、パ
ンニングによる撮影又は並進移動による撮影等の撮影状
況に係わらず同一の画像合成処理を行うことができる。
すなわち、撮影状況によらずに常に適切な画像合成処理
を行うことができる。したがって、パンニングして撮影
した場合でも、移動並進して撮影した場合でも、常に高
品質のパノラマ画像を得ることができる。また、三次元
位置及び角度成分の情報に基づいて、各画像の重複領域
を予測してパノラマ画像を生成するようになされている
ため、処理時間を短縮することができ、高精度にパノラ
マ画像を生成することができる。

【００７８】尚、上述した電子カメラでは、画像合成処
理部３００を上記図１の電子カメラ１００に設けられた
画像合成処理部１７２の代わりに設けることとしたが、
上記図１０の電子カメラ２００に設けられた画像合成処
理部１７２の代わりに設けるようにしてもよい。

【発明の効果】以上説明したように本発明によれば、撮
影して得られた画像と共に保持されている撮影時の撮影
条件及び撮影時の装置の移動により発生した装置の移動
状態の情報を瞬時に得て、それらの情報に基づいて各画
像間の重複領域を予測し、その重複領域内における各画
像の対応関係を得るように構成したことにより、撮影し
て得られた画像のみで各画像の重複領域内の対応関係を
得る場合に比べて、処理時間を著しく短縮することがで
きる。また、対応関係の誤検出の発生も著しく低減する
ことができる。したがって、短時間で高品質のパノラマ
画像を得ることができる。すなわち、装置の性能を高性
能とすることができ、高品質のパノラマ画像を簡易に得
ることができる。また、本発明によれば、撮影時の撮影
条件及び撮影時の装置の移動により発生した角度成分の
情報に基づいて、合成する各画像間の重複領域を予測す
るように構成したことにより、短時間で高品質のパノラ
マ画像を得ることができる。また、本発明によれば、角
速度センサにより上記角度成分を得るように構成したこ
とにより、短時間で高品質のパノラマ画像を得ることが
できる。また、本発明によれば、撮影時の撮影条件及び
撮影時の装置の移動により発生した並進成分の情報に基
づいて、合成する各画像間の重複領域を予測するように
構成したことにより、短時間で高品質のパノラマ画像を
得ることができる。また、本発明によれば、加速度セン
サにより上記並進成分を得るように構成したことによ
り、短時間で高品質のパノラマ画像を得ることができ
る。また、本発明によれば、撮影時の装置の移動により
発生した装置の位置の情報に基づいて、合成する各画像
間の重複領域をさらに瞬時に予測するように構成したこ
とにより、さらに短時間で高品質のパノラマ画像を得る
ことができる。また、本発明によれば、撮影時の装置の
移動により発生した装置の三次元位置の情報に基づい
て、合成する各画像間の重複領域をさらに瞬時に予測す
るように構成したことにより、さらに短時間で高品質の
パノラマ画像を得ることができる。また、本発明によれ
ば、撮影時の装置の移動により発生した装置の移動状態
の情報に基づいて、画像が入力される毎に各画像の重複
領域を逐次求め、画像を合成するために適切な重複度に
おいて自動的に撮影するように構成したことにより、装
置の性能をさらに高性能とすることができる。例えば、
撮影の失敗を防止することができると共に、操作性を著
しく向上させることができる。また、本発明によれば、
撮影時の装置の移動により発生した装置の移動状態の情
報に基づいて判別された撮影状況に対して、適切な画像
合成処理を行うような構成としたことにより、常に高品
質のパノラマ画像を簡易に得ることができる。また、本
発明によれば、生成したパノラマ画像を外部出力するよ
うな構成としたことにより、外部接続された装置に上記
パノラマ画像を与えることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態において、本発明に
係る電子カメラシステムの構成を示すブロック図であ
る。

【図２】上記電子カメラシステムの角度検出部の構成を
示すブロック図である。

【図３】パンニングして遠距離の被写体をパノラマ撮影
する場合を説明するための図である。

【図４】上記パノラマ撮影により得られる一連の複数の
画像を説明するための図である。

【図５】上記一連の複数の画像を合成して得られるパノ
ラマ画像を説明するための図である。

【図６】上記電子カメラシステムの画像合成処理部の構
成を示すブロック図である。

【図７】上記画像合成処理部で重複領域を予測する処理
を説明するための図である。

【図８】上記画像合成処理部で重複領域における対応点
を検出する処理を説明するための図である。

【図９】上記対応点の検出より得られる対応点を説明す
るための図である。

【図１０】本発明の第２の実施の形態において、本発明
に係る電子カメラシステムの構成を示すブロック図であ
る。

【図１１】上記電子カメラシステムで重複領域を予測す
る処理を説明するための図である。

【図１２】本発明の第３の実施の形態において、本発明
に係る電子カメラシステムの画像合成処理部の構成を示
すブロック図である。

【図１３】並進移動して近距離の被写体をパノラマ撮影
する場合を説明するための図である。

【図１４】球面写像を説明するための図である。

【図１５】上記画像合成処理部で球面写像変換を行う処
理を説明するための図である。

【図１６】上記画像合成処理部で重複領域を予測する処
理を説明するための図である。

【符号の説明】

１００電子カメラシステム１０１撮影レンズ１０２絞り１０３シャッタ１０４増幅器１０５自動利得制御回路１０６Ａ／Ｄ変換器１０７映像信号処理回路１０９フラッシュ１２０コントローラ１２１ズーム制御部１２２フォーカス制御部１２３絞り制御部１２４シャッタ制御部１２６角度検出部１３０画像メモリ１４１ホワイトバランス検出部１４２合焦検出部１４３露出検出部１５０レリーズボタン検出部１５５リセットボタン１６０撮影モード設定部１７０Ｉ／Ｆ部１７２画像合成部１７３表示部

フロントページの続き (72)発明者滝口英夫東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】撮像手段により画面の一部が重複するよ
うに被写体像を複数画面に分割して撮影し、上記撮像手
段で得られた一連の複数の画像を合成してパノラマ画像
を生成する電子カメラシステムであって、撮影時の撮影条件を検出する撮影条件検出手段と、撮影時の装置の移動状態を検出する移動状態検出手段
と、撮影して得られた複数の画像と共に、各画像に対応して
上記撮影条件検出手段で検出された撮影条件及び上記移
動状態検出手段で検出された移動状態の情報を付加情報
として記憶する記憶手段と、上記記憶手段に記憶された付加情報に基づいて各画像の
重複領域を予測して検出する重複領域予測手段と、上記重複領域予測手段で得られた重複領域を用いて各画
像の該重複領域内の対応関係を検出する対応点検出手段
と、上記対応点検出手段で得られた対応関係の情報に基づい
て上記記憶手段に記憶された一連の複数の画像を合成し
てパノラマ画像を生成する画像合成手段とを備えること
を特徴とする電子カメラシステム。
【請求項２】上記移動状態検出手段は、装置の移動に
より発生した角度成分を検出することを特徴とする請求
項１記載の電子カメラシステム。
【請求項３】上記移動状態検出手段は、角速度センサ
により上記角度成分を検出することを特徴とする請求項
２記載の電子カメラシステム。
【請求項４】上記移動状態検出手段は、装置の移動に
より発生した並進成分を検出することを特徴とする請求
項１記載の電子カメラシステム。
【請求項５】上記移動状態検出手段は、加速度センサ
により上記並進成分を検出することを特徴とする請求項
４記載の電子カメラシステム。
【請求項６】撮影時の装置の位置を検出する位置検出
手段を備え、上記記憶手段は、上記位置検出手段で検出された位置の
情報を上記付加情報に含めて記憶することを特徴とする
請求項１記載の電子カメラシステム。
【請求項７】上記位置検出手段は、装置の三次元位置
を検出することを特徴とする請求項６記載の電子カメラ
システム。
【請求項８】上記撮影条件検出手段で検出された撮影
条件及び上記移動状態検出手段で検出された移動状態の
情報に基づいて、上記撮像手段に画像が入力される毎に
各画像の重複領域を示す重複度を逐次検出する重複領域
検出手段と、上記重複領域検出手段で得られた重複度と所定値とを比
較する比較手段と、上記比較手段の比較結果に基づいて撮影タイミングを制
御する制御手段とを備えることを特徴とする請求項１記
載の電子カメラシステム。
【請求項９】上記記憶手段に記憶された一連の複数の
画像を各々球面上に投影変換して球面投影画像を生成す
る球面投影変換手段と、上記記憶手段に記憶された一連の複数の画像及び上記球
面投影変換手段で得られた複数の球面投影画像を選択的
に切り換えて上記対応点検出手段に出力する切換手段
と、上記記憶手段に記憶された付加情報から撮影状況を検出
する撮影状況検出手段と、上記撮影状況検出手段の検出結果に基づいて上記球面投
影変換手段の動作制御を行うと共に、上記切換手段の切
り換え動作を制御する切換制御手段とを備えることを特
徴とする請求項１記載の電子カメラシステム。
【請求項１０】上記画像合成手段で得られたパノラマ
画像を外部出力する出力手段を備えることを特徴とする
請求項１記載の電子カメラシステム。