JP2009103980A - 撮影装置、画像処理装置、及び撮影システム - Google Patents

Abstract

【課題】単眼式の小型の撮像装置で簡単に立体画像を得る。
【解決手段】デジタルカメラ１０は、立体撮影モードに設定されると、レリーズボタン１１６を半押しされている間、一定時間間隔で連続して本撮影を行う。ユーザは、立体撮影モードにおいて、レリーズボタン１１６を半押しした状態でカメラをパンニングしながら被写体の撮影を行う。デジタルカメラ１０は、連写した画像から安定パンニング中に撮影され、かつ両眼視差に最も近い位置で撮影された２枚組みの画像の中から、最も滑らかにパンニングがされている２枚組みの画像を、最も立体視画像に適した２枚組みの画像として抽出する。さらにパンニング方向を検出し、最も立体視画像に適した２枚組みの画像のそれぞれを左目側画像と右目側画像に振り分けて記録する。
【選択図】 図６

Description

本発明は撮影装置、画像処理装置、及び撮影システムに係り、特に単眼式の撮像装置を用いて立体視画像を生成する撮影装置、画像処理装置、及び撮影システムに関する。

両眼による視差を用いた立体画像を得るために、１台のカメラに２つの光学系を設けた多眼カメラを用いた撮影が行なわれる。このような多眼カメラは、複数の光学系や撮像素子が必要となるために装置が複雑かつ大型化する傾向があり、扱いづらいという欠点があった。この問題を解決するために、特許文献１には、被写体に対して水平方向に敷設された軌道上で、単眼式カメラを連続移動させながら撮影する立体画像撮影方法が記載されている。特許文献１の技術によれば、単眼式カメラを用いて簡単に立体撮影作業を行なうことができる。また、特許文献２には、既に得られている第１の画像を用いて、第１の画像の座標を所定方向に所定量だけずらした後、所定倍数で変倍して第２の画像を作成し、第１の画像と第２の画像から立体視画像を作成する立体視画像デ―タ作成方法が記載されている。この技術によれば、既に得られている画像に基づいて、一組の立体視用画像を作成することができる
特開平１０−２５４０７９号公報 特開２０００−２２８７７８号公報

しかしながら、特許文献１に記載の装置は、被写体に対して水平方向に敷設された軌道が必要になり、カメラは単眼式であっても装置全体が大掛かりなものになるという欠点があった。また、特許文献２に記載の立体視画像データ作成方法では、第２の画像を作成する画像変形が適切に行えない可能性があり、不自然な画像となる場合があるという問題があった。

本発明はこのような事情に鑑みてなされたもので、単眼式の小型の撮像装置で簡単に立体画像を得ることができる撮影装置、画像処理装置、及び撮影システムを提供することを目的とする。

前記目的を達成するために請求項１に記載の撮影装置は、被写体を画像データに変換する撮像手段と、安定したパンニングを検出するパンニング検出手段と、１回の撮影指示動作において所定の時間間隔で連続して複数の静止画の撮影を行う連続撮影手段と、前記パンニング検出手段によって安定したパンニングが検出されている期間に撮影された複数の静止画の中から立体視画像に最も適した２枚の画像組を抽出する画像抽出手段と、前記最も適した２枚の画像組を記録する記録手段とを備えたことを特徴とする。

これにより、単眼式の小型の撮像装置で簡単に立体画像を得ることができる。

請求項２に示すように請求項１に記載の撮影装置において、前記画像抽出手段は、人体の両眼間隔に近い間隔で撮影された２枚組みの画像組みの中から立体視画像に最も適した２枚の画像組を抽出することを特徴とする。

これにより、最適な２枚組みを抽出することができる。

請求項３に示すように請求項１又は２に記載の撮影装置において、前記連続撮影手段は、動画を撮影する手段であることを特徴とする。

これにより、立体画像の撮影と動画の撮影を両立させることができる。

請求項４に示すように請求項１から３のいずれかに記載の撮影装置において、前記１回の撮影指示動作は、シャッタレリーズボタンの継続した半押し動作であることを特徴とする。

これにより、簡単に立体画像の撮影を行うことができる。

請求項５に示すように請求項１から４のいずれかに記載の撮影装置において、前記撮影装置に作用する加速度を検知する加速度センサを備え、前記パンニング検出手段は前記加速度センサの出力値が所定値未満のパンニング期間を安定したパンニングとして検出することを特徴とする。

これにより、適切に安定したパンニングを検出することができる。

請求項６に示すように請求項５に記載の撮影装置において、前記撮影装置の角度を検知する角度検出手段を備え、前記パンニング検出手段は前記角度検出手段により検出された角度の変化が所定値未満のパンニング期間を安定したパンニングとして検出することを特徴とする。

これにより、装置の向きが変化したときを安定したパンニングから排除することができる。

請求項７に示すように請求項１から４のいずれかに記載の撮影装置において、前記複数の静止画の相関を検知する手段を備え、前記パンニング検出手段は前記複数の静止画の相関に基づいて安定したパンニングを検出することを特徴とする。

これにより、適切に安定したパンニングを検出することができる。

請求項８に示すように請求項７に記載の撮影装置において、前記画像抽出手段は、前記複数の静止画の各画像の相関に基づいて移動する物体が存在する画像を除外することを特徴とする。

これにより、立体視に適さない画像を排除することができる。

請求項９に示すように請求項１から８のいずれかに記載の撮影装置において、前記記録手段は、前記抽出された立体視画像に最も適した２枚の画像組におけるパンニングが右方向の場合には先に撮影された画像を左目用画像、後に撮影された画像を右目用画像として記録し、前記パンニングが左方向の場合には先に撮影された画像を右目用画像、後に撮影された画像を左目用画像として記録することを特徴とする。

これにより、適切に立体視画像を得ることができる。

前記目的を達成するために請求項１０に記載の画像処理装置は、一定時間間隔で連続的に撮影された複数の静止画を取得する取得手段と、前記複数の静止画の各画像の相関から安定したパンニングを検出するパンニング検出手段と、前記パンニング検出手段によって安定したパンニングが検出された期間の複数の静止画の中から立体視画像に最も適した２枚の画像組を抽出する画像抽出手段と、前記最も適した２枚の画像組を記録する記録手段とを備えたことを特徴とする。

これにより、単眼式の小型の撮像装置で撮影した画像から簡単に立体画像を得ることができる。

請求項１１に示すように請求項１０に記載の画像処理装置において、前記一定時間間隔で連続的に撮影された複数の静止画は動画であることを特徴とする。

これにより、単眼式の撮像装置で撮影した動画から簡単に立体画像を得ることができる。

請求項１２に示すように請求項１０又は１１に記載の画像処理装置において、前記画像抽出手段は、前記複数の静止画の各画像の相関に基づいて移動する物体が存在する画像を除外することを特徴とする。

これにより、立体視に適さない画像を排除することができる。

前記目的を達成するために請求項１３に記載の撮影システムは、被写体を画像データに変換する撮像手段と、安定したパンニングを検出するパンニング検出手段と、１回の撮影指示動作において所定の時間間隔で連続して複数の静止画の撮影を行う連続撮影手段と、前記複数の静止画と該複数の静止画を撮影したときの撮影時刻及び前記パンニング検出手段の検出結果を関連付けて記録する記録手段とを備えた撮影装置と、前記記録手段に記録された前記複数の静止画を撮影したときの撮影時刻及び前記パンニング検出手段の検出結果に基づいて、前記複数の静止画の中から立体視画像に最も適した２枚の画像組を抽出する画像抽出手段と、前記最も適した２枚の画像組を記録する記録手段とを備えた画像処理装置と、を有することを特徴とする。

これにより、単眼式の小型の撮像装置で撮影した画像を用いて簡単に立体画像を得ることができる。

本発明によれば、単眼式の小型の撮像装置で簡単に立体画像を得ることができる撮影装置、画像処理装置、及び撮影システムを提供することができる。

以下、添付図面に従って本発明を実施するための最良の形態について説明する。

＜第１の実施の形態＞
図１は、第１の実施の形態のデジタルカメラ１０を正面から見た斜視図であり、図２はデジタルカメラ１０を背面から見た斜視図である。

図１、図２の如くデジタルカメラ１０は、カメラケース１１２の前面の左側に前方に膨らんだグリップ部１１４が形成され、グリップ部１１４が位置するカメラケース１１２の上面にはレリーズボタン１１６が配置されている。このレリーズボタン１１６は、グリップ部１１４を把持したユーザの右手の人指し指によって操作可能な位置に設けられている。レリーズボタン１１６は全押しと半押しからなる二段式となっており、通常は半押し時に後述するＡＥ及びＡＦ動作を行い、全押し時に本撮影を行う。更に、カメラケース１１２の前面の略中央部には、撮影レンズ１１８を保持した沈胴／繰り出し式のテレスコープ型レンズ鏡胴１２０が前方に突出して設けられている。更にまた、カメラケース１１２の前面の右側上部には、キセノン管を有するストロボ発光部１２２が設けられるとともに、カメラケース１１２の背面には図２の如く画像表示装置１２４、モード選択スイッチ１２６、十字キー１２７等の各種スイッチ、及びファインダ１２８がそれぞれ所定の位置に設けられている。

図３は、デジタルカメラ１０の電気的構成を示したブロック図である。デジタルカメラ１０の動作はＣＰＵ１２によって制御される。ＣＰＵ１２は、デジタルカメラ１０の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能し、レリーズボタン１１６、モード選択スイッチ１２６、十字キー１２７等からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１０の各部を制御する。

デジタルカメラ１０の光学系は、主として、絞り１３、フォーカスレンズ群１４及びＣＣＤ１５から構成される。絞り１３は、モータドライバ１６に接続されている。モータドライバ１６は、ＣＰＵ１２からの指令に応じて絞り１３の動作を制御する。フォーカスレンズ群１４は、モータドライバ１７に接続されている。モータドライバ１７は、ＣＰＵ１２からの指令に応じてフォーカスレンズ群１４の動作を制御する。

ＣＣＤ１５は、周知のように多数の受光素子がマトリクス状に配列された受光面を備え、絞り１３、フォーカスレンズ群１４によって結像された被写体光を受光し、受光量に応じた光電荷を蓄積する。ＣＣＤ１５にはタイミングジェネレータ１８が接続されており、ＣＣＤ１５は、タイミングジェネレータ１８から供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。ＣＰＵ１２は、タイミングジェネレータ１８を制御して、ＣＣＤ１５の駆動を制御する。

なお、各画素の電荷蓄積時間（露出時間）は、タイミングジェネレータ１８から与えられる電子シャッタ駆動信号によって決められる。ＣＰＵ１２は、タイミングジェネレータ１８に対して電荷蓄積時間を指示する。

また、画像信号の出力は、デジタルカメラ１０が撮影モードにセットされると開始される。すなわち、デジタルカメラ１０が撮影モードにセットされると、画像表示装置１２４にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると、一旦停止され、本撮影が終了すると、再度開始される。

ＣＣＤ１５から出力される画像信号はアナログ信号であり、このアナログの画像信号は、ＣＤＳ／ＡＭＰ回路１９に取り込まれる。

ＣＤＳ／ＡＭＰ回路１９は、画像信号に含まれるノイズの除去を行い、ノイズ除去された画像信号を所定のゲインで増幅する。このＣＤＳ／ＡＭＰ回路１９で所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換器２０に取り込まれる。

Ａ／Ｄ変換器２０は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素ごとＲ、Ｇ、Ｂの濃度を示す階調値を有している。このデジタルの画像信号は、画像入力コントローラ２１により取り込まれる。

システムバス２５には、ＣＰＵ１２、画像入力コントローラ２１、画像信号処理回路２２、圧縮伸張処理回路２３、ビデオエンコーダ２４、メディアコントローラ２６、ＶＲＡＭ２８、ＳＤＲＡＭ２９、ＡＥ／ＡＷＢ検出回路３０、ＡＦ検出回路３１等が接続される。

画像入力コントローラ２１は、所定容量のラインバッファを内蔵しており、ＣＰＵ１２からの指令に従い、Ａ／Ｄ変換器２０から出力された１画像分の画像信号を蓄積して、ＶＲＡＭ２８に記録する。ＶＲＡＭ２８は、ＣＰＵ１２の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

ＣＰＵ１２はプログラムＲＯＭを内蔵しており、このプログラムＲＯＭにはＣＰＵ１２が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ１２は、このプログラムＲＯＭに記録された制御プログラムをＳＤＲＡＭ２９に読み出し、逐次実行することにより、デジタルカメラ１０の各部を制御する。また、ＳＤＲＡＭ２９は、カメラ設定値、撮影された画像データ等も記録される。

画像信号処理回路２２は、同時化回路、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像信号処理回路２２は、ＣＰＵ１２からの指令に従い、Ａ／Ｄ変換器２０から入力された画像データに所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成し、ビデオエンコーダ２４に出力する。撮影モード時に電子ビューファインダとして使用される際には、生成された画像データが、ビデオエンコーダ２４を介して画像表示装置１２４にスルー画像として表示される。

圧縮伸張処理回路２３は、ＣＰＵ１２からの指令に従い、入力された画像データに所定形式の圧縮処理を施して圧縮画像データを生成し、静止画の２次元画像のデータをＥｘｉｆファイル等の所定のフォーマットの画像ファイルとして記録メディア２７に格納する。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。

記録メディア２７は、デジタルカメラ１０に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

メディアコントローラ２６は、圧縮伸張処理回路２３によって圧縮処理された各画像データを、記録メディア２７に記録する。一方、デジタルカメラ１０が再生モードに設定されると、記録メディア２７に記録されている画像データはメディアコントローラ２６を介して読み出され、この読み出された画像データの圧縮データは、圧縮伸張処理回路２３を介して非圧縮のＹＵＶデータに伸張される。

伸張されたＹＵＶデータは、ビデオエンコーダ２４によって表示用の信号形式に変換されて画像表示装置１２４に出力される。これにより、画像表示装置１２４には記録メディア２７に記録されている画像が表示される。また、ビデオエンコーダ２４は、前述のように画像表示装置１２４にスルー画像を表示されることも可能である。

ＡＥ／ＡＷＢ検出回路３０は、ＣＰＵ１２からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１２は、このＡＥ／ＡＷＢ検出回路１５２から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタ速度を決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１２は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。

ＡＦ検出回路３１は、ＣＰＵ１２からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。本実施の形態のデジタルカメラ１０では、ＣＣＤ１５から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出回路３１は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１２は、このＡＦ検出回路３１で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。

ＸＹＺ軸加速度センサ３２は、三次元方向を同時に測定できる加速度センサであり、デジタルカメラ１０のＸＹＺ方向の加速度を検出することにより、安定したパンニングを検出する。なお、デジタルカメラ１０におけるＸＹＺ軸は、図１に示すように定義する。即ち、被写体にレンズを向けた状態で、右方向をＸ軸の＋方向、上方向をＹ軸の＋方向、及び被写体に近づく方向をＺ軸の＋方向とする。また、パンニングとは、デジタルカメラ１０のＸ方向の移動のことを指す。

図４（ａ）は、半導体基板２０１に形成されたＸＹＺ軸加速度センサ３２を示し、図４（ｂ）は、図４（ａ）で示したＸＹＺ軸加速度センサ３２を片持ち構造として加工したところを示した図である。

図４（ａ）に示すように、半導体基板２０１に、肉厚のおもり部２０２、たわみ部２０３が形成され、たわみ部２０３には、Ｘ成分加速度検出用ピエゾ抵抗素子Ｒ_Ｘ１〜Ｒ_Ｘ４、Ｙ成分加速度検出用ピエゾ抵抗素子Ｒ_Ｙ１〜Ｒ_Ｙ４、及びＺ成分加速度検出用ピエゾ抵抗素子Ｒ_Ｚ１〜Ｒ_Ｚ４が配置されている。

各ピエゾ抵抗素子は、ピエゾ効果により圧力を受けると抵抗値が変化する。図５に示すように、Ｘ軸、Ｙ軸、Ｚ軸方向毎にブリッジ回路を構成することによりこの抵抗値の変化を検出し、ＸＹＺ軸の加速度を検出する。例えば、図４（ｂ）に示すように、ＸＹＺ軸加速度センサ３２を固定部２０４に片持ちに固定した状態でＸ軸方向に加速度がかかると、ピエゾ抵抗素子Ｒ_Ｚ１〜Ｒ_Ｚ４の抵抗値は変化せず、ピエゾ抵抗素子Ｒ_Ｘ１、Ｒ_Ｘ３、Ｒ_Ｙ１、Ｒ_Ｙ４の抵抗値は増加し、ピエゾ抵抗素子Ｒ_Ｘ２、Ｒ_Ｘ４、Ｒ_Ｙ２、Ｒ_Ｙ３の抵抗値は減少する。この抵抗値の変化を図５に示すブリッジ回路で検出することにより、Ｘ軸方向の加速度を検出することができる。

なお、本発明においては、三次元方向を同時に測定可能な加速度センサでなく、一次元のみを測定可能な加速度センサを３つ組み合わせて三次元方向を測定してもよい。また、手振れ補正用の加速度センサを搭載している場合は、これを共用してもよい。

次に、本実施の形態のデジタルカメラ１０における立体撮影モードについて説明する。図６は、立体撮影モードにおける動作について示したフローチャートである。

ユーザは、モード選択スイッチ１２６を操作することにより、デジタルカメラ１０を立体撮影モードに設定することができる。デジタルカメラ１０は、立体撮影モードに設定されると、レリーズボタン１１６を半押しされている間、一定時間間隔で連続して本撮影を行う。ユーザは、立体撮影モードにおいて、レリーズボタン１１６を半押しした状態でカメラをパンニングしながら被写体の撮影を行う。デジタルカメラ１０は、連写した画像から最も立体視画像に適した２枚組みの画像を選択して記録する。

デジタルカメラ１０は、立体撮影モードに設定され、レリーズボタン１１６が半押しされたと判断すると（ステップＳ１）、最初にパンニングが行われているか否かの判定を行う（ステップＳ２）。

ここで、本実施の形態におけるデジタルカメラ１０のパンニングの判定について、図７を用いて説明する。図７は、パンニング判定処理の動作を示すフローチャートである。

まず、ＸＹＺ軸加速度センサ３２を用いてＸＹＺの各方向の加速度を検出する（ステップＳ２１）。ＸＹＺ軸加速度センサ３２は、デジタルカメラ１０の電源がＯＮされた時点で静止状態であると仮定してゼロ点調整を行い、その後、ＸＹＺの各方向の加速度を検出する。この検出した加速度をＸＹＺ軸毎に積分し、ＸＹＺ軸毎の速度を算出する（ステップＳ２２）。そして、算出した速度を基に、Ｘ軸の速度が所定値以上であり、かつＹ軸及びＺ軸の速度が所定値未満であるか否かの判定を行う（ステップＳ２３）。ここで、Ｘ軸の速度の所定値とＹ軸及びＺ軸の速度の所定値は、同じ値でもよいし異なる値でもよく、適宜決定すればよい。

この条件に該当しない場合は、フレーミング等のパンニング以外の操作が行われていると判断し（ステップＳ２５）、パンニング判定処理を終了する。該当する場合は、さらに、ＸＹＺの各軸の加速度が所定値未満か否かについて判定を行う（ステップＳ２４）。ＸＹＺ軸のいずれかの加速度が所定値以上の場合は、不安定なパンニングが行われていると判断し（ステップＳ２６）、パンニング判定処理を終了する。また、ＸＹＺの各軸の加速度が所定値未満の場合には、安定したパンニングが行われていると判断し（ステップＳ２７）、処理を終了する。

パンニングが行われているか否かの判定が終了したら、パンニング速度を算出し（ステップＳ３）、本撮影を行い、撮影時刻、パンニング判定結果、速度ベクトル、及び加速度の絶対値の積分値を画像データと共にＶＲＡＭ２８に記憶する（ステップＳ４）。なお、加速度の絶対値の積分値とは、前回の撮影から今回の撮影までの間における、加速度の積分値である。

さらに、所定の時間間隔ｔ０で本撮影が行われるように、レリーズボタン１１６の半押し状態が解除されるまでステップＳ２〜ステップＳ４を繰り返す。

図８は、レリーズボタン１１６が半押しされてから、半押しが解除されるまでにおける、デジタルカメラ１０のＸ軸方向の加速度及び速度、及びＹ軸、Ｚ軸方向の加速度の変化の一例を示した図である。また、図９は、各撮影画像のタグに記録されたメタデータを示している。

デジタルカメラ１０は、この間に時間間隔ｔ０で５回の本撮影を行っている。画像１の撮影時には、Ｘ軸方向の速度がなく停止しているため、前述したパンニング判定は、図７のステップＳ２３においてＮＯ判定となり、パンニング以外と判断される。従って、画像１のファイルのタグには、図９に示すように、撮影時刻がＴ、パンニング判定がパンニング以外、速度ベクトルが（０、０、０）、加速度絶対値の積分値が０、と記録される。加速度絶対値の積分値は、画像１には直前の撮影が無いため、０が記録される。

画像１の本撮影後、Ｘ軸方向にα_Ｘの加速度が時間ｔ１の間発生し、その結果Ｘ軸方向の速度がＶ_Ｘとなっている。画像１の本撮影から時間ｔ０が経過後、画像２の本撮影が行われる。このときＸ軸方向の速度はＶｘが検知され、またＸＹＺ軸方向の加速度が所定値未満であるため、パンニング判定は、安定したパンニングと判定される。従って、画像２のファイルのタグには、図９に示すように、撮影時刻がＴ＋ｔ０、パンニング判定が安定パンニング、速度ベクトルが（Ｖ_Ｘ、０、０）、加速度絶対値の積分値がαＸ・ｔｏ、と記録される。

画像２の本撮影からさらに時間ｔ０が経過後、画像３の本撮影が行われる。図８に示すように、このｔ０の間にはＸ軸、Ｙ軸、Ｚ軸方向とも加速度の変化が無くパンニングが継続している。従って、画像３のファイルのタグには、図９に示すように、撮影時刻がＴ＋２・ｔ０、パンニング判定が安定パンニング、速度ベクトルが（Ｖ_Ｘ、０、０）、加速度絶対値の積分値が０と記録される。

画像３の本撮影からさらに時間ｔ０が経過後、画像４の本撮影が行われる。図８に示すように、このｔ０の間にはＸ軸方向の加速度の変化はないが、画像４の本撮影の時間ｔ２前に、Ｙ軸方向に加速度α_Ｙが発生している。従って、画像４のファイルのタグには、図９に示すように、撮影時刻がＴ＋３・ｔ０、パンニング判定が不安定パンニング、速度ベクトルが（Ｖ_Ｘ、Ｖ_Ｙ、０）、加速度絶対値の積分値がα_Ｙ・ｔ２と記録される。

画像４の本撮影から時間ｔ０が経過後、画像５の本撮影が行われる。この間、Ｘ軸方向に−α_Ｘの加速度が時間ｔ１の間発生し、その結果Ｘ軸方向の速度が０となっている。また、Ｙ軸方向の加速度がα_Ｙから−α_Ｙに切替わった後、画像５の本撮影と同時に０に戻っている。画像５の本撮影時にはＸ軸方向に速度が検知されず、またＸＹＺ軸方向の加速度も所定値未満であるため、パンニング判定は、パンニング以外と判定される。従って、画像５のファイルのタグには、図９に示すように、撮影時刻がＴ＋４・ｔ０、パンニング判定がパンニング以外、速度ベクトルが（０、０、０）、加速度絶対値の積分値がα_Ｘ・ｔ０＋α_Ｙ、ｔ０と記録される。

このように画像５の本撮影を行った後、レリーズボタン１１６の半押し状態が解除されたため、立体撮影を終了する。

ステップＳ１において、レリーズボタン１１６の半押しが解除されたと判断すると、一連の連写画像の中から安定パンニング中に撮影された画像を抽出する（ステップＳ５）。画像の抽出は、ＶＲＡＭ２８に記録された画像の中から、パンニング判定が安定パンニングである画像を抽出することにより行なう。さらに、抽出された画像の中から、画像の撮影位置のずれが、人間の両眼距離Ｌ程度（およそ１０ｃｍ弱）である画像の２枚組みを作成する（ステップＳ６）。ここで、画像の撮影位置のずれは、撮影間隔時間ｔ０及び安定パンニング時の速度Ｖ_Ｘから算出する。図９に示すように、この撮影の例では、画像２と画像３がこの要件を備える画像２枚組みとなる。なお、この画像の２枚組は、連続して撮影された画像でなくてもよい。

次に、作成された画像２枚組みの中から、最も滑らかにパンニングがされている２枚組みを最も立体画像に適切な２枚組みとして抽出する（ステップＳ７）。滑らかにパンニングがされているか否かは、加速度の絶対値の積分値により判断する。図９の例では、画像２と画像３の間の加速度の絶対値の積分値は０である。

さらに、最も立体画像に適切な２枚組みの撮影において、パンニングが右方向か否かを判定する（ステップＳ８）。本実施の形態においては、図１に示すようにデジタルカメラ１０を被写体に向けて構えた状態で左から右へパンニングした場合をＸ軸方向の＋方向と定義しているので、Ｘ軸方向の速度が＋Ｖ_Ｘである図９の例では、右方向のパンニングと判断できる。

パンニングが右方向であると判断した場合は、最も立体画像に適切な２枚組みの先に撮影を行なった画像を左目側画像、後に撮影を行った画像を右目側画像として記録メディア２７に記録する（ステップＳ１０）。逆に、パンニングが左方向であると判断した場合は、最も立体画像に適切な２枚組みの先に撮影を行なった画像を右目側画像、後に撮影を行った画像を左目側画像として記録メディア２７に記録する（ステップＳ１１）。

図１０は、同一画像ファイルに２枚の画像が連結された画像ファイルのデータ構造を模式的に示す図である。従来のデジタルカメラのファイルが２つ連結した構造となっており、最初に右目側画像ファイル、次に左目側画像ファイルが記録されている。図１０に示すように、画像ファイルは、右目側画像のデータの先頭を示すマーカＳＯＩ（Start of Image）の格納領域、右目側画像用のタグ情報格納領域ＡＰＰ１、右目側画像の画像データ（ＪＰＥＧデータ）の格納領域、右目側画像のデータの終了を示すマーカＥＯＩ（End of Image）の格納領域、左目側画像のデータの先頭を示すマーカＳＯＩ（Start of Image）の格納領域、左目側画像用のタグ情報格納領域ＡＰＰ１、左目側画像の画像データ（ＪＰＥＧデータ）の格納領域、左目側画像のデータの終了を示すマーカＥＯＩ（End of Image）の格納領域を含んでいる。

右目側画像用及び左目側画像用のタグ情報格納領域ＡＰＰ１は、ＡＰＰ１マーカ領域、長さ情報領域、Ｅｘｉｆ識別情報領域、Ｔｉｆｆヘッダ領域、ＩＦＤ０領域、Ｅｘｉｆ ＩＦＤ領域、ＤＰＳ ＩＦＤ領域、互換ＩＦＤ領域、ＩＦＤ１領域（サムネイルＩＦＤ領域）、及びサムネイル画像データ領域とを含んでいる。

また、図１１に示すように、２枚の画像を別の画像ファイルに記録することもできる。従来のデジタルカメラと同様のフォルダ構造であり、右目側画像の画像ファイルにはＤＳＣＦ０００１．ＪＰＧのような奇数番号をつけ、その１つ大きいコマ番号（ＤＳＣＦ０００２．ＪＰＧ）を対応する左目側画像とし、記録メディア２７内の同一のフォルダに記録する。

記録メディア２７への画像の記録が終了すると、画像表示装置１２４に撮影が終了した旨を表示し（ステップＳ１１）、立体撮影を終了する。

このように、連写中における安定したパンニングを検出し、立体画像に最も適切な画像を記録することにより、両眼による視差を用いた立体画像を得ることができる。なお、本実施の形態においては、図１に示すＸ軸方向の移動をパンニングと定義したが、デジタルカメラ１０を縦位置に構えたことを検出する手段を設け、縦位置に構えた場合にＹ軸方向をパンニングと定義して、Ｙ軸方向の安定パンニングを検出するように構成してもよい。このように構成することで、デジタルカメラ１０を縦位置に構えて撮影した場合であっても、立体画像を得ることが可能となる。

また、本実施の形態においては、連続して撮影した静止画から立体画像に最も適切な画像を選択したが、動画を撮影し、撮影した動画の各フレームから立体画像に最も適切な画像を選択してもよい。

＜第２の実施の形態＞
図１２は、デジタルカメラ１０の第２の実施の形態のブロック図である。図３に示す第１の実施の形態のブロック図とは、ＸＹＺ軸角速度センサ３３を備えたところが異なる。

ＸＹＺ軸角速度センサ３３は、振動体に働く慣性力（コリオリの力）から角速度を検出する振動ジャイロセンサであり、三次元方向を同時に測定できるように構成されている。図１に示すＸ軸を中心とした回転の速度をＸ軸角速度、Ｙ軸を中心とした回転の速度をＹ軸角速度、Ｚ軸を中心とした回転の速度をＺ軸角速度として出力する。このように、デジタルカメラ１０のＸＹＺ方向の角速度を検出することにより、安定したパンニングを検出する。

なお、本発明においては、三次元方向を同時に測定可能な角速度センサでなく、一次元のみを測定可能な角速度センサを３つ組み合わせて三次元方向を測定してもよい。また、角速度を検出する方法は、力学的な慣性を利用したものに限らず、例えば光学的な干渉を利用したものでもよい。また、角速度を検出するものでなくとも、デジタルカメラ１０の角度の変化を検出できるものであればよい。手振れ補正用の角速度センサを登載している場合は、これを共用してもよい。

次に、第２の実施の形態のデジタルカメラ１０における立体撮影モードについて説明する。図１３は、立体撮影モードにおける動作について示したフローチャートである。なお、図６に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

第１の実施の形態と同様に、デジタルカメラ１０は、立体撮影モードに設定されると、レリーズボタン１１６を半押しされるだけで本撮影を行う。

デジタルカメラ１０は、立体撮影モードに設定され、レリーズボタン１１６が半押しされたと判断すると（ステップＳ１）、最初にパンニングが行われているか否かの判定を行う（ステップＳ２）。

ここで、本実施の形態におけるデジタルカメラ１０のパンニングの判定について、図１４を用いて説明する。図１４は、パンニング判定処理の動作を示すフローチャートである。なお、図７に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

まず、ＸＹＺ軸加速度センサ３２を用いてＸＹＺの各方向の加速度を検出する（ステップＳ２１）。この検出した加速度をＸＹＺ軸毎に積分し、ＸＹＺ軸毎の速度を算出する（ステップＳ２）。そして、算出した速度を基に、Ｘ軸の速度が所定値以上であり、かつＹ軸及びＺ軸の速度が所定値未満であるか否かの判定を行う（ステップＳ２３）。

この条件に該当しない場合は、フレーミング等のパンニング以外の操作が行われていると判断し（ステップＳ２５）、パンニング判定処理を終了する。該当する場合は、さらに、ＸＹＺの各軸の加速度が所定値未満か否かについて判定を行う（ステップＳ２４）。ＸＹＺ軸のいずれかの加速度が所定値以上の場合は、不安定なパンニングが行われていると判断し（ステップＳ２６）、パンニング判定処理を終了する。

ここで、ＸＹＺの各軸の加速度が所定値未満の場合には、ＸＹＺ軸の角速度が所定値未満か否かを判定する（ステップＳ４１）。ＸＹＺ軸の角速度については、ＸＹＺ軸角速度センサ３３により検出を行う。ＸＹＺ軸角速度センサ３３は、ＸＹＺ軸加速度センサ３２と同様に、デジタルカメラ１０の電源がＯＮされた時点で静止状態であると仮定してゼロ点調整を行い、その後、ＸＹＺの各方向の角速度を検出する。ＸＹＺ軸のいずれかの角速度が所定値以上の場合は、不安定なパンニングが行われている判断し（ステップＳ２６）、パンニング判定処理を終了する。ＸＹＺ軸の角速度が所定値未満の場合は、安定したパンニングが行われていると判断し（ステップＳ２７）、処理を終了する。

パンニングが行われているか否かの判定が終了したら、パンニング速度を算出し（ステップＳ３）、本撮影を行い、撮影時刻、パンニング判定結果、速度ベクトル、加速度の絶対値の積分値、及び角速度の絶対値の積分値を画像データと共にＶＲＡＭ２８に記憶する（ステップＳ３１）。なお、角速度の絶対値の積分値とは、前回の撮影から今回の撮影までの間における、角速度の積分値である。

さらに、所定の時間間隔ｔ０で本撮影が行われるように、レリーズボタン１１６の半押し状態が解除されるまでステップＳ２〜ステップＳ３１を繰り返す。

図１５は、レリーズボタン１１６が半押しされてから、半押しが解除されるまでにおける、デジタルカメラ１０のＸ軸方向の加速度及び速度、ＹＺ軸方向の加速度、及びＸＹＺ軸方向の角速度の変化の一例を示した図である。また、図１６は、各撮影画像のタグに記録されたメタデータを示している。

第１の実施の形態と同様に、デジタルカメラ１０は、レリーズボタン１１６が半押しされている間に、時間間隔ｔ０で５回の本撮影を行っている。画像１の撮影時には、Ｘ軸方向の速度がなく停止しているため、前述したパンニング判定は、パンニング以外と判断される。従って、画像１のファイルのタグには、図１６に示すように、撮影時刻がＴ、パンニング判定がパンニング以外、速度ベクトルが（０、０、０）、加速度絶対値の積分値が０、角速度絶対値の積分値が０と記録される。

画像１の本撮影後、Ｘ軸方向にα_Ｘの加速度が時間ｔ１の間発生し、その結果Ｘ軸方向の速度がＶ_Ｘとなっている。画像１の本撮影から時間ｔ０が経過後、画像２の本撮影が行われる。このときＸ軸方向の速度はＶｘが検知され、またＸＹＺ軸方向の加速度が所定値未満であるため、パンニング判定は、安定したパンニングと判定される。従って、画像２のファイルのタグには、図１６に示すように、撮影時刻がＴ＋ｔ０、パンニング判定が安定パンニング、速度ベクトルが（Ｖ_Ｘ、０、０）、加速度絶対値の積分値がαＸ・ｔｏ、角速度絶対値の積分値が０と記録される。

画像２の本撮影からさらに時間ｔ０が経過後、画像３の本撮影が行われる。図１５に示すように、このｔ０の間にはＸ軸、Ｙ軸、Ｚ軸方向とも加速度、角速度の変化が無くパンニングが継続している。従って、画像３のファイルのタグには、図１６に示すように、撮影時刻がＴ＋２・ｔ０、パンニング判定が安定パンニング、速度ベクトルが（Ｖ_Ｘ、０、０）、加速度絶対値の積分値が０、角速度絶対値の積分値が０と記録される。

画像３の本撮影からさらに時間ｔ０が経過後、画像４の本撮影が行われる。図１５に示すように、画像４の本撮影の時間ｔ２前に、Ｙ軸方向に角速度β_Ｙが発生している。従って、画像４のファイルのタグには、図１６に示すように、撮影時刻がＴ＋３・ｔ０、パンニング判定が不安定パンニング、速度ベクトルが（Ｖ_Ｘ、Ｖ_Ｙ、０）、加速度絶対値の積分値が０、角速度絶対値の積分値がβ_Ｙ・ｔ２と記録される。

画像４の本撮影から時間ｔ０が経過後、画像５の本撮影が行われる。この間、Ｘ軸方向に−α_Ｘの加速度が時間ｔ１の間発生し、その結果Ｘ軸方向の速度が０となっている。また、Ｙ軸方向の角速度がβ_Ｙから−β_Ｙに切替わった後、画像５の本撮影と同時に０に戻っている。画像５の本撮影時にはＸ軸方向に速度が検知されず、またＸＹＺ軸方向の加速度も所定値未満であるため、パンニング判定は、パンニング以外と判定される。従って、画像５のファイルのタグには、図１６に示すように、撮影時刻がＴ＋４・ｔ０、パンニング判定がパンニング以外、速度ベクトルが（０、０、０）、加速度絶対値の積分値がα_Ｘ・ｔ０＋α_Ｙ、ｔ０、角速度絶対値の積分値がβ_Ｙ・（２・ｔ１−ｔ２）と記録される。

このように画像５の本撮影を行った後、レリーズボタン１１６の半押し状態が解除されたため、立体撮影を終了する。

ステップＳ１において、レリーズボタン１１６の半押しが解除されたと判断すると、一連の連写画像の中から安定パンニング中に撮影された画像を抽出する（ステップＳ５）。画像の抽出は、ＶＲＡＭ２８に記録された画像の中から、パンニング判定が安定パンニングである画像を抽出することにより行なう。さらに、抽出された画像の中から、画像の撮影位置のずれが、人間の両眼距離Ｌ程度（およそ１０ｃｍ弱）である画像の２枚組みを作成する（ステップＳ６）。ここで、画像の撮影位置のずれは、撮影間隔時間ｔ０及び安定パンニング時の速度から算出する。図１６に示すように、この撮影の例では、画像２と画像３がこの要件を備える画像２枚組みとなる。なお、この画像の２枚組は、連続して撮影された画像でなくてもよい。

次に、作成された画像２枚組みの中から、最も滑らかにパンニングがされている２枚組みを最も立体画像に適切な２枚組みとして抽出する（ステップＳ３２）。滑らかにパンニングがされているか否かは、加速度の絶対値の積分値、及び角速度の絶対値の積分値により判断する。図１６の例では、画像２と画像３の間の加速度の絶対値の積分値、及び角速度の絶対値の積分値は共に０である。

さらに、最も立体画像に適切な２枚組みについて、パンニング方向に基づいて左目側画像と右目側画像を決定する（ステップＳ８〜Ｓ１０）。記録メディア２７への画像ファイルの記録については、第１の実施の形態と同様である。

記録メディア２７への画像の記録が終了すると、画像表示装置１２４に撮影が終了した旨を表示し（ステップＳ１１）、立体撮影を終了する。

このように、連写中における安定したパンニングを検出し、立体画像に最も適切な画像を記録することにより、両眼による視差を用いた立体画像を得ることができる。

第１の実施の形態や第２の実施の形態のデジタルカメラ１０において、連続して撮影を行い、撮影時刻、パンニング判定、速度ベクトル、及び加速度絶対値の積分値、さらに、第２の実施の形態のデジタルカメラ１０の場合には角速度絶対値の積分値を、撮影した画像と共に記録メディア２７に記録するだけでもよい。このように記録された画像ファイル群について、パソコン等を用いて最適な２枚の画像組を抽出することにより、両眼による視差を用いた立体画像を得ることが可能になる。

＜第３の実施の形態＞
図１７は、デジタルカメラ１０の第３の実施の形態のブロック図である。図３に示す第１の実施の形態のブロック図とは、ＸＹＺ軸加速度センサ３２の代わりにフレーム相関演算回路３４を備えたところが異なる。

フレーム相関演算回路３４は、動画のフレーム間の差分からフレーム相関を算出し、主要被写体のＸ軸方向、Ｙ軸方向の動きを検出する回路である。また、フレーム相関から移動被写体の有無を検出することが可能である。

次に、第３の実施の形態のデジタルカメラ１０における、立体画像作成モードについて説明する。図１８は、立体画像作成モードにおける動作について示したフローチャートである。なお、図６に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

まず、立体画像を作成するための動画ファイルを選択し、全てのフレームについて処理が終了したか否かを判定する（ステップＳ５１）。デジタルカメラ１０は、記録メディア２７に記録されている動画ファイルを用いて、立体画像を作成することが可能である。

全てのフレームについて処理が終了していない場合は、まだ処理を行っていないフレームのうち先頭のフレームを１枚再生する（ステップＳ５２）。動画のフレームの再生は、記録メディア２７に記録されている動画データをメディアコントローラ２６を介して読み出し、この読み出された画像データの圧縮データを圧縮伸張処理回路２３を介して非圧縮のＹＵＶデータに伸張することにより行う。

次に、直前フレームとの相関によるＸＹ軸方向の動きを検知する（ステップＳ５３）。ここでは、フレーム相関演算回路３４が、現在処理を行っているフレームデータと、最後に処理を行なった直前のフレームデータとの相関を演算し、フレーム内の相関が最も高い部分の動きをＸＹ軸方向の動きとして検知する。そして、この検知したＸＹ軸方向の動きに基づいて、パンニング判定を行う（ステップＳ５４）。

ここで、本実施の形態におけるデジタルカメラ１０のパンニングの判定について、図１９を用いて説明する。図１９は、パンニング判定処理の動作を示すフローチャートである。

まず、ステップＳ５３で算出したＸＹ軸方向の動きから、ＸＹ軸方向の画面移動量を算出する（ステップＳ６１）。

図２０、図２１は動画の連続するフレームの画像の一例を示す図であり、ともに（ａ）は直前フレームを、（ｂ）は現在のフレームを示している。図２０、図２１に示すように、フレーム内の相関が最も高い部分に基づいてＸＹ軸方向の移動量を算出する。

さらに、この検出した画面移動量と動画のフレームレートから、ＸＹ軸方向の移動速度微分値を算出する（ステップＳ６２）。そして、算出した画面移動量を基に、Ｘ軸方向の移動量が所定値以上であり、かつＹ軸方向の移動量が所定値未満であるか否かの判定を行う（ステップＳ６３）。

この条件に該当しない場合は、フレーミング等のパンニング以外の操作が行われていると判断し（ステップＳ６５）、パンニング判定処理を終了する。該当する場合は、さらに、ＸＹ軸の各方向の移動速度微分値が所定値未満か否かについて判定を行う（ステップＳ６４）。ＸＹ軸方向のいずれかの移動速度微分値が所定値以上の場合は、不安定なパンニングが行われていると判断し（ステップＳ６６）、パンニング判定処理を終了する。また、ＸＹ軸方向の移動速度微分値が所定値未満の場合には、安定したパンニングが行われていると判断し（ステップＳ６７）、処理を終了する。

パンニング判定が終了したら、安定パンニングが終了したか否かについて判定する（ステップＳ５５）。即ち、これまで連続して安定パンニング判定があり、さらに今回の判定において安定パンニングではない判定がされたか否かを判定する。

この条件に該当しない場合は、ステップＳ５１に戻り、同様の処理を繰り返す。安定パンニングが終了したと判断した場合は、これまで処理をしたフレームの中から安定パンニング中に撮影された部分を抽出する（ステップＳ５）。さらに、抽出されたフレームの中から、相関性が最も高く、時間的に最も離れている２枚組を、最も立体画像に適切な２枚組みとして抽出する（ステップＳ５６）。ここで、図２１に示すように、直前フレームに存在していた被写体が現在フレームでは消失している場合については、フレーム内に移動被写体が存在するためにフレーム間の相関性が低いと判断する。

さらに、抽出した最も立体画像に適切な２枚組みについて、パンニング方向に基づいて左目側画像と右目側画像を決定して記録する（ステップＳ８〜Ｓ１０）。記録メディア２７への画像ファイルの記録については、第１の実施の形態と同様であり、動画ファイルとは別に静止画ファイルとして記録する。

左目側画像及び右目側画像の記録が終了したら、安定パンニング終了と判断したフレームの次のフレームから動画フレーム再生を再開し（ステップＳ５７）、動画ファイルの終端と判定されるまで処理を繰り返す（ステップＳ５１）。

図２２は、立体画像作成モードにおいて選択された動画ファイルの各フレームにおける、フレーム相関演算回路３４により算出されたＸ軸移動速度、Ｘ軸移動速度微分値、Ｙ軸移動速度、及びＹ軸移動速度微分値の一例を示した図である。なお、移動速度については、前述した移動量とフレームレートから算出している。

図２２において、フレーム１〜５においては、Ｘ軸方向及びＹ軸方向の速度がなく停止しているため、前述したパンニング判定は、パンニング以外と判断される。

フレーム６〜８においては、Ｘ軸の移動速度の変化が検知される。また、このＸ軸移動速度の変化からＸ軸移動速度微分値が算出される。この間においては、Ｙ軸移動速度は所定値未満であるがＸ軸移動速度微分値が所定値以上であるため、不安定パンニングと判定される。

フレーム９〜１４においては、Ｘ軸移動速度が一定であり、Ｙ軸移動速度及びＸ軸移動速度微分値が所定値未満であるため、安定パンニングと判定される。

フレーム１５〜１７においては、Ｙ軸に移動速度の変化が発生しており、この移動速度の変化からＹ軸移動速度微分値が算出される。従って、Ｘ軸移動速度は一定であるが、所定値以上のＹ軸移動速度微分値が検知されるため、不安定パンニングと判定される。

フレーム１８〜２０においては、Ｘ軸の移動速度の変化が検知され、この移動速度の変化からＸ軸移動速度微分値の変化が検知される。また、Ｙ軸の移動速度の変化も発生しており、Ｙ軸移動速度微分値も検知されるため、これらの移動速度微分値が所定値以上のため、不安定パンニングと判定される。

フレーム２１〜２３においては、Ｘ軸方向及びＹ軸方向の速度がなく停止しているため、パンニング以外と判定される。

このような動画ファイルについて、立体画像作成モードの処理を行うと、フレーム１５におけるステップＳ５４のパンニング判定で、不安定パンニングと判定される。フレーム９〜１４のパンニング判定が安定パンニングであるため、次のステップＳ５５の安定パンニングが終了したか否かの判定においてＹＥＳと判定され、ステップＳ５に移行する。

ステップＳ５では、安定パンニング中に撮影されたフレームとして、フレーム９〜１４が抽出される。さらに、ステップＳ５６において、フレーム９〜１４の中から、相関性が最も高く、時間的に最も離れている２枚組が最も立体画像に適切な２枚組みとして抽出される。ここでは、フレーム９とフレーム１４が抽出される。

さらに、フレーム９の画像とフレーム１４の画像について、パンニング方向に基づいて左目側画像と右目側画像が決定され、記録メディア２７へ記録される。

このように、撮影した動画データから安定したパンニングを検出し、立体画像に最も適切な画像を記録することにより、両眼による視差を用いた立体画像を得ることができる。

第１の実施の形態において、加速度センサを用いずに、本実施の形態と同様に画像の相関から連写中における安定したパンニングを検出し、立体画像に最も適切な画像を記録し、両眼による視差を用いた立体画像を得ることも可能である。

図１は、デジタルカメラ１０を正面から見た斜視図である。 図２は、デジタルカメラ１０を背面から見た斜視図である。 図３は、デジタルカメラ１０の第１の実施の形態のブロック図である。。 図４は、ＸＹＺ軸加速度センサ３２について示した図である。 図５は、Ｘ軸、Ｙ軸、Ｚ軸方向毎のブリッジ回路を示す図である。 図６は、立体撮影モードにおける動作について示したフローチャートである。 図７は、パンニング判定の動作を示すフローチャートである。 図８は、デジタルカメラ１０のＸ軸方向及びＹ軸方向の加速度及び速度の変化の一例を示した図である。 図９は、各撮影画像のタグに記録された情報を示した図である。 図１０は、同一画像ファイルに２枚の画像が連結された画像ファイルのデータ構造を模式的に示す図である。 図１１は、２枚の画像を別の画像ファイルに記録した場合のデータ構造を示す図である。 図１２は、デジタルカメラ１０の第２の実施の形態のブロック図である。 図１３は、立体撮影モードにおける動作について示したフローチャートである。 図１４は、パンニング判定処理の動作を示すフローチャートである。 図１５は、デジタルカメラ１０のＸ軸方向及びＹ軸方向の加速度及び速度の変化の一例を示した図である。 図１６は、各撮影画像のタグに記録された情報を示した図である。 図１７は、デジタルカメラ１０の第３の実施の形態のブロック図である。 図１８は、立体画像作成モードにおける動作について示したフローチャートである。 図１９は、パンニング判定処理の動作を示すフローチャートである。 図２０は、動画の連続するフレームの画像の一例を示す図である。 図２１は、動画の連続するフレームの画像の一例を示す図である。 図２２は、各フレームにおける、Ｘ軸移動速度、Ｘ軸移動速度微分値、Ｙ軸移動速度、及びＹ軸移動速度微分値の一例を示した図である。

符号の説明

１０…デジタルカメラ、１２…ＣＰＵ、１５…ＣＣＤ、２２…画像信号処理回路、２３…圧縮伸張処理回路、２７…記録メディア、３２…ＸＹＺ軸加速度センサ、３３…ＸＹＺ軸角速度センサ、３４…フレーム相関演算回路、１１６…レリーズボタン、１２４…画像表示装置、１２６…モード選択スイッチ、２０１…半導体基板、２０２…おもり部、２０３…たわみ部、Ｒ_Ｘ１〜Ｒ_Ｘ４…Ｘ成分加速度検出用ピエゾ抵抗素子、Ｒ_Ｙ１〜Ｒ_Ｙ４…Ｙ成分加速度検出用ピエゾ抵抗素子、Ｒ_Ｚ１〜Ｒ_Ｚ４…Ｚ成分加速度検出用ピエゾ抵抗素子、

Claims (13)

1. 被写体を画像データに変換する撮像手段と、
   安定したパンニングを検出するパンニング検出手段と、
   １回の撮影指示動作において所定の時間間隔で連続して複数の静止画の撮影を行う連続撮影手段と、
   前記パンニング検出手段によって安定したパンニングが検出されている期間に撮影された複数の静止画の中から立体視画像に最も適した２枚の画像組を抽出する画像抽出手段と、
   前記最も適した２枚の画像組を記録する記録手段と、
   を備えたことを特徴とする撮影装置。
2. 前記画像抽出手段は、人体の両眼間隔に近い間隔で撮影された２枚組みの画像組みの中から立体視画像に最も適した２枚の画像組を抽出することを特徴とする請求項１に記載の撮影装置。
3. 前記連続撮影手段は、動画を撮影する手段であることを特徴とする請求項１又は２に記載の撮影装置。
4. 前記１回の撮影指示動作は、シャッタレリーズボタンの継続した半押し動作であることを特徴とする請求項１から３のいずれかに記載の撮影装置。
5. 前記撮影装置に作用する加速度を検知する加速度センサを備え、前記パンニング検出手段は前記加速度センサの出力値が所定値未満のパンニング期間を安定したパンニングとして検出することを特徴とする請求項１から４のいずれかに記載の撮影装置。
6. 前記撮影装置の角度を検知する角度検出手段を備え、前記パンニング検出手段は前記角度検出手段により検出された角度の変化が所定値未満のパンニング期間を安定したパンニングとして検出することを特徴とする請求項５に記載の撮影装置。
7. 前記複数の静止画の相関を検知する手段を備え、前記パンニング検出手段は前記複数の静止画の相関に基づいて安定したパンニングを検出することを特徴とする請求項１から４のいずれかに記載の撮影装置。
8. 前記画像抽出手段は、前記複数の静止画の各画像の相関に基づいて移動する物体が存在する画像を除外することを特徴とする請求項７に記載の撮影装置。
9. 前記記録手段は、前記抽出された立体視画像に最も適した２枚の画像組におけるパンニングが右方向の場合には先に撮影された画像を左目用画像、後に撮影された画像を右目用画像として記録し、前記パンニングが左方向の場合には先に撮影された画像を右目用画像、後に撮影された画像を左目用画像として記録することを特徴とする請求項１から８のいずれかに記載の撮影装置。
10. 一定時間間隔で連続的に撮影された複数の静止画を取得する取得手段と、
    前記複数の静止画の各画像の相関から安定したパンニングを検出するパンニング検出手段と、
    前記パンニング検出手段によって安定したパンニングが検出された期間の複数の静止画の中から立体視画像に最も適した２枚の画像組を抽出する画像抽出手段と、
    前記最も適した２枚の画像組を記録する記録手段と、
    を備えたことを特徴とする画像処理装置。
11. 前記一定時間間隔で連続的に撮影された複数の静止画は動画であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像抽出手段は、前記複数の静止画の各画像の相関に基づいて移動する物体が存在する画像を除外することを特徴とする請求項１０又は１１に記載の画像処理装置。
13. 被写体を画像データに変換する撮像手段と、
    安定したパンニングを検出するパンニング検出手段と、
    １回の撮影指示動作において所定の時間間隔で連続して複数の静止画の撮影を行う連続撮影手段と、
    前記複数の静止画と該複数の静止画を撮影したときの撮影時刻及び前記パンニング検出手段の検出結果を関連付けて記録する記録手段と、を備えた撮影装置と、
    前記記録手段に記録された前記複数の静止画を撮影したときの撮影時刻及び前記パンニング検出手段の検出結果に基づいて、前記複数の静止画の中から立体視画像に最も適した２枚の画像組を抽出する画像抽出手段と、
    前記最も適した２枚の画像組を記録する記録手段と、を備えた画像処理装置と、
    を有することを特徴とする撮影システム。

Images