JP2011035643A - 多眼撮影方法および装置、並びにプログラム - Google Patents

Abstract

【課題】多眼撮影装置において、マクロ撮影を行った際に、複数の画像間で背景画像の逆相が起きて画像に違和感が生じることを防止する。
【解決手段】主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像を取得し、主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像を取得し、第１の画像に対し、主要被写体以外の領域を透明化する処理を施し、その透明化処理の施された第１の画像と、第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成する。
【選択図】図４

Description

本発明は、例えば立体視画像を作成するために、複数の撮像手段により被写体を撮影して互いに視差の有る画像を得るようにした多眼撮影方法および装置並びにその方法を実行するためのプログラムに関するものである。

従来、複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視できる画像（以下、立体視画像という）は、同一の被写体を異なる位置から複数のカメラを用いて撮影することによって取得された互いに視差のある複数の画像に基づいて生成される。

具体的には、たとえば、複数の画像の色を互いに異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせたりすることにより立体視画像を生成することができる。また、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３Ｄ液晶に表示することによって立体視画像を生成したりする方法も提案されている。

これに対し、特許文献１および特許文献２においては、上記ように互いに視差のある複数の画像に基づいて立体視画像を生成したのでは、レンチキュラレンズや空間変調器などが必要となって構成が複雑となり、また、観察者が目のフォーカスにより距離判断を行うことができないため、観察する立体視画像に不自然さを感じたり、観察者の疲労が増えるという問題を解決するため、上記ように互いに視差のある複数の画像を取得して立体視画像を生成するのではなく、たとえば、互いに異なる距離にある被写体をそれぞれ合焦した状態で撮影した複数の画像データを取得し、その取得した複数の画像データをそれぞれ異なる表示パネルに表示させて重ね合わせることによって、立体的に見える画像を生成することが提案されている。

特開２００６−２６７７６７号公報 特開２００２−３４１４７２号公報 特開平１０−３９４３５号公報

しかしながら、特許文献１や特許文献２に記載の発明のように、近景色、中景および遠景にそれぞれ合焦した状態で撮影した画像を重ね合わせたのでは、単に２次元画像を重ね合わせただけなので、互いに視差のある複数の画像に基づいて生成される立体視画像と比較すると違和感が生じる。

また、特許文献１や特許文献２に記載の方法では、複数枚の画像を重ね合わせて表示するための特別な表示装置が必要であり、コストアップになるとともに、簡易に表示画像を見ることができない。

一方、上述したような互いに視差のある複数の画像を撮影する多眼撮影方法においても、主要被写体に接近した状態で撮影する、いわゆるマクロ撮影がなされることがある。

しかしながら、従来の多眼撮影方法では、そのようなマクロ撮影を行った場合、複数のカメラの輻湊角が大きくなるため、複数の画像間で主要被写体後方のいわゆる背景画像同志の位置ずれが増大し、背景画像がいわゆる逆相となるので、立体視した際に複数の背景画像同志が一致しなくなることがある。

このような背景画像の逆相を解決するためには、背景画像同志で一致する部分だけを使用するようにすればよいが、背景画像の一部分した使用できないため、立体感にあふれる立体視画像を生成することができない。

また、複数のカメラの輻湊角を小さくすれば、いわゆる逆相の問題は解消できるが、撮影レンズの大きさは物理的に決まっているので、マクロ撮影のときにのみ輻湊角を小さくすることはできない。たとえば、特許文献３には、通常の撮影レンズに加え、さらに輻湊角を変更することができるような機構を設けることによって撮影距離に応じて輻湊角を変更する方法が提案されているが、このような方法では、輻湊角を変更可能にするための機構を設ける必要があり、カメラが大型化するとともに、コストアップにもなる。

本発明は上記の事情に鑑みてなされたものであり、マクロ撮影においても、背景画像の逆相による違和感の無い立体視画像を簡易に得ることができる多眼撮影方法および装置並びにその方法を実行するためのプログラムを提供することを目的とする。

本発明の多眼撮影方法は、複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法であって、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得し、複数の撮像系のうちの１つの撮像系を主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像を取得し、各第１の画像に対し、主要被写体以外の領域を透明化する処理を施し、その透明化処理の施された各第１の画像と、第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成することを特徴とする。

本発明の多眼撮影方法は、複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法であって、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得し、各撮像系をそれぞれ主要被写体よりも遠方に合焦させた状態で第２の撮影を行って取得した各画像のうちの１つの画像を第２の画像として取得し、各第１の画像に対し、主要被写体以外の領域を透明化する処理を施し、その透明化処理の施された各第１の画像と、第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成することを特徴とする。

本発明の多眼撮影方法は、複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法であって、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得し、各撮像系をそれぞれ主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像をそれぞれ取得し、各第１の画像に対し、主要被写体以外の領域を透明化する処理を施し、その透明化処理の施された各第１の画像と、その各第１の画像に対応する各第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成することを特徴とする。

また、上記本発明の多眼撮影方法においては、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との識別が困難である場合に、フラッシュ光を照射した状態で第１のマクロ撮影を行って第１の画像を取得するようにできる。

また、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との輝度値の分散をそれぞれ検出し、その検出した各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態で第１のマクロ撮影を行って第１の画像を取得し、各分散の差が閾値未満の場合には、フラッシュ光を照射した状態で第１のマクロ撮影を行って第１の画像を取得するようにできる。

また、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との色相値の分散をそれぞれ検出し、その検出した各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態での第１のマクロ撮影のみを行い、各分散の差が閾値未満の場合には、フラッシュ光を照射した状態とフラッシュ光を照射してない状態でそれぞれ第１のマクロ撮影を行い、その各第１のマクロ撮影によって取得された各第１の画像のうちのいずれか一方の選択を受け付け、その選択された第１の画像に透明化処理を施すとともに、その透明化処理の施された第１の画像と第２の画像とを用いて合成画像の生成を行うようにできる。

本発明の多眼撮影装置は、複数の撮像系を有する多眼撮影装置において、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行うとともに、複数の撮像系のうちの１つの撮像系を主要被写体よりも遠方に合焦させた状態で第２の撮影を行うよう各撮像系を制御する撮像系制御手段と、第１のマクロ撮影によって各撮像系により取得された各第１の画像に対し、主要被写体以外の領域を透明化する処理を施す透明化処理手段と、その透明化処理手段によって透明化処理の施された各第１の画像と、第２の撮影によって取得された第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成する合成画像生成手段とを備えたことを特徴とする。

本発明の多眼撮影装置は、複数の撮像系を有する多眼撮影装置において、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行うとともに、各撮像系をそれぞれ主要被写体よりも遠方に合焦させた状態で第２の撮影を行うよう各撮像系を制御する撮像系制御手段と、第１のマクロ撮影によって各撮像系により取得された各第１の画像に対し、主要被写体以外の領域を透明化する処理を施す透明化処理手段と、その透明化処理手段によって透明化処理の施された各第１の画像と、第２の撮影によって各撮像系によって取得された各画像のうちの１つ画像である第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成する合成画像生成手段とを備えたことを特徴とする。

本発明の多眼撮影装置は、複数の撮像系を有する多眼撮影装置において、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行うとともに、各撮像系をそれぞれ主要被写体よりも遠方に合焦させた状態で第２の撮影を行うよう各撮像系を制御する撮像系制御手段と、第１のマクロ撮影によって各撮像系により取得された各第１の画像に対し、主要被写体以外の領域を透明化する処理を施す透明化処理手段と、透明化処理手段によって透明化処理の施された各第１の画像と、その各第１の画像に対応する各第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成する合成画像生成手段とを備えたことを特徴とする。

また、上記本発明の多眼撮影装置においては、第１のマクロ撮影を行う際、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との識別が困難である場合に、フラッシュ光を照射するフラッシュ制御手段を設けることができる。

また、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との輝度値の分散をそれぞれ検出する輝度分散検出手段と、第１のマクロ撮影を行う際、各分散の差が閾値以上である場合には、フラッシュ光を照射せず、各分散の差が閾値未満の場合にはフラッシュ光を照射するフラッシュ制御手段とをさらに設けることができる。

また、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との色相値の分散をそれぞれ検出する色相分散検出手段と、各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態での第１のマクロ撮影のみを行い、各分散の差が閾値未満の場合には、フラッシュ光を照射した状態とフラッシュ光を照射してない状態でそれぞれ第１のマクロ撮影を行い、その各第１のマクロ撮影によって取得された各第１の画像のうちのいずれか一方の選択を受け付け、その選択された第１の画像に透明化処理を施すとともに、その透明化処理の施された第１の画像と第２の画像とを用いて合成画像の生成を行うよう制御する撮影処理制御手段とをさらに設けることができる。

本発明のプログラムは、複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法をコンピュータに実行させるためのプログラムであって、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得する手順と、複数の撮像系のうちの１つの撮像系を主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像を取得する手順と、各第１の画像に対し、主要被写体以外の領域を透明化する処理を施す手順と、その透明化処理の施された各第１の画像と、第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成する手順とをコンピュータに実行させることを特徴とする。

本発明のプログラムは、複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法をコンピュータに実行させるためのプログラムであって、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得する手順と、各撮像系をそれぞれ主要被写体よりも遠方に合焦させた状態で第２の撮影を行って取得した各画像のうちの１つの画像を第２の画像として取得する手順と、各第１の画像に対し、主要被写体以外の領域を透明化する処理を施す手順と、その透明化処理の施された各第１の画像と、第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成する手順とをコンピュータに実行させることを特徴とする。

本発明のプログラムは、複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法をコンピュータに実行させるためのプログラムであって、各撮像系をそれぞれ主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得する手順と、各撮像系をそれぞれ主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像をそれぞれ取得する手順と、各第１の画像に対し、主要被写体以外の領域を透明化する処理を施す手順と、その透明化処理の施された各第１の画像と、その各第１の画像に対応する各第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成する手順とをコンピュータに実行させることを特徴とする。

ここで、上記「マクロ撮影」とは、撮像系と主要被写体との距離が５０ｃｍ以下の状態で行われる近接撮影のことをいう。

また、上記「各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との識別が困難である場合」とは、主要被写体を含む領域とそれ以外の領域とを識別不可能である場合や、識別できたとしてもその精度が低い場合のことをいう。

本発明による多眼撮影方法および装置並びにプログラムによれば、主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像を取得し、主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像を取得し、第１の画像に対し、主要被写体以外の領域を透明化する処理を施し、その透明化処理の施された第１の画像と、第２の画像の主要被写体以外の領域とを合成して各撮像系に対応する合成画像をそれぞれ生成するようにしたので、先に説明した背景画像の逆相の影響を無くし、あるいは低減することができる。すなわち、上記第２の撮影においては主要被写体よりも遠方を撮影していることから、第１の撮影の場合よりも輻輳角が小さい状態で撮影がなされるので、このときの撮影画像は、背景画像は逆相状態が無くなり、あるいは低減されたものとなる。

また、上記本発明の多眼撮影方法および装置並びにプログラムにおいて、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との輝度値の分散をそれぞれ検出し、その検出した各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態で第１のマクロ撮影を行って第１の画像を取得し、各分散の差が閾値未満の場合には、フラッシュ光を照射した状態で第１のマクロ撮影を行って第１の画像を取得するようにした場合には、撮影画像において主要被写体の輝度が高められるので、主要被写体以外を透明化する処理において、主要被写体の領域をより確実に検出できるようになる。

また、各撮像系の撮影範囲内の主要被写体を含む所定領域とそれ以外の領域との色相値の分散をそれぞれ検出し、その検出した各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態での第１のマクロ撮影のみを行い、各分散の差が閾値未満の場合には、フラッシュ光を照射した状態とフラッシュ光を照射してない状態でそれぞれ第１のマクロ撮影を行い、その各第１のマクロ撮影によって取得された各第１の画像のうちのいずれか一方の選択を受け付け、その選択された第１の画像に透明化処理を施すとともに、その透明化処理の施された第１の画像と第２の画像とを用いて合成画像の生成を行うようにした場合には、第２の撮影、透明化処理および合成処理を不必要に行うことを回避できる。すなわち、上記色相値の分散の差が所定の閾値以上であるのは、通常、撮影範囲全体に主要被写体が存在している場合とみなすことができる。このような場合は背景画像が存在しないから、当然背景画像の逆相も発生しないので、通常のマクロ撮影である第１の撮影を行うだけで何ら問題無く、第２の撮影、透明化の処理および合成の処理を省くことにより、処理の高速化が達成される。

本発明の第１から第３の実施形態によるデジタルカメラの正面部を示す斜視図 図１に示すデジタルカメラの背面部を示す斜視図 図１に示すデジタルカメラの電気的構成を示すブロック図 本発明の第１の実施形態のデジタルカメラにおける立体マクロ撮影処理の流れを示すフローチャート デジタルカメラにおいて表示される被写体の一例を示す模式図 撮影シーンの一例を示す概略図 マクロモードで撮影された左目画像の一例を示す概略図 マクロモードで撮影された右目画像の一例を示す概略図 透明化処理を受けた左目画像の一例を示す概略図 透明化処理を受けた右目画像の一例を示す概略図 主要被写体を非合焦とした左目画像または右目画像の一例を示す概略図 合成された左目画像の一例を示す概略図 合成された右目画像の一例を示す概略図 デジタルカメラに記録される画像ファイルの記録フォーマットの一例を示す図 画像ファイルのその他の記録フォーマットの一例を示す図 本発明の第２の実施形態のデジタルカメラにおける立体マクロ撮影処理の流れを示すフローチャート ほぼ近景のみのようなシーンの撮影画像の一例を示す図 本発明の第３の実施形態のデジタルカメラにおける立体マクロ撮影処理の流れを示すフローチャート 本発明の第３の実施形態のデジタルカメラにおける立体マクロ撮影処理の流れを示すフローチャート ほぼ近景のみのようなシーンのその他の撮影画像の一例を示す図 ストロボ発光状態で撮像された合焦画像とストロボ非発光状態で撮像された合焦画像との選択画面の一例を示す図

１ デジタルカメラ
１０Ｌ 左撮像系
１０Ｒ 右撮像系
１４ 撮影レンズ
１６ ストロボ（フラッシュ）
２４ モニタ
３６ マクロボタン
１１０ ＣＰＵ
１１２ 操作部
１３０Ｚ ズームレンズ
１３０Ｆ フォーカスレンズ
１３４ 撮像素子
１７０ 画像処理部
１７１ 画像合成部

以下、図面を参照して本発明の第１の実施形態を適用したデジタルカメラについて詳細に説明する。図１および図２はそれぞれ、本発明の多眼撮影装置の第１の実施形態を適用したデジタルカメラ１の正面形状、背面形状を示すものである。

このデジタルカメラ１のカメラボディ１２は概略矩形の箱状に形成されており、その正面には、図１に示すように２つの撮影レンズ１４,１４、ストロボ（フラッシュ）１６等が設けられている。また、カメラボディ１２の上面には、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２等が設けられている。

一方、カメラボディ１２の背面には、図２に示すようにモニタ２４、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、マクロボタン３６等が設けられている。またカメラボディ１２の側面には、入出力コネクタ３８が設けられている。

また、図示されていないが、カメラボディ１２の底面には、三脚ネジ穴、開閉自在なバッテリカバー等が設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室、メモリカードを装着するためのメモリカードスロット等が設けられている。

撮影レンズ１４,１４はそれぞれ後述する右撮像系、左撮像系の一部を構成するものであって、沈胴式のズームレンズで構成されており、マクロ撮影機能（近接撮影機能）を有している。これらの撮影レンズ１４,１４は、デジタルカメラ１の電源をＯＮすると、カメラボディ１２から繰り出される。なお、各撮影レンズ１４におけるズーム機構や沈胴機構、マクロ撮影機構は公知のものが適用されており、それらの具体的な説明は省略する。

ストロボ１６はキセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

シャッタボタン１８は、いわゆる「半押し」と「全押し」とで異なる機能を果たす二段ストローク式のスイッチで構成されている。デジタルカメラ１は、モードダイヤル２２で静止画撮影モードを選択し、あるいはメニューから静止画撮影モードを選択した場合の静止画撮影時にシャッタボタン１８を半押しすると、撮影準備処理すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、次いで全押しすると画像の撮影・記録処理を行うように構成されている。なお、デジタルカメラ１には適宜動画撮影機能が付与されてもよいが、それについては本発明と直接的な関係が無いので詳しい説明は省略する。

電源／モードスイッチ２０は、デジタルカメラ１の電源スイッチとして機能するとともに、デジタルカメラ１の再生モードと撮影モードとを切り替える切替手段として機能し、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライドして動くように形成されている。デジタルカメラ１は、この電源／モードスイッチ２０を「再生位置」にセットすると再生モードに設定され、「撮影位置」にセットすると撮影モードに設定され、「ＯＦＦ位置」にセットすると電源がＯＦＦされる。

モードダイヤル２２は、撮影モードの設定に用いられる。このモードダイヤル２２は、カメラボディ１２の上面に回転自在に設けられており、図示しないクリック機構によって、例えば「２Ｄ静止画位置」、「２Ｄ動画位置」、「３Ｄ静止画位置」、「３Ｄ動画位置」にセット可能に設けられている。デジタルカメラ１は、このモードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄつまり一般的な２次元の静止画を撮影する２Ｄ静止画撮影モードに設定され、後述する２Ｄ／３Ｄモード切替フラグ部１６８に２Ｄ静止画撮影モードであることを表すフラグが設定される。また、モードダイヤル２２を「２Ｄ動画位置」にセットすることにより、２Ｄの動画を撮影する２Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ部１６８に２Ｄ動画撮影モードであることを表すフラグが設定される。

また、モードダイヤル２２を「３Ｄ静止画位置」にセットすることにより、３Ｄつまり３次元の静止画（立体視画像）を撮影する３Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ部１６８に３Ｄ静止画撮影モードであることを表すフラグが設定される。さらに、モードダイヤル２２を「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ部１６８に３Ｄ動画撮影モードであることを表すフラグが設定される。

後述するＣＰＵ１１０は、この２Ｄ／３Ｄモード切替フラグ部１６８のフラグを参照して、２Ｄ静止画撮影モード、２Ｄ動画撮影モード、３Ｄ静止画撮影モードまたは３Ｄ動画撮影モードのいずれであるかを把握する。

ここで３Ｄ静止画モードあるいは３Ｄ動画撮影モードとは、一方の撮影レンズ１４を含む右撮像系と、他方の撮影レンズ１４を含む左撮像系によって互いに視差の有る２通りの画像を撮影するモードである。そして、このモードで撮影された２つの画像は、モニタ２４に３次元表示される。３次元表示としては、公知の任意の方式を用いることができる。例えば、２つの画像を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ２４にレンチキュラーレンズを貼り付け、モニタ２４の表示面の所定位置に各画像を表示することにより、左右の目に各画像をそれぞれ入射させて３次元表示を実現するレンチキュラー方式を用いることができる。また、２つの画像の色を例えば赤と青のように異ならせて重ね合わせたり、２つの画像の偏光方向を異ならせて重ね合わせることにより、２つの画像を合成して３次元表示を実現するアナグリフ方式を用いることができる。さらに、モニタ２４のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２４の表示面に２つの画像をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。モニタ２４は、一例としてカラー液晶パネル等の画像表示手段から構成されている。このモニタ２４は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また撮影時には、撮像素子が撮影する画像がモニタ２４にスルー表示され、電子ファインダとして利用される。なお、モニタ２４は、上述した３次元表示の方式に応じた加工がなされているものとする。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２４の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０４の表示面に取り付けられている。

ズームボタン２６は、撮影レンズ１４のズーム倍率を変更する操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

十字ボタン２８は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられている。例えば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにストロボモードを切り替える機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。さらに、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ２４に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられており、このカーソルを移動させることによってモニタ２４に表示された複数の画像の中から１つの画像を選択することができる。

ＭＥＮＵ／ＯＫボタン３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１の設定状態に応じて割り当てられる機能が切り替えられる。上記のメニュー画面では、例えば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ１が持つ全ての調整項目の設定が行われる。デジタルカメラ１は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタン３２は、モニタ２４の表示内容の切り替え指示等を入力するために用いられ、ＢＡＣＫボタン３４は入力操作のキャンセル等の指示を入力するために用いられる。

図３は、上記デジタルカメラ１の主に電気的構成を示すブロック図である。以下、この図３を参照して、電気的構成について説明する。なお以下では、図１および図２中に出ている要素についても、他の要素との関連で説明の必要が有る場合は、適宜説明することとする。

同図に示すようにこのデジタルカメラ１は、ＣＰＵ１１０、操作部（前述のシャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、マクロボタン３６等）１１２、ＲＯＭ１１６、フラッシュＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２、ＡＦ検出部１４４、ＡＥ／ＡＷＢ検出部１４６、圧縮・伸張処理部１５２、メディア制御部１５４、メモリカード１５６、表示制御部１５８、モニタ２４、電源制御部１６０、バッテリ１６２、ストロボ制御部１６４、ストロボ１６、２Ｄ/３Ｄモード切替フラグ部１６８、画像処理部１７０、画像合成部１７１等を備えている。

さらにこのデジタルカメラ１は、右撮像系１０Ｒおよび左撮像系１０Ｌを有している。それらの撮影系は基本的に同じ構成とされ、各撮影系は撮影レンズ１４、ズームレンズ制御部１２４、フォーカスレンズ制御部１２６、絞り制御部１２８、撮像素子１３４、タイミングジェネレータ（ＴＧ）１３６、アナログ信号処理部１３８、Ａ／Ｄ変換器１４０、画像入力コントローラ１４１、デジタル信号処理部１４２を備えている。

ＣＰＵ１１０は、カメラ全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。ＣＰＵ１１０にバス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御データ等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１の動作に関する各種設定情報等が格納されている。

ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。

撮影レンズ１４は、ズームレンズ１３０Ｚ、フォーカスレンズ１３０Ｆ、絞り１３２を含んで構成されている。ズームレンズ１３０Ｚは、図示しないズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４を介してズームアクチュエータの駆動を制御することにより、ズームレンズ１３０Ｚの位置を制御し、撮影レンズ１４のズーミング、つまりズーム倍率を変更する操作を制御する。

フォーカスレンズ１３０Ｆも、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、フォーカスレンズ制御部１２６を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズ１３０Ｆの位置を制御し、撮影レンズ１４のフォーカシングを制御する。

絞り１３２は、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８を介して絞りアクチュエータの駆動を制御することにより、絞り１３２の開口量（絞り値）を制御し、撮像素子１３４への入射光量を制御する。

撮像素子１３４は、所定のカラーフィルタ配列を持つカラーＣＣＤから構成されている。ＣＣＤは、その受光面に二次元的に配列された多数のフォトダイオードを有する。撮影レンズ１４によってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従ってＴＧ１３６から与えられる駆動パルスに基づいて、信号電荷に応じた電圧信号（画像信号）として順次読み出される。なお、この撮像素子１３４はいわゆる電子シャッタの機能を有するもので、上記フォトダイオードへの電荷蓄積時間を制御することにより露光時間（シャッタ速度）が制御される。

本実施形態では、撮像素子１３４としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部１３８は、撮像素子１３４から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路等を含み、撮像素子１３４から出力される画像信号を増幅する。

Ａ／Ｄ変換器１４０は、アナログ信号処理部１３８から出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１は、Ａ／Ｄ変換器１４０から出力されたデジタル画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。

デジタル信号処理部１４２は、ＣＰＵ１１０からの指令に従って、ＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。そしてこのデジタル信号処理部１４２は、ＡＥ／ＡＷＢ検出部１４６で算出された積算値を取り込んでホワイトバランス調整用のゲイン値を算出する処理、画像入力コントローラ１４１を介して取り込まれたＲ、Ｇ、Ｂの各色の画像信号に対するオフセット処理、ガンマ補正処理、ノイズ低減処理等を行う。

ＡＦ検出部１４４は、画像入力コントローラ１４１から取り込まれたＲ、Ｇ、Ｂの各色画像信号を受けて、ＡＦ制御に必要な焦点評価値を算出し、それをＣＰＵ１１０に出力する。ＣＰＵ１１０はＡＦ制御時、上記焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０Ｆを移動させることにより、主要被写体への焦点合わせを行う。

ＡＥ／ＡＷＢ検出部１４６は、画像入力コントローラ１４１から取り込まれたＲ、Ｇ、Ｂの各色画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。ＣＰＵ１１０はＡＥ制御時に、このＡＥ／ＡＷＢ検出部１４６で算出された被写界内エリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定、すなわち、感度、絞り値、シャッタ速度、ストロボ発光の要否等の設定を行う。

またＣＰＵ１１０はＡＷＢ制御時に、ＡＥ／ＡＷＢ検出部１４６で算出された被写界内エリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２に入力し、それをホワイトバランス調整や光源種の検出に適用させる。

圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６に対してデータの読み／書きを制御する。

表示制御部１５８は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御する。すなわち該表示制御部１５８は、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（例えば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。

電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。ストロボ制御部１６４は、ＣＰＵ１１０からの指令に従い、ストロボ１６の発光を制御する。

画像処理部１７０は、後述する本発明に係る画像処理を行うものである。画像合成部１７１は、後述する本発明に係る合焦、非合焦の画像データの合成を行うものであり、その形態は、画像の合成を行う回路であってもよいし、画像合成を行うコンピュータプログラムであってもよい。

なお、本実施形態ではＣＰＵ１１０が、本発明における撮影系制御手段、フラッシュ制御手段、輝度分散検出手段、色相分散検出手段および撮影処理制御手段を構成している。

このデジタルカメラ１の右撮像系１０Ｒおよび左撮像系１０Ｌにより被写体を撮影すると、各撮影系により、互いに視差の有る画像が撮影される。そのような画像を担持するデジタル画像信号を利用すれば、例えば立体視画像を構成したり、測定対象の物体の３次元位置情報を求めたりすることができる。

以下、このデジタルカメラ１においてなされるマクロ撮影時の処理について、その処理の流れを示す図４のフローチャートを参照して説明する。なお本実施形態のデジタルカメラ１は撮像系を２つ有するものであるが、本発明は撮像系を３つ以上有する多眼撮影装置に対しても適用可能である。また、以下の説明においてデジタルカメラ１により自動的になされる処理は、特に説明が無い場合は、基本的にＣＰＵ１１０の制御によってなされるものである。

この場合、まずモードダイヤル２２で「３Ｄ静止画」を選択した後、マクロボタン３６をＯＮすることにより、撮影モードが立体マクロモード（図４のS200）となる。マクロボタン３６がＯＮにされていなければ、通常の３Ｄ静止画を撮影するモードとなる。

このときモニタ２４（図２参照）には自動的に、図５に示すようなＡＦ検出枠５１０が表示される(S205)。このＡＦ検出枠５１０は、合焦させたい被写体領域を示すもので、撮影者が任意の大きさに設定することができる。立体マクロモードでは、指定されたＡＦ検出領域でＡＦ検出を行う。

その後、シャッタボタン１８を半押しする（S210）ことにより、合焦位置検出（S220）が行われる。この合焦位置検出はいわゆるコントラストＡＦと呼ばれる方法で、フォーカシング処理はフォーカスレンズ１３０Ｆ（図３参照）を近距離で合焦する位置から遠距離で合焦する位置へ向けて移動させ、そのとき撮像素子１３４が検出するコントラスト情報のピーク位置を求めることによって行う。具体的には、フォーカスレンズ１３４Ｆを移動させながら、所定の位置で合焦状態を検出するために画像データを取得（サンプリング）し、その取得した画像データは、ＳＤＲＡＭ１２０に一時的に保存（バッファリング）する。

そして、各画像データのコントラスト情報を取得し、そのコントラスト情報が最大となる画像データを取得したときのフォーカス位置が合焦位置として検出される。本実施形態においては、合焦位置の検出はＡＦ検出部１４４が行う。

同時に、ＡＦ制御のために取得された画像データを用いて、右撮像系１０Ｒあるいは左撮像系１０Ｌのデジタル信号処理部１４２において以下の処理がなされる。まず、図５に示したＡＦ検出枠５１０内にあるＡＦ検出領域（これは主要被写体が存在する領域である）内における輝度値の分散（ＺＡＦ）と、それ以外の領域内における輝度値の分散（ＮＺ）とが計算され、その差分が算出される（S230）。次に、その差分と予め設定された閾値（α）との比較をして、｜ＺＡＦ−ＮＺ｜≧αならばストロボ非発光、｜ＺＡＦ−ＮＺ｜＜αならばストロボ発光とするストロボ発光制御がなされる（S240、S250）。分散（ＺＡＦ）と分散（ＮＺ）の計算方法としては、たとえば、下式（１）および下式（２）を計算するようにすればよい。なお、下式（１）,（２）におけるＮは分割ブロック数である。また、下式（２）の分割ブロックとは、下式（１）の分割ブロックと同じ大きさのブロックである。
またストロボ発光量については、マクロ撮影以外の通常の光量と同じ光量では被写体が白飛びしてしまうため、通常の光量よりも少ない光量を発するように、その光量値を予めカメラ内のフラッシュＲＯＭ１１８等に記憶させておき、立体マクロモードのときのみ、少ない光量で発光させるように制御する。また他の方法として、上記分散の差分とストロボ発光量との関係を予め設定しておき、この差分が少なくなるほど大きな光量でストロボを発光させるようにしてもよい。

その後、シャッタボタン１８を全押しすると、右撮像系１０Ｒおよび左撮像系１０Ｌにより各々主要被写体に合焦した画像が撮影（第１の撮影）され、それにより取得された画像データは一時的にＳＤＲＡＭ１２０に保存される。なおこの第１の撮影のとき、前述した｜ＺＡＦ−ＮＺ｜＜αの条件が満たされているならば、主要被写体にストロボ１６からの光が照射される。

このときの取得された画像を、図６に示すシーンを例に取って、図７と図８に示す。図７は左撮像系１０Ｌで取得されたマクロモードでの合焦画像であり、図８は右撮像系１０Ｒで取得されたマクロモードでの合焦画像である。このようにマクロモードでは、２つの撮影レンズ１４の光軸間距離はレンズの物理的大きさと、人間の視差とを考慮して最も立体視が得られ易い距離として６ｃｍ程度になっており、例えばレンズから１０ｃｍの距離にある図６に示すような花を主要被写体としたときには、輻輳角が３４度程度になる。そこでこの場合、主要被写体の背景にある山や雲はそれそれぞれ、左側あるいは右側に偏ったような画像となる。これが、いわゆる背景画像の逆相と言われるものである。

次に、このような画像から主要被写体のみを抽出するために、主要被写体以外の領域を透明化、すなわちデジタル信号値で００ｈにする処理がなされる（S270）。透明化の画像処理は、この処理を実行するプログラムが予め記録された、前述した図３の画像処理部１７０で行なわれる。

この透明化を行うための指標となる値は、合焦画像の画像データの輝度値の分散である。つまり、既に合焦画像を得るときに主要被写体とそれ以外の輝度値の分散が一定以上の差を生じるように撮影しているため、この輝度値の分散を閾値判定することによって、透明化する領域が特定できる。

このようにして図７、図８の画像から得られた透明化画像を、それぞれ図９、図１０に示す。このように、主要被写体である花のみ抽出された画像が得られる。この透明化の画像処理は上述のように画像処理部１７０で行う他、ＣＰＵ１１０の中にその機能を持たせて、そこで行ってもよい。この透明化処理を受けた画像データは、一時的にＳＤＲＡＭ１２０に保存される。

その後、右撮像系１０Ｒまたは左撮像系１０Ｌのズームレンズ１３０Ｚが、マクロモードで合焦していた位置から自動的に、主要被写体より遠方の位置、例えば撮影レンズ１４から約１ｍ離れた位置に合焦する位置（主要被写体に対して非合焦の位置）に設定され、その状態で撮影（第２の撮影）が行われる（S280）。このとき左撮像系１０Ｌまたは右撮像系１０Ｒによって撮影された画像（以下、非合焦画像という）を図１１に示す。このように、図６に示したシーンの「花」「山」「雲」のいずれにも合焦していない画像が得られる。この非合焦画像を示す画像データも、一時的にＳＤＲＡＭ１２０に保存される。

次に、ＳＤＲＡＭ１２０に保存されていた画像データを利用して、図９および図１０の透明化画像と図１１の非合焦画像とをそれぞれ合成する処理がなされる（S290）。このとき非合焦画像は、透明化画像の透明化された領域に相当する領域だけが抽出され、その抽出された部分と透明化画像とが合成される。上記抽出の処理は、この処理を実行するプログラムが予め記録された、図３の画像処理部１７０によって行なわれ、合成処理は同じく図３の画像合成部１７１によって行われる。こうして合成された画像を図１２、図１３に示す。２枚の合成画像の背景画像は同じ画像となるので、背景部分の逆相が無いものとなる。

なお、このように合成される２つの画像は、被写体の大きさが異なる。そこで、このような２つの画像を合成するために、立体マクロモードの合焦画像取得時に設定したＡＦ検出枠の情報（画像内の座標データ）を利用することにより２つの画像の位置合わせを行えば、違和感の無い合成画像が得られる。

その後、合成された画像を示す画像データがメモリカード１５６に記録される（S300）。このときの記録フォーマットを図１４に示す。図１４に示すように、右撮像系１０Ｒによって撮影された画像に基づく画像データを含む右目画像ファイルと、左撮像系１０Ｌによって撮影された画像に基づく画像データを含む左目画像ファイルとをそれぞれ別のファイルで生成し、メモリカード１５６に記録する。

具体的には、右目画像ファイルには、右撮像系１０Ｒに対応する合成画像を含む本画像データと、上記合成画像に縮小処理を施したサムネイル画像データと、右目画像であることを示す情報と上記本画像データと上記サムネイル画像データとを対応付けたヘッダー情報とが含まれている。また、左目画像ファイルには、左撮像系１０Ｌに対応する合成画像を含む本画像データと、上記合成画像に縮小処理を施したサムネイル画像データと、左目画像であることを示す情報と上記本画像データと上記サムネイル画像データとを対応付けたヘッダー情報とが含まれている。

なお、右目画像ファイルのヘッダー情報には、その本画像データと同時に取得された左目画像ファイルの情報が含まれ、左目画像ファイルのヘッダー情報には、その本画像データと同時に取得された右目画像ファイルの情報が含まれており、右目画像ファイルとそれに対応する左目画像ファイルとが、互いのヘッダー情報を介して対応付けられているものとする。

そして、再生モードにおいては、ヘッダー情報に基づいて、右目画像ファイルとそれに対応する左目画像ファイルとがそれぞれ読み出され、これらに基づいて立体視画像が生成されてモニタ２４に表示される。なお、立体視画像の生成方法については、上述したように種々の公知の方法を採用することができる。

また、右目画像ファイルと左目画像ファイルとの組み合わせのファイルセットが複数記録されている場合には、各ファイルセットに含まれるサムネイル画像データに基づいて、各ファイルセットに対応するサムネイル画像の立体視画像をそれぞれ生成してモニタ２４に表示させ、その複数のサムネイル画像のうちのいずれか１つの選択を受け付け、その選択されたサムネイル画像に対応するファイルセットの本画像データに基づいて、立体視画像をモニタ２４に表示するようにしてもよい。

また、画像データの記録フォーマットとしては、その他に、図１５に示すようなものも適用可能である。このフォーマットでは、右目画像ファイル、左目画像ファイルにおいて、立体マクロモードで撮影しかつ画像処理した「透明化した合焦画像」および「非合焦の画像」をさらにそれぞれ記録する。このときヘッダー情報には、ＡＦ検出枠の座標情報等を記録しておく。なお、「非合焦の画像」は、右目画像ファイルと左目画像ファイルとで同じものである。

そして、このようにする場合、再生時には、右目用画像ファイルと左目用画像ファイルからそれぞれ透明化した合焦画像と非合焦画像を読み出し、それらをヘッダー情報に基づいて重ね合わせて右目用合成画像と左目用合成画像を作成し、それらをモニタ２４に表示させることにより、立体視画像を得ることができる。

また、このような記録フォーマットは、マクロ撮影画像だけでなく、その他の撮影モードで撮影された３Ｄ静止画を記録する上でも適用可能であることは勿論である。

以上説明した実施形態においては、焦点距離の異なるレンズで撮影した２枚の画像のうち、マクロ撮影した一方の画像において主要被写体以外を透明化し、その透明化された画像と、マクロ撮影の場合よりも焦点距離がより長く設定された撮影レンズ１４で撮影した他方の画像とを重ね合わせるようにしたので、背景部分に違和感の無い立体視画像を、特別な装置を用いることなく表示あるいは記録可能となる。

また主要被写体以外を透明化する画像の撮影時にはストロボを発光させて、背景との輝度差を意図的に大きくすれば、合焦した主要被写体を明確に識別して、透明化の範囲を適切なものとすることができる。

なお、上記第１の実施形態においては、右撮像系１０Ｒおよび左撮像系１０Ｌのうちのいずれか一方のみを用いて非合焦画像を撮影するようにしたが、右撮像系１０Ｒおよび左撮像系１０Ｌの両方を用いて上記と同様にして第２の撮影を行い、右撮像系１０Ｒおよび左撮像系１０Ｌによって撮影された２つの画像のうちの１つの画像を選択し、その選択した画像を非合焦画像として取得するようにしてもよい。２つの画像のうちの１つの画像の選択については操作者が行うようにしてもよいし、自動的に行うようにしてもよい。

次に、本発明の多眼撮影装置の第２の実施形態を適用したデジタルカメラについて詳細に説明する。上記第１の実施形態のデジタルカメラにおいては、２つの合成画像における背景画像（非合焦画像）として同じものを使用するようにしたが、第２の実施形態のデジタルカメラは、より臨場感のある立体視画像を生成するため、背景画像についても２つの撮像系によって撮影された非合焦画像を用いて合成画像を生成するようにしたものである。なお、第２の実施形態のデジタルカメラの概略構成は、第１の実施形態のデジタルカメラとほぼ同様であり、非合焦画像の取得方法および合成画像の生成方法のみが第１の実施形態のデジタルカメラと異なる。したがって、この点を中心に図１６に示すフローチャートを参照しながら説明する。

まず、立体マクロモードの設定から合焦画像の透明化処理までのステップ（S200〜S270）については、第１の実施形態のデジタルカメラにおける図４に示すS200〜S270までのステップと同様である。

そして、合焦画像に透明化処理を施した後、右撮像系１０Ｒおよび左撮像系１０Ｌの各ズームレンズ１３０Ｚが、マクロモードで合焦していた位置から自動的に、主要被写体より遠方の位置、例えば撮影レンズ１４から約１ｍ離れた位置に合焦する位置（主要被写体に対して非合焦の位置）に設定され、その状態で撮影（第２の撮影）が行われ、非合焦画像がそれぞれ撮影される（S280）。このとき左撮像系１０Ｌおよび右撮像系１０Ｒによって撮影された非合焦画像は、輻輳角に換算すると約３．３度程度であることから、前述した背景部分の逆相が無いものとなる。これらの画像を示す画像データも、一時的にＳＤＲＡＭ１２０に保存される。

なお本実施形態では、１ｍの距離に合焦する状態にズームレンズ１３０Ｚを自動的に動かすようにしているが、この距離は、背景画像が逆相にならない範囲の輻輳角となる距離であれば、いずれの距離であってもよい。背景画像の逆相を無くすという点からは、より小さい輻輳角となる距離とするのがよい。そして、背景画像はぼかした画像が望ましい。すなわち、背景画像に含まれる「山」や「雲」などの被写体に対しても非合焦な画像であることが望ましい。なぜなら、背景がはっきりした画像になると、立体画像を観察する際に背景画像に目の焦点が合ってしまい、立体画像が見え難くなるからである。

次に、ＳＤＲＡＭ１２０に保存されていた画像データを利用して、右撮像系１０Ｒに対応する透明化画像と非合焦画像とを合成する処理、並びに左撮像系１０Ｌに対応する透明化画像と非合焦画像とを合成する処理がなされる（S290）。

なお、このとき、第１の実施形態のデジタルカメラと同様に、立体マクロモードの合焦画像取得時に設定したＡＦ検出枠の情報（画像内の座標データ）を利用することにより２つの画像の位置合わせを行うようにしてもよい。

その後、合成された画像を示す画像データがメモリカード１５６に記録される（S300）。なお、このときの記録フォーマットは、右目画像ファイルと左目画像ファイルとで非合焦画像が互いに異なるものであること以外は、上記第１の実施形態と同様である。

次に、本発明の多眼撮影装置の第３の実施形態を適用したデジタルカメラについて詳細に説明する。第１および第２の実施形態のデジタルカメラは、図５に示すような遠景と近景とが両方存在するようなシーンに対して良好な立体マクロ撮影ができるものであるが、第３の実施形態のデジタルカメラは、図１７に示すような、ほぼ近景のみのようなシーンに対しても良好な立体マクロ撮影を行うことができるようにしたものである。なお、第３の実施形態のデジタルカメラの概略構成は、第１および第２の実施形態のデジタルカメラとほぼ同様であり、その撮影制御方法が異なるので、その点を中心に以下に説明する。なお、第１および第２の実施形態のデジタルカメラと同様の作用については一部説明を省略している。

第３の実施形態のデジタルカメラにおいてなされるマクロ撮影時の処理について、図１８Ａおよび図１８Ｂに示すフローチャートを参照しながら説明する。

まず、第１および第２の実施形態のデジタルカメラと同様に、モードダイヤル２２で「３Ｄ静止画」を選択した後、マクロボタン３６をＯＮすることにより、撮影モードが立体マクロモードとなり（S200）、モニタ２４に、図１７に示すようなＡＦ検出枠５１０が表示される(S205)。

その後、シャッタボタン１８を半押しする（S210）ことにより、合焦位置検出（S220）が行われる。

そして、これと同時に、ＡＦ制御のために取得された画像データを用いて、右撮像系１０Ｒあるいは左撮像系１０Ｌのデジタル信号処理部１４２において以下の処理がなされる。まず、図１７に示したＡＦ検出枠５１０内にあるＡＦ検出領域内における輝度値の分散（ＺＡＦ）と、それ以外の領域内における輝度値の分散（ＮＺ）とが計算され、その差分が算出される。そして、さらに図１７に示したＡＦ検出枠５１０内にあるＡＦ検出領域内における色相値の分散（ＣＡＦ）と、それ以外の領域内における色相値の分散（ＮＣ）とが計算され、その差分が算出される（S230）。分散（ＺＡＦ）と分散（ＮＺ）の計算方法は、上記実施形態と同様である。また、分散（ＣＡＦ）と分散（ＮＣ）の計算方法としては、たとえば、下式（３）および下式（４）を計算するようにすればよい。なお、下式（３）,（４）におけるＮは分割ブロック数である。また、下式（４）の分割ブロックとは、下式（３）の分割ブロックと同じ大きさのブロックである。
次に、まず、輝度値の分散の差分と予め設定された閾値（α）との比較をして、｜ＺＡＦ−ＮＺ｜≧αならばストロボ非発光制御がなされ（Ｓ240、YES）、第１の実施形態のデジタルカメラと同様に、S260〜S300の動作が行われる。なお、図１８に示すS260〜S300の動作については、図４に示すS260〜S300の動作と同様である。

一方、S240において輝度値の差分と予め設定された閾値（α）との比較をして、｜ＺＡＦ−ＮＺ｜＜αの場合には、色相値の分散の差分と予め設定された閾値（β）との比較をする。そして、｜ＣＡＦ−ＮＣ｜≧βの場合には（S250、YES）、すなわち、図１７に示すように、ほぼ近景の画像のみが撮影され、ＡＦ検出枠５１０内の画像とＡＦ検出枠５１０以外の画像との間で色のばらつきが異なる場合には、ストロボ非発光制御がなされ（S252）、その後、シャッタボタン１８を全押しすると、右撮像系１０Ｒおよび左撮像系１０Ｌにより各々主要被写体に合焦した画像が撮影（第１の撮影）される。そして、第１の撮影により取得された画像データは、透明化処理が施されることなく、メモリカード１５６に記録される（S300）。そして、再生モードにおいては、右撮像系１０Ｒおよび左撮像系１０Ｌにより撮影された合焦画像がそれぞれ読み出され、これらに基づいて立体視画像が生成されてモニタ２４に表示される。

上記のようにしてストロボを非発光として通常のマクロ撮影を行えば、主要被写体が白飛びすることを防止できる。またこの場合は背景シーンが殆ど存在しないとみなせるので、前述の透明化および合成の処理は行わない。すなわち、ここでも輻輳角は前述の約３４度程度になるが、背景シーンが存在しないから背景の逆相問題も発生しないので、得られた合焦画像を透明化等の処理をせずそのまま記録して、表示する。

一方、S250において色相値の分散の差分と予め設定された閾値（β）との比較をし、｜ＣＡＦ−ＮＣ｜＜βの場合には（S250、NO）、すなわち、図１９に示すように、ほぼ近景の画像のみが撮影されているが、ＡＦ検出枠５１０内の画像（カブトムシ）とＡＦ検出枠５１０以外の画像（枯葉）との間で色のばらつきが同様である場合には、２枚撮りを行うか、もしくはＡＦ検出枠（ＡＦ検出領域）を変更するかを選択する画面がモニタ２４に表示される（S310）。なお、上記２枚撮りとは、後述するようにストロボ発光状態での合焦画像の撮影と、ストロボ非発光状態での合焦画像の撮影との両方を行い、その後、いずれか一方の合焦画像の選択を受け付ける方法である。

そして、S310において、ＡＦ検出枠（ＡＦ検出領域）５１０の変更が操作者により選択された場合には、操作者によってもしくは自動的にＡＦ検出枠（ＡＦ検出領域）５１０が変更され、S205からの処理が再び行われる。このときＡＦ検出枠（ＡＦ検出領域）を自動で変更する場合には、ＡＦ検出枠に対して主要被写体がどのような状況にあるかわからないため、ＡＦ検出枠を拡大したり縮小したりしながらS205からの処理を繰り返して行い、ＡＦ検出枠内の輝度値の分散とＡＦ検出枠外の輝度値の分散との差、またはＡＦ検出枠内の色相値の分散とＡＦ検出枠外の色相値の分散との差が閾値以上となるように調整するようにすればよい。このように調整することにより、モニタ２４内の主要被写体の大小に関わらず、また、主要被写体と背景部分との色の差が小さい場合においても主要被写体と背景部分との識別が可能である。

一方、S310において、２枚撮りが選択された場合には、その後、シャッタボタン１８を全押しすると、ストロボ発光制御された状態で右撮像系１０Ｒおよび左撮像系１０Ｌによりそれぞれ合焦画像が撮影される（S312、S314）。そして、さらに、ストロボ非発光制御された状態で右撮像系１０Ｒおよび左撮像系１０Ｌによりそれぞれ合焦画像が撮影される（S316、S318）。

そして、上記のようにストロボ発光状態で撮像された合焦画像と、ストロボ非発光状態で撮像された合焦画像とが、図２０に示すように、それぞれモニタ２４に表示される。なお、このときモニタ２４に表示する画像は、右撮像系１０Ｒおよび左撮像系１０Ｌによりそれぞれ撮影された合焦画像に基づいて生成された立体視画像でもよいし、右撮像系１０Ｒおよび左撮像系１０Ｌによりそれぞれ撮影された合焦画像のいずれか一方でもよい。

次に、モニタ２４に表示されたストロボ発光合焦画像とストロボ非発光合焦画像とのいずれか一方が操作者によって選択される（S322）。

そして、ストロボ非発光合焦画像が選択された場合には、ストロボ非発光状態で撮像された合焦画像が、メモリカード１５６に記録される（S300）。そして、再生モードにおいては、右撮像系１０Ｒおよび左撮像系１０Ｌにより撮影された合焦画像がそれぞれ読み出され、これらに基づいて立体視画像が生成されてモニタ２４に表示される。

一方、S322において、ストロボ発光合焦画像が選択された場合には、その合焦画像データに透明化処理が施され（S270）、次に、右撮像系１０Ｒおよび左撮像系１０Ｌにより非合焦画像の撮影が行われ（S280）、合焦画像と非合焦画像とが合成されて合成画像が生成され（S290）、その合成画像データが記録される（S300）。そして、再生モードにおいては、右撮像系１０Ｒおよび左撮像系１０Ｌにより取得された合成画像がそれぞれ読み出され、これらに基づいて立体視画像が生成されてモニタ２４に表示される。

このように本実施形態では、被写界内に主要被写体および遠景が含まれる場合と、近景の主要被写体のみが含まれる場合とで、ストロボ発光と、画像透明化および合成処理を行なうか否かを判別して立体マクロ撮影を行うようにしているので、撮影シーンに応じた良好な立体画像を撮影可能となる。

Claims (15)

1. 複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法であって、
   前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得し、
   前記複数の撮像系のうちの１つの撮像系を前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像を取得し、
   前記各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施し、
   該透明化処理の施された各第１の画像と、前記第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成することを特徴とする多眼撮影方法。
2. 複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法であって、
   前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得し、
   前記各撮像系をそれぞれ前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行って取得した各画像のうちの１つの画像を第２の画像として取得し、
   前記各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施し、
   該透明化処理の施された各第１の画像と、前記第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成することを特徴とする多眼撮影方法。
3. 複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法であって、
   前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得し、
   前記各撮像系をそれぞれ前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像をそれぞれ取得し、
   前記各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施し、
   該透明化処理の施された各第１の画像と、該各第１の画像に対応する前記各第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成することを特徴とする多眼撮影方法。
4. 前記各撮像系の撮影範囲内の前記主要被写体を含む所定領域とそれ以外の領域との識別が困難である場合に、フラッシュ光を照射した状態で前記第１のマクロ撮影を行って前記第１の画像を取得することを特徴とする請求項１から３いずれか１項記載の多眼撮影方法。
5. 前記各撮像系の撮影範囲内の前記主要被写体を含む所定領域とそれ以外の領域との輝度値の分散をそれぞれ検出し、
   該検出した各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態で前記第１のマクロ撮影を行って前記第１の画像を取得し、
   前記各分散の差が閾値未満の場合には、フラッシュ光を照射した状態で前記第１のマクロ撮影を行って前記第１の画像を取得することを特徴とする請求項１から４記載の多眼撮影方法。
6. 前記各撮像系の撮影範囲内の前記主要被写体を含む所定領域とそれ以外の領域との色相値の分散をそれぞれ検出し、
   該検出した各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態での前記第１のマクロ撮影のみを行い、
   前記各分散の差が閾値未満の場合には、フラッシュ光を照射した状態とフラッシュ光を照射してない状態でそれぞれ前記第１のマクロ撮影を行い、
   該各第１のマクロ撮影によって取得された前記各第１の画像のうちのいずれか一方の選択を受け付け、
   該選択された第１の画像に前記透明化処理を施すとともに、該透明化処理の施された第１の画像と前記第２の画像とを用いて前記合成画像の生成を行うことを特徴とする請求項１から５いずれか１項記載の多眼撮影方法。
7. 複数の撮像系を有する多眼撮影装置において、
   前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行うとともに、前記複数の撮像系のうちの１つの撮像系を前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行うよう前記各撮像系を制御する撮像系制御手段と、
   前記第１のマクロ撮影によって前記各撮像系により取得された各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施す透明化処理手段と、
   該透明化処理手段によって透明化処理の施された各第１の画像と、前記第２の撮影によって取得された第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成する合成画像生成手段とを備えたことを特徴とする多眼撮影装置。
8. 複数の撮像系を有する多眼撮影装置において、
   前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行うとともに、前記各撮像系をそれぞれ前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行うよう前記各撮像系を制御する撮像系制御手段と、
   前記第１のマクロ撮影によって前記各撮像系により取得された各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施す透明化処理手段と、
   該透明化処理手段によって透明化処理の施された各第１の画像と、前記第２の撮影によって前記各撮像系によって取得された各画像のうちの１つ画像である第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成する合成画像生成手段とを備えたことを特徴とする多眼撮影装置。
9. 複数の撮像系を有する多眼撮影装置において、
   前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行うとともに、前記各撮像系をそれぞれ前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行うよう前記各撮像系を制御する撮像系制御手段と、
   前記第１のマクロ撮影によって前記各撮像系により取得された各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施す透明化処理手段と、
   該透明化処理手段によって透明化処理の施された各第１の画像と、該各第１の画像に対応する前記各第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成する合成画像生成手段とを備えたことを特徴とする多眼撮影装置。
10. 前記第１のマクロ撮影を行う際、前記各撮像系の撮影範囲内の前記主要被写体を含む所定領域とそれ以外の領域との識別が困難である場合に、フラッシュ光を照射するフラッシュ制御手段を備えたことを特徴とする請求項７から９いずれか１項記載の多眼撮影装置。
11. 前記各撮像系の撮影範囲内の前記主要被写体を含む所定領域とそれ以外の領域との輝度値の分散をそれぞれ検出する輝度分散検出手段をさらに備え、
    前記フラッシュ制御手段が、前記第１のマクロ撮影を行う際、前記各分散の差が閾値以上である場合には、フラッシュ光を照射せず、前記各分散の差が閾値未満の場合にはフラッシュ光を照射するものであることを特徴とする請求項１０記載の多眼撮影装置。
12. 前記各撮像系の撮影範囲内の前記主要被写体を含む所定領域とそれ以外の領域との色相値の分散をそれぞれ検出する色相分散検出手段と、
    前記各分散の差が閾値以上である場合には、フラッシュ光を照射していない状態での前記第１のマクロ撮影のみを行い、
    前記各分散の差が閾値未満の場合には、フラッシュ光を照射した状態とフラッシュ光を照射してない状態でそれぞれ前記第１のマクロ撮影を行い、該各第１のマクロ撮影によって取得された前記各第１の画像のうちのいずれか一方の選択を受け付け、該選択された第１の画像に前記透明化処理を施すとともに、該透明化処理の施された第１の画像と前記第２の画像とを用いて前記合成画像の生成を行うよう制御する撮影処理制御手段とを備えたことを特徴とする請求項７から１１いずれか１項記載の多眼撮影装置。
13. 複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法をコンピュータに実行させるためのプログラムであって、
    前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得する手順と、
    前記複数の撮像系のうちの１つの撮像系を前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像を取得する手順と、
    前記各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施す手順と、
    該透明化処理の施された各第１の画像と、前記第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成する手順とをコンピュータに実行させることを特徴とするプログラム。
14. 複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法をコンピュータに実行させるためのプログラムであって、
    前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得する手順と、
    前記各撮像系をそれぞれ前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行って取得した各画像のうちの１つの画像を第２の画像として取得する手順と、
    前記各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施す手順と、
    該透明化処理の施された各第１の画像と、前記第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成する手順とをコンピュータに実行させることを特徴とするプログラム。
15. 複数の撮像系を有する多眼撮影装置においてマクロ撮影を行うときの多眼撮影方法をコンピュータに実行させるためのプログラムであって、
    前記各撮像系をそれぞれ前記主要被写体に合焦させた状態で第１のマクロ撮影を行って第１の画像をそれぞれ取得する手順と、
    前記各撮像系をそれぞれ前記主要被写体よりも遠方に合焦させた状態で第２の撮影を行って第２の画像をそれぞれ取得する手順と、
    前記各第１の画像に対し、前記主要被写体以外の領域を透明化する処理を施す手順と、
    該透明化処理の施された各第１の画像と、該各第１の画像に対応する前記各第２の画像の前記主要被写体以外の領域とを合成して前記各撮像系に対応する合成画像をそれぞれ生成する手順とをコンピュータに実行させることを特徴とするプログラム。