JP2012065330A - ３次元表示装置および方法並びにプログラム - Google Patents

Abstract

【課題】３次元表示中にオブジェクトを表示するに際し、３次元画像とオブジェクトとが重なることによる違和感がないようにオブジェクトを表示する。
【解決手段】撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２に、３次元処理部３０が３次元処理を行って、表示制御部２８が３次元処理により得られた３次元表示用画像をモニタ２０に３次元表示する。距離情報算出部３１が、第１の画像Ｇ１におけるメニューを表示する基準領域内の画素の視差を距離情報として算出する。３次元処理部３０は、基準領域内において最も立体感が大きい画素の視差Ｄｍａｘよりも大きい視差Ｄｂを有するように、第１および第２の画像Ｇ１，Ｇ２に配置するメニューＭ１，Ｍ２に３次元処理を行う。
【選択図】図１

Description

本発明は、複数の画像を立体視可能なように３次元表示する３次元表示装置および方法並びに３次元表示方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより行うことができる。

具体的には、裸眼平行法により立体視を実現する方式の場合、複数の画像を並べて配置して３次元表示を行うことができる。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して３次元表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、３次元表示された画像を目の自動焦点機能により融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３次元表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより３次元表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、３次元表示を行う方式も提案されている（スキャンバックライト方式）。

また、上述したような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは３次元表示モニタを備え、複数の撮影部が取得した画像から３次元表示用の３次元画像を生成し、生成した３次元画像を３次元表示モニタに３次元表示することができる。

また、このような複眼カメラにおいては、カメラの設定を行うためのメニュー、撮影時におけるＦ値およびシャッタ速度等の撮影条件、撮影枚数および撮影日時等の文字、手ぶれ防止、フラッシュのオン／オフおよび人物モード等を表すためのアイコン、並びに絵文字等のオブジェクトを表示する必要がある。撮影者はこのようなオブジェクトを確認することにより、撮影日時、撮影枚数および撮影時の撮影条件等を認識することができる。

ここで、３次元表示中にこのようなオブジェクトを表示するに際し、複数の画像のそれぞれに、視差を有するようにオブジェクトを配置して３次元表示すれば、画像のみならずオブジェクトも立体視することができる。ここで、画像に表示されるオブジェクトに奥行き情報をあらかじめ付与しておき、指定したオブジェクトの奥行き情報を他のオブジェクトの奥行き情報と比較し、指定したオブジェクトが他のオブジェクトよりも手前に表示されるように、指定したオブジェクトの奥行き情報を変更する手法が提案されている（特許文献１参照）。また、２次元表示された複数のオブジェクトのうち、指定されたオブジェクトを３次元表示する際に、指定されたオブジェクトが他のオブジェクトと重ならないように、指定されたオブジェクトおよびこれと重なりそうなオブジェクトの位置、サイズおよび視差量を変更する手法が提案されている（特許文献２参照）。

特開２００５−６５１６２号公報 特開２００５−１２２５０１号公報

ところで、３次元表示された３次元画像にオブジェクトを表示する際には、オブジェクトがあらかじめ定められた立体感を有するように３次元表示される。しかしながら、３次元表示された３次元画像に含まれるある部分の立体感がオブジェクトの立体感より大きい場合、オブジェクトがその部分と重なるため、オブジェクトがその部分にめり込んでいるように見えることとなる。とくに、オブジェクトが文字のみからなるものであったり、オブジェクトの背景が半透明または透明のものである場合、オブジェクトが３次元画像のある部分と重なっていると、手前にある部分よりも奥にオブジェクトが存在するように見えるにも拘わらず、その部分が透けて見えるという非常に不自然な見え方となってしまう。

ここで、特許文献１に記載された手法は、３次元画像とオブジェクトの両方にあらかじめ距離情報が付与されているため、３次元表示するための画像に距離情報が付与されていない場合には、オブジェクトの立体感をどう変更してよいか分からない。また、特許文献２に記載された手法は、画像に含まれる一部のオブジェクトを３次元表示する場合におけるオブジェクト同士の重なりを解消するものであり、画像全体が３次元表示される場合には適用できない。

本発明は上記事情に鑑みなされたものであり、３次元表示中にオブジェクトを表示するに際し、３次元画像とオブジェクトとが重なることによる違和感がないようにオブジェクトを表示することを目的とする。

本発明による３次元表示装置は、被写体を異なる視点から見た、視差を有する複数の画像を取得する画像取得手段と、
前記複数の画像に対して３次元表示のための３次元処理を行うとともに、前記３次元表示された３次元画像に重ねて表示されるオブジェクトに対して前記３次元処理を行う３次元処理手段と、
前記３次元画像の３次元表示を含む各種表示、すなわち前記３次元画像の３次元表示を少なくとも行う表示手段と、
前記３次元画像の距離情報を算出する距離情報算出手段とを備え、
前記３次元処理手段は、前記３次元表示時における前記オブジェクトと前記３次元画像との重なりを解消するように、前記距離情報に基づいて、前記オブジェクトの前記３次元画像に対する３次元空間上の相対的な位置を変更する手段であることを特徴とするものである。

ここで、複数の画像に対する３次元処理とオブジェクトに対する３次元処理とは同時に行ってもよく、それぞれ別個に行うようにしてもよい。すなわち、複数の画像にオブジェクトを重ね合わせてから、複数の画像およびオブジェクトに対して同時に３次元処理を行ってもよく、複数の画像およびオブジェクトのそれぞれに対して別個に３次元処理を行った後に、３次元処理された画像にオブジェクトを重ね合わせるようにしてもよい。

「３次元空間上の位置」とは、３次元表示された画像を立体視した場合における奥行き方向の位置のみならず、奥行き方向に直交する２次元方向における位置をも含む。

なお、本発明による３次元表示装置においては、前記距離情報算出手段を、前記複数の画像のうちの基準となる基準画像において、前記オブジェクトが表示される基準領域内の各画素について、前記距離情報を算出する手段とし、
前記３次元処理手段を、前記基準領域内の距離情報に基づいて、前記３次元画像に対して手前側の位置に前記オブジェクトが３次元表示されるよう、前記オブジェクトの前記３次元画像に対する前記３次元空間上における奥行き方向の相対的な位置を変更する手段としてもよい。

また、本発明による３次元撮影装置においては、前記距離情報算出手段を、前記複数の画像間における互いに対応する対応点の視差を前記距離情報として算出する手段としてもよい。

この場合、前記距離情報算出手段を、前記複数の画像における特徴部分を抽出し、該特徴部分から前記対応点の視差を算出する手段としてもよい。

また、本発明による３次元撮影装置においては、前記複数の画像が撮影により取得されたものである場合において、前記距離情報算出手段を、前記複数の画像を取得した場合の撮影条件に基づいて、前記距離情報を算出する手段としてもよい。

また、本発明による３次元撮影装置においては、前記３次元処理手段を、前記基準領域内において算出された前記対応点の視差のうち、最大視差以上の視差を有するよう、前記オブジェクトに対して前記３次元処理を行う手段としてもよい。

また、本発明による３次元撮影装置においては、前記３次元処理手段を、前記オブジェクトが所定の視差を有するように前記オブジェクトに対して前記３次元処理を行う場合、前記基準領域内において算出された前記対応点の視差のうち、最大視差が前記所定の視差以下の視差となるよう、前記複数の画像に対して前記３次元処理を行う手段としてもよい。

また、本発明による３次元撮影装置においては、前記３次元処理手段を、前記距離情報に基づいて、前記３次元画像との重なりを解消する位置に前記オブジェクトが表示されるよう、前記３次元空間における奥行き方向と直交する方向に前記オブジェクトの位置を変更する手段としてもよい。

また、本発明による３次元撮影装置においては、前記距離情報算出手段を、前記複数の画像間における互いに対応する対応点の視差を前記距離情報として算出する手段としてもよい。

この場合、前記距離情報算出手段を、前記複数の画像における特徴部分を抽出し、該特徴部分から前記対応点の視差を算出する手段としてもよい。

また、本発明による３次元撮影装置においては、前記画像取得手段を、被写体を異なる視点から撮影することにより前記複数の画像を取得する複数の撮影手段としてもよい。

また、本発明による３次元撮影装置においては、所定時間間隔にて、前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行うよう、前記距離情報算出手段および前記３次元処理手段を制御する制御手段をさらに備えるようにしてもよい。

また、本発明による３次元撮影装置においては、前記撮影手段の光学系が駆動された場合に、前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行うよう、前記距離情報算出手段および前記３次元処理手段を制御する制御手段をさらに備えるものとしてもよい。

また、本発明による３次元撮影装置においては、所定時間間隔にて、前記被写体を撮影するよう前記撮影手段を制御する撮影制御手段と、
前記所定時間間隔にて、前記撮影手段が取得した画像の輝度および高周波成分の少なくとも一方の評価値を含む評価値を算出する評価値算出手段とをさらに備えるものとし、
前記評価値が所定のしきい値を超えて変化した場合に、前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行うよう、前記距離情報算出手段および前記３次元処理手段を制御する制御手段をさらに備えるものとしてもよい。

本発明による３次元撮影方法は、被写体を異なる視点から見た、視差を有する複数の画像を取得する画像取得手段と、
前記複数の画像に対して３次元表示のための３次元処理を行うとともに、前記３次元表示された３次元画像に重ねて表示されるオブジェクトに対して前記３次元処理を行う３次元処理手段と、
前記３次元画像の３次元表示を少なくとも行う表示手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元画像の距離情報を算出し、
前記３次元表示時における前記オブジェクトと前記３次元画像との重なりを解消するように、前記距離情報に基づいて、前記オブジェクトの前記３次元画像に対する３次元空間上の相対的な位置を変更することを特徴とするものである。

なお、本発明による３次元表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による他の３次元表示装置は、被写体を異なる視点から見た、視差を有する複数の画像を取得する画像取得手段と、
前記複数の画像に対して３次元表示のための３次元処理を行うとともに、前記３次元表示された３次元画像に重ねて表示されるオブジェクトに対して前記３次元処理を行う３次元処理手段と、
前記３次元画像の３次元表示を少なくとも行う表示手段と、
前記３次元画像の距離情報を算出する距離情報算出手段とを備え、
前記３次元処理手段は、前記３次元表示時における前記オブジェクトの一部または全部が、前記３次元画像に隠されるべき位置関係にある状態を解消するように、前記距離情報に基づいて、前記オブジェクトの前記３次元画像に対する３次元空間上の相対的な位置を変更する手段であることを特徴とするものである。

本発明によれば、３次元表示される３次元画像の距離情報を算出し、３次元表示時におけるオブジェクトと３次元画像との重なりを解消するように、算出した距離情報に基づいてオブジェクトの３次元画像に対する３次元空間上の相対的な位置を変更するようにしたものである。このため、３次元表示された３次元画像の距離情報が未知であっても、３次元画像と重ならないようにオブジェクトを３次元表示することができる。

また、複数の画像のうちの基準となる基準画像において、オブジェクトが表示される基準領域内の各画素について距離情報を算出し、基準領域内の距離情報に基づいて、３次元画像に対して手前側の位置にオブジェクトが３次元表示されるよう、オブジェクトの３次元画像に対する３次元空間上における奥行き方向の相対的な位置を変更することにより、３次元画像の手前側において３次元画像と重ならないようにオブジェクトを３次元表示することができる。

また、複数の画像間における互いに対応する対応点の視差を距離情報として算出することにより、複数の画像の対応点における距離を正確に算出することができる。

この場合、複数の画像における特徴部分を抽出し、特徴部分から対応点の視差を算出することにより、少ない演算量にて距離情報を算出することができるため、処理時間を短縮することができる。

また、複数の画像が撮影により取得されたものである場合において、複数の画像を取得した場合の撮影条件に基づいて距離情報を算出することにより、対応点に基づいて距離情報を算出する場合と比較して、少ない演算量にて距離情報を算出することができるため、処理時間を短縮することができる。

また、距離情報に基づいて、３次元画像との重なりを解消する位置にオブジェクトが表示されるよう、３次元空間における奥行き方向と直交する方向にオブジェクトの位置を変更することにより、３次元画像およびオブジェクトの立体感を変更することなく、３次元画像と重ならないようにオブジェクトを表示することができる。

また、所定時間間隔にて、距離情報の算出、並びに複数の画像およびオブジェクトの３次元処理を行うことにより、撮影中の被写体が移動して３次元表示される３次元画像の立体感が変更された場合であっても、３次元画像と重ならないようにオブジェクトを表示することができる。

また、撮影手段の光学系が駆動された場合に、距離情報の算出、並びに複数の画像およびオブジェクトの３次元処理を行うことにより、ズームおよびフォーカス位置が変更することにより、３次元表示される３次元画像の立体感が変更された場合であっても、３次元画像と重ならないようにオブジェクトを３次元表示することができる。

また、所定時間間隔にて、撮影手段が取得した画像の輝度および高周波成分の少なくとも一方の評価値を含む評価値を算出し、評価値が所定のしきい値を超えて変化した場合に、距離情報の算出、並びに複数の画像およびオブジェクトの３次元処理を行うことにより、撮影する画像の明るさおよび／または焦点位置が変化することにより、３次元表示される３次元画像の立体感が変更された場合であっても、３次元画像と重ならないようにオブジェクトを表示することができる。

本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図 撮影部の構成を示す図 メニューに対する３次元処理を説明するための図（その１） 視差の算出を説明するための図 第１および第２の画像の例を示す図 図５に示す画像の立体感を示す図 図５に示す画像にメニューを表示した場合の立体感を示す図 基準領域の配置を説明するための図 基準領域内の距離分布を示す図 メニューに対する３次元処理を説明するための図（その２） メニューの視差を大きくすることによる３次元処理を説明するための図 第１および第２の画像の視差を小さくすることによる３次元処理を説明するための図 第１の実施形態において行われる処理を示すフローチャート オブジェクトが表示された状態を示す図 基準領域内の画像からエッジが抽出された状態を示す図 基準領域内の画像から顔領域が抽出された状態を示す図 第２の実施形態において行われる処理を示すフローチャート 第３の実施形態において行われる処理を示すフローチャート 第４の実施形態において算出した３次元画像上の距離分布を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように第１の実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。また、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるものとする。

図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂおよびズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂを備える。

フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により得られる合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。

ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは入力部３４に含まれるズームレバーを操作することによりＣＰＵ３３において得られるズームデータに基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。

絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像の明るさを輝度評価値として算出し、輝度評価値に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。

ここで、ＡＦ処理による焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。より具体的には、プレ画像を複数のＡＦ領域に分割し、各ＡＦ領域内の画像に対してハイパスフィルタによるフィルタリング処理を施して、ＡＦ領域毎に高周波成分の評価値であるＡＦ評価値を算出し、最も評価が高い、すなわちフィルタによる出力値が最も高いＡＦ領域を合焦領域として検出する。

また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１および第２の画像Ｇ１，Ｇ２の本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、第１および第２の画像Ｇ１，Ｇ２の画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、撮影部２１Ａ，２１Ｂの基線長および輻輳角、複眼カメラ１において設定される各種定数、並びにＣＰＵ３３が実行するプログラム等を記憶する。また、後述するようにメニューを３次元表示する際に、第１の画像Ｇ１にメニューを配置するための基準領域の位置の情報、およびメニューに与える視差Ｄ０の情報も記憶する。なお、視差Ｄ０はあらかじめ所定の値に設定されている。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、後述する入力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１および第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。

なお、表示モードが３次元表示に切り替えられた場合には、後述するように第１および第２の画像Ｇ１，Ｇ２の双方が表示に用いられ、２次元表示に切り替えられた場合は第１および第２の画像Ｇ１，Ｇ２のいずれか一方が表示に用いられる。本実施形態においては、第１の画像Ｇ１を２次元表示に用いるものとする。

また、本実施形態による複眼カメラ１は３次元処理部３０を備える。３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１および第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平行法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１および第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１および第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。

なお、モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。

また、３次元処理部３０は、複眼カメラ１に対して各種指示を行うためのメニューをモニタ２０に３次元表示するための３次元処理を行う。図３はメニューに対する３次元処理を説明するための図である。なお、ここでは、説明のため第１および第２の画像Ｇ１，Ｇ２の内容は省略している。図３に示すように、３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２のそれぞれに対して、メニューＭ１およびメニューＭ２を視差Ｄ０を有するように重ねて３次元処理を行う。これにより、第１および第２の画像Ｇ１，Ｇ２およびメニューＭ１，Ｍ２の双方を３次元表示することができる。ここで、視差Ｄ０は、メニューが所望とする立体感となるようにするためにあらかじめ定められた値に設定されているが、第１および第２の画像Ｇ１，Ｇ２上のメニューＭ１，Ｍ２を表示する領域における立体感に応じて変更される。この変更の処理については後述する。

また、本実施形態による複眼カメラ１は、距離情報算出部３１を備える。距離情報算出部３１は、第１の画像Ｇ１上のメニューＭ１を配置する基準領域Ｂ１内の各画素について、第２の画像Ｇ２との対応点を求め、対応点間の視差を各画素の距離情報として算出する。図４は視差の算出を説明するための図である。図４に示すように第１の画像Ｇ１において左下隅を原点とした座標系を設定した場合、基準領域Ｂ１はｘ方向においてｘ０〜ｘ１の範囲に存在する。距離情報算出部３１は、基準領域Ｂ１内の各画素について、第２の画像Ｇ２上において設定した探索範囲Ｓ０内においてブロックマッチングを行うことにより対応点を求める。なお、あらかじめ許容する視差の最大値をＲｍａｘ、許容する視差の最小値をＲｍｉｎとすると、探索範囲Ｓ０のｘ方向の範囲は、第２の画像Ｇ２上におけるｘ０−Ｒｍａｘ〜ｘ１−Ｒｍｉｎの範囲となる。また、図４においては許容する視差の最小値を０としている。

ここで、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるため、距離情報算出部３１は、基準領域Ｂ１内の各画素について、各画素を中心とした所定サイズのブロックを設定し、探索範囲Ｓ０内においてブロックを許容される視差の範囲でｘ方向にのみ移動しながら相関値を算出し、最も大きい相関となる相関値を得た探索範囲Ｓ０上の画素を、対象の画素の対応点として求めるようブロックマッチングを行うものである。

なお、相関は下記の式（１）により算出すればよい。なお、式（１）において、ｄは許容される視差であり、視差ｄをＲｍｉｎ〜Ｒｍａｘの範囲で変更しつつ、基準領域Ｂ１および探索範囲Ｓ０内の画素（ｘ，ｙ）を中心とするサイズがｗ×ｗのブロックを用いて、差の絶対値を算出することによるブロックマッチングを行って相関値ＳＡＤを算出するものである。ここで、式（１）を用いた場合、相関値ＳＡＤが最小となるｄが、画素（ｘ，ｙ）についての視差となる。

なお、下記の式（２）により、差の二乗による相関値ＳＳＤを算出してもよい。ここで、式（２）を用いた場合、相関値ＳＳＤが最小となるｄが、画素（ｘ，ｙ）についての視差となる。また、下記の式（３）により相関値ＣＯＲを算出してもよい。ここで、式（３）により相関値ＣＯＲを算出した場合、相関値ＣＯＲが最大となるｄが、画素（ｘ，ｙ）についての視差となる。

ここで、第１および第２の画像Ｇ１，Ｇ２が図５に示すように山を背景として、互いに前後する位置にいる二人の人物Ｐ１，Ｐ２を含む画像であるとすると、第１および第２の画像Ｇ１，Ｇ２を３次元表示した場合の山、人物Ｐ１および人物Ｐ２の奥行き方向（すなわちｚ方向）の位置関係は、図６に示すように、人物Ｐ２が最も手前にあり、背景である山と人物Ｐ２との間に人物Ｐ１が存在するものとなる。なお、図６および以降の説明において、３次元表示した場合の３次元空間におけるｚ方向の原点は、例えば撮影部２１Ａ，２１ＢのＣＣＤ１４Ａ，１４Ｂの撮像面の位置とする。

このような第１および第２の画像Ｇ１，Ｇ２に、図３に示すようにメニューＭ１，Ｍ２を重ねて３次元表示した場合、３次元表示されたメニューが奥行き方向においてｚ０の位置に表示されるようにメニューＭ１，Ｍ２の視差Ｄ０が設定されているとすると、立体視を行った場合に図７に示すように人物Ｐ１，Ｐ２の間にメニューが存在することとなる。この場合、とくにメニューＭ０が半透明または透明の背景を有するものであったり、文字のみからなるもの（すなわち文字のフォントにのみ画素値を有し、それ以外には画素値を有さないもの）であると、手前側に見える人物Ｐ２よりもメニューＭ０が奥側に見えるにも拘わらず、メニューＭ０が人物Ｐ２から透けて見えるという非常に不自然な見え方となってしまう。

ここで、上述したように距離情報算出部３１は、基準領域Ｂ１における各画素における視差を距離情報として算出するものである。このため、算出した視差を用いることにより、図８に示すように第１の画像Ｇ１の基準領域Ｂ１にメニューＭ１が配置される場合、図９に示すように基準領域Ｂ１内の視差分布、すなわち距離分布を求めることができる。なお、図９は背景となる山が奥側にあり、人物Ｐ１，Ｐ２の順で立体感が大きくなっている。また、図９はｙ軸に直交するあるｘｚ平面での距離分布を示している。

このため、３次元処理部３０は、距離情報算出部３１が算出した距離情報に基づいて、基準領域Ｂ１内の画素の距離分布を求め、距離分布における最も立体感が大きい画素について算出した視差よりも大きい視差を有するように、メニューＭ１，Ｍ２の３次元処理を行う。なお、図９に示すように距離分布が求められた場合、最も大きい立体感を有する画素は、人物Ｐ２における点Ｏ１に対応する画素となる。ここで、基準領域Ｂ１内の画素について算出した視差のうち、点Ｏ１における視差が最も大きくなる。したがって、点Ｏ１における視差を最大視差Ｄｍａｘとすると、３次元処理部３０は、図１０に示すように、メニューＭ１，Ｍ２が点Ｏ１に対応する最大視差Ｄｍａｘよりも、大きい視差Ｄｂを有するように、メニューＭ１，Ｍ２を第１および第２の画像Ｇ１，Ｇ２に重ねて配置する３次元処理を行う。なお、視差Ｄｂは最大視差Ｄｍａｘにあらかじめ定められた値を加算することにより算出する。また、Ｄｂ＝Ｄｍａｘとなるようにしてもよい。このようにメニューＭ１，Ｍ２に対して３次元処理を行うことにより、第１および第２の画像Ｇ１，Ｇ２およびメニューＭ１，Ｍ２を３次元表示した場合、図１１に示すように奥行き方向においてｚ０の位置よりも手前、さらには最も手前に見える人物Ｐ２の手前の位置ｚ１にメニューＭ０が立体視されることとなる。

なお、メニューＭ１，Ｍ２の視差を変更するのみならず、第１および第２の画像Ｇ１，Ｇ２の視差を変更することにより、３次元表示時において人物Ｐ２よりもメニューＭ０が手前に立体視されるようにすることも可能である。ここで、第１および第２の画像Ｇ１，Ｇ２の視差を小さくすれば３次元画像の立体感が小さくなる。このため、メニューＭ１，Ｍ２についてはあらかじめ定められた視差Ｄ０を変更することなく、人物Ｐ２における点Ｏ１に対応する画素の最大視差Ｄｍａｘが、Ｄ０よりもあらかじめ定められた値分小さい視差となるように、第１および第２の画像Ｇ１，Ｇ２の全体の視差を小さくした３次元処理を行うようにすればよい。なお、Ｄｍａｘ＝Ｄ０となるようにしてもよい。これにより、図１２に示すように、３次元表示時においてメニューＭ０が表示されている位置ｚ０よりも人物Ｐ２が後側に立体視されるようにすることができる。なお、視差を小さくする３次元処理は、第１および第２の画像Ｇ１，Ｇ２の水平方向の位置をずらすことによるものであってもよく、第１および第２の画像Ｇ１，Ｇ２をモーフィングにより加工することによるものであってもよい。

また、メニューＭ１，Ｍ２の視差および第１および第２の画像Ｇ１，Ｇ２の視差の双方を変更することにより、３次元表示時においてメニューＭ０よりも人物Ｐ２が後側に立体視されるようにすることも可能である。

ＣＰＵ３３は、レリーズボタン等を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。

データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

なお、被写体の撮影時においては、被写体が移動したり複眼カメラ１を移動して撮影位置を変更することがあるため、被写体の距離感は常時変化する。このため、本実施形態においては、あらかじめ定められた所定時間間隔にて、メニューＭ０の立体感を変更する処理を行うものとする。このため、ＣＰＵ３３にはタイマー３６が接続されている。

次いで、第１の実施形態において行われる処理について説明する。図１３は第１の実施形態において行われる処理を示すフローチャートである。なお、複眼カメラ１のモニタ２０には、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２に３次元処理部３０が３次元処理を行うことにより、第１および第２の画像Ｇ１，Ｇ２のスルー画像が３次元表示されているものとする。また、本発明はメニューを表示する場合における処理に特徴を有するため、以降はスルー画像表示中におけるメニュー表示の指示が行われた場合の処理についてのみ説明する。

ＣＰＵ３３は撮影者によりメニュー表示の指示がなされたか否かを監視しており（ステップＳＴ１）、ステップＳＴ１が肯定されると、第１の画像Ｇ１におけるメニューＭ１を表示する基準位置Ｂ１および現在の視差Ｄｒの情報を取得する（ステップＳＴ２）。なお、現在の視差Ｄｒの初期値はＤ０である。そして、距離情報算出部３１が、第１の画像Ｇ１に基準領域Ｂ１を設定し（ステップＳＴ３）、基準領域Ｂ１内の各画素の視差を距離情報として算出する（ステップＳＴ４）。

次いで、３次元処理部３０が、算出した距離情報の視差のうち、最も立体感が大きい部分の視差に対応する最大視差Ｄｍａｘを取得し（ステップＳＴ５）、最大視差ＤｍａｘがメニューＭ１，Ｍ２の現在の視差Ｄｒよりも大きいか否かを判定する（ステップＳＴ６）。ステップＳＴ６が肯定されると、３次元処理部３０は、メニューＭ１，Ｍ２の現在の視差Ｄｒを最大視差Ｄｍａｘよりも大きい視差Ｄｂに変更し（ステップＳＴ７）、視差Ｄｂを有するようにメニューＭ１，Ｍ２を第１および第２の画像Ｇ１，Ｇ２にそれぞれ配置し（ステップＳＴ８）、第１および第２の画像Ｇ１，Ｇ２並びにメニューＭ１，Ｍ２に対して３次元処理を行う（ステップＳＴ９）。そして表示制御部２８が、メニューＭ０が重畳された３次元画像をモニタ２０に３次元表示する（ステップＳＴ１０）。なお、ステップＳＴ６が否定されると、ステップＳＴ８の処理に進み、現在の視差Ｄｒを有するように、メニューＭ１，Ｍ２を第１および第２の画像Ｇ１，Ｇ２にそれぞれ配置して３次元処理を行う。

次いで、ＣＰＵ３３がタイマー３６によるカウントを開始し、３次元表示を行ってから所定時間経過したか否かの監視を開始する（ステップＳＴ１１）。ステップＳＴ１１が肯定されるとステップＳＴ２に戻り、ステップＳＴ２以降の処理を繰り返す。

このように、本実施形態においては、基準領域Ｂ１内の各画素の距離情報を算出し、基準領域内の距離情報に基づいて、第１および第２の画像Ｇ１，Ｇ２の３次元画像に対して手前側の位置にメニューＭ０が表示されるよう、メニューＭ０の３次元画像に対する３次元空間上における奥行き方向の相対的な位置を変更するようにしたため、３次元画像の手前側において３次元画像と重ならないようにメニューＭ０を３次元表示することができる。

また、所定時間間隔にて、距離情報の算出、並びに第１、第２の画像およびメニューＭ１，Ｍ２の３次元処理を行うようにしたため、メニューＭ０を表示して、メニューＭ０の内容を選択している間に撮影中の被写体が移動したり、撮影位置を移動したりすることにより、３次元表示される３次元画像の立体感が変更された場合であっても、３次元画像と重ならないようにメニューＭ０を３次元表示することができる。

ここで、撮影時においては、図１４に示すようにフラッシュの発光を示すアイコン、今までの撮影枚数、Ｆ値およびシャッタ速度、並びに撮影日を表す文字等のメニュー以外のオブジェクトが常時表示されるが、このようなオブジェクトについても３次元処理を行って３次元表示することが可能である。本実施形態においては、所定時間間隔にて、距離情報の算出、並びに複数の画像およびオブジェクトの３次元処理を行っているため、撮影中の被写体が移動したり、撮影位置を移動したりすることにより、３次元表示される３次元画像の立体感が変更された場合であっても、３次元画像と重ならないようにオブジェクトを３次元表示することができる。

なお、上記第１の実施形態においては、基準領域Ｂ１内のすべての画素について視差を算出しているが、基準領域Ｂ１内の画像における特徴部分を抽出し、特徴部分に対応する画素についてのみ視差を算出するようにしてもよい。ここで、特徴部分としては、画像に含まれるエッジ、あらかじめ定められた顔等の特定被写体を用いることができる。

図１５は基準領域内の画像からエッジが抽出された状態を示す図、図１６は基準領域内の画像から顔領域が抽出された状態を示す図である。なお、図１５においては抽出されたエッジを太線で示している。図１５に示すように、基準領域Ｂ１内のエッジに対応する画素数は、基準領域Ｂ１内のすべての画素数よりも少ない。また、図１６に示すように、基準領域Ｂ１内の矩形で囲んだ顔領域内の画素数も、基準領域Ｂ１内のすべての画素数よりも少ない。したがって、基準領域Ｂ１内の画像における特徴部分を抽出し、特徴部分に対応する画素についてのみ視差を算出することにより、演算量を低減することができるため、処理の高速化を図ることができる。

また、エッジおよび顔等の特定被写体は、画像中に含まれる主要な被写体に含まれるものであることが多く、撮影時には最もカメラに近い位置に存在する場合が多い。このため、特徴部分の視差を算出することにより、基準領域Ｂ１内に含まれる最も立体感が大きい画素を求めることができる。

したがって、基準領域Ｂ１内に含まれる最も立体感が大きい画素の最大視差Ｄｍａｘよりも大きい視差Ｄｒとなるように、メニューＭ１，Ｍ２に３次元処理を行うことにより、３次元画像の手前側において３次元画像と重ならないようにメニューＭ０を３次元表示することができる。

一方、第１および第２の画像Ｇ１，Ｇ２を取得した際の、撮影部２１Ａ，２１Ｂにおける焦点距離、絞り値、フォーカス位置、許容錯乱円から、下記の式（４）、（５）により被写界深度の手前側、奥側の距離を算出することができる。なお、焦点距離、絞り値、フォーカス位置は、フォーカスレンズ駆動部１７Ａ，１７Ｂ、不図示の絞り駆動部、およびズームレンズ駆動部１８Ａ，１８Ｂの撮影時における設定値から求めることができる。また、あらかじめ内部メモリ２７に記憶された許容錯乱円は、ＣＣＤ１４Ａ，１４Ｂの仕様から求めることができる。

但し、Ｌnear：被写界深度の手前側の距離、Ｌfar：被写界深度の奥側の距離、ｆ：焦点距離、Ｆ：絞り値、Ｌ：フォーカス位置、δ：許容錯乱円直径である。

これにより、基準領域Ｂ１内における被写体は、算出した被写界深度の手前側、奥側の距離の範囲内にあることが分かる。したがって、被写界深度の手前側の距離Ｌｍｉｎから、下記の式（６）により、基準領域Ｂ１内に含まれる最も立体感が大きい画素における視差Ｄｍａｘを算出することができる。よって、視差Ｄｍａｘよりも大きい視差となるように、メニューＭ１，Ｍ２に３次元処理を行うことにより、３次元画像の手前側において３次元画像と重ならないようにメニューＭ０を３次元表示することができる。

視差Ｄｍａｘ＝基線長Ｋ×焦点距離ｆ／距離Ｌｍｉｎ （６）
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による３次元表示装置を適用した複眼カメラの構成は、第１の実施形態による３次元表示装置を適用した複眼カメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第１の実施形態においては、所定時間間隔にて距離情報の算出、並びに複数の画像およびオブジェクトの３次元処理を行っているが、第２の実施形態においては、撮影部２１Ａ，２１Ｂの光学系、すなわちフォーカスレンズ１０Ａ，１０Ｂおよびズームレンズ１１Ａ，１１Ｂが駆動された場合に、距離情報の算出、並びに複数の画像およびオブジェクトの３次元処理を行うようにした点が第１の実施形態と異なる。

次いで、第２の実施形態において行われる処理について説明する。図１７は第２の実施形態において行われる処理を示すフローチャートである。ＣＰＵ３３は撮影者によりメニュー表示の指示がなされたか否かを監視しており（ステップＳＴ２１）、ステップＳＴ２１が肯定されると、第１の画像Ｇ１におけるメニューＭ１を表示する基準位置Ｂ１および現在の視差Ｄｒの情報を取得する（ステップＳＴ２２）。なお、現在の視差Ｄｒの初期値はＤ０である。そして、距離情報算出部３１が、第１の画像Ｇ１に基準領域Ｂ１を設定し（ステップＳＴ２３）、基準領域Ｂ１内の各画素の視差を距離情報として算出する（ステップＳＴ２４）。

次いで、３次元処理部３０が、算出した距離情報の視差のうち、最も立体感が大きい部分の視差に対応する最大視差Ｄｍａｘを取得し（ステップＳＴ２５）、最大視差ＤｍａｘがメニューＭ１，Ｍ２の現在の視差Ｄｒよりも大きいか否かを判定する（ステップＳＴ２６）。ステップＳＴ２６が肯定されると、３次元処理部３０は、メニューＭ１，Ｍ２の現在の視差Ｄｒを最大視差Ｄｍａｘよりも大きい視差Ｄｂに変更し（ステップＳＴ２７）、視差Ｄｂを有するようにメニューＭ１，Ｍ２を第１および第２の画像Ｇ１，Ｇ２にそれぞれ配置し（ステップＳＴ２８）、第１および第２の画像Ｇ１，Ｇ２並びにメニューＭ１，Ｍ２に対して３次元処理を行う（ステップＳＴ２９）。そして表示制御部２８が、メニューＭ０が重畳された３次元画像をモニタ２０に３次元表示する（ステップＳＴ３０）。なお、ステップＳＴ２６が否定されると、ステップＳＴ２８の処理に進み、現在の視差Ｄｒを有するように、メニューＭ１，Ｍ２を第１および第２の画像Ｇ１，Ｇ２にそれぞれ配置して３次元処理を行う。

次いで、ＣＰＵ３３が、撮影部２１Ａ，２１Ｂの光学系が駆動されたか否かの監視を開始する（ステップＳＴ３１）。ステップＳＴ３１が肯定されるとステップＳＴ２２に戻り、ステップＳＴ２２以降の処理を繰り返す。

このように、第２の実施形態においては、撮影部２１Ａ，２１Ｂの光学系、すなわちフォーカスレンズ１０Ａ，１０Ｂおよびズームレンズ１１Ａ，１１Ｂが駆動された場合に、距離情報の算出、並びに第１、第２の画像Ｇ１，Ｇ２およびメニューＭ１，Ｍ２の３次元処理を行うようにしたため、撮影部２１Ａ，２１Ｂのズーム位置およびフォーカス位置が変更することにより、３次元表示される３次元画像の立体感が変更された場合であっても、３次元画像と重ならないようにメニューＭ０を３次元表示することができる。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態による３次元表示装置を適用した複眼カメラの構成は、第１の実施形態による３次元表示装置を適用した複眼カメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第１の実施形態においては、所定時間間隔にて距離情報の算出、並びに複数の画像およびオブジェクトの３次元処理を行っているが、第３の実施形態においては、撮影制御部２２において、第１および第２の画像Ｇ１，Ｇ２のスルー画像が取得される毎に、輝度評価値およびＡＦ評価値を算出し、輝度評価値およびＡＦ評価値の少なくとも一方が変化した場合に、距離情報の算出、並びに第１、第２の画像Ｇ１およびメニューＭ１，Ｍ２の３次元処理を行うようにした点が第１の実施形態と異なる。

次いで、第３の実施形態において行われる処理について説明する。図１８は第３の実施形態において行われる処理を示すフローチャートである。ＣＰＵ３３は撮影者によりメニュー表示の指示がなされたか否かを監視しており（ステップＳＴ４１）、ステップＳＴ４１が肯定されると、撮影制御部２２が、現在取得されている第１および第２の画像Ｇ１，Ｇ２のスルー画像から輝度評価値およびＡＦ評価値を算出する（評価値算出、ステップＳＴ４２）。次いで、ＣＰＵ３３が、第１の画像Ｇ１におけるメニューＭ１を表示する基準位置Ｂ１および現在の視差Ｄｒの情報を取得する（ステップＳＴ４３）。なお、現在の視差Ｄｒの初期値はＤ０である。そして、距離情報算出部３１が、第１の画像Ｇ１に基準領域Ｂ１を設定し（ステップＳＴ４４）、基準領域Ｂ１内の各画素の視差を距離情報として算出する（ステップＳＴ４５）。

次いで、３次元処理部３０が、算出した距離情報の視差のうち、最も立体感が大きい部分の視差に対応する最大視差Ｄｍａｘを取得し（ステップＳＴ４６）、最大視差ＤｍａｘがメニューＭ１，Ｍ２の現在の視差Ｄｒよりも大きいか否かを判定する（ステップＳＴ４７）。ステップＳＴ４７が肯定されると、３次元処理部３０は、メニューＭ１，Ｍ２の現在の視差Ｄｒを最大視差Ｄｍａｘよりも大きい視差Ｄｂに変更し（ステップＳＴ４８）、視差Ｄｂを有するようにメニューＭ１，Ｍ２を第１および第２の画像Ｇ１，Ｇ２にそれぞれ配置し（ステップＳＴ４９）、第１および第２の画像Ｇ１，Ｇ２並びにメニューＭ１，Ｍ２に対して３次元処理を行う（ステップＳＴ５０）。そして表示制御部２８が、メニューＭ０が重畳された３次元画像をモニタ２０に３次元表示する（ステップＳＴ５１）。なお、ステップＳＴ４７が否定されると、ステップＳＴ４９の処理に進み、現在の視差Ｄｒを有するように、メニューＭ１，Ｍ２を第１および第２の画像Ｇ１，Ｇ２にそれぞれ配置して３次元処理を行う。

次いで、撮影制御部２２が、現在取得されている第１および第２の画像Ｇ１，Ｇ２のスルー画像から輝度評価値およびＡＦ評価値を算出し（評価値算出、ステップＳＴ５２）、ＣＰＵ３３が、輝度評価値およびＡＦ評価値の少なくとも一方が所定のしきい値を超えて変化したか否かを判定する（ステップＳＴ５３）。ステップＳＴ５３が否定されるとステップＳＴ５２の処理に戻る。ステップＳＴ５３が肯定されるとステップＳＴ４３に戻り、ステップＳＴ４３以降の処理を繰り返す。

このように、第３の実施形態においては、輝度評価値およびＡＦ評価値の少なくとも一方が所定のしきい値を超えて変化した場合に、距離情報の算出、並びに第１、第２の画像Ｇ１，Ｇ２およびメニューＭ１，Ｍ２の３次元処理を行うようにしたため、撮影する画像の明るさおよび／または焦点位置が変化することにより、３次元表示される３次元画像の立体感が変更された場合であっても、３次元画像と重ならないようにオブジェクトを表示することができる。

なお、上記第３の実施形態においては、輝度評価値およびＡＦ評価値の少なくとも一方を評価値として算出しているが、これ以外の評価値、例えば画像の色等を用いるようにしてもよい。

また、上記第１から第３の実施形態においては、基準領域Ｂ１内における最も立体感が大きい画素の視差Ｄｍａｘよりも大きい視差Ｄｂを有するようにメニューＭ１，Ｍ２に３次元処理を行っているが、メニューＭ０の立体感を変更することなく、メニューＭ０の奥行き方向に垂直な２次元方向における位置を変更することにより、メニューＭ１，Ｍ２に対して３次元処理を行うようにしてもよい。以下、これを第４の実施形態として説明する。なお、第２の実施形態による３次元表示装置を適用した複眼カメラの構成は、第１の実施形態による３次元表示装置を適用した複眼カメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。

第４の実施形態においては、距離情報算出部３１は、第１の画像Ｇ１内のすべての画素における視差を距離情報として算出する。図１９は第４の実施形態において算出された３次元画像上の距離分布を示す図である。なお、図１９はｙ軸に直交するあるｘｚ平面での距離分布を示している。第１および第２の画像Ｇ１，Ｇ２におけるあらかじめ定められた基準位置に所定の視差を持って第１および第２の画像Ｇ１，Ｇ２を配置した場合、３次元画像におけるある部分Ｐ０の立体感がメニューＭ０の立体感よりも大きいと、図１９に示すように部分Ｐ０とメニューＭ０とが重なってしまう。このため、第４の実施形態においては、３次元処理部３０は、立体感がメニューＭ０の立体感よりも小さい部分にメニューＭ０が表示されるように、視差を変更することなく、メニューＭ１，Ｍ２の配置位置を変更する。例えば、図１９に示すように、部分Ｐ０の右側にメニューＭ０が３次元表示されるように、メニューＭ１，Ｍ２の配置位置を変更する。

このように、３次元画像と重ならない位置にメニューＭ０が表示されるよう、第１および第２の画像Ｇ１，Ｇ２上におけるメニューＭ１，Ｍ２の配置位置を変更することにより、３次元画像およびメニューＭ０の立体感を変更することなく、３次元画像と重ならないようにメニューＭ０を表示することができる。

なお、上記第１から第４の実施形態においては、複眼カメラ１に２つの撮影部２１Ａ，２１Ｂを設け、２つの画像Ｇ１，Ｇ２を用いて３次元表示を行っているが、３以上の撮影部を設け、３以上の画像を用いて３次元表示を行う場合にも本発明を適用することができる。

また、上記第１から第４の実施形態においては、本発明による３次元表示装置を複眼カメラ１に適用しているが、表示制御部２８，３次元処理部３０、距離情報算出部３１およびモニタ２０を備えた３次元表示装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が３次元表示装置に入力され、上記第１から第４の実施形態と同様に、画像とともにメニューＭ０が３次元表示される。この場合、装置に画像を入力するためのインターフェースが画像取得手段に対応する。

以上、本発明の実施形態について説明したが、コンピュータを、上記の表示制御部２８、３次元処理部３０および距離情報算出部３１に対応する手段として機能させ、図１２，１７，１８に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

１ 複眼カメラ
２１Ａ，２１Ｂ 撮影部
２２ 撮影制御部
２８ 表示制御部
３０ ３次元処理部
３１ 距離情報算出部

Claims (15)

1. 被写体を異なる視点から撮影することにより取得した、視差を有する複数の画像に対して３次元表示のための３次元処理を行うとともに、前記３次元表示された３次元画像に重ねて表示されるオブジェクトに対して前記３次元処理を行う３次元処理手段と、
   前記３次元画像の３次元表示を少なくとも行う表示手段と、
   前記３次元画像の距離情報を算出する距離情報算出手段と、
   前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行うよう、前記距離情報算出手段および前記３次元処理手段を制御する制御手段とを備え、
   前記３次元処理手段は、前記３次元表示時における前記オブジェクトと前記３次元画像との重なりを解消するように、前記距離情報に基づいて、前記オブジェクトの前記３次元画像に対する３次元空間上の相対的な位置を変更する手段であることを特徴とする３次元表示装置。
2. 前記距離情報算出手段は、前記複数の画像のうちの基準となる基準画像において、前記オブジェクトが表示される基準領域内の各画素について、前記距離情報を算出する手段であり、
   前記３次元処理手段は、前記基準領域内の距離情報に基づいて、前記３次元画像に対して手前側の位置に前記オブジェクトが３次元表示されるよう、前記オブジェクトの前記３次元画像に対する前記３次元空間上における奥行き方向の相対的な位置を変更する手段であることを特徴とする請求項１記載の３次元表示装置。
3. 前記距離情報算出手段は、前記複数の画像間における互いに対応する対応点の視差を前記距離情報として算出する手段であることを特徴とする請求項１または２記載の３次元表示装置。
4. 前記距離情報算出手段は、前記複数の画像における特徴部分を抽出し、該特徴部分から前記対応点の視差を算出する手段であることを特徴とする請求項３記載の３次元表示装置。
5. 前記距離情報算出手段は、前記複数の画像を取得した場合の撮影条件に基づいて、前記対応点の視差を算出する手段であることを特徴とする請求項３記載の３次元表示装置。
6. 前記距離情報算出手段は、前記撮影条件から被写界深度の手前側の距離を算出し、該手前側の距離、前記撮影時の基線長および焦点距離から、前記対応点の最大視差を算出する手段であることを特徴とする請求項５記載の３次元表示装置。
7. 前記３次元処理手段は、前記基準領域内において算出された前記対応点の視差のうち、最大視差以上の視差を有するよう、前記オブジェクトに対して前記３次元処理を行う手段であることを特徴とする請求項３から６のいずれか１項記載の３次元表示装置。
8. 前記３次元処理手段は、前記オブジェクトが所定の視差を有するように前記オブジェクトに対して前記３次元処理を行う場合、前記基準領域内において算出された前記対応点の視差のうち、最大視差が前記所定の視差以下の視差となるよう、前記複数の画像に対して前記３次元処理を行う手段であることを特徴とする請求項３から６のいずれか１項記載の３次元表示装置。
9. 前記３次元処理手段は、前記距離情報に基づいて、前記３次元画像との重なりを解消する位置に前記オブジェクトが表示されるよう、前記３次元空間における奥行き方向と直交する方向に前記オブジェクトの位置を変更する手段であることを特徴とする請求項１記載の３次元表示装置。
10. 前記距離情報算出手段は、前記複数の画像間における互いに対応する対応点の視差を前記距離情報として算出する手段であることを特徴とする請求項９記載の３次元表示装置。
11. 前記距離情報算出手段は、前記複数の画像における特徴部分を抽出し、該特徴部分から前記対応点の視差を算出する手段であることを特徴とする請求項１０記載の３次元表示装置。
12. 所定時間間隔にて、被写体を異なる視点から撮影することにより前記複数の画像を取得し、前記所定時間間隔にて前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行うよう、前記距離情報算出手段および前記３次元処理手段を制御する制御手段をさらに備えたことを特徴とする請求項１から１１のいずれか１項項記載の３次元表示装置。
13. 被写体を異なる視点から撮影することにより取得した、視差を有する複数の画像に対して３次元表示のための３次元処理を行うとともに、前記３次元表示された３次元画像に重ねて表示されるオブジェクトに対して前記３次元処理を行う３次元処理手段と、
    前記３次元画像の３次元表示を少なくとも行う表示手段とを備えた３次元表示装置における３次元表示方法であって、
    前記３次元画像の距離情報を算出するステップと、
    前記３次元表示時における前記オブジェクトと前記３次元画像との重なりを解消するように、前記距離情報に基づいて、前記オブジェクトの前記３次元画像に対する３次元空間上の相対的な位置を変更するステップと、
    前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行うステップとを有することを特徴とする３次元表示方法。
14. 被写体を異なる視点から撮影することにより取得した、視差を有する複数の画像に対して３次元表示のための３次元処理を行うとともに、前記３次元表示された３次元画像に重ねて表示されるオブジェクトに対して前記３次元処理を行う３次元処理手段と、
    前記３次元画像の３次元表示を少なくとも行う表示手段とを備えた３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムであって、
    前記３次元画像の距離情報を算出する手順と、
    前記３次元表示時における前記オブジェクトと前記３次元画像との重なりを解消するように、前記距離情報に基づいて、前記オブジェクトの前記３次元画像に対する３次元空間上の相対的な位置を変更する手順と、
    前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行う手順とをコンピュータに実行させるためのプログラム。
15. 被写体を異なる視点から撮影することにより取得した、視差を有する複数の画像に対して３次元表示のための３次元処理を行うとともに、前記３次元表示された３次元画像に重ねて表示されるオブジェクトに対して前記３次元処理を行う３次元処理手段と、
    前記３次元画像の３次元表示を少なくとも行う表示手段と、
    前記３次元画像の距離情報を算出する距離情報算出手段と、
    前記距離情報の算出、並びに前記複数の画像および前記オブジェクトの３次元処理を行うよう、前記距離情報算出手段および前記３次元処理手段を制御する制御手段とを備え、
    前記３次元処理手段は、前記３次元表示時における前記オブジェクトの一部または全部が、前記３次元画像に隠されるべき位置関係にある状態を解消するように、前記距離情報に基づいて、前記オブジェクトの前記３次元画像に対する３次元空間上の相対的な位置を変更する手段であることを特徴とする３次元表示装置。

Images