JP4925354B2 - 画像処理装置、画像表示装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、立体視可能な立体視画像を処理する画像処理装置、画像表示装置、撮像装置及び画像処理方法に関し、特に立体視画像のレイアウトに関するものである。

従来から、撮像により取得した撮影シーンの異なる複数の平面画像をユーザの所望する配置にレイアウトして出力できるデジタルカメラが提案されており、このようなデジタルカメラでは例えば、予め記録された様々なレイアウトのテンプレートのうちからユーザが所望のものを選択し、この選択したテンプレートのレイアウトに前記複数の平面画像から選択した画像を挿入することにより、複数の平面画像がレイアウトされた合成平面画像を生成して出力するものがある（特許文献１）。

一方、近年、複数の平面画像を組み合わせて表示することにより、画像間の視差を利用して立体視する方法が知られている。このような立体視ができる立体視画像は、同一の被写体を異なる位置から撮影することにより複数の平面画像を取得し、複数の平面画像に含まれる被写体の視差を利用して複数の平面画像を合成することにより生成することができる。
特開２００５−１７６２１６号公報

ところで撮影シーンの異なる複数の立体視画像を配置して１つの立体視画像を生成するときに、立体視画像を立体視するには上記のように複数の平面画像に含まれる被写体の視差を利用しているため、立体視画像の奥行き感は視差に依存するものとなり、遠くの物体は、左右どちらの目で見た場合にも略同一位置するので視差が小さくなり、近くの物体左右にずれて位置するので視差が大きくなるため、撮影シーンによって立体視画像の奥行き感は異なるものとなる。

しかしながら特許文献１のように、撮影シーンの異なる複数の平面画像を配置して１つの平面画像を生成する方法では、平面画像には奥行き感がないため、立体視画像を効果的にレイアウトすることはできない。

本発明はかかる事情に鑑みてなされたものであり、複数の平面画像を配置して１つの平面画像を生成するときに、効果的なレイアウトを施すことができる画像処理装置、画像表示装置、撮像装置及び画像処理方法を提供することを目的とするものである。

本発明の第一の画像処理装置は、複数の立体視画像を入力する立体視画像入力手段と、
該立体視画像入力手段により入力された前記複数の立体視画像の各々について、前記立体視画像の奥行き感を検知する奥行き感検知手段と、
前記複数の立体視画像を、前記奥行き感検知手段により検知された奥行き感が大きいものの順に前方側に位置するように少なくとも一部を重ねて配置する立体視画像配置手段と、
該立体視画像配置手段により配置された立体視画像を記録する画像記録手段とを備えてなることを特徴とするものである。

ここで本発明において「立体視画像」とは、同一の被写体を異なる視点から撮像して取得した複数の画像中に含まれる被写体の視差を利用することにより生成された立体視可能な画像をいい、「立体視画像の奥行き感」とは、撮影された空間における被写体までの実際の奥行き距離ではなく、前記視差から導き出される立体感を意味し、立体視画像における最大視差と最小視差と差を示すものである。

本発明の第二の画像処理装置は、複数の画像を入力する立体視画像入力する立体視画像入力手段と、
該立体視画像入力手段により入力された前記複数の立体視画像を、少なくとも一部を任意の順序で重ねて配置する立体視画像配置手段と、
該立体視画像配置手段により前方側に配置されるものの順に、前記立体視画像の奥行き感が大きくなるように該奥行き感を調整する奥行き感調整手段と、
該奥行き感調整手段により前記奥行き感が調整されて前記配置された立体視画像を記録する画像記録手段とを備えてなることを特徴とするものである。

また本発明の第一の画像表示装置は、複数の立体視画像を入力する立体視画像入力手段と、
該立体視画像入力手段により入力された前記複数の立体視画像の各々について、前記立体視画像の奥行き感を検知する奥行き感検知手段と、
前記複数の立体視画像を、前記奥行き感検知手段により検知された奥行き感が大きいものの順に前方側に位置するように少なくとも一部を重ねて配置する立体視画像配置手段と、
該立体視画像配置手段により配置された立体視画像を表示する立体視画像表示手段とを備えてなることを特徴とするものである。

本発明の第二の画像表示装置は、複数の画像を入力する立体視画像入力する立体視画像入力手段と、
該立体視画像入力手段により入力された前記複数の立体視画像を、少なくとも一部を任意の順序で重ねて配置する立体視画像配置手段と、
該立体視画像配置手段により前方側に配置されるものの順に、前記立体視画像の奥行き感が大きくなるように該奥行き感を調整する奥行き感調整手段と、
該奥行き感調整手段により前記奥行き感が調整されて前記配置された立体視画像を表示する立体視画像表示手段とを備えてなることを特徴とするものである。

また本発明の第一の撮像装置は、異なる視点から被写体を撮像して一対の画像データを取得する撮像手段と、
該撮像手段により取得された前記一対の画像データから前記被写体各部までの距離を算出して立体視画像を生成する立体視画像生成手段と、
該立体視画像生成手段により生成された複数の立体視画像の各々について、前記立体視画像の奥行き感を検知する奥行き感検知手段と、
前記複数の立体視画像を、前記奥行き感検知手段により検知された奥行き感が大きいものの順に前方側に位置するように少なくとも一部を重ねて配置する立体視画像配置手段と、
該立体視画像配置手段により配置された立体視画像を記録する画像記録手段とを備えてなることを特徴とするものである。

本発明の第二の撮像装置は、異なる視点から被写体を撮像して一対の画像データを取得する撮像手段と、
該撮像手段により取得された前記一対の画像データから前記被写体各部までの距離を算出して立体視画像を生成する立体視画像生成手段と、
該立体視画像生成手段により生成された複数の立体視画像を、少なくとも一部を任意の順序で重ねて配置する立体視画像配置手段と、
該立体視画像配置手段により前方側に配置されるものの順に、前記立体視画像の奥行き感が大きくなるように該奥行き感を調整する奥行き感調整手段と、
該奥行き感調整手段により前記奥行き感が調整されて前記配置された立体視画像を記録する画像記録手段とを備えてなることを特徴とするものである。

また本発明の第一の画像処理方法は、複数の立体視画像を入力し、
該入力された前記複数の立体視画像の各々について、前記立体視画像の奥行き感を検知し、
前記複数の立体視画像を、前記検知された奥行き感が大きいものの順に前方側に位置するように少なくとも一部を重ねて配置し、
該配置された前記複数の立体視画像を記録することを特徴とする。

本発明の第二の画像処理方法は、前記複数の画像を入力し、
該入力された前記複数の立体視画像を、少なくとも一部を任意の順序で重ねて配置し、
前記順序により前方側に配置されるものの順に、前記立体視画像の奥行き感が大きくなるように該奥行き感を調整し、
該奥行き感が調整されて前記配置された立体視画像を記録することを特徴とする。

本発明の第一の画像処理装置、画像表示装置、撮像装置及び画像処理方法によれば、複数の立体視画像を入力し、入力された複数の立体視画像の各々について、立体視画像の奥行き感を検知し、複数の立体視画像を、検知された奥行き感が大きいものの順に前方側に位置するように少なくとも一部を重ねて配置するので、複数の立体視画像を重ねて配置して一つの立体視画像に合成するときに、より立体感の強調された合成立体視画像を記録又は表示することができる。

また本発明の第二の画像処理装置、画像表示装置、撮像装置及び画像処理方法によれば、複数の画像を入力し、入力された複数の立体視画像を、少なくとも一部を任意の順序で重ねて配置し、この順序により前方側に配置されるものの順に、立体視画像の奥行き感が大きくなるように奥行き感を調整するので、複数の立体視画像を重ねて配置して一つの立体視画像に合成するときに、より立体感の強調された合成立体視画像を記録又は表示することができる。

以下、本発明の実施形態について図面を参照して詳細に説明する。図１は本発明の第一の実施形態の画像処理装置１の概略構成を示すブロック図、図２は左目用と右目用の平面画像ＰＬ、ＰＲ及び立体視画像Ｐの一例を示す図、図３は複数の立体視画像Ｐ１〜Ｐ３が合成された立体視画像Ｐの一例である。

本実施形態の画像処理装置１は複数の立体視画像を合成して一つの立体視画像を生成するものであり、図１に示す如く、立体視画像入力部（立体視画像入力手段）１０、操作部１１、表示制御部１２、モニタ１３、読込部１４、奥行き感検知部（奥行き感検知手段）１５、立体視画像配置部（立体視画像配置手段）１６、データ圧縮部１７、メディア制御部１８、記録メディア（記録手段）１９、内部メモリ２０等を備えており、これらはデータバス２１を介して、各種信号、データの送受信を行う。

立体視画像入力部１０は、複数の立体視画像Ｐの画像データ及び／又は画像ファイルを入力するものであり、後述の記録メディア１９や内部メモリ２０に記録された立体視画像Ｐの画像データ及び／又は画像ファイルを、メディア制御部１８を介して読み込んで入力したり、有線又は無線のネットワーク経由で立体視画像Ｐの画像データ及び／又は画像ファイルを読み込んで入力したりすることができる。

ここで立体視画像Ｐの画像データとは、被写体を異なる２つの視点から撮像して得た左目用の平面画像ＰＬと右目用の平面画像ＰＲとが左右に並ぶように画像データを合成して生成される（図２参照）、または左右それぞれによって生成され、平面画像ＰＬ、ＰＲに含まれる被写体の視差を利用して立体視を実現するものであり、立体視画像Ｐの画像ファイルとは、複数の平面画像を含んで生成され、ヘッダ部分にその画像ファイルが立体視画像生成用の複数の平面画像を含む旨や複数の平面画像の配置位置を表す情報、立体視画像Ｐの奥行き感（後述する）を示す情報等が含められた１つの画像ファイルであり、画像ファイルを開いたときには複数の平面画像が左右に並べられて配置された立体視画像となる。または、左右それぞれの画像データが関連付けられた名前にて記録されているものである。

操作部１１は、例えばマウスやキーボード、各種ボタン等で構成されるものであり、ユーザがこれらを操作することにより各種設定を行う。

表示制御部１２は、立体視画像入力部１０により入力された立体視画像Ｐに基づく左目用平面画像ＰＬと右目用平面画像ＰＲとが左右に並んだ平面画像をモニタ１３に表示させる他に、各種設定メニュー等を表示させる。また表示制御部１２は、後述の記録メディア１９に記録され、メディア制御部１８によって読み出された立体視画像Ｐに基づく平面画像をモニタ１３に表示させる。

モニタ１３は、表示制御部１２を介して平面画像を表示するものであり、操作部１１によって設定操作される各種設定メニュー等も表示する。

読込部１４は、立体視画像入力部１０により入力された立体視画像Ｐすなわち左目用の平面画像ＰＬと右目用の平面画像ＰＲのデータを含む画像データを読み込むものである。また立体視画像Ｐの画像ファイルのヘッダ部に含められた各種情報も読み込む。

奥行き感検知部１５は、読込部１４によって読み込まれた複数の立体視画像Ｐの各々の奥行き感を検知するものである。この奥行き感は、例えば立体視画像入力部１０により立体視画像Ｐの画像ファイルが入力されたときには、読込部１４によってヘッダ部分から読み込まれた立体視画像Ｐの奥行き感を示す情報により検知することができる。

また立体視画像を立体視するには２つの画像に含まれる被写体の視差を利用しているため、立体視画像の奥行き感は視差に依存するものとなり、遠くの物体すなわち図２における山ＭＬ、ＭＲは、左右どちらの目で見た場合にも略同一位置するので視差量ｄ２が小さくなり、近くの物体すなわち図２における人物ＡＬ、ＡＲが左右にずれると視差量ｄ１が大きくなって、２つの画像における最大視差量と最小視差量との差（ｄ１−ｄ２）が大きいほど奥行き感が大きくなる。従って奥行き感は、図２に示す如く、立体視画像Ｐの左目用平面画像ＰＬと右目用平面画像ＰＲにおいて公知のステレオマッチング法により各画素における最大視差と最小視差の値を検出し、最大視差と最小視差との値の差を奥行き感として検知してもよい。

立体視画像配置部１６は、立体視画像入力部１０により入力された複数の立体視画像、例えば図３に示す立体視画像Ｐ１〜Ｐ３を、奥行き感検知部１５により検知された各々の奥行き感が大きいものの順に前方に位置するように少なくとも一部を重ねて配置するものであり、図３では（１）図に示す如く、立体視画像Ｐ１の奥行き感Ｓ１が立体視画像Ｐ２、Ｐ３の奥行き感Ｓ２、Ｓ３よりも大きいため、前方側に配置する。このとき立体視画像配置部１６は、予め複数の立体視画像Ｐ１〜Ｐ３を操作部１１にて操作することによって、ユーザの所望するレイアウトで配置して１つの立体視画像Ｐとして合成しておき、この合成された立体視画像Ｐにおいて立体視画像Ｐ１〜Ｐ３のいずれか重なった部分についてのみ上記の順序にて重ねて配置する。このように奥行き感の大きな立体視画像Ｐ１を前方の立体視画像として配置することによって、より立体感の強調された立体視画像Ｐを作成することができる。

なおこのとき図３の（２）図に示す如く、立体視画像Ｐ３の奥行き感Ｓ３が立体視画像Ｐ２の奥行き感Ｓ２よりも大きい場合には、立体視画像Ｐ３を立体視画像Ｐ２の前方に配置するようにしてもよい。

データ圧縮部１７は、合成された立体視画像Ｐの画像データを圧縮処理するものであり、圧縮された画像データはメディア制御部１８を介して記録メディア１９に記録される。

メディア制御部１８は、記録メディア１９に記憶された立体視画像Ｐの画像データや画像ファイル等の読み出し、又は書き込みを行う。

記録メディア（記録手段）１９は、立体視画像Ｐの画像データや画像ファイル等の各種データやファイルを記憶可能な記録媒体であり、磁気的又は光学的記録媒体、半導体メモリ等によって構成されている。

内部メモリ２０は、画像処理装置１において設定される各種定数やプログラム等を格納するものであって、立体視画像入力部１０により入力された立体視画像データや立体視画像配置部１６により重ねて配置され合成された立体視画像Ｐの画像データ等を記憶するバッファメモリとしても機能する。

本実施形態の画像処理装置１は上記のように構成されている。次に画像処理装置１による画像処理について説明する。図４は画像処理装置１による一連の画像処理のフローチャート、図５は立体視画像配置部１６による立体視画像配置処理のフローチャートである。

画像処理装置１は、図４に示す如く、先ず立体視画像入力部１０が複数、例えば３つの立体視画像Ｐ１〜Ｐ３を入力し（ステップＳ１）、読込部１４が入力された立体視画像Ｐ１〜Ｐ３の各々の左目用の平面画像ＰＬと右目用の平面画像ＰＲのデータを読み込む（ステップＳ２）。

次に奥行き感検知部１５が、上述のようにして立体視画像Ｐ１〜Ｐ３が各々の左目用の平面画像ＰＬと右目用の平面画像ＰＲからそれぞれエッジや形状パターン等の対応点を検出して両平面画像ＰＬ、ＰＲ間の最大視差ｄ１と最小視差ｄ２とを検出して最大視差ｄ１と最小視差ｄ２との値の差つまり奥行き感を検知する（ステップＳ３）。このように各立体視画像Ｐ１〜Ｐ３毎に検知した奥行き感は、内部メモリ２０に記憶しておく。

そして次に立体視画像配置部１６が立体視画像配置処理を行う（ステップＳ４）。立体視画像配置処理は、先ず図３に示す如く、予め立体視画像Ｐ１〜Ｐ３を、操作部１１を操作することによって、ユーザの所望するレイアウトで配置して１つの立体視画像Ｐとして合成しておき、この合成された立体視画像Ｐにおいて立体視画像Ｐ１〜Ｐ３のいずれか重なった部分について以下の処理による順序にて配置する。このとき合成された立体視画像Ｐの左目用の平面画像ＰＬと右目用の平面画像ＰＲの両方の画像において、それぞれ立体視画像Ｐ１〜Ｐ３の左目用の平面画像ＰＬと右目用の平面画像ＰＲとを同様の順序で配置する。

立体視画像配置部１６は、図５に示す如く、内部メモリ２０に記憶された各立体視画像Ｐ１〜Ｐ３毎に検知した奥行き感から最も奥行き感の大きい立体視画像（図３中、立体視画像Ｐ１）を選択し（ステップＳ１１）、選択した立体視画像Ｐ１を前方に配置する（ステップＳ１２）。そして残りの立体視画像があるか否か、つまり全ての立体視画像が配置されたか否かを判別し（ステップＳ１３）、立体視画像がある場合（ステップＳ１３；ＹＥＳ）には、ステップＳ１１へ処理を移行して、立体視画像が全て配置されるまで以降の処理を繰り返し行い、立体視画像がない場合(ステップＳ１３；ＮＯ)には、立体視画像の配置処理を終了する。

そして図４に示す如く、立体視画像配置部１６による立体視画像配置処理が終了すると（ステップＳ４）、次に処理済みの立体視画像すなわち合成された立体視画像Ｐの画像データを圧縮し、メディア制御部１８が圧縮された立体視画像Ｐの画像データを記録メディア１９に記録して（ステップＳ５）、画像処理装置１による画像処理を終了する。

以上により、本実施形態の画像処理装置１及び画像処理方法によれば、複数の立体視画像Ｐ１、Ｐ２、Ｐ３、、、を重ねて配置して一つの立体視画像に合成する場合に、各々の立体視画像Ｐ１、Ｐ２、Ｐ３、、、の奥行き感が大きい立体視画像を前方に配置することにより、より立体感の強調された合成立体視画像にすることができる。

なお本実施形態の画像処理装置１では、奥行き感検知部１５が立体視画像入力部１０により入力された全ての立体視画像に対して奥行き感の検知を行ったが、本発明はこれに限られるものではなく、合成立体視画像において重なって配置された立体視画像についてのみ奥行き感を検知してもよい。

また本実施形態の画像処理装置１では、奥行き感検知部１５が立体視画像入力部１０により入力された立体視画像から検知したが、本発明はこれに限られるものではない。ここで別の画像処理装置１’について以下説明する。図６は、画像処理装置１’の概略構成を示すブロック図、図７は図６の画像処理装置１’による一連の画像処理のフローチャートである。なお図７は便宜上、図４のフローチャートと同様の処理は同じステップ番号で示して説明を省略する。

画像処理装置１’は、上記実施形態の画像処理装置１にさらに、図６に示す如く、奥行き感情報入力部２２を備えてなり、奥行き感情報入力部２２は複数の立体視画像Ｐ１、Ｐ２、、、の画像ファイルとは別のファイルに付与された、奥行き感を求めるために必要な撮影時の焦点位置、ズーム位置、２つのカメラにより異なる視点から被写体を撮影する場合のカメラ間の主点間距離及び輻輳角等の奥行き感情報又は複数の立体視画像Ｐ１、Ｐ２、、、の各々に対応させて前記別のファイルに付与された奥行き感を読み出して入力するものであって、本実施形態の奥行き感検知部１５’は、奥行き感情報入力部２２により入力された奥行き感情報から奥行き感を検知する。

上記のように構成された画像処理装置１’による画像処理は、図７に示す如く、ステップＳ２にて立体視画像入力部１０により入力された複数の立体視画像を読み込むと（ステップＳ２）、次に奥行き感情報入力部２２が記録メディアに記録された立体視画像Ｐ１、Ｐ２、、、とは別のファイルに付与された上記奥行き感情報をメディア制御部１８を介して読み出して入力し（ステップＳ３’）、奥行き感検知部２２が奥行き感情報入力部２２による入力された奥行き感情報から奥行き感を検知する（ステップＳ３）。このようにして画像処理装置１’は画像処理を行う。

次に本発明の第二の実施形態の画像処理装置１−２について図面を参照して詳細に説明する。ここで図８は第二の実施形態の画像処理装置１−２の概略構成を示すブロック図、図９は複数の立体視画像が合成された立体視画像の別の一例を示す図、図１０は図８の画像処理装置１−２による一連の画像処理のフローチャート、図１１は奥行き感調整部２３による奥行き感調整処理のフローチャート、図１２は左目用と右目用の平面画像ＰＬ、ＰＲの一例を示す図である。なお図８は便宜上、図１のブロック図と同様の箇所は同符号で示して説明を省略する。

本実施形態の画像処理装置１−２は、図８に示す如く、上記実施形態の画像処理装置１、１’の奥行き感検知部１５を備えずに、奥行き感調整部２３を備えている。また本実施形態の立体視画像配置部１６−２は、図９に示す如く、立体視画像入力部１０により入力された複数（本実施形態では３つ）の立体視画像Ｐ１−２、Ｐ２−２、Ｐ３−２を、例えば操作部１１を操作することによってユーザの所望のレイアウトで配置して合成することにより１つの立体視画像Ｐ−２を作成するものである。

そして奥行き感調整部２３は、作成された立体視画像Ｐ−２において立体視画像Ｐ１−２、Ｐ２−２、Ｐ３−２が重なって配置されているときに、前方側に配置されるものの順に立体視画像Ｐ１−２、Ｐ２−２、Ｐ３−２の奥行き感Ｓ１−２、Ｓ２−２、Ｓ３−２が大きくなるように、図９の（１）図に示す如く、前方に配置された立体視画像Ｐ１−２の奥行き感Ｓ１−２を立体視画像Ｐ２−２、Ｐ３−２の奥行き感Ｓ２−２、Ｓ３−２よりも大きい奥行き感Ｓ１’−２にしたり、図９の（２）図に示す如く、後方に配置された立体視画像Ｐ２−２、Ｐ３−２の奥行き感Ｓ２−２、Ｓ３−２を立体視画像Ｐ１−２の奥行き感Ｓ１−２よりも小さい奥行き感Ｓ２’−２、Ｓ３’−２にしたりして奥行き感を調整する。

なおこのとき図９の（３）図に示す如く、立体視画像Ｐ２−２が立体視画像Ｐ３−２よりも後方に配置され、かつ、立体視画像Ｐ２−２の奥行き感Ｓ２−２が立体視画像Ｐ３−２の奥行き感Ｓ３−２よりも大きい場合には、立体視画像Ｐ２−２の奥行き感Ｓ２−２を奥行き感Ｓ３−２よりも小さい奥行き感Ｓ２’−２に調整するようにしてもよい。

上記のように構成された画像処理装置１−２による画像処理は、図１０に示す如く、先ず立体視画像入力部１０が複数、例えば３つの立体視画像Ｐ１−２〜Ｐ３−２を入力し（ステップＳ２１）、読込部１４が入力された立体視画像Ｐ１−２〜Ｐ３−２の各々の左目用の平面画像ＰＬと右目用の平面画像ＰＲのデータを読み込む（ステップＳ２２）。

次に立体視画像配置部１６−２が、例えば図９に示す如く、予め立体視画像Ｐ１〜Ｐ３を、操作部１１を操作することによって、ユーザの所望するレイアウトで配置して１つの立体視画像Ｐ−２を作成する（ステップＳ２３）。このとき作成された立体視画像Ｐ−２の左目用の平面画像ＰＬと右目用の平面画像ＰＲの両方の画像において、それぞれ立体視画像Ｐ１−２〜Ｐ３−２の左目用の平面画像ＰＬと右目用の平面画像ＰＲとを同様の順序で配置する。

そして作成された立体視画像Ｐ−２において、少なくとも一部が重なっている立体視画像Ｐ１−２〜Ｐ３−２について奥行き間調整部２３が奥行き間調整処理を行う（ステップＳ２４）。

奥行き感調整処理は、図１１に示す如く、まず前方に配置された立体視画像Ｐ１−２の奥行き感が他の立体視画像Ｐ２−２、Ｐ３−２よりも大きくなるように奥行き感を調整する（ステップＳ３１）。奥行き感の調整は、立体視画像Ｐ１−２の左目用の平面画像ＰＬと右目用の平面画像ＰＲからそれぞれエッジや形状パターン等の対応点を検出して、図１２に示す如く、両平面画像ＰＬ、ＰＲ間の最大視差ｄ１と最小視差ｄ２とを検出して最大視差ｄ１と最小視差ｄ２との差（ｄ１−ｄ２）が大きくなるように、例えば最大視差ｄ１の値を大きくする。

最大視差ｄ１は右目用の平面画像ＰＲ中の人物ＡＲと左目用の平面画像ＰＬ中の人物ＡＬとの視差量なので、図１２の右図に示す如く、平面画像ＰＲ中の人物ＡＲを含む領域を抽出して、視差量ｄ１が大きくなる方向つまり図中左に移動して視差量を視差量ｄ１’とする。このとき右目用の平面画像ＰＲにおいて人物ＡＲを含む領域の抽出後の領域については、左目用の平面画像ＡＬを使用して、例えば特開２００４−２０７７７２号公報に記載の補間処理を施す。

なお本実施形態では右目用の平面画像ＰＲにて上記処理を行ったが、最大視差ｄ１の値が大きくなれば、左目用の平面画像ＰＬについて行ってもよいし、両方の平面画像ＰＲ、ＰＬについて行ってもよい。また最小視差ｄ２の値を小さくしてもよいし、最大視差ｄ１の値を大きくし、かつ最小視差ｄ２の値を小さくしてもよい。

そして次に残りの立体視画像があるか否か、つまり少なくとも一部が重なっている立体視画像の奥行き感の調整が全て終了したか否かを判別し（ステップＳ３２）、立体視画像がある場合（ステップＳ１３；ＹＥＳ）には、ステップＳ３１へ処理を移行して、立体視画像の奥行き感が全て調整されるまで以降の処理を繰り返し行い、立体視画像がない場合(ステップＳ１３；ＮＯ)には、立体視画像の奥行き感の調整処理を終了する。

そして図１０に示す如く、奥行き感調整部２３による奥行き感調整処理が終了すると（ステップＳ２４）、次に処理済みの立体視画像すなわち合成された立体視画像Ｐの画像データを圧縮し、メディア制御部１８が圧縮された立体視画像Ｐの画像データを記録メディア１９に記録して（ステップＳ２５）、画像処理装置１−２による画像処理を終了する。

以上により、本実施形態の画像処理装置１−２及び画像処理方法によれば、複数の立体視画像Ｐ１、Ｐ２、Ｐ３、、、を重ねて配置して一つの立体視画像に合成する場合に、前方に配置された立体視画像の奥行き感を大きくすることにより、より立体感の強調された合成立体視画像にすることができる。

次に本発明の第三の実施形態の画像表示装置２について図面を参照して詳細に説明する。ここで図１３は第三の実施形態の画像表示装置２の概略構成を示すブロック図である。なお図１３は便宜上、図１のブロック図と同様の箇所は同符号で示して説明を省略する。本実施形態の画像表示装置２は、図１３に示す如く、平面画像のみを表示するモニタ１３ではなく、視差を有する左右両目用の平面画像からなる立体視画像Ｐを立体視可能な立体視画像表示部２４を備えている。

立体視画像表示部２４は、例えば左目用の平面画像ＰＬと右目用の平面画像ＰＲとをそれぞれ画像の縦方向に細長く切り取って交互に並べて表示し、同様に縦方向に刻まれたスリットを通して観察者に見せるようにすることで、観察者の左目には左目用の平面画像ＰＬを、右目には右目用の平面画像ＰＲをそれぞれ届ける、視差バリア（パララックスバリア）方式を使用することができる。また上記スリットの代わりにレンチキュラレンズを使用したレンチキュラ方式を使用してもよい。

本実施形態の立体視画像表示部２４は立体視画像Ｐを立体視可能なものであればいずれの方式を使用してもよく、時系列的に光路を変更させる、例えば特許第３９３００２１号公報に記載された、いわゆるスキャンバックライト方式を使用してもよいし、画像分離メガネを使用し、左右の画像を交互に表示することにより、立体画像を表示する時分割方式を使用してもよい。

次に上記のように構成された画像表示装置２による画像表示方法について説明する。図１４は図１３の画像表示装置２による一連の画像表示処理のフローチャートである。なお図１４のステップＳ４１からステップＳ４４までの処理は、図４のステップＳ１からステップＳ４までの処理と同様であるため説明は省略する。

本実施形態の画像表示装置２は、図１４に示す如く、ステップＳ４４にて立体視画像Ｐの配置処理が終了すると（ステップＳ４４）、複数の立体視画像が配置された立体視画像Ｐを上述した立体視画像表示部２４に表示して（ステップＳ４５）、画像表示処理を終了する。

以上により、本実施形態の画像表示装置２及び画像表示方法によれば、複数の立体視画像を重ねて配置して一つの立体視画像に合成して表示する場合に、奥行き感が大きい立体視画像を前方に配置することにより、より立体感の強調された合成立体視画像を表示することができる。

次に本発明の第四の実施形態の画像表示装置２−２について図面を参照して詳細に説明する。ここで図１５は第四の実施形態の画像表示装置２−２の概略構成を示すブロック図である。なお図１５は便宜上、図８のブロック図と同様の箇所は同符号で示して説明を省略する。本実施形態の画像表示装置２−２は、図１５に示す如く、平面画像のみを表示するモニタ１３ではなく、視差を有する左右両目用の平面画像からなる立体視画像Ｐを立体視可能な立体視画像表示部２４を備えている。なおこの立体視画像表示部２４については上記実施形態の画像表示装置２の立体視画像表示部２４と同様であるため、便宜上説明は省略する。

次に上記のように構成された画像表示装置２−２による画像表示方法について説明する。図１６は図１５の画像表示装置２−２による一連の画像表示処理のフローチャートである。なお図１６のステップＳ５１からステップＳ５４までの処理は、図１０のステップＳ２１からステップＳ２４までの処理と同様であるため説明は省略する。

本実施形態の画像表示装置２−２は、図１６に示す如く、ステップＳ５４にて奥行き感調整処理が終了すると（ステップＳ５４）、複数の立体視画像が配置された立体視画像Ｐを上述した立体視画像表示部２４に表示して（ステップＳ４５）、画像表示処理を終了する。

以上により、本実施形態の画像表示装置２−２及び画像表示方法によれば、複数の立体視画像を重ねて配置して一つの立体視画像に合成して表示する場合に、前方に配置された立体視画像の奥行き感を大きくすることにより、より立体感の強調された合成立体視画像を表示することができる。

次に本発明の第五の実施形態の撮像装置３について図面を参照して詳細に説明する。ここで図１７は第五の実施形態の撮像装置３の概略構成を示すブロック図である。なお図１７は便宜上、図１のブロック図と同様の箇所は同符号で示して説明を省略する。本実施形態の撮像装置３は、図１７に示す如く、図１の立体視画像入力部１０を備えずに、撮像部２５、信号処理部２６、立体視画像生成部２７を備えているものである。

撮像部２５は、同一の被写体を異なる視点から撮像可能なものであり、例えば１つのカメラを備え、１つのカメラが順次視点を変えて被写体を撮像するものであってもよいし、異なる視点に位置する複数のカメラを備え、被写体を同時に撮像するものであってもよい。

信号処理部２６は、撮像部２５により撮像された複数の画像信号に対してそれぞれＡ／Ｄ変換等の信号処理を施すものである。

立体視画像生成部２７は撮像部２５によって異なる視点から撮像され、信号処理部２６によって信号処理が施された例えば一対の平面画像つまり左目用の平面画像ＰＬと右目用の平面画像ＰＲから上述のようにして立体視画像Ｐの画像データを生成するものである。なお立体視画像生成部２７は、両方の平面画像ＰＬ、ＰＲからステレオマッチング処理によって最大視差と最小視差とを検出し、最大視差と最小視差との差つまり奥行き感を検知して、これら奥行き感情報を含む各種情報と複数の画像データとで構成される立体視画像Ｐの画像ファイルを生成するものであってもよい。

次に上記のように構成された撮像装置３による一連の撮像処理について説明する。図１８は図１７の撮像装置３による一連の撮像処理のフローチャートである。なお図１８のステップＳ６４からステップＳ６６までの処理は、図５のステップＳ３からステップＳ５までの処理と同様であるため説明は省略する。

本実施形態の撮像装置３は、図１８に示す如く、まず撮像部２５が上記のように被写体を撮像することによって一対の平面画像データすなわち左目用の平面画像ＰＬと右目用の平面画像ＰＲの画像データを取得する（ステップＳ６１）。次に信号処理部２６が取得した一対の画像データを読み込んで上記信号処理を施し（ステップＳ６２）、立体視画像生成部２７が、信号処理が施された左目用の平面画像ＰＬと右目用の平面画像ＰＲの画像データから立体視画像Ｐの画像データ又は画像ファイルを上述のように生成する（ステップＳ６３）。

そして奥行き感検知部１５が生成された立体視画像Ｐの奥行き感を検知する（ステップＳ６４）。このようにステップＳ６１からステップＳ６４までの処理を複数回繰り返すことによって異なる被写体が撮像された複数の立体視画像Ｐ及び各々の立体視画像Ｐの奥行き感を取得することができる。

なお先にステップＳ６１からステップＳ６３までの処理を複数回繰り返すことによって前記複数の立体視画像Ｐを取得し、その後で各々の立体視画像Ｐの奥行き感を検知するようにしてもよい。

そして図１８に示す如く、ステップＳ６５にて立体視画像配置部１６による立体視画像配置処理が終了すると（ステップＳ６５）、次に処理済みの立体視画像すなわち合成された立体視画像Ｐの画像データを圧縮し、メディア制御部１８が圧縮された立体視画像Ｐの画像データを記録メディア１９に記録して（ステップＳ６６）、撮像装置３による撮像処理を終了する。

以上により、本実施形態の撮像装置３及び撮像方法によれば、異なる視点から被写体を撮像することにより取得した立体視画像を複数取得し、取得した立体視画像Ｐ１、Ｐ２、Ｐ３、、、を重ねて配置して一つの立体視画像に合成する場合に、各々の立体視画像Ｐ１、Ｐ２、Ｐ３、、、の奥行き感が大きい立体視画像を前方に配置することにより、より立体感の強調された合成立体視画像にすることができる。

次に本発明の第六の実施形態の撮像装置３−２について図面を参照して詳細に説明する。ここで図１９は第六の実施形態の撮像装置３−２の概略構成を示すブロック図である。なお図１９は便宜上、図８のブロック図と同様の箇所は同符号で示して説明を省略する。本実施形態の撮像装置３−２は、図１９に示す如く、図８の立体視画像入力部１０を備えずに、撮像部２５、信号処理部２６、立体視画像生成部２７を備えているものである。なお本実施形態の撮像部２５、信号処理部２６、立体視画像生成部２７は上記実施形態と同様であるため、説明は省略する。

次に上記のように構成された撮像装置３−２による一連の撮像処理について説明する。図２０は図１９の撮像装置３−２による一連の撮像処理のフローチャートである。なお図２０のステップＳ７１からステップＳ７３までの処理は、図１８のステップＳ６１からステップＳ６３までの処理と概略同様であり、図２０のステップＳ７４からステップＳ７６までの処理は、図１０のステップＳ２３からステップＳ２５までの処理と同様であるため詳しい説明は省略する。

本実施形態の撮像装置３−２は、図２０に示す如く、まず撮像部２５が上記のようにして左目用の平面画像ＰＬと右目用の平面画像ＰＲの画像データを取得し（ステップＳ７１）、次に信号処理部２６が上記信号処理を施して（ステップＳ７２）、立体視画像生成部２７が、信号処理が施された左目用の平面画像ＰＬと右目用の平面画像ＰＲの画像データから立体視画像Ｐの画像データ又は画像ファイルを上述のように生成する（ステップＳ７３）。このようにステップＳ６１からステップＳ６３までの処理を複数回繰り返すことによって前記複数の立体視画像Ｐを取得する。

そして取得した複数の立体視画像Ｐ（本実施形態では３つの立体視画像Ｐ１〜Ｐ３）を立体視画像配置部１６−２が、例えば図９に示す如く、予めユーザの所望するレイアウトで配置して１つの立体視画像Ｐ−２を作成し（ステップＳ７４）、奥行き感調整部２３が上述のようにして奥行き感調整処理を行う（ステップＳ７５）。

そして図２０に示す如く、奥行き感調整部２３による奥行き感調整処理が終了すると（ステップＳ７５）、次に処理済みの立体視画像すなわち合成された立体視画像Ｐの画像データを圧縮し、メディア制御部１８が圧縮された立体視画像Ｐの画像データを記録メディア１９に記録して（ステップＳ２５）、撮像装置３−２による撮像処理を終了する。

以上により、本実施形態の撮像装置３−２及び撮像方法によれば、異なる視点から被写体を撮像することにより取得した立体視画像を複数取得し、取得した立体視画像Ｐ１、Ｐ２、Ｐ３、、、を重ねて配置して一つの立体視画像に合成する場合に、前方に配置された立体視画像の奥行き感を大きくすることにより、より立体感の強調された合成立体視画像にすることができる。

なお本発明の画像処理装置、画像表示装置、撮像装置及び画像処理方法は、上述した実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。

第一の実施形態の画像処理装置の概略構成を示すブロック図 左目用と右目用の平面画像及び立体視画像の一例を示す図 複数の立体視画像が合成された立体視画像の一例を示す図 図１の画像処理装置による一連の画像処理のフローチャート 図１の立体視画像配置部による立体視画像配置処理のフローチャート 第一の実施形態の別の画像処理装置の概略構成を示すブロック図 図６の画像処理装置による一連の画像処理のフローチャート 第二の実施形態の画像処理装置の概略構成を示すブロック図 複数の立体視画像が合成された立体視画像の別の一例を示す図 図９の画像処理装置による一連の画像処理のフローチャート 図９の奥行き感調整部による奥行き感調整処理のフローチャート 左目用と右目用の平面画像の一例を示す図 第三の実施形態の画像表示装置の概略構成を示すブロック図 図１３の画像表示装置による一連の画像表示処理のフローチャート 第四の実施形態の画像表示装置の概略構成を示すブロック図 図１５の画像表示装置による一連の画像表示処理のフローチャート 第五の実施形態の撮像装置の概略構成を示すブロック図 図１７の撮像装置による一連の撮像処理のフローチャート 第六の実施形態の撮像装置の概略構成を示すブロック図 図１９の撮像装置による一連の撮像処理のフローチャート

符号の説明

１、１’、１−２ 画像処理装置
１０ 立体画像入力部（立体画像入力手段）
１５、１５’ 奥行き感検知部（奥行き感検知手段）
１６、１６−２ 立体視画像配置部（立体視画像配置手段）
１９ 記録メディア（画像記録手段）
２３ 奥行き感調整部（奥行き感調整手段）
２４ 立体視画像表示部（立体視画像表示手段）
２５ 撮像部（撮像手段）
２７ 立体視画像生成部（立体視画像生成手段）
２、２−２ 画像表示装置
３、３−２ 撮像装置

Claims (8)

1. 左目用画像と右目用画像で構成される立体視画像を複数入力する立体視画像入力手段と、
   該立体視画像入力手段により入力された複数の前記立体視画像の各々について、前記立体視画像を構成する左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感を検知する奥行き感検知手段と、
   複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記奥行き感検知手段により検知された奥行き感が大きい前記立体視画像を構成する前記左目用画像及び前記右目用画像の順に前方側に位置するように、前記左目用画像は前記左目用画像同士で少なくとも一部を重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を重ねて配置して、重なる部分は、前記前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成する立体視画像配置手段と、
   該立体視画像配置手段により前記左目用画像と前記右目用画像が各々配置された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を記録する画像記録手段とを備えてなることを特徴とする画像処理装置。
2. 左目用画像と右目用画像で構成される立体視画像を複数入力する立体視画像入力手段と、
   該立体視画像入力手段により入力された複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記左目用画像は前記左目用画像同士で少なくとも一部を任意の順序で重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を前記順序で重ねて配置して、重なる部分は、前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成する立体視画像配置手段と、
   該立体視画像配置手段により前方側に配置される前記左目用画像と前記右目用画像で構成される立体視画像の順に、該立体視画像を構成する左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感が大きくなるように前記差の値を変更することにより該奥行き感を調整する奥行き感調整手段と、
   該奥行き感調整手段により前記奥行き感が調整された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を記録する画像記録手段とを備えてなることを特徴とする画像処理装置。
3. 左目用画像と右目用画像で構成される立体視画像を複数入力する立体視画像入力手段と、
   該立体視画像入力手段により入力された複数の前記立体視画像の各々について、前記立体視画像を構成する左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感を検知する奥行き感検知手段と、
   複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記奥行き感検知手段により検知された奥行き感が大きい前記立体視画像を構成する前記左目用画像及び前記右目用画像の順に前方側に位置するように、前記左目用画像は前記左目用画像同士で少なくとも一部を重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を重ねて配置して、重なる部分は、前記前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成する立体視画像配置手段と、
   該立体視画像配置手段により前記左目用画像と前記右目用画像が各々配置された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を表示する立体視画像表示手段とを備えてなることを特徴とする画像表示装置。
4. 左目用画像と右目用画像で構成される立体視画像を複数入力する立体視画像入力手段と、
   該立体視画像入力手段により入力された複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記左目用画像は前記左目用画像同士で少なくとも一部を任意の順序で重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を前記順序で重ねて配置して、重なる部分は、前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成する立体視画像配置手段と、
   該立体視画像配置手段により前方側に配置される前記左目用画像と前記右目用画像で構成される立体視画像の順に、該立体視画像を構成する左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感が大きくなるように前記差の値を変更することにより該奥行き感を調整する奥行き感調整手段と、
   該奥行き感調整手段により前記奥行き感が調整された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を表示する立体視画像表示手段とを備えてなることを特徴とする画像表示装置。
5. 異なる視点から被写体を撮像して一対の画像データを取得する撮像手段と、
   該撮像手段により取得された前記一対の画像データから左目用画像と右目用画像で構成される立体視画像を生成する立体視画像生成手段と、
   該立体視画像生成手段により生成された複数の前記立体視画像の各々について、前記立体視画像を構成する前記一対の画像データで表される左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感を検知する奥行き感検知手段と、
   複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記奥行き感検知手段により検知された奥行き感が大きい前記立体視画像を構成する前記左目用画像及び前記右目用画像の順に前方側に位置するように、前記左目用画像は前記左目用画像同士で少なくとも一部を重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を重ねて配置して、重なる部分は、前記前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成する立体視画像配置手段と、
   該立体視画像配置手段により前記左目用画像と前記右目用画像が各々配置された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を記録する画像記録手段とを備えてなることを特徴とする撮像装置。
6. 異なる視点から被写体を撮像して一対の画像データを取得する撮像手段と、
   該撮像手段により取得された前記一対の画像データから左目用画像と右目用画像で構成される立体視画像を生成する立体視画像生成手段と、
   該立体視画像入力手段により入力された複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記左目用画像は前記左目用画像同士で少なくとも一部を任意の順序で重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を前記順序で重ねて配置して、重なる部分は、前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成する立体視画像配置手段と、
   該立体視画像配置手段により前方側に配置される前記左目用画像と前記右目用画像で構成される立体視画像の順に、該立体視画像を構成する左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感が大きくなるように前記差の値を変更することにより該奥行き感を調整する奥行き感調整手段と、
   該奥行き感調整手段により前記奥行き感が調整された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を記録する画像記録手段とを備えてなることを特徴とする撮像装置。
7. 左目用画像と右目用画像で構成される立体視画像を複数入力し、
   該入力された複数の前記立体視画像の各々について、前記立体視画像を構成する左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感を検知し、
   複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記検知された奥行き感が大きい前記立体視画像を構成する前記左目用画像及び前記右目用画像の順に前方側に位置するように、前記左目用画像は前記左目用画像同士で少なくとも一部を重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を重ねて配置して、重なる部分は、前記前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成して、
   前記左目用画像と前記右目用画像が各々配置された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を記録することを特徴とする画像処理方法。
8. 左目用画像と右目用画像で構成される立体視画像を複数入力し、
   該入力された複数の前記立体視画像を各々構成する前記左目用画像と前記右目用画像を、それぞれ１つの平面上に合成して合成左目用画像及び合成右目用画像を生成すると共に、前記左目用画像は前記左目用画像同士で少なくとも一部を任意の順序で重ねて配置し、前記右目用画像は前記右目用画像同士で少なくとも一部を前記順序で重ねて配置して、重なる部分は、前方側に位置する前記左目用画像及び前記右目用画像が、前記平面上に表示されるように前記合成し、
   前方側に配置される前記左目用画像と前記右目用画像で構成される立体視画像の順に、該立体視画像を構成する左目用画像と右目用画像における最大視差と最小視差の差によって示される前記立体視画像の奥行き感が大きくなるように前記差の値を変更することにより該奥行き感を調整し、
   該奥行き感が調整された前記合成左目用画像と前記合成右目用画像とで構成される立体視画像を記録することを特徴とする画像処理方法。