JP2011205374A - 表示装置 - Google Patents

Abstract

【課題】撮影範囲の異なる複数の平面画像を高い視認性で閲覧することができる表示装置を提供する。
【解決手段】テレ／ワイド同時撮りモードで撮影範囲の異なる２枚の画像（テレ側の画像、ワイド側の画像）が撮影され、この２枚の画像は１つの画像ファイル（例えばＭＰファイル）として記憶される。表示装置は、この画像ファイルを取得し、画像ファイルの付属情報に記憶された表示方法で２枚の画像をモニタに表示させる。入力手段から表示方法の変更を入力することができる。表示方法が入力された場合には、ＣＰＵ５０は、変更後の表示方法でモニタに表示されるようにモニタに表示させる。また、表示方法が入力された場合には、入力された表示方法を画像ファイルの付属情報に上書きしてメインメモリに記憶する。
【選択図】 図６

Description

本発明は表示装置に係り、特に撮影範囲の異なる複数の平面画像が撮影され、これを表示する表示装置に関する。

特許文献１には、光学ズームが３倍まで可能なカメラにおいて、３倍以上のズーム指示が入力された場合には、３倍光学ズームにより撮影された画像を表示部に表示し、電子ズームにより拡大する範囲を枠で囲むビデオカメラが提案されている。

特許文献２には、被写体像が大きさの異なる２個の撮像素子に結像され、大きいほうの撮像素子（ワイド用撮像素子）で撮影された画像を表示部に表示すると共に、小さい方の撮像素子（テレ用撮像素子）で撮影される範囲を枠で囲んで表示したり、ワイド用撮像素子で撮影された画像を表示部全体に表示し、テレ用撮像素子で撮影された画像を表示部の隅に小さく表示したりするデジタルカメラが提案されている（第１の形態）。

また、特許文献２には、大きさの異なる２つの表示部を備え、ワイド用撮像素子、テレ用撮像素子で撮影された画像をそれぞれ２個の表示部に表示するデジタルカメラが提案されている（第２の形態）。

特開平５−１４８０９０号公報 特開２００４−２０７７７４号公報

特許文献１に記載された発明では、ズーム撮影範囲が枠により表示されるため、使用者がズーム撮影範囲を認識することができる。しかしながら、表示部に実際に表示される画像は拡大前の画像であるため、使用者が画像の細かい部分を確認することはできないという問題がある。

特許文献２に記載された発明の第１の形態では、主としてワイド用撮像素子で撮影された画像が表示部に表示されるため、特許文献１に記載された発明と同様に、使用者が画像の細かい部分を確認することはできないという問題がある。また、特許文献２に記載された発明の第２の形態では、２枚の画像を表示するのに２個の表示部が必要であるという問題がある。

本発明はこのような事情に鑑みてなされたもので、撮影範囲の異なる複数の平面画像を高い視認性で閲覧することができる表示装置を提供することを目的とする。

前記目的を達成するために、請求項１に記載の表示装置は、異なる撮影範囲で同時に撮影され、関連付けて記憶された２枚の平面画像を取得する取得手段と、平面画像が表示可能な表示手段と、前記２枚の平面画像のうちの所望の１枚を前記表示手段に全画面表示させるとともに、前記２枚の平面画像のうちの他の１枚を前記表示手段に縮小表示させる第１の表示方法、前記２枚の平面画像を並べて前記表示手段に表示させる第２の表示方法、及び前記２枚の平面画像のうちの所望の１枚を前記２枚の平面画像のうちの他の１枚の上に所定の透過率で重ねて表示し、時間の経過と共に前記所定の透過率を変化させる第３の表示方法のうちの少なくとも１つの表示方法で前記２枚の平面画像を前記表示手段に表示させる表示制御手段と、を備えたことを特徴とする。

請求項１に記載の表示装置によれば、異なる撮影範囲で同時に撮影され、関連付けて記憶された２枚の平面画像を取得し、この取得した２枚の平面画像を第１の表示方法、第２の表示方法、第２の表示方法の少なくとも１つの表示方法で表示させる。第１の表示方法とは、２枚の平面画像のうちの所望の１枚を全画面表示させ、他の１枚を縮小表示させる表示方法であり、第２の表示方法とは、２枚の平面画像を並べて表示させる表示方法であり、第３の表示方法とは、２枚の平面画像のうちの所望の１枚を他の１枚の上に所定の透過率で重ねて表示し、時間の経過と共に所定の透過率を変化させる表示方法である。これにより、２枚の画像の関連性を保ちつつ、高い視認性で画像を閲覧することができる。

請求項２に記載の表示装置は、請求項１に記載の表示装置において、前記取得手段は、前記２枚の平面画像に関連付けられた表示方法を示す情報を取得し、前記表示制御手段は、前記取得された表示方法を示す情報に基づいて前記２枚の平面画像を当該２枚の平面画像に関連付けられた表示方法で前記表示手段に表示させることを特徴とする。

請求項２に記載の表示装置によれば、異なる撮影範囲で同時に撮影され、関連付けて記憶された２枚の平面画像と共に、２枚の平面画像に関連付けられた表示方法を示す情報が取得されると、２枚の平面画像に関連付けられた表示方法で２枚の平面画像が表示手段に表示される。これにより、撮影時等に指定された表示方法で２枚の平面画像を表示させることができる。

請求項３に記載の表示装置は、請求項１又は２に記載の表示装置において、前記第１の表示方法、前記第２の表示方法、及び前記第３の表示方法のうちの所望の表示方法を入力する第１の入力手段を備え、前記表示制御手段は、前記入力された表示方法で前記２枚の平面画像を前記表示手段に表示させることを特徴とする。

請求項３に記載の表示装置によれば、第１の表示方法、第２の表示方法、及び第３の表示方法のうちの所望の表示方法が入力されると、入力された表示方法で２枚の平面画像が表示される。これにより、ユーザの希望に沿った表示方法で画像を表示することができる。

請求項４に記載の表示装置は、請求項１から３のいずれかに記載の表示装置において、前記所望の１枚を入力する第２の入力手段を備えたことを特徴とする。

請求項４に記載の表示装置によれば、第１の表示方法において全画面表示される画像、第３の表示方法において他の１枚の上に所定の透過率で重ねて表示される画像が入力される。これにより、全画面表示される画像や他の１枚の上に所定の透過率で重ねて表示される画像をユーザが入力することができる。そのため、第１の表示方法においては、ユーザの指示に応じて全画面表示される画像の切り替えが可能となる。

請求項５に記載の表示装置は、請求項４に記載の表示装置において、前記第３の表示方法で前記２枚の平面画像を表示している時に前記所望の１枚が入力された場合には、前記２つの平面画像のうちの所望の１枚の上に前記２つの平面画像のうちの他の１枚を１００％の透過率で重ねて表示し、時間の経過と共に前記透過率を１００％から徐々に減少させることを特徴とする。

請求項５に記載の表示装置によれば、所望の１枚の上に前記２つの平面画像のうちの他の１枚を１００％の透過率で重ねて表示し、時間の経過と共に前記透過率を１００％から徐々に減少させるが、この所望の１枚が入力可能である。これにより、画像を拡大するのか縮小するのかをユーザが任意に選択することができる。

請求項６に記載の表示装置は、請求項３、４又は５に記載の表示装置において、前記入力された表示方法を前記取得された２枚の平面画像に関連付けて記憶する記憶手段を備え、前記表示制御手段は、前記２枚の平面画像に関連付けて記憶された表示方法で前記２枚の平面画像を前記表示手段に表示させることを特徴とする。

請求項６に記載の表示装置によれば、取得された２枚の平面画像に関連付けて入力された表示方法が記憶されると、記憶された表示方法で２枚の平面画像が表示される。これにより、ユーザによる入力があった次の表示からは、入力された表示方法で画像を表示させることができる。つまり、ユーザが表示方法をアレンジし、アレンジされた表示方法で再生が可能となる。

請求項７に記載の表示装置は、請求項１から６のいずれかに記載の表示装置において、前記取得手段は、２枚の平面画像が連続して記憶された１つのファイルを取得することを特徴とする。

請求項７に記載の表示装置によれば、異なる撮影範囲で同時に撮影され、関連付けて記憶された２枚の平面画像として、２枚の平面画像が連続して記憶された１つのファイルを取得する。これにより、２枚の平面画像がばらばらになることが無く、再生時に２枚の画像の関連性をわかりやすくすることができる。

請求項８に記載の表示装置は、請求項１から７のいずれかに記載の表示装置において、前記２枚の平面画像は、静止画であることを特徴とする。

請求項９に記載の表示装置は、請求項８に記載の表示装置において、前記取得手段は、前記２枚の平面画像を複数取得し、前記表示制御手段は、前記複数の２枚の平面画像を順番に表示することを特徴とする。

請求項９に記載の表示装置によれば、２枚の静止画が複数取得されると、これらが順番に表示される。すなわち、静止画の場合にはスライドショー表示が可能である。所望の表示方法が入力された場合には、入力された表示方法で２枚の平面画像を表示させることができる。

請求項１０に記載の表示装置は、請求項１から７のいずれかに記載の表示装置において、前記２枚の平面画像は、動画であることを特徴とする。

本発明によれば、撮影範囲の異なる複数の平面画像を高い視認性で閲覧することができる。

本発明の第１の実施の形態の複眼デジタルカメラ１の概略図であり、（ａ）は正面図、（ｂ）は背面図である。 複眼デジタルカメラ１の電気的な構成を示すブロック図である。 テレ／ワイド同時撮りモードにおける静止画の撮影処理の流れを示すフローチャートである。 テレ／ワイド同時撮りモードにおけるスルー画像の一例である。 テレ／ワイド同時撮りモードにおけるスルー画像の一例である。 テレ／ワイド同時撮りモードで撮影された静止画を記憶するファイルの構造を示す模式図である。 テレ／ワイド同時撮りモードにおける動画の撮影処理の流れを示すフローチャートである。 テレ／ワイド同時撮りモードで撮影された動画を記憶するファイルの構造を示す模式図である。 テレ／ワイド同時撮りモードから他の撮影モードに遷移する処理の流れを示すフローチャートである。 表示装置２の電気的な構成を示すブロック図である。 テレ／ワイド同時撮りモードで撮影された画像を表示手段２で表示する場合の表示画像の例である。 テレ／ワイド同時撮りモードで撮影された画像を表示手段２で表示する場合の表示画像の例である。 テレ／ワイド同時撮りモードで撮影された画像を表示手段２で表示する場合の表示画像の例である。 テレ／ワイド同時撮りモードで撮影された画像を表示手段２で表示する場合の表示画像の例である。 本発明の第２の実施の形態の複眼デジタルカメラ３においてテレ／ワイド同時撮りモードにおける動画の撮影処理の流れを示すフローチャートである。 撮影時間と表示方法とを関連付けて記憶することを示す模式図である。

以下、添付図面に従って本発明に係る複眼撮像装置を実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
図１は、本発明に係る複眼撮像装置である複眼デジタルカメラ１の概略図であり、（ａ）は正面図であり、（ｂ）は背面図である。複眼デジタルカメラ１は、複数（図１では２個を例示）の撮像系を備えた複眼デジタルカメラ１であって、同一被写体を複数視点（図１では左右二つの視点を例示）からみた立体画像や、単視点画像（２次元画像）が撮影可能である。また、複眼デジタルカメラ１は、静止画に限らず、動画、音声の記録再生も可能である。

複眼デジタルカメラ１のカメラボディ１０は、略直方体の箱状に形成されており、その正面には、図１（ａ）に示すように、主として、バリア１１、右撮像系１２、左撮像系１３、フラッシュ１４、マイク１５が設けられている。また、カメラボディ１０の上面には、主として、レリーズスイッチ２０、ズームボタン２１が設けられている。

一方、カメラボディ１０の背面には、図１（ｂ）に示すように、モニタ１６、モードボタン２２、視差調整ボタン２３、２Ｄ／３Ｄ切り替えボタン２４、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６、ＤＩＳＰ／ＢＡＣＫボタン２７が設けられている。

バリア１１は、カメラボディ１０の前面に摺動可能に装着され、バリア１１が上下に摺動することにより開状態と閉状態とが切り替えられる。通常は、図１（ａ）点線に示すように、バリア１１は上端、すなわち閉状態に位置されており、対物レンズ１２ａ、１３ａ等はバリア１１によって覆われている。これにより、レンズなどの破損が防止される。バリア１１が摺動されることにより、バリアが下端、すなわち開状態に位置される（図１（ａ）実線参照）と、カメラボディ１０前面に配設されたレンズ等が露呈される。図示しないセンサによりバリア１１が開状態であることが認識されると、ＣＰＵ１１０（図２参照）により電源がＯＮされ、撮影が可能となる。

右目用の画像を撮影する右撮像系１２及び左目用の画像を撮影する左撮像系１３は、屈曲光学系を有する撮影レンズ群と絞り兼用メカシャッタ１２ｄ、１３ｄ（図２参照）とを含む光学ユニットである。右撮像系１２及び左撮像系１３の撮影レンズ群は、主として、被写体からの光を取り込む対物レンズ１２ａ、１３ａ、対物レンズから入射した光路を略垂直に折り曲げるプリズム（図示せず）、ズームレンズ１２ｃ、１３ｃ（図２参照）、フォーカスレンズ１２ｂ、１３ｂ（図２参照）等で構成される。

フラッシュ１４は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

モニタ１６は、４：３の一般的なアスペクト比を有するカラー表示が可能な液晶モニタであり、立体画像と平面画像の両方が表示可能である。モニタ１６の詳細な構造は図示しないが、モニタ１６は、その表面にパララックスバリア表示層を備えたパララックスバリア式３Ｄモニタである。モニタ１６は、各種設定操作を行なう際の使用者インターフェース表示パネルとして利用され、画像撮影時には電子ビューファインダとして利用される。

モニタ１６は、立体画像を表示するモード（３Ｄモード）と、平面画像を表示するモード（２Ｄモード）とが切り替えが可能である。３Ｄモードにおいては、モニタ１６のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示する。２Ｄモードや使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。

なお、モニタ１６は、パララックスバリア式には限定されず、レンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。また、モニタ１６は液晶モニタに限定されず、有機ＥＬなどが採用されてもよい。

レリーズスイッチ２０は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。複眼デジタルカメラ１は、静止画撮影時（例えば、モードボタン２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このレリーズスイッチ２０を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードボタン２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このレリーズスイッチ２０を全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。

ズームボタン２１は、右撮像系１２及び左撮像系１３のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタン２１Ｔと、広角側へのズームを指示するズームワイドボタン２１Ｗとで構成されている。

モードボタン２２は、デジタルカメラ１の撮影モードを設定する撮影モード設定手段として機能し、このモードボタン２２の設定位置により、デジタルカメラ１の撮影モードが様々なモードに設定される。撮影モードは、動画撮影を行う「動画撮影モード」と、静止画撮影を行う「静止画撮影モード」とに分けられ、「静止画撮影モード」は例えば、絞り、シャッタスピード等がデジタルカメラ１によって自動的に設定される「オート撮影モード」、人物の顔を抽出して撮影を行う「顔抽出撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを使用者が設定し、シャッタスピードをデジタルカメラ１が自動的に設定する「絞り優先撮影モード」、シャッタスピードを使用者が設定し、絞りの目盛りをデジタルカメラ１が自動的に設定する「シャッタスピード優先撮影モード」、絞り、シャッタスピード等を使用者が設定する「マニュアル撮影モード」等がある。

視差調整ボタン２３は、立体画像撮影時に視差を電子的に調整するボタンである。視差調整ボタン２３の上側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ大きくなり、視差調整ボタン２３の下側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ小さくなる。

２Ｄ／３Ｄ切り替えボタン２４は、単視点画像を撮影する２Ｄ撮影モードと、多視点画像を撮影する３Ｄ撮影モードの切り替えを指示するためのスイッチである。

ＭＥＮＵ／ＯＫボタン２５は、撮影及び再生機能の各種設定画面（メニュー画面）の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、複眼デジタルカメラ１が持つ全ての調整項目の設定が行われる。撮影時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６にたとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整などの設定画面が表示され、再生時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６に画像の消去などの設定画面が表示される。複眼デジタルカメラ１は、このメニュー画面で設定された条件に応じて動作する。

十字ボタン２６は、各種のメニューの設定や選択あるいはズームを行うためのボタンであり、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、上ボタンにモニタ１６の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦや時間を切り替える機能が割り当てられる。また、再生時には、右ボタンにコマ送りの機能が割り当てられ、左ボタンにコマ戻しの機能が割り当てられる。また、上ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ１６に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＤＩＳＰ／ＢＡＣＫボタン２７は、モニタ１６の表示切り替えを指示するボタンとして機能し、撮影中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、モニタ１６の表示が、ＯＮ→フレーミングガイド表示→ＯＦＦに切り替えられる。また、再生中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、通常再生→文字表示なし再生→マルチ再生に切り替えられる。また、ＤＩＳＰ／ＢＡＣＫボタン２７は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

図２は、複眼デジタルカメラ１の主要な内部構成を示すブロック図である。複眼デジタルカメラ１は、主として、ＣＰＵ１１０、操作手段（レリーズボタン２０、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６等）１１２、ＳＤＲＡＭ１１４、ＶＲＡＭ１１６、ＡＦ検手段１１８、ＡＥ／ＡＷＢ検出手段１２０、撮像素子１２２、１２３、ＣＤＳ／ＡＭＰ１２４、１２５、Ａ／Ｄ変換器１２６、１２７、画像入力コントローラ１２８、画像信号処理手段１３０、立体画像信号処理部１３３、圧縮伸張処理手段１３２、ビデオエンコーダ１３４、メディアコントローラ１３６、音入力処理部１３８、記録メディア１４０、フォーカスレンズ駆動部１４２、１４３、ズームレンズ駆動部１４４、１４５、絞り駆動部１４６、１４７、タイミングジェネレータ（ＴＧ）１４８、１４９とで構成される。

ＣＰＵ１１０は、複眼デジタルカメラ１の全体の動作を統括的に制御する。ＣＰＵ１１０は、右撮像系１２と左撮像系１３の動作を制御する。右撮像系１２と左撮像系１３とは、基本的に連動して動作を行うが、各々個別に動作させることも可能である。また、ＣＰＵ１１０は、右撮像系１２及び左撮像系１３で得られた２つの画像データを短冊状の画像断片とし、これがモニタ１６に交互に表示されるような表示用画像データを生成する。３Ｄモードで表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。

ＳＤＲＡＭ１１４には、このＣＰＵ１１０が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値、撮影された画像データ等が記録されている。

ＶＲＡＭ１１６は、ＣＰＵ１１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

ＡＦ検出手段１１８は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。ＡＦ検出手段１１８は、右撮像系１２から入力された画像信号に基づいてＡＦ制御を行う右撮像系ＡＦ制御回路と、左撮像系１３から入力された画像信号に基づいてＡＦ制御を行う左撮像系ＡＦ制御回路とで構成される。本実施の形態のデジタルカメラ１では、撮像素子１２２、１２３から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出手段１１８は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１１０は、このＡＦ検出手段１１８で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。

ＡＥ／ＡＷＢ検出回路１２０は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出回路１２０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタスピードを決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。

撮像素子１２２、１２３は、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されている。撮像素子１２２、１２３は、フォーカスレンズ１２ｂ、１３ｂ、ズームレンズ１２ｃ、１３ｃ等によって結像された被写体光を受光し、この受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。撮像素子１２２、１２３の光電荷蓄積・転送動作は、ＴＧ１４８、１４９からそれぞれ入力される電荷排出パルスに基づいて電子シャッタ速度（光電荷蓄積時間）が決定される。

すなわち、撮像素子１２２、１２３に電荷排出パルスが入力されている場合には、撮像素子１２２、１２３に電荷が蓄えられることなく排出される。それに対し、撮像素子１２２、１２３に電荷排出パルスが入力されなくなると、電荷が排出されなくなるため、撮像素子１２２、１２３において電荷蓄積、すなわち露光が開始される。撮像素子１２２、１２３で取得された撮像信号は、ＴＧ１４８、１４９からそれぞれ与えられる駆動パルスに基づいてＣＤＳ／ＡＭＰ１２４、１２５に出力される。

ＣＤＳ／ＡＭＰ１２４、１２５は、撮像素子１２２、１２３から出力された画像信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅してＲ、Ｇ、Ｂのアナログの画像信号を生成する。

Ａ／Ｄ変換器１２６、１２７は、ＣＤＳ／ＡＭＰ１２４、１２５で生成されたＲ、Ｇ、Ｂのアナログの画像信号デジタルの画像信号に変換する。

画像入力コントローラ１２８は、所定容量のラインバッファを内蔵しており、ＣＰＵ１１０からの指令に従い、ＣＤＳ／ＡＭＰ／ＡＤ変換部から出力された１画像分の画像信号を蓄積して、ＶＲＡＭ１１６に記録する。

画像信号処理手段１３０は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

圧縮伸張処理手段１３２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

ビデオエンコーダ１３４は、モニタ１６への表示を制御する。すなわち、記録メディア１４０などに保存された画像信号をモニタ１６に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ１６に出力するとともに、必要に応じて所定の文字、図形情報をモニタ１６に出力する。

メディアコントローラ１３６は、圧縮伸張処理手段１３２で圧縮処理された各画像データを記録メディア１４０に記録する。

音入力処理部１３８は、マイク１５に入力され、図示しないステレオマイクアンプで増幅された音声信号が入力され、この音声信号の符号化処理を行う。

記録メディア１４０は、複眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

フォーカスレンズ駆動部１４２、１４３は、ＣＰＵ１１０からの指令に従い、フォーカスレンズ１２ｂ、１３ｂをそれぞれ光軸方向に移動させ、焦点位置を可変する。

ズームレンズ駆動部１４４、１４５は、ＣＰＵ１１０からの指令に従い、ズームレンズ１２ｃ、１３ｃそれぞれ光軸方向に移動させ、焦点距離を可変する。

絞り兼用メカシャッタ１２ｄ、１３ｄは、それぞれ絞り駆動部１４６、１４７のアイリスモータに駆動されることにより、その開口量を可変して、撮像素子１２２、１２３への入射光量を調整する。

絞り駆動部１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄの開口量を可変して、撮像素子１２２、１２３への入射光量をそれぞれ調整する。また、絞り駆動部１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄを開閉して、撮像素子１２２、１２３への露光／遮光それぞれを行う。

以上のように構成された複眼デジタルカメラ１の作用について説明する。

［撮影モード］
バリア１１を閉状態から開状態へと摺動させると、複眼デジタルカメラ１の電源が投入され、複眼デジタルカメラ１は、撮影モードの下で起動する。撮影モードとしては、２Ｄモードと、同一被写体を２視点からみた立体画像を撮影する３Ｄ撮影モードとが設定可能である。また、２Ｄモードとしては、右撮像系１２又は左撮像系１３のみを用いて平面画像を撮影する通常２Ｄ撮影モード、広い範囲の画像（ワイド側の画像）と、被写体を大きくズームアップした画像（テレ側の画像）との２枚の２次元画像を撮影するテレ／ワイド同時撮りモード等が設定可能である。撮影モードの設定は、複眼デジタルカメラ１が撮影モードで駆動中にＭＥＮＵ／ＯＫボタン２５が押下されることによりモニタ１６に表示されるメニュー画面から設定可能である。

（１）通常２Ｄ撮影モード
（１−１）静止画撮影モード
ＣＰＵ１１０は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）を選択し、左撮像系１３の撮像素子１２３によってライブビュー画像用の撮影を開始する。すなわち、撮像素子１２３で連続的に画像が撮像され、その画像信号が連続的に処理されて、ライブビュー画像用の画像データが生成される。

ＣＰＵ１１０は、モニタ１６を２Ｄモードとし、生成された画像データを順次ビデオエンコーダ１３４に加え、表示用の信号形式に変換してモニタ１６に出力する。これにより、撮像素子１２３で捉えた画像がモニタ１６にスルー表示される。モニタ１６の入力がデジタル信号に対応している場合にはビデオエンコーダ１３４は不要であるが、モニタ１６の入力仕様に合致した信号形態に変換する必要がある。

ユーザ（使用者）は、モニタ１６に表示されるスルー画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、撮像素子１２３を介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における絞り兼用メカシャッタ１３ｄの絞り値、及びシャッタ速度の決定に使用される。同時に、検出された被写体輝度より、フラッシュ１４の発光が必要かどうかを判断する。フラッシュ１４の発光が必要と判断された場合には、フラッシュ１４をプリ発光させ、その反射光に基づいて本撮影時のフラッシュ１４の発光量を決定する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、ＣＰＵ１１０は、前記測光値に基づいて決定した絞り値に基づいて絞り駆動部１４７を介して絞り兼用メカシャッタ１３ｄを駆動するとともに、前記測光値に基づいて決定したシャッタ速度になるように撮像素子１２３での電荷蓄積時間（いわゆる電子シャッタ）を制御する。

また、ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズを至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２３を介して取り込まれた画像のＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出手段１１８から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズを移動させるコントラストＡＦを行う。

この際、フラッシュ１４を発光させる場合は、プリ発光の結果から求めたフラッシュ１４の発光量に基づいてフラッシュ１４を発光させる。

被写体光は、フォーカスレンズ１３ｂ、ズームレンズ１３ｃ、絞り兼用メカシャッタ１３ｄ、赤外線カットフィルタ４６、及び光学ローパスフィルタ４８等を介して撮像素子１２３の受光面に入射する。

撮像素子１２３の各フォトダイオードに蓄積された信号電荷は、ＴＧ１４９から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として撮像素子１２３から順次出力され、ＣＤＳ／ＡＭＰ１２５に入力される。

ＣＤＳ／ＡＭＰ１２５は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、ＣＰＵ１１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。

ＣＤＳ／ＡＭＰ１２５から出力されたアナログの画像信号は、Ａ／Ｄ変換器１２７において、デジタルの画像信号に変換され、この変換された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）は、ＳＤＲＡＭ１１４に転送され、ここに一旦蓄えられる。

ＳＤＲＡＭ１１４から読み出されたＲ、Ｇ、Ｂの画像信号は、画像信号処理手段１３０に入力される。画像信号処理手段１３０では、ホワイトバランス調整回路によりＲ、Ｇ、Ｂの画像信号ごとにデジタルゲインをかけることでホワイトバランス調整が行われ、ガンマ補正回路によりガンマ特性に応じた階調変換処理が行われ、単板ＣＣＤのカラーフィルタ配列に伴う各色信号の空間的なズレを補間して色信号の位相を合わせる同時化処理が行われる。同時化されたＲ、Ｇ、Ｂの画像信号は、更に輝度・色差データ生成回路により輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され、Ｙ信号は、輪郭補正回路により輪郭強調処理される。画像信号処理手段１３０で処理されたＹＣ信号は再びＳＤＲＡＭ１１４に蓄えられる。

上記のようにしてＳＤＲＡＭ１１４に蓄えられたＹＣ信号は、圧縮伸長処理手段１３２によって圧縮され、所定のフォーマットの画像ファイルとして、メディアコントローラ１３６を介して記録メディア１４０に記録される。静止画のデータは、Ｅｘｉｆ規格に従った画像ファイルとして記録メディア１４０に格納される。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。

（１−２）動画撮影モード
モードボタン２２が押下されることで動画撮影モードに設定され、２Ｄ／３Ｄ切り替えボタン２４により２Ｄ撮影モードが設定されると、ＣＰＵ１１０は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）を選択し、左撮像系１３の撮像素子１２３によってライブビュー画像用の撮影を開始する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０は所定のフレームレートで動画撮影を開始し、再度レリーズスイッチ２０が全押しされると、ＣＰＵ１１０は動画撮影を終了する。ＡＥ、ＡＦの各処理は、動画撮影時に常時行われる。

動画を構成する各画像は、静止画の場合と同様に、ＹＣ信号としてＳＤＲＡＭ１１４に蓄えられる。ＳＤＲＡＭ１１４に蓄えられたＹＣ信号は、圧縮伸長処理手段１３２によって圧縮され、所定のフォーマットの画像ファイルとして、メディアコントローラ１３６を介して記録メディア１４０に記録される。動画のデータは、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従った画像ファイルとして記録メディア１４０に格納される。

通常２Ｄ撮影モードから他の撮影モードへの切り替え（撮影モードの遷移）が入力された場合には、ＣＰＵ１１０は、遷移先の撮影モードがテレ／ワイド同時撮りモードか３Ｄ撮影モードかを判断する。ＣＰＵ１１０は、遷移先の撮影モードがテレ／ワイド同時撮りモードである場合には、モニタ１６を２Ｄモードのままに他の撮影モードの処理を開始し、遷移先の撮影モードが３Ｄモードである場合には、モニタ１６を３Ｄモードに切り替え、他の撮影モードの処理を開始する。

（２）テレ／ワイド同時撮りモード
（２−１）静止画撮影モード
図３は、テレ／ワイド同時撮りモードにおける静止画の撮影処理の流れを示すフローチャートである。以下、右撮像系１２でワイド側の画像を撮影し、左撮像系１３でテレ側の画像を撮影するとして説明する。右撮像系１２でテレ側の画像を撮影し、左撮像系１３でワイド側の画像を撮影してもよいことはいうまでもない。

テレ／ワイド同時撮りモードに設定されると、右撮像系１２及び左撮像系１３でライブビュー画像用の撮影を開始する。すなわち、撮像素子１２２、１２３で連続的に画像が撮像され、連続的に処理されて、ライブビュー画像用の画像データが生成される。撮像素子１２２、１２３の撮影範囲（ズーム画角）が異なる場合には、ズーム画角の差異によって右撮像系１２及び左撮像系１３のレンズの明るさが変わってしまう。また、ズームの画角が異なる場合には、撮像素子１２２、１２３が撮影している被写体が異なるため、一回のフラッシュ発光で２つの被写体に対して適正にフラッシュ調光することは困難である。そのため、ＣＰＵ１１０は、テレ／ワイド同時撮りモードに設定された場合には、フラッシュ１４の発光を禁止するようにしてもよい。これにより、フラッシュを照射することにより、被写体が明るくなりすぎ、白とびが発生する等の問題が発生することを防止することができる。

ＣＰＵ１１０は、モニタ１６が２Ｄモードか否かを判断する（ステップＳ１）。２Ｄモードで無い場合（ステップＳ１でＮＯ）には、ＣＰＵ１１０は、モニタ１６を３Ｄモードから２Ｄモードに切り替え（ステップＳ２）、初期設定された表示方法で右撮像系１２及び左撮像系１３の少なくとも１つで撮影されたライブビュー画像用の画像データをビデオエンコーダ１３４を介してモニタ１６に出力する（ステップＳ３）。２Ｄモードである場合（ステップＳ１でＹＥＳ）には、ＣＰＵ１１０は、初期設定された表示方法で右撮像系１２及び左撮像系１３の少なくとも１つで撮影されたライブビュー画像用の画像データをビデオエンコーダ１３４を介してモニタ１６に出力する（ステップＳ３）。

表示方法として、所望の画像がモニタ１６全面に表示されると共に、他の画像がモニタ５７の一部に縮小して表示されたＰｉｎＰ表示、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像とが並んで表示された並置表示のいずれかが初期設定されている。

図４は、ＰｉｎＰ表示の一例である。図４では、ＣＰＵ１１０は、テレ側の画像３２の右下側の一部に縮小したワイド側の画像３１を合成して表示している（テレ優先）。テレ優先のＰｉｎＰ表示とすることで、被写体の細かい部分まで認知することができる。ワイド側の画像３１の右下側の一部に縮小したテレ側の画像３２を合成して表示する形態もある（ワイド優先）。図４では、モニタ１６の略中央に静止画の撮影であることを示すターゲットマークが表示されている（このターゲットマークは、後に説明する動画撮影モードでは表示されない）。なお、図４では、縮小した画像を全面表示する画像の右下側に合成しているが、合成位置はこれに限られない。

図５は、並置表示の一例である。ＣＰＵ１１０は、左側にワイド側の画像３１、右側にテレ側の画像３２を同じ大きさで並べた画像を生成し、その画像をモニタ１６に表示する。右側にワイド側の画像３１、左側にテレ側の画像３２を同じ大きさで並べる形態もある。

本実施の形態では、図４に示すようなテレ優先のＰｉｎＰ表示を初期設定された表示方法とする。なお、図４、図５には、テレ／ワイド同時撮りモードを示すアイコンがモニタ１６の左上に表示されている。したがって、撮影範囲の異なる２枚の平面画像（テレ側、ワイド側の画像）を撮影していることを使用者が認識することができる。

ＣＰＵ１１０は、右撮像系１２及び左撮像系１３のズーム位置がワイド端であるか否かを判断する（ステップＳ４）。右撮像系１２及び左撮像系１３のズーム位置がワイド端である場合（ステップＳ４でＹＥＳ）には、ＣＰＵ１１０は、テレ側の画像を撮影する左撮像系１３のズーム位置を、ズームレンズ駆動部１４５を介して一段テレ側に移動させる（ステップＳ５）。右撮像系１２及び左撮像系１３のズーム位置がワイド端でない場合（ステップＳ４でＮＯ）には、ＣＰＵ１１０は、ワイド用の画像を撮影する右撮像系１２のズーム位置を、ズームレンズ駆動部１４４を介してワイド端に移動させる（ステップＳ６）。これにより、右撮像系１２のズームレンズ１２ｃと左撮像系１３のズームレンズ１３ｃとのズームポジションを異ならせ、撮影範囲の異なる２枚の画像が撮影可能となる。本実施の形態では、ズームレンズ１２ｃはワイド端に位置し、ズームレンズ１３ｃはワイド端より少なくとも１段テレ側に位置する。

ＣＰＵ１１０は、使用者によりズームボタン２１が操作されたか否かを判断する（ステップＳ７）。ズームボタン２１が操作された場合（ステップＳ７でＹＥＳ）には、ＣＰＵ１１０は、ズームボタン２１に操作に応じて、ズームレンズ駆動部１４５を介して左撮像系１３のズームレンズ１３ｃのズームポジションを移動させ、ビデオエンコーダ１３４を介して左撮像系１３で撮影されたライブビュー画像用の画像データをモニタ１６に出力する（ステップＳ８）。これにより、モニタ１６に表示されるスルー画像が更新される。

また、スルー撮影中には、表示方法の変更を入力することができる。ズームボタン２１が操作されていない場合（ステップＳ８でＮＯ）には、ユーザにより操作手段１１２を介して表示方法の変更が入力されたか否かを判断する（ステップＳ９）。

表示方法の変更が入力された場合（ステップＳ９でＹＥＳ）には、ＣＰＵ１１０は、入力された表示方法となるようにスルー画像を切り替える（ステップＳ１０）。ステップＳ９の表示方法の変更では、ステップＳ３の初期設定の選択肢であってＰｉｎＰ表示、並置表示のほかに、所望の１枚のみをモニタ１６に全面表示する１枚表示を入力することもできる。これにより、ユーザが表示方法をアレンジすることができる。

なお、処理Ｓ９，Ｓ１０は、フローチャートの順に実行されるのではなく、優先割り込み処理としてＳ１０の処理を適宜検知し処理しても構わない。

スルー画像の切り替え後（ステップＳ１０）や、表示方法の変更が入力されなかった場合（ステップＳ９でＮＯ）には、ＣＰＵ１１０は、レリーズスイッチ２０が半押しされたか否か、すなわちＣＰＵ１１０にＳ１ＯＮ信号が入力されか否かを判断する（ステップＳ１１）。

レリーズスイッチ２０が半押しされていない場合（ステップＳ１１でＮＯ）には、再度ステップＳ７が行われる。レリーズスイッチ２０が半押しされた場合（ステップＳ１１でＹＥＳ）には、ＣＰＵ１１０は右撮像系１２及び左撮像系１３のそれぞれについてＡＥ測光、ＡＦ制御を行う（ステップＳ１２）。ＡＥ測光、ＡＦ制御は、通常２Ｄ撮影モードと同じであるため、詳細な説明は省略する。ＣＰＵ１１０は、一度合焦状態になった場合には、フォーカスレンズ１２ｂ、１３ｂのレンズ駆動を停止させてフォーカスロックを行う。

ＣＰＵ１１０は、レリーズスイッチ２０が全押しされたか否か、すなわちＣＰＵ１１０にＳ２ＯＮ信号が入力されか否かを判断する（ステップＳ１３）。レリーズスイッチ２０が全押しされていない場合（ステップＳ１３でＮＯ）には、再度ステップＳ１３が行われる。レリーズスイッチ２０が全押しされた場合（ステップＳ１３でＹＥＳ）には、ＣＰＵ１１０は、撮像素子１２２、１２３の各フォトダイオードに蓄積された信号電荷を取得して画像データを生成する（ステップＳ１４）。すなわち、ＣＰＵ１１０は、ワイド側の画像及びテレ側の画像のそれぞれについてＹＣデータを生成し、ＳＤＲＡＭ１１４に蓄える。ＹＣデータを生成処理については、通常２Ｄ撮影モードと同一であるため、説明を省略する。本実施の形態では、１度のＳ２ＯＮ信号入力によりテレ側の画像とワイド側の画像との画像データが取得されればよく、テレ側の画像とワイド側の画像とが同時に露光、処理されるようにしてもよいし、順次露光、処理されるようにしてもよい。

ＣＰＵ１１０は、ステップＳ１４で撮影されたワイド側の画像及びテレ側の画像を１つのファイルとして記憶する（ステップＳ１５）。すなわち、ステップＳ１４でＳＤＲＡＭ１１４に蓄えられたＹＣ信号は、圧縮伸長処理手段１３２によって圧縮され、所定のフォーマットの１つの画像ファイルとして、メディアコントローラ１３６を介して記録メディア１４０に記録される。

図６は、テレ／ワイド同時撮りモードで撮影された画像が記憶された画像ファイルのファイル形式を示す模式図である。２枚のＥｘｉｆ規格の圧縮画像を１つのファイルに関連付けて記憶可能なＭＰフォーマットを用いたＭＰファイル（拡張子は.MPO）として記憶される。

ＭＰファイルは、通常のＥｘｉｆ形式のファイルと略同一の画像データが複数連続した構造となっており、本実施の形態ではテレ側の画像が先頭画像（第１主画像）として最初に記憶され、ワイド側の画像が第２主画像として２番目に記憶される。このように２枚の画像を同一ファイルに保存することで、２枚の画像がバラバラになることが防止される。

ＭＰファイルでは、Ｅｘｉｆ形式のファイルと異なり、Ｅｘｉｆ付属情報が記憶された後の領域にＭＰフォーマット付属情報が記憶される。ＭＰフォーマット付属情報とは、第１主画像、第２主画像の全体構成を示す情報、第１主画像、第２主画像に固有の情報等であり、本実施の形態ではＭＰフォーマット付属情報として各画像の撮影範囲等が記憶される。これによりテレ側の画像かワイド側の画像かを認識することができる。また、ＭＰフォーマット付属情報として、レリーズスイッチ２０が半押しされる直前にモニタ１６に表示されていた表示方法が記憶される。これにより、ユーザがアレンジした表示方法を画像と共に記憶することができる。

なお、サムネイル画像等についてはＥｘｉｆファイルと同一であるため、説明を省略する。

（２−２）動画撮影モード
図７は、テレ／ワイド同時撮りモードにおける動画の撮影処理の流れを示すフローチャートである。以下、右撮像系１２でワイド側の画像を撮影し、左撮像系１３でテレ側の画像を撮影するとして説明する。静止画の場合と同様、右撮像系１２でテレ側の画像を撮影し、左撮像系１３でワイド側の画像を撮影してもよいことはいうまでもない。静止画の撮影と同一の部分（ステップＳ１〜Ｓ１０）については同一の符号を付し、説明を省略する。

スルー画像の切り替え後（ステップＳ１０）や、表示方法の変更が入力されなかった場合（ステップＳ９でＮＯ）には、ＣＰＵ１１０は、レリーズスイッチ２０が全押しされたか否か、すなわちＣＰＵ１１０にＳ２ＯＮ信号が入力されか否かを判断する（ステップＳ２１）。この１度目のＳ２ＯＮ信号は、動画記録開始を示す指示である。レリーズスイッチ２０が全押しされていない場合（ステップＳ２１でＮＯ）には、再度ステップＳ７が行われる。

レリーズスイッチ２０が全押しされた場合（ステップＳ２１でＹＥＳ）には、ＣＰＵ１１０は動画の撮影及び記録を開始する（ステップＳ２２）。すなわち、ＣＰＵ１１０は、撮像素子１２２、１２３の各フォトダイオードから所定のフレームレートで連続的に信号電荷を取得して、連続的に画像データを生成する。ＡＥ、ＡＦの各処理は、動画撮影時に常時行われる。画像データの生成処理については、通常２Ｄ撮影モードと同一であるため、説明を省略する。

動画撮影時には、撮影された各フレームの画像がモニタ１６に出力される。ＣＰＵ１１０は、初期設定から表示方法の変更が入力されていない場合には、初期設定であるテレ優先のＰｉｎＰ表示、スルー画像撮影、再生中に表示方法の変更が入力された場合（ステップＳ９でＹＥＳ）には、入力された表示方法で、撮影された各フレームの画像をモニタ１６に表示させる。

動画撮影中にズームボタン２１の操作を受け付けるようにしてもよい。この場合には、ズームボタン２１の操作が受け付けられると、ＣＰＵ１１０は、ズームボタン２１に操作に応じて、ズームレンズ駆動部１４５を介して左撮像系１３のズームレンズ１３ｃのズームポジションを移動させる。

ＣＰＵ１１０は、１秒おきに取得された画像を記憶する。図８は、テレ／ワイド同時撮りモードで撮影された動画が記憶された画像ファイルのファイル形式を示す模式図である。

動画は１秒おきに記憶処理が行われる。１秒間でテレ側の画像、ワイド側の画像が各３０フレームずつ撮影されるため、テレ側の画像とワイド側の画像とが連続したものを１組として、３０組を連続して記憶する。その後１秒間の音声データをそれぞれ記憶する。本実施の形態では、右撮像系１２でワイド側の画像を撮影し、左撮像系１３でテレ側の画像を撮影するため、ワイド側の画像として右撮像系１２の撮像素子１２２で撮影された画像が記憶され、テレ側の画像として左撮像系１３の撮像素子１２３で撮影された画像が記憶される。また、ワイド側の音声として右撮像系１２の対物レンズ１２ａに隣接したマイク１５から入力された音声が記憶され、テレ側の音声として左撮像系の対物レンズ１３ａに隣接したマイク１５から入力された音声が記憶される。

この１秒間のデータのセットが動画撮影終了時まで継続して行われることにより、テレ側の画像及びワイド側の画像が関連付けられた同一ファイルとして動画が記憶される。このように２枚の画像を同一ファイルに保存することで、２つの撮像素子を用いて撮影された動画がバラバラになることが防止される。

動画ファイルの付属情報には、動画撮影直前にモニタ１６に表示されていた表示方法が記憶される。これにより、ユーザがアレンジした表示方法を画像と共に記憶することができる。また、動画ファイルの付属情報には、各画像の撮影範囲等が記憶される。これによりテレ側の画像かワイド側の画像かを認識することができる。

ＣＰＵ１１０は、再度レリーズスイッチ２０が全押しされたか否か、すなわちＣＰＵ１１０に２度目のＳ２ＯＮ信号が入力されか否かを判断する（ステップＳ２３）。この２度目のＳ２ＯＮ信号は、動画記録終了を示す指示である。レリーズスイッチ２０が全押しされていない場合（ステップＳ２３でＮＯ）には、再度ステップＳ２２が行われ、動画の撮影が継続される。レリーズスイッチ２０が全押しされた場合（ステップＳ２３でＹＥＳ）には、動画の撮影が終了される。

図９は、テレ／ワイド同時撮りモードから他の撮影モードへの切り替え時の処理の流れを示すフローチャートである。

ＣＰＵ１１０は、ＭＥＮＵ／ＯＫボタン２５等が操作されることにより他の撮影モード（通常２Ｄ撮影モード、３Ｄ撮影モード等）に設定が変更されたか（他撮影モードへの遷移が発生したか）否かを判断する（ステップＳ３１）。他撮影モードへの遷移が発生していない場合（ステップＳ３１でＮＯ）には、再度ステップＳ３１が行われる。

他撮影モードへの遷移が発生した場合（ステップＳ３１でＹＥＳ）には、ＣＰＵ１１０は、ズームレンズ駆動部１４４を介して、ワイド側の画像を撮影する右撮像系１２のズームポジションを、テレ側の画像を撮影する左撮像系１３のズームポジションへ移動させる（ステップＳ３２）。右撮像系１２と左撮像系１３のズームポジションが異なる撮影モードはテレ／ワイド同時撮りモードのみであるため、今後の処理のためには、遷移後の撮影モードが何であれ、右撮像系１２と左撮像系１３のズームポジションは揃えておく必要がある。しかしながら、スルー画像としてモニタ１６に表示されているのはテレ側の画像であるため、左撮像系１３のズームポジションを移動させると、モニタ１６の表示が変わり、使用者が違和感を覚えることとなる。したがって、右撮像系１２のズームポジションを移動させることにより、このような不具合を防止することができる。

ＣＰＵ１１０は、遷移先の撮影モードが３Ｄ撮影モードか否かを判断する（ステップＳ３３）。遷移先の撮影モードが３Ｄ撮影モードである場合（ステップＳ３３でＹＥＳ）には、ＣＰＵ１１０は、モニタ１６を３Ｄモードに切り替え（ステップＳ３４）、他の撮影モードの処理を開始する（ステップＳ３５）。遷移先の撮影モードが３Ｄ撮影モードでない場合（ステップＳ３３でＮＯ）には、モニタ１６は２Ｄモードのまま他の撮影モードの処理を開始する（ステップＳ３５）。

（３）３Ｄ撮影モードに設定されている場合
（３−１）静止画撮影モード
撮像素子１２２及び撮像素子１２３によってライブビュー画像用の撮影を開始する。すなわち、撮像素子１２２及び撮像素子１２３で同じ被写体が連続的に撮像され、その画像信号が連続的に処理され、ライブビュー画像用の立体画像データが生成される。ＣＰＵ１１０は、モニタ１６を３Ｄモードに設定し、生成された画像データはビデオエンコーダ１３４で順次表示用の信号形式に変換されて、それぞれモニタ１６に出力される。

生成された画像データは、順次ビデオエンコーダ１３４に加えられ、表示用の信号形式に変換されて、モニタ１６に出力される。これにより、ライブビュー画像用の立体画像データがモニタ１６にスルー表示される。

ユーザ（使用者）は、モニタ１６に表示されるスルー画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）の一方で行う。また、ＡＦ制御は、右撮像系１２及び左撮像系１３のそれぞれで行う。ＡＥ測光、ＡＦ制御は通常２Ｄ撮影モードと同一であるため、詳細な説明を省略する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。右撮像系１２及び左撮像系１３のそれぞれで撮影された画像データを生成する処理については、通常２Ｄ撮影モードと同一であるため、説明を省略する。

ＣＤＳ／ＡＭＰ１２４、１２５でそれぞれ生成された２枚の画像データは、テレ／ワイド同時撮りモードと同様の方法により、第１主画像、第２主画像とが連続して記憶されたＭＰファイルとして記憶メディア１３７に記録される。ＭＰフォーマット付属情報には、輻輳角、基線長等の３Ｄ画像に関する情報が記憶される。

（３−２）動画撮影モード
モードボタン２２が押下されることで動画撮影モードに設定され、２Ｄ／３Ｄ切り替えボタン２４により２Ｄ撮影モードが設定されると、ＣＰＵ１１０は撮像素子１２２及び撮像素子１２３によってライブビュー画像用の撮影を開始する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０は所定のフレームレートで動画撮影を開始し、再度レリーズスイッチ２０が全押しされると、ＣＰＵ１１０は動画撮影を終了する。ＡＥ、ＡＦの各処理は、動画撮影時に常時行われる。

画像データの生成処理については、通常２Ｄ撮影モードと同一であるため、説明を省略する。

動画を構成する各画像は、静止画の場合と同様に、ＹＣ信号としてＳＤＲＡＭ１１４に蓄えられる。ＳＤＲＡＭ１１４に蓄えられたＹＣ信号は、圧縮伸長処理手段１３２によって圧縮され、所定のフォーマットの画像ファイルとして、メディアコントローラ１３６を介して記録メディア１４０に記録される。動画のデータは、テレ／ワイド同時撮りモードと同様に、各フレームを構成する２枚の画像データが関連付けされた同一ファイルとして記憶メディア１３７に記録される。このように２枚の画像を同一ファイルに保存することで、２つの撮像素子を用いて撮影された動画がバラバラになることが防止される。

３Ｄ撮影モードから他の撮影モードへの切り替えが入力された場合には、遷移先の撮影モードが通常２Ｄ撮影モードか、テレ／ワイド同時撮りモードであるため、ＣＰＵ１１０は、モニタ１６を２Ｄモードに切り替え、他の撮影モードの処理を開始する。

［再生モード］
（１）複眼デジタルカメラ１で再生する場合
複眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３６にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮・伸張回路１４８に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオエンコーダ１３４を介してモニタ１６に出力される。これにより、記録メディア１４０に記録されている画像がモニタ１６に再生表示される（１枚画像の再生）。

１枚画像の再生においては、通常２Ｄ撮影モードで撮影された画像は、画像がモニタ１６全面に２Ｄモードで表示され、テレ／ワイド同時撮りモードで撮影された画像は、ＭＰフォーマット付属情報に記憶された表示方法で表示され、３Ｄモードで撮影された画像は、画像がモニタ１６全面に３Ｄモードで表示される。動画の再生についても同様に、通常２Ｄ撮影モードで撮影された画像は、画像がモニタ１６全面に２Ｄモードで表示され、テレ／ワイド同時撮りモードで撮影された画像は、テレ側の画像とワイド側の画像とが並んで表示され、３Ｄモードで撮影された画像は、画像がモニタ１６全面に３Ｄモードで表示される。テレ／ワイド同時撮りモードで撮影された画像については、画像ファイルの付属情報に記憶された表示方法で表示される。

画像のコマ送りは、十字ボタン２６の左右のキー操作によって行なわれ、十字ボタン２６の右キーが押されると、次の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。また、十字ボタンの左キーが押されると、一つ前の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。

モニタ１６に再生表示された画像を確認しながら、必要に応じて、記録メディア１４０に記録された画像を消去することができる。画像の消去は、画像がモニタ１６に再生表示された状態でＭＥＮＵ／ＯＫボタン２５が押下されることによって行われる。

（２）外部の表示装置で再生する場合
図示しないＩ／Ｆを介して複眼デジタルカメラ１をテレビ等の表示装置２に接続した状態で、複眼デジタルカメラ１を再生モードで動作させると、ＣＰＵ１１０は、外部の表示装置２へ画像ファイルを出力する。

表示装置２は、図１０に示すように、主として、ＣＰＵ５０と、メモリ制御部５１と、メインメモリ５２と、デジタル信号処理部５３と、信号入力部５４と、外部Ｉ／Ｏ（入出力部）５５と、画像解析部５６と、モニタ５７とで構成される。

ＣＰＵ５０は、表示装置２の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能する。ＣＰＵ５０は、各種制御用のプログラムや設定情報などを格納するメモリ領域を有し、このプログラムや設定情報に基づいて各種処理を実行し、表示装置２の各部を制御する。

メインメモリ５２は、ＣＰＵ５０等の作業用領域や画像データ等の一時記憶領域として利用される。メインメモリ５２には、メモリ制御部５１を介して、ＣＰＵ５０により非圧縮の画像データが展開され、各種処理が行われる。

デジタル信号処理部５３は、画像ファイルから生成された非圧縮の画像データ（ＹＣ信号）を、所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換する。

信号入力部５４は、外部Ｉ／Ｏ５５を介して複眼デジタルカメラ１から送信される画像ファイルを取得し、メモリ制御部５１等に入力する。テレ／ワイド同時撮りモードで撮影された画像や、３Ｄ撮影モードで撮影された画像は静止画、動画ともに１つのファイルとして取得されるため、複数の画像がバラバラになることはない。

外部Ｉ／Ｏ５５はＳＣＳＩや双方向パラレルＩ／Ｆ、ＨＤＭＩ等の高速で双方向通信が可能なインターフェースが好ましいが、双方向に限定されるものではない。

画像解析部５６は、画像ファイルのＥｘｉｆ付属情報やＭＰフォーマット付属情報等を確認し、画像ファイルに記憶された画像がどのようにして撮影された画像かを判断する。

モニタ５７は、平面画像が表示可能な液晶パネルであり、複数の視聴者が同時に閲覧可能な大きさを有する。

画像ファイルに記憶された画像が静止画である場合を例に説明する。動画の場合には、静止画と異なり、各フレームの画像毎に画像信号の生成を行い、連続的にモニタ５７に出力するが、表示形態や画像信号の生成処理については静止画と同様であるため、説明を省略する。

画像解析部５６により、画像ファイルに記憶された画像が通常２Ｄ撮影モードで撮影された平面画像であると判断された場合には、ＣＰＵ５０は、デジタル信号処理部５３により変換された画像信号をモニタ５７に出力し、平面画像を液晶パネル２８全面に表示する。

画像解析部５６により、画像ファイルに記憶された画像が３Ｄモードで撮影された画像であると判断された場合は、ＣＰＵ５０は、画像ファイルに含まれる画像の第１主画像をデジタル信号処理部５３に入力し、デジタル信号処理部５３により変換された第１主画像の画像信号をモニタ５７に出力し、２枚の画像のうちの第１主画像を液晶パネル２８全面に表示する。

画像解析部５６により、画像ファイルに記憶された画像がテレ／ワイド同時撮りモードで撮影された画像であると判断された場合は、ＣＰＵ５０は、画像ファイルの付属情報に記憶された表示方法で２枚の画像（１枚の画像の場合もあり）をモニタ５７に表示させる。

ＣＰＵ５０は、静止画の場合にはＭＰフォーマット付属情報、動画の場合には動画ファイルの付属情報を参照して表示形態を決定する。付属情報に記憶されているのは、スルー画像撮影の最後、すなわち静止画又は動画の撮影直前にモニタ１６に表示されていた表示方法である。ユーザは、被写体にあわせてスルー画像の表示方法を任意に入力するため、ここで用いられる表示方法は、ユーザが適切であると考えた表示方法である。したがって、画像再生時には、最初から撮影対象にあった適切な表示方法でモニタ５７に画像を表示することができる。

静止画の場合には画像が表示された後、動画の場合には動画再生中に、表示手段２の図示しない入力手段から表示方法の変更を入力することができる。表示手段２での表示方法としては、ＰｉｎＰ表示、１枚表示、並置表示、擬似ズーム効果を有する表示があげられる。

図１１は、所望の画像がモニタ５７全面に表示されると共に、他の画像がモニタ５７の一部に縮小して表示されたＰｉｎＰ表示の例であり、（ａ）はワイド側の画像がモニタ５７全面に表示されたワイド優先の例であり、（ｂ）はテレ側の画像がモニタ５７全面に表示されたテレ優先の例である。

ワイド優先の場合には、ＣＰＵ５０は、ワイド側の画像である第２主画像の右下の一部にテレ側の画像である第１主画像を縮小して合成し、合成後の画像をモニタ５７に表示させる。テレ優先の場合には、ＣＰＵ５０は、テレ側の画像である第１主画像の右下の一部にワイド側の画像である第２主画像を縮小して合成し、合成後の画像をモニタ５７に表示させる。この表示例の場合には、２枚の関連性を確保しつつ、所望の１枚の視認性を高めることができる。

図１２は、所望の画像がモニタ５７全面に表示され１枚表示の例であり、（ａ）はワイド表示、（ｂ）はテレ表示である。ＣＰＵ５０は、ワイド表示の場合には、ワイド側の画像である第２主画像のみをモニタ５７に出力し、テレ表示の場合には、テレ側の画像である第１主画像のみをモニタ５７に出力する。この表示例の場合には、所望の１枚の視認性を高めることができる。

図１３は、テレ側の画像とワイド側の画像とが並んで表示された並置表示の例である。ＣＰＵ５０は、第１主画像と第２主画像とを横に並べた画像を生成し、生成した画像をモニタ５７に出力する。複眼デジタルカメラ１のモニタ１６のようにモニタサイズが小さい場合には、並置表示だと各画像の視認性が悪くなるが、表示装置２のモニタ５７のようにモニタサイズが大きくなれば２枚の関連性を確保しつつ、それぞれの画像の視認性を高めることができる。図１３では、左側にワイド側の画像、右側にテレ側の画像を並べたが、左側にテレ側の画像、右側にワイド側の画像としてもよい。

図１４は、最初にワイド側の画像を全面表示し、徐々にワイド側の画像をテレ側の画像に入れ替え、最後にはテレ側の画像が全面表示される擬似ズーム効果を有する表示（以下、擬似ズーム表示という）例である。

ＣＰＵ５０は、ワイド側の画像とテレ側の画像とを重ねてモニタ５７に出力するが、初期状態ではテレ側の画像の透過率を１００％に設定する。そのため、図１４（ａ）に示すようにモニタ５７にはワイド側の画像のみが表示される。

ＣＰＵ５０は、テレ側の画像の透過率が０％となるまでテレ側の画像の透過率を徐々に減らしていく。そのため、図１９（ｂ）に示すように、テレ側の画像とワイド側の画像がモニタ５７に重ねて表示され、最終的には図１４（ｃ）に示すようにテレ側の画像のみがモニタ５７に表示される。この表示例の場合には、２枚の画像の関連性を確保しつつそれぞれの画像の視認性を高めることができる。また、エンターテイメント性も高めることができる。なお、図１４では、最初にワイド側の画像を表示させ、徐々にテレ側の画像へと切り替えたが、最初にテレ側の画像を表示させ、徐々にワイド側の表示へと切り替えるようにしてもよい。

擬似ズーム表示を動画で行う場合には、静止画の場合と異なり、透過率を変えるのと同時にテレ側の画像、ワイド側の画像も変更される。例えば、ＣＰＵ５０は、Ｘ番目のフレームはテレ側の画像の透過率を１００％に設定し、Ｘ＋１番目のフレームはテレ側の画像の透過率を９９％に設定し、Ｘ＋９９番目のフレームはテレ側の画像の透過率を０％に設定する。

表示方法が入力された場合には、ＣＰＵ５０は、変更後の表示方法でモニタ５７に表示されるように表示用の画像を生成し、モニタ５７に出力する。これにより、ユーザの希望に沿った表示が可能となる。特に、動画再生中に表示方法を変える（特に、擬似ズーム表示を行うように表示方法を変更する）ことにより、エンターテイメント性を高めることができる。

また、ＣＰＵ５０は、表示方法が入力された場合には、入力された表示方法を画像ファイルの付属情報に上書きしてメインメモリ５２に記憶する。これにより、ユーザによる入力があった次の表示からは、入力された表示方法で画像を表示させることができる。つまり、ユーザが表示方法をアレンジし、アレンジされた表示方法で再生が可能となる。

ＰｉｎＰ表示、１枚表示の場合には、表示手段２の図示しない入力手段から全画面表示させる画像の変更を入力することができる。ＣＰＵ５０は、ＰｉｎＰ表示の場合には、全画面表示する画像の変更が入力されると、現在縮小表示されている画像を全画面表示させ、現在全画面表示されている画像を縮小表示する。ＣＰＵ５０は、１枚表示の場合には、現在表示されていない画像を全画面表示させる。これにより、ユーザの指示に応じて全画面表示される画像の切り替えが可能となる。

また、擬似ズーム表示を動画で行う場合には、表示手段２の図示しない入力手段から、最初にワイド側の画像を表示させ、徐々にテレ側の画像へと切り替えるのか、最初にテレ側の画像を表示させ、徐々にワイド側の画像へと切り替えるのかを入力することができる。これにより、画像を拡大するのか縮小するのかをユーザが任意に選択することができ、視認性やエンターテイメント性を高めることができる。

ＣＰＵ５０は、最後に表示された表示方法を示す情報を静止画の場合にはＭＰファイルのＭＰフォーマット付属情報、動画の場合には動画ファイルの付属情報に記憶させる。これにより、表示方法をユーザがアレンジすることができる。また、次回の表示からはアレンジした表示方法で表示させることができる。

本実施の形態によれば、立体画像のみでなく、撮影範囲の異なる２枚の平面画像を撮影することができる。そして、撮影範囲の異なる２枚の平面画像を同一ファイルに保存することができる。したがって、２枚の画像がばらばらになることが無く、撮影した複眼デジタルカメラ以外の装置で画像の閲覧をする場合にも２枚の画像の関連性をわかり易くすることができる。

また、本実施の形態によれば、撮影範囲の異なる２枚の平面画像を複数の視聴者が閲覧可能な大きさの表示装置で閲覧する時に、２枚の平面画像の関連性を保ちつつ、各平面画像の視認性を高くすることができる。

また、本実施の形態では、スルー画像撮影時又は再生時に表示方法の入力ができるようにしたため、ユーザの希望に沿った表示方法で画像を表示することができる。また、ＭＰフォーマット付属情報等の付属情報に表示方法を示す情報を記憶させるため、ユーザが表示方法を任意にアレンジすることができる。したがって、視認性を高くしたり、エンターテイメント性を高めたりすることができる。

また、本実施の形態では、入力された表示方法を ＭＰフォーマット付属情報等の付属情報に記憶させるため、ユーザによる入力があった次の表示からは、入力された表示方法で画像を表示させることができる。つまり、ユーザが表示方法をアレンジし、アレンジされた表示方法で再生が可能となる。

なお、本実施の形態では、複眼デジタルカメラ以外の表示手段で静止画を表示する例として、１組の平面画像のみを１枚表示する例を記載したが、１組の平面画像を連続して表示するいわゆるスライドショー表示を行うこともできる。この場合には、スライドショー表示の途中で表示手段２の図示しない入力手段から表示方法の変更を入力することができる。スライドショー表示の途中で表示方法が変更された場合には、変更が行われた時にモニタ５７の表示されていた画像以降の画像については、変更後の表示方法をＭＰフォーマット付属情報に記憶することにより、表示方法のアレンジが可能となる。

また、本実施の形態では、テレ／ワイド同時撮りモードで撮影された画像を同一ファイルに保存した（静止画、動画ともに）が、そのファイルを受信した表示装置等が複数の画像が含まれるファイルを解読できない場合も考えられる。この場合には。表示装置のＣＰＵ，画像解析部は、先頭の画像のみが記憶されたファイルとして扱えばよい。例えば、ＭＰＯファイルが解読できない場合には、ＪＰＥＧファイルとして第１主画像のみが記憶されたファイルとして扱えばよい。

また、本実施の形態では、テレ／ワイド同時撮りモードで撮影された画像を同一ファイルに保存した（静止画、動画ともに）が、テレ／ワイド同時撮りモードで撮影された画像が関連付けられていればよく、同一ファイルには限定されない。例えば、静止画の場合には、２個のＪＰＥＧファイルを作成し、これらのＥｘｉｆ付属情報に関連付けを示す情報を記憶することにより、２枚の平面画像を関連付けて記憶するようにしてもよい。ただし、この場合には、ファイルを受信した表示装置がＥｘｉｆ付属情報等を全て解析し、関連付けられた画像を探す必要があるため、テレ／ワイド同時撮りモードで撮影された画像を同一ファイルに記憶することが望ましい。

＜第２の実施の形態＞
本発明の第１の実施の形態は、テレ／ワイド同時撮りモードで撮影された画像が関連付けられて記憶されるファイルの付属情報に、静止画又は動画の撮影直前にモニタ１６に表示されていた表示方法が記憶されたが、付属情報に記憶する表示方法はこれに限られない。

本発明の第２の実施の形態は、テレ／ワイド同時撮りモードで動画を撮影する時に、表示方法の入力を可能とすると共に、入力された表示方法をリアルタイムで記憶する形態である。第２の実施の形態の複眼デジタルカメラ３は、テレ／ワイド同時撮りモードにおける動画撮影処理のみが第１の実施の形態の複眼デジタルカメラ１と異なるため、テレ／ワイド同時撮りモードにおける動画撮影処理についてのみ説明し、その他の部分は説明を省略する。また、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮影モード］
図１５は、テレ／ワイド同時撮りモードで動画を撮影、記録する処理の流れを示すフローチャートである。このフローチャートは、第１の実施の形態のステップＳ１〜Ｓ１０（図７参照）のようにしてスルー画像が撮影、表示されている状態で開始される。

ＣＰＵ１１０は、レリーズスイッチ２０が全押しされたか否か、すなわちＣＰＵ１１０にＳ２ＯＮ信号が入力されたか否かを判断する（ステップＳ４１）。レリーズスイッチ２０が全押しされていない場合（ステップＳ４１でＮＯ）には、再度ステップＳ４１及びスルー画像の撮影、再生が行われる。

レリーズスイッチ２０が全押しされた場合（ステップＳ４１でＹＥＳ）には、動画撮影の指示が入力された場合であり、ＣＰＵ１１０は、動画の撮影及び記録を開始する（ステップＳ４２）。すなわち、ＣＰＵ１１０は、撮像素子１２２、１２３の各フォトダイオードから所定のフレームレートで連続的に信号電荷を取得して、連続的に画像データを生成する。ＡＥ、ＡＦの各処理は、動画撮影時に常時行われる。画像データの生成処理については、第１の実施の形態と同一であるため、説明を省略する。

またＣＰＵ１１０は、撮影された各フレームの画像を初期設定された表示方法でモニタ１６に表示する（ステップＳ４２）。表示方法として、所望の画像がモニタ１６全面に表示されると共に、他の画像がモニタ５７の一部に縮小して表示されたＰｉｎＰ表示（図４参照）、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像とが並んで表示された並置表示（図５参照）のいずれかが初期設定されている。

ＣＰＵ１１０は、動画の撮影を開始してから一定時間が経過したかを判断する（ステップＳ４３）。一定時間は、例えば１秒である。一定時間が経過した場合（ステップＳ４３でＹＥＳ）には、一定期間（例えば１秒）の画像データ及び音声データを記憶する（ステップＳ４４）。１秒間でテレ側の画像、ワイド側の画像が各３０フレームずつ撮影される場合には、図８に示すように、テレ側の画像とワイド側の画像とが連続したものを１組として、これが３０組連続して記憶される。その後１秒間の音声データがそれぞれ記憶される。右撮像系１２でワイド側の画像を撮影し、左撮像系１３でテレ側の画像を撮影した場合には、ワイド側の画像として右撮像系１２の撮像素子１２２で撮影された画像が記憶され、テレ側の画像として左撮像系１３の撮像素子１２３で撮影された画像が記憶される。また、ワイド側の音声として右撮像系１２の対物レンズ１２ａに隣接したマイク１５から入力された音声が記憶され、テレ側の音声として左撮像系の対物レンズ１３ａに隣接したマイク１５から入力された音声が記憶される。

またＣＰＵ１１０は、画像の記憶と同時に、一定時間経過したとき（ステップＳ４３でＹＥＳの判断がされたとき）にモニタ１６に表示されている表示方法と、撮影開始（ステップＳ４２の開始）時からの経過時間とを関連付けた情報を付属情報に記憶する（ステップＳ４５）。例えば、撮影開始から１秒後の表示方法がＰｉｎＰ表示のテレ優先であった場合には、ＣＰＵ１１０は、１秒とテレ優先とを関連付けて付属情報に記憶する。

ＣＰＵ１１０は、操作手段１１２を介して表示方法の変更が入力されたか否かを判断する（ステップＳ４６）。ここで入力可能な表示方法は、ＰｉｎＰ表示、並置表示、１枚表示、擬似ズーム表示（図１４参照）がある。表示方法の変更が入力された場合（ステップＳ４６でＹＥＳ）には、ＣＰＵ１１０は、入力された表示方法となるようにモニタ１６の表示を切り替える。入力された表示方法となるようにモニタ１６の表示を切り替えた（ステップＳ４７）ら、又は表示方法の変更が入力されなかった（ステップＳ４６でＮＯ）場合には、ステップＳ４３に戻り、前回ステップＳ４３の判断が行われてから一定時間が経過しているか否かが判断される（ステップＳ４３）。

なお、処理Ｓ４６、Ｓ４７は、フローチャートの順に実行されるのではなく、優先割り込み処理として適宜表示方法の変更の入力を検知し、表示方法の切り替え処理を行っても構わない。

１回目は撮影開始から、２回目以降は前回の判断時から一定時間が経過していない場合（ステップＳ４３でＮＯ）には、レリーズスイッチ２０が再度全押しされたか否か、すなわちＣＰＵ１１０に２度目のＳ２ＯＮ信号が入力されか否かを判断する（ステップＳ４８）。この２度目のＳ２ＯＮ信号は、動画記録終了を示す指示である。

なお、ステップＳ４３、Ｓ４８の処理の最中にズームボタン２１の操作を受け付けるようにしてもよい。この場合には、ズームボタン２１の操作が受け付けられると、ＣＰＵ１１０は、ズームボタン２１に操作に応じて、ズームレンズ駆動部１４５を介して左撮像系１３のズームレンズ１３ｃのズームポジションを移動させる。

レリーズスイッチ２０が全押しされていない場合（ステップＳ４８でＮＯ）は、ステップＳ４３に戻り、前回ステップＳ４３の判断が行われてから一定時間が経過しているか否かが判断される（ステップＳ４３）。これにより、一定時間おきに画像データ、音声データ及び表示方法に関する付属情報が追加して記憶される。その結果、動画を構成するテレ側の画像及びワイド側の画像と、音声データと、表示方法に関する付属情報が同一ファイルに記憶される。このように同一ファイルに保存することで、２つの撮像素子を用いて撮影された画像や表示方法に関する情報がバラバラになることが防止される。

表示方法に関する情報を付属情報として１秒おきに記憶することにより、例えば図１６に示すように、時間の経過と表示方法とを関連付けて記憶させることができる。図１６に示す場合には、０秒〜ａ秒（０秒、１秒、２秒・・・ａ秒）はＰｉｎＰ表示のテレ優先と関連付けて記憶され、ａ秒〜ｂ秒（ａ秒、ａ＋１秒・・・ｂ秒）は擬似ズーム表示と関連付けて記憶され、ｂ秒〜ｃ秒（ｂ秒、ｂ＋１秒・・・ｃ秒）はＰｉｎＰ表示のワイド優先と関連付けて記憶され、ｃ秒〜ｄ秒（ｃ秒、ｃ＋１秒・・・ｄ秒）は並置表示と関連付けて記憶され、ｄ秒〜ｅ秒（ｄ秒、ｄ＋１秒・・・ｅ秒）はＰｉｎＰ表示のテレ優先と関連付けて記憶される。

これにより、表示方法の変更が入力された時に再生されていた画像と、入力された表示方法とを関連付けて記憶することができる。なお、本実施の形態では一定時間として１秒おきに記憶を行うようにしたため、実際に表示方法が入力された時間と付属情報に記憶される時間とは最大で約１秒のずれが生じる。ただし、画像を視聴する場合に、この約１秒の誤差は小さく、実際に表示方法が入力された時間と付属情報に記憶される時間とは略同一と考えてよい。また、実際に表示方法が入力された時間と付属情報に記憶される時間とを限りなく一致させるためには、記録を行う間隔を限りなく短くすればよい。

レリーズスイッチ２０が全押しされた場合（ステップＳ４８でＹＥＳ）は、動画の撮影を終了し、画像、音声データ、付属情報と共に動画管理情報を記憶する（ステップＳ４９）。

［再生モード］
複眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３６にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。

ＣＰＵ１１０は、付属情報を参照して表示方法に関する情報を取得する。またＣＰＵ１１０は、画像ファイルの圧縮画像データを非圧縮の輝度／色差信号に伸張させ、ビデオエンコーダ１３４を介してモニタ１６に出力して取得した表示方法で表示させる。

付属情報には、時間と表示方法とが関連付けて記憶されている。したがって、０秒〜ａ秒はＰｉｎＰ表示のテレ優先と関連付けて記憶され、ａ秒〜ｂ秒は擬似ズーム表示と関連付けて記憶され、ｂ秒〜ｃ秒はＰｉｎＰ表示のワイド優先と関連付けて記憶され、ｃ秒〜ｄ秒は並置表示と関連付けて記憶され、ｄ秒〜ｅ秒はＰｉｎＰ表示のテレ優先と関連付けて記憶されている場合には、ＣＰＵ１１０は、０秒〜ａ秒の期間に撮影された画像をＰｉｎＰ表示のテレ優先で表示させ、ｂ秒〜ｃ秒の期間に撮影された画像をＰｉｎＰ表示のワイド優先で表示させ、ｃ秒〜ｄ秒の期間に撮影された画像を並置表示で表示させ、ｄ秒〜ｅ秒の期間に撮影された画像をＰｉｎＰ表示のテレ優先で表示させる。これにより、ユーザが撮影時に画面遷移させたとおりに再生時に画面遷移させることができる。

動画の再生中に表示方法の変更も入力可能である。ＣＰＵ１１０は、操作手段１１２を介して表示方法の変更が入力されると、次に再生処理を行うフレームの画像から変更された表示方法でモニタ１６に表示させる。それと共に、ＣＰＵ１１０は、入力された表示方法を時間と関連付けて付属情報に記憶させる。

例えば、ｃ秒〜ｄ秒（ｃ秒、ｃ＋１秒・・・ｄ秒）が並置表示と関連付けて記憶されている場合に、ｃ＋ｘ秒〜ｃ＋ｙ秒（ｃ秒＜ｃ＋ｘ秒＜ｃ＋ｙ秒＜ｄ秒）がＰｉｎＰ表示のテレ優先へと表示方法が変更された場合には、ＣＰＵ１１０は、並置表示と関連付けられたｃ＋ｘ秒〜ｃ＋ｙ秒をＰｉｎＰ表示のテレ優先へと関連付けるように付属情報を書き換える。

付属情報に記憶されていない場合に表示方法の変更を記憶させたい場合には、再度リサンプリングが必要となるため、表示方法の変更は容易ではない。しかしながら、本実施の形態のように時刻と表示方法とを関連付けて付属情報に記憶させておけば、表示方法の変更があった場合にも付属情報を書き換えるだけですむ。そのため、表示方法の管理や表示のアレンジも簡単にできる。

なお、外部の表示装置２で表示する場合も、複眼デジタルカメラ１で再生する場合と同様に、動画記憶時の再生状況と同じ状況で動画を再生することができるし、再生時の表示方法変更を記憶させることも可能である。再生方法、記憶方法は複眼デジタルカメラ１で行う場合と略同一であるため、説明を省略する。

本実施の形態によれば、動画の撮影と同時に表示方法をアレンジすることができる。そして、表示方法を画像と一緒に保存するため、アレンジした再生方法で動画を再生させることができる。また、表示方法を付属情報に記憶するため、変更された表示方法の保存が容易となる。

また、本実施の形態によれば、再生時に表示方法の変更し、変更された内容を画像ファイルに保存するため、再生時にも再生方法をアレンジすることができ、次の再生からはアレンジした再生方法で動画を再生させることができる。

また、本実施の形態によれば、所定の時間間隔で表示方法を記憶するため、表示方法のみでなく、表示方法が入力された時間を記憶することができる。すなわち、表示方法の変更が入力された時に再生されていた画像と、入力された表示方法とを関連付けて記憶することができる。したがって、表示方法の変更が入力された時に再生されていた画像が表示された時に表示方法を変えるようにすることができる。すなわち、ユーザが撮影時に画面遷移させたとおりに再生時に画面遷移させることができる。

なお、本発明の適用は、撮像系が２つの複眼デジタルカメラに限定されるものではなく、３つ以上の撮像系をもつ複眼デジタルカメラでもよい。３つ以上の撮像系をもつ複眼デジタルカメラを用いてテレ／ワイド同時撮りモードで撮影する場合には、その中の２つの撮像系を選択してもよいし、全ての撮像系を用いて撮影してもよい。全ての撮像系を用いて撮影した場合には、ＰｉｎＰ表示、並置表示に当たりその中の２つの画像を用いて表示を行うようにすればよい。

また、本発明は、デジタルカメラに限らず、ビデオカメラなどの各種撮像装置、携帯電話などに適用することができる。また、複眼デジタルカメラ等に適用するプログラムとして提供することもできる。

１：複眼デジタルカメラ、２：表示装置、１０：カメラボディ、１１：バリア、１２：右撮像系、１３：左撮像系、１４：フラッシュ、１５：マイク、１６：モニタ、２０：レリーズスイッチ、２１：ズームボタン、２２：モードボタン、２３：視差調整ボタン、２４：２Ｄ／３Ｄ切り替えボタン、２５：ＭＥＮＵ／ＯＫボタン、２６：十字ボタン、２７：ＤＩＳＰ／ＢＡＣＫボタン、１１０：ＣＰＵ、１１２：操作部、１１４：ＳＤＲＡＭ、１１６：ＶＲＡＭ、１１８：ＡＦ検出回路、１２０：ＡＥ／ＡＷＢ検出回路、１２２、１２３：撮像素子、１２４、１２５：ＣＤＳ／ＡＭＰ、１２６、１２７：Ａ／Ｄ変換器、１２８：画像入力コントローラ、１３０：画像信号処理部、１３３：立体画像信号処理部、１３２：圧縮伸張処理部、１３４：ビデオエンコーダ、１３６：メディアコントローラ、１４０：記録メディア、１３８：音入力処理部、１４２、１４３：フォーカスレンズ駆動部、１４４、１４５：ズームレンズ駆動部、１４６、１４７：絞り駆動部、１４８、１４９：タイミングジェネレータ（ＴＧ）

Claims (10)

1. 異なる撮影範囲で同時に撮影され、関連付けて記憶された２枚の平面画像を取得する取得手段と、
   平面画像が表示可能な表示手段と、
   前記２枚の平面画像のうちの所望の１枚を前記表示手段に全画面表示させるとともに、前記２枚の平面画像のうちの他の１枚を前記表示手段に縮小表示させる第１の表示方法、前記２枚の平面画像を並べて前記表示手段に表示させる第２の表示方法、及び前記２枚の平面画像のうちの所望の１枚を前記２枚の平面画像のうちの他の１枚の上に所定の透過率で重ねて表示し、時間の経過と共に前記所定の透過率を変化させる第３の表示方法のうちの少なくとも１つの表示方法で前記２枚の平面画像を前記表示手段に表示させる表示制御手段と、
   を備えたことを特徴とする表示装置。
2. 前記取得手段は、前記２枚の平面画像に関連付けられた表示方法を示す情報を取得し、
   前記表示制御手段は、前記取得された表示方法を示す情報に基づいて前記２枚の平面画像を当該２枚の平面画像に関連付けられた表示方法で前記表示手段に表示させることを特徴とする請求項１に記載の表示装置。
3. 前記第１の表示方法、前記第２の表示方法、及び前記第３の表示方法のうちの所望の表示方法を入力する第１の入力手段を備え、
   前記表示制御手段は、前記入力された表示方法で前記２枚の平面画像を前記表示手段に表示させることを特徴とする請求項１又は２に記載の表示装置。
4. 前記所望の１枚を入力する第２の入力手段を備えたことを特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記表示制御手段は、前記第３の表示方法で前記２枚の平面画像を表示している時に前記所望の１枚が入力された場合には、前記２つの平面画像のうちの所望の１枚の上に前記２つの平面画像のうちの他の１枚を１００％の透過率で重ねて表示し、時間の経過と共に前記透過率を１００％から徐々に減少させることを特徴とする請求項４に記載の表示装置。
6. 前記入力された表示方法を前記取得された２枚の平面画像に関連付けて記憶する記憶手段を備え、
   前記表示制御手段は、前記２枚の平面画像に関連付けて記憶された表示方法で前記２枚の平面画像を前記表示手段に表示させることを特徴とする請求項３、４又は５に記載の表示装置。
7. 前記取得手段は、２枚の平面画像が連続して記憶された１つのファイルを取得することを特徴とする請求項１から６のいずれかに記載の表示装置。
8. 前記２枚の平面画像は、静止画であることを特徴とする請求項１から７のいずれかに記載の表示装置。
9. 前記取得手段は、前記２枚の平面画像を複数取得し、
   前記表示制御手段は、前記複数の２枚の平面画像を順番に表示することを特徴とする請求項８に記載の表示装置。
10. 前記２枚の平面画像は、動画であることを特徴とする請求項１から７のいずれかに記載の表示装置。

Images