JP4932660B2 - 画像記録装置及び画像記録方法 - Google Patents

Description

本発明は画像記録装置及び画像記録方法に係り、特に複数の画像データを１つの画像ファイルに格納して記録する画像記録装置及び画像記録方法に関する。

特許文献１には、一部が重複するようにして撮像された複数枚の単位画像を記録媒体に記録するとともに、該単位画像をつなぎ合わせることにより合成した合成画像を記録媒体に記録する電子スチルカメラが開示されている。

特許文献２には、連写した複数の画像データを合成してパノラマ画像データを生成するデジタルカメラが開示されている。

特許文献３には、２つの撮像部が撮像した画像データを合成して１つのパノラマ画像を生成するステレオカメラが開示されている。

特許文献４には、主画像と副画像（例えば、間引き画像及び縮小画像）とを１つの画像ファイルに記録するカメラが開示されている。
特開２０００−１０１９１６号公報（請求項２） 特開２００５−３１１７８９号公報 特開２００６−１２１２２９号公報（請求項５） 特開２００５−２４５０１８号公報（図２（Ｃ）及び図４）

画像表示装置に画像を出力して再生表示を行う場合、再生する画像のアスペクト比（横縦比）と画像表示装置の表示画面のアスペクト比が近似していることが好ましい。しかしながら、画像表示装置の表示画面のアスペクト比は機種ごとに異なっており、例えば、アスペクト比（横縦比）が４：３のものや、より横長の１６：９のものが普及している。このため、複数の画像を横長又は縦長に合成したパノラマ合成画像を、アスペクト比が４：３の表示画面に出力する場合、パノラマ合成画像が表示画面に収まらないためにパノラマ合成画像の一部が表示されなかったり、画面の上下等に黒い部分が表示される（パディング）という問題がある。

上記特許文献１から４では、パノラマ合成画像と表示画面のアスペクト比の関係について考慮されていない。

本発明はこのような事情に鑑みてなされたもので、表示画面のアスペクト比に適した画像を出力することが可能な画像記録装置及び画像記録方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る画像記録装置は、異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得手段と、外部表示装置に接続して前記画像データを表示出力するとともに、前記画像データの出力先の外部表示装置における表示画面に関する情報を含む属性情報を取得する接続手段と、前記接続手段を介して接続された外部表示装置から取得した属性情報を接続履歴情報として記録する接続履歴記録手段と、前記接続履歴情報に応じて代表画像データの作成条件を決定する作成条件決定手段と、前記作成条件に従って代表画像データを作成する代表画像作成手段と、前記代表画像データ、及び前記画像取得手段によって取得した複数の画像データを格納する画像ファイルを作成する画像ファイル作成手段とを備えることを特徴とする。

上記第１の態様によれば、パノラマ撮影された視野が異なる画像データを格納する画像ファイルにおいて、外部表示装置の接続履歴データに応じて代表画像の作成条件（アスペクト比）を変更することができる。

本発明の第２の態様に係る画像記録装置は、上記第１の態様において、前記代表画像データ作成手段は、前記接続履歴データに応じて、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする。

本発明の第３の態様に係る画像記録装置は、上記第１又は２の態様において、前記代表画像データ作成手段は、前記接続履歴データに応じて、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データのうちの１つの画像を選択することを特徴とする。

本発明の第４の態様に係る画像記録装置は、上記第１から３の態様において、前記代表画像データ作成手段は、前記接続履歴データに記録された外部表示装置の表示画面のサイズ情報に基づいて、前記代表画像データのアスペクト比を決定することを特徴とする。

本発明の第５の態様に係る画像記録装置は、上記第１から４の態様において、前記代表画像データ作成手段は、前記接続履歴データにおいて、最も接続回数が多い外部表示装置のアスペクト比がおよそ１６：９又は１６：９よりも横長である場合に、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする。

本発明の第６の態様に係る画像記録装置は、上記第１から５の態様において、前記代表画像データ作成手段は、前記接続履歴データにおいて、最後に接続された外部表示装置のアスペクト比がおよそ１６：９又は１６：９よりも横長である場合に、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする。

本発明の第７の態様に係る画像記録装置は、上記第１から６の態様において、前記代表画像データ作成手段は、前記接続履歴データの中に、アスペクト比がおよそ１６：９又は１６：９よりも横長の外部表示装置が１台以上ある場合に、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする。

上記第５から７の態様によれば、出力先の外部表示装置の画面サイズが横長の場合に、該画面サイズに適した代表画像データを格納しておくことができる。

本発明の第８の態様に係る画像記録装置は、異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得手段と、代表画像データの作成条件の指定を受け付ける作成条件指定手段と、前記作成条件に従って、前記複数の画像データから代表画像データを作成する代表画像作成手段と、前記代表画像データ、及び前記画像取得手段によって取得した複数の画像データを格納する画像ファイルを作成する画像ファイル作成手段とを備えることを特徴とする。

上記第８の態様によれば、パノラマ撮影された視野が異なる画像データを格納する画像ファイルにおいて、作成条件の指定に応じて代表画像の作成条件（アスペクト比）を変更することができる。

本発明の第９の態様に係る画像記録装置は、上記第８の態様において、前記作成条件指定手段は、前記代表画像データのアスペクト比の指定を受け付けることを特徴とする。

本発明の第１０の態様に係る画像記録装置は、上記第８又は９の態様において、表示出力用画像データを作成するかどうかを選択する選択手段と、前記表示出力用画像データのアスペクト比を指定するアスペクト比指定手段と、表示出力用画像データを作成する表示出力用画像作成手段とを備え、前記代表画像作成手段は、前記アスペクト比が１６：９に設定された場合に、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成して代表画像データに設定するとともに、前記アスペクト比が４：３に設定された場合に、前記画像取得手段によって取得した複数の画像データの中から代表画像データを選択し、前記表示出力用画像作成手段は、前記代表画像データに所定の処理を施して表示出力用画像データを作成し、前記画像ファイル作成手段は、前記表示用画像データを、前記代表画像データ、及び前記画像取得手段によって取得した複数の画像データとともに前記画像ファイルに格納することを特徴とする。

本発明の第１１の態様に係る画像記録装置は、上記第１０の態様において、前記表示出力用画像データ作成手段は、前記選択した画像データに対して、拡大、縮小、トリミング及びパディングのいずれかの処理を施して表示用画像データを作成することを特徴とする。

本発明の第１２の態様に係る画像記録方法は、異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得工程と、外部表示装置に接続して前記画像データを表示出力するとともに、前記画像データの出力先の外部表示装置における表示画面に関する情報を含む属性情報を取得する接続工程と、前記接続工程を介して接続された外部表示装置から取得した属性情報を接続履歴情報として記録する接続履歴記録工程と、前記接続履歴情報に応じて代表画像データの作成条件を決定する作成条件決定工程と、前記作成条件に従って代表画像データを作成する代表画像作成工程と、前記代表画像データ、及び前記画像取得工程において取得した複数の画像データを格納する画像ファイルを作成する画像ファイル作成工程とを備えることを特徴とする。

本発明の第１３の態様に係る画像記録方法は、異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得工程と、代表画像データの作成条件の指定を受け付ける作成条件指定工程と、前記作成条件に従って、前記複数の画像データから代表画像データを作成する代表画像作成工程と、前記代表画像データ、及び前記画像取得工程において取得した複数の画像データを格納する画像ファイルを作成する画像ファイル作成工程とを備えることを特徴とする。

本発明によれば、パノラマ撮影された視野が異なる画像データを格納する画像ファイルにおいて、外部表示装置の接続履歴データ又は設定に応じて、代表画像の作成条件（アスペクト比）を変更することができる。

以下、添付図面に従って本発明に係る画像記録装置及び画像記録方法の好ましい実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像記録装置を備えた撮影装置（複眼カメラ）の主要構成を示すブロック図である。図１に示すように、撮影装置１０は、複数の撮影部１２Ｒ及び１２Ｌを備えた複眼カメラであり、同一の被写体を多視点から撮影した視差画像を取得し、所定の形式の記録用画像ファイルとして記録する装置である。なお、撮影部は、２つ以上であってもよい。

メインＣＰＵ１４（以下、ＣＰＵ１４という）は、操作部１６からの入力に基づき所定の制御プログラムに従って複眼カメラ１０全体の動作を統括制御する。

ＣＰＵ１４には、システムバス２２を介してＲＯＭ２４、ＥＥＰＲＯＭ２６及びワークメモリ２８が接続されている。ＲＯＭ２４には、ＣＰＵ１４が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ２６には、ユーザ設定情報等の複眼カメラ１０の動作に関する各種設定情報等が格納される。ワークメモリ２８は、ＣＰＵ１４の演算作業用領域及び画像データの一時記憶領域を含んでいる。

画像表示部５０は、例えば、カラー液晶パネルを備えた表示装置により構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩとして使用される。また、画像表示部５０は、撮影モード時に画角を確認するための電子ファインダとして利用される。なお、画像表示部５０は、３次元画像（３Ｄ画像）の表示が可能となっている。

操作部１６は、電源／モードスイッチ、モードダイヤル、レリーズスイッチ、十字キー、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタン等の操作入力手段を含んでいる。

電源／モードスイッチは、複眼カメラ１０の電源のオン／オフの切り替え、及び複眼カメラ１０の動作モード（再生モード及び撮影モード）の切り替え手段である。

モードダイヤルは、複眼カメラ１０の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、パノラマ画像を撮影するためのパノラマ撮影モード、２次元の静止画を撮影する２Ｄ静止画撮影モード、２次元の動画を撮影する２Ｄ動画撮影モード、３次元の静止画を撮影する３Ｄ静止画撮影モード及び３次元の動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードがパノラマ撮影モード又は２Ｄ動画撮影モードに設定されると、撮影モード管理フラグ３０に、パノラマ撮影モードであることを示すフラグが設定される。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、撮影モード管理フラグ３０に、２次元画像を撮影するための２Ｄモードであることを示すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、撮影モード管理フラグ３０に、３次元画像を撮影するための３Ｄモードであることを示すフラグが設定される。ＣＰＵ１４は、撮影モード管理フラグ３０を参照して、撮影モードの設定を判別する。

レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、レリーズスイッチが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、レリーズスイッチが全押しされると、静止画の撮影・記録処理が行われる。また、動画撮影モード時には、レリーズスイッチが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けるようにしてもよい。

十字キーは、上下左右４方向に押圧操作可能な操作手段であり、各方向のボタンには、複眼カメラ１０の動作モードに応じて機能が割り当てられる。例えば、撮影モード時には、左ボタンにマクロ機能のオン／オフを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、撮影モード時には、上ボタンに画像表示部５０の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのオン／オフを切り替える機能が割り当てられる。再生モード時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、再生モード時には、上ボタンに画像表示部５０の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、画像表示部５０に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ズームボタンは、撮影部１２Ｒ及び１２Ｌのズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

ＭＥＮＵ／ＯＫボタンは、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、複眼カメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、ＭＥＮＵ／ＯＫボタンは、例えば、露出値、色合い、撮影感度、記録画素数等の画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等、複眼カメラ１０が持つすべての調整項目の設定が行われる。複眼カメラ１０は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタンは、画像表示部５０の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタンは入力操作のキャンセル等の指示の入力に用いられる。

次に、複眼カメラ１０の撮影機能について説明する。なお、図１では、各撮影部１２Ｒ及び１２Ｌ内の各部にそれぞれ符号Ｒ及びＬを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号Ｒ及びＬを省略して説明する。

撮影レンズ６０は、ズームレンズ、フォーカスレンズ及び絞りを備えている。ズームレンズ及びフォーカスレンズは、各撮影部の光軸（図中のＬＲ及びＬＬ）に沿って前後に移動する。ＣＰＵ１４は、測光・測距ＣＰＵ８０を介して不図示のズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御してズーミングを行い、測光・測距ＣＰＵ８０を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御してフォーカシングを行う。また、ＣＰＵ１４は、測光・測距ＣＰＵ８０を介して絞りアクチュエータの駆動を制御することにより、絞りの開口量（絞り値）を制御し、撮像素子６２への入射光量を制御する。

ＣＰＵ１４は、パノラマ撮影モード又は３Ｄモード時に複数視点の画像を撮影する場合に、各撮影部１２Ｒ及び１２Ｌの撮影レンズ６０Ｒ及び６０Ｌを同期させて駆動する。即ち、撮影レンズ６０Ｒ及び６０Ｌは、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。

フラッシュ発光部７６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。充電／発光制御部７８は、フラッシュ発光部７６を発光させるための電流を供給するためのメインコンデンサを含んでいる。ＣＰＵ１４は、測光・測距ＣＰＵ８０にフラッシュ発光指令を送信して、メインコンデンサの充電制御、フラッシュ発光部７６の放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光部７６としては、発光ダイオードを用いてもよい。

撮影部１２は、被写体に光を照射するための距離用発光素子８６（例えば、発光ダイオード）と、上記距離用発光素子８６により光が照射された被写体の画像（測距用画像）を撮影する距離用撮像素子８４とを備えている。

測光・測距ＣＰＵ８０は、ＣＰＵ１４からの指令に基づいて、所定のタイミングで距離用発光素子８６を発光させるとともに、距離用撮像素子８４を制御して測距用画像を撮影させる。

距離用撮像素子８４によって撮影された測距用画像は、Ａ／Ｄ変換器９６によりデジタルデータに変換されて、距離情報処理回路９８に入力される。

距離情報処理回路９８は、距離用撮像素子８４から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１２Ｒ及び１２Ｌによって撮影された被写体と複眼カメラ１０との間の距離（被写体距離）を算出する。距離情報処理回路９８によって算出された被写体距離は、距離情報記録回路１００に記録される。

なお、被写体距離の算出方法としては、距離用発光素子８６から照射された光が被写体によって反射され、距離用撮像素子８４に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。

また、撮影部１２は、間隔／輻輳角駆動回路８８及び間隔／輻輳角検出回路９０を備えている。

間隔／輻輳角駆動回路８８Ｒ及び８８Ｌは、それぞれ撮影部１２Ｒ及び１２Ｌを駆動する。ＣＰＵ１４は、間隔／輻輳角制御回路９２を介して間隔／輻輳角駆動回路８８Ｒ及び８８Ｌを動作させて、撮影レンズ６０Ｒと６０Ｌとの間隔及び輻輳角を調整する。

間隔／輻輳角検出回路９０Ｒ及び９０Ｌは、例えば、電波を送受信する手段を含んでいる。ＣＰＵ１４は、間隔／輻輳角制御回路９２を介して間隔／輻輳角検出回路９０Ｒ及び９０Ｌを動作させて、電波を相互に送受信させることにより、撮影レンズ６０Ｒと６０Ｌとの間隔及び輻輳角を測定する。撮影レンズ６０Ｒと６０Ｌとの間隔及び輻輳角の測定結果は、レンズ間隔・輻輳角記憶回路１０２に記憶される。

撮像素子６２は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子６２の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３原色（Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。撮影レンズ６０によって撮像素子６２の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従ってＴＧ６４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）として撮像素子６２から順次読み出される。撮像素子６２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、撮像素子６２としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。

アナログ信号処理部６６は、撮像素子６２から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子６２から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部６６によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部６６から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器６８によってデジタルのＲ、Ｇ、Ｂ信号に変換されて、画像入力コントローラ（バッファメモリ）７０に入力される。

デジタル信号処理部７２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像入力コントローラ７０に入力されたデジタルのＲ、Ｇ、Ｂ信号は、デジタル信号処理部７２によって、同時化処理、ホワイトバランス調整、階調変換及び輪郭補正等の所定の処理が施されるとともに、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹ／Ｃ信号に変換される。

ライブビュー画像（スルー画）を画像表示部５０に表示する場合、デジタル信号処理部７２において生成されたＹ／Ｃ信号がバッファメモリ４４に順次供給される。表示コントローラ４２は、バッファメモリ４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部４６に出力する。ＹＣ−ＲＧＢ変換部４６は、表示コントローラ４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ４８を介して画像表示部５０に出力する。これにより、画像表示部５０にスルー画が表示される。

再生モード時には、メモリカード４０に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、圧縮・伸張処理部７４によって非圧縮のＹ／Ｃ信号に伸張された後、バッファメモリ４４に入力される。表示コントローラ４２は、バッファメモリ４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部４６に出力する。ＹＣ−ＲＧＢ変換部４６は、表示コントローラ４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ４８を介して画像表示部５０に出力する。これにより、メモリカード４０に記録されている画像ファイルが画像表示部５０に表示される。

複眼カメラ１０は、ＨＤＭＩ Ｉ／Ｆ（High-Definition Multimedia Interface）５２を備えている。ＨＤＭＩ Ｉ／Ｆ５２を介して再生機（例えば、テレビ受像機又はモニタ）１５０が接続された場合、ＹＣ−ＲＧＢ変換部４６において生成されたＲ、Ｇ、Ｂ信号が再生機１５０に出力される。これにより、メモリカード４０に記録された画像を複眼カメラ１０から所望の再生機１５０に出力させて再生表示させることができる。

次に、画像の撮影及び記録処理について説明する。２Ｄモード時には、所定の１つの撮影部（例えば、１２Ｒ）により記録用の画像が撮影される。２Ｄモード時に、撮影部１２Ｒによって撮影された画像は、圧縮・伸張処理部７４Ｒによって圧縮される。この圧縮画像データは、メモリコントローラ３４及びインターフェース部（Ｉ／Ｆ）３８を介して、所定形式の画像ファイルとしてメモリカード４０に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。

３Ｄモード時には、撮影部１２Ｒ及び１２Ｌによって同期して画像が撮影される。なお、３Ｄモード時には、ＡＦ処理及びＡＥ処理は、撮影部１２Ｒ及び１２Ｌのいずれか一方によって取得された画像信号に基づいて行われる。３Ｄモード時に、各撮影部１２Ｒ及び１２Ｌによって撮影された２視点の画像は、それぞれ圧縮・伸張処理部７４Ｒ及び７４Ｌによって圧縮され、１つの３Ｄ画像ファイル（マルチページファイル）に格納されてメモリカード４０に記録される。また、３Ｄ画像ファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影レンズ６０Ｒ及び６０Ｌの間隔及び輻輳角に関する情報が格納される。

次に、パノラマ撮影モードで撮影された画像の記録処理について説明する。パノラマ撮影モード時には、撮影部１２Ｒ及び１２Ｌによって同期して２視点の画像が撮影される。なお、パノラマ撮影モードには、ＡＦ処理及びＡＥ処理は、撮影部１２Ｒ及び１２Ｌのいずれか一方によって取得された画像信号に基づいて行われる。パノラマ撮影モード時に、撮影部１２Ｒ及び１２Ｌによって撮影された２視点の画像データは、それぞれ圧縮・伸張処理部７４Ｒ及び７４Ｌによって圧縮され、１つのパノラマ画像ファイル（マルチページファイル）に格納されてメモリカード４０に記録される。また、パノラマ画像ファイルには、２視点の圧縮画像データとともに、代表画像データ、被写体距離情報、撮影レンズ６０Ｒ及び６０Ｌの間隔及び輻輳角に関する情報が格納される。

ＣＰＵ１４は、ＨＤＭＩ Ｉ／Ｆ５２を介して再生機１５０が接続された場合に、再生機１５０の属性情報を取得し、過去に接続された再生機１５０の属性情報（接続履歴）を接続履歴管理部５４に記録する。そして、ＣＰＵ１４は、この接続履歴に基づいて、パノラマ画像ファイルに格納する代表画像データのサイズ（アスペクト比）を決定する。

ここで、再生機１５０の属性情報の取得方法としては、ＶＥＳＡ（Video Electronics Standards Association）が定めたDisplay Data Channel（ＤＤＣ）という方式がある。ＤＤＣによれば、再生機１５０が接続されたときに、Extended Display Identification Data（ＥＤＩＤ）というデータ形式で、再生機１５０から複眼カメラ１０に対して再生機１５０の表示画面の解像度を含む属性情報が送出される。これにより、複眼カメラ１０は、再生機１５０の属性情報を取得することができる。

表１は、接続履歴データを示している。表１に示すように、再生機１５０の属性情報としては、表１の左から、再生機１５０が接続された日時、接続された再生機１５０の表示画面の解像度（アスペクト比）及び再生機１５０の識別情報（例えば、機種名）が記録される。

図２は、再生機１５０の接続履歴の記録処理の流れを示すフローチャートである。まず、ＨＤＭＩ Ｉ／Ｆ５２を介して複眼カメラ１０に再生機１５０が接続されたことが検知されると（ステップＳ１０のＹｅｓ）、再生機１５０の属性情報が取得される（ステップＳ１２）。そして、属性情報の取得が成功すると（ステップＳ１４のＹｅｓ）、接続日時、再生機１５０の表示画面の解像度（アスペクト比）及び再生機１５０の識別情報が接続履歴管理部５４に記録される（ステップＳ１６）。

図３は、パノラマ画像ファイルの生成処理の流れを示すフローチャートである。まず、パノラマ撮影モードで画像が撮影されて２視点の画像データが取得されると（ステップＳ２０）、接続履歴管理部５４から接続履歴データが読み出される（ステップＳ２２）。次に、接続履歴データが所定の条件を満たさない場合には（ステップＳ２４のＮｏ）、代表画像として所定の視点画像データが選択される（ステップＳ２６）。一方、接続履歴データが所定の条件を満たす場合には（ステップＳ２４のＹｅｓ）、撮影部１２Ｒ及び１２Ｌによって撮影された２視点の画像データが合成されて、視点画像データよりも横長のパノラマ画像データが作成され、代表画像データに設定される（ステップＳ２８）。そして、代表画像データが格納されるとともに、各視点画像データが副画像データとして格納されたマルチページ形式のパノラマ画像ファイルが生成され、メモリカード４０に記録される（ステップＳ３０）。

ここで、ステップＳ２４では、横長の表示画面に出力されることが想定される場合に（例えば、（ａ）表１の接続履歴データにおいて、最も接続回数が多い再生機のアスペクト比がおよそ１６：９又は１６：９よりも横長である、（ｂ）最後に接続された再生機のアスペクト比がおよそ１６：９又は１６：９よりも横長である、又は（ｃ）接続履歴の中に、アスペクト比がおよそ１６：９又は１６：９よりも横長の再生機が１台以上のいずれかの場合）、横長のパノラマ画像データを代表画像データとし（ステップＳ２８）、アスペクト比が４：３程度の表示画面に出力されることが想定される場合に（条件（ａ）から（ｃ）をすべて満たさない場合）、視点画像データのうちの１枚の画像データを代表画像データに設定する（ステップＳ２６）。なお、ステップＳ２４における判断の条件は、上記に限定されるものではなく、例えば、上記条件（ａ）、（ｂ）及び（ｃ）のうちの少なくとも１つを満たす場合（条件（ｄ））に横長のパノラマ画像データを代表画像データとし（ステップＳ２８）、上記条件（ｄ）を満たさない場合に視点画像データのうちの１枚の画像データを代表画像データに設定する（ステップＳ２６）ようにしてもよい。

図４は、パノラマ画像データが代表画像として格納されたパノラマ画像ファイルを示す図である。図４に示すように、パノラマ画像ファイルＤ１０には、代表画像データＰ１０、撮影部１２Ｌ及び１２Ｒによって撮影された左右の視点画像データＰＬ及びＰＲが順に格納されている。代表画像データＰ１０は、左右の視点画像データＰＬ及びＰＲの一部を重ね合わせて合成された横長（例えば、１６：９）のパノラマ画像データである。

なお、図中の符号Ｈ１０、ＨＬ及びＨＲは、それぞれ代表画像データＰ１０、視点画像データＰＬ及びＰＲに付されたヘッダ情報（Ｅｘｉｆタグ情報）である。また、符号Ｈ１２は、パノラマ画像ファイル中の視点画像データＰＬ及びＰＲの記録場所（アドレス）を示すマーカを含むヘッダである。

図５は、視点画像データのうちの１つが代表画像データとして格納されたパノラマ画像ファイルを示す図である。図５に示すパノラマ画像ファイルＤ２０は、３視点の画像データＰＬ、ＰＣ及びＰＲが格納されており、このうち中央視点の撮影部によって撮影された画像ファイルが代表画像データＰ２０として格納されている。

ここで、代表画像データＰ２０としては、例えば、視点画像データのうち、視点位置が中間又は中間近傍の撮影部によって撮影された画像、又は中間視点又は中間近傍の画像データのうちユーザの利き目（例えば、デフォルト設定では右目。ユーザが設定可能）側の撮影部によって撮影された画像データが選択される。

なお、図中の符号Ｈ２０は、代表画像データＰ２０に付されたヘッダ情報（Ｅｘｉｆタグ情報）である。

なお、本実施形態では、アスペクト比が４：３程度の表示画面に出力されることが想定される場合に（図３のステップＳ２４のＮｏの場合）、図６に示すように、パノラマ画像データの左右の端部をトリミングした画像データＤ３０を代表画像データとして格納するようにしてもよい。

本実施形態によれば、接続履歴データに基づいて、例えば、表示画面が横長の再生機１５０に画像が出力されることが想定される場合に、代表画像として横長のパノラマ画像データを格納するようにしたので、出力先の再生機１５０の表示画面のアスペクト比に適した画像を記録することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態では、代表画像ファイルの作成条件を手動で設定する。

図７は、モニタ用画像データの生成処理を示すフローチャートである。まず、パノラマ撮影モードで画像が撮影されて２視点の画像データが取得されると（ステップＳ４０）、モニタ用画像設定がモニタ用画像ありに設定されているかどうか判定される（ステップＳ４２）。図８に示すモニタ用画像設定画面において、「モニタ用画像なし」に設定されている場合には（ステップＳ４２のＮｏ）、視点画像データのうちの１つが代表画像データとして選択される（ステップＳ４４）。そして、代表画像データが格納されるとともに、各視点画像データが副画像データとして格納されたマルチページ形式のパノラマ画像ファイルが生成され、メモリカード４０に記録される（ステップＳ４６）。なお、ステップＳ４４では、上記の実施形態と同様に、代表画像データとしては、例えば、視点画像データのうち、視点位置が中間又は中間近傍の撮影部によって撮影された画像、又は中間視点又は中間近傍の画像データのうちユーザの利き目（例えば、デフォルト設定では右目。ユーザが設定可能）側の撮影部によって撮影された画像データが選択される。

一方、ステップＳ４２において、モニタ用画像記録設定が「モニタ用画像あり」に設定されており、モニタ用画像のアスペクト比が４：３に設定されている場合には（ステップＳ４８のＮｏ）、視点画像データのうちの１つが代表画像データとして選択される（ステップＳ５０）。なお、ステップＳ５０における代表画像データの選択方法は、ステップＳ４４と同様である。

次に、ステップＳ４２において選択された代表画像データに所定の処理（例えば、拡大、縮小、トリミング及びパディングのうちの少なくとも１つの処理）が施されて、アスペクト比がおよそ４：３のモニタ用画像が作成される（ステップＳ５２）。そして、代表画像データ、表示用画像データ及び各視点画像データが格納されたマルチページ形式のパノラマ画像ファイルが生成され、メモリカード４０に記録される（ステップＳ４６）。

一方、ステップＳ４８において、モニタ用画像のアスペクト比が１６：９に設定されている場合には、撮影部１２Ｒ及び１２Ｌによって撮影された２視点の画像データが合成されて、視点画像データよりも横長のパノラマ画像データが作成され、代表画像データに設定される（ステップＳ５４）。

次に、ステップＳ５４において生成された代表画像データに所定の処理（例えば、拡大、縮小、トリミング及びパディングのうちの少なくとも１つの処理）が施されて、アスペクト比がおよそ１６：９のモニタ用画像が作成される（ステップＳ５６）。そして、代表画像データ、表示用画像データ及び各視点画像データが格納されたマルチページ形式のパノラマ画像ファイルが生成され、メモリカード４０に記録される（ステップＳ４６）。

図９は、本発明の第２の実施形態に係るパノラマ画像ファイルのデータ構造を示す図である。図９に示すように、パノラマ画像ファイルＤ４０には、代表画像データ格納領域Ａ４０及び副画像データ格納領域Ａ４２が設けられている。

副画像データ格納領域Ａ４２の先頭には、モニタ用画像データＰＭが格納されている。モニタ用画像データＰＭは、図８のモニタ用画像設定画面において設定されたアスペクト比に従って、代表画像データＰ４０に対して、所定の処理（例えば、拡大、縮小、トリミング又はパディングのうちの少なくとも１つの処理）を施すことにより作成される。

例えば、モニタ用画像データＰＭのアスペクト比が４：３に設定された場合、代表画像データは、視点画像データ（１６００×１２００）と同じサイズになり、モニタ用画像データのサイズは、例えば、６４０×４８０になる。また、モニタ用画像データＰＭのアスペクト比が１６：９に設定された場合、代表画像データは、視点画像データ（１６００×１２００）よりも横長のパノラマサイズ（３６００×１２００）になり、モニタ用画像データのサイズは、例えば、１９２０×１０８０なる。

本実施形態によれば、モニタ用画像データ及び代表画像データのアスペクト比を手動で設定することができ、出力先の再生機１５０の表示画面サイズ、アスペクト比に応じた代表画像データの記録が可能になる。また、代表画像データに加えて、画素数を落としたモニタ表示用画像データをパノラマ画像データに格納しておくことにより、代表画像データからモニタ用画像データを作成する処理を省略することができる。

［第３の実施形態］
上記の実施形態では、本発明に係る画像記録装置を複眼カメラ１０に適用した例について説明したが、本発明に係る画像記録装置は、単眼カメラ又はパーソナルコンピュータのような画像処理装置に適用することも可能である。

図１０は、本発明に係る画像記録装置を備えた単眼カメラの主要構成を示すブロック図である。図１０に示すように、単眼カメラ２００は、例えば、ＨＤＭＩ Ｉ／Ｆ２６０及び接続履歴管理部２６２を備えている。

図１０に示す単眼カメラ２００によりパノラマ画像を撮影する場合には、撮影モードをパノラマ撮影モードに設定して、例えば、水平方向に単眼カメラを移動（パンニング）させながら静止画を連写する。ＣＰＵ２０２は、パノラマ撮影モード時に連写された複数の画像データを合成してパノラマ画像データを生成する。

図１０に示す単眼カメラ２００においても、パノラマ撮影モードにおいて連写された複数の視点画像データに対して、上記図２、図３及び図７に示す処理を実施することにより、本発明の画像記録装置を実現することができる。

［第４の実施形態］
図１１は、本発明の第４の実施形態に係る画像記録装置の主要構成を示すブロック図である。本実施形態では、画像記録装置３００は、例えば、パーソナルコンピュータ（ＰＣ）によって構成されており、撮影装置又はメモリカード３１４からの記録用画像ファイルの読み込み、記録用画像ファイルの保存、編集等を行うための装置である。図１１に示すように、中央処理装置（ＣＰＵ）３０２は、バス３０４を介して画像記録装置３００内の各ブロックに接続されており、各ブロックの動作を制御する。主メモリ３０６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。ハードディスク装置３０８には、画像記録装置３００のオペレーティングシステム（ＯＳ）や、各種のアプリケーションソフト、撮影装置又はメモリカード３１４から読み込まれた複数の視点の画像データ等が格納される。ＣＤ−ＲＯＭ装置３１０は、図示せぬＣＤ−ＲＯＭからのデータの読み込みを行う。カードインターフェース部（カードＩ／Ｆ）３１２は、メモリカード３１４から画像データを読み取る。表示メモリ３１６は、表示用データを一時記憶する。モニタ３１８は、例えば、ＣＲＴ（Cathode Ray Tube）モニタや液晶モニタにより構成され、この表示メモリ３１６から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。なお、表示メモリ３１６とモニタ３１８は、Ｄｓｕｂ−１５、ＤＶＩ又はＨＤＭＩのいずれかのインターフェースにより接続されている。キーボード３２０及びマウス３２２は、操作者からの操作入力を受け付けて、操作入力に応じた信号をＣＰＵ３０２に入力する。なお、ポインティングデバイスとしては、マウス３２２のほか、タッチパネルやタッチパッド等を用いることができる。マウスコントローラ３２４は、マウス３２２の状態を検出してモニタ３１８上のマウスポインタの位置や、マウス３２２の状態等の信号をＣＰＵ３０２に出力する。オーディオ入出力回路３２６には、マイク３２８及びスピーカ３３０が接続され、各種の音声信号が入力されるとともに、キーボード３２０等からの操作入力に応じて各種動作音が再生出力される。通信インターフェース部（通信Ｉ／Ｆ）３３２は、ネットワークＮＷとの通信を行う。カメラ接続インターフェース部（カメラ接続Ｉ／Ｆ）３３４は、撮影装置（複眼カメラ１０又は単眼カメラ２００）との間でデータの送受信を行う。

本実施形態に係る画像記録装置３００は、メモリカード３１４又は撮影装置（複眼カメラ１０又は単眼カメラ２００）を介してパノラマ撮影された複数の視点画像データを取得した際に、当該視点画像データに対して、上記図２、図３及び図７に示す処理を行うことにより、本発明の画像記録装置を実現することができる。

なお、本発明は、例えば、撮影装置やパーソナルコンピュータ、携帯情報端末、画像ストレージ装置のような画像記録装置に適用するプログラムとしても提供することが可能である。

本発明の第１の実施形態に係る画像記録装置を備えた撮影装置（複眼カメラ）の主要構成を示すブロック図 再生機１５０の接続履歴の記録処理の流れを示すフローチャート パノラマ画像ファイルの生成処理の流れを示すフローチャート ノラマ画像データが代表画像として格納されたパノラマ画像ファイルを示す図 視点画像データのうちの１つが代表画像データとして格納されたパノラマ画像ファイルを示す図 パノラマ画像ファイルの別の実施例を示す図 モニタ用画像データの生成処理を示すフローチャート モニタ用画像設定画面の例 本発明の第２の実施形態に係るパノラマ画像ファイルのデータ構造を示す図 本発明に係る画像記録装置を備えた単眼カメラの主要構成を示すブロック図 本発明の第４の実施形態に係る画像記録装置の主要構成を示すブロック図

符号の説明

１０…撮影装置（複眼カメラ）、１２…撮影部、１４…メインＣＰＵ、５２…ＨＤＭＩ Ｉ／Ｆ、５４…接続情報管理部

Claims (15)

1. 異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得手段と、
   外部表示装置に接続して前記画像データを表示出力するとともに、前記画像データの出力先の外部表示装置における表示画面に関する情報を含む属性情報を取得する接続手段と、
   前記接続手段を介して接続された外部表示装置から取得した属性情報を接続履歴データとして記録する接続履歴記録手段と、
   前記接続履歴データに応じて代表画像データの作成条件を決定する作成条件決定手段と、
   前記作成条件に従って代表画像データを作成する代表画像データ作成手段と、
   前記代表画像データ、及び前記画像取得手段によって取得した複数の画像データを格納する画像ファイルを作成する画像ファイル作成手段と、
   を備えることを特徴とする画像記録装置。
2. 前記代表画像データ作成手段は、前記接続履歴データに応じて、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする請求項１記載の画像記録装置。
3. 前記代表画像データ作成手段は、前記接続履歴データに応じて、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データのうちの１つの画像を選択することを特徴とする請求項１又は２記載の画像記録装置。
4. 前記代表画像データ作成手段は、前記接続履歴データに記録された前記外部表示装置の前記表示画面のサイズ情報に基づいて、前記代表画像データのアスペクト比を決定することを特徴とする請求項１から３のいずれか１項記載の画像記録装置。
5. 前記代表画像データ作成手段は、前記接続履歴データにおいて、最も接続回数が多い外部表示装置のアスペクト比がおよそ１６：９又は１６：９よりも横長である場合に、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする請求項１から４のいずれか１項記載の画像記録装置。
6. 前記代表画像データ作成手段は、前記接続履歴データにおいて、最後に接続された外部表示装置のアスペクト比がおよそ１６：９又は１６：９よりも横長である場合に、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする請求項１から５のいずれか１項記載の画像記録装置。
7. 前記代表画像データ作成手段は、前記接続履歴データの中に、アスペクト比がおよそ１６：９又は１６：９よりも横長の外部表示装置が１台以上ある場合に、前記代表画像データとして、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成することを特徴とする請求項１から６のいずれか１項記載の画像記録装置。
8. 異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得手段と、
   アスペクト比を含む代表画像データの作成条件の指定を受け付ける作成条件指定手段と、
   前記作成条件に従って、前記複数の画像データから代表画像データを作成する代表画像データ作成手段であって、前記アスペクト比が第１のアスペクト比に指定された場合に、前記画像取得手段によって取得した複数の画像データの中から代表画像データを選択する一方、前記アスペクト比が前記第１のアスペクト比よりも横長の第２のアスペクト比に指定された場合に、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成して代表画像データに設定する代表画像データ作成手段と、
   前記代表画像データ、及び前記画像取得手段によって取得した前記複数の画像データを格納する画像ファイルを作成する画像ファイル作成手段と、
   を備えることを特徴とする画像記録装置。
9. 前記代表画像データ作成手段は、前記アスペクト比が１６：９又は１６：９よりも横長に指定された場合に、前記画像取得手段によって取得した複数の画像データを合成してパノラマ画像データを作成して代表画像データに設定する一方、前記アスペクト比が４：３に指定された場合に、前記画像取得手段によって取得した複数の画像データの中から代表画像データを選択することを特徴とする請求項８記載の画像記録装置。
10. 表示出力用画像データを作成するかどうかを選択する選択手段と、
    前記表示出力用画像データのアスペクト比を指定するアスペクト比指定手段と、
    表示出力用画像データを作成する表示出力用画像作成手段とを更に備え、
    前記表示出力用画像作成手段は、前記代表画像データに所定の処理を施して表示出力用画像データを作成し、
    前記画像ファイル作成手段は、前記表示出力用画像データを、前記代表画像データ、及び前記画像取得手段によって取得した複数の画像データとともに前記画像ファイルに格納することを特徴とする請求項８又は９記載の画像記録装置。
11. 前記表示出力用画像作成手段は、前記選択した画像データに対して、拡大、縮小、トリミング及びパディングのいずれかの処理を施して前記表示出力用画像データを作成することを特徴とする請求項１０記載の画像記録装置。
12. 異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得工程と、
    外部表示装置に接続して前記画像データを表示出力するとともに、前記画像データの出力先の外部表示装置における表示画面に関する情報を含む属性情報を取得する接続工程と、
    前記接続工程を介して接続された外部表示装置から取得した属性情報を接続履歴データとして記録する接続履歴記録工程と、
    前記接続履歴データに応じて代表画像データの作成条件を決定する作成条件決定工程と、
    前記作成条件に従って代表画像データを作成する代表画像作成工程と、
    前記代表画像データ、及び前記画像取得工程において取得した前記複数の画像データを格納する画像ファイルを作成する画像ファイル作成工程と、
    を備えることを特徴とする画像記録方法。
13. 異なる視野範囲を撮影して得られた複数の画像データを取得する画像取得工程と、
    アスペクト比を含む代表画像データの作成条件の指定を受け付ける作成条件指定工程と、
    前記作成条件に従って、前記複数の画像データから代表画像データを作成する代表画像作成工程であって、前記アスペクト比が第１のアスペクト比に指定された場合に、前記取得した複数の画像データの中から代表画像データを選択する一方、前記アスペクト比が前記第１のアスペクト比よりも横長の第２のアスペクト比に指定された場合に、前記取得した複数の画像データを合成してパノラマ画像データを作成して代表画像データに設定する代表画像作成工程と、
    前記代表画像データ、及び前記画像取得工程において取得した前記複数の画像データを格納する画像ファイルを作成する画像ファイル作成工程と、
    を備えることを特徴とする画像記録方法。
14. 前記代表画像作成工程では、前記アスペクト比が１６：９に指定された場合に、前記取得した複数の画像データを合成してパノラマ画像データを作成して代表画像データに設定する一方、前記アスペクト比が４：３に指定された場合に、前記取得した複数の画像データの中から代表画像データを選択することを特徴とする請求項１３記載の画像記録方法。
15. 表示出力用画像データを作成するかどうかを選択する選択工程と、
    前記表示出力用画像データのアスペクト比を指定するアスペクト比指定工程と、
    表示出力用画像データを作成する工程であって、前記代表画像データに所定の処理を施して表示出力用画像データを作成する表示出力用画像作成工程とを更に備え、
    前記画像ファイル作成工程では、前記表示出力用画像データを、前記代表画像データ、及び前記取得した複数の画像データとともに前記画像ファイルに格納することを特徴とする請求項１３又は１４記載の画像記録方法。

Images