JP2010263270A

JP2010263270A - 撮像装置

Info

Publication number: JP2010263270A
Application number: JP2009110412A
Authority: JP
Inventors: Yasuhiro Iijima; 靖博飯嶋; Haruo Hatanaka; 晴雄畑中; Shinpei Fukumoto; 晋平福本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2009-04-30
Filing date: 2009-04-30
Publication date: 2010-11-18

Abstract

【課題】画角変化時における構図設定を支援する。
【解決手段】対象動画像の撮影中において、撮影画角を減少させる操作（ズーム倍率を増大させるズーム操作）がなされた時、撮影画角を減少させる前に静止画像撮影を行って広角画像２１０を取得した後、実際に撮影画角を減少させる。撮影画角を減少させるためのズームレンズの移動中又は移動完了後において、撮影画角が比較的狭い狭角画像２２０が得られる。撮像装置は、ブロックマッチング等を利用して、狭角画像２２０上の被写体の、広角画像２１０上における位置を検出し、その検出結果に従って広角画像２１０上に狭角画像２２０の縮小画像を配置することで、表示画面に表示されるべき表示用画像２３０を生成する。
【選択図】図８

Description

本発明は、デジタルカメラ等の撮像装置に関する。

ズーム機能が備えられた撮像装置では、被写体を拡大又は縮小して撮影することが可能である。光学ズームにおいては、ズームスイッチの操作に連動して光学系内のズームレンズが駆動され、ズームレンズの駆動により撮影画角が変化する。ユーザは、現在の撮影画角が反映された現在の撮影画像を表示するモニタを確認しつつ、撮影画角の所望の画角へと設定する。

但し、ズーム操作とレンズ駆動との間のタイムラグにより、所望の画角前後で拡大及び縮小ズーム操作を繰り返す必要が生じ、なかなか所望の画角に調整することができない場合もある。また、高いズーム倍率にて撮影を行っている時においては、撮影される画像及びモニタに表示される映像が撮影場面全体のごく一部となるため、ズーム操作を施しながら注目被写体を撮影範囲内に補足し続けることが難しい場合もある。これは例えば、同じ手ぶれ量でも、ズーム倍率が３０倍の時はそれが１倍の時と比べて、生じる画像のぶれが３０倍になることからも理解される。また、ズーム操作中に注目被写体を見失ってしまうと、特に高倍率時において、注目被写体を撮影範囲内に再度収めることが難しくなる。

尚、下記特許文献１には以下の技術が開示されている。画像サイズの縮小処理及び画像の切り出し処理を用いて、画像１枚分の画像データから静止画像表示データ及び動画像表示データを生成し、静止画像表示データによる静止画像上に動画像表示データによる動画像を配置した映像をモニタに表示する（或いは、その逆の映像をモニタに表示する）。

特開２００７−１０４３５２号公報

上述したように、従来の撮像装置では、現在の撮影画角が反映された現在の撮影画像が表示されるのみである。ユーザは、その表示内容を頼りに、ズーム操作及びパン操作等を含むカメラワークを行って注目被写体を撮影範囲中央に配置する等の構図設定を行うが、特に高ズーム倍率時に実際の構図を所望の構図に設定することが難しいこともある。尚、特許文献１の技術は、このような課題を解決するような技術ではない。

そこで本発明は、画角変化に絡む構図設定を支援する撮像装置を提供することを目的とする。

本発明に係る第１の撮像装置は、静止画像又は動画像を撮影する撮像部と、表示部と、撮影によって得られた第１画角を有する第１画像と、前記第１画像と異なる時刻の撮影によって得られた第２画角を有する第２画像とを、前記第２画像を含んで形成される対象動画像の撮影中において同時に前記表示部に表示させる表示制御部と、を備え、前記第１及び第２画角は互いに異なることを特徴とする。

これにより、画角変化前後の撮影画像を同時に表示部上で確認できるようになり、実際の構図を所望の構図に近づけることが支援される。

具体的には例えば、前記表示制御部は、前記表示部の表示画面上において前記第１画像の表示サイズと前記第２画像の表示サイズを異ならせ、前記第１画像上に前記第２画像を配置した表示用画像を、前記対象動画像の撮影中において前記表示部に表示させる。

更に具体的には例えば、当該撮像装置は、前記第２画像上における被写体の、前記第１画像上における位置を検出する位置検出部を更に備え、前記表示制御部は、前記位置検出部の検出結果に基づいて、前記第１画像上における前記第２画像の配置位置を決定する。

或いは具体的には例えば、当該撮像装置は、前記第１画像の全体に含まれる互いに異なる複数の一部画像の夫々に注目し、各一部画像の特徴の大きさを検出する特徴量検出部を更に備え、前記表示制御部は、前記特徴量検出部の検出結果に基づいて、前記第１画像上における前記第２画像の配置位置を決定する。

また具体的には例えば、前記第１画像は前記第２画像よりも前に撮影され、且つ、前記第１画角は前記第２画角よりも広く、当該撮像装置は、撮影画角を前記第１画角から前記第２画角に向かって減少させる操作を受けたとき、前記撮影画角の減少に先立って前記第１画像を撮影し、その後、実際に前記撮影画角を前記第１画角から前記第２画角へ減少させて前記第２画像を撮影する。

本発明に係る第２の撮像装置は、静止画像又は動画像を撮影する撮像部と、表示部と、対象動画像の撮影中において撮影画角を第１画角から前記第１画角よりも狭い第２画角へと減少させる操作を受けたとき、前記撮影画角の減少に先立って前記第１画角を有する第１画像を前記撮像部に撮影させ、その後、実際に前記撮影画角を前記第１画角から前記第２画角へ減少させる撮影制御部と、前記第２画角にて撮影された第２画像上における被写体の、前記第１画像上における位置を検出する位置検出部と、前記対象動画像の撮影中において、前記第２画像が撮影された後、前記第２画像の撮影範囲を表す指標を前記第１画像上に重畳して表示する表示制御部と、を備えたことを特徴とする。

これにより、画角変化前後の撮影範囲を同時に表示部上で確認できるようになり、実際の構図を所望の構図に近づけることが支援される。

また例えば、上記第１又は第２の撮像装置に、静止画像としての前記第１画像と前記対象動画像とを互いに関連付けて記録媒体に記録する記録制御部を更に設けると良い。そして例えば、前記表示制御部は、前記記録媒体に記録された動画像又は静止画像を前記表示部に再生させる再生制御部を有し、前記再生制御部は、前記第１画像を指定する所定操作を受けたとき、前記対象動画像の全撮影期間の内の、前記第１画像の撮影時刻を基準とする所定期間内の動画像を前記表示部に再生させると良い。

画角が変化する時刻の前後においては特徴的なシーンが撮影されていることが多い。従って、上記のような所定期間内の動画像を再生できるようにしておくことで、ユーザは、記録媒体に記録されうる複数の動画像の中から、所望の動画像を短時間で見つけることが可能となる。

本発明によれば、画角変化に絡む構図設定を支援する撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の全体ブロック図である。図１の撮像装置に設けられた撮像部の内部構成図である。二次元座標面としてのＸＹ座標面と、二次元画像と、を示す図である。図１の撮像装置に設けられた表示部の概略的な外観図である。図１の撮像装置の一部ブロック図である。通常表示期間と特殊表示期間との関係を表す図である。対象動画像の撮影中における表示動作に特に注目した、本発明の第１実施例に係る撮像装置の動作フローチャートである。本発明の第１実施例に係る広角画像、狭角画像及び表示用画像を示す図である。本発明の第１実施例に係り、狭角画像の画像サイズを縮小することによって位置合わせ用狭角画像が生成される様子を示す図である。本発明の第１実施例に係り、重畳用狭角画像と、重畳用狭角画像の中心点が配置されるべき広角画像上の位置を示す図である。本発明の第１実施例に係り、表示用画像等の全画像領域が２つの画像領域に分類される様子を示す図である。本発明の第２実施例に係り、図５の表示制御部に表示用画像生成部が内在している様子を示す図である。本発明の第４実施例に係る表示用画像を示す図である。本発明の第４実施例に係り、表示用画像等の全画像領域が２つの画像領域に分類される様子を示す図である。本発明の第５実施例に係り、広角画像と狭角画像から表示用画像が生成される様子を示す図である。本発明の第５実施例に係り、表示用画像等の全画像領域が２つの画像領域に分類される様子を示す図である。対象動画像の撮影中における表示動作に特に注目した、本発明の第６実施例に係る撮像装置の動作フローチャートである。本発明の第６実施例に係る表示用画像を示す図である。本発明の第８実施例に係り、図１の外部メモリに生成される画像ファイルの構造を示す図である。本発明の第８実施例に係り、複数の動画像についての複数のサムネイルが表示される様子を示す図である。本発明の第８実施例に係り、対象動画像に関連付けられた関連静止画像のサムネイルが表示される様子を示す図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第８実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。尚、本明細書では、記述の簡略化上、符号を参照することによって該符号に対応する名称を省略又は略記することがある。例えば、位置合わせ用狭角画像２２０ａ（図９参照）を単に画像２２０ａと表記することもあるが、両者は同じものを指す。

［基本的な構成の説明］
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。

撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。或る画素に対する画像データを、画素信号と呼ぶこともある。画素信号は、例えば、輝度信号及び色差信号を含む。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。また、或る画像の大きさ又は画像領域の大きさを、画像サイズと呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。

尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。また、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する。従って例えば、或る画像についての圧縮された画像データを記録することを、単に、画像データを記録する又は画像を記録すると表現する。

図３に、任意の二次元画像が配置されるべき二次元座標面としてのＸＹ座標面を示す。図３において、符号２００が付された矩形枠は、二次元画像の外形枠を表している。ＸＹ座標面は、二次元画像２００の水平方向に伸びるＸ軸と、二次元画像２００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。ＸＹ座標面上及び二次元画像２００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の垂直位置を表す。ＸＹ座標面及び二次元画像２００において、注目点のＸ軸座標値であるｘの値が増加するにつれて該注目点の位置は右側に移動し、注目点のＹ軸座標値であるｙの値が増加するにつれて該注目点の位置は上側に移動するものとする。

図４に、表示部２７の概略的な外観図を表している。表示部２７は、液晶ディスプレイ等の表示画面２７ａと、撮像装置１の筐体の一部である表示部筐体２７ｂと、から成る。所定のフレーム周期にて周期的に得られたフレーム画像は表示画面２７ａ上に更新表示される。即ち、順次得られるフレーム画像の集まりは動画像として表示画面２７ａ上に表示される。ユーザは、この表示内容を見ることによって撮像部１１の撮影範囲（換言すれば、撮像部１１の撮影における視野）を確認することができる。

図５に、撮像装置１が有する特徴的機能に特に関与する部分のブロック図を示す。図５に示される各部位は、撮像装置１に内在している。図５において、撮像部１１、表示部２７及び外部メモリ１８は図１のそれらと同じものである。撮影制御部４１は、例えば、ＣＰＵ２３によって実現される。表示制御部４２は、例えば、表示処理部２０によって、或いは、表示処理部２０とＣＰＵ２３によって実現される。記録制御部４３は、例えば、ＣＰＵ２３によって、或いは、ＣＰＵ２３と外部メモリ１８の前段に設けられたメモリドライバ（不図示）によって実現される。画像処理部４４は、例えば、映像信号処理部１３によって、或いは、映像信号処理部１３とＣＰＵ２３によって実現される。

撮影制御部４１は、撮像部１１の撮影動作を制御し、特に、ズームレンズ３０の駆動による光学ズーム倍率の制御を行う。光学ズーム倍率を最低倍率である１倍から増大させるに従って、撮像部１１の撮影による画角（以下、単に撮影画角とも言う）が小さくなると共に撮像部１１の撮影範囲（換言すれば視野）も小さくなり、一方でフレーム画像上における各被写体の大きさが増大する。逆に、光学ズーム倍率を或る倍率から１倍に向かって減少させるに従って、撮影画角が大きくなると共に撮像部１１の撮影範囲（換言すれば視野）も大きくなり、一方でフレーム画像上における各被写体の大きさが減少する。ズームレンズ３０の可動範囲内においてズームレンズ３０の位置を変化させることで、光学ズーム倍率が所定の最低倍率から所定の最高倍率の間で変化する。

ユーザは、操作部２６に対して所定のズーム操作を行うことで光学ズーム倍率の変更を指示することができる。ズーム操作は、光学ズーム倍率を増大させるための拡大ズーム操作と、光学ズーム倍率を減少させるための縮小ズーム操作とに分けられる。撮影制御部４１は、ズーム操作の内容に従って光学ズーム倍率を制御する。

表示制御部４２は、表示部２７の表示内容を制御する。表示部２７の表示画面２７ａ上に表示される画像を、特に表示用画像と呼ぶ。記録制御部４３は、外部メモリ１８の記録制御を行う。画像処理部４４は、フレーム画像の画像データを用いて各種の画像処理を行う。表示制御部４２、記録制御部４３及び画像処理部４４の機能の詳細は、後述される。

以下に、撮像装置１が有する特徴的機能に関与する実施例として、第１〜第８実施例を説明する。矛盾が生じないのであれば、第１〜第８実施例の内、或る実施例に述べた事項を他の実施例に適用することもでき、２以上の実施例を組み合わせることも可能である。

＜＜第１実施例＞＞
第１実施例を説明する。まず、図６を参照して、第１実施例に係る動作の概要を説明する。本発明に係る特徴的な動作が適用される動画像を、特に、対象動画像と呼ぶ。対象動画像は、例えば、録画ボタン２６ａに対する操作に従って撮影されるべき動画像である。対象動画像の撮影期間は通常表示期間と特殊表示期間に大別される。

通常表示期間では、対象動画像を形成する各フレーム画像そのものが表示用画像として機能し、順次得られる最新のフレーム画像が表示画面２７ａの全表示領域を使って更新表示される。このような表示を通常表示とも言う。

通常表示期間において、フレーム画像に所定の画像処理（例えば、エッジ強調処理やノイズ除去処理）を施した画像、フレーム画像に任意の指標（例えば、外部メモリ１８の残記録容量や撮像装置１の駆動用電池の残量を示す指標）を重畳した画像、又は、フレーム画像に該画像処理及び該指標の重畳を施した画像を表示用画像として表示するようにしてもよい。これは、特殊表示期間中の表示用画像についても当てはまる。但し、以下の説明では、説明の簡略化上、本発明の特徴との関連性の薄い、そのような画像処理や指標の存在を無視する。

対象動画像の撮影開始直後の時点は、通常表示期間に属する。対象動画像の撮影開始後、拡大ズーム操作がなされると、撮影制御部４１は、ズームレンズ３０の移動による光学ズーム倍率の増大を行う前に、撮像部１１に静止画像を撮影させる。ここで撮影される静止画像を特に広角画像と呼ぶ。広角画像は、対象動画像を形成する１枚のフレーム画像そのものである。或いは、そのフレーム画像に所定の画像処理を施して得た画像が広角画像であっても良い。

撮影制御部４１は、広角画像の撮影が完了してから、ズームレンズ３０の移動による光学ズーム倍率の増大を実際に行い、所望の光学ズーム倍率が得られる位置にてズームレンズ３０を停止させる。広角画像が得られた後に特殊表示期間が設けられる。特殊表示期間の終期については後述するが、特殊表示期間が終了すると再び通常表示期間が始まる。

図７を参照して、対象動画像の撮影中における表示動作を説明する。図７は、その表示動作に特に注目した、撮像装置１の動作のフローチャートである。対象動画像の撮影開始が指示されると、その撮影開始から対象動画像の撮影終了が指示されるまで、撮像部１１において、対象動画像を形成するフレーム画像が所定のフレーム周期にて順次撮影される。記録制御部４３は、対象動画像を形成する各フレーム画像を外部メモリ１８に記録させることができる。

対象動画像の撮影開始後、ステップＳ１１において、ＣＰＵ２３によってズーム操作がなされたか否かが確認され、ズーム操作が無かった場合はステップＳ１１の確認動作が繰り返し実行される一方、ズーム操作があった場合はステップＳ１２に移行し、そのズーム操作が拡大ズーム操作であるかが確認される。操作部２６になされたズーム操作が拡大ズーム操作である場合は、ステップＳ１２からステップＳ１３に移行して、ステップＳ１３〜Ｓ１７の処理が順次実行されてからステップＳ１８に至る。操作部２６になされたズーム操作が縮小ズーム操作である場合は、ステップＳ１２からステップＳ２０に移行して、ステップＳ２０及びＳ２１の処理が順次実行されてからステップＳ１８に至る。

操作部２６になされたズーム操作が縮小ズーム操作である場合においては、通常表示期間から特殊表示期間への移行はなされず、ステップＳ２０において、縮小ズーム操作に従ったズームレンズ３０の移動を直ちに開始し、ステップＳ２１において最新のフレーム画像が通常表示される。即ち、縮小ズーム操作に従って光学ズーム倍率の減少のなされた後のフレーム画像が通常表示される。その後、ステップＳ１８に移行する。

操作部２６になされたズーム操作が拡大ズーム操作である場合、拡大ズーム操作に従ったズームレンズ３０の移動を行う前に、ステップＳ１３において広角画像としての静止画像の撮影が行われ、その後のステップＳ１４において、拡大ズーム操作に従ったズームレンズ３０の移動が開始される。ズームレンズ３０の移動は、拡大ズーム操作に従った光学ズーム倍率が得られるまで継続する。図８（ａ）に、ステップＳ１３にて得られる広角画像の例としての広角画像２１０を示す。広角画像２１０は、森の前に立つ３人の人物が撮影範囲内に収まるように撮影を行うことで得た画像である。破線枠２１１の意義は、後述される。ステップＳ１３にて得られる広角画像の画像データは、必要時間分だけ、内部メモリ１７に保存される。

ステップＳ１４に続くステップＳ１５では、最新のフレーム画像とステップＳ１３にて得られた広角画像との位置合わせが行われる。ここにおける最新のフレーム画像は、光学ズーム倍率を増大させるためのズームレンズ３０の移動がなされている最中のフレーム画像又は該移動の完了後に得られるフレーム画像であるため、そのフレーム画像の撮影時における画角は広角画像のそれよりも狭い。従って、位置合わせの対象となる上記最新のフレーム画像を、特に狭角画像とも呼ぶ。図８（ｂ）に、ステップＳ１５の位置合わせの対象となる狭角画像の例としての狭角画像２２０を示す。狭角画像２２０は、上記３人の人物の内、中央に位置する人物の顔が大きく映し出されるように光学ズーム倍率の増大及び撮影範囲の調整を行った後に撮影された画像であり、図８（ａ）に示される破線枠２１１内の被写体を拡大して撮影した画像である。尚、位置合わせの内容は後述する。位置合わせは、図５の画像処理部４４にて行われる。

ステップＳ１６では、ステップＳ１５の位置合わせ結果に基づき、広角画像上に狭角画像を配置することで表示用画像を生成する。この際、狭角画像の画像サイズを縮小し、画像サイズ縮小後の狭角画像を広角画像上に配置するようにする。図８（ｃ）に、図８（ａ）及び（ｂ）の広角画像２１０及び狭角画像２２０に基づいて生成される表示用画像２３０を示す。表示用画像２３０は、広角画像２１０が背景となるように、広角画像２１０上に狭角画像２２０の縮小画像（後述の重畳用狭角画像２２０ｂ；図１０参照）を配置することで生成される。表示用画像２３０上には、狭角画像２２０の縮小画像（後述の重畳用狭角画像２２０ｂ；図１０参照）の外形を表す境界枠２３１も示される。広角画像及び狭角画像から表示用画像を生成する処理は、図５の表示制御部４２にて行われる。但し、その処理を画像処理部４４にて行うようにしても良い。

ステップＳ１６にて生成された表示用画像は表示画面２７ａ上に表示される。広角画像及び狭角画像に基づく表示用画像が表示される期間が、上記の特殊表示期間に相当する。ステップＳ１６に続くステップＳ１７では、表示制御部４２が、特殊表示期間を終了すべきか否かを判断する。特殊表示期間を終了すべきと判断した場合には、ステップＳ１７からステップＳ１８に移行するが、そうでない場合はステップＳ１５に戻ってステップＳ１５及びＳ１６の処理が繰り返し実行される。単純には例えば、広角画像の撮影の完了時点、拡大ズーム操作に従ったズームレンズ３０の移動開始時点、又は、拡大ズーム操作に従ったズームレンズ３０の移動終了時点を特殊表示期間の開始時点とみなし、特殊表示期間の開始時点から一定の時間が経過した時点で特殊表示期間を終了させることができる。ステップＳ１５及びＳ１６の処理が繰り返し実行される過程において、表示画面２７ａ上の、広角画像が表示される部分についての画像は静止画像であるが、重畳用狭角画像が表示される部分についての画像は動画像である。

ステップＳ１７又はステップＳ２１から移行するステップＳ１８では、対象動画像の撮影終了が指示されたか否かが確認される。対象動画像の撮影終了が指示された場合は対象動画像の撮影を終了するが、対象動画像の撮影終了が指示されていない場合はステップＳ１１に戻って上述の各ステップの処理が繰り返し実行される。

ステップＳ１５の位置合わせの意義、その位置合わせを利用した、広角画像上における狭角画像の配置位置の決定方法、及び、その決定に従った表示用画像の生成方法を説明する。今、説明の明確化上、広角画像及び狭角画像として、図８（ａ）及び（ｂ）の広角画像２１０及び狭角画像２２０に注目する。また、広角画像２１０の撮影時における光学ズーム倍率がＺ_Wであって且つ狭角画像２２０の撮影時における光学ズーム倍率がＺ_Nであったことを想定する。ここで、１≦Ｚ_W＜Ｚ_Nである。光学ズーム倍率がｋ倍になると、フレーム画像上における注目被写体の大きさは水平及び垂直方向の夫々においてｋ倍となる（従って、フレーム画像上における注目被写体の大きさは面積比でｋ²倍となる）。

位置合わせの方法として様々な方法が存在するが、ブロックマッチングを利用した方法を説明する。撮影によって得られた広角画像２１０及び狭角画像２２０の画像サイズ（即ち、水平及び垂直方向における画素数）は互いに同じであるが、位置合わせのために、狭角画像２２０の画像サイズを水平及び垂直方向の夫々において（Ｚ_W／Ｚ_N）に縮小する。この画像サイズの縮小後の狭角画像を位置合わせ用狭角画像と呼び、図９に示す如く、狭角画像２２０についての位置合わせ用狭角画像を符号２２０ａによって参照する。狭角画像から位置合わせ用狭角画像を生成する処理は、公知の解像度変換（例えば、補間を用いた再標本化又は間引き処理）を用いて実現される。例えば、Ｚ_W＝１且つＺ_N＝２であるならば、間引き処理を用いて、狭角画像２２０の画素数は水平及び垂直方向の夫々において１／２に縮小され、結果、面積又は画素数において、位置合わせ用狭角画像２２０ａの画像サイズは狭角画像２２０の画像サイズの１／４となる。

次に、広角画像２１０上に、画像２２０ａの画像サイズと同じ画像サイズを有する探索枠を設定し、探索枠内の画像と画像２２０ａとの類似度を評価する。対比されるべき２つの画像間の類似度を、その２つの画像の画素信号間のＳＳＤ（Sum of Squared Difference）又はＳＡＤ（Sum of Absolute Difference）を利用して評価することができる。ＳＳＤ又はＳＡＤの算出時の画素信号には、一般的に輝度信号が利用される。類似度の評価は、探索枠内の中心位置を水平又は垂直方向に１画素ずつずらしながら順次実行される。そして、最大の類似度が得られた探索枠内の中心位置（ｘ_A，ｙ_A）を求める。

尚、対象動画像内で注目被写体の位置及び大きさを追尾する追尾処理が行われている場合は、その追尾処理の結果を用いて、中心位置（ｘ_A，ｙ_A）を求めるようにしてもよい。但し、その注目被写体が広角画像及び狭角画像の双方に含まれている必要がある。追尾処理によって求められた広角画像２１０及び狭角画像２２０上における注目被写体の各中心位置と、光学ズーム倍率Ｚ_W及びＺ_Nと、に基づいて位置（ｘ_A，ｙ_A）を求めることができる。追尾処理を、例えば画像処理部４４にて行うことができる。

位置（ｘ_A，ｙ_A）は、狭角画像２２０の中心及び画像２２０ａの中心に位置している被写体の画像データが広角画像２１０上において存在している位置を指す。狭角画像２２０又は画像２２０ａの中心位置における被写体を中心被写体と呼んだならば、狭角画像２２０又は画像２２０ａ上における中心被写体の、広角画像２１０上における位置が（ｘ_A，ｙ_A）である。位置（ｘ_A，ｙ_A）によって、広角画像上における狭角画像の配置位置が定まる。位置合わせは、中心位置（ｘ_A，ｙ_A）を導出する処理であると言える。

他方、表示制御部４２は、狭角画像２２０の画像サイズを縮小することによって重畳用狭角画像２２０ｂを生成する（図１０参照）。狭角画像から重畳用狭角画像を生成する処理も、公知の解像度変換（例えば、補間を用いた再標本化又は間引き処理）を用いて実現される。図１０において、重畳用狭角画像２２０ｂ上に示されている点２２１は、狭角画像２２０の中心位置に配置されるべき点と一致する、重畳用狭角画像２２０ｂの中心位置に配置された点である。

表示制御部４２は、点２２１が広角画像２１０上の位置（ｘ_A，ｙ_A）に配置されるように、広角画像２１０上に重畳用狭角画像２２０ｂを配置することで表示用画像２３０（図８（ｃ）参照）を生成する。

より具体的には例えば、図１１に示す如く、広角画像又は表示用画像の全画像領域を、位置（ｘ_A，ｙ_A）を中心とし且つ重畳用狭角画像（本例において、画像２２０ｂ）と同じ画像サイズを有する第１画像領域と、それ以外の画像領域である第２画像領域とに分類する。図１１において、斜線で満たされた領域が第１画像領域に相当し、ドットで満たされた領域が第２画像領域に相当する。そして、広角画像２１０の第２画像領域内における画像と重畳用狭角画像２２０ｂとを張り合わせるようにして合成した画像を、表示用画像２３０として生成する。この場合、表示用画像２３０の第１画像領域内の画像は、重畳用狭角画像２２０ｂそのものとなるが、広角画像２１０の第１画像領域内における画像と重畳用狭角画像２２０ｂとをブレンディング（アルファブレンディング）することによって表示用画像２３０の第１画像領域内の画像を生成するようにしてもよい。

上述の如く、表示用画像の生成に際して、狭角画像の画像サイズが縮小せしめられるため、表示画面２７ａ上における広角画像の表示サイズと狭角画像の表示サイズは異なり、表示画面２７ａ上において広角画像の外形枠内に狭角画像（厳密には重畳用狭角画像）の外形枠が収まる。

重畳用狭角画像２２０ｂの画像サイズを、以下に示す複数の画像サイズ決定方法の何れかにて定めることができる。

第１の画像サイズ決定方法では、重畳用狭角画像２２０ｂの画像サイズを、予め設定した一定サイズにする。この場合、狭角画像２２０から重畳用狭角画像２２０ｂを生成する際の縮小率は、常に一定である。

第２の画像サイズ決定方法では、重畳用狭角画像２２０ｂの画像サイズを、広角画像２１０の撮影時の光学ズーム倍率Ｚ_W、狭角画像２２０の撮影時の光学ズーム倍率Ｚ_N、又は、それらの比（Ｚ_W／Ｚ_N）に基づいて決定する。Ｚ_W、Ｚ_N、又は（Ｚ_W／Ｚ_N）から重畳用狭角画像２２０ｂの画像サイズを定めるためのデータを予め定めておくことができる。

第３の画像サイズ決定方法では、重畳用狭角画像２２０ｂの画像サイズを、特定被写体検出処理にて検出された特定被写体の、画像上における大きさに基づいて決定する。例えば、特定被写体の、表示用画像上における大きさが所定の基準サイズ以上となるように、重畳用狭角画像２２０ｂの画像サイズを決定する。

特定被写体検出処理を、図５の画像処理部４４にて実行することができる。特定被写体検出処理では、入力画像の画像データに基づいて、入力画像上における特定種類の被写体の大きさを検出する。入力画像として、狭角画像２２０又は重畳用狭角画像２２０ｂが利用される。広角画像２１０の第１画像領域内における画像を入力画像として用いることも可能である。

特定種類の被写体とは、典型的には例えば人物又は人物の顔であり、特定種類の被写体が人物の顔である場合、特定被写体検出処理は、いわゆる顔検出処理である。即ち、特定種類の被写体が人物の顔である場合、入力画像に基づいて入力画像上に表れている人物の顔を検出すると共に該顔を表す画像領域である顔領域を入力画像から抽出し、抽出した顔領域の画像サイズが表示用画像２３０上において所定の基準サイズ以上となるように、重畳用狭角画像２２０ｂの画像サイズを決定することができる。

勿論、特定種類の被写体は、人物及び人物の顔以外であっても良い（例えば、車などでも良い）。対象動画像内で特定種類の被写体の位置及び大きさを追尾する追尾処理が行われている場合は、その追尾処理の結果を用いて、重畳用狭角画像２２０ｂの画像サイズを決定しても良い。

従来技術の説明でも述べたように、比較的高い光学ズーム倍率にて撮影を行っている時においては、撮影される画像及び表示部に表示される映像が撮影場面全体のごく一部となるため、ズーム操作を施しながら注目被写体を撮影範囲内に補足し続けることが難しい場合もある。また、ズーム操作中に注目被写体を見失ってしまうと、特に高倍率時において、注目被写体を撮影範囲内に再度収めることが難しくなる。これらの事情に鑑み、第１実施例では、光学ズーム倍率の増大に先立って得られた広角画像を背景として用いて、その広角画像上に光学ズーム倍率増大後に得られる狭角画像（重畳用狭角画像）を重畳表示する。これにより、ユーザは、現在、撮影場面全体のどの部分を撮影しているのかを容易に認識できるようになり、カメラワークによる構図設定が支援されると共に、ズーム操作中及びズーム操作後において注目被写体を確実に捉え続けることが支援される。

尚、図７のフローチャートの説明において、撮像装置１に対してなされたズーム操作が縮小ズーム操作である場合は最新のフレーム画像を単に通常表示すると述べたが（ステップＳ２１参照）、縮小ズーム操作がなされる直前の表示用画像が図８（ｃ）の表示用画像２３０であるときには、広角画像２１０と最新のフレーム画像に基づく表示用画像を表示するようにしても良い。具体的には例えば、その最新のフレーム画像を狭角画像として捉え、広角画像２１０上に該狭角画像の画像サイズを縮小した縮小狭角画像を配置することで表示用画像を生成するようにしてもよい。最新のフレーム画像に基づく縮小狭角画像の、広角画像２１０上の配置位置の決定方法として、上述した重畳用狭角画像のそれを適用することができる。最新のフレーム画像に基づく縮小狭角画像の表示サイズを、上述した表示用画像２３０についてのそれと同じにしてもよいが、その表示サイズを、光学ズーム倍率の減少に従って増大させるようにしてもよい。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は第１実施例の変形例に相当し、第２実施例において特に述べない事項に関しては、矛盾無き限り、第１実施例の記載が第２実施例にも適用される。

説明の明確化上、撮像部１１の撮影によって得られた広角画像そのものを特に原広角画像と呼ぶと共に撮像部１１の撮影によって得られた狭角画像そのものを特に原狭角画像と呼ぶ。図８（ａ）の広角画像２１０は原広角画像であり、図８（ｂ）の狭角画像２２０は原狭角画像である。撮像部１１の撮影によって得られる画像はカラー画像であり、その画像の画像データは輝度情報と色情報を含む。図１２に示す如く、表示制御部４２に内在する表示用画像生成部４５は、特殊表示期間において、原広角画像及び原狭角画像から表示用画像を生成する。

第２実施例では、表示用画像の生成方法や特殊表示期間から通常表示期間への移行タイミングの決定方法などに関する、第１〜第５の表示制御を説明する。第１〜第５の表示制御の何れかを、第１実施例にて説明した動作と組み合わせて実施することが可能である。以下では、第１〜第５の表示制御を個別に説明するが、矛盾無き限り、第１〜第５の表示制御の内の２以上の表示制御を組み合わせて実施することも可能である。各表示制御の説明では、説明の具体化のため、原広角画像及び原狭角画像がそれぞれ広角画像２１０及び狭角画像２２０であることを適宜想定する。

［第１の表示制御］
第１の表示制御を説明する。第１の表示制御は、第１実施例で述べたものと同様の表示制御である。即ち、原狭角画像２２０の画像サイズを縮小することによって重畳用狭角画像２２０ｂを生成し（図１０参照）、原広角画像上２１０上に重畳用狭角画像２２０ｂを配置することで表示用画像２３０を生成する（図８（ｃ）参照）。従って、第１の表示制御における表示用画像の第２画像領域における画像は、原広角画像２１０の第２画像領域における画像そのものであり（図１１参照）、後述の他の表示制御と異なり、表示用画像の背景部分の輝度を減少させるような処理は行われない。表示用画像の背景部分とは、表示用画像の第２画像領域内の画像部分を指す。

そして、特殊表示期間の開始時点から予め定められた一定の保持時間が経過した時点で特殊表示期間を終了させ、以後、最新のフレーム画像（即ち、最新の原狭角画像）の通常表示を行うようにする。

［第２の表示制御］
第２の表示制御を説明する。第２の表示制御では、原広角画像２１０の輝度を低下させる輝度低下処理により、或いは、原広角画像２１０をグレースケール化するグレースケール化処理により、或いは、原広角画像２１０のコントラストを低下させる低コントラスト化処理により、原広角画像２１０から加工広角画像を生成する。そして、その加工広角画像上に重畳用狭角画像２２０ｂを配置することで表示用画像を生成する。加工広角画像上に画像２２０ｂを配置する方法は、原広角画像上２１０上に画像２２０ｂを配置する方法と同じである。

輝度低下処理、グレースケール化処理及び低コントラスト化処理として、それらが担うべき機能を実現する任意の処理を利用可能である。例えば、輝度低下処理では、原広角画像２１０の各画素の輝度を所定量だけ低下させる、或いは、原広角画像２１０の平均輝度が重畳用狭角画像２２０ｂの平均輝度よりも低くなるように原広角画像２１０の各画素の輝度値に１未満の一定値を乗じる。或る画素の輝度値とは、その画素の明るさを示す値であり、その値が増大するにつれて、その画素の明るさは増大する。また例えば、グレースケール化処理では、原広角画像２１０を輝度情報のみを有するグレースケール画像に変換し、該グレースケール画像を加工広角画像として生成する。また例えば、低コントラスト化処理では、画像の平滑化を行うフィルタを用いて原広角画像２１０をフィルタリングすることで原広角画像２１０のコントラストを低下させ、そのフィルタリングの結果画像を加工広角画像として生成する。

尚、輝度低下処理、グレースケール化処理又は低コントラスト化処理を、原広角画像２１０の第２画像領域内の画像に対してのみ実行するようにしても良い。また、輝度低下処理、グレースケール化処理及び低コントラスト化処理の内の、２以上の処理を原広角画像２１０に施すことによって加工広角画像を生成するようにしても良い。

第２の表示制御においても、第１の表示制御と同様、特殊表示期間の開始時点から予め定められた一定の保持時間が経過した時点で特殊表示期間を終了させることができる。特殊表示期間の終了後は、最新のフレーム画像（即ち、最新の原狭角画像）が通常表示される。

特殊表示期間中において、表示用画像の背景部分の画像を一定にしておくこともできるが、時間の経過と共に該画像を変化させることもできる。

例えば、輝度低下処理又は低コントラスト化処理を利用する場合、特殊表示期間の開始時点から時間が経過するに従って、原広角画像２１０から加工広角画像を生成する際の輝度又はコントラストの低下度合いを増大させるようにしてもよい。これにより、時間の経過と共に表示用画像の背景部分が暗くなっていく又は低コントラスト化していく。

また例えば、グレースケール化処理を利用する場合、原広角画像２１０から一気にグレースケール画像を生成するのではなく、特殊表示期間の開始時点から時間が経過するに従って、原広角画像２１０の彩度及び色相を徐々に低下させてゆき、最終的に上記グレースケール画像を加工広角画像として生成するようにする。原広角画像２１０の彩度及び色相を低下させている過程においては、原広角画像２１０の彩度及び色相を低下させることで得た画像を加工広角画像として用いて表示用画像を生成すればよい。

表示用画像２３０（図８（ｃ）参照）が表示されている時において撮影者が注目しているのは、あくまで重畳用狭角画像２２０ｂ内の被写体である。従って、背景部分の画像が目立ちすぎるのは好ましくない。これを考慮し、第２の表示制御は、注目被写体が見やすくなるような表示を提供する。また、特殊表示期間中において表示用画像の背景部分の画像と実際のそれとの間にずれが生じる場合もあり、そのずれは時間の経過と共に増大する傾向がある。これを考慮して、上述の如く時間の経過と共に背景部分を徐々に暗くしていく等の処理を行うようにしてもよい。

［第３の表示制御］
第３の表示制御を説明する。第３の表示制御では、特殊表示期間中において、時間の経過と共に、重畳用狭角画像の表示サイズを徐々に増大させる。

即ち例えば、原狭角画像の画像サイズを縮小することで重畳用狭角画像を生成する際における画像サイズの縮小度合いを、特殊表示期間中の開始時点からの経過時間が増大するにつれて、徐々に減少させてゆく。該縮小度合いが減少すれば、重畳用狭角画像の画像サイズ（換言すれば、重畳用狭角画像の表示サイズ）が増大する。そして、特殊表示期間の開始時点から予め定められた一定の保持時間が経過した時点で特殊表示期間を終了させ、以後、最新のフレーム画像（即ち、最新の原狭角画像）の通常表示を行うようにする。

第２の制御方法においても述べたように、特殊表示期間中において表示用画像の背景部分の画像と実際のそれとの間にずれが生じる場合もあり、そのずれは時間の経過と共に増大する傾向がある。ずれの大きい画像を大きな表示領域を用いて長時間表示しておくことは、好ましいことではない。第３の表示制御は、このような事情に対応する。

［第４の表示制御］
第４の表示制御を説明する。図７のステップＳ１５において広角画像及び狭角画像間の位置合わせを行うことを述べたが、第４の表示制御では、その位置合わせの信頼度を利用する。

位置合わせの信頼度は、実行した位置合わせの確からしさを表す。第１実施例にて述べたようにブロックマッチングを利用して位置合わせを行う場合においては、例えば、ブロックマッチングの実行時に算出される上記類似度から位置合わせの信頼度を求めることができる。より具体的には例えば、位置（ｘ_A，ｙ_A）に対応するＳＳＤ又はＳＡＤの大きさが小さいほど求められる位置合わせの信頼度が高くなるように、逆に、その大きさが大きいほど求められる位置合わせの信頼度が低くなるように、位置合わせの信頼度を求めることができる。

また、広角画像及び狭角画像間の位置合わせを行うことは、広角画像及び狭角画像の中心間の位置ずれを表す動きベクトルを求めることと実質的に等価であり、該動きベクトルが求まれば該位置合わせができる。これに鑑みれば、広角画像及び狭角画像間の位置ずれを表す動きベクトルの信頼度を、公知の方法（例えば、特開２００８−６０９２７号公報に記載された方法）を利用して求め、その動きベクトルの信頼度を位置合わせの信頼度として用いるようにしても良い。また、上述の追尾処理を利用して位置合わせを行う場合においては、その追尾処理の信頼度が位置合わせの信頼度となる。

上述の位置合わせの信頼度に応じて、以下のような表示制御を行うことができる。

例えば、位置合わせの信頼度に応じて、特殊表示期間中における表示用画像の背景部分の輝度又はコントラストを変更することができる。即ち例えば、位置合わせの信頼度が低いほど、特殊表示期間中における表示用画像の背景部分の輝度又はコントラストが低下するように、上述の輝度低下処理又は低コントラスト化処理を実行するようにしてもよい。位置合わせの信頼度が比較的低い場合、位置合わせ結果に基づく表示用画像が望ましい表示用画像でない可能性が比較的高いため、背景部分の輝度又はコントラストの低下度合いを大きくして、真に注目すべき重畳用狭角画像を目立たせる。

また例えば、位置合わせの信頼度に応じて、重畳用狭角画像の画像サイズ（換言すれば、重畳用狭角画像の表示サイズ）を変更するようにしても良い。即ち例えば、位置合わせの信頼度が低いほど、重畳用狭角画像の画像サイズを大きくするようにしても良い。これにより、位置合わせの信頼度が低いほど、表示用画像中における重畳用狭角画像の占有面積が大きくなって、表示されるべき表示用画像が原狭角画像に近づく（表示されるべき表示用画像が通常表示におけるそれと近くなる）。このように、位置合わせの信頼度が比較的低い場合、位置合わせ結果に基づく表示用画像が望ましい表示用画像でない可能性が比較的高いため、表示されるべき表示用画像を通常表示におけるそれに近づける。

また例えば、位置合わせの信頼度の高低を撮影者に知らせるべく、位置合わせの信頼度に応じて、重畳用狭角画像の境界枠２３１の色を変更するようにしても良い（図８（ｃ）参照）。

また例えば、位置合わせの信頼度に応じて、特殊表示期間の長さ（即ち、上記保持時間の長さ）を変更するようにしても良い。即ち例えば、位置合わせの信頼度が低いほど、特殊表示期間の長さを短くするようにしても良い。位置合わせの信頼度が比較的低い場合、位置合わせ結果に基づく表示用画像が望ましい表示用画像でない可能性が比較的高いため、特殊表示期間の長さを短くして早めに通常表示に戻す。

また例えば、位置合わせの信頼度が所定の下限信頼度よりも低い場合には、特殊表示期間の長さをゼロにするようにしても良い。即ち、位置合わせの信頼度が所定の下限信頼度よりも低い場合には、拡大ズーム操作があったとしても広角画像及び狭角画像に基づく表示用画像の表示を行うことなく、順次得られる最新のフレーム画像を通常表示するようにしても良い。

［第５の表示制御］
第５の表示制御を説明する。光学ズーム倍率が比較的高い場合においては、撮像装置１に作用する手ぶれによって引き起こされる画像のぶれが比較的大きくなる。画像のぶれが大きくなると、位置合わせの信頼度が低下しやすくなる。

これを考慮し、ユーザの拡大ズーム操作によって指定される光学ズーム倍率が所定の上限倍率よりも大きい場合には、第４の表示制御において述べたのと同様、特殊表示期間の長さをゼロにするようにしても良い。また、その場合には、手ぶれによる画像ぶれが相当程度に大きくなることをユーザに警告するようにしても良い。また、その場合には、ユーザの拡大ズーム操作の内容に拠らず、実際の拡大ズーム倍率の増大を上記上限倍率までに制限するようにしても良い。

＜＜第３実施例＞＞
第３実施例を説明する。第１及び第２実施例では、広角画像２１０及び狭角画像２２０に基づいて位置（ｘ_A，ｙ_A）が決定されているが、撮像装置１の筐体の動きを検出する動きセンサ（不図示）を用いて位置（ｘ_A，ｙ_A）を決定することも可能である。

動きセンサは、例えば、撮像装置１の筐体の角速度を検出する角速度センサ、又は、撮像装置１の筐体の加速度を検出する加速度センサであり、所謂手ぶれを検出するためのセンサとしても利用される。或る注目期間中における動きセンサの検出結果と注目期間における光学ズーム倍率の変化の状態から、実空間上における任意の静止点についての点像が注目期間において撮像素子３３上でどのような軌跡を描くかを導出することができる。広角画像２１０の撮影時点と狭角画像２２０の撮影時点との間の期間（より具体的には例えば、広角画像２１０の露光期間の中間時点と狭角画像２２０の露光期間の中間時点との間の期間）を上記注目期間と捉えれば、上記軌跡の導出結果から位置（ｘ_A，ｙ_A）を決定することができる。

＜＜第４実施例＞＞
第４実施例を説明する。第４実施例は第１実施例の変形例に相当し、第４実施例において特に述べない事項に関しては、矛盾無き限り、第１実施例の記載が第４実施例にも適用される。

第１実施例では、広角画像及び狭角画像間の位置合わせ結果から表示用画像上における重畳用狭角画像の配置位置を決定しているが、第４実施例では、広角画像及び狭角画像間の位置合わせ結果に依存せず、広角画像の全画像領域の中から特徴の少ない一部画像領域を探索することで該配置位置を決定する。この決定を、図５の表示制御部４２又は画像処理部４４にて行うことができる。

具体的な上記配置位置の決定方法を説明する。図５の画像処理部４４は、広角画像２１０上に重畳用狭角画像２２０ｂと同じ画像サイズを有する評価ブロックを設定し、広角画像２１０の一部画像である評価ブロック内の画像（以下、評価画像という）に基づいて、評価画像の特徴の大きさを表す特徴評価値を導出する。

例えば、評価ブロックの各画素に対してエッジ抽出フィルタを用いた空間フィルタリングを施すことで評価ブロックの各画素の位置における画素信号の勾配を求め、求めた勾配の大きさの総和を特徴評価値として導出する。画素信号の勾配とは、例えば、評価ブロックの水平及び垂直方向における輝度信号の勾配であり、それを水平及び垂直方向におけるエッジ強度と言い換えることもできる。或いは例えば、評価ブロック内の各画素の輝度値における標準偏差を特徴評価値として導出するようにしてもよい。

このようにして求められた特徴評価値は、評価画像に含まれる特徴の大きさを表し、評価画像内にエッジが多く含まれて評価画像の特徴の大きさが増大すればするほど、対応する特徴評価値は増大し、逆に、評価画像内に含まれるエッジが少なく評価画像の特徴の大きさが減少すればするほど、対応する特徴評価値は減少する。

画像処理部４４は、評価ブロックの中心位置を広角画像２１０上で水平又は垂直方向に１画素ずつ移動させながら、移動の度に特徴評価値を導出する。これにより、中心位置が互いに異なるｍ個の評価画像についてのｍ個の特徴評価値が求まる（ｍは２以上の整数）。ｍ個の特徴評価値が第１〜第ｍの特徴評価値から成るものとし、ｍ個の評価画像の内、第ｉの特徴評価値に対応する評価画像を、第ｉの評価画像と呼ぶ（ｉは、１以上ｍ以下の整数）。また、広角画像２１０上における第ｉの評価画像の中心位置を（ｘ_i，ｙ_i）にて表す。

表示制御部４２は、第１〜第ｍの特徴評価値の内、比較的小さな特徴評価値に対応する評価画像の中心位置を位置（ｘ_B，ｙ_B）に設定する。表示制御部４２は、重畳用狭角画像２２０ｂの中心位置に配置された点２２１が（図１０参照）広角画像２１０及び表示用画像上の位置（ｘ_B，ｙ_B）に配置されるように、広角画像２１０上に重畳用狭角画像２２０ｂを配置することで表示用画像を生成する。

図１３に、図１０の広角画像２１０及び狭角画像２２０に基づいて生成される、第４実施例に係る表示用画像３００を示す。表示用画像３００は、広角画像２１０が背景となるように、広角画像２１０上に重畳用狭角画像２２０ｂを配置することで生成される。表示用画像３００上には、重畳用狭角画像２２０ｂの外形を表す境界枠３０１も示される。

より具体的には例えば、図１４に示す如く、広角画像又は表示用画像の全画像領域を、位置（ｘ_B，ｙ_B）を中心とし且つ重畳用狭角画像（本例において、画像２２０ｂ）と同じ画像サイズを有する第３画像領域と、それ以外の画像領域である第４画像領域とに分類する。図１４において、斜線で満たされた領域が第３画像領域に相当し、ドットで満たされた領域が第４画像領域に相当する。そして、広角画像２１０の第４画像領域内における画像と重畳用狭角画像２２０ｂとを張り合わせるようにして合成した画像を、表示用画像３００として生成する。この場合、表示用画像３００の第３画像領域内の画像は、重畳用狭角画像２２０ｂそのものとなるが、広角画像２１０の第３画像領域内における画像と重畳用狭角画像２２０ｂとをブレンディング（アルファブレンディング）することによって表示用画像３００の第３画像領域内の画像を生成するようにしてもよい。

位置（ｘ_B，ｙ_B）の設定方法について説明を加える。単純には例えば、第１〜第ｍの特徴評価値の内、最小の特徴評価値を特定し、その最小の特徴評価値に対応する評価画像の中心位置を位置（ｘ_B，ｙ_B）に設定することができる。即ち、仮に、最小の特徴評価値が第３の特徴評価値であるならば、第３の評価画像の中心位置（ｘ₃，ｙ₃）を位置（ｘ_B，ｙ_B）に設定することができる。

この位置（ｘ_B，ｙ_B）の設定方法を基本としつつ、更に、顔検出処理の結果などを考慮しても良い。例えば、第１〜第ｍの特徴評価値の内、最小の特徴評価値が第３の特徴評価値であり、２番目に小さい特徴評価値が第４の特徴評価値であった場合を考える。そして、広角画像２１０に対する顔検出処理の結果から、第３の評価画像には顔領域が含まれている一方で第４の評価画像には顔領域が含まれていないことが分かったとする。このような場合は、人物の顔を表示用画像に含めることを優先し、第４の評価画像の中心位置（ｘ₄，ｙ₄）を位置（ｘ_B，ｙ_B）に設定するようにしてもよい。

第４実施例によっても、第１実施例にて実現される効果と同様の効果が得られる。

＜＜第５実施例＞＞
第５実施例を説明する。第４実施例では、広角画像の特徴の少ない部分に狭角画像を縮小表示しているが、第５実施例では、この逆の表示処理を行う。

広角画像及び狭角画像が、図８（ａ）及び（ｂ）並びに図１５に示される広角画像２１０及び狭角画像２２０であることを想定して、第５実施例に係る、特殊表示期間中の表示用画像の生成方法を説明する。この場合、狭角画像２２０が得られた直後において、広角画像２１０及び狭角画像２２０に基づき、図１５に示すような表示用画像３１０が生成及び表示される。表示用画像３１０は、広角画像２１０の画像サイズを縮小することで得た重畳用広角画像２１０ｂを狭角画像２２０上に配置することで生成される。

第１実施例において、重畳用狭角画像２２０ｂの画像サイズの決定方法を説明したが、その方法を、重畳用広角画像２１０ｂの画像サイズの決定方法に適用することができる。この適用を考える場合、重畳用狭角画像２２０ｂの画像サイズの決定方法の説明文中における重畳用狭角画像２２０ｂを、重畳用広角画像２１０ｂに読み替えればよい。

狭角画像２２０及び表示用画像３１０上における重畳用広角画像２１０ｂの配置位置を、第４実施例で述べた方法と同様の方法にて決定することができる。即ち、狭角画像２２０上に重畳用広角画像２１０ｂと同じ画像サイズを有する評価ブロックを設定し、狭角画像２２０の一部画像である評価ブロック内の画像に基づいて、評価画像の特徴の大きさを表す特徴評価値を導出する。第５実施例にて述べる評価画像は、狭角画像２２０に設定された評価ブロック内の画像を指す。特徴評価値の導出方法は、第４実施例で述べたものと同様である。

画像処理部４４は、評価ブロックの中心位置を狭角画像２２０上で水平又は垂直方向に１画素ずつ移動させながら、移動の度に特徴評価値を導出し、得られた第１〜第ｍの特徴評価値の内、比較的小さな特徴評価値に対応する評価画像の中心位置を位置（ｘ_C，ｙ_C）に設定する（ｍは２以上の整数）。表示制御部４２は、重畳用広角画像２１０ｂの中心位置に配置された点が狭角画像２２０及び表示用画像３１０上の位置（ｘ_C，ｙ_C）に配置されるように、狭角画像２２０上に重畳用広角画像２１０ｂを配置することで表示用画像３１０を生成する。表示用画像３１０は、狭角画像２２０が背景となるように、狭角画像２２０上に重畳用広角画像２１０ｂを配置することで生成される。表示用画像３１０上には、重畳用広角画像２１０ｂの外形を表す境界枠３１１も示される。

より具体的には例えば、図１６に示す如く、狭角画像又は表示用画像の全画像領域を、位置（ｘ_C，ｙ_C）を中心とし且つ重畳用広角画像（本例において、画像２１０ｂ）と同じ画像サイズを有する第５画像領域と、それ以外の画像領域である第６画像領域とに分類する。図１６において、斜線で満たされた領域が第５画像領域に相当し、ドットで満たされた領域が第６画像領域に相当する。そして、狭角画像２２０の第６画像領域内における画像と重畳用広角画像２１０ｂとを張り合わせるようにして合成した画像を、表示用画像３１０として生成する。この場合、表示用画像３１０の第５画像領域内の画像は、重畳用広角画像２１０ｂそのものとなるが、狭角画像２２０の第５画像領域内における画像と重畳用広角画像２１０ｂとをブレンディング（アルファブレンディング）することによって表示用画像３１０の第５画像領域内の画像を生成するようにしてもよい。

位置（ｘ_C，ｙ_C）の設定方法は、第４実施例で述べた位置（ｘ_B，ｙ_B）の設定方法と同様である。即ち、単純には例えば、第１〜第ｍの特徴評価値の内、最小の特徴評価値を特定し、その最小の特徴評価値に対応する評価画像の中心位置を位置（ｘ_C，ｙ_C）に設定することができる。

この位置（ｘ_C，ｙ_C）の設定方法を基本としつつ、更に、顔検出処理の結果などを考慮しても良い。例えば、第１〜第ｍの特徴評価値の内、最小の特徴評価値が第３の特徴評価値であり、２番目に小さい特徴評価値が第４の特徴評価値であった場合を考える。そして、狭角画像２２０に対する顔検出処理の結果から、第３の評価画像には顔領域が含まれている一方で第４の評価画像には顔領域が含まれていないことが分かったとする。このような場合は、人物の顔を表示用画像に含めることを優先し、第４の特徴評価値に対応する第４の評価画像の中心位置（ｘ₄，ｙ₄）を位置（ｘ_C，ｙ_C）に設定するようにしてもよい。

第５実施例によれば、過去に撮影した広角画像と現在の注目被写体を表す狭角画像を同時に表示画面上２７ａ上で確認することができるため、カメラワークによる構図設定が支援され、第１実施例にてもたらされる効果と同様の効果を得ることができる。

＜＜第６実施例＞＞
第６実施例を説明する。第１実施例では、特殊表示期間中において、広角画像上に重畳用狭角画像を配置することで表示用画像を生成しているが、第６実施例では、広角画像上に狭角画像の撮影範囲を表す指標を重畳することで表示用画像を生成する。より具体的に説明する。

図１７は、対象動画像の撮影中における表示動作に特に注目した、第６実施例に係る撮像装置１の動作のフローチャートである。図１７のフローチャートは、図７のフローチャートにおけるステップＳ１６をステップＳ３０に置き換えたものであり、その他の点において、両フローチャートは同じである。

従って、対象動画像の撮影開始後、縮小ズーム操作があった場合は、ステップＳ１１及びＳ１２を介してステップＳ２０に移行してステップＳ２０及びＳ２１の処理が実行され、その後にステップＳ１８の処理が実行される一方、拡大ズーム操作があった場合は、ステップＳ１１及びＳ１２を介してステップＳ１３に移行してステップＳ１３、Ｓ１４、Ｓ１５、Ｓ３０及びＳ１７の処理が実行され、その後に、ステップＳ１８の処理が実行される。ステップＳ１１〜Ｓ１５、Ｓ１７、Ｓ１８、Ｓ２０及びＳ２１の処理の内容は、第１実施例にて述べたものと同じであるため、重複する説明を割愛する。

ステップＳ１５における位置合わせによって、狭角画像２２０の中心に位置している被写体の画像データが広角画像２１０上において存在している位置（ｘ_A，ｙ_A）が定まる。第１実施例でも述べたように、狭角画像２２０の中心位置における被写体を中心被写体と呼んだならば、狭角画像２２０上における中心被写体の、広角画像２１０上における位置が（ｘ_A，ｙ_A）である。

ステップＳ３０において、表示制御部４２は、広角画像２１０上の位置（ｘ_A，ｙ_A）を中心とする矩形枠であって、位置合わせ用狭角画像２２０ａ（図９参照）の画像サイズと同じ画像サイズを有する矩形枠を、広角画像２１０上に設定する。この矩形枠は、狭角画像２２０の撮影範囲の外形を表しており、その矩形枠を、狭角画像の撮影範囲枠と呼ぶ。狭角画像２２０の撮影範囲枠は、図８（ｃ）における境界枠２３１と同じものである。

図１８に、広角画像２１０及び狭角画像２２０に基づき、ステップＳ３０において生成される表示用画像３３０を示す。表示用画像３３０は、広角画像２１０上に狭角画像２２０の撮影範囲枠３３１を重畳したものである。

ステップＳ３０にて生成された表示用画像３３０は表示画面２７ａ上に表示される。広角画像及び狭角画像に基づく表示用画像が表示される期間が、上記の特殊表示期間に相当する。表示用画像３３０の生成及び表示の後、ステップＳ１７に移行し、特殊表示期間を終了すべきと判断された場合はステップＳ１８に移行するが、そうでない場合はステップＳ１５に戻ってステップＳ１５及びＳ３０の処理が繰り返し実行される。ステップＳ１５及びＳ３０の処理が繰り返し実行される過程において、表示される画像は静止画像であるが、狭角画像の撮影範囲枠は表示画面２７ａ上で移動しうる。

第６実施例によれば、撮影場面全体の様子を確認しながら現在の撮影範囲を確認することができ、第１実施例にてもたらされる効果と同様の効果を得ることができる。即ち、ユーザは、現在、撮影場面全体のどの部分を撮影しているのかを容易に認識できるようになり、カメラワークによる構図設定が支援されると共に、ズーム操作中及びズーム操作後において注目被写体を確実に捉え続けることが支援される。

＜＜第７実施例＞＞
第７実施例を説明する。

第１又は第２実施例で述べたような広角画像２１０及び狭角画像２２０から表示用画像２３０（図８（ｃ）参照）を生成して表示する第１特殊表示モードと、
第４実施例で述べたような広角画像２１０及び狭角画像２２０から表示用画像３００（図１３参照）を生成して表示する第２特殊表示モードと、
第５実施例で述べたような広角画像２１０及び狭角画像２２０から表示用画像３１０（図１５参照）を生成して表示する第３特殊表示モードと、
第６実施例で述べたような広角画像２１０及び狭角画像２２０から表示用画像３３０（図１８参照）を生成して表示する第４特殊表示モードと、
ズーム操作の有無及び内容に関わらず、順次得られる最新のフレーム画像を単に通常表示する通常表示モードと、
を含む複数の表示モードの内の、任意の２以上の表示モードによる表示が撮像装置１にて実現可能なように撮像装置１を形成しておき、何れの表示モードにて実際の表示を行うかをユーザが選択できるようにしておくと良い。

また、上述したように、第１又は第４特殊表示モードでは表示用画像の生成に位置合わせが必要となるが、位置合わせの信頼度が低い場合には、第１又は第４特殊表示モードにおける表示用画像が本来意図していた画像と相違することもある。これを考慮し、第１又は第４特殊表示モードによる表示が実現可能なように撮像装置１が形成されている場合において、位置合わせの信頼度が所定の基準信頼度よりも低いときには、第１又は第４特殊表示モードと異なる表示モード（即ち、通常表示モード、又は、第２若しくは第３特殊表示モード）にて表示が行われるように、表示制御部４２が、自動的に表示モードの切り替えを行うようにしても良い。

また、上述したように、第２特殊表示モードでは広角画像上の特徴の少ない部分に狭角画像が縮小表示され、第３特殊表示モードでは狭角画像上の特徴の少ない部分に広角画像が縮小表示されるが、特徴の少ない部分が存在しない場合には、第２又は第３特殊表示モードによる表示が有益にならないこともある。これを考慮し、第１又は第４特殊表示モードによる表示が実現可能なように撮像装置１が形成されている場合において、算出されたｍ個の特徴評価値の内の最小値が所定の基準値よりも大きい場合には、特徴の少ない部分が存在しないと判断して、第２又は第３特殊表示モードと異なる表示モード（即ち、通常表示モード、又は、第１若しくは第４特殊表示モード）にて表示が行われるように、表示制御部４２が、自動的に表示モードの切り替えを行うようにしても良い。

＜＜第８実施例＞＞
第８実施例を説明する。第１〜第６実施例で述べた、ズームレンズ３０の移動が行われる前に撮影される静止画像としての広角画像を、第８実施例では関連静止画像と呼ぶ。また、第８実施例における対象動画像は、動画像の撮影中に１又は複数の関連静止画像の撮影がなされた動画像を指すものとする。但し、第８実施例では、そのような対象動画像をも、単に動画像と呼ぶこともある。

第１〜第６実施例にて説明した対象動画像の撮影時において、図５の記録制御部４３は、対象動画像の画像データを外部メモリ１８に記録させる一方で、関連静止画像の画像データをも外部メモリ１８に記録させることができる。関連静止画像の画像データの記録を、例えば、図７又は図１７のステップＳ１３の処理の段階にて実行することができる。但し、この際、関連静止画像の画像データは対象動画像の画像データに関連付けられた上で外部メモリ１８に記録される。

具体的には例えば、記録制御部４３は、外部メモリ１８内に、図１９に示すような本体領域とヘッダ領域から成る画像ファイルを作成し、この画像ファイルの本体領域に対象動画像の画像データを格納する一方で、この画像ファイルのヘッダ領域に関連静止画像の画像データを含む付加データを格納する。但し、付加データに格納される関連静止画像の画像データは、関連静止画像のサムネイルの画像データである。関連静止画像のサムネイルは、関連静止画像の画像サイズを縮小することで得た画像である。一つの画像ファイルの本体領域とヘッダ領域は互いに関連付けられた記録領域であるため、この格納によって対象動画像と関連静止画像は互いに関連付けられる。また、上記付加データには、関連静止画像の撮影時刻を表す関連時刻データ、及び、対象動画像のサムネイルの画像データも含まれる。

図５の表示制御部４２は、再生モードにおいて、外部メモリ１８に記録された静止画像又は動画像を表示部２７上に再生表示する再生制御部を有する（或いは再生制御部として機能する）。今、外部メモリ１８に、対象動画像を含む複数の動画像が記録されているものとする。

表示制御部４２は、再生モードにおいて、複数の静止画像又は動画像についての複数のサムネイルを表示画面２７ａ上に同時に表示するサムネイル再生と、１つの指定された静止画像又は動画像を表示画面２７ａの全体を使って表示する通常再生と、を選択的に実行することができる。ユーザは、操作部２６に対して所定の操作を施すことで、サムネイル再生又は通常再生を実行させることができる。

図２０に、サムネイル再生において表示画面２７ａに表示される表示用画像４００を示す。表示用画像４００は、４つの画像領域に分割されており、この分割によって得られた各画像領域に１つのサムネイルが描画される。図２０に示す如く、表示用画像４００には、サムネイル４０１〜４０４が含まれているものとする。１つの表示用画像に、静止画像についてのサムネイルと動画像についてのサムネイルが混在していても良いし、そのような混在が起こらないようにしても良いが、今、サムネイル４０１〜４０４が全て動画像についてのサムネイルであることを想定する。更に、サムネイル４０１に対応する動画像が２枚の関連静止画像が関連付けられた対象動画像であるとする。

表示用画像４００に表示されている何れかのサムネイルを指定する第１指定操作がユーザによりなされた場合、表示制御部４２は、第１指定操作によって指定されたサムネイルに対応する動画像を、その動画像の撮影期間の最初から通常再生する。第１指定操作は、例えば操作部２６に対して成される（後述の第２指定操作も同様）。

ユーザは、第１指定操作と異なる第２指定操作を成すこともできる。例えば、表示用画像４００が表示されている状態において、ユーザがサムネイル４０１を第２指定操作によって指定した場合、表示制御部４２は、表示画面２７ａ上に図２１に示すような表示用画像４１０を表示する。表示用画像４１０には、２つのサムネイル４１１及び４１２が描画される。サムネイル４１１及び４１２は、サムネイル４０１に対応する動画像に関連付けられた関連静止画像のサムネイルであり、それらは、サムネイル４０１に対応する動画像についての画像ファイルのヘッダ領域から抽出される。以下、サムネイル４０１に対応する動画像を符号ＭＶ₄₀₁によって参照すると共に、動画像ＭＶ₄₀₁を格納した画像ファイルを符号ＦＬ₄₀₁によって参照する。

第２指定操作が成された時に表示される表示用画像は、４つの画像領域に分割されており、この分割によって得られた各画像領域に１つのサムネイルを描画することができるが、動画像ＭＶ₄₀₁の関連静止画像の枚数は２枚であるため、その２枚の関連静止画像のサムネイルのみが表示用画像４１０上に描画される。

表示用画像４１０が表示されている状態において、ユーザは、ダイジェスト再生操作を撮像装置１に対して成すことが可能である。ダイジェスト再生操作は、操作部２６等を用いて、表示用画像４１０上のサムネイル４１１又は４１２を指定することにより成される。

ダイジェスト再生操作によってサムネイル４１１が指定された場合、再生表示部４２は、画像ファイルＦＬ₄₀₁内の関連時刻データに基づき、動画像ＭＶ₄₀₁の全撮影期間の一部である第１ダイジェスト再生期間を定め、第１ダイジェスト再生期間中だけ動画像ＭＶ₄₀₁を表示画面２７ａ上で再生（例えば、通常再生）する。即ち、動画像ＭＶ₄₀₁を形成する全フレーム画像の内、第１ダイジェスト再生期間に属するフレーム画像だけを抽出し、抽出したフレーム画像から成る動画像を表示画面２７ａ上で再生する。同様に、ダイジェスト再生操作によってサムネイル４１２が指定された場合、再生表示部４２は、画像ファイルＦＬ₄₀₁内の関連時刻データに基づき、動画像ＭＶ₄₀₁の全撮影期間の一部である第２ダイジェスト再生期間を定め、第２ダイジェスト再生期間中だけ動画像ＭＶ₄₀₁を表示画面２７ａ上で再生（例えば、通常再生）する。

第１ダイジェスト再生期間は、サムネイル４１１に対応する関連静止画像の撮影時刻ｔ₄₁₁を基準とする期間であり、例えば、時刻ｔ₄₁₁よりもＴ_A秒前の時刻を始期とし且つ時刻ｔ₄₁₁からＴ_B秒が経過した時刻を終期とする期間である。第２ダイジェスト再生期間は、サムネイル４１２に対応する関連静止画像の撮影時刻ｔ₄₁₂を基準とする期間であり、例えば、時刻ｔ₄₁₂よりもＴ_A秒前の時刻を始期とし且つ時刻ｔ₄₁₂からＴ_B秒が経過した時刻を終期とする期間である。Ｔ_A及びＴ_Bを、予め定めた正の数（例えば、５程度）とすることができる。

外部メモリ１８には多数の動画像が記録されていることが多く、多数の動画像の中から所望の動画像を探し出すことが困難なことがある。一方において、撮影者は、通常、或る特定の被写体に注目してズーム操作を行うため、ズーム操作を行った時刻前後においては、特徴的なシーンが撮影されていることが多い。これを考慮し、上述のようなダイジェスト再生操作による再生を可能にしておく。このダイジェスト再生操作により動画像中の特徴的なシーンのみが抽出して再生されるため、ユーザは、外部メモリ１８に記録された多数の動画像の中から、所望の動画像を短時間で見つけることが可能となる。

尚、複数の動画像についてのサムネイルが表示されている時において、各動画像に関連付けられた関連静止画像の枚数を、対応するサムネイルの上又は近辺に表示するようにしてよい。例えば、図２０の表示用画像４００が表示されている時、サムネイル４０１の端部やサムネイル４０１の横に、動画像ＭＶ₄₀₁に関連付けられた関連静止画像の枚数である「２」を表示するようにしても良い。サムネイル４０２〜４０４についても同様である。

また、複数の動画像についてのサムネイルが表示されている時において、１又は複数の関連静止画像が関連付けられている動画像のサムネイルの枠の色と、そうでない動画像のサムネイルの枠の色とを、異ならせるようにしてもよい。即ち、サムネイル４０１〜４０４を含む表示用画像４００が表示される時においては、各サムネイルの外周を取り囲む枠が表示されるが、仮に例えば、サムネイル４０１及び４０３に対応する動画像には関連静止画像が関連付けられている一方でサムネイル４０２及び４０４に対応する動画像には関連静止画像が関連付けられていない場合、表示用画像４００においてサムネイル４０１及び４０３の外周を取り囲む枠の色とサムネイル４０２及び４０４のそれとを異ならせるようにしてもよい。これにより、ユーザは、容易に関連静止画像の存否を確認することができる。枠の色の変更以外の方法によって、関連静止画像の存否をユーザに知らしめることも可能である。

また、図２０及び図２１の表示用画像４００及び４１０の表示形式は似通っている。このため、表示用画像４００又は４１０が表示されている時、ユーザは、その表示用画像が、複数の動画像についてのサムネイルを表示している画像であるのか、或いは、関連静止画像のサムネイルを表示している画像であるのかを判別しにくくなることもある。これを考慮し、前者と後者が容易に判別できるように、表示用画像４００及び４１０間で、サムネイルの枠の色を異ならせたり、サムネイルが表示されている部分以外の表示領域の色を異ならせたりするようにしても良い。

また上述の説明では、関連静止画像のサムネイルの画像データを動画像の画像ファイルのヘッダ領域に格納しているが、関連静止画像のサムネイルの画像データ（又は関連静止画像そのものの画像データ）を、動画像の画像ファイルと異なる、静止画像用の画像ファイルに格納するようにしても良い。この静止画像用の画像ファイルは、例えば、図７又は図１７のステップＳ１３の処理実行時に外部メモリ１８内に作成され、記録制御部４３は、該静止画像用の画像ファイルの本体領域に関連静止画像のサムネイルの画像データ（又は関連静止画像そのものの画像データ）を格納する。一方で、該静止画像用の画像ファイルを指し示すリンク情報（例えば、該静止画像用の画像ファイルのファイル番号）を、関連静止画像が関連付けられるべき対象動画像の画像ファイルのヘッダ領域に書き込む。これにより、所望の関連付け記録が実現される。

また上述の説明では、同時に表示されるサムネイルの最大数が４となっているが、その最大数は４以外であっても良い。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

［注釈２］
例えば、以下のように考えることができる。図５の画像処理部４４を、位置検出部として機能させることも可能であるし、特徴量検出部として機能させることも可能である。位置検出部は、狭角画像上における被写体の、広角画像上における位置を検出することができる。特徴量検出部は、広角画像又は狭角画像内に評価ブロックを設定して評価画像を抽出し、評価画像の特徴の大きさを検出することができる。

１撮像装置
１１撮像部
１８外部メモリ
２７表示部
３０ズームレンズ
３１フォーカスレンズ
３３撮像素子
４１撮影制御部
４２表示制御部
４３記録制御部
４４画像処理部

Claims

静止画像又は動画像を撮影する撮像部と、
表示部と、
撮影によって得られた第１画角を有する第１画像と、前記第１画像と異なる時刻の撮影によって得られた第２画角を有する第２画像とを、前記第２画像を含んで形成される対象動画像の撮影中において同時に前記表示部に表示させる表示制御部と、を備え、
前記第１及び第２画角は互いに異なる
ことを特徴とする撮像装置。
前記表示制御部は、前記表示部の表示画面上において前記第１画像の表示サイズと前記第２画像の表示サイズを異ならせ、前記第１画像上に前記第２画像を配置した表示用画像を、前記対象動画像の撮影中において前記表示部に表示させる
ことを特徴とする請求項１に記載の撮像装置。
前記第２画像上における被写体の、前記第１画像上における位置を検出する位置検出部を更に備え、
前記表示制御部は、前記位置検出部の検出結果に基づいて、前記第１画像上における前記第２画像の配置位置を決定する
ことを特徴とする請求項２に記載の撮像装置。
前記第１画像は前記第２画像よりも前に撮影され、且つ、前記第１画角は前記第２画角よりも広く、
当該撮像装置は、撮影画角を前記第１画角から前記第２画角に向かって減少させる操作を受けたとき、前記撮影画角の減少に先立って前記第１画像を撮影し、その後、実際に前記撮影画角を前記第１画角から前記第２画角へ減少させて前記第２画像を撮影する
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
静止画像又は動画像を撮影する撮像部と、
表示部と、
対象動画像の撮影中において撮影画角を第１画角から前記第１画角よりも狭い第２画角へと減少させる操作を受けたとき、前記撮影画角の減少に先立って前記第１画角を有する第１画像を前記撮像部に撮影させ、その後、実際に前記撮影画角を前記第１画角から前記第２画角へ減少させる撮影制御部と、
前記第２画角にて撮影された第２画像上における被写体の、前記第１画像上における位置を検出する位置検出部と、
前記対象動画像の撮影中において、前記第２画像が撮影された後、前記第２画像の撮影範囲を表す指標を前記第１画像上に重畳して表示する表示制御部と、を備えた
ことを特徴とする撮像装置。
静止画像としての前記第１画像と前記対象動画像とを互いに関連付けて記録媒体に記録する記録制御部を更に備え、
前記表示制御部は、前記記録媒体に記録された動画像又は静止画像を前記表示部に再生させる再生制御部を有し、
前記再生制御部は、前記第１画像を指定する所定操作を受けたとき、前記対象動画像の全撮影期間の内の、前記第１画像の撮影時刻を基準とする所定期間内の動画像を前記表示部に再生させる
ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。