JP2013034081A - 画像処理装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザ好みのパノラマ画像の撮像範囲を容易に決定する。
【解決手段】画像処理装置は、操作受付部および制御部を備える。操作受付部は、時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後のパノラマ画像における基準位置を決定する決定操作をパノラマ画像の撮像動作開始前に受け付ける。制御部は、その決定された基準位置に基づいて、被写体におけるパノラマ画像の撮像範囲を決定する制御を行う。
【選択図】図１

Description

本技術は、画像処理装置に関する。詳しくは、パノラマ画像を扱う画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、風景等の被写体を撮像して画像（画像データ）を生成し、生成された画像を画像ファイルとして記録するデジタルスチルカメラ等の撮像装置が普及している。また、時系列で連続して複数の画像を生成し、この生成された複数の画像を用いて、比較的広い範囲の被写体を含むパノラマ画像を生成する撮像装置が提案されている。

例えば、撮像装置の後方（例えば、撮影者の位置）を軸として、円弧を描くように撮像装置を移動させて複数の画像を生成し、この複数の画像を用いてパノラマ画像を生成する撮像装置が提案されている（例えば、特許文献１参照。）。

特開２００９−２６８０３７号公報

上述の従来技術によれば、ユーザが撮像装置を手で持った状態で、円弧を描くように撮像装置を移動させることによりパノラマ画像の撮像動作を行うことができるため、その撮像動作をユーザが比較的容易に行うことができる。

例えば、上述の従来技術によりパノラマ画像の撮像動作を行う場合には、ユーザが周囲を見渡す等をして目視によりパノラマ画像の被写体を確認してから撮像動作の開始操作を行う。しかしながら、パノラマ画像は比較的広い範囲の被写体を含む画像であるため、撮像動作の開始操作前のユーザの目視確認のみでは、ユーザが意図した撮像範囲とはならないことも想定される。そこで、ユーザ好みのパノラマ画像を生成するため、ユーザ好みのパノラマ画像の撮像範囲を容易に決定することが重要である。

本技術はこのような状況に鑑みて生み出されたものであり、ユーザ好みのパノラマ画像の撮像範囲を容易に決定することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後の上記パノラマ画像における基準位置を決定する決定操作を上記パノラマ画像の撮像動作開始前に受け付ける操作受付部と、上記決定された基準位置に基づいて上記被写体における上記パノラマ画像の撮像範囲を決定する制御を行う制御部とを具備する画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、パノラマ画像の撮像動作開始後のパノラマ画像における基準位置を決定する決定操作を、パノラマ画像の撮像動作開始前に受け付けると、その決定された基準位置に基づいて、パノラマ画像の撮像範囲を決定するという作用をもたらす。

また、この第１の側面において、上記撮像部による上記パノラマ画像の撮像動作中において、上記撮像部により生成された画像に上記決定された撮像範囲を表す操作支援画像を重ねて表示部に表示させる表示制御部をさらに具備するようにしてもよい。これにより、パノラマ画像の撮像動作中において、撮像部により生成された画像に、決定された撮像範囲を表す操作支援画像を重ねて表示させるという作用をもたらす。

また、この第１の側面において、上記表示制御部は、上記撮像部により生成された画像に含まれる被写体のうち上記決定された撮像範囲に含まれる被写体を特定するための画像を上記操作支援画像として上記表示部に表示させるようにしてもよい。これにより、撮像部により生成された画像に含まれる被写体のうち、決定された撮像範囲に含まれる被写体を特定するための画像（操作支援画像）を表示させるという作用をもたらす。

また、この第１の側面において、上記画像処理装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記表示制御部は、上記検出された姿勢の変化に基づいて上記操作支援画像の表示態様を変更して表示させるようにしてもよい。これにより、検出された姿勢の変化に基づいて、操作支援画像の表示態様を変更して表示させるという作用をもたらす。

また、この第１の側面において、上記表示制御部は、上記パノラマ画像に対応する略矩形状の輪郭を表す画像を上記操作支援画像として上記表示部に表示させるようにしてもよい。これにより、パノラマ画像に対応する略矩形状の輪郭を表す画像（操作支援画像）を表示させるという作用をもたらす。

また、この第１の側面において、上記操作受付部は、上記パノラマ画像の撮像範囲の長手方向におけるサイズを設定する設定操作を受け付け、上記制御部は、上記設定されたサイズと上記決定された基準位置とに基づいて上記パノラマ画像の撮像範囲を決定するようにしてもよい。これにより、設定されたサイズと、決定された基準位置とに基づいて、パノラマ画像の撮像範囲を決定するという作用をもたらす。

また、この第１の側面において、上記操作受付部は、上記画像処理装置の位置または上記画像処理装置の近傍の位置を軸とする特定方向への上記画像処理装置の回転移動中に上記撮像部により生成される複数の画像を用いて上記パノラマ画像が形成される場合に、上記回転移動の終了位置を上記基準位置として決定する上記決定操作を受け付け、上記制御部は、上記決定操作が受け付けられた際に上記撮像部により生成された画像と、上記決定操作の受付後における上記画像処理装置の姿勢の変化後に上記撮像部により生成された画像とが一致するかを判断してそれらの画像が一致した場合に上記撮像部による上記パノラマ画像の撮像動作を停止させる制御を行うようにしてもよい。これにより、画像処理装置の回転移動の終了位置（基準位置）を決定する決定操作が受け付けられた際に撮像部により生成された画像と、その決定操作の受付後における画像処理装置の姿勢の変化後に撮像部により生成された画像とが一致するかを判断し、それらの画像が一致した場合には、パノラマ画像の撮像動作を停止させるという作用をもたらす。

また、この第１の側面において、上記操作受付部は、上記画像処理装置の位置または上記画像処理装置の近傍の位置を軸とする特定方向への上記画像処理装置の回転移動中に上記撮像部により生成される複数の画像を用いて上記パノラマ画像が形成される場合に、上記回転移動の中間位置を上記基準位置として決定する上記決定操作を受け付け、上記制御部は、上記決定された中間位置に基づいて上記撮像部による上記パノラマ画像の撮像動作の開始位置および終了位置を決定するようにしてもよい。これにより、画像処理装置の回転移動の中間位置（基準位置）を決定する決定操作が受け付けられた場合には、その決定された中間位置に基づいて、パノラマ画像の撮像動作の開始位置および終了位置を決定するという作用をもたらす。

また、この第１の側面において、上記画像処理装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記制御部は、上記画像処理装置の位置または上記画像処理装置の近傍の位置を軸とする特定方向への上記画像処理装置の回転移動が上記姿勢の変化として検出された場合には上記特定方向を長手方向とする上記パノラマ画像の撮像範囲を決定し、上記画像処理装置の位置または上記画像処理装置の近傍の位置を軸とする特定方向とは直行する直行方向への上記画像処理装置の回転移動が上記姿勢の変化として検出された場合には上記直行方向を長手方向とする上記パノラマ画像の撮像範囲を決定するようにしてもよい。これにより、特定方向への画像処理装置の回転移動が検出された場合には、特定方向を長手方向とするパノラマ画像の撮像範囲を決定し、直行方向への画像処理装置の回転移動が検出された場合には、直行方向を長手方向とするパノラマ画像の撮像範囲を決定するという作用をもたらす。

また、この第１の側面において、上記撮像部と、上記撮像部の光軸方向とは異なる光軸方向となるように配置される第２の撮像部とをさらに具備し、上記操作受付部は、上記画像処理装置の位置または上記画像処理装置の近傍の位置を軸とする特定方向への上記画像処理装置の回転移動中に上記撮像部により生成される複数の画像を用いて上記パノラマ画像が形成される場合に、上記回転移動の中間位置を上記基準位置として決定する上記決定操作を受け付け、上記制御部は、上記パノラマ画像の撮像動作における開始位置または終了位置に上記第２の撮像部の光軸方向を向けた状態で上記決定操作が受け付けられた場合には、上記撮像部と上記第２の撮像部との配置関係に基づいて上記パノラマ画像の撮像範囲を決定するようにしてもよい。これにより、パノラマ画像の撮像動作における開始位置または終了位置に第２の撮像部の光軸方向を向けた状態で、画像処理装置の回転移動の中間位置（基準位置）を決定する決定操作が受け付けられた場合には、撮像部と第２の撮像部との配置関係に基づいて、パノラマ画像の撮像範囲を決定するという作用をもたらす。

また、この第１の側面において、上記第２の撮像部は、上記パノラマ画像の撮像動作中において上記撮像部とは異なる露出条件により複数の画像を生成し、上記撮像部により生成された複数の画像と、上記第２の撮像部により生成された複数の画像とを合成することにより、少なくとも一部の領域のダイナミックレンジが拡張された上記パノラマ画像を生成する画像合成部をさらに具備するようにしてもよい。これにより、撮像部により生成された複数の画像と、第２の撮像部により生成された複数の画像とを合成することにより、少なくとも一部の領域のダイナミックレンジが拡張されたパノラマ画像を生成するという作用をもたらす。

本技術によれば、ユーザ好みのパノラマ画像の撮像範囲を容易に決定することができるという優れた効果を奏し得る。

本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置１００の外観を示す斜視図である。 本技術の第１の実施の形態における入出力パネル２００に表示される設定画面例（画サイズ設定画面３００）を示す図である。 本技術の第１の実施の形態における撮像装置１００を用いてパノラマ画像を生成する場合における撮像動作と、この撮像動作により生成されるパノラマ画像との関係例を示す図である。 本技術の第１の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との遷移例を模式的に示す図である。 本技術の第１の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との遷移例を模式的に示す図である。 本技術の第１の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との遷移例を模式的に示す図である。 本技術の第１の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との遷移例を模式的に示す図である。 本技術の第１の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との遷移例を模式的に示す図である。 本技術の第１の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との遷移例を模式的に示す図である。 本技術の第１の実施の形態における撮像装置１００による撮像制御処理の処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における撮像装置１００による撮像制御処理の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における撮像装置５００の機能構成例を示すブロック図である。 本技術の第２の実施の形態におけるマッチング画像検出部５１０に画像を保持させる場合における画像保持例を模式的に示す図である。 本技術の第２の実施の形態におけるマッチング画像検出部５１０によるマッチング処理を模式的に示す図である。 本技術の第２の実施の形態における撮像装置５００による撮像制御処理の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における撮像装置５００による撮像制御処理の処理手順の一例を示すフローチャートである。 本技術の第３の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。 本技術の第４の実施の形態における撮像装置７００の外観を示す外観構成図である。 本技術の第４の実施の形態における撮像装置７００の機能構成例を示すブロック図である。 本技術の第４の実施の形態における入出力パネル２００に表示される設定画面例（撮影方法設定画面７３０）を示す図である。 本技術の第４の実施の形態における撮像装置７００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。 本技術の第４の実施の形態における撮像装置７００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。 本技術の第４の実施の形態における撮像装置７００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。 本技術の第４の実施の形態における複数の撮像部により生成される画像を用いたパノラマ画像の合成例を示す図である。 本技術の第４の実施の形態における撮像装置７９０の外観を示す外観構成図である。 本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。 本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。 本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。 本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。 本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。 本技術の実施の形態の変形例における撮像装置８６０により生成されるパノラマ画像の撮像範囲と撮像動作との関係を示す図である。 本技術の実施の形態の変形例における撮像装置８７０によりパノラマ画像を生成する際における撮像動作を模式的に示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ユーザ操作により決定されたパノラマ画像における基準位置に基づいてパノラマ画像の撮像範囲を決定する例）
２．第２の実施の形態（ユーザ操作により決定された基準位置の画像を用いたマッチング処理によりパノラマ画像の撮像動作の終了タイミングを決定する例）
３．第３の実施の形態（パノラマ画像における中間位置を基準位置として決定する例）
４．第４の実施の形態（複数の撮像部を備える撮像装置を用いてパノラマ画像の撮像動作を行う例）
５．変形例

＜１．第１の実施の形態＞
［撮像装置の機能構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。

撮像装置１００は、レンズ部１１１と、撮像素子１１２と、画像処理部１１３と、画像合成部１２０と、記録制御部１３０と、記録媒体１４０と、姿勢検出部１５０と、制御部１６０と、表示制御部１７０と、表示部１８０と、操作受付部１９０とを備える。撮像装置１００は、例えば、被写体を撮像して複数の画像（画像データ）を生成し、これらの複数の画像について各種画像処理を行うことが可能なデジタルスチルカメラにより実現することができる。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。

レンズ部１１１は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、これらのレンズおよびアイリスを介して入射された被写体からの光が撮像素子１１２に供給される。

撮像素子１１２は、制御部１６０の制御に基づいて、被写体からの入射光を変換して画像（画像データ）を生成するものであり、生成された画像を画像処理部１１３に供給する。具体的には、レンズ部１１１を介して入射された被写体の光学像が撮像素子１１２の撮像面に結像され、この状態で撮像素子１１２が撮像動作を行うことにより画像（画像データ）が生成される。また、撮像素子１１２は、パノラマ画像撮像モードが設定されている場合には、被写体を時系列で連続して撮像することにより複数の画像を順次生成し、生成された複数の画像を画像処理部１１３に供給する。なお、撮像素子１１２として、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。

画像処理部１１３は、制御部１６０の制御に基づいて、撮像素子１１２により生成された画像（画像データ）について各種画像処理を行うものであり、画像処理が施された画像（画像データ）を画像合成部１２０および表示制御部１７０に供給する。

画像処理部１１３は、例えば、撮像素子１１２により生成された画像（画像データ）を画像メモリ（図示せず）に一時的に保持させ、この保持されている画像について画像処理を行う。この画像メモリは、例えば、ＤＲＡＭ（Dynamic Random Access Memory）により構成される。

例えば、画像処理部１１３は、撮像素子１１２により生成された画像（画像データ）について表示用の画像処理を行い、この画像処理が施された画像を表示制御部１７０に出力して表示部１８０に表示させる。また、画像処理部１１３は、パノラマ画像撮像モードが設定されている場合には、撮像素子１１２により生成された画像（画像データ）についてパノラマ画像用の画像処理を行い、画像合成部１２０に出力する。

また、画像処理部１１３は、パノラマ画像撮像モードが設定されている場合には、画像メモリ（図示せず）に保持されている画像について、時間軸において隣接する画像間における移動量および移動方向を検出する。そして、画像処理部１１３は、その検出された移動量および移動方向に関する情報（移動情報）を画像合成部１２０および制御部１６０に出力する。例えば、画像処理部１１３は、隣接する２つの画像を構成する画素間のマッチング処理（すなわち、同一被写体の撮像領域を判別するマッチング処理）を行い、各画像間において移動された画素数を算出する。このマッチング処理では、基本的には被写体は静止していると仮定した処理を行う。なお、被写体に動体が含まれる場合には、画像全体の動きベクトルと異なる動きベクトルが検出されるが、これらの動体に対応する動きベクトルは検出対象外として処理を行う。すなわち、撮像装置１００の移動に伴って発生する画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバルモーションベクトル）のみを検出する。

画像合成部１２０は、制御部１６０の制御に基づいて、画像処理部１１３から供給される複数の画像を用いてパノラマ画像を生成するものであり、生成されたパノラマ画像を記録制御部１３０に供給する。例えば、画像合成部１２０は、画像処理部１１３から供給される複数の画像を画像メモリ（図示せず）に一時的に保持させ、この保持されている複数の画像を用いてパノラマ画像を生成する。

また、画像合成部１２０は、制御部１６０から出力された解析結果（撮像装置１００の姿勢の変化量の解析結果）に基づいて、画像メモリ（図示せず）に保持されている複数の画像のそれぞれにおける合成対象領域を算出する。そして、画像合成部１２０は、複数の画像のそれぞれにおける合成対象領域から画像を取り出し、この取り出された画像を合成してパノラマ画像を生成する。この場合に、画像合成部１２０は、画像処理部１１３から出力された移動情報（移動量および移動方向）に基づいて、その取り出された画像を重ねて合成してパノラマ画像を生成する。

記録制御部１３０は、制御部１６０の制御に基づいて、画像処理部１１３により画像処理が施された画像（画像データ）を記録媒体１４０に記録させる制御を行うものである。また、記録制御部１３０は、パノラマ画像撮像モードが設定されている場合には、画像合成部１２０により生成されたパノラマ画像（画像データ）を記録媒体１４０に記録させる。

記録媒体１４０は、記録制御部１３０の制御に基づいて、画像処理部１１３により画像処理が施された画像や、画像合成部１２０により生成されたパノラマ画像を画像ファイル（画像コンテンツ）として記憶する記録デバイスである。例えば、ＪＰＥＧ形式の画像データ等の各種データが記録媒体１４０に記憶される。なお、記録媒体１４０は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。また、記録媒体１４０として、半導体メモリ、光記録媒体、磁気ディスク、ＨＤＤ（Hard Disk Drive）等の種々の記録媒体を用いることができる。なお、光記録媒体として、例えば、記録可能なＤＶＤ（Digital Versatile Disk）、記録可能なＣＤ（Compact Disc）、ブルーレイディスク（BlurayDisc（登録商標））等を用いることができる。

姿勢検出部１５０は、撮像装置１００の加速度、動き、傾き等を検出することにより撮像装置１００の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢情報を制御部１６０に出力する。姿勢検出部１５０として、例えば、ジャイロセンサを用いることができる。このジャイロセンサにより、撮像装置１００の角速度が検出され、撮像装置１００の姿勢の変化が検出される。なお、ジャイロセンサ以外の他のセンサ（例えば、加速度センサ）を用いて、撮像装置１００の加速度、動き、傾き等を検出し、この検出結果に基づいて、撮像装置１００の姿勢およびその変化を検出するようにしてもよい。

表示制御部１７０は、制御部１６０の制御に基づいて、各種画像を表示部１８０に表示させるものである。例えば、表示制御部１７０は、画像処理部１１３から供給された画像を表示画像（例えば、ライブビュー画像（ＬＶ画像））として表示部１８０に表示させる。また、表示制御部１７０は、各設定画面（例えば、図３に示す画サイズ設定画面３００）を表示部１８０に表示させる。また、表示制御部１７０は、画像処理部１１３から供給された画像（例えば、ＬＶ画像）に、各画像（例えば、図６（ｂ）に示す操作支援画像３１７、３１８）を合成して表示部１８０に表示させる。

例えば、表示制御部１７０は、パノラマ画像の撮像動作中において、画像処理部１１３から供給された画像（例えば、ＬＶ画像）に、パノラマ画像の撮像範囲を表す操作支援画像を重ねて表示部１８０に表示させる。この操作支援画像は、例えば、図６（ｂ）乃至図１０（ｂ）に示すように、ＬＶ画像に含まれる被写体のうち、パノラマ画像の撮像範囲に含まれる被写体を特定するための画像（例えば、パノラマ画像に対応する略矩形状の輪郭を表す画像）である。また、表示制御部１７０は、例えば、図６（ｂ）乃至図１０（ｂ）に示すように、姿勢検出部１５０により検出された姿勢の変化に基づいて、操作支援画像の表示態様を変更して表示させる。すなわち、表示制御部１７０は、制御部１６０から出力された解析結果（撮像装置１００の姿勢の変化量の解析結果）に基づいて、操作支援画像が移動するように表示させる。

表示部１８０は、表示制御部１７０の制御に基づいて各種画像を表示する表示部である。表示部１８０は、例えば、撮像素子１１２により生成された画像をＬＶ画像として順次表示する（いわゆる、ライブビュー表示）。なお、表示部１８０として、例えば、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。また、表示パネルとして、図３に示すように、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。

操作受付部１９０は、ユーザにより操作された操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部１６０に出力する。操作受付部１９０には、シャッターボタン１９１およびダイヤル１９２等の操作部材が備えられる。操作受付部１９０は、例えば、図６（ａ）に示すように、パノラマ画像の撮像動作開始後のパノラマ画像における基準位置（例えば、終了位置）を決定する決定操作を、パノラマ画像の撮像動作開始前に受け付ける。また、操作受付部１９０は、例えば、図３に示すように、パノラマ画像の撮像範囲の長手方向におけるサイズ（画サイズ）を設定する設定操作を受け付ける。なお、表示部１８０および操作受付部１９０については、図２に示すように、入出力パネル２００により一体で構成することができる。

制御部１６０は、操作受付部１９０からの操作信号および姿勢検出部１５０からの姿勢情報に基づいて、撮像装置１００の各部を制御するものである。例えば、制御部１６０は、操作受付部１９０により撮像モードの設定操作が受け付けられた場合には、その設定操作に応じた撮像モードを設定する。なお、本技術の第１の実施の形態では、パノラマ画像を生成するためのパノラマ画像撮像モードを設定する場合を例にして説明する。また、制御部１６０は、操作受付部１９０により画サイズ（図３に示す）の設定操作が受け付けられた場合には、その設定操作に応じた画サイズを設定する。

また、制御部１６０は、姿勢検出部１５０から出力された姿勢情報に基づいて、撮像装置１００の姿勢の変化量（移動方向、移動量等）を解析してその解析結果を画像合成部１２０および表示制御部１７０に出力する。

また、制御部１６０は、操作受付部１９０により基準位置（例えば、終了位置）を決定する決定操作が受け付けられた場合には、その決定された基準位置に基づいて、パノラマ画像の撮像範囲を決定する制御を行う。例えば、図６（ａ）に示すように、設定された画サイズ（例えば、θ１）と、その決定された基準位置（例えば、終了位置４２２）とに基づいて、パノラマ画像の撮像範囲（例えば、開始位置４２３および終了位置４２２により特定される回転角度）が決定される。この決定により、被写体におけるパノラマ画像の撮像範囲が決定される。

［撮像装置の外観構成例］
図２は、本技術の第１の実施の形態における撮像装置１００の外観を示す斜視図である。図２（ａ）は、撮像装置１００の正面（すなわち、被写体に向けられるレンズ部１１１が設けられている面）側の外観を示す斜視図である。また、図２（ｂ）は、撮像装置１００の背面（すなわち、撮影者に向けられる入出力パネル２００が設けられている面）側の外観を示す斜視図である。

撮像装置１００は、レンズ部１１１と、シャッターボタン１９１と、ダイヤル１９２と、入出力パネル２００とを備える。なお、撮像装置１００には、電源スイッチ、モード切替スイッチ、ズームボタン等の他の操作部材が備えられているが、ここでの図示および説明は省略する。

シャッターボタン１９１は、撮像素子１１２により生成された画像（画像データ）を画像コンテンツとして記録する際にユーザにより押下されるボタンである。例えば、静止画を記録するための静止画撮像モードが設定されている場合において、シャッターボタン１９１が半押しされた場合には、オートフォーカスを行うためのフォーカス制御が行われる。また、シャッターボタン１９１が全押しされた場合には、そのフォーカス制御が行われ、この全押しの際に撮像素子１１２により生成された画像が画像ファイル（静止画ファイル）として記録媒体１４０に記録される。また、パノラマ画像撮像モードが設定されている場合におけるシャッターボタン１９１の押下操作については、図５乃至図１０等を参照して詳細に説明する。

ダイヤル１９２は、各種調整等を行う際に用いられるダイヤルである。例えば、パノラマ画像の撮像範囲（画サイズ）を設定する場合にダイヤル１９２が操作される。

入出力パネル２００は、各種画像を表示するとともに、入出力パネル２００における接触操作を検出することによりユーザからの操作入力を受け付けるものである。入出力パネル２００は、例えば、タッチパネルにより実現される。なお、入出力パネル２００は、図１に示す表示部１８０および操作受付部１９０に対応する。

なお、本技術の第１の実施の形態では、撮像装置１００の現在位置（または、撮像装置１００の近傍の位置（例えば、後方の位置））を軸とする特定方向（例えば、水平方向、垂直方向）への撮像装置１００の回転操作をスイング操作と称して説明する。また、その操作方向をスイング方向とする。

［画サイズの設定画面例］
図３は、本技術の第１の実施の形態における入出力パネル２００に表示される設定画面例（画サイズ設定画面３００）を示す図である。

画サイズ設定画面３００は、パノラマ画像の撮像範囲（画サイズ）を設定する際に入出力パネル２００に表示される画面である。例えば、パノラマ画像撮像モードの設定操作が行われた直後に画サイズ設定画面３００が表示される。また、画サイズ設定画面３００において設定されるパノラマ画像の撮像範囲（画サイズ）は、撮像装置１００のスイング方向における撮像範囲（画サイズ）である。

画サイズ設定画面３００には、画サイズ指定バー３０１と、指定位置標識３０２と、決定ボタン３０３と、戻るボタン３０４とが設けられている。

画サイズ指定バー３０１は、パノラマ画像の撮像範囲（画サイズ）を設定する際に用いられるバーであり、指定位置標識３０２が重ねて表示される。例えば、パノラマ画像の撮像範囲（画サイズ）として、３６０°まで指定することが可能である場合には、画サイズ指定バー３０１の一方の端部には「０°」が表示され、他方の端部には「３６０°」が表示される。また、画サイズ指定バー３０１において、一定間隔（例えば、６０°間隔）で各数値（例えば、６０°、１２０°、…）が表示される。

画サイズ指定バー３０１においてユーザが所望する位置に指定位置標識３０２を移動させることにより、パノラマ画像の撮像範囲（画サイズ）を指定することができる。指定位置標識３０２の移動操作については、例えば、ダイヤル１９２の操作や、入出力パネル２００におけるタッチ操作により行うことができる。

決定ボタン３０３は、パノラマ画像の撮像範囲（画サイズ）を指定する指定操作がされた後に、その指定を決定する際に押下されるボタンである。また、決定ボタン３０３の押下操作により決定されたパノラマ画像の撮像範囲（画サイズ）に関する情報（画サイズ情報）が制御部１６０に出力されて保持される。

戻るボタン３０４は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。

なお、この例では、画サイズ指定バー３０１を用いて、画サイズを指定する例を示すが、例えば、ボタン押下操作や、数値入力による入力操作により画サイズを指定するようにしてもよい。例えば、複数種類の画サイズのうちからユーザが所望する画サイズを選択する選択操作（例えば、画サイズボタンの押下操作）を行うようにしてもよい。また、ユーザによる入力操作（例えば、画サイズ（角度）の数値の入力操作）により画サイズを設定するようにしてもよい。

また、この例では、ユーザ操作によりパノラマ画像の撮像範囲（画サイズ）を設定する例を示すが、その撮像範囲を予め設定しておくようにしてもよい。例えば、基準画サイズとして１８０°を設定しておくことができる。

［撮像動作およびパノラマ画像の関係例］
次に、撮像装置１００を用いて撮像動作を行う場合について説明する。

図４は、本技術の第１の実施の形態における撮像装置１００を用いてパノラマ画像を生成する場合における撮像動作と、この撮像動作により生成されるパノラマ画像との関係例を示す図である。

図４（ａ）には、撮像装置１００を用いてパノラマ画像を生成する場合において撮像対象となる場所４００を上から見た場合における上面図を示す。場所４００は、山、建物４０１、４０２、大きな木４０３、湖等を含む場所であり、図４（ａ）では、説明の容易のため、これらを簡略化して示す。また、図４（ａ）では、画サイズとして１８０度が設定されている場合において、左側から右側に撮像装置１００のスイング操作を行う例を示す。また、図４（ａ）では、建物４０１、４０２と、大きな木４０３とがパノラマ画像に含まれるように、ユーザが撮像装置１００を操作してパノラマ画像を生成する例を示す。なお、本技術の実施の形態で示す左右については、撮像装置１００を操作するユーザを基準とする場合における左右を意味するものとする。

図４（ｂ）には、図４（ａ）に示す撮像動作により生成されたパノラマ画像４１０を示す。すなわち、パノラマ画像４１０は、建物４０１、４０２と、大きな木４０３とを含むパノラマ画像である。このように、建物４０１、４０２と、大きな木４０３とを含むパノラマ画像を、湖畔を逍遥するユーザ４２０が所望する場合を想定する。この場合には、ユーザ４２０は、例えば、撮像動作の開始位置４０５において、パノラマ画像の撮像動作を開始し、撮像動作の終了位置４０６において、パノラマ画像の撮像動作を終了させる必要がある。

このように撮像動作を行うためには、ユーザ４２０が場所４００における周囲を見渡し、パノラマ画像の撮像範囲を把握して、撮像動作を開始する必要がある。しかしながら、ユーザ４２０が場所４００における周囲を見渡し、目視によりパノラマ画像の撮像範囲を正確に把握することは困難であることが想定される。また、パノラマ画像の撮像範囲を正確に把握することができない場合には、ユーザ４２０が所望するパノラマ画像（建物４０１、４０２と、大きな木４０３とを含むパノラマ画像）を生成することができない。

そこで、本技術の第１の実施の形態では、パノラマ画像の撮像動作開始後のパノラマ画像における基準位置を決定する決定操作を、パノラマ画像の撮像動作開始前に受け付け、その決定された基準位置に基づいてパノラマ画像の撮像範囲を決定する例を示す。

［パノラマ画像の撮像動作例］
図５乃至図１０は、本技術の第１の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との遷移例を模式的に示す図である。すなわち、図５乃至図１０の各図（ａ）には、撮像装置１００の姿勢の遷移例を示す。なお、図５乃至図１０の各図（ａ）では、説明の容易のため、図４に示す場所４００における建物４０１、４０２、大きな木４０３のみを示し、他の図示を省略する。また、図５乃至図１０の各図（ｂ）には、撮像装置１００の姿勢の変化に応じて入出力パネル２００に表示される表示画面の遷移例を示す。また、図５乃至図１０では、１８０度の画サイズが設定されている場合における撮像動作例を示す。

図５（ａ）には、撮像装置１００と、撮像装置１００を両手で持った状態のユーザ４２０とを上面から見た状態を簡略化して示す。例えば、ユーザ４２０は、入出力パネル２００に表示されるＬＶ画像を見ながら、パノラマ画像の終了位置を確認しているものとする。

図５（ｂ）には、パノラマ画像の終了位置を決定する決定操作が行われる前に表示される表示画面３１０を示す。

表示画面３００には、現在の撮像対象となっている被写体がＬＶ画像として表示されるとともに、メッセージ表示領域３１１がＬＶ画像上に重ねて表示される。

メッセージ表示領域３１１は、ユーザ４２０が行う操作を支援するためのメッセージが表示される領域である。メッセージ表示領域３１１には、例えば、パノラマ画像の撮像動作の終了位置を決定することを促すメッセージが表示される。

例えば、ユーザ４２０によりパノラマ画像撮像モードが設定されている場合を想定する。例えば、撮像装置１００の電源をオンにすると、撮像装置１００が起動し、入出力パネル２００にＬＶ画像（ライブビュー画像）が表示される。ユーザ４２０は、入出力パネル２００に表示されているＬＶ画像を見ながら、パノラマ画像に対応する撮像範囲のうちの終了位置（パノラマ画像における右端に相当する位置）を決定する。例えば、図５（ｂ）に示すように、大きな木４０３が含まれる撮像範囲を終了位置として決定する場合には、図５（ａ）に示す状態で、ユーザ４２０がシャッターボタン１９１の全押し操作（決定操作）を行う。このように終了位置の決定操作が行われた場合には、制御部１６０が、その決定操作時における撮像装置１００の姿勢を基準姿勢として決定する。すなわち、その決定操作が行われた際に姿勢検出部１５０から出力された姿勢情報に係る姿勢が、撮像装置１００の基準姿勢として決定される。なお、ユーザ４２０がパノラマ画像の撮像動作の終了位置を決定した後に入出力パネル２００に表示される表示画面例については、図６に示す。

図６（ａ）には、図５（ａ）に示す状態でユーザ４２０がシャッターボタン１９１の全押し操作をした状態を簡略化して示す。この例では、設定されている画サイズをθ１（＝１８０度）とし、水平方向における撮像動作の開始位置の決定方法について説明する。

例えば、図５（ａ）に示す状態でユーザ４２０がシャッターボタン１９１の全押し操作を行った場合を想定する。この場合には、その操作時における位置４２１からの光軸方向（終了位置４２２の方向）を基準として、設定されている画サイズθ１に基づいて撮像動作の開始位置４２３が決定される。具体的には、図６（ａ）に示すように、シャッターボタン１９１の全押し操作時における位置４２１を回転軸として、スイング方向に角度θ１だけ回転した位置が、撮像動作の開始位置４２３として決定される。なお、シャッターボタン１９１の全押し操作時における位置（ユーザ４２０（すなわち、撮像装置１００）の位置）４２１を回転軸とした場合に、その光軸方向の位置が撮像動作の終了位置４２２として決定される。同様に、垂直方向における撮像動作の開始位置についても決定することができる。

図６（ｂ）には、パノラマ画像の撮像動作の終了位置を決定する決定操作が行われた際に表示される操作アシスト画面３１５を示す。

操作アシスト画面３１５には、現在の撮像対象となっている被写体がＬＶ画像として表示されるとともに、メッセージ表示領域３１６と、操作支援画像３１７、３１８とがＬＶ画像上に重ねて表示される。

メッセージ表示領域３１６は、パノラマ画像の撮像動作の終了位置を決定した旨のメッセージと、パノラマ画像の撮像動作の開始位置まで撮像装置１００を移動させることを促すメッセージとが表示される。

操作支援画像３１７、３１８は、パノラマ画像の撮像動作に関するユーザ操作（撮像装置１００のスイング操作）を支援するための画像である。例えば、パノラマ画像の撮像範囲に含まれる被写体を特定するための画像（パノラマ画像に対応する略矩形状の輪郭を表す点線）が操作支援画像３１７、３１８として表示される。

ここで、パノラマ画像の撮像動作の終了位置の決定時には、撮像装置１００のスイング方向（水平方向、垂直方向）が未定であるため、何れかのスイング方向に対応する操作支援画像を表示せずに、操作支援画像３１７、３１８のみを表示する。また、撮像装置１００の姿勢の変化に応じて、何れかのスイング方向に対応する操作支援画像を表示する。

すなわち、制御部１６０は、水平方向への撮像装置１００のスイング操作が検出された場合には、水平方向を長手方向とするパノラマ画像の撮像範囲を決定し、水平方向に対応する操作支援画像を表示させる。一方、制御部１６０は、垂直方向への撮像装置１００のスイング操作が検出された場合には、垂直方向を長手方向とするパノラマ画像の撮像範囲を決定し、垂直方向に対応する操作支援画像を表示させる。

なお、撮像装置１００の姿勢の変化に応じた操作支援画像の表示方法については、図７乃至図１０を参照して詳細に説明する。また、撮像装置１００のスイング方向（水平方向、垂直方向）が予め設定されている場合には、パノラマ画像の撮像動作の終了位置の決定時に、その設定されているスイング方向に対応する操作支援画像を表示するようにしてもよい。

このように、シャッターボタン１９１の全押し操作後には、入出力パネル２００に操作アシスト画面３１５が表示されるため、操作アシスト画面３１５に従ってユーザ４２０が撮像装置１００のスイング操作を容易に行うことができる。また、ユーザ４２０がスイング操作を開始した後に入出力パネル２００に表示される表示画面例については、図７等に示す。

図７（ａ）には、図６（ａ）に示す状態からユーザ４２０が矢印４２４方向に撮像装置１００を移動させている状態を簡略化して示す。

図７（ｂ）には、ユーザ４２０が矢印４２４方向に撮像装置１００を移動させた直後から入出力パネル２００に表示される操作アシスト画面３２０を示す。なお、シャッターボタン１９１の全押し操作後における撮像装置１００の移動については、姿勢検出部１５０からの姿勢情報に基づいて制御部１６０が判断する。

操作アシスト画面３２０には、現在の撮像対象となっている被写体がＬＶ画像として表示されるとともに、メッセージ表示領域３２１と、操作支援画像３２２乃至３２４とがＬＶ画像上に重ねて表示される。

メッセージ表示領域３２１は、操作支援画像３２２乃至３２４によりパノラマ画像の撮像範囲を表示する旨のメッセージと、パノラマ画像の撮像動作の開始位置まで撮像装置１００を移動させることを促すメッセージとが表示される。

操作支援画像３２２乃至３２４は、上述したように、パノラマ画像の撮像動作に関するユーザ操作（撮像装置１００のスイング操作）を支援するための画像である。具体的には、操作支援画像３２２、３２３は、パノラマ画像の撮像範囲に含まれる被写体を特定するための画像であり、パノラマ画像に対応する略矩形状の輪郭を表す点線（全体として矩形状の点線）とすることができる。また、操作支援画像３２２、３２３は、操作アシスト画面３２０に表示されているＬＶ画像上に配置される。また、操作支援画像３２４は、パノラマ画像における中心位置（スイング方向における中心位置）を示す実線であり、操作アシスト画面３２０に表示されているＬＶ画像上に配置される。このように、操作支援画像３２４を表示することにより、ユーザ４２０がパノラマ画像における中間位置を容易に把握することができる。

ここで、操作支援画像３２４の表示位置については、設定されている画サイズθ１（＝１８０度）と、撮像動作の終了位置４２２とに基づいて決定される。すなわち、スイング方向において、撮像動作の終了位置４２２から「θ１／２」の位置が操作支援画像３２４の表示位置として決定される。

例えば、図７（ａ）に示すように、パノラマ画像の撮像範囲の真ん中付近では、その撮像範囲として、垂直方向の範囲および中心位置を模式的に示す。また、図８（ｂ）に示すように、パノラマ画像の撮像範囲の端部（左端部）付近では、その撮像範囲として、垂直方向の範囲と端部（左端部）の範囲とを模式的に示す。

ここで、操作支援画像（操作支援画像３２２、３２３等）の表示方法について説明する。

操作支援画像は、パノラマ画像の撮像動作において必要となる全体の操作量（例えば、スイング操作の回転角度）に対する現在の操作位置を基準として表示される。例えば、パノラマ画像の撮像動作の終了位置を基準位置とし、この基準位置（終了位置）からの操作量に基づいて、水平方向および垂直方向の何れかの操作支援画像が、表示対象となる操作支援画像として決定される。

具体的には、時間軸において隣接する画像（撮像素子１１２により生成された画像）間における移動量および移動方向の検出結果（画像処理部１１３の検出結果）に基づいて、制御部１６０が現在の操作量を算出する。そして、制御部１６０は、その現在の操作量に基づいて、表示対象となる操作支援画像（水平方向、垂直方向）を決定し、その操作支援画像の表示状態を変更する。その移動量および移動方向として、例えば、撮像装置１００の移動に伴って発生する画像全体の動きに対応する動きベクトル（ＧＭＶ（Global Motion Vector）が検出される。また、姿勢検出部１５０により検出された角速度に基づいて、制御部１６０が現在の操作量を算出するようにしてもよい。また、その移動量および移動方向の検出結果と、姿勢検出部１５０により検出された角速度とを用いて、制御部１６０が現在の操作量を算出するようにしてもよい。このように、操作支援画像を表示させることにより、パノラマ画像の撮像範囲をユーザが容易に把握することができる。

また、終了位置４２２の決定操作時から開始位置４２３までのスイング操作中と、開始位置４２３から終了位置４２２までのスイング操作中との操作支援画像の表示態様を変更するようにしてもよい。例えば、終了位置４２２の決定操作時から開始位置４２３までのスイング操作中（準備のためのスイング操作）には、操作支援画像を点滅表示させることができる。このように、準備のためのスイング操作中に操作支援画像を点滅して表示することにより、パノラマ画像の撮像動作中ではなく、その準備のための移動であることをユーザに通知する。

また、撮像装置１００が開始位置４２３に到達し、ユーザ４２０によるパノラマ画像の撮像動作の開始指示操作が行われた場合には、操作支援画像の表示態様を点滅表示から通常表示（常時点灯）に変更して表示させることができる。すなわち、開始位置４２３から終了位置４２２までのスイング操作中（パノラマ画像の撮像動作中）には、操作支援画像を通常表示させることができる。このように、操作支援画像の表示態様を変更することにより、パノラマ画像の撮像動作の準備中であるか、パノラマ画像の撮像動作中であるかをユーザが容易に把握することができる。

図８（ａ）には、ユーザ４２０が撮像装置１００を撮像動作の開始位置４２３まで移動させた状態を簡略化して示す。

図８（ｂ）には、ユーザ４２０が撮像装置１００を撮像動作の開始位置４２３まで移動させた際に入出力パネル２００に表示される操作アシスト画面３２５を示す。なお、撮像装置１００が開始位置４２３に到達したか否かについては、姿勢検出部１５０からの姿勢情報に基づいて制御部１６０が判断する。

操作アシスト画面３２５は、図７（ｂ）に示す操作アシスト画面３２０において、操作支援画像３２２、３２３の代わりに、操作支援画像３２７乃至３２９が表示される。操作支援画像３２７、３２９は、パノラマ画像における垂直方向の撮像範囲を示す操作支援画像であり、操作支援画像３２８は、パノラマ画像における左端部の撮像範囲を示す操作支援画像である。

メッセージ表示領域３２６は、操作支援画像３２７乃至３２９に基づいてパノラマ画像の撮像動作の開始位置の決定操作を促す旨のメッセージと、その決定操作後にパノラマ画像の撮像動作を開始することを促すメッセージとが表示される。

このように、撮像装置１００が撮像動作の開始位置４２３まで移動された場合には、パノラマ画像の撮像動作の開始位置の決定操作を促す旨のメッセージが表示される。また、この表示とともに、それまでのスイング方向とは逆方向に撮像装置１００をスイングさせて撮像動作を開始する旨のメッセージが表示される。

このように、撮像装置１００が撮像動作の開始位置４２３まで移動され、操作アシスト画面３２５が入出力パネル２００に表示された後に、ユーザ４２０によりシャッターボタン１９１の全押し操作が行われると、パノラマ画像の撮像動作が開始される。また、パノラマ画像の撮像動作が開始されると、操作支援画像３２７乃至３２９が点滅表示から常時点灯状態となる。また、撮像装置１００の移動に応じて、操作支援画像３２７乃至３２９が移動する。

ここで、例えば、ユーザ４２０による開始位置の決定操作（シャッターボタン１９１の全押し操作）が行われた場合に、その決定操作時における位置が開始位置４２３と異なることも想定される。例えば、位置４２１を中心として、開始位置４２３から数度（例えば、１〜５度）だけズレていることが想定される。この場合には、ユーザ４２０による開始位置の決定操作に基づいて、設定されている画サイズを変更するようにしてもよい。例えば、ユーザ４２０による開始位置の決定操作時における位置が、開始位置４２３から＋５度（位置４２１を中心とする中心角）だけズレていた場合を想定する。この場合には、設定されている画サイズ（１８０度）を１８５度と変更することができる。

なお、この例では、ユーザ４２０によるシャッターボタン１９１の全押し操作を、パノラマ画像の撮像動作の開始位置の決定操作とする例を示すが、撮像装置１００が開始位置４２３に達した際に自動で開始位置の決定をするようにしてもよい。この場合には、パノラマ画像の撮像動作を開始する旨のメッセージのみが表示され、パノラマ画像の撮像動作が自動で開始される。

このように、パノラマ画像の撮像動作が開始されると、撮像装置１００の移動に応じて操作支援画像が変化する。この例を図９に示す。

図９（ａ）には、撮像動作の開始位置４２３から撮像動作の終了位置４２２まで移動する間における撮像装置１００の遷移を示す。

図９（ｂ）には、撮像装置１００が撮像動作の開始位置４２３から撮像動作の終了位置４２２まで移動する間に表示される操作アシスト画面３３０を示す。このように、撮像装置１００が撮像動作の開始位置４２３から撮像動作を開始した後には、撮像装置１００が撮像動作の終了位置４２２に達するまでの間、撮像装置１００の移動に応じて操作アシスト画面３３０が表示される。

操作アシスト画面３３０には、現在の撮像対象となっている被写体がＬＶ画像として表示されるとともに、メッセージ表示領域３３１と、操作支援画像３３２、３３３と、矢印３３４とがＬＶ画像上に重ねて表示される。

メッセージ表示領域３３１は、パノラマ画像の撮像動作の終了位置まで撮像装置１００のスイング操作を行う旨のメッセージが表示される。

矢印３３４は、パノラマ画像の撮像動作に関するユーザ操作（撮像装置１００のスイング操作）を支援するための矢印である。すなわち、ユーザは、矢印３３４が指し示す方向に撮像装置１００をスイングさせることにより、パノラマ画像の撮像動作を行うことができる。

図１０（ａ）には、ユーザ４２０が撮像装置１００を撮像動作の終了位置４２２まで移動させた状態を簡略化して示す。

図１０（ｂ）には、ユーザ４２０が撮像装置１００を撮像動作の終了位置４２２まで移動させた際に入出力パネル２００に表示される操作アシスト画面３３５を示す。図１０（ｂ）に示すように、撮像装置１００が撮像動作の終了位置４２２まで移動して、ユーザ４２０による撮像動作の終了指示操作が行われた場合には、撮像動作が終了した旨のメッセージがメッセージ表示領域３３６に表示される。

また、操作アシスト画面３３５には、垂直方向の撮像範囲と右端部の撮像範囲とを示す操作支援画像３３７乃至３３９が表示され、図９（ｂ）に示す矢印３３４が消去される。

このように、撮像装置１００が撮像動作の終了位置４２２まで移動された場合には、パノラマ画像の撮像動作が終了し、パノラマ画像の撮像動作が終了した旨のメッセージが表示される。このパノラマ画像の撮像動作の終了処理については、姿勢検出部１５０からの姿勢情報に基づいて、撮像装置１００が終了位置４２２に到達したか否かを制御部１６０が判断することにより行われる。

また、その撮像動作により生成された複数の画像を用いて画像合成部１２０によりパノラマ画像が生成される。そして、パノラマ画像の撮像動作が終了した後には、その生成されたパノラマ画像が静止画ファイルとして記録制御部１３０により記録媒体１４０に記録される。

なお、本技術の第１の実施の形態では、パノラマ画像の撮像範囲（画サイズ）を予め設定しておき、この画サイズを用いてパノラマ画像の撮像動作の終了処理を行う例を示した。ただし、パノラマ画像の撮像動作中において、ユーザ操作に基づいてその画サイズを変更するようにしてもよい。例えば、パノラマ画像の撮像動作中において、右端部の撮像範囲を示す操作支援画像３３８を左右方向に移動させることにより、その画サイズを変更することができる。この移動操作については、例えば、ダイヤル１９２を用いた操作や、入出力パネル２００におけるタッチ操作（なぞる操作）により行うことができる。これにより、ユーザはパノラマ画像の撮像範囲を確認しながら、その撮像範囲を調整することができる。

なお、撮像動作の開始位置４２３から撮像動作の終了位置４２２まで撮像装置１００が移動する間に、ユーザによるスイング操作が正しく行われない可能性もある。例えば、水平方向へのスイング操作中に、撮像装置１００が垂直方向に多少移動することも想定される。この場合には、その垂直方向の移動に応じて、操作支援画像の表示位置を移動して表示させる。また、この場合には、正しくスイング操作することを促すメッセージを表示させ、その旨をユーザに通知するようにしてもよい。

このように、パノラマ画像の撮像範囲の終了位置の決定操作に基づいて決定された撮像範囲を示す操作支援画像を表示することにより、パノラマ画像の撮像動作の開始前において、ユーザはパノラマ画像の撮像範囲を容易に把握することができる。すなわち、ユーザは、撮像装置１００のスイング操作を行うことにより、パノラマ画像の撮像範囲を容易に確認することができる。このため、ユーザが意図するパノラマ画像となるか否かを撮像動作の開始前に容易に確認することができる。

また、操作支援画像は、パノラマ画像の撮像動作が終了するまでの間、表示される。このため、パノラマ画像の撮像動作中には、ユーザは、操作支援画像に沿って撮像装置１００をスイングすることにより、ユーザの意図するパノラマ画像を容易に撮影することができる。すなわち、ユーザ好みのパノラマ画像を容易に生成することができる。

［撮像装置の動作例］
次に、本技術の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１１および図１２は、本技術の第１の実施の形態における撮像装置１００による撮像制御処理の処理手順の一例を示すフローチャートである。

最初に、パノラマ画像撮像モードが設定される（ステップＳ９０１）。続いて、制御部１６０が、パノラマ画像の撮像動作の終了位置の決定操作が行われたか否かを判断し（ステップＳ９０２）、その決定操作が行われていない場合には、監視を継続して行う。

パノラマ画像の撮像動作の終了位置の決定操作が行われた場合には（ステップＳ９０２）、制御部１６０が、その決定操作が受け付けられた際における撮像装置１００の姿勢により特定される位置を終了位置として設定する（ステップＳ９０３）。すなわち、制御部１６０が、その終了位置に基づいて、パノラマ画像の撮像範囲（水平方向、垂直方向）を決定する。なお、ステップＳ９０２は、特許請求の範囲に記載の受付手順の一例である。また、ステップＳ９０３は、特許請求の範囲に記載の決定手順の一例である。

続いて、撮像画像が生成され（ステップＳ９０４）、姿勢検出部１５０からの姿勢情報に基づいて、制御部１６０が終了位置からの移動量（移動角度）を算出する（ステップＳ９０５）。

続いて、制御部１６０が、算出された移動量について、水平方向の移動量と垂直方向の移動量とを比較する（ステップＳ９０６）。水平方向の移動量が垂直方向の移動量よりも大きい場合には（ステップＳ９０６）、表示制御部１７０が、水平方向を移動方向（スイング方向）とする操作支援画像をＬＶ画像に重ねて表示部１８０に表示させる（ステップＳ９０８）。例えば、水平方向を長手方向とする矩形の点線の一部（例えば、図７、図８に示す）が操作支援画像として表示部１８０に表示される。

一方、水平方向の移動量が垂直方向の移動量未満である場合には（ステップＳ９０６）、表示制御部１７０が、垂直方向を移動方向（スイング方向）とする操作支援画像をＬＶ画像に重ねて表示部１８０に表示させる（ステップＳ９０７）。例えば、垂直方向を長手方向とする矩形の点線の一部が操作支援画像として表示部１８０に表示される。

続いて、制御部１６０が、パノラマ画像の撮像動作の開始指示操作（開始位置の決定操作）が行われたか否かを判断し（ステップＳ９０９）、その開始指示操作が行われていない場合には、ステップＳ９０４に戻る。パノラマ画像の撮像動作の開始指示操作が行われた場合には（ステップＳ９０９）、制御部１６０が、算出された移動量について、水平方向の移動量と垂直方向の移動量とを比較する（ステップＳ９１０）。この比較の結果、水平方向の移動量が垂直方向の移動量よりも大きい場合には（ステップＳ９１０）、制御部１６０が、水平方向を移動方向（スイング方向）とする設定を行う（ステップＳ９１２）。

一方、水平方向の移動量が垂直方向の移動量未満である場合には（ステップＳ９１０）、制御部１６０が、垂直方向を移動方向（スイング方向）とする設定を行う（ステップＳ９１１）。このように設定された移動方向（水平方向または垂直方向）に基づいて、操作支援画像が表示される。例えば、水平方向を移動方向（スイング方向）とする設定が行われた場合には（ステップＳ９１２）、水平方向を長手方向とする矩形の点線の一部（例えば、図８乃至図１０に示す）が操作支援画像として表示部１８０に表示される。

続いて、撮像画像が生成される（ステップＳ９１３）。続いて、表示制御部１７０が、制御部１６０により設定された移動方向（水平方向または垂直方向）に基づいて、操作支援画像をＬＶ画像に重ねて表示部１８０に表示させる（ステップＳ９１４）。続いて、生成された撮像画像の記録処理が行われる（ステップＳ９１５）。この記録処理では、パノラマ画像の生成に用いられる撮像画像（画像処理部１１３により画像処理が施された１枚の撮像画像）が一時的に記録される。

続いて、制御部１６０が、パノラマ画像の撮像動作の終了指示操作が行われたか否かを判断し（ステップＳ９１６）、その終了指示操作が行われていない場合には、ステップＳ９１３に戻る。その終了指示操作が行われた場合には（ステップＳ９１６）、画像合成部１２０が、制御部１６０の制御に基づいて、画像処理部１１３により画像処理が施された画像（一時的に記録された複数の画像）を用いて、パノラマ画像を生成する（ステップＳ９１７）。続いて、記録制御部１３０が、制御部１６０の制御に基づいて、画像合成部１２０により生成されたパノラマ画像を画像ファイルとして記録媒体１４０に記録させる（ステップＳ９１８）。

＜２．第２の実施の形態＞
本技術の第１の実施の形態では、パノラマ画像の撮像動作の終了位置をユーザ操作に基づいて決定する例を示した。このように、パノラマ画像の撮像動作の終了位置については、ユーザ操作に基づいて決定されるため、そのユーザ操作時（終了位置）における撮像画像を用いてパノラマ画像の撮像動作の終了タイミングを決定することも考えられる。そこで、本技術の第２の実施の形態では、パノラマ画像の撮像動作の終了位置における撮像画像を用いて、パノラマ画像の撮像動作の終了タイミングを決定する例を示す。

［撮像装置の構成例］
図１３は、本技術の第２の実施の形態における撮像装置５００の機能構成例を示すブロック図である。なお、撮像装置５００は、図１に示す撮像装置１００の変形例である。このため、撮像装置１００と共通する部分については、同一の名称を付して、これらの説明の一部を省略する。

撮像装置５００は、マッチング画像検出部５１０および制御部５２０を備える。

マッチング画像検出部５１０は、撮像素子１１２により生成された画像についてマッチング処理を行うものであり、その検出結果を制御部５２０に出力する。具体的には、マッチング画像検出部５１０は、パノラマ画像の撮像動作の終了位置の決定操作が行われた際に撮像素子１１２により生成された画像（画像処理部１１３により画像処理が施された画像）を保持する。そして、マッチング画像検出部５１０は、その保持されている画像（保持画像）と、その決定操作の受付後における撮像装置５００の姿勢の変化後に撮像素子１１２により生成された画像とが一致するかを判断し、一致する画像を検出する。

制御部５２０は、マッチング画像検出部５１０からの検出結果に基づいて、パノラマ画像の撮像動作を停止させる制御を行う。具体的には、制御部５２０は、マッチング画像検出部５１０からの検出結果に基づいて、上述した保持画像と、パノラマ画像の撮像動作中に撮像素子１１２により生成された画像とが一致するかを判断する。そして、制御部５２０は、それらの画像が一致した場合には、パノラマ画像の撮像動作を停止させる制御を行う。

［画像の保持例］
図１４は、本技術の第２の実施の形態におけるマッチング画像検出部５１０に画像を保持させる場合における画像保持例を模式的に示す図である。

図１４（ａ）には、パノラマ画像の撮像動作の終了位置を決定する決定操作が行われた際に表示される操作アシスト画面３１５を示す。なお、図１４（ａ）に示す操作アシスト画面３１５は、図６（ｂ）と同様であるため、ここでの説明を省略する。

図１４（ｂ）には、マッチング画像検出部５１０に保持される画像（保持画像５１１）を簡略化して示す。図１４に示すように、パノラマ画像の撮像動作の終了位置の決定操作が行われた際に撮像素子１１２により生成され、画像処理部１１３により画像処理が施された画像（保持画像５１１）が、マッチング画像検出部５１０に保持される。そして、マッチング画像検出部５１０は、パノラマ画像の撮像動作中に生成される撮像画像について、保持画像５１１を用いてマッチング処理を行う。このマッチング処理については、図１５を参照して詳細に説明する。

［マッチング画像の検出例］
図１５は、本技術の第２の実施の形態におけるマッチング画像検出部５１０によるマッチング処理を模式的に示す図である。

図１５（ａ）には、パノラマ画像の撮像動作中において、保持画像５１１と一致する画像（マッチング画像）を検出するマッチング処理を模式的に示す。具体的には、パノラマ画像の撮像動作の撮像対象となる撮像範囲（パノラマ画像の撮像範囲５３０）と、撮像素子１１２による撮像対象となる撮像範囲５３１との関係を示す。また、撮像範囲５３１と、保持画像５１１とが一致するか否かを判断するマッチング処理５３２を模式的に示す。

図１５（ａ）に示すように、撮像装置５００のスイング操作が行われている間に生成された各撮像画像（撮像範囲５３１内に示す画像）と、保持画像５１１とのマッチング処理が順次行われる。

ここで、マッチング処理は、比較対象となる２つの画像における特徴量を比較してこの比較結果に基づいて、２つの画像における特徴量の類似度を算出し、この類似度に基づいて、２つの画像が一致するか否かを判断する処理である。例えば、算出された類似度が閾値未満である場合には、比較対象となる２つの画像が不一致であると判断され、算出された類似度が閾値以上である場合には、比較対象となる２つの画像が一致すると判断される。

図１５（ｂ）には、マッチング処理５３６において、保持画像５１１と一致する画像（撮像範囲５３５内に示す画像）が検出された場合を模式的に示す。

図１５（ｂ）に示すように、マッチング処理５３６において、保持画像５１１と一致する画像（撮像範囲５３５内に示す画像）が検出された場合には、その旨の通知がマッチング画像検出部５１０から制御部５２０に出力される。その通知を受け付けると、制御部５２０は、パノラマ画像の撮像動作を終了するための終了処理を行う。すなわち、パノラマ画像の撮像動作の終了位置に対応する画像の撮像動作が終了した後に、その撮像動作が終了する。

なお、マッチング処理において、保持画像５１１と一致する画像が検出されない場合には、予め設定されているパノラマ画像の撮像範囲（終了位置（または、終了位置から所定角度だけ進んだ位置））において、終了処理を行う。

また、この例では、撮像装置５００のスイング操作が行われている間、マッチング処理を順次行う例を示したが、予め設定されているパノラマ画像の撮像動作の終了位置から一定範囲内でのみマッチング処理を行うようにしてもよい。例えば、その終了位置から±５度の範囲内になった場合にマッチング処理を開始するようにしてもよい。これにより、撮像装置５００の撮像動作時における負荷を軽減することができる。また、パノラマ全体で特徴のない領域が多い場合でも、適切にマッチング処理を行うことができる。

［撮像装置の動作例］
図１６および図１７は、本技術の第２の実施の形態における撮像装置５００による撮像制御処理の処理手順の一例を示すフローチャートである。図１６および図１７は、図１１および図１２の変形例であるため、図１１および図１２と共通する部分については、同一の符号を付して、その説明の一部を省略する。

パノラマ画像の撮像動作の終了位置が設定された後に（ステップＳ９０３）、マッチング画像検出部５１０が、その決定操作が受け付けられた際に撮像素子１１２により生成された画像を保持する（ステップＳ９２１）。

また、生成された撮像画像の記録処理が行われた後に（ステップＳ９１５）、マッチング画像検出部５１０が、その生成された画像と、保持されている画像（保持画像）とが一致するか否かを判断する（ステップＳ９２２）。その生成された画像と、保持画像とが一致しない場合には（ステップＳ９２２）、ステップＳ９１３に戻る。一方、その生成された画像と、保持画像とが一致した場合には（ステップＳ９２２）、マッチング画像検出部５１０が、その旨の通知を制御部１６０に出力する。これにより、パノラマ画像の撮像動作の終了処理が行われ、画像合成部１２０がパノラマ画像を生成する（ステップＳ９１７）。

＜３．第３の実施の形態＞
本技術の第１の実施の形態では、パノラマ画像の撮像動作の終了位置および開始位置の決定操作を手動で行う例を示した。ここで、パノラマ画像の画サイズ（角度）が予め設定されている場合には、パノラマ画像上における所定位置（例えば、中間位置）を決定することにより、パノラマ画像の撮像動作の開始位置および終了位置を自動で決定することができると考えられる。そこで、本技術の第３の実施の形態では、パノラマ画像上における所定位置の決定により、パノラマ画像の撮像動作の開始位置および終了位置を自動で決定する例を示す。なお、本技術の第３の実施の形態における撮像装置の構成については、図１に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、同一の符号を付して、その説明を省略する。

［パノラマ画像の撮像動作例］
図１８は、本技術の第３の実施の形態における撮像装置１００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。なお、図１８（ａ）では、図５等と同様に、説明の容易のため、図４に示す場所４００における建物４０１、４０２、大きな木４０３のみを示し、他の図示を省略する。また、図１８では、１８０度の画サイズが予め設定されている場合における撮像動作例を示す。

図１８（ａ）には、撮像装置１００と、撮像装置１００を両手で持った状態のユーザ４２０とを上面から見た状態を簡略化して示す。例えば、ユーザ４２０は、入出力パネル２００に表示される被写体を見ながら、パノラマ画像における中間位置（パノラマ画像における中心に相当する位置）を確認し、パノラマ画像の中間位置を決定する決定操作を行ったものとする。この決定操作は、本技術の第１の実施の形態と同様に、シャッターボタン１９１の全押し操作により行うことができる。

例えば、ユーザ４２０は、入出力パネル２００に表示されているＬＶ画像を見ながら、パノラマ画像における中間位置を決定する。例えば、図１８（ａ）に示すように、建物４０１が含まれる撮像範囲を中間位置として決定する場合には、図１８（ａ）に示す状態で、ユーザ４２０がシャッターボタン１９１の全押し操作（決定操作）を行う。このように中間位置の決定操作が行われた場合には、制御部１６０が、その決定操作時における撮像装置１００の姿勢を基準姿勢とする。すなわち、その決定操作が行われた際に姿勢検出部１５０から出力された姿勢情報に係る姿勢が、撮像装置１００の基準姿勢として決定される。なお、ユーザ４２０がパノラマ画像の撮像動作の中間位置を決定した後に入出力パネル２００に表示される表示画面例については、図１８（ｂ）に示す。

ここで、設定されている画サイズをθ１（＝１８０度）とし、水平方向における撮像動作の開始位置および終了位置の決定方法について説明する。

例えば、図１８（ａ）に示す状態でユーザ４２０がシャッターボタン１９１の全押し操作を行ったものとする。この場合には、その操作時における位置６０１からの光軸方向（中間位置６０２の方向）を基準として、設定されている画サイズθ１に基づいて撮像動作の開始位置６０３および終了位置６０４が決定される。具体的には、画サイズθ１に基づいて、中間位置６０２から撮像動作の開始位置６０３までの角度θ２（＝９０度）と、中間位置６０２から撮像動作の終了位置６０４までの角度θ３（＝９０度）とが決定される。すなわち、θ２＝θ１／２、θ３＝θ１／２が算出される。

なお、中間位置以外の位置を基準位置として決定するようにしてもよい。例えば、画サイズとして１２０度が設定されている場合に、基準位置として４０度（すなわち、開始位置から４０度）を用いるようにしてもよい。この場合には、θ２＝θ１×（１／３）、θ３＝θ１×（２／３）となる。なお、この基準位置については、ユーザ操作により変更するようにしてもよい。

図１８（ｂ）には、パノラマ画像の中間位置を決定する決定操作が行われた際に表示される操作アシスト画面６１０を示す。

操作アシスト画面６１０には、現在の撮像対象となっている被写体がＬＶ画像として表示されるとともに、メッセージ表示領域６１１と、操作支援画像６１２乃至６１４とがＬＶ画像上に重ねて表示される。

メッセージ表示領域６１１には、パノラマ画像の撮像動作の中間位置を決定した旨のメッセージと、パノラマ画像の撮像動作の開始位置まで撮像装置１００を移動させることを促すメッセージとが表示される。

操作支援画像６１２、６１３は、本技術の第１の実施の形態と同様に、パノラマ画像の撮像範囲（矩形状）を示す点線（全体として矩形状の点線）であり、操作アシスト画面６１０に表示されているＬＶ画像上に配置される。また、操作支援画像６１４は、本技術の第１の実施の形態と同様に、パノラマ画像における中心位置（スイング方向における中心位置）を示す実線であり、操作アシスト画面６１０に表示されているＬＶ画像上に配置される。

なお、撮像装置１００の姿勢の変化に応じた操作アシスト画面の表示方法については、本技術の第１の実施の形態と略同様であるため、ここでの説明を省略する。

このように、パノラマ画像の撮像動作の終了位置以外の位置（例えば、中間位置）を基準位置として決定する場合でも、ユーザ好みのパノラマ画像を容易に生成することができる。

＜４．第４の実施の形態＞
本技術の第１の実施の形態では、１つの撮像部を備える撮像装置を例にして説明した。ここで、１つの撮像装置が複数の撮像部（例えば、主カメラおよび補助カメラ）を備えることも想定される。この場合に、１つの撮像部（例えば、主カメラ）を用いてパノラマ画像の撮像動作を行うことができるが、このパノラマ画像の撮像動作において、他の撮像部（例えば、補助カメラ）を用いることができると考えられる。そこで、本技術の第４の実施の形態では、複数の撮像部を備える撮像装置を用いてパノラマ画像の撮像動作を行う例を示す。

［撮像装置の外観構成例］
図１９は、本技術の第４の実施の形態における撮像装置７００の外観を示す外観構成図である。図１９（ａ）は、撮像装置７００の正面側の外観を示す斜視図である。また、図１９（ｂ）は、撮像装置７００の上面（すなわち、シャッターボタン１９１、ダイヤル１９２が設けられている面）側の外観を示す上面図である。なお、図１９（ｂ）では、右側レンズ部７０１および左側レンズ部７０２以外の部分については、点線で簡略化して示す。なお、撮像装置７００は、図２に示す撮像装置１００の一部を変形したものである。このため、図１９では、撮像装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

撮像装置７００は、右側レンズ部７０１および左側レンズ部７０２を備える。

右側レンズ部７０１および左側レンズ部７０２は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、特定方向（図１９に示す例では、水平方向）に回動可能である。例えば、右側レンズ部７０１は、水平方向においてθ１１（度）だけ回動可能であり、左側レンズ部７０２は、水平方向においてθ１２（度）だけ回動可能であるものとする。例えば、θ１１＝θ１２＝９０（度）とすることができる。この場合には、右側レンズ部７０１の光軸方向とレンズ部１１１の光軸方向とが平行となる位置から、右側レンズ部７０１の光軸方向とレンズ部１１１の光軸方向とが直行する位置までの範囲を右側レンズ部７０１の回動範囲とすることができる。同様に、左側レンズ部７０２の光軸方向とレンズ部１１１の光軸方向とが平行となる位置から、左側レンズ部７０２の光軸方向とレンズ部１１１の光軸方向とが直行する位置までの範囲を左側レンズ部７０２の回動範囲とすることができる。

［撮像装置の機能構成例］
図２０は、本技術の第４の実施の形態における撮像装置７００の機能構成例を示すブロック図である。なお、撮像装置７００は、図１に示す撮像装置１００の一部を変形したものである。このため、図２０では、撮像装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

撮像装置７００は、右側レンズ部７０１と、左側レンズ部７０２と、撮像素子７０３と、撮像素子７０４と、画像処理部７１１と、画像合成部７１２と、制御部７１３とを備える。

右側レンズ部７０１および左側レンズ部７０２は、図１９に示すものと同様である。また、右側レンズ部７０１およびアイリスを介して入射された被写体からの光が撮像素子７０３に供給され、左側レンズ部７０２およびアイリスを介して入射された被写体からの光が撮像素子７０４に供給される。

撮像素子７０３は、右側レンズ部７０１を介して入射された光（被写体からの入射光）を変換して画像（画像データ）を生成するものであり、生成された画像を画像処理部７１１に供給する。

撮像素子７０４は、左側レンズ部７０２を介して入射された光（被写体からの入射光）を変換して画像（画像データ）を生成するものであり、生成された画像を画像処理部７１１に供給する。なお、撮像素子１１２は、特許請求の範囲に記載の撮像部の一例である。また、撮像素子７０３、７０４は、特許請求の範囲に記載の第２の撮像部の一例である。

すなわち、レンズ部１１１および撮像素子１１２が、主カメラ（メインカメラ）として機能し、右側レンズ部７０１および撮像素子７０３と、左側レンズ部７０２および撮像素子７０４とが、補助カメラ（サブカメラ）として機能する。また、主カメラの光軸方向とは異なる光軸方向となるように補助カメラを配置することができるようにする。なお、主カメラおよび補助カメラとして、異なる機能のものを用いることができる。例えば、主カメラは、１２００万画素程度の解像度を備えるカメラとし、補助カメラは、２００万画素程度の解像度を備えるカメラとするようにしてもよい。

画像処理部７１１は、制御部７１３の制御に基づいて、撮像素子１１２、撮像素子７０３、撮像素子７０４のそれぞれにより生成された画像（画像データ）について各種画像処理を行うものである。また、画像処理部７１１は、画像処理が施された画像（画像データ）を画像合成部７１２および表示制御部１７０に供給する。

画像合成部７１２は、制御部７１３の制御に基づいて、画像処理部７１１から供給される複数の画像を用いてパノラマ画像を生成するものであり、生成されたパノラマ画像を記録制御部１３０に供給する。

制御部７１３は、パノラマ画像の撮像動作における開始位置または終了位置に補助カメラの光軸方向を向けた状態で決定操作が受け付けられた場合には、主カメラと補助カメラとの配置関係に基づいてパノラマ画像の撮像範囲を決定する。その決定操作は、パノラマ画像における中間位置を基準位置として決定する決定操作である。

［パノラマ画像の撮影方法の設定画面例］
図２１は、本技術の第４の実施の形態における入出力パネル２００に表示される設定画面例（撮影方法設定画面７３０）を示す図である。

撮影方法設定画面７３０は、パノラマ画像の撮影方法を設定する際に入出力パネル２００に表示される画面である。例えば、パノラマ画像撮像モードの設定操作が行われた直後に撮影方法設定画面７３０が表示される。撮影方法設定画面７３０には、選択ボタン７３１乃至７３４と、決定ボタン７３５と、戻るボタン７３６とが設けられている。

選択ボタン７３１乃至７３４は、パノラマ画像の撮影方法を設定する際に用いられるボタンである。ここで、選択ボタン７３４に対応するパノラマ画像の撮影方法については、本技術の第１の実施の形態で示した撮影方法に対応する。また、選択ボタン７３１乃至７３３に対応するパノラマ画像の撮影方法については、図２２乃至図２４を参照して詳細に説明する。なお、以下では、選択ボタン７３１に対応するパノラマ画像の撮影方法を第１の撮影方法と称して説明する。また、選択ボタン７３２に対応するパノラマ画像の撮影方法を第２の撮影方法と称し、選択ボタン７３３に対応するパノラマ画像の撮影方法を第３の撮影方法と称して説明する。

決定ボタン７３５は、パノラマ画像の撮影方法を選択する選択操作がされた後に、その選択を決定する際に押下されるボタンである。また、決定ボタン７３５の押下操作により決定されたパノラマ画像の撮影方法に関する情報（撮影方法情報）が制御部１６０に出力されて保持される。

戻るボタン７３６は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。

［パノラマ画像の撮像動作例（第１の撮影方法）］
図２２は、本技術の第４の実施の形態における撮像装置７００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。なお、図２２（ａ）では、図５等と同様に、説明の容易のため、図４に示す場所４００における建物４０１、４０２、大きな木４０３のみを示し、他の図示を省略する。また、図２２では、１８０度の画サイズが予め設定されている場合における撮像動作例を示す。また、図２２では、第１の撮影方法が設定されている場合（すなわち、図２１に示す選択ボタン７３１に対応するパノラマ画像の撮影方法が設定されている場合）における撮像動作例を示す。

ここで、第１の撮影方法が設定されている場合には、右側レンズ部７０１および左側レンズ部７０２のそれぞれの光軸方向は、設定されている画サイズに基づいて決定されるものとする。例えば、設定されている画サイズがθ１である場合には、右側レンズ部７０１および左側レンズ部７０２のそれぞれの光軸方向は、レンズ部１１１の光軸方向からθ１／２だけ回動した位置に決定される。例えば、図２２（ａ）に示すように、設定されている画サイズが１８０（度）である場合には、右側レンズ部７０１および左側レンズ部７０２のそれぞれの光軸方向は、レンズ部１１１の光軸方向から９０（度）だけ回動した位置に決定される。すなわち、レンズ部１１１の光軸方向と、右側レンズ部７０１および左側レンズ部７０２のそれぞれの光軸方向とが直行する位置に決定される。

なお、右側レンズ部７０１および左側レンズ部７０２については、制御部７１３の制御に基づいて、１または複数の駆動部（図示せず）により自動で画サイズに応じて移動させることができる。

図２２（ａ）には、レンズ部１１１の光軸方向を建物４０１の方向としている撮像装置７００を上面から見た状態を簡略化して示す。図２２（ｂ）には、パノラマ画像の中間位置を決定する決定操作（開始位置および終了位置の決定操作）が行われた際に表示される操作アシスト画面７５０を示す。

操作アシスト画面７５０には、開始位置被写体表示領域７５１と、終了位置被写体表示領域７５２と、メッセージ表示領域７５３と、操作支援画像７５４、７５５とがＬＶ画像上に重ねて表示される。なお、ＬＶ画像は、レンズ部１１１を介して入射された被写体光に基づいて撮像素子１１２により生成された画像（すなわち、建物４０１を含む画像）である。すなわち、主カメラにより現在の撮像対象となっている被写体を含む画像である。

開始位置被写体表示領域７５１には、左側レンズ部７０２を介して入射された被写体光に基づいて撮像素子７０４により生成された画像（すなわち、建物４０２を含む画像）が表示される。

終了位置被写体表示領域７５２には、右側レンズ部７０１を介して入射された被写体光に基づいて撮像素子７０３により生成された画像（すなわち、大きな木４０３を含む画像）が表示される。

メッセージ表示領域７５３には、パノラマ画像の撮像動作の開始位置および終了位置に存在する各被写体を表示する旨のメッセージと、パノラマ画像の撮像動作の開始位置まで撮像装置１００を移動させることを促すメッセージとが表示される。

操作支援画像７５４、７５５は、本技術の第１の実施の形態と同様に、パノラマ画像の垂直方向の撮像範囲を示す画像（点線）である。

ここで、例えば、ユーザは、入出力パネル２００に表示される被写体（開始位置、中間位置、終了位置に存在する各被写体）を見ながら、パノラマ画像の位置を確認し、パノラマ画像の中間位置（開始位置および終了位置）を決定する決定操作を行うことができる。この決定操作は、本技術の第１の実施の形態と同様に、シャッターボタン１９１の全押し操作により行うことができる。

例えば、ユーザは、入出力パネル２００に表示されているＬＶ画像を見ながら、パノラマ画像に対応する撮像範囲を決定することができる。例えば、図２２（ａ）に示すように、建物４０２の位置を開始位置７４２とし、大きな木４０３の位置を終了位置７４３とする場合には、図２２（ａ）に示す状態で、ユーザがシャッターボタン１９１の全押し操作（決定操作）を行う。このように決定操作が行われた場合には、制御部７１３が、その決定操作時における撮像装置１００の姿勢を基準姿勢とする。すなわち、その決定操作が行われた際に姿勢検出部１５０から出力された姿勢情報に係る姿勢が、撮像装置１００の基準姿勢として決定される。

ここで、開始位置被写体表示領域７５１および終了位置被写体表示領域７５２には、パノラマ画像の撮像動作が終了するまでの間、決定操作時における画像のみを継続して表示させるようにしてもよい。これにより、パノラマ画像の撮像動作を行っているユーザが、パノラマ画像の撮像動作の開始位置および終了位置を視覚的に容易に把握することができる。

このように、開始位置被写体表示領域７５１に開始位置７４２に相当する被写体を表示し、終了位置被写体表示領域７５２に終了位置７４３に相当する被写体を表示することにより、ユーザがパノラマ画像における各位置を容易に把握することができる。

なお、撮像装置１００の姿勢の変化に応じた操作アシスト画面の表示方法については、本技術の第１の実施の形態と略同様であるため、ここでの説明を省略する。

［パノラマ画像の撮像動作例（第２の撮影方法）］
図２３は、本技術の第４の実施の形態における撮像装置７００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。なお、図２３（ａ）では、図５等と同様に、説明の容易のため、図４に示す場所４００における建物４０１、４０２、大きな木４０３のみを示し、他の図示を省略する。また、図２３では、１８０度の画サイズが予め設定されている場合における撮像動作例を示す。また、図２３では、第２の撮影方法が設定されている場合（すなわち、図２１に示す選択ボタン７３２に対応するパノラマ画像の撮影方法が設定されている場合）における撮像動作例を示す。

ここで、第２の撮影方法が設定されている場合には、左側レンズ部７０２の光軸方向は、設定されている画サイズに基づいて決定されるものとする。例えば、設定されている画サイズがθ１である場合には、左側レンズ部７０２の光軸方向は、レンズ部１１１の光軸方向からθ１／２だけ回動した位置に決定される。例えば、図２３（ａ）に示すように、設定されている画サイズが１８０（度）である場合には、左側レンズ部７０２の光軸方向は、レンズ部１１１の光軸方向から９０（度）だけ左方向に回動した位置に決定される。すなわち、レンズ部１１１の光軸方向と、左側レンズ部７０２の光軸方向とが直行する位置に決定される。

なお、左側レンズ部７０２については、制御部７１３の制御に基づいて、駆動部（図示せず）により自動で画サイズに応じて移動させることができる。

図２３（ａ）には、レンズ部１１１の光軸方向を建物４０１の方向としている撮像装置７００を上面から見た状態を簡略化して示す。図２３（ｂ）には、パノラマ画像の中間位置（開始位置）を決定する決定操作が行われた際に表示される操作アシスト画面７６０を示す。

操作アシスト画面７６０には、開始位置被写体表示領域７６１と、メッセージ表示領域７６２と、操作支援画像７６３、７６４とがＬＶ画像上に重ねて表示される。なお、操作アシスト画面７６０は、図２２（ｂ）に示す終了位置被写体表示領域７５２が表示されない点以外は、図２２（ｂ）に示す操作アシスト画面７５０と略同様である。このため、ここでの詳細な説明を省略する。

このように、開始位置被写体表示領域７６１に開始位置７４２に相当する被写体を表示することにより、ユーザがパノラマ画像における各位置を容易に把握することができる。

［パノラマ画像の撮像動作例（第３の撮影方法）］
図２４は、本技術の第４の実施の形態における撮像装置７００の姿勢と、入出力パネル２００に表示される表示画面との関係例を模式的に示す図である。なお、図２４（ａ）では、図５等と同様に、説明の容易のため、図４に示す場所４００における建物４０１、４０２、大きな木４０３のみを示し、他の図示を省略する。また、図２４では、１８０度の画サイズが予め設定されている場合における撮像動作例を示す。また、図２４では、第３の撮影方法が設定されている場合（すなわち、図２１に示す選択ボタン７３３に対応するパノラマ画像の撮影方法が設定されている場合）における撮像動作例を示す。

ここで、第３の撮影方法が設定されている場合には、右側レンズ部７０１の光軸方向は、設定されている画サイズに基づいて決定されるものとする。例えば、設定されている画サイズがθ１である場合には、右側レンズ部７０１の光軸方向は、レンズ部１１１の光軸方向からθ１／２だけ回動した位置に決定される。例えば、図２４（ａ）に示すように、設定されている画サイズが１８０（度）である場合には、右側レンズ部７０１の光軸方向は、レンズ部１１１の光軸方向から９０（度）だけ右方向に回動した位置に決定される。すなわち、レンズ部１１１の光軸方向と、右側レンズ部７０１の光軸方向とが直行する位置に決定される。

なお、右側レンズ部７０１については、制御部７１３の制御に基づいて、駆動部（図示せず）により自動で画サイズに応じて移動させることができる。

図２４（ａ）には、レンズ部１１１の光軸方向を建物４０１の方向としている撮像装置７００を上面から見た状態を簡略化して示す。図２４（ｂ）には、パノラマ画像の中間位置（終了位置）を決定する決定操作が行われた際に表示される操作アシスト画面７７０を示す。

操作アシスト画面７７０には、終了位置被写体表示領域７７１と、メッセージ表示領域７７２と、操作支援画像７７３、７７４とがＬＶ画像上に重ねて表示される。なお、操作アシスト画面７７０は、図２２（ｂ）に示す開始位置被写体表示領域７５１が表示されない点以外は、図２２（ｂ）に示す操作アシスト画面７５０と略同様である。このため、ここでの詳細な説明を省略する。

このように、終了位置被写体表示領域７７１に終了位置７４３に相当する被写体を表示することにより、ユーザがパノラマ画像における各位置を容易に把握することができる。

なお、補助カメラにより生成された画像を用いて、パノラマ画像の撮像動作の開始位置における撮像動作の開始処理、または、パノラマ画像の撮像動作の終了位置における撮像動作の終了処理を自動で行うようにしてもよい。例えば、本技術の第２の実施の形態を適用することができる。具体的には、開始位置被写体表示領域に表示された画像（すなわち、撮像素子７０４により生成された画像）を保持し、この保持された画像と、撮像素子１１２により生成された画像とのマッチング処理によりパノラマ画像の撮像動作の開始位置を検出する。そして、その開始位置が検出された場合には、パノラマ画像の撮像動作の開始処理を自動で行う。同様に、終了位置被写体表示領域に表示された画像（すなわち、撮像素子７０３により生成された画像）を保持し、この保持された画像と、撮像素子１１２により生成された画像とのマッチング処理によりパノラマ画像の撮像動作の終了位置を検出する。そして、その終了位置が検出された場合には、パノラマ画像の撮像動作の終了処理を自動で行う。

［補助カメラの画像を用いたパノラマ画像の生成例］
以上では、主カメラにより生成された画像をパノラマ画像の生成に用いる例を示した。ここでは、主カメラにより生成された画像と、補助カメラにより生成された画像とをパノラマ画像の生成に用いる例を示す。

図２５は、本技術の第４の実施の形態における複数の撮像部により生成される画像を用いたパノラマ画像の合成例を示す図である。

ここで、例えば、明暗の差が大きいシーン（例えば、夕景シーン（図３２（ａ）に示す））をパノラマ画像の撮像範囲とする場合には、撮像装置７００が備える撮像素子１１２のダイナミックレンジが不足することが想定される。このように撮像素子１１２のダイナミックレンジが不足する場合には、パノラマ画像における明るい部分が飽和して白トビが生じたり、パノラマ画像における暗い部分で黒つぶれが生じたりすることがある。

そこで、例えば、異なる露光時間の撮像処理により生成される長時間露光画像および短時間露光画像を合成することにより、ダイナミックレンジが拡張された合成画像を生成する技術が知られている。なお、長時間露光画像および短時間露光画像は、異なる露出条件で連続して生成される撮像画像である。具体的には、短時間露光画像は、例えば、露光時間が相対的に短い撮像画像であり、同一の撮影シーンに対して被写体の明部を重視する画像である。これに対して、長時間露光画像は、例えば、露光時間が相対的に長い撮像画像であり、同一の撮影シーンに対して被写体の暗部を重視する画像である。このため、長時間露光画像および短時間露光画像を合成することにより、ハイライトおよびシャドーの階調が再現された合成画像を生成することができ、ダイナミックレンジを拡張することができる。

そこで、図２５に示す例では、複数の撮像素子により生成された画像を用いて、ダイナミックレンジを拡張する例を示す。

図２５（ａ）には、撮像素子１１２、７０３、７０４により生成された画像を用いて、パノラマ画像を生成する例を示す。

例えば、撮像素子１１２の撮像対象となる撮像範囲を主カメラの撮像範囲７８０とする。また、撮像素子７０４の撮像対象となる撮像範囲を補助カメラの撮像範囲７８１とし、撮像素子７０３の撮像対象となる撮像範囲を補助カメラの撮像範囲７８２とする。

例えば、撮像素子１１２は、通常の撮像画像を生成し、撮像素子７０３および７０４は、露出条件が異なる複数の撮像画像（長時間露光画像および短時間露光画像）を生成するものとする。具体的には、撮像素子７０３および７０４は、パノラマ画像の撮像動作中において撮像素子１１２とは異なる露出条件により、同一の被写体を２回連続して撮像することにより、長時間露光画像および短時間露光画像を生成する。

画像合成部７１２は、撮像素子１１２により生成された複数の画像と、撮像素子７０３および７０４により生成された複数の画像とを合成することにより、少なくとも一部の領域のダイナミックレンジが拡張されたパノラマ画像を生成する。例えば、画像合成部７１２は、短時間露光画像を構成する画素の輝度に応じて、その画素の合成比を決定し、この合成比に基づいて、画像処理部７１１から出力された各画像（長時間露光画像および短時間露光画像）についてハイダイナミックレンジ合成処理を行う。この場合に、画像合成部７１２は、例えば、画像処理部７１１から出力された各画像（通常の撮像画像、長時間露光画像および短時間露光画像）についてマッチング処理により位置合わせを行い、合成処理を行うことができる。

図２５（ｂ）には、撮像素子１１２、７０４により生成された画像を用いて、パノラマ画像を生成する例を示す。また、図２５（ｃ）には、撮像素子１１２、７０３により生成された画像を用いて、パノラマ画像を生成する例を示す。なお、図２５（ｂ）および（ｃ）に示す例では、パノラマ画像における一部の領域のみについて、ダイナミックレンジが拡張された画像を生成することができる。この場合には、被写体に応じて、何れかの撮像動作を選択することができる。

［水平方向以外の方向に回動可能な補助カメラを備える撮像装置例］
以上では、水平方向に回動可能な補助カメラを用いてパノラマ画像を生成する例を示した。ここで、垂直方向を長手方向とするパノラマ画像を生成する場合には、垂直方向に回動可能な補助カメラを用いてパノラマ画像を生成することが想定される。そこで、この例では、水平方向以外の方向に回動可能な補助カメラを備える撮像装置の一例を示す。

図２６は、本技術の第４の実施の形態における撮像装置７９０の外観を示す外観構成図である。図２６（ａ）は、撮像装置７９０の正面側の外観を示す斜視図である。また、図２６（ｂ）は、撮像装置７９０の上面（すなわち、シャッターボタン１９１、ダイヤル１９２が設けられている面）側の外観を示す上面図である。なお、撮像装置７９０は、図１９に示す撮像装置７００の一部を変形したものである。このため、図２６では、撮像装置７００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

撮像装置７９０は、右側レンズ部７９１および左側レンズ部７９２を備える。

右側レンズ部７９１および左側レンズ部７９２は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、各方向（例えば、図２６に示す例では、水平方向、垂直方向等）に回動可能であるものとする。例えば、右側レンズ部７９１は、水平方向において矢印７９３方向に回動可能であり、垂直方向において矢印７９４方向に回動可能であるものとする。また、左側レンズ部７９２は、水平方向において矢印７９５方向に回動可能であり、垂直方向において矢印７９６方向に回動可能であるものとする。

なお、右側レンズ部７９１および左側レンズ部７９２については、制御部７１３の制御に基づいて、駆動部（図示せず）により自動で画サイズおよびスイング方向に応じて移動させることができるものとする。

このように、水平方向以外の方向に回動可能な補助カメラを備える撮像装置について本技術の第４の実施の形態を適用することができる。

＜５．変形例＞
本技術の第１乃至第４の実施の形態では、パノラマ画像の撮像範囲を示す操作支援画像を表示する例を示した。この変形例では、操作支援画像の他の表示例を示す。なお、この変形例で示す撮像装置は、図１に示す撮像装置１００の一部を変形したものである。このため、この変形例では、撮像装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。また、この変形例では、操作支援画像に表示されるメッセージ表示領域を省略して示す。

［パノラマ画像の撮像範囲外の色を変更する例］
図２７は、本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。

図２７（ａ）には、パノラマ画像における中心位置（スイング方向における中心位置）に相当する被写体を撮像している場合に表示される操作アシスト画面８００の表示例を示す。なお、操作アシスト画面８００は、図７（ｂ）に示す操作アシスト画面３２０、図１８（ｂ）に示す操作アシスト画面６１０と略同様であるため、ここでの説明を省略する。

図２７（ｂ）には、パノラマ画像における開始位置付近に相当する被写体を撮像対象としている場合に表示される操作アシスト画面８０５の表示例を示す。図２７（ｂ）に示す例は、パノラマ画像における開始位置よりも撮像装置１００をスイングさせた場合を示す。この場合には、パノラマ画像における左端部の撮像範囲を示す操作支援画像８０７が画面の真ん中寄りに表示される。

また、図２７（ｂ）に示す表示例では、パノラマ画像の撮像範囲外の色を変更する。例えば、パノラマ画像の撮像範囲の外側の領域８０９全体をグレー色とすることができる。このように、パノラマ画像の撮像範囲の外側の領域８０９を、異なる表示態様とすることにより、パノラマ画像に含まれない可能性が高い領域である旨をユーザに通知することができる。

［パノラマ画像の撮像範囲の角度を表示する例］
図２８は、本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。図２８では、パノラマ画像の撮像範囲に対応する角度を表示する例を示す。

図２８（ａ）、（ｂ）には、パノラマ画像の撮像範囲に対応する角度が表示される操作アシスト画面８１０、８１５の表示例を示す。なお、操作アシスト画面８１０は、図２７（ａ）に示す操作アシスト画面８００において、パノラマ画像の撮像範囲に対応する角度が表示される点が異なるが、これ以外の点については、操作アシスト画面８００と略同様である。また、操作アシスト画面８１５は、図２７（ｂ）に示す操作アシスト画面８０５において、パノラマ画像の撮像範囲に対応する角度が表示される点が異なるが、これ以外の点については、操作アシスト画面８０５と略同様である。このため、操作アシスト画面８００、８０５と共通する部分については、同一の符号を付して説明する。

例えば、下側部分の操作支援画像８０２、８０８に沿って、パノラマ画像の撮像範囲に対応する角度が表示される。この角度は、パノラマ画像における中心位置を０度とした場合における角度とする。このように、パノラマ画像の撮像範囲に対応する角度を表示することにより、正確な撮像範囲をユーザが容易に把握することができる。

［パノラマ画像の撮像範囲の中心を示す操作支援画像を表示する例］
図２９は、本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。図２９では、パノラマ画像の撮像範囲の中心（スイング方向と直行する方向における中心）を示す操作支援画像を表示する例を示す。

図２９（ａ）、（ｂ）には、パノラマ画像の撮像範囲の中心を示す操作支援画像が表示される操作アシスト画面８２０、８２５の表示例を示す。なお、操作アシスト画面８２０は、図２８（ａ）に示す操作アシスト画面８１０において、操作支援画像８２１が表示される点が異なるが、これ以外の点については、操作アシスト画面８１０と略同様である。また、操作アシスト画面８２５は、図２８（ｂ）に示す操作アシスト画面８１５において、操作支援画像８２６が表示される点が異なるが、これ以外の点については、操作アシスト画面８１５と略同様である。このため、操作アシスト画面８１０、８１５と共通する部分については、同一の符号を付して説明する。

例えば、スイング方向が水平方向である場合には、パノラマ画像の撮像範囲の垂直方向における中心を示す操作支援画像８２１、８２６が表示される。このように、操作支援画像８２１、８２６を表示することにより、パノラマ画像のスイング方向やパノラマ画像の撮像範囲の垂直方向における中心をユーザが容易に把握することができる。

［パノラマ画像の基準位置から所定範囲を示す操作支援画像を表示する例］
図３０は、本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。図３０では、パノラマ画像の基準位置から所定範囲を示す操作支援画像を表示する例を示す。この基準位置は、例えば、パノラマ画像における中心位置、パノラマ画像における端部の位置とすることができる。

図３０（ａ）、（ｂ）には、パノラマ画像の基準位置から所定範囲を示す操作支援画像が表示される操作アシスト画面８３０、８３５の表示例を示す。なお、操作アシスト画面８３０は、図２９（ａ）に示す操作アシスト画面８２０において、操作支援画像８３１が表示される点が異なるが、これ以外の点については、操作アシスト画面８２０と略同様である。また、操作アシスト画面８３５は、図２９（ｂ）に示す操作アシスト画面８２５において、操作支援画像８３６が表示される点が異なるが、これ以外の点については、操作アシスト画面８２５と略同様である。このため、操作アシスト画面８２０、８２５と共通する部分については、同一の符号を付して説明する。

例えば、図３０（ａ）に示すように、パノラマ画像における中心位置（スイング方向における中心位置）から所定範囲（例えば、±１０度）を示す操作支援画像８３１が表示される。

また、例えば、図３０（ｂ）に示すように、パノラマ画像における左端部の位置（スイング方向における左端部の位置）から所定範囲（例えば、±１０度）を示す操作支援画像８３６が表示される。

このように、操作支援画像８３１、８３６を表示することにより、パノラマ画像の基準位置から所定範囲である旨をユーザが容易に把握することができる。

［スイング方向を垂直方向とする場合における操作支援画像の表示例］
以上では、スイング方向を水平方向とする場合における操作支援画像の表示例を示した。ただし、上述したように、スイング方向を垂直方向とする場合についても、本技術の実施の形態を適用することができる。そこで、図３１では、スイング方向を垂直方向とする場合における操作支援画像の表示例を示す。

図３１は、本技術の実施の形態の変形例における撮像装置１００に表示される操作アシスト画面の表示例を示す図である。

なお、図３１に示す操作アシスト画面８４０は、図３０（ａ）に示す操作アシスト画面８３０において、スイング方向を垂直方向とする場合における操作支援画像に変更したものであり、これ以外の点については、操作アシスト画面８３０と略同様である。すなわち、操作支援画像８４１乃至８４５は、図３０（ａ）に示す操作支援画像８０１乃至８０３、８２１、８３１に対応する。

このように、各種の操作支援画像を表示することにより、パノラマ画像の撮像動作を容易に行うことができ、ユーザ好みのパノラマ画像を容易に生成することができる。また、これらの操作支援画像をユーザ操作により変更可能とするようにしてもよい。これにより、ユーザ好みの操作支援画像を用いてパノラマ画像の撮像動作を行うことができる。

［パノラマ画像の撮像動作の終了位置から開始位置までの明るさ情報を用いて露出制御を行う例］
図３２は、本技術の実施の形態の変形例における撮像装置８６０により生成されるパノラマ画像の撮像範囲と撮像動作との関係を示す図である。

図３２（ａ）には、夕景シーンを被写体として撮像装置８６０によりパノラマ画像を生成する場合におけるパノラマ画像の撮像範囲８５０を示す。

一般に、パノラマ画像の撮像範囲は、比較的広範囲となるため、パノラマ画像の中に比較的明るい部分と、比較的暗い部分とが混在することがある。例えば、図３２（ａ）に示すように、夕景シーンをパノラマ画像の被写体とする場合には、パノラマ画像の撮像範囲８５０の中に比較的明るい部分（明るい領域８５１）と比較的暗い部分（暗い領域８５２）とが混在することが多い。

このような場合には、例えば、パノラマ画像の撮像範囲８５０の中で、ちょうどよい明るさの部分をユーザ８６１が見つけて、手動操作により露出調整を行うことが想定される。しかしながら、パノラマ画像の撮像範囲８５０の中で、ちょうどよい明るさの部分を見つけることは、困難であることも想定される。

図３２（ｂ）には、撮像装置８６０によりパノラマ画像を生成する場合におけるパノラマ画像の撮像動作を示す。

ここで、本技術の第１および第２の実施の形態では、パノラマ画像の撮像動作の終了位置から開始位置まで撮像装置を移動させた後に、開始位置から終了位置まで撮像装置を移動させる例を示した。すなわち、図３２（ｂ）のスイング方向８６３、８６４に示すように、開始位置および終了位置間を撮像装置８６０が１往復することになる。この場合に、終了位置から開始位置までのスイング操作（スイング方向８６３）では、パノラマ画像の撮像範囲８５０における各種の情報を撮像装置８６０が取得することができる。そこで、この変形例では、パノラマ画像の撮像動作の終了位置から開始位置までの撮像装置８６０のスイング操作中に、パノラマ画像の撮像範囲８５０の明るさ情報を取得し、この取得された明るさ情報を用いて、パノラマ画像の露出を自動で設定する例を示す。

例えば、明るさ設定画面においてユーザが好みの明るさを予め設定しておく。例えば、パノラマ画像の撮像範囲に空を含める場合には、少し明るめの部分で露出をロックすることにより、パノラマ画像を比較的綺麗にすることができることが多い。そこで、例えば、パノラマ画像の撮像範囲に空を含める場合には、少し明るめの部分で露出をロックする設定をしておくことができる。このように露出条件が設定された場合において、パノラマ画像の撮像動作を行う場合には、その露出条件に基づいて、撮像装置８６０が自動で露出を設定する。

また、撮像装置８６０が、複数の撮像モード（例えば、風景モード、夕景モード、夜景モード、スノーモード、ビーチモード、水中モード）を設定することが可能な撮像装置である場合を想定する。この場合には、設定されている撮像モードに基づいて、パノラマ画像の撮像範囲８５０から取得された明るさ情報を用いて、パノラマ画像の露出を自動で設定することができる。

このように設定しておくことにより、ユーザ好みのパノラマ画像を容易に生成することができる。

［直線上を移動する場合におけるパノラマ画像の撮像動作例］
本技術の第１乃至第４の実施の形態では、撮像装置の位置を基準としてユーザが撮像装置のスイング操作を行うことによりパノラマ画像の撮像動作を行う例を示した。しかしながら、例えば、被写体に対して略並行する直線上において撮像装置を移動させることによりパノラマ画像の撮像動作を行うことも想定される。そこで、以下では、被写体に対して略並行する直線上において撮像装置を移動させることによりパノラマ画像の撮像動作を行う例について説明する。

図３３は、本技術の実施の形態の変形例における撮像装置８７０によりパノラマ画像を生成する際における撮像動作を模式的に示す図である。図３３（ａ）には、撮像装置８７０の位置（ユーザ８７１の位置）を回転中心として、撮像装置８７０を水平方向（スイング方向８７３）に回転させることによりパノラマ画像を生成する撮像動作について上側から見た状態を模式的に示す。また、図３３（ａ）では、その撮像動作により生成されるパノラマ画像の撮像範囲をパノラマ画像撮像範囲８７２として太線で模式的に示す。なお、図３３（ａ）に示す例は、本技術の第１乃至第４の実施の形態に示す例と同一であるため、ここでの説明を省略する。

図３３（ｂ）には、被写体に対して略並行する直線８８３上において撮像装置８７０を移動させることによりパノラマ画像を生成する撮像動作について上側から見た状態を模式的に示す。図３３（ｂ）に示す撮像動作は、例えば、一定の速度で移動することが可能な車等の移動装置を用いて、進行方向８８１に対して直行する方向を撮像装置８７０の光軸方向として行われるパノラマ画像の撮像動作である。例えば、撮像装置８７０を手で持ったユーザ８７１が乗っている車が進行方向８１１に一定または変速の速度で移動していくものとする。また、図３３（ｂ）では、その撮像動作により生成されるパノラマ画像の撮像範囲をパノラマ画像撮像範囲８８２として太線で模式的に示す。

このように、図３３（ｂ）に示す例では、撮像装置８７０の位置が直線８８３上において順次変更されるため、撮像装置８７０の姿勢の変化として、回転角度の代わりに、直線上における移動距離を用いる。また、パノラマ画像の撮像動作の開始位置および終了位置についても、直線上における位置を用いる。

なお、本技術の実施の形態では、撮像部を備える撮像装置を例にして説明したが、撮像部を着脱可能な画像処理装置に本技術の実施の形態を適用することができる。

また、本技術の実施の形態では、静止画を合成することによりパノラマ画像を生成する例を示したが、動画撮像動作により生成された動画を用いてパノラマ画像を生成する場合についても、本技術の実施の形態を適用することができる。また、多視点パノラマ画像を生成する場合についても、本技術の実施の形態を適用することができる。

また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置等の画像処理装置に本技術の実施の形態を適用することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１） 時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後の前記パノラマ画像における基準位置を決定する決定操作を前記パノラマ画像の撮像動作開始前に受け付ける操作受付部と、
前記決定された基準位置に基づいて前記被写体における前記パノラマ画像の撮像範囲を決定する制御を行う制御部と
を具備する画像処理装置。
（２） 前記撮像部による前記パノラマ画像の撮像動作中において、前記撮像部により生成された画像に前記決定された撮像範囲を表す操作支援画像を重ねて表示部に表示させる表示制御部をさらに具備する前記（１）に記載の画像処理装置。
（３） 前記表示制御部は、前記撮像部により生成された画像に含まれる被写体のうち前記決定された撮像範囲に含まれる被写体を特定するための画像を前記操作支援画像として前記表示部に表示させる前記（２）に記載の画像処理装置。
（４） 前記画像処理装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記表示制御部は、前記検出された姿勢の変化に基づいて前記操作支援画像の表示態様を変更して表示させる
前記（３）に記載の画像処理装置。
（５） 前記表示制御部は、前記パノラマ画像に対応する略矩形状の輪郭を表す画像を前記操作支援画像として前記表示部に表示させる前記（３）に記載の画像処理装置。
（６） 前記操作受付部は、前記パノラマ画像の撮像範囲の長手方向におけるサイズを設定する設定操作を受け付け、
前記制御部は、前記設定されたサイズと前記決定された基準位置とに基づいて前記パノラマ画像の撮像範囲を決定する
前記（１）から（５）のいずれかに記載の画像処理装置。
（７） 前記操作受付部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動中に前記撮像部により生成される複数の画像を用いて前記パノラマ画像が形成される場合に、前記回転移動の終了位置を前記基準位置として決定する前記決定操作を受け付け、
前記制御部は、前記決定操作が受け付けられた際に前記撮像部により生成された画像と、前記決定操作の受付後における前記画像処理装置の姿勢の変化後に前記撮像部により生成された画像とが一致するかを判断してそれらの画像が一致した場合に前記撮像部による前記パノラマ画像の撮像動作を停止させる制御を行う
前記（１）から（６）のいずれかに記載の画像処理装置。
（８） 前記操作受付部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動中に前記撮像部により生成される複数の画像を用いて前記パノラマ画像が形成される場合に、前記回転移動の中間位置を前記基準位置として決定する前記決定操作を受け付け、
前記制御部は、前記決定された中間位置に基づいて前記撮像部による前記パノラマ画像の撮像動作の開始位置および終了位置を決定する
前記（１）から（６）のいずれかに記載の画像処理装置。
（９） 前記画像処理装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記制御部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動が前記姿勢の変化として検出された場合には前記特定方向を長手方向とする前記パノラマ画像の撮像範囲を決定し、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向とは直行する直行方向への前記画像処理装置の回転移動が前記姿勢の変化として検出された場合には前記直行方向を長手方向とする前記パノラマ画像の撮像範囲を決定する
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０） 前記撮像部と、
前記撮像部の光軸方向とは異なる光軸方向となるように配置される第２の撮像部とをさらに具備し、
前記操作受付部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動中に前記撮像部により生成される複数の画像を用いて前記パノラマ画像が形成される場合に、前記回転移動の中間位置を前記基準位置として決定する前記決定操作を受け付け、
前記制御部は、前記パノラマ画像の撮像動作における開始位置または終了位置に前記第２の撮像部の光軸方向を向けた状態で前記決定操作が受け付けられた場合には、前記撮像部と前記第２の撮像部との配置関係に基づいて前記パノラマ画像の撮像範囲を決定する
前記（１）から（６）のいずれかに記載の画像処理装置。
（１１） 前記第２の撮像部は、前記パノラマ画像の撮像動作中において前記撮像部とは異なる露出条件により複数の画像を生成し、
前記撮像部により生成された複数の画像と、前記第２の撮像部により生成された複数の画像とを合成することにより、少なくとも一部の領域のダイナミックレンジが拡張された前記パノラマ画像を生成する画像合成部をさらに具備する
前記（１０）に記載の画像処理装置。
（１２） 時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後の前記パノラマ画像における基準位置を決定する決定操作を前記パノラマ画像の撮像動作開始前に受け付ける受付手順と、
前記決定された基準位置に基づいて前記被写体における前記パノラマ画像の撮像範囲を決定する決定手順と
を具備する画像処理装置の制御方法。
（１３） 時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後の前記パノラマ画像における基準位置を決定する決定操作を前記パノラマ画像の撮像動作開始前に受け付ける受付手順と、
前記決定された基準位置に基づいて前記被写体における前記パノラマ画像の撮像範囲を決定する決定手順と
をコンピュータに実行させるプログラム。

１００、５００、７００、７９０、８６０、８７０ 撮像装置
１１１ レンズ部
１１２、７０３、７０４ 撮像素子
１１３、７１１ 画像処理部
１２０、７１２ 画像合成部
１３０ 記録制御部
１４０ 記録媒体
１５０ 姿勢検出部
１６０、５２０、７１３ 制御部
１７０ 表示制御部
１８０ 表示部
１９０ 操作受付部
１９１ シャッターボタン
１９２ ダイヤル
２００ 入出力パネル
５１０ マッチング画像検出部
７０１、７９１ 右側レンズ部
７０２、７９２ 左側レンズ部

Claims (13)

1. 時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後の前記パノラマ画像における基準位置を決定する決定操作を前記パノラマ画像の撮像動作開始前に受け付ける操作受付部と、
   前記決定された基準位置に基づいて前記被写体における前記パノラマ画像の撮像範囲を決定する制御を行う制御部と
   を具備する画像処理装置。
2. 前記撮像部による前記パノラマ画像の撮像動作中において、前記撮像部により生成された画像に前記決定された撮像範囲を表す操作支援画像を重ねて表示部に表示させる表示制御部をさらに具備する請求項１記載の画像処理装置。
3. 前記表示制御部は、前記撮像部により生成された画像に含まれる被写体のうち前記決定された撮像範囲に含まれる被写体を特定するための画像を前記操作支援画像として前記表示部に表示させる請求項２記載の画像処理装置。
4. 前記画像処理装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
   前記表示制御部は、前記検出された姿勢の変化に基づいて前記操作支援画像の表示態様を変更して表示させる
   請求項３記載の画像処理装置。
5. 前記表示制御部は、前記パノラマ画像に対応する略矩形状の輪郭を表す画像を前記操作支援画像として前記表示部に表示させる請求項３記載の画像処理装置。
6. 前記操作受付部は、前記パノラマ画像の撮像範囲の長手方向におけるサイズを設定する設定操作を受け付け、
   前記制御部は、前記設定されたサイズと前記決定された基準位置とに基づいて前記パノラマ画像の撮像範囲を決定する
   請求項１記載の画像処理装置。
7. 前記操作受付部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動中に前記撮像部により生成される複数の画像を用いて前記パノラマ画像が形成される場合に、前記回転移動の終了位置を前記基準位置として決定する前記決定操作を受け付け、
   前記制御部は、前記決定操作が受け付けられた際に前記撮像部により生成された画像と、前記決定操作の受付後における前記画像処理装置の姿勢の変化後に前記撮像部により生成された画像とが一致するかを判断してそれらの画像が一致した場合に前記撮像部による前記パノラマ画像の撮像動作を停止させる制御を行う
   請求項１記載の画像処理装置。
8. 前記操作受付部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動中に前記撮像部により生成される複数の画像を用いて前記パノラマ画像が形成される場合に、前記回転移動の中間位置を前記基準位置として決定する前記決定操作を受け付け、
   前記制御部は、前記決定された中間位置に基づいて前記撮像部による前記パノラマ画像の撮像動作の開始位置および終了位置を決定する
   請求項１記載の画像処理装置。
9. 前記画像処理装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
   前記制御部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動が前記姿勢の変化として検出された場合には前記特定方向を長手方向とする前記パノラマ画像の撮像範囲を決定し、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向とは直行する直行方向への前記画像処理装置の回転移動が前記姿勢の変化として検出された場合には前記直行方向を長手方向とする前記パノラマ画像の撮像範囲を決定する
   請求項１記載の画像処理装置。
10. 前記撮像部と、
    前記撮像部の光軸方向とは異なる光軸方向となるように配置される第２の撮像部とをさらに具備し、
    前記操作受付部は、前記画像処理装置の位置または前記画像処理装置の近傍の位置を軸とする特定方向への前記画像処理装置の回転移動中に前記撮像部により生成される複数の画像を用いて前記パノラマ画像が形成される場合に、前記回転移動の中間位置を前記基準位置として決定する前記決定操作を受け付け、
    前記制御部は、前記パノラマ画像の撮像動作における開始位置または終了位置に前記第２の撮像部の光軸方向を向けた状態で前記決定操作が受け付けられた場合には、前記撮像部と前記第２の撮像部との配置関係に基づいて前記パノラマ画像の撮像範囲を決定する
    請求項１記載の画像処理装置。
11. 前記第２の撮像部は、前記パノラマ画像の撮像動作中において前記撮像部とは異なる露出条件により複数の画像を生成し、
    前記撮像部により生成された複数の画像と、前記第２の撮像部により生成された複数の画像とを合成することにより、少なくとも一部の領域のダイナミックレンジが拡張された前記パノラマ画像を生成する画像合成部をさらに具備する
    請求項１０記載の画像処理装置。
12. 時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後の前記パノラマ画像における基準位置を決定する決定操作を前記パノラマ画像の撮像動作開始前に受け付ける受付手順と、
    前記決定された基準位置に基づいて前記被写体における前記パノラマ画像の撮像範囲を決定する決定手順と
    を具備する画像処理装置の制御方法。
13. 時系列で連続して被写体を撮像する撮像部により順次生成される複数の画像を用いて形成されるパノラマ画像の撮像動作開始後の前記パノラマ画像における基準位置を決定する決定操作を前記パノラマ画像の撮像動作開始前に受け付ける受付手順と、
    前記決定された基準位置に基づいて前記被写体における前記パノラマ画像の撮像範囲を決定する決定手順と
    をコンピュータに実行させるプログラム。