JP5603671B2 - 電子機器、撮像方法、及び画像変換プログラム - Google Patents

Description

本発明は、被写体を撮像して電子的な画像データを生成する撮像装置、撮像方法、及び画像変換プログラムに関する。

近年のデジタルカメラ等の撮像装置には、静止画撮影機能に加えて、動画撮影機能を有しているものが多い。また、静止画撮影モードから画面から動画撮影モードへ、ボタンを１つ押すだけで切り替えることができる機種も存在する。

ところで、静止画として記録される画像の縦横比率は、一般に、３／４又は２／３（アスペクト比４：３又は３：２）となっている。一方、動画については、ＨＤ動画として規格化されている１２８０×７２０画素や１９２０×１０８０画素が採用されているため、縦横比率は通常、９／１６（アスペクト比１６：９）となっている。このように、静止画と動画とでは縦横比率が互いに異なるため、撮影モードを切り替えると、モニタ上の表示領域のアスペクト比が切り替わるようになっている（特許文献１参照）。

特開２００９−１５９５５０号公報

通常、静止画撮影モードから動画撮影モードに切り替えると、それまで表示されていた縦横比率３／４の画像の上端部及び下端部を帯状に切り取ることにより、縦横比率９／１６の画像が実現される。即ち、垂直方向の画角（垂直画角）が急激に狭くなるため、被写体の位置によっては、その一部がカットされてしまうことになる。それにより、撮影者は、所望の被写体を当初から撮影することができなくなってしまう。

本発明は、上記に鑑みてなされたものであって、静止画撮影モードから動画撮影モードに切り替えた際に、所望の被写体を当初から撮影することができる撮像装置、撮像方法、及び画像変換プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る電子機器は、画像を表示する表示部と、前記画像から被写体を検出する注目被写体検出部と、前記注目被写体検出部によって検出された被写体の位置に基づいて、該被写体の所定位置を前記表示部の中心位置に向けて所定量だけ移動させる設定を行う領域設定部と、を備えたことを特徴とする。

また、本発明にかかる電子機器は、上記発明において、前記注目被写体検出部は、前記被写体の中心位置を抽出し、前記領域設定部は、前記表示部の垂直方向における中心位置が前記画像の垂直方向における中心位置に一致するように設定することを特徴とする。

また、本発明にかかる電子機器は、上記発明において、電子的な画像データを連続的に生成する撮像部をさらに備え、前記注目被写体検出部は、第１の縦横比率で撮影を行う第１の撮影モードから前記第１の縦横比率とは異なる第２の縦横比率で撮影を行う第２の撮影モードの移行時に、前記撮像部によって生成された画像データに対応する画像である撮像領域画像から被写体を検出することを特徴とする。

また、本発明にかかる電子機器は、上記発明において、前記撮像部が順次生成する前記画像データを記憶する記憶部と、前記撮像領域画像から所定の領域を切り出す画像切り出し部と、をさらに備え、前記領域設定部は、前記注目被写体検出部によって検出された被写体の位置に基づいて、前記撮像領域画像から前記第２の縦横比率で切り出されて前記記憶部に記憶させる記録領域を設定し、前記画像切り出し部は、前記領域設定部によって設定された前記記録領域を前記撮像領域画像から切り出すことを特徴とする。

また、本発明にかかる電子機器は、上記発明において、前記撮像部によって生成された画像データに対応する画像のブレ量を算出し、該ブレ量に基づいて前記記録領域に記録された画像の補正を行う手ブレ補正部をさらに備え、前記記録領域の第１の方向における一端と、前記撮像領域画像の前記第１の方向における一端との間隔が、所定範囲よりも狭い場合に、前記第１の方向と直交する第２の方向のみにおいて前記補正を行い、前記間隔が所定範囲以上である場合に、前記第１及び第２の方向において前記補正を行うことを特徴とする。

また、本発明にかかる電子機器は、上記発明において、前記第２の縦横比率は、前記第１の縦横比率よりも小さいことを特徴とする。

また、本発明にかかる撮像方法は、視野領域からの光を集光するレンズ部と、該レンズ部が集光した光を電気信号に変換する撮像素子を有し、該電気信号に基づいて電子的な画像データを連続的に生成する撮像部と、該撮像部が生成した画像データを記憶する記憶部と、前記撮像部が生成する画像データに基づいて画像を表示する表示部とを備え、第１の縦横比率で撮影を行う第１の撮影モードと、前記第１の縦横比率とは異なる第２の縦横比率で撮影を行う第２の撮影モードとを有する電子機器が実行する画像変換方法であって、前記第１の撮影モードから前記第２の撮影モードへの移行時に、前記撮像部によって生成された画像データに対応する画像である撮像領域画像から被写体を検出する注目被写体検出ステップと、前記撮像領域画像から前記第２の縦横比率で切り出されて記録される記録領域を、前記注目被写体検出ステップにおいて検出された被写体の位置に基づいて初期設定すると共に、該初期設定された記録領域の中心位置を前記撮像領域画像の中心位置に向けて所定量だけ移動させる設定を行う領域設定ステップと、前記領域設定ステップにおいて設定された前記記録領域を前記撮像領域画像から切り出す画像切出しステップと、を含むことを特徴とする。

また、本発明にかかる画像変換プログラムは、視野領域からの光を集光するレンズ部と、該レンズ部が集光した光を電気信号に変換する撮像素子を有し、該電気信号に基づいて電子的な画像データを連続的に生成する撮像部と、該撮像部が生成した画像データを記憶する記憶部と、前記撮像部が生成する画像データに基づいて画像を表示する表示部とを備え、第１の縦横比率で撮影を行う第１の撮影モードと、前記第１の縦横比率とは異なる第２の縦横比率で撮影を行う第２の撮影モードとを有する電子機器に、前記第１の撮影モードから前記第２の撮影モードへの移行時に、前記撮像部によって生成された画像データに対応する画像である撮像領域画像から被写体を検出する注目被写体検出ステップと、前記撮像領域画像から前記第２の縦横比率で切り出されて記録される記録領域を、前記注目被写体検出ステップにおいて検出された被写体の位置に基づいて初期設定すると共に、該初期設定された記録領域の中心位置を前記撮像領域画像の中心位置に向けて所定量だけ移動させる設定を行う領域設定ステップと、前記領域設定ステップにおいて設定された前記記録領域を前記撮像領域画像から切り出す画像切出しステップと、を実行させることを特徴とする。

本発明によれば、静止画撮影モードから動画撮影モードへの移行時に、撮像領域画像から切り出される記録領域を、撮像領域画像上の被写体の位置に基づいて初期設定し、この位置から本来使用される撮像領域画像の中心位置まで徐々に移動させるので、動画撮影開始当初から所望の被写体を撮影することができる。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。 図２は、図１に示す撮像装置の前面側の外観を示す斜視図である。 図３は、図１に示す撮像装置の背面側の外観を示す斜視図である。 図４は、静止画撮影モードにおける撮像領域画像と表示部に表示される画像との関係を示す模式図である。 図５は、図１に示す撮像装置における動画撮影動作を示すフローチャートである。 図６は、動画撮影開示時における撮像領域画像と表示部に表示される画像との関係を示す模式図である。 図７は、動画撮影後における撮像領域画像と表示部に表示される画像との関係を示す模式図である。 図８は、動画撮影後における撮像領域画像と表示部に表示される画像との関係を示す模式図である。 図９は、動画撮影開始後における撮像装置の画角と表示部に表示される画像との関係を示す図である。 図１０は、動画撮影後における撮像領域画像と表示部に表示される画像との関係を示す模式図である。 図１１は、電子式手ブレ補正モードにおける補正量の算出動作を示すフローチャートである。 図１２は、動画撮影時に行われる電子式手ブレ補正モードを説明するための図である。 図１３は、全方向手ブレ補正モードの有効時における撮像領域画像と表示部に表示される画像との関係を示す模式図である。 図１４は、垂直方向流し撮りモードの有効時における撮像領域画像と表示部に表示される画像との関係を示す模式図である。 図１５は、動画撮影開始時に被写体が検出されなかった場合における撮像領域画像と表示部に表示される画像との関係を示す模式図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。

（実施の形態）
図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。また、図２は、図１に示す撮像装置１の被写体に面する側（前面側）の外観を示す斜視図である。図３は、撮像装置１の撮影者に面する側（背面側）の外観を示す図である。

図１〜図３に示すように、撮像装置１は、レンズ部２と、レンズ駆動機構３と、絞り駆動機構４と、シャッタ駆動機構５と、撮像素子６と、撮像素子変位機構６ａと、信号処理部７と、音声入出力部８と、操作入力部９と、表示部１０と、タッチパネル１１と、記録媒体インタフェース１２と、不揮発性メモリ１３と、揮発性メモリ１４と、ブレ検出部１５と、姿勢検出部１６と、システムコントローラ１７とを備える。

レンズ部２は、フォーカスレンズ及びズームレンズ等によって構成され、所定の視野領域から光を集光する。レンズ部２は、ズームレンズが光軸Ｑ上を移動することによって画角を変化させる光学ズーム機能を有する。

レンズ駆動機構３は、ＤＣモータ等によって構成され、レンズ部２のフォーカスレンズやズームレンズを光軸Ｑ上で移動させることによってレンズ部２の焦点位置や焦点距離の変更を行う。

絞り駆動機構４は、絞り４ａ及びステッピングモータ等によって構成され、絞り４ａを駆動することによってレンズ部２が集光した光の入射量を調整する。

シャッタ駆動機構５は、シャッタ５ａ及びステッピングモータ等によって構成され、シャッタ５ａを駆動することによって撮像素子６の状態を露光状態又は遮光状態に設定する。

撮像素子６は、レンズ部２が集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現され、変換した電気信号を信号処理部７に出力する。

撮像素子変位機構６ａは、静止画撮影時に、後述する手ブレ補正量算出部１７ｊによって算出された変位量に基づいて撮像素子６を移動させることにより、ブレによる画像の劣化を防止する。

信号処理部７は、撮像素子６から出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換し、システムコントローラ１７を介して揮発性メモリ１４に出力する。なお、撮像素子６及び信号処理部７を含む構成は、レンズ部２が集光した光を用いて電子的な画像データを連続的に生成する撮像部として機能する。

音声入出力部８は、マイクやスピーカ等によって構成され、たとえば音声情報の取得又は出力を行う。

操作入力部９は、図２及び図３に示すように、撮像装置１の電源状態をオン状態又はオフ状態に切換える電源スイッチ９ａと、静止画撮影の指示を与えるレリーズ信号を入力する静止画レリーズスイッチ９ｂと、動画撮影の指示を与えるレリーズ信号を入力する動画レリーズスイッチ９ｃと、撮像装置１の各種撮影モードを切換えるモード切換スイッチ９ｄと、撮像装置１の各種設定を行う操作スイッチ９ｅと、レンズ部２のズーム操作を行うズームスイッチ９ｆとを有する。

表示部１０は、液晶又は有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。表示部１０は、撮像素子６が生成する画像データに対応する画像を表示する。撮像装置１の操作情報及び撮影に関する情報を適宜表示する。表示部１０は、図３に示すように、表示画面の縦（垂直画素列に平行な方向）と横（水平画素列に平行な方向）との比が３：４であるが、たとえば表示画面の縦と横との比が９：１６であってもよい。

タッチパネル１１は、表示部１０の表示画面上に重ねて設けられる（図３を参照）。タッチパネル１１は、撮影者が表示部１０で表示される情報に基づいて接触（タッチ）した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。なお、一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等があるが、本実施の形態においては、いずれの方式のタッチパネルを適用しても良い。

記録媒体インタフェース１２は、撮像装置１の外部から装着される記録媒体のメモリカード１２ａに対して画像データ等の情報を記憶する一方、メモリカード１２ａが記憶する情報を読み出す。

不揮発性メモリ１３は、フラッシュメモリ等によって実現される。不揮発性メモリ１３は、撮像装置１を動作させるための各種プログラムや本実施の形態に係る画像変換プログラムを記憶したプログラムコード１３ａと、プログラムの実行中に使用される各種データ等を記憶した制御パラメータ１３ｂとを有する。

揮発性メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）によって実現される。揮発性メモリ１４は、信号処理部７から出力される画像データやシステムコントローラ１７による処理中の情報が一時的に記録されるワークエリア１４ａを有する。具体的には、揮発性メモリ１４は、撮像素子６が１フレーム（例えば１／３０秒）毎に出力する画像データに対応する画像（ライブビュー画像）や静止画レリーズスイッチ９ｂが操作された際に撮像素子６が出力する画像データに対応する画像等を一時的に記憶する。

ブレ検出部１５は、Ｘ軸ジャイロセンサ１５ａと、Ｙ軸ジャイロセンサ１５ｂと、角速度センサ処理部１５ｃとを有している。角速度センサ処理部１５ｃは、Ｘ軸ジャイロセンサ１５ａ及びＹ軸ジャイロセンサ１５ｂから出力された信号をＡ／Ｄ変換すると共に、所定の信号処理を施す。この信号は、後述するシステムコントローラ１７において、角速度データとして扱われる。

姿勢検出部１６は、加速度センサ１６ａと、加速度センサ処理部１６ｂとを有している。加速度センサ１６ａは、重力の方向とカメラに加わった衝撃とを検出する。加速度センサ処理部１６ｂは、加速度センサ１６ａから出力された信号をＡ／Ｄ変換すると共に、所定の信号処理を施す。この信号は、後述するシステムコントローラ１７において、加速度データとして扱われる。

システムコントローラ１７は、ＣＰＵ（Central Processing Unit）等によって実現され、操作入力部９からの操作信号等に応じて不揮発性メモリ１３のプログラムコード１３ａからプログラムを読み出して実行し、撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。システムコントローラ１７は、画像処理部１７ａと、圧縮・伸長部１７ｂと、ＡＦ制御部１７ｃと、ＡＥ制御部１７ｄと、タイマカウンタ１７ｅと、注目被写体検出部１７ｆと、画素数変換部１７ｇと、領域設定部１７ｈと、画像切出し部１７ｉと、手ブレ補正量算出部１７ｊと、電子式手ブレ補正部１７ｋと、補正モード制御部１７ｍとを有する。

画像処理部１７ａは、信号処理部７から出力された画像データに対して各種の画像処理を施し、揮発性メモリ１４に出力する。具体的には、画像処理部１７ａは、信号処理部７から出力される画像データに対してエッジ強調、色補正及びγ補正等の処理を施す。

圧縮・伸長部１７ｂは、揮発性メモリ１４のワークエリア１４ａに記憶された画像データをメモリカード１２ａに記憶させる場合又はメモリカード１２ａに記録されている画像データを表示部１０に表示させる場合に、ＪＰＥＧ（Joint Photographic Experts Group）圧縮方式等に基づいて画像データの圧縮処理や伸長処理を行う。

ＡＦ制御部１７ｃは、信号処理部７から出力される画像データに基づいて、自動焦点調整を行う。たとえば、ＡＦ制御部１７ｃは、画像データのコントラストに基づいて、レンズ駆動機構３を駆動し、撮影する被写体像の鮮鋭度が最大となるようにレンズ部２を光軸Ｑ上で移動させる。

ＡＥ制御部１７ｄは、信号処理部７から出力される画像データに基づいて、静止画撮影を行う際の条件、たとえば絞りの設定値、シャッタ速度等を決定することで自動露出を行う。

タイマカウンタ１７ｅは、撮像装置１の動作の基準となる時間信号を生成する。この時間信号に基づいて、システムコントローラ１７は、画像データの取得間隔、撮像素子６の露光時間等の設定を行う。

注目被写体検出部１７ｆは、信号処理部７が出力する画像データに対応する画像に含まれる注目被写体をパターンマッチング等で検出する。本実施形態においては、人物の顔を注目被写体とする。

画素数変換部１７ｇは、信号処理部７から出力される画像データを、撮像装置１の各種撮影モードに応じた画素数に変換する。具体的には、画素数変換部１７ｇは、画像データを静止画撮影又は動画撮影に対応する画素数に変換する。

領域設定部１７ｈは、所定の条件に基づいて、信号処理部７が出力する画像データに対応する画像から表示及び記録のために切り出す領域（以下において、記録領域という）の中心位置及び縦横比率を設定する。具体的には、領域設定部１７ｈは、静止画撮影時には、縦横比率が３／４（アスペクト比４：３に対応）となるよう記録領域を設定し、動画撮影時には、縦横比率が９／１６（アスペクト比１６：９に対応）となるよう記録領域を設定する。領域設定部１７ｈは、原則として、記録領域の中心が撮像素子６の受光領域の中心に対応するように設定を行うが、静止画撮影モードから動画撮影モードへの移行時には、注目被写体検出部１７ｆの検出結果に基づいて記録領域の位置を設定する。

画像切出し部１７ｉは、信号処理部７が出力する画像データに対応する画像から、領域設定部１７ｈによって設定された記録領域に基づく領域を切り出すことにより、表示及び記録のための画像を生成する。

手ブレ補正量算出部１７ｊは、静止画撮影時に、ブレ検出部１５から入力された角速度データを積分することにより、当該撮像装置のブレによって生じる被写体像の変位を相殺するために必要な撮像素子６の変位量を算出する。

電子式手ブレ補正部１７ｋは、動画撮影時に、画像切出し部１７ｉが切り出す記録領域の周囲に所定の範囲のマージン（ブレ補正領域）を設け、このブレ補正領域に記録された画像を順次比較することによって算出された画像のズレ量に基づいて上記記録領域をずらすことにより、ブレによる画像の劣化を抑制する。

補正モード制御部１７ｍは、操作入力部９からの入力信号又は所定の条件に従って、電子式手ブレ補正部１７ｋの動作を制御する。ここで、電子式手ブレ補正部１７ｋの補正モードには、水平方向及び垂直方向の両方について補正を行う全方向手ブレ補正モードと、１つの方向についてのみ補正し、他の方向については補正しない補正モードとがある。後者は流し撮り等を行う際に使用される補正モードであり、例えば、水平方向についてのみ手ブレ補正を行い、垂直方向については手ブレ補正を行わない「垂直方向流し撮り」モードや、垂直方向についてのみ手ブレ補正を行い、水平方向については手ブレ補正を行わない「水平方向流し撮り」モード等が含まれる。

動きベクトル検出部１７ｎは、信号処理部７から時系列に入力される画像データ間の動きベクトルに基づいて、画像全体の動き量や、特定の被写体の移動量を検出する。

次に、撮像装置１の動作について、図３〜図１４を参照しながら詳しく説明する。なお、以下の説明においては、水平方向（横方向）をＸ軸方向、垂直方向（縦方向）をＹ軸方向とする。

図３に示す電源スイッチ９ａにより撮像装置１の電源がオンされると、撮像素子６により取得され、信号処理部７によって信号処理を施された画像データに対応するスルー画像が、表示部１０に表示される。

図４に示す撮像領域画像２００は、信号処理部７から出力される１フレーム分の画像データに対応する画像を概念的に示している。即ち、この撮像領域画像２００は、撮像素子６において撮像可能な全範囲（即ち、受光領域全体）に対応している。静止画撮影時には、例えば、このような撮像領域画像２００の全体に対応する画像が表示部１０に表示される。従って、撮像領域画像２００上に被写体画像１１０が含まれていれば、被写体画像１１０の全体に対応する被写体画像１２０が表示部１０上に表示される。以下、撮像領域画像２００の中心（撮像領域中心）Ｏを座標の原点とし、撮像領域画像２００の垂直方向の寸法をΔＳ_Ｙとする。

図５は、撮像装置１の動画撮影動作を示すフローチャートである。
動画レリーズスイッチ９ｃにより動画撮影指示のレリーズ信号が入力されると、撮像装置１は、動画撮影をスタートさせる。それに応じて、システムコントローラ１７の注目被写体検出部１７ｆは、撮像領域画像２００から注目被写体の画像（以下、「被写体画像」という）１１０を検出し、この被写体画像１１０の中心位置（被写体中心）Ａを求める（ステップＳ１０１、図４）。なお、被写体中心Ａは、被写体画像１１０の内の注目する領域の中心であれば良く、必ずしも物理的に被写体画像１１０の中心である必要はない。被写体中心Ａの求め方としては、被写体の種類に応じて様々な方法を採用しても良い。例えば、注目被写体が人物の顔である場合には、注目被写体検出部１７ｆによって検出された２つの目の中央位置を被写体中心Ａとすれば良い。

図６に示すように、被写体画像１１０が検出されると（ステップＳ１０１：Ｙｅｓ）、領域設定部１７ｈは、被写体中心Ａの垂直方向の座標Ａ_Ｙが次式（１）に示す範囲内に含まれるか否かを判定する（ステップＳ１０２）。式（１）において、ΔＧ_Ｙは、動画撮影時の表示領域（縦横比率９／１６）３００に対応する記録領域２１０の垂直方向の寸法である。
｜Ａ_Ｙ｜≦（ΔＳ_Ｙ−ΔＧ_Ｙ）／２ …（１）

座標Ａ_Ｙが上記範囲内に含まれる場合には（ステップＳ１０２：Ｙｅｓ）、領域設定部１７ｈは、記録領域２１０の中心（記録領域中心）ＣのＹ座標Ｃ_Ｙとして、被写体中心ＡのＹ座標Ａ_Ｙの値を設定する（ステップＳ１０３）。

一方、座標Ａ_Ｙが式（１）に示す範囲内に含まれない場合には（ステップＳ１０２：Ｎｏ）、領域設定部１７は、記録領域２１０を撮像領域画像２００の上端又は下端の位置に設定する（ステップＳ２０１）。即ち、記録領域中心ＣのＹ座標Ｃ_Ｙは、以下のように設定される。
Ａ_Ｙ＞（ΔＳ_Ｙ−ΔＧ_Ｙ）／２ の場合、Ｃ_Ｙ＝（ΔＳ_Ｙ−ΔＧ_Ｙ）／２
Ａ_Ｙ＜−（ΔＳ_Ｙ−ΔＧ_Ｙ）／２ の場合、Ｃ_Ｙ＝−（ΔＳ_Ｙ−ΔＧ_Ｙ）／２

この段階で、電子式手ブレ補正モードがＯＦＦとなっている場合には（ステップＳ１０４：Ｎｏ）、電子式手ブレ補正による補正量Δｃとして（Δｃ_Ｘ，Δｃ_Ｙ）＝（０，０）が設定される（ステップＳ１０５）。一方、電子式手ブレ補正モードがＯＮとなっている場合には（ステップＳ１０４：Ｙｅｓ）、補正量Δｃ（Δｃ_Ｘ，Δｃ_Ｙ）の算出が行われる（ステップＳ３００）。

続くステップＳ１０６において、撮像素子６によって撮像され、信号処理部７によって信号処理を施された画像データが、システムコントローラ１７に順次入力される。ステップＳ１０７において、画像処理部１７ａは、この画像データに対して上述した画像処理を施す。さらに、ステップＳ１０８において、電子式手ブレ補正部１７ｍは、補正量Δｃに基づいて、次式（２）により記録領域中心Ｃを補正する。なお、電子式手ブレ補正モードがＯＦＦの場合には、実質的に補正は行われない（Δｃ＝０）。
Ｃ（Ｃ_Ｘ，Ｃ_Ｙ）＝Ｃ（Ｃ_Ｘ，Ｃ_Ｙ）±Δｃ（Δｃ_Ｘ，Δｃ_Ｙ） …（２）

さらに、ステップＳ１０９において、画像切出し部１７ｉは、ステップＳ１０２において設定された記録領域２１０に対応する画像を撮像領域画像２００から切り出す。そして、切り出された画像を表示部１０上の表示領域３００に表示させると共に、切り出された範囲に対応する画像データを揮発性メモリ１４に記憶させる（ステップＳ１１０）。

図６に示す動画撮影時の表示領域３００は、表示部１０上の所定領域に設定されている。なお、図６において、表示領域３００は、表示部１０のＹ軸方向の中央に設けられているが、上側又は下側のいずれかに偏在させても良い。
この段階において、表示領域３００には、例えば、被写体中心Ａに対応する中心Ａ’をＹ軸方向の中心として配置した被写体画像１２０が表示される。

続くステップＳ１１１において、領域設定部１７ｈは、記録領域中心Ｃと撮像領域中心Ｏとが一致しているか否かを判定する。図６に示すように、このとき両者が一致していない場合（ステップＳ１１１：Ｎｏ）、領域設定部１７ｈは、記録領域中心Ｃを撮像領域中心Ｏの方向に、所定量Δｙだけ移動させる（ステップＳ１１２）。例えば、図６の場合には、記録領域中心Ｃは−Ｙ軸方向（図の下向き）に移動させられる。

動画撮影を継続して（ステップＳ１１３：Ｎｏ）、ステップＳ１０４〜Ｓ１０８の動作を繰り返すと、続くステップＳ１０９において、図７に示すように、Δｙだけ下向きに移動した記録領域２１０に対応する画像が、撮像領域画像２００から切り出される。その結果、表示領域３００においては、被写体画像１２０が相対的にΔｙ’だけ上向きに移動する（ステップＳ１１０）。なお、図７に示す破線は、図６に示す移動前の被写体画像１２０の位置を示している。

引き続き動画撮影を行うと（ステップＳ１１１：Ｎｏ、Ｓ１１２、Ｓ１１３：Ｎｏ、Ｓ１０４〜Ｓ１０８）、図８に示すように、記録領域２１０がさらにΔｙだけ下向きに移動し、それに対応して、表示領域３００上の被写体画像１２０の位置がさらにΔｙ’だけ上向きに移動する（ステップＳ１０９、Ｓ１１０）。なお、図８に示す破線は、図７に示す移動前の被写体画像１２０の位置を示している。このような動作は、記録領域中心Ｃが撮像領域中心Ｏに一致するまで（ステップＳ１１１：Ｙｅｓ）繰り返される。

図９は、撮像装置１の画角と表示領域３００に表示される被写体画像１２０との関係を説明するための図であり、図９（ａ）〜（ｃ）は、時間順に並んでいる。図９（ａ）は、動画撮影を開始した直後を示している。このとき、図９（ａ）に示すように、記録領域２１０は、被写体画像１１０の位置に合わせて撮像領域画像２００の例えば上方に設定されているため、表示領域３００において、被写体画像１２０の顔はＹ軸方向のほぼ中心に位置している。その後、被写体１００に対する撮像装置１の画角を固定したままとすると、図９（ｂ）に示すように、記録領域２１０が徐々に下がってくるため、表示領域３００においては、被写体画像１２０が徐々に上方に移動していく。このとき、撮影者が被写体画像１２０の移動を認識し、その移動速度に応じて被写体１００に対する撮像装置１の画角を修正すると（例えば上方にずらす）、図９（ｃ）に示すように、被写体画像１１０の位置が記録領域２１０の所望の領域に納まり、被写体画像１２０を表示領域３００の適切な位置に留めておくことができる。このように、撮像装置１においては、表示領域３００上の画像を移動させることにより、撮影者に対して画角の修正を促すことができる。

図１０に示すように、記録領域中心Ｃが撮像領域中心Ｏに一致すると（ステップＳ１１１：Ｙｅｓ）、撮像装置１は、この状態（Ｃ＝Ｏ）で動画撮影を継続する（ステップＳ１１３：Ｎｏ）。また、ステップＳ１１３において、動画撮影終了を指示する信号が入力されると（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、動画撮影を終了する。

ここで、ステップＳ１１２において設定される記録領域中心Ｃの移動量Δｙは、撮影者が被写体画像１２０の移動を認識し、撮像装置１の画角を修正して被写体画像１２０の位置を調整できる程度であることが望ましい。具体的には、動画撮影開始直後（即ち、Ｃ_Ｙ＝Ａ_Ｙが設定された時）から、記録領域中心Ｃが撮像領域中心Ｏに到達するまでの時間ｔが、例えば２秒程度であると良い。この場合には、動画撮影開始直後の記録領域中心Ｃと撮像領域中心Ｏとの間隔をΔＰ（ピクセル）、フレームレートをＲ（ｆｐｓ）とすると、１フレームあたりΔｙ＝ΔＰ／ｔ・Ｒ＝ΔＰ／２Ｒだけ記録領域中心Ｃを移動させれば良い。

次に、電子式手ブレ補正モードがＯＮだった場合（ステップＳ１０４：Ｙｅｓ）における手ブレ補正量Δｃの算出動作（ステップＳ３００）について説明する。図１１は、手ブレ補正量Δｃの算出動作を示すフローチャートである。

ステップＳ３０１において、まず、補正モード制御部１７ｍは、記録領域中心ＣのＹ座標Ｃ_Ｙが、次式（３）に示す範囲内に含まれるか否かを判定する。式（３）において、ΔＧ_Ｙは記録領域２２０のＹ軸方向における寸法であり、ΔＢ_Ｙはブレ補正領域２３０のＹ軸方向における幅である。
｜Ｃ_Ｙ｜≦（ΔＳ_Ｙ／２）−ΔＢ_Ｙ−（ΔＧ_Ｙ／２） …（３）

このような判定を行う理由は、次の通りである。図１２に示すように、電子式手ブレ補正モードを有効にすると、通常、記録領域２２０の周囲に補正用画素のマージン（ブレ補正領域）２３０が設けられる。それにより、記録領域２２０自体が狭められると共に、記録領域２２０を設定することができる範囲も狭められてしまう。例えば、被写体画像１１０が撮像領域画像２００の端部（例えば上端部）に写っていても、記録領域２２０の上端を撮像領域画像２００の上端に合わせて設定することができない。そのため、表示領域３００においては、図１２に示すように、被写体画像１２０の顔の上部がカットされてしまう。このような理由から、補正モード制御部１７ｍは、記録領域２２０の上辺及び下辺を含む全辺にブレ補正領域２３０を設ける余裕があるか否かを、式（３）により判断している。

記録領域中心ＣのＹ座標Ｃ_Ｙが式（３）に示す範囲内に含まれる場合に（ステップＳ３０１：Ｙｅｓ）、補正モード制御部１７ｍは、図１３に示すように、記録領域２２０の上辺及び下辺を含む全辺にブレ補正領域２３０を設ける余裕があると判断し、全方向手ブレ補正モードを設定する（ステップＳ３０２）。それに応じて、電子式手ブレ補正部１７ｋは、Ｘ軸方向及びＹ軸方向についてのブレ補正量Δｃ（Δｃ_Ｘ，Δｃ_Ｙ）を算出する（ステップＳ３０３）。

一方、座標Ｃ_Ｙが式（３）に示す範囲内に含まれない場合には（ステップＳ３０１：Ｎｏ）、補正モード制御部１７ｍは、図１４に示すように、記録領域２２０の上辺又は下辺にブレ補正領域を設ける余裕がないと判断し、記録領域２２０の左辺及び右辺のみにブレ補正領域２４０を設ける垂直方向流し撮りモードを設定する（ステップＳ３１１）。この場合には、Ｘ軸方向についてのみ、電子式手ブレ補正が有効になる。それに応じて、電子式手ブレ補正部１７ｋは、ブレ補正量Δｃ（Δｃ_Ｘ，０）を算出する（ステップＳ３１２）。
ステップＳ３０３又はＳ３１２の後、撮像装置１の動作はステップＳ１０６に移行する。

次に、ステップＳ１０１において注目被写体が検出されなかった場合（ステップＳ１０１：Ｎｏ）における撮像装置１の動作について説明する。例えば、遠方の風景等を撮影している場合、特定の注目被写体は検出されない。このような場合には、図１５に示すように、記録領域中心Ｃは、当初から撮像領域中心Ｏに設定される。それにより、撮像領域画像２００の上部及び下部が等しくカットされた画像が表示領域３００に表示される。

以上説明したように、本実施の形態によれば、動画撮影モードの立ち上げ時に、撮像領域画像上の被写体画像の位置に応じて記録領域を設定するので、撮影者は、動画撮影開始当初から、それまで表示部に表示されていた所望の被写体を引き続き撮影することが可能となる。また、本実施の形態によれば、そのように設定された記録領域を、本来使用される撮像領域画像の中央領域まで徐々に移動させるので、撮影者は、表示部に表示された被写体の移動を観察しつつ、少しずつ撮像装置１の画角を調節して、被写体を所望の位置に留めておくことが可能となる。

さらに、本実施の形態によれば、被写体画像の位置に応じて、電子式手ブレ補正モードの有効範囲（全方向又は水平方向のみ）を制御するため、必要な記録領域を確保することが可能となる。また、一旦、水平方向のみの手ブレ補正が設定された場合であっても、画角の調節により全方向の手ブレ補正が可能となった時点で補正モードが自動変更されるので、手ブレが軽減された動画を取得することが可能となる。

以上説明した本実施の形態においては、注目被写体として検出する対象を人物の顔としたが、検出対象はそれ以外であっても良い。具体的には、人物（全身）や動物（全身又は顔）、動く車やボール、ＡＦ（オートフォーカス）ロックで追尾している物体等であっても良い。また、注目被写体を犬等の小動物とする場合には、例えば、注目被写体検出部１７ｆによって犬の目と鼻を検出し、２つの目と鼻とを結ぶ３角形の重心位置を被写体中心Ａとすれば良い。

以上においては、画像の縦横比率が３／４である静止画撮影モードから、画像の縦横比率が９／１６である動画撮影モードに移行する際の処理について説明したが、画像の縦横比率はこれらの数値に限定されない。また、撮影モードの変更時に限らず、画像の縦横比率の変更を伴う処理であれば、本実施の形態を適用することができる。例えば、本実施の形態においては、画像の縦横比率が大きい静止画撮影モードから、それよりも縦横比率が小さい動画撮影モードに移行するため（即ち、画像の垂直方向をカットするため）、記録領域を垂直方向に移動させている。反対に、画像の縦横比率が小さいモードから、縦横比率がそれよりも大きいモードに移行する場合（即ち、画像の水平方向をカットする場合）には、記録領域を水平方向に移動させれば良い。

さらに、以上の説明においては、撮像装置として一眼デジタルカメラを例示したが、例えばデジタルビデオカメラや、レンズを交換できないデジタルカメラ（コンパクトデジタルカメラ）や、カメラ付き携帯電話など、静止画撮影と動画撮影とを行うことができる各種電子機器に適用することができる。

１ 撮像装置
２ レンズ部
３ レンズ駆動機構
４ 絞り駆動機構
５ シャッタ駆動機構
５ａ シャッタ
６ 撮像素子
６ａ 撮像素子変位機構
７ 信号処理部
８ 音声入出力部
９ 操作入力部
９ａ 電源スイッチ
９ｂ 静止画レリーズスイッチ
９ｃ 動画レリーズスイッチ
９ｄ モード切換スイッチ
９ｅ 操作スイッチ
９ｆ ズームスイッチ
１０ 表示部
１１ タッチパネル
１２ 記録媒体インタフェース
１２ａ メモリカード
１３ 不揮発性メモリ
１３ａ プログラムコード
１３ｂ 制御パラメータ
１４ 揮発性メモリ
１４ａ ワークエリア
１５ ブレ検出部
１５ａ Ｘ軸ジャイロセンサ
１５ｂ Ｙ軸ジャイロセンサ
１５ｃ 角速度センサ処理部
１６ 姿勢検出部
１６ａ 加速度センサ
１６ｂ 加速度センサ処理部
１７ システムコントローラ
１７ａ 画像処理部
１７ｂ 圧縮・伸長部
１７ｃ ＡＦ制御部
１７ｄ ＡＥ制御部
１７ｅ タイマカウンタ
１７ｆ 注目被写体検出部
１７ｇ 画素数変換部
１７ｈ 領域設定部
１７ｉ 画像切出し部
１７ｊ 手ブレ補正量算出部
１７ｋ 電子式手ブレ補正部
１７ｍ 補正モード制御部
１７ｎ 動きベクトル検出部
１００ 被写体
１１０、１２０ 被写体画像
２００ 撮像領域画像
２１０、２２０ 記録領域
２３０、２４０ ブレ補正領域
３００ 表示領域

Claims (5)

1. 視野領域からの光を集光するレンズ部と、該レンズ部が集光した光を電気信号に変換する撮像素子を有し、該電気信号に基づいて電子的な画像データを連続的に生成する撮像部と、該撮像部が生成した画像データを記憶する記憶部と、前記撮像部が生成する画像データに基づいて画像を表示する表示部とを備え、第１の縦横比率で撮影を行う第１の撮影モードと、前記第１の縦横比率とは異なる第２の縦横比率で撮影を行う第２の撮影モードとを有する電子機器であって、
   前記第１の撮影モードから前記第２の撮影モードへの移行時に、前記撮像部によって生成された画像データに対応する画像である撮像領域画像から被写体の中心位置を検出する注目被写体検出部と、
   前記撮像領域画像から前記第２の縦横比率で切り出されて記録される記録領域を、前記注目被写体検出部によって検出された被写体の位置に基づいて、前記記録領域の垂直方向における中心位置が前記被写体の垂直方向における中心位置に一致するように初期設定すると共に、該初期設定された記録領域の中心位置を前記撮像領域画像の中心位置に向けて徐々に移動させる領域設定部と、
   前記領域設定部によって設定された前記記録領域に基づいて前記撮像領域画像から切り出された画像を生成する画像切出し部と、
   を備えることを特徴とする電子機器。
2. 前記撮像部によって生成された画像データに対応する画像のブレ量を算出し、該ブレ量に基づいて前記記録領域に記録された画像の補正を行う手ブレ補正部をさらに備え、
   前記記録領域の第１の方向における一端と、前記撮像領域画像の前記第１の方向における一端との間隔が、所定範囲よりも狭い場合に、前記第１の方向と直交する第２の方向のみにおいて前記補正を行い、前記間隔が所定範囲以上である場合に、前記第１及び第２の方向において前記補正を行うことを特徴とする請求項１に記載の電子機器。
3. 前記第２の縦横比率は、前記第１の縦横比率よりも小さいことを特徴とする請求項１または２に記載の電子機器。
4. 視野領域からの光を集光するレンズ部と、該レンズ部が集光した光を電気信号に変換する撮像素子を有し、該電気信号に基づいて電子的な画像データを連続的に生成する撮像部と、該撮像部が生成した画像データを記憶する記憶部と、前記撮像部が生成する画像データに基づいて画像を表示する表示部とを備え、第１の縦横比率で撮影を行う第１の撮影モードと、前記第１の縦横比率とは異なる第２の縦横比率で撮影を行う第２の撮影モードとを有する電子機器が実行する撮像方法であって、
   前記第１の撮影モードから前記第２の撮影モードへの移行時に、前記撮像部によって生成された画像データに対応する画像である撮像領域画像から被写体を検出する注目被写体検出ステップと、
   前記撮像領域画像から前記第２の縦横比率で切り出されて記録される記録領域を、前記注目被写体検出ステップにおいて検出された被写体の位置に基づいて、前記記録領域の垂直方向における中心位置が前記被写体の垂直方向における中心位置に一致するように初期設定すると共に、該初期設定された記録領域の中心位置を前記撮像領域画像の中心位置に向けて徐々に移動させる領域設定ステップと、
   前記領域設定ステップにおいて設定された前記記録領域を前記撮像領域画像から切り出す画像切出しステップと、
   を含むことを特徴とする撮像方法。
5. 視野領域からの光を集光するレンズ部と、該レンズ部が集光した光を電気信号に変換する撮像素子を有し、該電気信号に基づいて電子的な画像データを連続的に生成する撮像部と、該撮像部が生成した画像データを記憶する記憶部と、前記撮像部が生成する画像データに基づいて画像を表示する表示部とを備え、第１の縦横比率で撮影を行う第１の撮影モードと、前記第１の縦横比率とは異なる第２の縦横比率で撮影を行う第２の撮影モードとを有する電子機器に、
   前記第１の撮影モードから前記第２の撮影モードへの移行時に、前記撮像部によって生成された画像データに対応する画像である撮像領域画像から被写体を検出する注目被写体検出ステップと、
   前記撮像領域画像から前記第２の縦横比率で切り出されて記録される記録領域を、前記注目被写体検出ステップにおいて検出された被写体の位置に基づいて、前記記録領域の垂直方向における中心位置が前記被写体の垂直方向における中心位置に一致するように初期設定すると共に、該初期設定された記録領域の中心位置を前記撮像領域画像の中心位置に向けて徐々に移動させる領域設定ステップと、
   前記領域設定ステップにおいて設定された前記記録領域を前記撮像領域画像から切り出す画像切出しステップと、
   を実行させることを特徴とする画像変換プログラム。
   
   

Images