JP4281724B2

JP4281724B2 - 撮像装置および方法

Info

Publication number: JP4281724B2
Application number: JP2005246578A
Authority: JP
Inventors: 淳司島田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-08-26
Filing date: 2005-08-26
Publication date: 2009-06-17
Anticipated expiration: 2025-08-26
Also published as: CN100559838C; US20070046783A1; JP2007060572A; CN1921566A; US7872671B2

Description

本発明は、撮像装置および方法に関し、特に固体撮像素子を用いて画像を撮像する撮像装置および方法に関する。

近年、デジタルカメラやデジタルビデオカメラなどの撮像装置には、より高画質な映像が撮像できることが求められるようになった。そのため、撮像装置の撮像素子にはより高画素のものが使われるようになった。高画素の撮像素子を用いた撮像装置では、きめ細やかな映像が撮像できるようになった反面、手ぶれが目立ちやすくなってしまった。また、撮像装置には、高倍率化も求められるようになった。そのため、手ぶれが目立ちやすくなってしまう状況が多くなりがちである。

そこで、撮像装置には手ぶれ補正機能が付加されることが多くなってきている。この手ぶれ補正機能を使うことによって手ぶれを起こしても撮像装置内の処理によって手ぶれが補正され、ぶれのないきれいな映像を撮像することが可能となっている。

また、手ぶれ補正機能を備えた撮像装置の中には、操作者の手ぶれを補正する手ぶれ補正動作に応じて、レンズ鏡筒内への不要光束の入射を防止する遮蔽板を駆動することによって、レンズ鏡筒内で不要光束が反射することによるゴーストやフレアの発生を防止することができる撮像装置も提案されている（特許文献１参照）。
特開２００５−１８１４５６号公報（段落番号〔００１７〕〜〔００４０〕、図１）

ところで、電子式手ぶれ補正機能を用いるためには、固体撮像素子のうち撮像に寄与する画素の領域を示す有効領域と、有効領域の外側に余剰画素を持たせている。つまり、固体撮像素子の一部の画素は画作りに寄与していない。したがって、固体撮像素子の画素を最大限使って画作りを行った映像に比べて入力される画素情報が少なくなるため、解像度が低く、画質が悪くなってしまう。

本発明はこのような点に鑑みてなされたものであり、固体撮像素子の画素をなるべく多く使って解像度を高め、かつ手ぶれ補正をすることが可能な撮像装置を提供することを目的とする。

本発明では上記問題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、前記固体撮像素子による撮像画像から矩形に切り出した有効領域の画像信号を読み出す画像信号読出手段と、前記有効領域の垂直または水平方向の一方が前記固体撮像素子の全画素の画素信号を読み出し、他方の方向に余剰画素があるように前記画像信号読出手段に対して前記有効領域を設定する有効領域設定手段と、前記撮像装置の手ぶれを検出する手ぶれ検出手段と、前記手ぶれ検出手段が検出した前記他方の方向の手ぶれを補正するように、前記画像信号読出手段に設定された前記有効領域を前記他方の方向に変位させる手ぶれ補正制御手段と、を有し、前記有効領域設定手段は、垂直または水平方向の一方が前記固体撮像素子の全画素の画素信号を読み出し、他方の方向に余剰画素があるように設定される第１の有効領域の他に、垂直および水平方向の両方向の全画素を読み出す第２の有効領域を選択的に設定可能であり、前記有効領域設定手段は、前記固体撮像素子のアスペクト比が１６：９であるか４：３であるかを判断し、アスペクト比が１６：９の場合、前記有効領域設定手段が前記第１の有効領域としてアスペクト比が４：３の有効領域を設定したとき、かつ、パンをしていることを示すパン判定フラグがＯＮのときのみ前記手ぶれ補正制御手段が有効になり、前記固体撮像素子のアスペクト比が４：３の場合、前記有効領域設定手段が前記第１の有効領域としてアスペクト比が１６：９の有効領域を設定したとき、かつ、チルトをしていることを示すチルト判定フラグがＯＮのときのみ前記手ぶれ補正制御手段が有効になることを特徴とする撮像装置が提供される。

本発明の撮像装置によれば、有効領域の垂直または水平方向の一方が固体撮像素子の全画素の画素信号を読み出し、他方の方向に余剰画素があるように有効領域を設定するので、撮像された画像信号の画素数を有効領域のアスペクトに対して最大限利用することができる。したがって、解像度や解像感が高く、画質の良い映像を撮像することができる。また、全画素を読み出す方向と直交する方向に余剰画素があるように有効領域を設定し、その方向の手ぶれに応じて有効領域を変位させることで、直交する方向の手ぶれを補正することもできる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本実施の形態に適用される発明の概念図である。図１に示すように、撮像装置１は、固体撮像素子１ａ、手ぶれ検出手段１ｂ、手ぶれ補正制御手段１ｃ、有効領域設定手段１ｄ、および画像信号読出手段１ｅを備えている。

固体撮像素子１ａは、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの照射された光を電気信号に変換して出力する素子である。手ぶれ検出手段１ｂは、撮像装置１に生じる手ぶれを検出する。具体的には、たとえばジャイロセンサの出力を常時検出し、前回の出力と今現在の出力を記録し、今現在の出力と前回の出力との差の符号を見て、ある一定期間以上符号の変化がなく、かつある一定期間以上出力値がある閾値以上である場合、パンまたはチルト状態であると判別する。

手ぶれ補正制御手段１ｃは、手ぶれ検出手段１ｂが検出した手ぶれを表す手ぶれ検出信号を受けると、手ぶれの方向とは反対の方向に有効領域をシフトさせるように指示するシフト指示信号を出力する。有効領域設定手段１ｄは、光が照射された固体撮像素子１ａが出力する撮像画像から矩形に切り出した有効領域のアスペクト比を設定する。また、固体撮像素子１ａのアスペクト比と、設定された有効領域のアスペクト比とを勘案して水平方向、もしくは垂直方向の少なくとも一方の全画素の画素信号を読み出すように有効領域を設定する。画像信号読出手段１ｅは、有効領域設定手段１ｄが設定した有効領域のアスペクト比などの情報を元に撮像画像から切り出す有効領域の位置を決定する。また、手ぶれ補正制御手段１ｃから出力される手ぶれ補正制御信号を受け、手ぶれに合わせて撮像画像から切り出す有効領域の位置をシフトする。

このような撮像装置１によれば、固体撮像素子１ａが受光して変換した画素信号をより多く使いながらも、撮像画像上に設定された有効領域の両端に形成された余剰画素を用いて手ぶれ補正をすることが可能となる。したがって、より多くの画素信号を使うことにより解像度や解像感が高く、画質の良い映像を撮像することが可能になるとともに、手ぶれを補正することにより手ぶれのない映像を撮像することが可能になる。

図２は、本実施の形態に係る撮像装置のシステム構成例を示す図である。図２に示すように、撮像装置１００は、撮像光学系１１０、ドライバ１１１、撮像素子１２０、ＴＧ（Timing Generator）１２１、アナログ信号処理部１３０、手ぶれ補正演算処理部１４０、ＡＤＣ（Analog to Digital Converter）１４１、角速度センサ１４２、メモリコントローラ１５０、画像メモリ１５１、Ｉ／Ｆ（InterFace）部１６０、およびシステムコントローラ１７０を備えている。

撮像光学系１１０は、被写体の拡大縮小を行うためのズームレンズ、焦点距離を調節するためのフォーカスレンズ、光量を調節するためのアイリス、ＮＤ（Neutral Density）フィルタ、およびそれらの駆動装置を備えた装置である。ドライバ１１１は、ズームレンズ、フォーカスレンズ、アイリス、およびＮＤフィルタを駆動する。

撮像素子１２０は、撮像光学系１１０を介して入射された被写体からの光を光電変換したＲＧＢ（Red Green Blue）各色の原色信号または補色系のアナログ信号を出力する。以下、撮像素子１２０を構成する全部の画素の画素信号が構成する画像を全面画像という。ＴＧ１２１は、撮像素子１２０を駆動するための各種タイミング信号を生成する。たとえば、各種タイミング信号とは、水平同期信号、および垂直同期信号などである。アナログ信号処理部１３０は、ＩＣ（Integrated Circuit）として構成されており、撮像素子１２０からアナログの画素信号を受け、色信号ごとにサンプルホールドし、ゲインを制御し、デジタル信号に変換する。

手ぶれ補正演算処理部１４０、角速度センサ１４２、および角速度センサ１４２のアナログ出力をデジタルデータに変換するＡＤＣ１４１は、手ぶれ補正を行うための機能ブロックである。角速度センサ１４２は、Ｖ方向（撮像素子１２０の受光面に対して上下方向に相当）、Ｈ方向（撮像素子１２０の受光面に対して左右方向に相当）の手ぶれ量に応じた出力が得られるセンサである。角速度センサ１４２から得られるデジタル出力を手ぶれ補正演算処理部１４０で処理し、演算結果をシステムコントローラ１７０に出力することにより、手ぶれ補正を実現する。

メモリコントローラ１５０は、システムコントローラ１７０からの指示を受け、出力画像に用いる画素の範囲である有効領域のアスペクト比、および全面画像上における有効領域の位置を設定して、画像メモリ１５１から読み出す。また、システムコントローラ１７０が指示する手ぶれ補正量に従って、有効領域をシフトさせることにより手ぶれを補正して出力する。画像メモリ１５１は、手ぶれ検出と補正の時間的な位相を調整するためのメモリである。アナログ信号処理部１３０から出力された全面画像はメモリコントローラ１５０を介して画像メモリ１５１に記憶され、手ぶれの動きベクトル検出に必要な時間を遅延させた後、画像メモリ１５１から読み出すと同時にメモリコントローラ１５０において手ぶれ補正を行う。

Ｉ／Ｆ部１６０は、デジタル回路で構成されており、１フィールドまたは１フレーム周期で画像の出力を行う。システムコントローラ１７０は、ドライバ１１１と、ＴＧ１２１と、アナログ信号処理部１３０の制御、および手ぶれ補正演算処理部１４０と、ＡＤＣ１４１と、角速度センサ１４２と、メモリコントローラ１５０による手ぶれ検出・補正制御を元にＩ／Ｆ部１６０の制御を行う。また、全画素読み出しモードへの切り換え信号を受信すると、メモリコントローラ１５０に対して画像メモリ１５１に記憶されている全面画像から切り出す有効領域の大きさを変更するよう指示信号を送信する。

撮像素子１２０が出力可能な画素信号のうち、Ｖ方向もしくはＨ方向の少なくとも一方の方向の全画素を読み出す全画素読み出しモードをＯＮにしたとき、全面画像と撮像装置１００が出力する出力画像のアスペクト比に応じて様々な有効領域を設定することができる。以下、全面画像のアスペクト比が１６：９、４：３、出力画像のアスペクト比が１６：９、４：３の場合を例に挙げて、全画素読み出しモードを選択したときの有効領域がどのように設定されるかを説明する。

図３は、全面画像のアスペクト比が１６：９であり、出力画像のアスペクト比が１６：９であるときの有効領域を示す図である。また、図３（Ａ）は、全画素読み出しモードがＯＦＦの状態を示した図であり、図３（Ｂ）は、全画素読み出しモードがＯＮの状態を示した図である。図３（Ａ）に示すように、アスペクト比が１６：９の全面画像２００の内部にアスペクト比が１６：９の有効領域２１０が設定されている。全面画像２００は、撮像素子１２０を構成する全ての画素が出力する画素信号で構成される画像である。また、有効領域２１０は、全面画像２００の一部または全部の範囲に対して設定され、設定された範囲内の画素信号がメモリコントローラ１５０から出力される。また、余剰画素２０１は、全面画像２００内において、有効領域２１０が設定されていない領域にある画素である。手ぶれ補正を行うときには、余剰画素２０１を用いて手ぶれ補正を行う。

また、全面画像２００のアスペクト比が１６：９であり、有効領域２１０のアスペクト比が１６：９であるときに全画素読み出しモードを選択すると、図３（Ｂ）に示すように全面画像２００と有効領域２１１とが重なり、撮像素子１２０が出力できる全ての画素信号を出力画像として使用することができる。

図４は、全面画像のアスペクト比が１６：９であり、出力画像のアスペクト比が４：３であるときの有効領域の関係を示す図である。また、図４（Ａ）は、全画素読み出しモードがＯＦＦの状態を示した図であり、図４（Ｂ）は、全画素読み出しモードがＯＮの状態を示した図である。図４（Ａ）に示すように、アスペクト比が１６：９の全面画像２００の内部にアスペクト比が４：３の有効領域２２０が設定されている。全面画像２００は、撮像素子１２０を構成する全ての画素が出力する画素信号で構成される画像である。また、有効領域２２０は、全面画像２００の一部または全部の範囲に対して設定され、設定された範囲内の画素信号がメモリコントローラ１５０から出力される。また、余剰画素２０１は、全面画像２００内に有効領域２２０が設定されたときに余る画素である。手ぶれ補正を行うときには、余剰画素２０１を用いて手ぶれ補正を行う。

また、全面画像２００のアスペクト比が１６：９であり、有効領域２２０のアスペクト比が４：３であるときに全画素読み出しモードを選択すると、図４（Ｂ）に示すように全面画像２００のＶ方向の全画素を使い、Ｈ方向には余剰画素２０２を有するように有効領域２２１が設定される。なお、Ｈ方向の入力画素数が全サイズの３／４倍になる。手ぶれ補正を行うときには、余剰画素２０２を用いてＨ方向の手ぶれ補正を行う。

図５は、全面画像のアスペクト比が４：３であり、出力画像のアスペクト比が４：３であるときの有効領域を示す図である。また、図５（Ａ）は、全画素読み出しモードがＯＦＦの状態を示した図であり、図５（Ｂ）は、全画素読み出しモードがＯＮの状態を示した図である。図５（Ａ）に示すように、アスペクト比が４：３の全面画像２３０の内部にアスペクト比が４：３の有効領域２４０が設定されている。全面画像２３０は、撮像素子１２０を構成する全ての画素が出力する画素信号で構成される画像である。また、有効領域２４０は、全面画像２３０の一部または全部の範囲に対して設定され、設定された範囲内の画素信号がメモリコントローラ１５０から出力される。また、余剰画素２３１は、全面画像２３０内に有効領域２４０が設定されたときに余る画素である。手ぶれ補正を行うときには、余剰画素２３１を用いて手ぶれ補正を行う。

また、全面画像２３０のアスペクト比が４：３であり、有効領域２４０のアスペクト比が４：３であるときに全画素読み出しモードを選択すると、図５（Ｂ）に示すように全面画像２３０と有効領域２４１とが重なり、撮像素子１２０が出力できる全ての画素信号を出力画像として使用することができる。

図６は、全面画像のアスペクト比が４：３であり、出力画像のアスペクト比が１６：９であるときの有効領域の関係を示す図である。また、図６（Ａ）は、全画素読み出しモードがＯＦＦの状態を示した図であり、図６（Ｂ）は、全画素読み出しモードがＯＮの状態を示した図である。図６（Ａ）に示すように、アスペクト比が４：３の全面画像２３０の内部にアスペクト比が１６：９の有効領域２５０が設定されている。全面画像２３０は、撮像素子１２０を構成する全ての画素が出力する画素信号で構成される画像である。また、有効領域２５０は、全面画像２３０の一部または全部の範囲に対して設定され、設定された範囲内の画素信号がメモリコントローラ１５０から出力される。また、余剰画素２３１は、全面画像２３０内に有効領域２５０が設定されたときに余る画素である。手ぶれ補正を行うときには、余剰画素２３１を用いて手ぶれ補正を行う。

また、全面画像２３０のアスペクト比が４：３であり、有効領域２５０のアスペクト比が１６：９であるときに全画素読み出しモードを選択すると、図６（Ｂ）に示すように全面画像２３０のＨ方向の全画素を使い、Ｖ方向には余剰画素２３２を有するように有効領域２５１が設定される。なお、Ｖ方向の入力画素数が全サイズの３／４倍になる。手ぶれ補正を行うときには、余剰画素２３２を用いてＶ方向の手ぶれ補正を行う。

次に、全画素読み出しモードをＯＮにしたとき、有効領域を最大限の領域まで使用した状態で、なおかつ余剰画素領域が存在する場合には、その余剰画素を使用して手ぶれ補正を行うようにする制御について説明する。

図７は、撮像装置による手ぶれ補正処理の手順を示すフローチャートである。以下、図７に示す処理をステップ番号に沿って説明する。
〔ステップＳ１１〕システムコントローラ１７０は、全画素読み出しモードのフラグがＯＮになっているかを確認する。

〔ステップＳ１２〕システムコントローラ１７０は、撮像素子１２０のアスペクト比が１６：９か否かを判断する。アスペクト比が１６：９だと判断した場合には、処理をステップＳ１３へ進め、アスペクト比が１６：９でないと判断した場合には、処理をステップＳ１６へ進める。以下、撮像素子１２０および有効領域のアスペクト比は１６：９か４：３であるとして説明する。

〔ステップＳ１３〕システムコントローラ１７０は、有効領域のアスペクト比が１６：９か否かを判断する。アスペクト比が１６：９と判断した場合には、処理を終了する。つまり、撮像素子１２０のアスペクト比が１６：９で、有効領域のアスペクト比も１６：９であるので、図３（Ｂ）に示すように、全面画像２００と有効領域２１１が一致する。つまり、撮像素子１２０が出力可能な画素信号のすべてを画作りに用いることができるようになるが、余剰画素領域がなくなるので電子式手ぶれ補正はできない。一方、システムコントローラ１７０が有効領域のアスペクト比が４：３と判断した場合には、処理をステップＳ１４へ進める。

〔ステップＳ１４〕システムコントローラ１７０は、手ぶれ補正機能がＯＮになっているかを判断する。手ぶれ補正機能がＯＮになっていると判断した場合には、処理をステップＳ１５へ進め、ＯＮになっていないと判断した場合には、処理を終了する。

〔ステップＳ１５〕システムコントローラ１７０は、Ｈ方向の手ぶれ補正を行うための制御信号をメモリコントローラ１５０に出力する。撮像素子１２０のアスペクト比が１６：９で、有効領域のアスペクト比が４：３であるので、図４（Ｂ）に示すように、全面画像２００上に、有効領域２２１と余剰画素２０２が設定される。このように、余剰画素２０２があることにより、Ｈ方向の手ぶれがあるときには、余剰画素２０２を用いて手ぶれに応じて有効領域２２１をＨ方向にシフトさせることにより、手ぶれ補正をすることができる。したがって、撮像素子１２０のアスペクト比が１６：９で、有効領域のアスペクト比が４：３の場合、全画素読み出しモードをＯＮにすると画素信号の数を増やすことができるので、解像度や解像感を向上させることができるとともに、Ｈ方向の手ぶれを補正することが可能である。

〔ステップＳ１６〕システムコントローラ１７０は、有効領域のアスペクト比が１６：９か否かを判断する。アスペクト比が１６：９と判断した場合には、処理をステップＳ１７へ進め、アスペクト比が４：３と判断した場合には、処理を終了する。つまり、撮像素子１２０のアスペクト比が４：３で、有効領域のアスペクト比も４：３であるので、図５（Ｂ）のように、全面画像２３０と有効領域２４１が一致する。つまり、撮像素子１２０が出力可能な画素信号のすべてを画作りに用いることができるようになるが、余剰画素領域がなくなるので電子式手ぶれ補正はできない。

〔ステップＳ１７〕システムコントローラ１７０は、手ぶれ補正機能がＯＮになっているかを判断する。手ぶれ補正機能がＯＮになっていると判断した場合には、処理をステップＳ１８へ進め、ＯＮになっていないと判断した場合には、処理を終了する。

〔ステップＳ１８〕システムコントローラ１７０は、Ｖ方向の手ぶれ補正を行うための制御信号をメモリコントローラ１５０に出力する。撮像素子１２０のアスペクト比が４：３で、有効領域のアスペクト比が１６：９であるので、図６（Ｂ）に示すように、全面画像２３０上に、有効領域２５１と余剰画素２３２が設定される。このように、余剰画素２３２があることにより、Ｖ方向の手ぶれがあるときには、余剰画素２３２を用いて手ぶれに応じて有効領域２５１をＶ方向にシフトさせることにより、手ぶれ補正をすることができる。したがって、撮像素子１２０のアスペクト比が４：３で、有効領域のアスペクト比が１６：９の場合、全画素読み出しモードをＯＮにすると画素信号の数を増やすことができるので、解像度や解像感を向上させることができるとともに、Ｖ方向の手ぶれを補正することが可能である。

次に、手ぶれ補正機能がＯＮの状態で全画素読み出しモードをＯＮにしたとき、有効領域を最大限の領域まで使用した状態で、なおかつ余剰画素領域が存在する場合には、その余剰画素を使用して手ぶれ補正を行うようにする制御について説明する。

図８は、撮像装置による手ぶれ補正判定処理の手順を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。
〔ステップＳ２１〕システムコントローラ１７０は、全画素読み出しモードのフラグがＯＮになっているかを確認する。

〔ステップＳ２２〕システムコントローラ１７０は、手ぶれ補正機能のフラグがＯＮになっているかを確認する。
〔ステップＳ２３〕システムコントローラ１７０は、撮像素子１２０のアスペクト比が１６：９か否かを判断する。アスペクト比が１６：９だと判断した場合には、処理をステップＳ２４へ進め、アスペクト比が４：３だと判断した場合には、処理をステップＳ２７へ進める。

〔ステップＳ２４〕システムコントローラ１７０は、有効領域のアスペクト比が１６：９か否かを判断する。アスペクト比が１６：９だと判断した場合には、処理を終了する。つまり、撮像素子１２０のアスペクト比が１６：９で、有効領域のアスペクト比も１６：９であるので、図３（Ｂ）のように、全面画像２００と有効領域２１１が一致する。つまり、撮像素子１２０が出力可能な画素信号のすべてを画作りに用いることができるようになるが、余剰画素領域がなくなるので電子式手ぶれ補正はできない。一方、システムコントローラ１７０が有効領域のアスペクト比が４：３だと判断した場合には、処理をステップＳ２５へ進める。

〔ステップＳ２５〕システムコントローラ１７０は、パンをしていることを示すパン判定フラグがＯＮであるか否かを判断する。ＯＮだと判断した場合には、処理をステップＳ２６へ進め、ＯＮでないと判断した場合には、処理を終了する。

〔ステップＳ２６〕システムコントローラ１７０は、Ｈ方向の手ぶれ補正を行うための制御信号をメモリコントローラ１５０に出力する。撮像素子１２０のアスペクト比が１６：９で、有効領域のアスペクト比が４：３であるので、図４（Ｂ）に示すように、全面画像２００上に、有効領域２２１と余剰画素２０２が設定される。このように、余剰画素２０２があることにより、Ｈ方向の手ぶれがあるときには、余剰画素２０２を用いて手ぶれに応じて有効領域２２１をＨ方向にシフトさせることにより、手ぶれ補正をすることができる。したがって、撮像素子１２０のアスペクト比が１６：９で、有効領域のアスペクト比が４：３の場合、全画素読み出しモードをＯＮにすると画素信号の数を増やすことができるので、解像度や解像感を向上させることができるとともに、Ｈ方向の手ぶれを補正することが可能である。

〔ステップＳ２７〕システムコントローラ１７０は、有効領域のアスペクト比が１６：９か否かを判断する。アスペクト比が１６：９と判断した場合には、処理をステップＳ２８へ進め、アスペクト比が４：３と判断した場合には、処理を終了する。つまり、撮像素子１２０のアスペクト比が４：３で、有効領域のアスペクト比も４：３であるので、図５（Ｂ）のように、全面画像２３０と有効領域２４１が一致する。つまり、撮像素子１２０が出力可能な画素信号のすべてを画作りに用いることができるようになるが、余剰画素領域がなくなるので電子式手ぶれ補正はできない。

〔ステップＳ２８〕システムコントローラ１７０は、チルトをしていることを示すチルト判定フラグがＯＮであるか否かを判断する。ＯＮだと判断した場合には、処理をステップＳ２９へ進め、ＯＮでないと判断した場合には、処理を終了する。

〔ステップＳ２９〕システムコントローラ１７０は、Ｖ方向の手ぶれ補正を行うための制御信号をメモリコントローラ１５０に出力する。撮像素子１２０のアスペクト比が４：３で、有効領域のアスペクト比が１６：９であるので、図６（Ｂ）に示すように、全面画像２３０上に、有効領域２５１と余剰画素２３２が設定される。このように、余剰画素２３２があることにより、Ｖ方向の手ぶれがあるときには、余剰画素２３２を用いて手ぶれに応じて有効領域２５１をＶ方向にシフトさせることにより、手ぶれ補正をすることができる。したがって、撮像素子１２０のアスペクト比が４：３で、有効領域のアスペクト比が１６：９の場合、全画素読み出しモードをＯＮにすると画素信号の数を増やすことができるので、解像度や解像感を向上させることができるとともに、Ｖ方向の手ぶれを補正することが可能である。

以上のような処理を行うことにより、有効領域のアスペクト比を維持したままで、全面画像の最大限の領域まで使用して有効領域を設定したときであって、余剰画素領域が存在する場合には、従来の手ぶれ補正機能を使った撮像時よりも多くの画素信号を使って画作りをすることができ、かつ余剰画素を用いて手ぶれ補正をすることが可能となる。したがって、映像の解像度や解像感を高く、画質の良い映像を撮像することができるとともに、手ぶれを補正することにより、ぶれのない映像を撮像することが可能となる。

たとえば、撮像素子１２０のアスペクト比が図３、４に示したように１６：９であって、全画素読み出しモードをＯＮにしたときであって、有効領域のアスペクト比を１６：９と４：３とで切り換えることができるようにした場合、有効領域のアスペクト比をどちらに選択しても撮像する映像を高画質化することができる。さらに、有効領域のアスペクト比を１６：９から４：３に切り換えたときには、図４（Ｂ）に示したように、全面画像２００上に画作りには寄与しない余剰画素２０２が形成されるので、高画質化できる上に余剰画素２０２を用いて手ぶれ補正を行うことができるようになることにより、有効に画素信号を使うことができる。

また、撮像素子１２０のアスペクト比が図５、６に示したように４：３であって、全画素読み出しモードをＯＮにしたときであって、有効領域のアスペクト比１６：９と４：３とで切り換えることができるようにした場合にも同様に、有効領域のアスペクト比をどちらに選択しても撮像する映像を高画質化することができる上に、有効領域のアスペクト比を切り換えたときに形成される余剰画素２３２を用いて手ぶれ補正をすることができるようになることにより、有効に画素信号を使うことができる。

このような撮像装置によれば、同一方向にぶれやすく、かつ高画質で撮像が要求されるような場面においては、特に有用である。また、余剰画素領域が存在する場合、光学式手ぶれ補正やセンサシフト式手ぶれ補正などの電子式手ぶれ補正以外の機械的な手ぶれ補正を行う機能を余剰画素方向に対して垂直の方向にのみ限定することによって、撮像素子の画素を有効に利用して画質の良い映像を撮像しながら、全方向の手ぶれを補正し、かつ全方向の手ぶれ補正を行うことが可能な機械的な手ぶれ補正機能を付ける場合に比べてコストや装置の大きさを抑えることも可能となる。

なお、本実施の形態において、メモリコントローラ１５０がシステムコントローラ１７０からの指示を受けて有効領域を設定するが、ＴＧ１２１がシステムコントローラ１７０からの指示を受けて撮像素子１２０へのタイミング信号によってアナログ信号処理部１３０に出力する画素信号を制御することによって有効領域を設定してもよい。

本実施の形態に適用される発明の概念図である。本実施の形態に係る撮像装置のシステム構成例を示す図である。全面画像のアスペクト比が１６：９であり、出力画像のアスペクト比が１６：９であるときの有効領域を示す図である。全面画像のアスペクト比が１６：９であり、出力画像のアスペクト比が４：３であるときの有効領域の関係を示す図である。全面画像のアスペクト比が４：３であり、出力画像のアスペクト比が４：３であるときの有効領域を示す図である。全面画像のアスペクト比が４：３であり、出力画像のアスペクト比が１６：９であるときの有効領域の関係を示す図である。撮像装置による手ぶれ補正処理の手順を示すフローチャートである。撮像装置による手ぶれ補正判定処理の手順を示すフローチャートである。

符号の説明

１……撮像装置、１ａ……固体撮像素子、１ｂ……手ぶれ検出手段、１ｃ……手ぶれ補正制御手段、１ｄ……有効領域設定手段、１ｅ……画像信号読出手段

Claims

固体撮像素子を用いて画像を撮像する撮像装置において、
前記固体撮像素子による撮像画像から矩形に切り出した有効領域の画像信号を読み出す画像信号読出手段と、
前記有効領域の垂直または水平方向の一方が前記固体撮像素子の全画素の画素信号を読み出し、他方の方向に余剰画素があるように前記画像信号読出手段に対して前記有効領域を設定する有効領域設定手段と、
前記撮像装置の手ぶれを検出する手ぶれ検出手段と、
前記手ぶれ検出手段が検出した前記他方の方向の手ぶれを補正するように、前記画像信号読出手段に設定された前記有効領域を前記他方の方向に変位させる手ぶれ補正制御手段と、
を有し、
前記有効領域設定手段は、垂直または水平方向の一方が前記固体撮像素子の全画素の画素信号を読み出し、他方の方向に余剰画素があるように設定される第１の有効領域の他に、垂直および水平方向の両方向の全画素を読み出す第２の有効領域を選択的に設定可能であり、
前記有効領域設定手段は、前記固体撮像素子のアスペクト比が１６：９であるか４：３であるかを判断し、アスペクト比が１６：９の場合、前記有効領域設定手段が前記第１の有効領域としてアスペクト比が４：３の有効領域を設定したとき、かつ、パンをしていることを示すパン判定フラグがＯＮのときのみ前記手ぶれ補正制御手段が有効になり、前記固体撮像素子のアスペクト比が４：３の場合、前記有効領域設定手段が前記第１の有効領域としてアスペクト比が１６：９の有効領域を設定したとき、かつ、チルトをしていることを示すチルト判定フラグがＯＮのときのみ前記手ぶれ補正制御手段が有効になることを特徴とする撮像装置。
固体撮像素子を用いて画像を撮像する撮像方法において、
画像信号読出手段が、前記固体撮像素子による撮像画像から矩形に切り出した有効領域の画像信号を読み出すステップと、
有効領域設定手段が、前記有効領域の垂直または水平方向の一方が前記固体撮像素子の全画素の画素信号を読み出し、他方の方向に余剰画素があるように前記画像信号読出手段に対して前記有効領域を設定するステップと、
手ぶれ検出手段が、撮像装置の手ぶれを検出するステップと、
手ぶれ補正制御手段が、前記手ぶれ検出手段が検出した前記他方の方向の手ぶれを補正するように、前記画像信号読出手段に設定された前記有効領域を前記他方の方向に変位させるステップと、を含み、
前記有効領域設定手段は、垂直または水平方向の一方が前記固体撮像素子の全画素の画素信号を読み出し、他方の方向に余剰画素があるように設定される第１の有効領域の他に、垂直および水平方向の両方向の全画素を読み出す第２の有効領域を選択的に設定可能であり、
前記有効領域設定手段は、前記固体撮像素子のアスペクト比が１６：９であるか４：３であるかを判断し、アスペクト比が１６：９の場合、前記有効領域設定手段が前記第１の有効領域としてアスペクト比が４：３の有効領域を設定したとき、かつ、パンをしていることを示すパン判定フラグがＯＮのときのみ前記手ぶれ補正制御手段が有効になり、前記固体撮像素子のアスペクト比が４：３の場合、前記有効領域設定手段が前記第１の有効領域としてアスペクト比が１６：９の有効領域を設定したとき、かつ、チルトをしていることを示すチルト判定フラグがＯＮのときのみ前記手ぶれ補正制御手段が有効になることを特徴とする撮像方法。