JP5746521B2 - 撮像装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、撮像により取得した画像データの補正処理技術に関する。

デジタルスチルカメラやビデオカメラに代表される撮像装置には、被写体の光像を電気信号に変換する撮像素子が搭載されている。そして、撮像素子の中でも、特にＣＭＯＳイメージセンサは、列ごとにアンプ（以下、列アンプ）が配置されているものが主流であるが、列アンプの電気特性のバラツキによって輝度値にバラツキが生じ縦線が発生する場合がある。この縦線を補正するため、画素領域の端部（１０ライン程度）に水平方向（行方向）に並ぶ全画素領域を覆う遮光部（以下、ＶＯＢ部）を設け、このＶＯＢ部からの出力信号（以下、ＶＯＢ信号）を基に列ごとの補正データを生成し、有効画素領域の画像データと補正データとの差分で補正を行う。

また、ＶＯＢデータはランダムノイズ成分を持っているために、各列ごとにＶＯＢ信号を平均化することで補正データを生成している。この平均化処理はランダムノイズ成分を除去する効果があるが、多くのＶＯＢ信号を必要としており、補正データが収束するまでに２５６データ、フレーム数にすると約２５フレームの時間を必要とする。

また、センサの全画素領域よりも小さい領域（切り出し領域）を画像出力用の有効画素領域とし、それ以外の画素領域を電子防振用領域としてフレームごとに切り出し領域を可変とすることで電子防振機能が実現される。この電子防振機能は、ＣＭＯＳイメージセンサから電子防振用領域を含めた画素領域を読み出し、上記縦線補正を行った後、出力画像データを任意に切り出すことで実現される。

さらに、ＣＭＯＳイメージセンサは画像データのランダムアクセス（任意の領域の読み出し）が可能であるために、読み出し領域を可変に制御することで、上記電子防振機能が実現できる。このようにしてセンサの読み出す領域（画素数）を限定することで、画素信号転送時の周波数や消費電力の低減を実現する。

特開２００５−１９２２５０号公報

しかしながら、上記電子防振技術では、列フレーム単位で読み出し領域が変更され、水平方向（行方向）に読み出し領域が移動した場合にはＶＯＢ信号を平均化処理することで補正データを生成しているため、異なる列の補正データを基に補正が行われてしまう。

このため、補正データを適正化するためには、同じ読み出し領域のＶＯＢ信号を２５フレーム程度読み出す必要が生じ、フレーム単位で読み出し領域を可変とする電子防振制御において正しい補正データが生成されず、縦線が発生してしまう。

本発明は、上記課題に鑑みてなされ、その目的は、センサの読み出し領域が変更された場合でも、縦線を発生させることなく、画像品位の低下を抑制することができる画像データの補正処理技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数の画素が行方向及び列方向において２次元に配列された有効画素部と、前記有効画素部の行方向または列方向の端部に少なくとも１ライン設けられた遮光画素部とを有する撮像素子と、
前記有効画素部から有効画素信号を読み出すための有効画素信号読み出し領域と、前記遮光画素部から遮光画素信号を読み出すための遮光画素信号読み出し領域とを行方向または列方向の少なくとも一方において可変設定する設定手段と、
前記有効画素信号読み出し領域から前記有効画素信号を読み出すとともに、前記遮光画素信号読み出し領域から前記遮光画素信号を読み出す読み出し手段と、前記読み出し手段により読み出した前記遮光画素信号に基づいて列または行ごとの補正データを生成する補正データ生成手段と、前記補正データを用いて、前記読み出し手段により読み出した前記有効画素信号を列または行ごとに補正する補正手段と、撮像装置のブレ量に応じて、前記設定手段により設定される前記有効画素信号読み出し領域を変更する制御手段と、を有し、前記制御手段は、前記有効画素信号読み出し領域を変更する場合に、前記遮光画素信号読み出し領域が前記有効画素信号読み出し領域よりも広くなるように前記設定手段を制御する。

本発明によれば、センサの読み出し領域が変更された場合でも、列ごとの縦線補正データを適正な補正データとすることができるので、縦線を発生させることなく、画像品位の低下を抑制することができる。

本発明に係る実施形態の撮像装置のブロック図。 本実施形態のＣＭＯＳイメージセンサの内部構成図。 本実施形態のＣＭＯＳイメージセンサの読み出し領域を示す図。 実施形態１の補正データ生成処理を説明する図。 本実施形態の補正処理を説明する図。 実施形態１の読み出し領域変更後の補正処理を説明する図。 実施形態２の補正データ生成処理を説明する図。 実施形態２の読み出し領域変更後の補正データ生成処理を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下では、本発明に係る撮像装置として、デジタルカメラを例に挙げて説明する。なお、撮像装置はデジタルスチルカメラやデジタルビデオカメラなどの他、被写体からの光を光電変換し撮像することにより画像データを生成する画像ファイル生成手段を有する装置を含む。

＜デジタルカメラの構成＞図１を参照して、本実施形態のデジタルカメラの構成について説明する。

図１において、レンズ群１００は、被写体の光像を撮像素子１０３の撮像面に収束させる。レンズ群１００には、焦点合わせを行うためのＡＦ（オートフォーカス）機構及びズーム機構が組み込まれている。

絞り部１０１は、被写体像の光量を調節するＡＥ（自動露出制御）を行い、後述する電子シャッター時間（露光時間）及びゲインと合わせて、撮像される画像を適切な輝度レベルに保つように駆動される。

レンズドライバ１０２は、後述するＣＰＵ１１２の制御下において、絞り部１０１及びフォーカスレンズやズームレンズなどのレンズ群１００を駆動する。

撮像素子１０３は、レンズ群１００を通過した被写体の光像を電気信号に変換する半導体撮像素子からなるＣＭＯＳイメージセンサである。撮像素子１０３は、ＣＰＵ１１２の制御下において、予め設定された読み出し開始位置に応じた任意の領域（読み出し領域）の画素信号が読み出される。そして、撮像素子１０３は、後述する光電変換素子としてのフォトダイオードＰＤを含む複数の画素が行方向（水平方向）及び列方向（垂直方向）において２次元状に配列された有効画素部と、これら有効画素部の列方向と行方向のそれぞれの端部に少なくとも１ライン設けられた遮光画素部としてのＶＯＢ部２００とＨＯＢ部２０１とを有する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０４は、撮像素子１０３から出力されるアナログ画素信号から信号レベルを取り出すためのＣＤＳ回路、並びにアナログ画素信号をデジタル信号に変換するＡ／Ｄ変換部を含むアナログ信号処理回路である。

補正データ生成部１０５は、撮像素子１０３から出力され、上記ＡＦＥ１０４でＡ／Ｄ変換された第１の遮光画素信号である垂直ＯＢ信号（ＶＯＢ信号）に基づいて、各列ごとの縦線補正データを生成する。

補正データメモリ１０６は、前述した有効画素部から出力される有効画素信号を列単位で補正するための各列ごとの補正データを格納する。

補正部１０７は、前述した補正データメモリ１０６から各列ごとの補正データを読み出して、ＡＦＥ１０４から出力される有効画素信号に対する輝度レベルの補正処理を各列単位で実行する。

画像処理部１０８は、ＡＦＥ１０４から出力されるデジタル画像信号について、γ補正、アパーチャ補正、カラーバランス補正等の画像処理を施し、所望の動画フォーマットに変換し、後述する表示部１０９及び記憶部１１０へ出力する。

表示部１０９は、ＬＣＤ等から構成され、画像処理部１０８から出力される画像データを表示する。

記憶部１１０は、ＳＤカード及びフラッシュメモリ等からなり、ＭＰＥＧ等の動画データを記憶する。

ジャイロ部１１１は、加速度センサ等で構成され、主に手ぶれによるカメラのブレ量を検出する。

ＣＰＵ１１２は、図１に示した撮像装置であるデジタルカメラの各部を統括して制御する。

＜撮像素子の構成＞次に図２を参照して、図１の撮像素子１０３の読み出し領域を任意に変更可能なＣＭＯＳイメージセンサの内部構成について説明する。

図２において、第１の遮光画素部である垂直ＯＢ（ＶＯＢ）部２００は、後述するフォトダイオード２０２に光が当たらないように遮光膜が配置されたＯＢ部である。ＶＯＢ部２００は、本実施形態では有効画素部の列方向（垂直方向）の端部に設けられ、列方向に１０ライン分の画素が遮光されている。

第２の遮光画素部である水平ＯＢ（ＨＯＢ）部２０１は、有効画素部の行方向（水平方向）の端部に設けられ、ＶＯＢ部２００と同様に遮光膜が配置されたＯＢ部であり、行方向（水平方向）に複数列の画素が遮光されている。

各画素を構成するフォトダイオード（ＰＤ）２０２は、光電変換を行って入射光を電荷信号に変換して出力する。ＶＯＢ部２００及びＨＯＢ部２０１以外の遮光されていない部分に配置された画素が有効画素であり、被写体からの光を光電変換して有効画素信号を出力する。

レジスタ群２０３は、ＣＰＵ１１２に接続され、電子シャッター等の各種設定と共に、読み出し開始位置と読み出し領域を設定する。

列アンプ２０４は、後述する行セレクタ２０５で選択された画素信号を増幅するものであり、各列ごとに配置されている。

行セレクタ２０５は、レジスタ群２０３により設定された読み出し開始位置と読み出し領域を基に任意の行のＰＤ２０２、ＶＯＢ部２００、ＨＯＢ部２０１をそれぞれ選択し、後述する列セレクタ２０６に各画素信号を出力する。

列セレクタ２０６は、レジスタ群２０３に設定された読み出し開始位置、読み出し領域を基に選択された画素信号を順次読み出し、列ごとに選択しＡＦＥ１０４へ出力する。

まず電源が投入されると、ＣＰＵ１１２は初期設定を行う。

そして行方向（水平方向）及び列方向（垂直方向）の読み出し領域、及び読み出し開始アドレスをレジスタ群２０３、並びに図１の補正データ生成部１０５及び補正部１０７に設定する。

＜読み出し領域＞次に図３を参照して、ＣＭＯＳイメージセンサの読み出し領域について説明する。

図３に示すように、ＣＭＯＳイメージセンサの有効画素信号読み出し領域３００として、行方向（水平方向）の全領域Ｓｘに対して、行方向（水平方向）の読み出し領域Ｙｘ、列方向（垂直方向）の全領域Ｓｙに対して、列方向（垂直方向）の読み出し領域Ｙｙが設定される。

また、有効画素信号読み出し領域３００に対応する読み出し開始アドレス３０２は、座標（Ｘｒ、Ｙｒ）である。

ここで、有効画素信号読み出し領域３００は、初期設定位置でありＣＭＯＳイメージセンサの有効画素領域に対して、センサ中心及び光学中心となるように設定される。

レジスタ群２０３には、水平方向（行方向）読み出し領域Ｙｘ、垂直方向（列方向）読み出し領域Ｙｙ、読み出し開始アドレス（Ｘｒ、Ｙｒ）がそれぞれ設定される。

有効画素信号読み出し領域３００以外は電子防振領域であり、ＣＰＵ１１２がジャイロ部１１１により検出されたブレ量に応じて読み出し開始アドレスを変更することで、任意の領域を読み出し可能とする電子防振機能を実現する。

初期設定が終了すると、ＡＥ制御に伴って絞り部及びフォーカスレンズが制御され、設定された露光時間の間、ＣＭＯＳイメージセンサに一定の光が照射され光電変換が行われる。

次に、図３の有効画素信号読み出し領域３００に対応する第２の遮光画素信号であるＨＯＢ信号が読み出される。

読み出されたＨＯＢ信号はＡＦＥ１０４で平均化処理され、クランプ処理のための黒レベルとして保存される。

次に、１行目における行方向（水平方向）全領域（列Ｘ０、Ｘ１、Ｘ２、Ｘ３・・・Ｘａに対応）のＶＯＢ信号がＡＦＥ１０４に出力される。

ここでは、列Ｘ０のＶＯＢ信号をＶＯＢｘ０、列Ｘ１のＶＯＢ信号をＶＯＢｘ１・・・、列ＸａのＶＯＢ信号をＶＯＢｘａとする。

読み出された第１の遮光画素信号であるＶＯＢ信号は、ＡＦＥ１０４で、ＨＯＢ信号に基づく黒レベルにクランプ処理された後に補正データ生成部１０５に入力される。

＜補正データ生成処理＞次に図４を参照して、補正データ生成処理について説明する。

図４に示すように、補正データメモリ１０６には、補正データとしてある初期値が格納されており、順次入力されるＶＯＢ信号を用いた演算結果を基に更新されて、最新の補正データが格納される。

ここで、列Ｘ０の補正データはＨＶｘ０、列Ｘ１の補正データはＨＶｘ１、・・・列Ｘａの補正データはＨＶｘａとなる。

まず、補正データ生成部１０５は、ＡＦＥ１０４から列Ｘ０のＶＯＢ信号であるＶＯＢｘ０が入力されると、補正データメモリ１０６から列Ｘ０に対応する現在の補正データＨＶｘ０を読み出す。そして、以下に示すＩＩＲフィルタの計算式（１）において、現在（更新前）の補正データＰＨＶｘとして、補正データメモリ１０６から読み出された補正データＨＶｘ０が入力される。また、式（１）のＶＯＢｘには、列Ｘ０のＶＯＢ信号であるＶＯＢｘ０が入力される。そして、式（１）の演算を行うことにより、更新後の補正データＨＶｘとして新たな補正データＨＶｘ０が算出（生成）される。
ＨＶｘ（更新後の補正データ）＝Ｋ・ＶＯＢｘ＋（１−Ｋ）・ＰＨＶｘ（更新前の補正データ） （０＜Ｋ＜１）・・・（１）
ここで、Ｋは巡回係数であり、Ｋの値を１に近づけると補正データＨＶｘの収束時間が短くなるがＶＯＢ部のランダムノイズの影響を受け易くなり、Ｋの値を０に近づけるとノイズの影響は小さくなるが、補正データＨＶｘの収束時間が長くなってしまう。

ここでは、実験等で適正値と考えられるＫ＝１／２５６を用いるものとする。

巡回係数Ｋが１／２５６であると、収束するのに約２５６個のＶＯＢ信号が必要となり、仮にＶＯＢ部が１０ラインである場合には、約２５フレームのＶＯＢ信号が必要となる。補正データ生成部１０５で算出（生成）された新たな補正データＨＶｘ０は補正データメモリ１０６のＨＶｘ０に書き戻される。すなわち、補正データメモリ１０６の補正データが更新される。

更に、補正データ生成部１０５は、列Ｘ１のＶＯＢ信号であるＶＯＢｘ１が入力されると、同様に補正データメモリ１０６から列Ｘ１に対応する現在格納されている補正データＨＶｘ１を読み出す。そして、上記と同様な演算により求めた新たな補正データＨＶｘ１を書き戻し、補正データメモリ１０６の補正データを更新する。

以上の処理を繰り返し行い、列Ｘａに対応するＨＶｘａまで補正データが更新されると、ＶＯＢ部の１ライン目におけるＶＯＢ信号の読み出し及び補正データの生成処理が終了する。

同様に行セレクタ２０５で、ＶＯＢ部の２ライン目を選択し、列セレクタ２０６により順次、ＶＯＢ信号をＡＦＥ１０４に入力する。

そして、ＶＯＢ部の１ライン目と同様に、列Ｘ０〜Ｘａに対応する各列ごとの補正データを更新する。

以上の処理を繰り返し行い、２５フレーム分（すなわち、各列２５０程度）のＶＯＢ信号が補正データ生成部１０５に入力されて、補正データが更新されると、補正データとして適性な値に収束する。

＜データ読み出し処理＞次に読み出し領域からのデータの読み出し処理について説明する。

まず、レジスタ群２０３に設定されている読み出し開始アドレス（Ｘｒ，Ｙｒ）から、行セレクタ２０５により、列方向（垂直方向）の読み出し開始アドレスとして行Ｙｒを選択し、列セレクタ２０６に出力する。

列セレクタ２０６は、ＡＦＥ１０４に第２の遮光画素信号であるＨＯＢ信号を順次出力する。前述したようにＡＦＥ１０４では、入力されたＨＯＢ信号がクランプ黒レベルとして平均化処理される。

次に、列セレクタ２０６は、行方向（水平方向）における読み出し開始アドレスである列Ｘｒの画素信号をＡＦＥ１０４に出力する。

続いて、列セレクタ２０６は、列Ｘｒ＋１、Ｘｒ＋２、・・・・Ｘｓの各列に対応した画素信号を順次、ＡＦＥ１０４に出力する。

ＡＦＥ１０４は、入力された各列の画素信号に対して、ＨＯＢ信号を平均化することで求めた黒レベルでクランプ処理を行い、さらにＣＤＳ処理及びＡ／Ｄ変換を行う。そして、補正部１０７に列Ｘｒ、Ｘｒ＋１・・・Ｘｓの各列に対応したデジタル画素データを出力する。

＜補正処理＞次に図５を参照して、補正処理について説明する。

図５の横軸はセンサ列、縦軸は輝度レベルをそれぞれ示している。

図５に示すように、有効画素信号読み出し領域として設定された列Ｘｒ・・・Ｘｓの各列における有効画素データ５００には、列アンプ２０４の電気的特性のバラツキにより、列ごとに輝度レベルのバラツキが生じている。

補正部１０７には、ＣＰＵ１１２により読み出しアドレスが設定される。

列Ｘｒの有効画素データが読み出されている場合、補正部１０７は、補正データ生成部１０５から列Ｘｒの補正データＨｖｘｒを読み出す。そして、列Ｘｒの有効画素データと補正データＨｖｘｒとの差分をとり、画像処理部１０８に出力する。

同様に、列Ｘｒ＋１の有効画素データが読み出されている場合は、列Ｘｒ＋１に対応する補正データＨｖｘｒ＋１を読み出し、列Ｘｒ＋２の有効画素データが読み出されている場合は、列Ｘｒ＋２に対応する補正データＨｖｘｒ＋２を読み出す。そして、それぞれ読み出している列に対応する有効画素データとの差分をとる。

以上の処理を繰り返し行うことで、列Ｘｒ〜Ｘｓまでの有効画素データにおける列ごとの輝度レベルのバラツキが補正されて、補正された各列の有効画素信号が画像処理部１０８に出力される。

上記のような補正処理を行うことにより、図５の補正後の有効画素データ５０１に示すように、列ごとの輝度レベルのバラツキが補正される。

＜電子防振機能による読み出し領域変更後の補正処理＞次に、電子防振機能により読み出し領域が変更された場合の補正処理について説明する。

図３に示すように、デフォルトの読み出し領域３００から水平方向に“ｄ”だけ移動した読み出し領域３０１から画素信号を読み出す場合、レジスタ群２０３には、その移動量に応じて水平方向の読み出し開始アドレスとしてＸｒ＋ｄが設定される。垂直方向の読み出し開始アドレスについては、特に影響はない。

前述したように、ＶＯＢ信号をＸ０列〜Ｘａ列までの水平方向の全領域から読み出し、補正データを更新する。

ＶＯＢ信号の読み出し終了後に、垂直方向の読み出し開始アドレスに基づいて行セレクタ２０５により設定された行の画素信号を列セレクタ２０６に出力する。

次に、列セレクタ２０６は、ＨＯＢ信号をＡＦＥ１０４に出力する。ＡＦＥ１０４では、前述したようにクランプ黒レベルとしてＨＯＢ信号の平均化処理を行う。そして、列セレクタ２０６は、レジスタ群２０３に設定された水平方向の読み出し開始アドレスに基づいてＸｒ＋ｄ列を選択し、ＡＦＥ１０４へ出力する。

続いて、列セレクタ２０６は、列Ｘｒ＋ｄ＋１、Ｘｒ＋ｄ＋２・・・Ｘｓ＋ｄの各列の画素信号を順次、ＡＦＥ１０４に出力する。

ＡＦＥ１０４は、入力された画素信号に対して、ＨＯＢ信号を平均化することで求めた黒レベルでクランプ処理を行い、さらにＣＤＳ処理及びＡ／Ｄ変換を行う。そして、各列のデジタル画素データは、前述と同様に補正部１０７に出力される。

次に図６を参照して、画素信号が読み出し開始アドレスＸｒ＋ｄ列から読み出された場合の補正処理について説明する。

図６において、Ｘｒ＋ｄ列から読み出された画像データ６００は、列アンプ２０４の電気的特性のバラツキにより、列ごとの輝度レベルのバラツキが生じている。

補正部１０７は、設定された水平方向の読み出し開始アドレス（Ｘｒ＋ｄ）に基づいて、補正データメモリ１０６からＸｒ＋ｄ列に対応した補正データＨｖｘｒ＋ｄを読み出す。そして、前述と同様に画素データとの差分をとることで補正を行う。

次に、Ｘｒ＋ｄ＋１列の画素データが出力されているときには、補正データメモリ１０６からＸｒ＋ｄ＋１列に対応したＨｖｘｒ＋ｄ＋１の補正データの読み出しを行う。

以上の処理を繰り返し行い、各列に対応した補正データを補正データメモリ１０６から読み出して、Ｘｒ＋ｄ列〜Ｘｓ＋ｄ列までの補正を行うと、図６の補正後の画素データ６０１に示すように、列ごとの輝度レベルのバラツキは解消される。

このようにして補正部１０７で補正された画素データは、各記録フォーマットに変換されて記憶部１１０に記憶され、或いは表示部１０９に表示される。

なお、本実施形態では、ＶＯＢ信号（遮光画素信号）を行方向（水平方向）における全領域から読み出している。しかしながら、全領域から読み出さなくても、フレームごとの有効画素信号読み出しアドレスの最大可変量に基づいて、ＶＯＢ信号（遮光画素信号）の読み出し領域を制御してもよい。その場合、行方向（水平方向）において、遮光画素信号読み出し領域が有効画素信号読み出し領域よりも広くなるようにレジスタ群２０３を制御する。そして、このように読み出し領域を制御することで、１フレームで読み出すＶＯＢ信号（遮光画素信号）を少なくすることができ、読み出しクロックや消費電力を低減する効果がある。

また、本実施形態では、電子防振機能により有効画素信号読み出し領域の範囲が行方向に変更される例について述べたが、行方向または列方向の少なくとも一方において可変設定してもよい。また、本発明は、電子防振機能以外の目的で有効画素信号読み出し領域が変更される制御にも適用できる。

さらに、本実施形態では、各列に配置されたアンプ部による輝度レベルのバラツキの補正について述べたが、それに限らず、列ごとの輝度レベルのバラツキの補正全てに有効であり、更に行ごとの輝度レベルのバラツキの補正にも応用することができる。なお、行ごとの輝度レベルのバラツキを補正する場合には、上記実施形態で説明したＶＯＢ部から出力されるＶＯＢ信号ではなく、水平ＯＢ（ＨＯＢ）部から出力されるＨＯＢ信号に基づいて行ごとの補正データを補正データ生成部１０５が生成する。そして、生成した行ごとの補正データを用いて補正部１０７が上記有効画素信号の輝度レベルを行ごとに補正するようにすればよい。

上記実施形態によれば、電子防振機能などに連動して有効画素信号読み出し領域が変更される撮像装置において、行方向において、遮光画素信号読み出し領域が有効画素信号読み出し領域よりも広くなるように制御する。このようにすることで、より多くのＶＯＢ信号を読み出して各列ごとの補正データを生成し、有効画素信号読み出し領域が変更された場合でも適正に輝度レベルのバラツキにより生じる縦線を補正することが可能となる。

［実施形態２］次に、実施形態２について説明する。なお、撮像装置及びＣＭＯＳイメージセンサの構成は実施形態１と同様であるので説明は省略する。

まず実施形態１と同様に、電源オン後に初期設定を行うと共に、実施形態２では、読み出し領域及び読み出し開始アドレスの他に、フレーム識別信号をレジスタ群２０３及び補正データ生成部１０５に出力する。

フレーム識別信号は、１フレーム読み出すごとに”ＨＩＧＨ”と”ＬＯＷ”が変化する信号であり、奇数フレーム読み出し時には”ＨＩＧＨ”が出力され、偶数フレーム読み出し時には”ＬＯＷ”が出力される。

なお、信号論理は逆でもよいし、また信号ではなく設定値としてレジスタ群２０３及び補正データ生成部１０５に設定するようにしてもよい。

ここで図７を参照して、１フレーム目のＶＯＢ信号の読み出しについて説明する。

まず、レジスタ群２０３により１行目のＶＯＢ信号を行セレクタ２０５から列セレクタ２０６へ出力する。

フレーム識別信号が“ＨＩＧＨ”である場合は奇数フレームの読み出しタイミングである。列セレクタ２０６はＨＯＢ信号の出力後に、有効画素信号読み出し領域における奇数列目（列Ｘ０、Ｘ２、Ｘ４・・・Ｘｓ−１）のＶＯＢ信号であるＶＯＢｘ０、ＶＯＢｘ２、ＶＯＢｘ４、ＶＯＢｘ６・・・ＶＯＢｘｓ−１を選択してＡＦＥ１０４に出力する。

そして、図７に示すように、ＡＦＥ１０４からＨＯＢ信号に基づく黒レベルにクランプ処理されたＶＯＢｘ０、ＶＯＢｘ２、ＶＯＢｘ４、ＶＯＢｘ６・・・ＶＯＢｘｓ−１が補正データ生成部１０５に出力される。

補正データ生成部１０５は、ＡＦＥ１０４から列Ｘ０のＶＯＢ信号であるＶＯＢｘ０が入力されると、実施形態１と同様に、補正データメモリ１０６から列Ｘ０に対応する現在の補正データＨＶｘ０を読み出す。そして、ＩＩＲフィルタの計算式（１）において、現在（更新前）の補正データＰＨＶｘとして、補正データメモリ１０６から読み出されたＨＶｘＯが入力される。また、式（１）のＶＯＢｘには、列Ｘ０のＶＯＢ信号であるＶＯＢｘ０が入力される。そして、式（１）の演算を行い、現在の補正データＨＶｘ０を更新する。

次に、列Ｘ２のＶＯＢ信号であるＶＯＢｘ２が入力されると、補正データメモリ１０６から列Ｘ２に対応する現在の補正データＨＶｘ２を読み出して、同様の演算を行う。

以上の処理を繰り返し行うことで、フレーム識別信号が”ＨＩＧＨ”の時には、奇数列目（列Ｘ０、Ｘ２、Ｘ４・・・Ｘｓ−１）の補正データＨＶｘ０、ＨＶｘ２、ＨＶｘ４・・・ＨＶｘｓ−１を更新する。

次に、図８を参照して、フレーム識別信号が“ＬＯＷ”の時のＶＯＢ信号の読み出しについて説明する。

レジスタ群２０３により１行目のＶＯＢ信号を行セレクタ２０５から列セレクタ２０６へ出力する。

フレーム識別信号が“ＬＯＷ”である場合は偶数フレーム目の読み出しタイミングである。列セレクタ２０６はＨＯＢ信号の出力後に、有効画素信号読み出し領域における偶数列目（列Ｘ１、Ｘ３、Ｘ５・・・Ｘｓ）のＶＯＢ信号であるＶＯＢｘ１，ＶＯＢｘ３，ＶＯＢｘ５・・・ＶＯＢｘｓと交互に選択してＡＦＥ１０４に出力する。

そして、図７に示すように、ＡＦＥ１０４からＨＯＢ信号に基づくクランプ処理されたＶＯＢｘ１、ＶＯＢｘ３、ＶＯＢｘ５・・・ＶＯＢｘｓが補正データ生成部１０５に出力される。

補正データ生成部１０５は、ＡＦＥ１０４から列Ｘ１のＶＯＢ信号であるＶＯＢｘ１が入力されると、実施形態１と同様に、補正データメモリ１０６から列Ｘ１に対応する現在の補正データＨＶｘ１を読み出す。そして、ＩＩＲフィルタの計算式（１）において、現在（更新前）の補正データＰＨＶｘとして、補正データメモリ１０６から読み出されたＨＶｘ１が入力される。また、式（１）のＶＯＢｘには、列Ｘ１のＶＯＢ信号であるＶＯＢｘ１が入力される。そして、式（１）の演算を行い、現在の補正データＨＶｘ１を更新する。

次に、列Ｘ３のＶＯＢ信号であるＶＯＢｘ３が入力されると、補正データメモリ１０６から列Ｘ３に対応する現在の補正データＨＶｘ３を読み出して、同様の演算を行う。

以上の処理を繰り返し行うことで、フレーム識別信号が“ＬＯＷ”の時には、偶数列目（列Ｘ１、Ｘ３、Ｘ５・・・Ｘｓ）の補正データＨＶｘ１、ＨＶｘ３、ＨＶｘ５・・・ＨＶｘｓを更新する。

同様に、奇数フレーム目である３フレーム目読み出し時は、奇数列目の補正データＨＶｘ０、ＨＶｘ２、ＨＶｘ４・・・ＨＶｘｓ−１を更新する。偶数フレーム目である４フレーム目読み出し時は、偶数列目の補正データＨＶｘ１、ＨＶｘ３、ＨＶｘ５・・・ＨＶｘｓを更新する。

即ち、１フレームでＶＯＢ部から読み出す画素数は、全ＶＯＢ部の半分になるので転送時間が短くなる。また、１フレームで更新する補正データも実施形態１の場合と比較して半分になる。

そして、実施形態１と同様に、読み出し領域及び読み出し開始アドレスにしたがって補正部１０７で補正を行い、画像処理部１０８から記憶部１１０或いは表示部１０９へ出力される。

本実施形態ではフレーム単位でＶＯＢ部の間引く列を切り替えたが、行単位でＶＯＢ部の間引く列を切り替えてもよい。

本実施形態によれば、実施形態１と同様に適正に補正ができるだけでなく、ＶＯＢ信号をフレーム単位もしくは行単位で間引いて補正データを読み出すことでより画素データの読み出し時間を短縮でき、読み出しクロックや消費電力の低減が実現できる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び当該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (20)

1. 複数の画素が行方向及び列方向において２次元に配列された有効画素部と、前記有効画素部の行方向または列方向の端部に少なくとも１ライン設けられた遮光画素部とを有する撮像素子と、
   前記有効画素部から有効画素信号を読み出すための有効画素信号読み出し領域と、前記遮光画素部から遮光画素信号を読み出すための遮光画素信号読み出し領域とを行方向または列方向の少なくとも一方において可変設定する設定手段と、
   前記有効画素信号読み出し領域から前記有効画素信号を読み出すとともに、前記遮光画素信号読み出し領域から前記遮光画素信号を読み出す読み出し手段と、
   前記読み出し手段により読み出した前記遮光画素信号に基づいて列または行ごとの補正データを生成する補正データ生成手段と、
   前記補正データを用いて、前記読み出し手段により読み出した前記有効画素信号を列または行ごとに補正する補正手段と、
   撮像装置のブレ量に応じて、前記設定手段により設定される前記有効画素信号読み出し領域を変更する制御手段と、を有し、
   前記制御手段は、前記有効画素信号読み出し領域を変更する場合に、前記遮光画素信号読み出し領域が前記有効画素信号読み出し領域よりも広くなるように前記設定手段を制御することを特徴とする撮像装置。
2. 前記制御手段は、前記遮光画素信号読み出し領域が前記遮光画素部の領域全体よりも前記行方向または前記列方向の少なくとも一方において狭くなるように前記設定手段を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記補正データ生成手段により前記補正データを生成する場合に、前記制御手段は、前記遮光画素部から前記遮光画素信号を列方向に１列おきに間引いて読み出し、間引く列をフレームごとに切り替えるように前記読み出し手段を制御することを特徴とする請求項２に記載の撮像装置。
4. 前記補正データ生成手段により前記補正データを生成する場合に、前記制御手段は、前記遮光画素部から前記遮光画素信号を列方向に１列おきに間引いて読み出し、間引く列を１行おきに切り替えるように前記読み出し手段を制御することを特徴とする請求項２に記載の撮像装置。
5. 前記撮像装置のブレ量を検出する検出手段を更に有し、
   前記制御手段は、前記検出手段により検出されるブレ量に応じて、前記設定手段により設定される前記有効画素信号読み出し領域を変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、フレーム単位で前記ブレ量に応じた前記有効画素信号読み出し領域の変更可能な範囲を前記設定手段が設定するように制御することを特徴とする請求項５に記載の撮像装置。
7. 前記撮像素子は、列ごとに少なくとも１つのアンプ部を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記補正データ生成手段により生成された補正データを格納する補正データ格納手段を更に有し、
   前記設定手段により設定される前記有効画素信号読み出し領域および遮光画素信号読み出し領域が変更された場合、前記補正データ生成手段は、前記変更された遮光画素信号読み出し領域から読み出された遮光画素信号に基づいて補正データを生成し、前記補正データ格納手段に既に格納されている補正データを最新の補正データに更新することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記補正手段は、前記変更された遮光画素信号読み出し領域に対応する補正データと、前記有効画素信号読み出し領域から読み出した有効画素信号との差分を用いて、前記有効画素信号の輝度レベルを補正することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 複数の画素が行方向及び列方向において２次元に配列された有効画素部と、前記有効画素部の行方向または列方向の端部に少なくとも１ライン設けられた遮光画素部とを有する撮像素子と、
    前記有効画素部から有効画素信号を読み出すための有効画素信号読み出し領域と、前記遮光画素部から遮光画素信号を読み出すための遮光画素信号読み出し領域とを行方向または列方向の少なくとも一方において可変設定する設定手段と、前記有効画素信号読み出し領域から前記有効画素信号を読み出すとともに、前記遮光画素信号読み出し領域から前記遮光画素信号を読み出す読み出し手段と、を有する撮像装置の制御方法であって、
    前記読み出し手段により読み出した前記遮光画素信号に基づいて列または行ごとの補正データを生成する補正データ生成工程と、
    前記補正データを用いて、前記読み出し手段により読み出した前記有効画素信号を列または行ごとに補正する補正工程と、
    撮像装置のブレ量に応じて、前記設定手段により設定される前記有効画素信号読み出し領域を変更する制御工程と、を有し、
    前記制御工程では、前記有効画素信号読み出し領域を変更する場合に、前記遮光画素信号読み出し領域が前記有効画素信号読み出し領域よりも広くなるように前記設定手段を制御することを特徴とする制御方法。
11. 前記制御工程では、前記遮光画素信号読み出し領域が前記遮光画素部の領域全体よりも前記行方向または前記列方向の少なくとも一方において狭くなるように前記設定手段を制御することを特徴とする請求項１０に記載の制御方法。
12. 前記補正データ生成工程により前記補正データを生成する場合に、前記制御工程では、前記遮光画素部から前記遮光画素信号を列方向に１列おきに間引いて読み出し、間引く列をフレームごとに切り替えるように前記読み出し手段を制御することを特徴とする請求項１１に記載の制御方法。
13. 前記補正データ生成工程により前記補正データを生成する場合に、前記制御工程では、前記遮光画素部から前記遮光画素信号を列方向に１列おきに間引いて読み出し、間引く列を１行おきに切り替えるように前記読み出し手段を制御することを特徴とする請求項１１に記載の制御方法。
14. 前記撮像装置は、前記撮像装置のブレ量を検出する検出手段を更に有し、前記制御工程では、前記検出手段により検出されるブレ量に応じて、前記設定手段により設定される前記有効画素信号読み出し領域を変更することを特徴とする請求項１０乃至１３のいずれか１項に記載の制御方法。
15. 前記制御工程では、フレーム単位で前記ブレ量に応じた前記有効画素信号読み出し領域の変更可能な範囲を前記設定手段が設定するように制御することを特徴とする請求項１４に記載の制御方法。
16. 前記撮像素子は、列ごとに少なくとも１つのアンプ部を有することを特徴とする請求項１０乃至１５のいずれか１項に記載の制御方法。
17. 前記撮像装置は、前記補正データ生成工程により生成された補正データを格納する補正データ格納手段を更に有し、
    前記設定手段により設定される前記有効画素信号読み出し領域および遮光画素信号読み出し領域が変更された場合、前記補正データ生成工程では、前記変更された遮光画素信号読み出し領域から読み出された遮光画素信号に基づいて補正データを生成し、前記補正データ格納手段に既に格納されている補正データを最新の補正データに更新することを特徴とする請求項１０乃至１６のいずれか１項に記載の制御方法。
18. 前記補正工程では、前記変更された遮光画素信号読み出し領域に対応する補正データと、前記有効画素信号読み出し領域から読み出した有効画素信号との差分を用いて、前記有効画素信号の輝度レベルを補正することを特徴とする請求項１０乃至１７のいずれか１項に記載の制御方法。
19. 請求項１０乃至１８のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
20. 請求項１０乃至１８のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images