JP5311943B2 - 撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、固体撮像素子を備えるデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置、制御方法、及びプログラムに関する。

従来、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置においては、被写体を撮像する撮像手段としてＣＣＤやＣＭＯＳセンサ等の固体撮像素子（以後、撮像素子と略称表記）が使用されている。

図１１は、ＣＭＯＳ型の撮像素子の構成を示す回路図である。

図１１において、ＣＭＯＳ型の撮像素子の画素１９の内部には、フォトダイオード１、転送スイッチ２、リセットスイッチ３、画素アンプ１０、行選択スイッチ６が設けられている。転送スイッチ２のゲートは、垂直走査回路１４からの制御信号ΦＴＸ（ｎ）、ΦＴＸ（ｎ＋１）の出力線に接続されている。リセットスイッチ３のゲートは、垂直走査回路１４からの制御信号ΦＲＥＳ（ｎ）、ΦＲＥＳ（ｎ＋１）の出力線に接続されている。行選択スイッチ６のゲートは、垂直走査回路１４からの制御信号ΦＳＥＬ（ｎ）、ΦＳＥＬ（ｎ＋１）の出力線に接続されている。

被写体の光学像を電気信号に変換する光電変換は、フォトダイオード１で行われる。フォトダイオード１に対する信号電荷（光量電荷）の蓄積期間中は、転送スイッチ２はオフ状態であり、画素アンプ１０を構成するソースフォロアのゲート１１には、フォトダイオード１で光電変換された信号電荷は転送されない。フォトダイオード１に対する信号電荷の蓄積開始前に、リセットスイッチ３がオンし、画素アンプ１０を構成するソースフォロアのゲート１１の寄生容量９は、適当な電圧に初期化されており、これがダークレベルとなる。

次に、リセットスイッチ３がオンまたは行選択スイッチ６がオン（もしくはリセットスイッチ３のオンと同時に行選択スイッチ６がオン）になると、負荷電流源７と画素アンプ１０を構成するソースフォロア回路が動作状態になる。ここで、転送スイッチ２をオンさせることで、フォトダイオード１に蓄積されていた信号電荷は画素アンプ１０を構成するソースフォロアのゲート１１に転送される。尚、４はリセット電源、５は画素アンプ１０を構成するソースフォロアを駆動する電源である。

信号電荷の転送動作により、撮像素子における選択された行の出力が各列の垂直出力線１３上に発生する。この出力は、転送ゲート１５ａ、１５ｂを介して信号蓄積部１５に一時蓄積される。信号蓄積部１５に一時蓄積された出力は、水平走査回路１６により順次、出力アンプ部２０ｃ（後述の図１３）へ読み出される。尚、ここでは簡単のため画素数を２×２画素の場合を例に挙げているが、一般に画素領域は更に大きく、更にその一部をＯＢ画素領域として遮光して画素を設けている。

図１２は、図１１の撮像素子の動作タイミングを示すタイミング図である。

図１２において、撮像素子（ＣＭＯＳセンサ）では、全画素リセット期間であるＴ１〜Ｔ２のタイミングで制御信号ΦＴＸ（ｎ）がアクティブになる。ここでは、第ｎ行の制御信号ΦＴＸ（ｎ）しか示していないが、全画素リセット期間、全ての行の制御信号ΦＴＸがアクティブとなる。全画素のフォトダイオード１の信号電荷は、転送スイッチ２を介して画素アンプ１０を構成するソースフォロアのゲートに転送される。これにより、フォトダイオード１はリセットされる。

この後、時刻Ｔ３で撮像対象画像の光量を導光する不図示のメカニカルシャッタ（以後、シャッタ）が開いて、全ての画素で同時に信号電荷の蓄積を開始する。シャッタは時刻Ｔ４で閉じる。この時刻Ｔ３〜時刻Ｔ４の時間がフォトダイオード１の信号電荷の蓄積期間となる。この状態ではフォトダイオード１に信号電荷が蓄積されている。

次に、撮像素子の各行毎に読み出しが開始される。以降、撮像素子の第ｎ行の動作について説明する。

時刻Ｔ５で制御信号ΦＳＥＬ（ｎ）がアクティブになり、行選択スイッチ６がオンとなり、第ｎ行目に繋がっている全ての画素の画素アンプ１０を構成するソースフォロア回路が動作状態になる。ここで、画素アンプ１０を構成するソースフォロアのゲート１１は時刻Ｔ６で制御信号ΦＲＥＳ（ｎ）がアクティブになり、リセットスイッチ３がオンとなり、ソースフォロアのゲート１１は初期化される。即ち、垂直出力線１３にはこのリセット直後のダークレベル信号が出力される。

時刻Ｔ７で制御信号ΦＲＥＳ（ｎ）がネゲートされた後、時刻Ｔ８で第１のサンプリング制御信号ΦＴＮ（ｎ）（１７ａ）がアクティブになる。これにより、信号蓄積部１５の転送ゲート１５ｂがオンとなり、信号蓄積部１５にダークレベル信号が保持される。この動作は、撮像素子においてｎ行に繋がっている全ての画素に対して同時に並列に実行される。尚、第１のサンプリング制御信号ΦＴＮ（ｎ）（１７ａ）は、以後、制御信号ΦＴＮ（ｎ）（１７ａ）と略称表記する。

信号蓄積部１５に対するダークレベル信号の転送が終了した時刻Ｔ９の後、時刻Ｔ１０で制御信号ΦＴＸ（ｎ）をアクティブとし、転送スイッチ２をオンとする。これにより、フォトダイオード１に蓄積されていた信号電荷を、画素アンプ１０を構成するソースフォロアのゲート１１に転送する。このとき、画素アンプ１０を構成するソースフォロアのゲート１１では、転送されてきた信号電荷に見合う分だけリセットレベルから電位が変動し、信号レベルが確定する。

信号電荷の転送が充分に終了した時刻Ｔ１１で制御信号ΦＴＸをネゲートした後、時刻Ｔ１２で第２のサンプリング制御信号ΦＴＳ（１７ｂ）がアクティブになる。これにより、信号蓄積部１５の転送ゲート１５ａがオンし、信号蓄積部１５に信号レベルが保持される。この動作は、撮像素子においてｎ行に繋がっている全ての画素に対して同時に並列に実行される。尚、第２のサンプリング制御信号ΦＴＳ（１７ｂ）は、以後、制御信号ΦＴＳ（１７ｂ）と略称表記する。

信号蓄積部１５は、撮像素子においてｎ行に繋がっている全ての画素のダークレベルと信号レベルを保持している。各画素間でのダークレベルと信号レベルの差を取ることで、ソースフォロアのスレッシュホールド電圧Ｖｔｈのバラツキによる固定パターンノイズ（ＦＰＮ）や、リセットスイッチ３のリセット時に発生するＫＴＣノイズをキャンセルする。これにより、Ｓ／Ｎの高いノイズ成分が除去された信号が得られる。

フォトダイオード１を光学的に遮光したＯＢ領域の画素からは、光信号は発生せず、フォトダイオード１の表面の正常でない状態等から生じる暗電流成分のみが出力される。信号蓄積部１５に蓄積されたダークレベルと信号レベルの差信号を水平走査回路１６により水平走査する。これにより、暗電流成分の信号が時系列的に時刻Ｔ１４〜時刻Ｔ１５のタイミングで出力される。尚、ここでは水平走査期間の駆動パルスの詳細については省略している。

以上で撮像素子におけるｎ行の出力は終了となる。同様に、制御信号ΦＳＥＬ（ｎ＋１）、ΦＲＥＳ（ｎ＋１）、ΦＴＸ（ｎ＋１）、ΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）を、ｎ行目と同様に時刻Ｔ４〜時刻Ｔ１５までと同様に繰り返し駆動することで、ｎ＋１行目の信号を読み出すことができる。

図１３は、撮像素子のチップの模式的な構成を示す図である。

図１３において、撮像素子２０のチップは、有効画素領域２０ａ、画素部を光学的に遮光した無効画素領域（ＯＢ領域）２０ｂ、水平走査回路１６にて駆動される信号蓄積部１５の信号を増幅し出力するためのアンプ２０ｃ、出力端子２０ｄを有する。

従来の撮像装置では、回路が有するオフセットを除去するために、ＯＢ（Optical Black）領域２０ｂと呼ばれる光学的に遮光された領域を設け、この領域内の画素出力レベルをクランプする。撮像素子の回路、特に転送ゲート１５ａ、１５ｂのオフセット差や、信号蓄積部１５が有する列ごとのオフセットは、固体差や温度ドリフト等の環境による変化が発生しやすく、出力の直流成分が変化することになる。

特に垂直方向に画素出力を転送する回路系でオフセット差があると、列ごとにオフセットがばらつき、画像では縦筋と言う形の固定パターンノイズとして現れる。固定パターンノイズは非常に視認されやすく、特に高感度の設定時には非常に見えやすくなるという問題がある。

この固定パターンノイズを低減する手法としては以下の手法が良く知られている。ＯＢ画素領域の出力を基に、各列に対応する補正データを算出して保存しておく。画像データを読み出した後に、この補正データを画像データから減算処理することにより、各列で異なるオフセット量、即ち縦筋として見える固定パターンノイズを低減する。

次に、後述の本発明の実施の形態で用いる図１を参照しながら、引き続き背景技術について説明する。撮像装置では、ＴＧ（タイミングジェネレータ）３２が、信号処理部３３の制御に基づき撮像素子２０の制御を行うと共に、信号処理部３３へ基準クロックを供給する。一方、撮像素子２０の出力はＡ／Ｄ変換器３１によりデジタル化され、信号処理部３３へ転送される。

次に、信号処理部３３によりＯＢ領域２０ｂの出力を用いて固定パターンノイズの除去方法について説明する。信号処理部３３は、ＴＧ３２を制御し、撮像素子２０の出力をＡ／Ｄ変換器３１を介して読み出す。この場合、ＯＢ部を指定すべく、ＯＢ領域２０ｂの先頭行からＯＢ領域２０ｂの終了前の行までの間、各列ごとの出力を積算し、積算結果を読み出した行数で除算を行い平均化する。これにより、各列ごとのＯＢ領域２０ｂの平均値を算出し、これを各列ごとの補正データとする。図１４に、この場合の平均値算出領域２１を枠線で示す。

一方、信号処理部３３は、撮像素子２０から読み出した有効画素領域２０ａの出力から、対応する列ごとに上記補正データを減算処理する。こうして、各列で有する固有のオフセット値を減算し、固定パターンノイズを除去した結果を出力することが可能となる。

上記技術に関連するものとしては以下の技術が提案されている（例えば、特許文献１参照）。特許文献１では、上述した補正動作を行う際に、フォトダイオードの正常でない状態による異常出力ビットや、赤外光の半導体底面反射による出力がＯＢ画素に発生した場合における、次のような問題の対策をとっている。即ち、誤ったレベルをクランプして開口画素における出力オフセットレベルが本来のレベルからずれるという問題の対策として、ＯＢ領域では光電変換素子からの信号の変換を抑止して出力手段から信号を読み出すよう制御している。

また、上記技術に関連するものとしては以下の技術が提案されている（例えば、特許文献２参照）。特許文献２では、ＯＢ領域においてはフォトダイオードを形成しないようにし、光信号も暗電流信号も共に蓄積できないような構成にしている。
特開２００３−２５９２２３号公報 特開２００７−０１５７１２号公報

しかしながら、上述した従来技術には以下のような課題が存在する。

撮像素子の各列の補正データを算出する際に、平均化処理を行う必要がある。しかし、各画素の出力に含まれるランダムノイズ成分が相対的に大きい場合、平均化処理において、相当数の画素出力を平均化処理しないと、算出した平均値にもランダムノイズが含まれてしまうこととなる。

特許文献１記載の技術では、ＯＢ領域では光電変換素子からの信号の変換を抑止するという特徴を有し、特許文献２記載の技術では、ＯＢ領域においてはフォトダイオードを形成しないという特徴を有する。そのため、光電変換素子の出力には光信号や暗電流に起因するランダムノイズは含まれず、通常のＯＢ領域の出力に比較すればランダムノイズは小さいものと予想される。しかし、求めようとする各列のオフセット量に比較し、十分精度のよい平均値を算出するためには、それに見合った画素数が必要である。

そのためには、ＣＭＯＳ型の撮像素子において、ＯＢ領域を使用する場合には、ＯＢ領域の画素数を多くしＯＢ領域の面積を大きくすることで対応可能である。しかし、ＯＢ領域の画素数を多くしＯＢ領域の面積を大きくすると、撮像素子のチップ面積が大きくなるため、大幅なコスト上昇を招くという問題がある。

また、撮像素子における転送しない行数を多く設定しようとすると、対象の領域の画素数を増やすか、逆に有効画素領域まで転送しないで使用し、相対的に有効画素領域が小さくなるという対応策になる。

また、平均化数を確保するために複数フレームにわたって平均化処理を行う方法も提案されている。しかし、この方法では、補正データが収束するために複数フレームを読み出す時間を要することになるため、直ちに補正データを取得したい場合には時間的に間に合わないという問題がある。

例えば撮像装置に対する撮影者の操作により、撮像素子の間引き率が変更されるような動作が設定されてしまう場合、それまで使用していた補正データを、新しい読み出し方式において使用しようとすると、列の対応が取れなくなる。この場合、そのままでは適切な補正処理を行うことができないため、補正データを一旦クリアし、再度ＯＢ領域の読み出しを行い補正データの算出を行う必要がある。

ここで、複数フレームにまたがり平均化処理を行っていると、平均値が収束するまでの期間は固定パターンノイズを除去することができない。そのため、ただちに補正データを取得する必要があるにもかかわらず、所定の時間を要することとなり、撮像装置の操作感を著しく低下させるという問題がある。

また、撮像装置において、ＣＭＯＳ型の撮像素子の各列ごとのオフセット値が温度により大きく変動するような場合、例えば充分な休止後に動画撮影を開始した直後と、動画撮影を開始して時間が経過した後では、以下の可能性がある。撮像素子自体の消費電力によりＣＭＯＳ型撮像素子自体の温度も異なるため、温度の差により各列のオフセット値が変動し、固定パターンノイズが再度見えるという可能性がある。

このような場合には、撮像装置で動画撮影を行っている間にも、各列のオフセットの補正値を算出し更新する手段が必要であるが、動画撮影中はシャッタが開き、常時、ＣＭＯＳ型撮像素子に被写体像が入射されている状態である。この場合、遮光されているＯＢ領域であっても、ＯＢ領域と開口部との境目からの光の漏れこみにより、本来のＯＢ部の出力に漏れこみ光の光電変換信号が重畳されるため、異なる出力を示す。その結果、正しく固定パターンノイズを除去できなくなるという問題も生じる。

本発明の目的は、撮像装置の操作感が低下する現象を解消しながら高品質な画像データを取得することを可能とした撮像装置、制御方法、及びプログラムを提供することにある。

上記目的を達成するために、本発明の撮像装置は、被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域とを備える撮像素子と、前記撮像素子に光が入射する状態において、前記転送手段による転送を行わずに前記撮像素子の前記有効画素領域と前記無効画素領域に重複した領域を含む予め定められた領域から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理手段と、前記転送手段による転送を行って前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理手段により算出した結果を減じる第２の処理手段と、を具備したことを特徴とする。

本発明によれば、撮像素子に被写体像が入射している状態においても、画像に現れる固定パターンノイズを除去することが可能となる。これにより、従来のような固定パターンノイズ除去に所定時間を要するため撮像装置の操作感が低下する現象を解消できると共に、高品質な画像データを取得することが可能となる。

以下、本発明の実施の形態を図面に基づいて説明する。

まず、第１乃至第４の実施の形態を説明する前に、第１乃至第４の実施の形態に共通の撮像装置と撮像素子の構成について図１と図１１を参照しながら説明する。

図１は、本発明の第１乃至第４の実施の形態に係る撮像装置の要部の構成を示すブロック図である。

図１において、撮像装置は、撮像素子２０、Ａ／Ｄ変換器３１、ＴＧ３２、信号処理部３３（第１の処理手段、第２の処理手段、取得手段、切替手段）、メモリ３４、記録媒体３５、表示部３６、ビデオ出力端子３７、シャッタ（不図示）を備える。

撮像素子２０は、複数の画素が２次元に配列され、画素に光が入射する有効画素領域２０ａ、画素に光が入射しないように遮光される無効画素領域（ＯＢ領域）２０ｂを備えるＣＭＯＳセンサとして構成されている。尚、撮像素子２０への入射光の制御は、不図示の制御部がシャッタにより行う。更に、撮像素子２０は、アンプ２０ｃ、出力端子２０ｄ、信号蓄積部１５（信号蓄積手段）、水平走査回路１６を備える。

信号蓄積部１５は（図１１参照）、第１の制御信号ΦＴＮ（１７ａ）によりフォトダイオード１をリセットした後のフォトダイオード１の出力を保持する。また、信号蓄積部１５は、第２の制御信号ΦＴＳ（１７ｂ）によりフォトダイオード１をリセットした後に転送スイッチ２をオンとして信号電荷の転送動作を実行した後のフォトダイオード１の出力を保持する。そして、信号蓄積部１５は、保持された２つの出力の差分を蓄積する。

撮像素子２０のＯＢ領域２０ｂは、有効画素領域２０ａの各列に対応して設けられている。ＯＢ領域２０ｂは、フォトダイオード１も形成された上で遮光部材にて遮光されている。また、ＯＢ領域２０ｂの行数は、チップサイズに影響するほどの極端に大きなものではない。撮像素子２０の各画素１９には、被写体の光学像を光電変換するフォトダイオード１（光電変換素子）、信号電荷を転送するための転送スイッチ２（転送手段）、リセットスイッチ３、行選択スイッチ６、画素アンプ１０が設けられている（図１１参照）。

ＴＧ３２は、上述したように撮像素子２０を駆動するための制御信号を生成するものであり、信号処理部３３の制御に基づき撮像素子２０の制御を行うと共に信号処理部３３へ基準クロックを供給する。

信号処理部３３は、上述したようにＴＧ３２を制御し、撮像素子２０の出力をＡ／Ｄ変換器３１を介して読み出す。また、信号処理部３３は、各列ごとのＯＢ領域２０ｂの平均値を算出し、算出した平均値を、画像に現れる固定パターンノイズを低減するための各列ごとの補正データとする。また、信号処理部３３は、外付けのメモリ３４を備えており、メモリ３４を使用して信号処理を行う。信号処理部３３は、信号処理の結果を、記録媒体３５に記録し、表示部３６に静止画像（あるいは動画像）として表示し、ビデオ信号に変換した上でビデオ出力端子３７から出力する等の処理を行う。

上記の構成を有する撮像装置における制御の特徴を以下に列挙する。

信号処理部３３は、撮像素子２０に光が入射する状態において、転送スイッチ２をオフ（転送手段の動作を禁止）にして撮像素子２０の平均値算出領域２２を読み出し、読み出した結果に基づき撮像素子２０の固定パターンノイズを算出する。更に、転送スイッチ２をオン（転送手段の動作を許可）にして撮像素子２０の所望の領域を読み出した結果から算出結果を減じる。

また、信号処理部３３は、撮像素子２０に光が入射する状態において、転送スイッチ２をオフにしてΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを第１の駆動パターンにて制御する。更に、平均値算出領域２２（図５参照）を読み出した結果に基づき撮像素子２０の固定パターンノイズを算出する。更に、転送スイッチ２をオンにしてΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを第１の駆動パターンとは異なる第２の駆動パターンにて制御し、撮像素子２０を読み出した結果から算出結果を減じる。

また、信号処理部３３は、撮像素子２０に光が入射する状態において、撮像素子２０への入射光量に関する情報に基づき撮像素子２０の読み出しを行う領域を切り替えて読み出しを行い、読み出した結果に基づき撮像素子２０の固定パターンノイズを算出する。更に、撮像素子２０の転送スイッチ２をオンにして撮像素子２０を読み出した結果から算出結果を減じる。

また、信号処理部３３は、以下の第１の状態と第２の状態のいずれかに切り替える。第１の状態は、撮像素子２０の転送スイッチ２をオフにして平均値算出領域２２を読み出す状態である。第２の状態は、転送スイッチ２をオンにして無効画素領域２０ｂを読み出す状態である。

また、信号処理部３３は、撮像素子に光が入射する状態において、撮像素子２０への入射光量に関する情報に基づき撮像素子２０の読み出しを行う領域を切り替えて読み出しを行い、読み出した結果に基づき撮像素子２０の固定パターンノイズを算出する。更に、撮像素子２０の転送スイッチ２をオンにしてΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを所定の駆動パターンにて制御し、撮像素子２０を読み出した結果から算出結果を減じる。

また、信号処理部３３は、以下の第３の状態と第４の状態と第５の状態と第６の状態のいずれかに切り替える。第３の状態は、撮像素子２０の転送スイッチ２をオフにしてΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを所定の駆動パターンにて制御し、平均値算出領域２２を読み出す状態である。第４の状態は、撮像素子２０の転送スイッチ２をオフにしてΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを所定の駆動パターンとは異なるパターンにて制御し、平均値算出領域２２を読み出す状態である。第５の状態は、撮像素子２０の転送スイッチ２をオンにしてΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを所定の駆動パターンにて制御し、無効画素領域２０ｂを読み出す状態である。

また、信号処理部３３は、ΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを所定の駆動パターンとは異なるパターンにて制御する際に、両制御信号がそれぞれアクティブになる時間間隔を所定の駆動パターンにて制御する場合よりも短い時間間隔とする。

また、信号処理部３３は、ΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の出力タイミングを所定の駆動パターンとは異なるパターンにて制御する際に、両制御信号がそれぞれアクティブになるタイミングを同一のタイミングとする。

〔第１の実施の形態〕
本発明の第１の実施の形態では、図１の構成を有する撮像装置において図１１の構成を有する撮像素子２０の画素出力を読み出して補正データを算出する場合に、画素出力について短時間で必要精度の平均値を算出して補正データとする方法を提案する。

撮像素子２０の読み出し方法が変更された場合は、読み出し方法の変更後の最初のフレームにて補正データを算出する。ここで、撮像素子２０の駆動方法を通常の読み出し方法（図３の第２フレーム以降を読み出す方法）から変更する。撮像素子２０の画素出力を読み出して補正データを作成するに当たり、全行（図３の第１行〜最終行）ともフォトダイオード１からの信号電荷の転送を行わないで読み出し動作を行う。この場合の撮像素子２０の駆動パターンを図２に示す。

図２は、撮像素子２０のフォトダイオード１からの信号電荷の転送を行わない場合の撮像素子２０の動作タイミングを示すタイミング図である。

図２において、本実施の形態では、撮像素子２０の駆動パターンは、先に図１２で説明した従来の通常の読み出しの駆動パターンと比較し、時刻Ｔ１０から時刻Ｔ１１までの制御信号ΦＴＸ（ｎ）をアクティブにしていないという特徴を有する。このような読み出し方式により、フォトダイオード１に蓄積されている信号電荷は、ソースフォロワのゲート１１に転送されない。これにより、遮光されているＯＢ領域２０ｂも、遮光されていない有効画素領域２０ａの画素出力も、被写体像が撮像素子２０に入射しているにもかかわらず、ダーク相当の出力を得ることが可能となる。

次に、この場合の信号処理部３３の固定パターンノイズの除去方法について図３を参照しながら説明する。

図３は、撮像素子２０の補正データ取得シーケンスを示す図である。

図３において、第１行〜最終行は、撮像素子２０の有効画素領域２０ａ及びＯＢ領域２０ｂの行を示している。また、第１フレーム、第ｎ＋１フレームは、ダークフレームに相当する。第２フレーム、第３フレーム、第ｎ＋２フレームは、撮像素子２０の駆動方法を通常の読み出し方法で読み出した際のフレームに相当する。

撮像装置により動画撮影を行う時に撮像素子２０の読み出し方式が切り替わった場合や、あるいは動画撮影を開始した直後の第１フレーム（ダークフレーム）を読み出す時に、次の読み出し動作を行う。即ち、出力画像として第１フレームを読み出す時は、図示のように、指定領域（先頭の第１行から指定された行まで）についてフォトダイオード１からの信号電荷の転送無しで読み出し動作を行う。

ここで、信号処理部３３は、撮像素子２０の指定行数の画素出力に基づき各列ごとに画素出力を平均化する処理を行うことで、補正データとする。本実施の形態では、指定領域は通常の読み出し領域と同一である。この場合にはフォトダイオード１からの光信号成分や暗電流成分は出力に現れないので、補正データを算出するための領域はＯＢ領域２０ｂに制限されない。従って、撮像素子２０の先頭の第１行から補正データを算出するに足りる画素数分の出力データを読み出して、補正データの作成にあてることが可能となる。本実施の形態では、撮像素子２０の通常の読み出し領域と同一の領域を読み出し、補正データの作成にあてる。

次の出力画像として第２フレームの読み出しからは、上記の図１２に示したように、通常どおりフォトダイオード１からの信号電荷の転送を行うようにＴＧ３２の設定を変更し、読み出しを繰り返す。読み出し周期は、例えば１秒間に３０コマの画像を得る場合には１／３０秒となる。このとき、信号処理部３３は、撮像素子２０からの読み出しを行うと共に、読み出した結果から先に演算した各列に対応した補正データを減算処理して出力する。その結果、わずか１フレームの間に充分な精度で補正データを算出することで、固定パターンノイズが除去された出力を得ることが可能となる。

一方、上記のように補正している各列ごとのオフセット量が温度の変動により変化する場合、動画撮影の開始直後と、動画撮影を続けて撮像素子２０の温度が上昇した後では、そのオフセット量が変化してしまうことも想定される。このような場合に備えて、動画撮影中においても補正データの算出を行うことが可能である。

例えば、第１フレームの読み出しと同様にフォトダイオード１からの信号電荷の転送無しで所定の時間ごとに読み出すフレームを設定し、該フレームで読み出した画素出力を基に、信号処理部３３は上記と同様の演算方法で補正データを再演算する。これにより、以前の温度条件の下で作成した補正データから最新の温度条件に対応した補正データに更新されることとなり、温度の影響により徐々に増加していた固定パターンノイズが再度除去されることとなる。

この処理動作を一定時間間隔あるいは任意のタイミングで行うことにより、温度の影響で変化するような成分を有する固定パターンノイズに対しても対応することが可能となる。この様子を図３の第ｎ＋１フレーム以降に示す。図示のように、先に説明した通り或るタイミングでフォトダイオード１からの信号電荷の転送を行わない状態で読み出しを行い、第１フレームの出力を得る。第１フレームの出力を用いて初期の補正データを作成し、該補正データに基づき、以降のフォトダイオード１からの信号電荷の転送を行うフレームについて補正処理を行う。

次に、第ｎ＋１フレームの読み出しを行う時に、再度、フォトダイオード１からの信号電荷の転送を行わない状態で読み出しを行い、補正データを作成する。ここで作成した補正データに基づき、以降のフォトダイオード１からの信号電荷の転送を行うフレームの補正処理を行う。

このように、フォトダイオード１からの信号電荷の転送を行わない状態で読み出しを行い補正データを作成するというシーケンスを、ｎフレームごとに繰り返し行う。これにより、上述した各列ごとのオフセット量が温度の変動により時間と共に変動する場合にも対応が可能となる。尚、「ｎ」は、温度によるオフセットの変化量や撮像素子の消費電力に応じた発熱量などに従って設定する。勿論、上記シーケンスの繰り返し周期は、常に同じ繰返し周期であってもよいし、時間と共に変化するように変更する周期であってもよい。

また、上述したフォトダイオード１から信号電荷を転送しないで読み出す補正データ取得方法は、動画撮影中に１フレーム相当のダークフレームを生成することとなる。そのため、動画出力を行う信号処理部３３では、補正データ算出のためのダークフレームを、直前の信号を読み出しているフレームに置き換える等の処理を行う必要がある。

以上詳細に説明したように、本実施の形態によれば、撮像素子に被写体像が入射している状態においても、画像に現れる固定パターンノイズを除去することが可能となる。これにより、従来のような固定パターンノイズ除去に所定時間を要するため撮像装置の操作感が低下する現象を解消できると共に、高品質な画像データを取得することが可能となる。

〔第２の実施の形態〕
本発明の第２の実施の形態は、上記第１の実施の形態に対して、以下で説明する点において相違する。本実施の形態の撮像装置及び撮像素子の構成は、上記の図１及び図１１で詳述した通りであり説明を省略する。

上記第１の実施の形態では、補正データを算出するためのフレームがダークフレームとなるため、動画出力を行う際にはダークフレームの置き換えが必要であった。

本実施の形態では、ダークフレームの置き換えを必要としない他の方法について説明する。撮像素子２０において例えば１秒間に３０フレームといった所定のフレームレートでの読み出しに対して、撮像素子２０の実際の読み出し時間に余裕がある場合は、以下の独立シーケンスを追加する。即ち、ブランキング時間に独立シーケンスとしてフォトダイオード１からの信号電荷の転送無しで読み出しを行う読み出しシーケンスを追加する。この様子を図４に示す。

図４は、本実施の形態に係る撮像素子２０の補正データ取得シーケンスを示す図である。

図４において、撮像素子２０の通常の読み出し動作は、フォトダイオード１からの信号電荷の転送を行いながら読み出しを行っていく。例えばある時刻の第１フレームの読み出しを完了した後に、フォトダイオード１からの信号電荷の転送を行わないで読み出し動作を行い、図示のように第１転送無しフレームのデータを取得する。この場合、露光時間は意味をなさないので、露光時間は通常読み出しの場合の露光時間と同じである必要は無く、通常読み出しフレームのコマ間隔の間で設定可能な時間で構わない。あるいは露光時間自体を確保する必要も無い。

また、露光時間を短くしても、通常読み出しフレームのコマ間隔の間で撮像素子２０の全画素の出力を読み出す時間を確保することは困難である。そのため、フォトダイオード１からの信号電荷の転送を行わない場合は、撮像素子２０の全画素のうち一部の画素の読み出しを行う。図４の場合は、撮像素子２０において、上述した独立シーケンスとして追加した読み出しシーケンスの時間ｔに読み出すことができる行数は撮像素子２０のおよそ上半分の行数である。この場合の読み出し領域及び補正データ作成領域のイメージを図５に枠線で示す。

図５は、撮像素子２０の平均値算出領域２２を示す図である。

図５において、撮像素子２０には、平均値算出領域２２（設定領域）が予め設定されている。撮像素子２０の転送スイッチ２をオフにして読み出す平均値算出領域２２は、有効画素領域２０ａとＯＢ領域２０ｂに重複した領域で且つＯＢ領域２０ｂよりも広い領域である。また、撮像素子２０の転送スイッチ２をオフにして読み出す平均値算出領域２２は、撮像素子２０の転送スイッチ２をオンにして読み出す領域と同一の領域である。

撮像素子２０から読み出し可能な行数は、通常読み出し時の読み出し周期と各フレームの読み出し時間との関係に基づき決定される。各フレームの読み出し時間を確保できれば、ＯＢ領域２０ｂから多くの画素データを読み出すことが可能であり、補正データを作成するに当たって充分な精度を期待することが可能である。

尚、撮像素子２０から読み出した転送無しフレームの出力は最終的な出力画像としては使用しないようにすれば、通常読み出しのフレームだけで所定の１秒間に３０フレームのデータを得ているため、固定パターンノイズの低減が可能である。即ち、ダークフレームを直前の信号を読み出しているフレームに置き換えるシーケンスを行うことなく、動画撮影に影響を及ぼすことなく、且つ補正データも精度良く更新できることで、固定パターンノイズの低減が可能である。

勿論、この場合も上記第１の実施の形態と同様に、例えばｎフレームごとに補正データを生成するシーケンスを追加することで、温度等の時間によって変動する成分に対しても有効に補正することが可能となる。この様子は図４の第ｎ＋１フレーム以降に記載しているが説明は省略する。

尚、本実施の形態では、上述したシーケンスを動画撮影時に適用した場合を例に挙げたが、動画撮影時に限定されるものではない。静止画撮影時においても、撮影前に信号電荷の転送無しでの読み出しシーケンスを追加し、補正データを取得するといった場合にも適用可能である。

以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と同様に撮像装置の操作感が低下する現象を解消しながら、高品質な画像データの取得が可能となる。

〔第３の実施の形態〕
本発明の第３の実施の形態は、上記第１の実施の形態に対して、以下で説明する点において相違する。本実施の形態の撮像装置及び撮像素子の構成は、上記の図１及び図１１で詳述した通りであり説明を省略する。

上記第１及び第２の実施の形態では、撮像装置においてシャッタが開いており撮像素子２０に被写体の光学像が入射している状態であっても、フォトダイオード１からの信号電荷の転送を行わないようにした。これにより、撮像素子２０の遮光しているＯＢ領域以外の画素出力も使用して補正データを精度良く算出することが可能となった。

しかしながら、撮像素子２０（ＣＭＯＳセンサ）の構造によっては、撮像素子２０に被写体の光学像が入射している状態では次のような問題が発生する場合も知られている。フォトダイオード１に非常に強い光が入射し電荷が飽和するような場合に、フォトダイオード１からの過剰電荷が何らかの理由で画素アンプ１０のゲート１１のゲート容量（寄生容量）９に到達してしまうと、光信号の影響を受けることになる。

これは以下の理由による。フォトダイオード１からの過剰電荷がゲート１１に到達した場合に、信号蓄積部１５にノイズ信号（ダーク信号）を読み出すタイミングと、光信号を読み出すタイミングが異なる。そのため、ノイズ信号（ダーク信号）を読み出すタイミングにゲート１１に到達した過剰電荷量と、更に時間が経過して光信号を読み出すタイミングにゲート１１に到達した過剰電荷量との差の成分が現れる。

本実施の形態では、上述した光信号の影響を避けるために次のような対応を行う。即ち、フォトダイオード１からの信号電荷の転送を行わない場合の信号蓄積部１５に読み込むノイズ信号（ダーク信号）を読み出すタイミングと、光信号を読み出すタイミングとの時間差を次のように変化させる。フォトダイオード１からの信号電荷の転送を行う場合の信号蓄積部１５に読み込むノイズ信号（ダーク信号）を読み出すタイミングと、光信号を読み出すタイミングとの時間差から変化させる。

上記のように時間差を変化させる第１の例と、更に変化させる第２の例を、それぞれ図６と図７に示す。

図６は、本実施の形態に係る撮像素子２０のフォトダイオード１からの信号電荷の転送を行わない場合の撮像素子２０の動作タイミング（第１の例）を示すタイミング図である。

図６において、本実施の形態では、フォトダイオード１からの信号電荷の転送を行わない場合に垂直走査回路１４（図１１参照）からの制御信号ΦＴＳ（１７ｂ）（第２の制御信号）のタイミングを変化させる。従来は、時刻Ｔ１２から時刻Ｔ１３までの間、制御信号ΦＴＳ（１７ｂ）をアクティブにしていた（破線）。これに対し、本実施の形態では、例えば時刻Ｔ１０から時刻Ｔ１１までの間、制御信号ΦＴＳ（１７ｂ）をアクティブにするように変更する。これは、制御信号ΦＴＸ（ｎ）を出力しないことで可能となるものである。

このようにタイミングを変更することで以下のようになる。従来は、制御信号ΦＴＮ（１７ａ）（第１の制御信号）と制御信号ΦＴＳ（１７ｂ）の間に、図１２に示すように（Ｔ１３−Ｔ９）の時間差があったものが、本実施の形態では、図６に示すように（Ｔ１１−Ｔ９）の時間差に短縮される。これにより、フォトダイオード１からの過剰電荷の影響がその時間差に応じて低減されることになる。

図７は、撮像素子２０のフォトダイオード１からの信号電荷の転送を行わない場合の撮像素子２０の動作タイミング（第２の例）を示すタイミング図である。

図７において、制御信号ΦＴＳ（１７ｂ）をアクティブにするタイミングとして制御信号ΦＴＮ（１７ａ）と同じタイミングに設定すると、フォトダイオード１からの過剰電荷の影響は受けないことになる。この場合には、他の制御信号もタイミングの変更が可能である。例えば制御信号ΦＳＥＬ（ｎ）のアクティブ時間も短縮することが可能である。これにより、水平ブランキング時間を短縮できることから、フォトダイオード１からの信号電荷の転送を行わない場合には読み出し時間を短縮することができる。

このように撮像素子２０の構造により、撮像素子２０に被写体像が入射している状態でフォトダイオード１からの信号電荷の転送を行わない場合にフォトダイオード１で発生した過剰電荷の影響を受けるようなものであっても、本実施の形態では以下の制御を行う。

即ち、フォトダイオード１からの信号電荷の転送を行わない場合の信号蓄積部１５に読み込むノイズ信号（ダーク信号）を読み出すタイミングΦＴＮ（１７ａ）と、光信号を読み出すタイミングΦＴＳ（１７ｂ）との時間差を、次のように変化させる。フォトダイオード１からの信号電荷の転送を行う場合の信号蓄積部１５に読み込むノイズ信号（ダーク信号）を読み出すタイミングと、光信号を読み出すタイミングとの時間差から変化させる。

厳密には、フォトダイオード１からの信号電荷の転送を行わない場合は、フォトダイオード１からの信号電荷の転送を行う場合に比べて、制御信号ΦＴＮ（１７ａ）と制御信号ΦＴＳ（１７ｂ）との時間差を短く設定する。これにより、フォトダイオード１からの過剰電荷の影響を小さくすることが可能となる。

更には、上記の時間差を無くすことにより、フォトダイオード１からの過剰電荷の影響を受けないようにすることが可能である。つまり、シャッタを開いた状態で非常に高輝度の被写体が入射するような状況であっても、フォトダイオード１からの過剰電荷の影響を受けにくくなる、あるいは受けなくなることが可能である。

尚、本実施の形態で説明した上記処理以外の補正データの作成方法や、制御信号ΦＴＳ（１７ｂ）のタイミング等は、上記第１及び第２の実施の形態と同様に実現することが可能である。

以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と同様に撮像装置の操作感が低下する現象を解消しながら、高品質な画像データの取得が可能となる。

［第４の実施の形態］
本発明の第４の実施の形態は、上記第１の実施の形態に対して、以下で説明する点において相違する。本実施の形態の撮像装置及び撮像素子の構成は、上記の図１及び図１１で詳述した通りであり説明を省略する。

上記第３の実施の形態では、フォトダイオード１からの信号電荷の転送を行わない場合には、光信号を読み出す制御信号ΦＴＳ（１７ｂ）のタイミングを変更することを示した。撮像素子内部で過剰電荷の影響以外に制御信号ΦＴＮ（１７ａ）と制御信号ΦＴＳ（１７ｂ）の時間差に依存する何らかの成分がある場合には、次の現象が生じる。即ち、通常の読み出し状態と、補正データの取得時にΦＴＳ−ΦＴＮの時間差を変更すると、補正データの取得時と通常の読み出し時とで出力が変化し、正しく補正できないという現象が生じる。

例えば制御信号ΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）以外の何れかの制御信号により、撮像素子内部の状態が大きく変化し、その状態が安定するまでの時間内に制御信号ΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）をアクティブにするような場合は、次の変化がある。即ち、それぞれの制御信号ΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）がアクティブになる時間差で撮像素子本来の出力値が変化する。このような場合は、上記第３の実施の形態に示す方法は、補正データ作成時と通常読み出し時とに時間差をつけると、撮像素子本来の出力値の変化の差が見えるため適用が難しい。

本実施の形態では、上記のような場合の対応策を提案する。撮像装置の信号処理部３３は、各フレームの出力を処理する際に各フレームの輝度情報をチェックする。例えば撮像素子２０のＲ・Ｇ・Ｂの各出力のうちＧ出力のみをモニタする。簡単な例として、Ｇ出力が所定以上の値を示す画素の個数を計数する。判定すべきは、フォトダイオード１が飽和し過剰電荷の影響があるか否かであるので、過剰電荷が出力される恐れがあるようなデジタル判定値、例えばＡ／Ｄ変換器３１のデジタルデータの最大値近傍の数値などを設定する必要がある。

上記のように所定以上の値を示す（出力レベルを超える）画素の個数を計数することにより、対象となる１フレームの画素出力において高輝度な被写体がどの程度含まれているかを概略的にチェックすることが可能となる。

従って、ここで検出した高輝度出力画素の個数が所定のレベル以下であった場合は、フォトダイオード１からの過剰電荷の影響は無いものと考える。制御信号ΦＴＮ（１７ａ）、制御信号ΦＴＳ（１７ｂ）とも、フォトダイオード１からの信号電荷の転送の有無にかかわらず同じタイミングで駆動する。

この場合は、当然、フォトダイオード１からの信号電荷の転送無しで補正データを作成したとしても、フォトダイオード１からの過剰電荷の影響を受けることも無い。また、制御信号ΦＴＮ（１７ａ）、制御信号ΦＴＳ（１７ｂ）のタイミングの変更も行っていないため、電荷転送の有無でダーク出力に差は生じず、問題なく補正動作が可能となる。

一方、ここで検出した高輝度出力画素の個数が所定のレベル以上であった場合は、撮像素子２０に高輝度の被写体像が入射しているものと判断し、別の動作を行う。別の動作例として次の２つの方法が考えられる。

第１の方法では、フォトダイオード１からの信号電荷の転送無しで補正データを作成するが、その際に制御信号ΦＴＮ（１７ａ）、制御信号ΦＴＳ（１７ｂ）のタイミングの変更を行う。この場合、撮像素子によっては、ダーク相当出力に影響があり、補正データが正確には一致しない可能性があるが、フォトダイオード１からの過剰電荷の影響を受けるとことなく補正データを高速に作成することが可能となる。

第２の方法では、補正データを作成するにあたり、フォトダイオード１からの信号電荷の転送無しで補正データを作成することをあきらめ、従来どおり、遮光されているＯＢ領域の出力を複数フレームにわたって平均化処理を行う。この場合、少ない行数のＯＢ領域の出力で補正データを作成するため、複数フレームにわたって平均化処理を行う必要がある。制御信号の駆動タイミングは通常読み出し時と同一であり、且つ遮光されているＯＢ領域の信号出力を用いて補正データを作成する。そのため、フォトダイオード１からの過剰電荷の影響や、補正データが合わなくなる影響を受けることは無くなる。

撮像素子２０に高輝度の被写体像が入射しているか否かの判断は、撮像素子２０の特性や撮像装置の目的に応じて判断することができる。

図８は、本実施の形態に係る補正データ取得シーケンスの切り替え処理（第１の例）を示すフローチャートである。図９は、撮像素子に高輝度の被写体が入射しているか否かを判定する処理を示すフローチャートである。

図８において、信号処理部３３は、所定のフレームごとに補正データ生成のための読み出しシーケンスを行う際に、その直前のフレームの画像の評価結果を読み出し、輝度（入射光量に関する情報）をチェックする（ステップＳ１００）。ステップＳ１００における評価内容を図９のフローチャートに従い説明する。

図９において、まず、信号処理部３３は、信号処理部内部の計数結果をクリアする（ステップＳ１１０）。次に、信号処理部３３は、撮像素子２０の画素出力（例えばＧ出力）を順次読み出し（ステップＳ１１１）、画素出力を予め設定されている判定値と比較する（ステップＳ１１２）。画素出力が判定値を超えていた場合は、信号処理部３３は、計数結果を１加算する（ステップＳ１１３）。画素出力が判定値を超えていない場合は、信号処理部３３は、全ての画素出力について判定値との比較を終了したかどうかを確認する（ステップＳ１１４）。

全ての画素出力について判定値との比較を終了していない場合は、信号処理部３３は、ステップＳ１１１に戻り、撮像素子２０の画素出力の読み出しと判定値との比較を繰り返す。全ての画素出力について判定値との比較を終了した場合は、信号処理部３３は、計数結果が予め設定されている判定値を超えたかどうか確認する（ステップＳ１１５）。これは、撮像素子２０に例えば正常でない画素が含まれているような場合は、光信号によらず非常に大きな出力となることがあるため、このような要因を除くために、一定以上の計数結果をもって、撮像した被写体が高輝度被写体であるか否かの判定を行う。

計数結果が判定値を超えている場合は、信号処理部３３は、当該フレームは高輝度の被写体像が入射していると判断する（ステップＳ１１６）。計数結果が判定値を超えていない場合は、信号処理部３３は、当該フレームは高輝度の被写体像が入射していないと判断する（ステップＳ１１７）。更に、信号処理部３３は、ステップＳ１１６の判断結果またはステップＳ１１７の判断結果を、当該フレーム以降のフレームの読み出し直前に使用するため、メモリ３４に記憶する（ステップＳ１１８）。これにより、本処理を終了する。

図８に戻り、信号処理部３３は、上記のステップＳ１００における直前のフレームの画像の評価結果を読み出し、高輝度の被写体像が入射しているかどうかを判定する（ステップＳ１０１）。高輝度の被写体像が入射していないと判定した場合は、信号処理部３３は、補正データ取得時の動作モードをフォトダイオード１からの信号電荷の転送を行わない設定になるようＴＧ３２を設定し、タイミングの変更は行わない（ステップＳ１０２）。

高輝度の被写体像が入射していると判定した場合は、信号処理部３３は、フォトダイオード１からの過剰電荷の影響を受けにくくなるように、次のようにＴＧ３２を設定する。即ち、補正データ取得時の動作モードをフォトダイオード１から信号電荷を転送しない設定になるよう、且つ制御信号ΦＴＮ（１７ａ）、ΦＴＳ（１７ｂ）の時間差が通常よりも短くなるようＴＧ３２を設定し、タイミングの変更を行う（ステップＳ１０３）。

信号処理部３３は、ステップＳ１０２またはステップＳ１０３で設定された読み出し方法により撮像素子２０からの画像データの読み出しを実行し、補正データ取得用フレームを読み出す（ステップＳ１０４）。更に、信号処理部３３は、平均値算出領域２２（図５参照）の出力から補正データを作成し、以降の補正データとして設定する（ステップＳ１０５）。これにより、本処理を終了する。

本処理は、例えば動画撮影中に間引き率の異なる静止画を１枚撮影するような状況を考えた場合に、静止画撮影直前の補正データ取得時など直ちに補正データを取得する必要がある場合には、撮像素子によっては補正データが正確に一致しない可能性がある。しかし、フォトダイオード１からの過剰電荷の影響を受けるとことなく、高速に補正データを作成することが可能となり非常に有効である。

図１０は、補正データ取得シーケンスの切り替え処理（第２の例）を示すフローチャートである。

図１０において、直前のフレームの画像の評価結果の読み出し（ステップＳ１００）、高輝度の被写体像の入射判定（ステップＳ１０１）、高輝度被写体が入射していない場合の処理（ステップＳ１０２〜ステップＳ１０５）は、図８と同様であり説明を省略する。以下では本処理に固有の動作を説明する。ステップＳ１０１で高輝度の被写体像が入射していると判定した場合、信号処理部３３は、フォトダイオード１からの過剰電荷の影響を受けないように、補正データの作成には、遮光されているＯＢ領域２０ｂを用いる。

即ち、信号処理部３３は、補正データ取得時の動作モードは従来と変えることはしないものの、複数フレームにわたってＯＢ領域２０ｂの平均化処理を行う（ステップＳ１０６）。更に、信号処理部３３は、所定の画素領域の出力を複数フレームにわたって平均化処理を行うことで補正データを作成し、以降の補正データとして設定する（ステップＳ１０７）。これにより、本処理を終了する。

例えば動画撮影時であれば、複数フレームで補正データを作成したとしても、一定時間後には正確な補正値を算出することが可能となるため、動画撮影時には本処理が有効であるものと考えられる。

尚、本実施の形態では、補正データ取得シーケンスの切り替え処理として第１の例と第２の例を挙げたが、判断状況に応じてこれらを組み合わせても問題ない。また、本実施の形態では、直前のフレームに高輝度の被写体像が含まれているか否かの判断をソフトウェアで実現する場合を例に挙げたが、ハードウェアで構成しても構わない。

以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と同様に撮像装置の操作感が低下する現象を解消しながら、高品質な画像データの取得が可能となる。

〔他の実施の形態〕
第１乃至第４の実施の形態では、撮像装置の撮像素子に関する制御について説明したが、本発明は各種の撮像装置（デジタルスチルカメラ、デジタルビデオカメラ）に適用することが可能である。

また、本発明の目的は、以下の処理を実行することにより達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はＣＰＵやＭＰＵ等)が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及びプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理により実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の第１乃至第４の実施の形態に係る撮像装置の要部の構成を示すブロック図である。 撮像素子のフォトダイオードからの信号電荷の転送を行わない場合の撮像素子の動作タイミングを示すタイミング図である。 撮像素子の補正データ取得シーケンスを示す図である。 本発明の第２の実施の形態に係る撮像素子の補正データ取得シーケンスを示す図である。 撮像素子の平均値算出領域を示す図である。 本発明の第３の実施の形態に係る撮像素子のフォトダイオードからの信号電荷の転送を行わない場合の撮像素子の動作タイミング（第１の例）を示すタイミング図である。 撮像素子のフォトダイオードからの信号電荷の転送を行わない場合の撮像素子の動作タイミング（第２の例）を示すタイミング図である。 本発明の第４の実施の形態に係る補正データ取得シーケンスの切り替え処理（第１の例）を示すフローチャートである。 撮像素子に高輝度の被写体が入射しているか否かを判定する処理を示すフローチャートである。 補正データ取得シーケンスの切り替え処理（第２の例）を示すフローチャートである。 ＣＭＯＳ型の撮像素子の構成を示す回路図である。 撮像素子の動作タイミングを示すタイミング図である。 撮像素子のチップの模式的な構成を示す図である。 撮像素子の平均値算出領域を示す図である。

符号の説明

１ フォトダイオード
２ 転送スイッチ
１５ 信号蓄積部
１７ａ 第１のサンプリング制御信号
１７ｂ 第２のサンプリング制御信号
２０ 撮像素子
２０ａ 有効画像領域
２０ｂ 無効画素領域
２２ 平均値算出領域
３１ Ａ／Ｄ変換器
３２ ＴＧ
３３ 信号処理部

Claims (17)

1. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域とを備える撮像素子と、
   前記撮像素子に光が入射する状態において、前記転送手段による転送を行わずに前記撮像素子の前記有効画素領域と前記無効画素領域に重複した領域を含む予め定められた領域から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理手段と、
   前記転送手段による転送を行って前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理手段により算出した結果を減じる第２の処理手段と、
   を具備したことを特徴とする撮像装置。
2. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域とを備える撮像素子と、
   前記撮像素子に光が入射する状態において、前記転送手段による転送を行わずに前記撮像素子の予め定められた領域から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理手段と、
   前記転送手段による転送を行って前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理手段により算出した結果を減じる第２の処理手段と、を具備し、
   前記転送手段による転送を行わずに信号を読み出す前記領域は、前記転送手段による転送を行って信号を読み出す領域と同一の領域であることを特徴とする撮像装置。
3. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域と、第１の制御信号により前記光電変換素子をリセットした後の前記光電変換素子の出力を保持すると共に、第２の制御信号により前記光電変換素子をリセットした後に前記転送手段による信号の転送を実行した後の前記光電変換素子の出力を保持し、前記保持された２つの出力の差分を蓄積する信号蓄積手段とを備える撮像素子と、
   前記撮像素子に光が入射する状態において、前記転送手段による転送を行わずに前記第１の制御信号と前記第２の制御信号の出力タイミングを第１の駆動パターンにて制御し、前記撮像素子の予め定められた領域から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理手段と、
   前記転送手段による転送を行って前記第１の制御信号と前記第２の制御信号の出力タイミングを前記第１の駆動パターンとは異なる第２の駆動パターンにて制御することで、前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理手段により算出した結果を減じる第２の処理手段と、
   を具備したことを特徴とする撮像装置。
4. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域とを備える撮像素子と、
   前記撮像素子から読み出した信号に基づき前記撮像素子への入射光量に関する情報を取得する取得手段と、
   前記撮像素子に光が入射する状態において、前記取得手段により取得した情報に基づき前記撮像素子から信号を読み出す領域を切り替えて前記撮像素子から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理手段と、
   前記転送手段による転送を行って前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理手段により算出した結果を減じる第２の処理手段と、
   を具備したことを特徴とする撮像装置。
5. 前記転送手段による転送を行わずに前記撮像素子の予め定められた領域から信号を読み出す第１の状態と、前記転送手段による転送を行って前記撮像素子の前記無効画素領域から信号を読み出す第２の状態のいずれかに切り替える切替手段、を備えることを特徴とする請求項４記載の撮像装置。
6. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域と、第１の制御信号により前記光電変換素子をリセットした後の前記光電変換素子の出力を保持すると共に、第２の制御信号により前記光電変換素子をリセットした後に前記転送手段による信号の転送を実行した後の前記光電変換素子の出力を保持し、前記保持された２つの出力の差分を蓄積する信号蓄積手段とを備える撮像素子と、
   前記撮像素子から読み出した信号に基づき前記撮像素子への入射光量に関する情報を取得する取得手段と、
   前記撮像素子に光が入射する状態において、前記取得手段により取得した情報に基づき前記撮像素子から信号を読み出す領域を切り替えて前記撮像素子から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理手段と、
   前記転送手段による転送を行って前記第１の制御信号と前記第２の制御信号の出力タイミングを所定の駆動パターンにて制御することで、前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理手段により算出した結果を減じる第２の処理手段と、
   を具備したことを特徴とする撮像装置。
7. 前記第１の制御信号と前記第２の制御信号の出力タイミングを前記所定の駆動パターンにて制御し前記転送手段による転送を行って前記撮像素子の予め定められた領域から信号を読み出す第３の状態と、前記第１の制御信号と前記第２の制御信号の出力タイミングを前記所定の駆動パターンとは異なるパターンにて制御し前記転送手段による転送を行わずに前記撮像素子の前記領域から信号を読み出す第４の状態と、前記第１の制御信号と前記第２の制御信号の出力タイミングを前記所定の駆動パターンにて制御し前記転送手段による転送を行って前記撮像素子の前記無効画素領域から信号を読み出す第５の状態のいずれかに切り替える切替手段、を備えることを特徴とする請求項６記載の撮像装置。
8. 前記切替手段は、前記第１の制御信号と前記第２の制御信号の出力タイミングを前記所定の駆動パターンとは異なるパターンにて制御する際に、前記第１の制御信号と前記第２の制御信号とがそれぞれアクティブになる時間間隔を前記所定の駆動パターンにて制御する場合よりも短い時間間隔とすることを特徴とする請求項７に記載の撮像装置。
9. 前記切替手段は、前記第１の制御信号と前記第２の制御信号の出力タイミングを前記所定の駆動パターンとは異なるパターンにて制御する際に、前記第１の制御信号と前記第２の制御信号とがそれぞれアクティブになるタイミングを同一のタイミングとすることを特徴とする請求項７に記載の撮像装置。
10. 前記転送手段による転送を行わずに信号を読み出す前記領域は、前記有効画素領域と前記無効画素領域に重複した領域であることを特徴とする請求項３、５又は７のいずれか１項に記載の撮像装置。
11. 前記転送手段による転送を行わずに信号を読み出す前記領域は、前記転送手段による転送を行って信号を読み出す領域と同一の領域であることを特徴とする請求項３、５又は７のいずれか１項に記載の撮像装置。
12. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域とを備える撮像素子を具備した撮像装置の制御方法において、
    前記撮像素子に光が入射する状態において、前記転送手段による転送を行わずに前記撮像素子の前記有効画素領域と前記無効画素領域に重複した領域を含む予め定められた領域から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理工程と、
    前記転送手段による転送を行って前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理工程で算出した結果を減じる第２の処理工程と、
    を有することを特徴とする制御方法。
13. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域とを備える撮像素子を具備した撮像装置の制御方法であって、
    前記撮像素子に光が入射する状態において、前記転送手段による転送を行わずに前記撮像素子の予め定められた領域から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理工程と、
    前記転送手段による転送を行って前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理手段により算出した結果を減じる第２の処理工程と、を有し、
    前記転送手段による転送を行わずに信号を読み出す前記領域は、前記転送手段による転送を行って信号を読み出す領域と同一の領域であることを特徴とする制御方法。
14. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域と、第１の制御信号により前記光電変換素子をリセットした後の前記光電変換素子の出力を保持すると共に、第２の制御信号により前記光電変換素子をリセットした後に前記転送手段による信号の転送を実行した後の前記光電変換素子の出力を保持し、前記保持された２つの出力の差分を蓄積する信号蓄積手段とを備える撮像素子を具備した撮像装置の制御方法であって、
    前記撮像素子に光が入射する状態において、前記転送手段による転送を行わずに前記第１の制御信号と前記第２の制御信号の出力タイミングを第１の駆動パターンにて制御し、前記撮像素子の予め定められた領域から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理工程と、
    前記転送手段による転送を行って前記第１の制御信号と前記第２の制御信号の出力タイミングを前記第１の駆動パターンとは異なる第２の駆動パターンにて制御することで、前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理工程により算出した結果を減じる第２の処理工程と、
    を有することを特徴とする制御方法。
15. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域とを備える撮像素子を具備した撮像装置の制御方法であって、
    前記撮像素子から読み出した信号に基づき前記撮像素子への入射光量に関する情報を取得する取得工程と、
    前記撮像素子に光が入射する状態において、前記取得工程により取得した情報に基づき前記撮像素子から信号を読み出す領域を切り替えて前記撮像素子から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理工程と、
    前記転送手段による転送を行って前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理工程により算出した結果を減じる第２の処理工程と、
    を有することを特徴とする制御方法。
16. 被写体の光学像を光電変換する光電変換素子と前記光電変換素子からの信号を転送する転送手段とを有する複数の画素が２次元に配列され、画素に光が入射する有効画素領域と、画素が遮光される無効画素領域と、第１の制御信号により前記光電変換素子をリセットした後の前記光電変換素子の出力を保持すると共に、第２の制御信号により前記光電変換素子をリセットした後に前記転送手段による信号の転送を実行した後の前記光電変換素子の出力を保持し、前記保持された２つの出力の差分を蓄積する信号蓄積手段とを備える撮像素子を具備した撮像装置の制御方法であって、
    前記撮像素子から読み出した信号に基づき前記撮像素子への入射光量に関する情報を取得する取得工程と、
    前記撮像素子に光が入射する状態において、前記取得工程により取得した情報に基づき前記撮像素子から信号を読み出す領域を切り替えて前記撮像素子から信号を読み出し、読み出した信号に基づき前記撮像素子の固定パターンノイズを算出する第１の処理工程と、
    前記転送手段による転送を行って前記第１の制御信号と前記第２の制御信号の出力タイミングを所定の駆動パターンにて制御することで、前記撮像素子から信号を読み出し、読み出した信号から前記第１の処理工程により算出した結果を減じる第２の処理工程と、
    を有することを特徴とする制御方法。
17. 請求項１２乃至１６のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラムコードを有するプログラム。

Images