JP5852324B2

JP5852324B2 - 撮像装置及びその制御方法、プログラム

Info

Publication number: JP5852324B2
Application number: JP2011098675A
Authority: JP
Inventors: 誠伊勢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-04-26
Filing date: 2011-04-26
Publication date: 2016-02-03
Anticipated expiration: 2031-04-26
Also published as: JP2012231333A; US20120273655A1

Description

本発明は、固体撮像素子のノイズ低減技術に関するものである。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子で撮像した画像データを記録・再生する撮像装置が盛んに開発され、広く普及してきている。そして、撮像装置には静止画や動画の撮影に係る解像度や動作スピードのより一層の向上が求められている。そのため、固体撮像素子を駆動するための駆動信号の周波数や、アナログ信号処理回路、Ａ／Ｄ変換器、デジタル信号処理回路などに対する駆動周波数の高速化が急速に進んでいる。

また、様々な撮影シーンにおいて、失敗撮影の少ない手軽さがより一層求められるようになり、例えばスポーツシーンなど動きの速い被写体に追従するため、あるいは、低照明下の室内撮影における手ぶれ防止を目的として、シャッター秒時の高速化が進んでいる。また、美術館や水族館といったストロボ撮影の禁止された場所での撮影を可能とするために、撮像装置の更なる高感度化が求められている。

ところで、固体撮像素子の出力には、その構造に起因する縦縞状のノイズとなる列オフセット成分のノイズが存在する（以下、列オフセット）。例えば、ＣＣＤセンサでは垂直転送レジスタの欠陥による縦縞ノイズや、強烈な光が入射した際に発生するスミア現象などが周知である。また、ＣＭＯＳセンサに代表されるＸＹアドレス型センサは、一般に、行列状に配置された光電変換素子から、選択された各行ごとの信号を、行ごとに共通で列ごとに異なる垂直出力線を介して読み出す構造を持つ。そのために、列ごとに異なる素子特性のばらつきによって列オフセットが発生しやすい。

図２６に一般的な固体撮像素子の１画素の読み出し部分に係る基本回路構成を示す。

図２６において、フォトダイオード９０１は光信号電荷を蓄積し、転送トランジスタ９０２はフォトダイオード９０１に蓄積された光信号電荷をフローティングディフュージョン９０４に転送する。リセットトランジスタ９０３はフォトダイオード９０１に蓄積された光信号電荷をリセットし、フローティングディフュージョン（ＦＤ）９０４は光信号電荷をＦＤ電位に転換し、画素ソースフォロア９０５は列アンプへと繋がる垂直出力線にＦＤ電位を読み出す。

この列ごとに設けられた垂直出力線と列アンプとが、列ごとに異なる特性ばらつきをもつことで列オフセットが発生する。

また、その他にも撮像素子の出力には様々なノイズの発生要因がある。フォトダイオードに起因して発生する画素欠陥ノイズやリセットトランジスタに起因して発生するリセットノイズ、画素ソースフォロアに起因して発生する１／ｆノイズおよびＲＴＳノイズ（ランダム・テレグラム・シグナル）などである。

リセットノイズは、リセットトランジスタをオンして所定の基準電圧を与えてオフする際に生じるノイズであり、相関２重サンプリング（ＣＤＳ回路）などの周知の技術により除去できる。

１／ｆノイズとＲＴＳノイズは、いずれも画素ソースフォロアの界面準位で電子が捕獲、放出される過程で発生するランダムノイズである。１／ｆノイズはパワースペクトル密度が周波数に反比例し、低い周波数でより大きなパワーを持つためＣＤＳ回路により大きく低減できるが、ＲＴＳノイズは不特定の時間間隔をもって発生するためにＣＤＳ回路では除去できずに残る。一般に、ＲＴＳノイズの発生頻度は画素ソースフォロアに大きく依存しており、特定の画素ソースフォロアの素子に偏在しやすい傾向にある。また、画素ソースフォロアの素子サイズが小さくなるほどＲＴＳノイズの発生頻度が高くなる特質があるため、撮像素子の更なる小型化に対して阻害要因の一つになっている。

画素欠陥ノイズはフォトダイオードに混入した不純物による暗電流ノイズであり、温度や光信号電荷の蓄積時間に依存して非常に大きなレベルの白点ノイズになりうる。画素欠陥ノイズもＣＤＳ回路では除去できずに残る。

上記ノイズ対策に関連した技術として、特許文献１には、撮像信号に重畳した列オフセットを検出してキャンセルするために、１水平期間分の画像データを記憶する記憶部を備え、固体撮像素子の垂直方向の光学的黒画素を水平期間積分して記憶すること、そして有効画素データから１水平期間の記憶画像データを減算することで重畳された列オフセットを除去することが記載されている。また、特許文献２には、固体撮像素子の垂直方向の光学的黒画素から所定の閾値を超える欠陥画素の影響を除去した後に列オフセットを検出することで列オフセットの検出精度を高める方法が記載されている。

特開平０７−０６７０３８号公報特開２００６−０２５１４８公報

上述したように、撮像装置の高感度化に伴い、より高精度に列オフセットを検出して撮像信号から除去することが必要であるが、上記特許文献１では、列オフセットの検出領域に含まれる列オフセット以外のノイズの影響については何ら考慮されていない。

また、特許文献２では、列オフセットの検出領域に含まれる欠陥画素の影響を除去することが記載されているものの、列オフセットの検出領域に含まれるＲＴＳノイズの発生頻度が高い場合の対処方法については具体的に言及されてない。

列オフセットの検出領域において、ＲＴＳノイズの発生頻度が高い画素ソースフォロアが偏在しており、ＲＴＳノイズが過半数を超えるような場合には、後から信号処理によってノイズを検出して除去することは困難である。また、ノイズを除去できたとしても、その区間の信号成分の欠落により列オフセット検出精度の低下は否めない。

本発明は、上記課題に鑑みてなされたもので、その目的は、撮像信号から列オフセットのみを高精度に検出して補正することで、高感度ながら画像を高品位に保ちつつ低電力化に貢献できるノイズ低減技術を実現することである。

上記目的を達成するために、本発明の撮像装置は、複数の画素が行方向及び列方向において２次元に配列された有効画素部と、前記有効画素部の少なくとも列方向の端部に設けられた遮光画素部とを有する撮像素子を有する撮像装置であって、前記撮像素子から画素信号を読み出す読み出し手段と、前記読み出し手段により前記遮光画素部における同じ列から読み出された画素信号に対する巡回演算を行うことにより列ごとの列オフセット成分を検出する列オフセット検出手段と、前記列オフセット検出手段で検出される列オフセット成分を複数のフレームにわたって引き継ぎながら巡回演算を行うと共に、前記巡回演算ごとに算出される列オフセット成分を前記読み出し手段により前記有効画素部から読み出された画素信号から減じていくことで当該有効画素部の画素信号に重畳する列オフセットを補正する補正手段と、前記遮光画素部を、１フレームで前記読み出し手段により画素信号を読み出す画素領域ごとに複数のブロックに分割し、前記画素領域におけるノイズの発生頻度に応じてフレームごとに前記読み出し手段により画素信号を読み出すブロックを制御する制御手段と、を有する。

本発明によれば、撮像信号から列オフセット以外のノイズの影響を極力排除し、列オフセットのみを高精度に検出して補正することで、高感度ながら画像を高品位に保ちつつ低電力化に貢献できるノイズ低減技術を実現できる。

本発明に係る実施形態の撮像装置のブロック図。ＣＭＯＳイメージセンサの画素配列を示す図。ＣＭＯＳイメージセンサの内部構成図。ＣＭＯＳイメージセンサの読み出し信号のタイミングチャート。センサ全体のタイミングチャート。実施形態１の列オフセット検出回路図。実施形態１の列オフセットの検出・補正動作説明図。実施形態１の列オフセット検出時の補正演算説明図。実施形態１のＲＴＳノイズによる誤差量説明図。ＲＴＳノイズの発生頻度説明図。実施形態１の巡回演算の収束特性説明図。実施形態２の列オフセットの検出・補正動作説明図。実施形態２の列オフセット検出時の補正演算説明図。実施形態３の列オフセットの検出・補正動作説明図。実施形態３の列オフセット検出時の補正演算説明図。実施形態４の列オフセット検出回路図。実施形態４の列オフセットの検出・補正動作説明図。実施形態４の列オフセット検出時の補正演算説明図。実施形態４の列オフセット最大値説明図。実施形態５の列オフセット検出回路図。実施形態５の列オフセットの検出・補正動作説明図。実施形態５の列オフセット検出時の補正演算説明図。実施形態６の加重平均過程説明図。実施形態６の列オフセットの検出・補正動作説明図。実施形態６の列オフセット検出時の補正演算説明図。撮像素子の１画素の読み出し部分に係る基本回路図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［装置構成］本発明に係る撮像装置は、特にデジタルビデオカメラやデジタルスチルカメラ（以下、カメラ）に有用である。このため、以下では、本発明に係る撮像装置をＣＭＯＳイメージセンサを搭載するデジタルカメラに適用した例について、図１及び図２を参照して説明する。

図１において、レンズ１０１は、被写体の光像を撮像素子１０３の撮像面に収束させる。絞り１０２は、被写体像の光量を調節するＡＥ（自動露出制御）を行い、撮像される画像を適切な輝度レベルに保つように駆動される。

撮像素子１０３は、被写体の光像を電気信号に変換するＣＭＯＳイメージセンサ（以下、ＣＭＯＳセンサ）である。

図２に示すように、ＣＭＯＳセンサ１０３は、複数の画素が行方向（水平方向）及び列方向（垂直方向）において２次元に配列された有効画素部として光電変換素子であるフォトダイオードに光が照射される有効画素領域２０３を有する。また、ＣＭＯＳセンサ１０３は、有効画素領域２０３の行方向または列方向の端部に設けられた遮光画素部として、アルミ薄膜等の遮光膜により光の照射が数列から数１０列にわたって遮光される水平オプティカルブラック（以下、ＨＯＢ）領域２０１と、アルミ薄膜等の遮光膜により光の照射が数ラインから数十ラインにわたって遮光される垂直オプティカルブラック（以下、ＶＯＢ）領域２０２とに区分される。

同期信号発生器（以下、ＳＳＧ）１０４は、水平同期信号（以下、ＨＤ信号）及び垂直同期信号（以下、ＶＤ信号）を生成する。

タイミングジェネレータ（以下、ＴＧ）１０５は、ＣＭＯＳセンサ１０３を駆動させる各種制御信号をＨＤ信号及びＶＤ信号に同期して発生する。

Ａ／Ｄ変換器１０６はＣＭＯＳセンサ１０３から出力されるアナログ信号をデジタル画像信号に変換する。

ＯＢクランプ回路１０７は、Ａ／Ｄ変換器１０６のＯＢ期間の出力値を所定の値に固定する。

列オフセット検出回路１０８は、ＯＢクランプ回路１０７から出力された画像信号に含まれる列オフセット成分をＶＯＢ領域から抽出する。列オフセット除去回路１１１は、列オフセット検出回路１０８にて検出された列オフセットを有効画素領域２０３の撮像信号から減算する。

ウィンドウ回路１０９は、列オフセット検出回路１０８及び列オフセット除去回路１１１を駆動するための制御信号を生成する。

システムコントローラ１１０は、各部を統括して制御して動作モードやパラメータを決定する。

信号処理回路１１２は、デジタル画像信号に対して補間処理や色変換処理、縮小や拡大などの変倍処理を行い、表示デバイスに表示可能な画像信号に変換すると共に、記憶媒体に合せてＪＰＥＧ形式の画像データなどに変換する。

［センサ構成］図３を参照して、ＣＭＯＳセンサ１０３の回路構成について説明する。図３において、垂直走査回路３００は画素配列から特定の読み出し行を選択する。リセットトランジスタ（以下、リセットＴｒ）３０１ａ〜３０１ｃはフォトダイオードに蓄積された光信号電荷をリセットする。転送トランジスタ（以下、転送Ｔｒ）３０２ａ〜３０２ｃはフォトダイオードに蓄積された光信号電荷を後述するフローティングディフュージョンに転送する。

フォトダイオード（以下、ＰＤ）３０３ａ〜３０３ｃは光電変換素子からなる。フローティングディフュージョン（以下、ＦＤ）３０４ａ〜３０４ｃは光信号電荷をＦＤ電位に転換する。選択トランジスタ（以下、選択Ｔｒ）３０５ａ〜３０５ｃは特定行を選択して画素ソースフォロアを作動させてＦＤ電位を垂直出力線２０４ａ〜２０４ｃに読み出す。

画素ソースフォロア（以下、画素ＳＦ）３０６ａ〜３０６ｃはＦＤ電位を垂直出力線に読み出すバッファアンプである。

基準電圧Ｖｒｅｆ３０７は列アンプ２０５ａ〜２０５ｃでの信号増幅用の基準として用いられる。３０８は読み出し回路の１画素信号の構成単位である。サンプルホールド回路（以下、Ｓ／Ｈ（Ｎ））３０９ａ〜３０９ｃはＮ信号を記憶する。サンプルホールド回路（以下、Ｓ／Ｈ（Ｓ））３１０ａ〜３１０ｃはＳ信号を記憶する。

また、ｍ行目の行選択線（以下、ＰＳＥＬ＿ｍ）３１１、ｍ行目のリセット信号線（以下、ＰＲＥＳ＿ｍ）３１２、ｍ行目の信号転送線（以下、ＰＴＸ＿ｍ）３１３は、ＣＭＯＳセンサ１０３を制御する信号線である。また、信号線（以下、ＰＴＮ）３１４は、Ｓ／Ｈ（Ｎ）３０９への読み出し期間を決定し、信号線（以下、ＰＴＳ）３１５、Ｓ／Ｈ（Ｓ）３１０への読み出し期間を決定する信号線である。

３２０は水平出力線であり、選択トランジスタ（以下、選択Ｔｒ）３１６ａ〜３１６ｃは、各列のＳ／Ｈ（Ｎ）３０９の出力を水平出力線３２０に選択して読み出す。同様に、３２１は水平出力線であり、選択トランジスタ（以下、選択Ｔｒ）３１７ａ〜３１７ｃは、各列のＳ／Ｈ（Ｓ）３１０の出力を水平出力線３２１に選択して読み出す。

水平走査回路３１９は各列のＳ／Ｈ（Ｎ）３０９の出力およびＳ／Ｈ（Ｓ）３１０の出力から特定の読み出し列を選択する。３１８ａ〜３１８ｃは水平走査回路３１９から出力されるｎ〜ｎ＋２列目の選択信号Ｈｎ〜Ｈｎ＋２である。

差動回路３２３は水平出力線３２０、３２１からの信号を受けてＣＭＯＳセンサ１０３の出力ＶＯＵＴとして差動出力を行う。

なお、１画素信号の構成単位３０８に４つのトランジスタを持つ構成を例示したが、２種類以上のリセット電圧を用い、画素ＳＦを不活性化・活性化させる方式を用いることで、選択Ｔｒ３０５を省略することもできる。また、ＦＤおよびＳＦを複数のＰＤで共有する構造であってもよい。

次に図３及び図４を参照して、読み出し時における図３の信号線の動作タイミングについて説明する。

撮影動作が開始されてＰＤ３０３ａ〜３０３ｃに光が入射されると、光信号電荷が発生し蓄積を開始する。垂直走査回路３００により各行の走査が順次行われていき、ｍ行目の走査に至るとＰＲＥＳ＿ｍ３１２がハイレベルになり、ＦＤ３０４ａ〜３０４ｃの信号がリセットされる。

次にＰＳＥＬ＿ｍ３１１がハイレベルになり、リセットノイズを含むリセットレベルが画素ＳＦ３０６ａ〜３０６ｃを通じて垂直出力線２０４ａ〜２０４ｃへ読み出される。そして、垂直出力線２０４ａ〜２０４ｃに読み出されたリセットレベルと基準電圧Ｖｒｅｆ３０７との差分が列アンプ２０５ａ〜２０５ｃにて増幅されて出力される。

そして、この出力されたＮ信号を、ＰＴＮ＿ｍ３１３がハイレベルの期間（以下、Ｎ読み期間）でＳ／Ｈ（Ｎ）３０９に記憶される。その後、ＰＴＸ＿ｍ３１３をハイレベルにして、ＰＤ３０３ａ〜３０３ｃにて発生した電荷を、ＦＤ３０４ａ〜３０４ｃに読み出す。Ｎ信号と同様にして、画素ＳＦ３０６ａ〜３０６ｃ、垂直出力線２０４ａ〜２０４ｃ、列アンプ２０５ａ〜２０５ｃを通過した後に出力されるＳ信号は、ＰＴＳ＿ｍがハイレベルの期間（以下、Ｓ読み期間）にＳ／Ｈ（Ｓ）３１０に記憶される。

このようにして読み出されＳ／Ｈ（Ｎ）３０９に記憶された各列のｍ行目のＮ信号は、水平走査回路３１９の出力信号３１８ａ〜３１８ｃにより制御される選択Ｔｒ３１６ａ〜３１６ｃを介して、水平出力線３２０に列ごとに順次読み出される。

同様に、読み出されＳ／Ｈ（Ｓ）３１０に記憶された各列のｍ行目のＮ信号は、水平走査回路３１９の出力信号３１８ａ〜３１８ｃにより制御される選択Ｔｒ３１７ａ〜３１７ｃを介して、水平出力線３２１に列ごとに順次読み出される。

列ごとに並列に読み出されたｍ行目のＮ信号とＳ信号とは、差動信号としてそれぞれ差動回路３２３に入力されて、その差動出力がＣＭＯＳセンサ１０３のセンサ出力ＶＯＵＴとなる。

Ｓ信号は、Ｎ信号にＰＤ３０３ａ〜３０３ｃで発生した光信号電荷による信号が加わったものである。これによりＳ信号とＮ信号との差動動作をなすことでＣＤＳ動作が行われる。そして、ＣＭＯＳセンサ１０３のセンサ出力ＶＯＵＴから、素子に起因するリセットノイズや１／ｆノイズが除去されて、撮像信号には列オフセットに加えて画素欠陥ノイズとＲＴＳ（ランダム・テレグラム・シグナル）ノイズとが重畳する様態で出力される。

［実施形態１］次に図５を参照して、実施形態１の撮像装置の動作について説明する。

図５は、本実施形態のＣＭＯＳセンサ１０３のタイミング信号及びのタイミング信号に同期して出力された出力信号を例示する図である。

図５において、ＴＧ１０５は、ＳＳＧ１０４において生成されるＨＤ信号及びＶＤ信号からＣＭＯＳセンサ１０３を駆動する各種制御信号を生成する。ＣＭＯＳセンサ１０３は、ＴＧ１０５で生成される制御信号のタイミングで、レンズ１０１及び絞り１０２を通過した光信号を電気信号へと変換する。

ＣＭＯＳセンサ１０３から読み出されたアナログ信号は、Ａ／Ｄ変換器１０６にてデジタル信号に変換され、ＯＢクランプ回路１０７を介してＯＢ期間を所定のレベルに固定された後に、列オフセット検出回路１０８及び列オフセット除去回路１１１へ出力される。

ウィンドウ回路１０９は、ＨＤ信号及びＶＤ信号を参照して、列オフセット検出回路１０８にＶＯＢ領域における列オフセットの垂直の検出期間を指示する検出許可信号ＶＷＤＥＴと水平の検出期間を指示する検出許可信号ＨＷＩＮと巡回演算の回数をカウントするためのパルス信号ＣＣＬＫとを供給する。

ウィンドウ回路１０９は、列オフセット除去回路１１１に有効画素領域における垂直の列オフセット除去期間を指示する除去許可信号ＶＷＣＯＬと水平の列オフセット除去期間を指示する除去許可信号ＨＷＩＮを供給する。

列オフセット検出回路１０８は、ウィンドウ回路１０９から供給された検出許可信号に従って列オフセットデータを算出する。

そして、列オフセット除去回路１１１は、ウィンドウ回路１０９から供給された除去許可信号ＶＷＣＯＬに従い、列オフセット検出回路１０８により列ごとに算出された列オフセット成分を有効画素領域の撮像信号から減算して除去する。

列オフセット除去回路１１１から出力された画像データは、信号処理回路１１２において信号処理されて、表示デバイスや記録デバイスに適合する画像データへと変換される。

ＴＧ１０５は、同期信号であるＨＤ信号、ＶＤ信号の他に、ＣＭＯＳセンサ１０３から１画素ごとに信号を読み出すクロック信号としてＨＣＬＫ信号をＣＭＯＳセンサ１０３に供給している。

ＨＣＬＫ信号は、ＣＭＯＳセンサ１０３の内部の構成要素であるＨＯＢ、ＶＯＢ、有効画素の各領域の画素信号を読み出すためにセンサ出力を１画素サイクル単位で制御し、読み出し禁止期間にセンサ出力を停止する読み出し制御信号である。

ＴＧ１０５は、さらに、センサ出力の黒の基準となる画素信号をＶＯＢ、ＨＯＢの各領域から選択、抽出するための制御信号（ＣＬＰＯＢ信号）をＯＢクランプ回路１０７に供給している。

ＣＬＰＯＢ信号により抽出されたＨＯＢ、ＶＯＢの画素信号は、ＯＢクランプ回路１０７において有効画素領域の撮像信号から減算・出力されることで、黒レベル変動のない安定したセンサ出力を得ることができる。

ＰＢＬＫ信号のタイミングは、１水平期間中のセンサ出力が読み出しを停止しているブランキング期間Ｔｂｌｋを示している。

また、ＣＭＯＳセンサ１０３は、背景技術で述べたように、ＸＹアドレス型の読み出し構造に起因して、読み出し列ごとに異なる素子特性のばらつきによって列ごとに異なるオフセットが重畳する、所謂、列オフセットが発生しやすい。列オフセットは、ＶＯＢ、ＨＯＢ、有効画素領域の各領域の読み出し経路を共通に持つ同じ列上に等しく発生する性質がある。

また、ＣＭＯＳセンサ１０３の出力には列オフセットの他にも、画素欠陥ノイズやＲＴＳノイズが重畳しており、さらにはセンサ後段のアナログ回路やＡＤ変換時の量子化ノイズ等のランダムノイズが重畳される。

図５のセンサ出力（ＶＯＢ）とセンサ出力（有効画素領域）の波形は、これらに重畳する列オフセットとその他のノイズの態様を模式的に示したものである。

本発明の趣旨は、動画のフレームレートを下げないために１フレームに係るＶＯＢ領域を増やすことなく、列オフセットと他のノイズが重畳したＶＯＢ領域のセンサ出力から不要なノイズ成分を排除して、列オフセットのみを高精度に検出することにある。

図６は、本発明を実現するための列オフセット検出回路１０８の回路構成を示している。

図６において、５００は列オフセット検出回路１０８に入力される撮像信号Ｘｎであり、乗算器５０１（係数Ｋ１）の入力に接続される。乗算器５０１（係数Ｋ１）の出力と乗算器５０３（係数Ｋ２）の出力は、それぞれ加算器５０２の入力に接続される。加算器５０２の出力はラインメモリ５０４に入力される。ラインメモリ５０４の出力は乗算器５０３に入力されると共に、列オフセット検出回路１０８の出力５０５となる。

その他、列オフセットの垂直検出領域を指示する垂直検出ウィンドウ信号５０６（ＶＷＤＥＴ）と水平検出領域を指示する水平検出ウィンドウ信号５０７（ＨＷＩＮ）が、ウィンドウ回路１０９から列オフセット検出回路１０８の各部に供給される。また、ラインメモリ５０４に初期値のリロードを指示するモードリセット信号５０８（ＲＥＳＭ）が、ＴＧ１０５から列オフセット検出回路１０８の各部に供給される。

次に、列オフセット検出回路１０８の動作について説明する。

撮像信号Ｘｎは、乗算器５０１、乗算器５０３、加算器５０２、ラインメモリ５０４とで構成される巡回積分回路に入力されて、垂直データ間の巡回演算が行われる。ラインメモリ５０４には、水平画素ごとに（列ごとに個別に）値を有する巡回演算値Ｙｎが逐次、更新されて記憶される。

巡回演算値Ｙｎの演算式は下記式１で示される。サフィックスｎは巡回演算の回数を表しており、１ラインごとに更新される。

巡回係数：Ｋ１、Ｋ２（＝１−Ｋ１）
巡回演算値：Ｙｎ←Ｋ１・Ｘｎ＋Ｋ２・Ｙｎ−１・・・（１）
図６の例では、巡回係数として、Ｋ１＝１／６４、Ｋ２＝６３／６４が設定されており、１対６３の比率で、撮像信号Ｘｎに対して加重平均による演算が巡回的に繰り返される。

ラインメモリ５０４は、水平検出ウィンドウ信号ＨＷＩＮで示される１水平データ分の画素データを保持できる。

そして、動画撮影の最初のフレームを始動するＶＤ信号に同期して、システムコントローラ１１０がＴＧ１０５を介してモードリセット信号５０８（ＲＥＳＭ）によりラインメモリ５０４に初期値のリロードを指示する。

その後に、巡回積分回路では、垂直検出ウィンドウ信号ＶＷＤＥＴと水平検出ウィンドウ信号ＨＷＩＮで示された列オフセット検出領域内で、これらの動作が水平画素ごとに順次行われる。

垂直検出ウィンドウ信号ＶＷＤＥＴ期間に、複数回の巡回演算の後にラインメモリ５１８に記憶・保持された巡回演算値が、検出された列オフセットデータとして、列オフセット除去回路１１１に読み出されて列オフセットの除去が行われる。

図７は、動画撮影の際に連続して読み出された各フレーム画像から列オフセットを検出・補正する処理を示し、図８は、各フレーム画像から列オフセットが検出されて補正データが演算される様子を示している。

ＶＯＢ領域は全部で６４ラインある。このＶＯＢ領域は垂直方向に１６ラインずつの４つの検出ブロックに分割される。

動画撮影のまず最初に、巡回演算式１の初期値０で第１フレームのＶＯＢ領域から列オフセットが検出されて、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第１フレーム用のＶＯＢ領域は、ＶＯＢ領域の最初の１６ラインで指定されたブロック１の領域である。

次の第２フレームでは、第１フレームの列オフセットデータを巡回演算値として引き継いで第２フレーム用のＶＯＢ領域から列オフセットが検出されて、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第２フレーム用のＶＯＢ領域は、第１フレームのＶＯＢ領域に続く次の１６ラインで指定されたブロック２の領域である。

次の第３フレームでは、第２フレームの列オフセットデータを巡回演算値としてさらに引き継いで第３フレーム用のＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第３フレーム用のＶＯＢ領域は、第２フレームのＶＯＢ領域に続く次の１６ラインで指定されたブロック３の領域である。

次の第４フレームでは、第３フレームの列オフセットデータを巡回演算値としてさらに引き継いで第４フレーム用のＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第４フレーム用のＶＯＢ領域は、第３フレームのＶＯＢ領域に続く最後の１６ラインで指定されたブロック４の領域である。そして、第４フレームにおいて全てのＶＯＢ領域が読み出される。

そして、次の第５フレームでは、第４フレームの列オフセットデータを巡回演算値としてさらに引き継いで第５フレーム用のＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第５フレーム用のＶＯＢ領域は、再びＶＯＢ領域の最初の１６ラインで指定されたブロック１の領域に戻り、第１フレーム用のＶＯＢ領域と同じ領域となる。以降、４フレーム単位で全ＶＯＢ領域の読み出しが繰り返される。

ところで、列オフセットの検出領域であるＶＯＢには既に説明したように画素欠陥ノイズやＲＴＳノイズが重畳しており、列オフセットの検出精度を劣化させる誤差要因となりうる。

さらに、列オフセットの検出領域においてＲＴＳノイズの発生頻度が高い画素ソースフォロアが偏在しており、検出ブロックごとにＲＴＳノイズの影響による誤差量は大きく異なる。

図９は特定の画素列上に発生するＲＴＳノイズによる誤差量に関して、各検出ブロックごとの誤差量と全検出ブロックでの誤差量との関係を模式的に示している。

図９で検出ブロックごとの誤差量はフレームごとに同一の検出ブロックのみを繰り返して読み出した場合の検出ブロック内の１６ラインの加重平均による誤差量を表している。

全検出ブロックでの誤差量は全検出ブロックを４フレーム単位で繰り返して読み出した場合の全検出領域６４ラインの加重平均による誤差量を表している。

図９の例では、ＲＴＳノイズが検出ブロック１の１６ラインに偏って高頻度で発生しており、検出ブロック１の１６ラインのみの加重平均による誤差量が画像に影響を及ぼす許容レベルを超える結果となる場合を示している。

ＲＴＳノイズの発生頻度を全ＶＯＢ領域にわたって全画素で低レベルに抑えることは、撮像素子の製造プロセス上、非常に困難である。そして、ＲＴＳノイズの発生頻度は局所的に偏在しており、しかも個体差があるため許容レベルを超える検出ブロックが何れになるかは撮像素子ごとにまちまちである。

しかし、ＲＴＳノイズがどのように局所的に偏在したとしても、その発生頻度を全ＶＯＢ領域の中で平均してみた場合に、一定の割合以下に抑えた撮像素子を製造することは十分に可能である。

そして、図９は、このような撮像素子において、検出ブロック２、３、４でのＲＴＳノイズの発生頻度が低いことで、検出ブロック１をこれらに含めた全検出ブロックの６４ラインの加重平均による誤差量として、許容レベル以下に低減する様子を示している。

図１０は、ＶＯＢ領域の各検出ブロックにおける同じ列上の画素信号のデータ分布を示しており、以下では、図１０を参照してＲＴＳノイズの発生頻度を検出する方法の一例について説明する。

この例では、列データのメディアン値に対して所定の閾値を設ける。そして、この閾値から外れたデータをＲＴＳノイズとみなして発生個数を計数する。計数値の大きなものほどＲＴＳノイズの発生頻度が高いと判断する。このようにして求めたＲＴＳノイズの発生頻度の検出値と加重平均による誤差量との関係には強い相関性が得られる。

そこで、撮像素子ごとに、予め、ＲＴＳノイズの発生頻度を検出ブロックごとに検出しておいて、その検出結果を当該撮像素子が搭載された撮像装置に記憶しておく。この調整手順は、撮像素子の製造ラインの工程上で行っても良いし撮像装置に調整モード等を設けて行ってもよい。

本実施形態のようにフレーム単位で検出領域を切り換える構成をなすことで、全検出領域を用いた加重平均によって誤差量を許容レベル以下に低減することが可能である。

本実施形態では４フレームで全検出領域６４ラインを読み出す構成としたが、撮像素子のＲＴＳノイズの発生頻度に基づいて、十分なノイズ低減効果を得るために、適宜、検出領域の拡張を図るべきである。

本実施形態では、１フレームあたりの検出ライン数を増やすことなくＲＴＳノイズの影響を低減することができるため、動画のフレームレートを落とすこともなく、消費電力の増加につながる読み出しの動作スピードを上げる必要もない。

なお、本実施形態においては、説明の便宜上、列オフセットの検出領域にＶＯＢ画素を割り当てて、全て、動作の説明を行っている。

しかしながら、本発明の趣旨によれば、画素ソースフォロアに電気的にフォトダイオードが接続されない状態で読み出しが行われる、所謂、ダミー画素を検出領域として割り当てても同様の効果を得ることができる。

むしろ、ダミー画素にはフォトダイオードに起因する画素欠陥ノイズが発生しない分、列オフセットの検出には有利である。また、この場合の有効画素の黒レベルの基準は、ＨＯＢ画素のクランプ動作により得ることができる。

また、本実施形態においては、式１の巡回係数として、Ｋ１＝１／６４、Ｋ２＝６３／６４を用いた加重平均による巡回演算を例示している。

しかし、本発明によれば、例えば式１に対して、Ｋ１＝１／１６、Ｋ２＝１を用いた加重平均を１６回繰り返して巡回演算させることにより、検出ブロックごとに加重平均値を算出して、この値を巡回演算値として次のフレームに引き継ぐことも可能である。

［実施形態２］実施形態１では、１フレームあたり１６ラインの検出領域を割り当てる構成としたが、フレームごとに検出領域を切り換えれば、１フレームあたりの検出ライン数をさらに減らして動画のフレームレートを向上させることも可能である。このことを実現したのが、以下に説明する実施形態２である。

図１１は、巡回演算値の収束の様子を示している。

巡回演算式１の場合、例えば巡回係数Ｋが（１／６４）であれば、１回の巡回演算で入力データＸｎの（１／６４）が巡回演算値として加重平均がなされるため、これを１２８回繰り返すことで、ほぼ演算値を収束させることができる。

実施形態２では１フレームのＶＯＢの検出ライン数が１６ラインの設定であり、１フレームあたり１６回の巡回演算ができるので、最初の８フレームでほぼ演算を収束させて正しい列オフセットを検出することが可能である。

動画のフレームレートが３０[フレーム／秒]の場合に、８フレームに要する時間は、０．２７（＝８／３０）秒である。動画の描画開始から列オフセットが正しく検出・補正されて動画像から縦縞が消えるまでに、０．２７秒の時間がかかることを意味しており、これ以上に巡回演算の収束時間を延ばすことは動画品質上好ましくない。

列オフセットの最大値は撮像素子の出力で数ｍＶ〜数１０ｍＶ見込まれており、このような列オフセットを検出して補正するために許容できる収束時間を満足する巡回係数Ｋ１の上限値が、Ｋ１＝１／６４（Ｋ２＝６３／６４）である。

また、１箇所のＲＴＳノイズの発生に対して巡回係数Ｋ１（１／６４）を乗じた値が巡回演算値の誤差となる。

巡回係数Ｋ１を（1／３２）などに上げれば巡回演算の収束時間が短縮するが、ＲＴＳノイズによる誤差を増大させる結果となるため、巡回係数Ｋ１は容易に上げることができない。

１フレームあたりの検出ライン数を減らせばその分だけ、動画のフレームレートを今より向上させることができる。しかし、例えば１フレームあたりの検出ライン数を１６ラインから半分の８ラインに変更すると、巡回演算の収束時間は２倍の１６フレームにあたる０．５４（＝１６／３０）秒に増大してしまう。

１フレームあたりの検出ライン数を減らすためには、巡回演算の収束時間が増大してしまうという上記の問題を回避する工夫が併せて必要となる。

そのために実施形態２では、動画の最初のフレーム画像の読み出しに先立ち、短期間のうちに巡回演算を収束させて列オフセットの検出を行う。そして、これを列オフセット検出値の初期値として、動画の最初のフレームから精度よく列オフセットの補正を行う動作を実施形態１に追加している。

図１２は、動画撮影の際に連続して読み出された各フレーム画像から列オフセットを検出・補正する処理を示し、図１３は、各フレーム画像から列オフセットが検出されて補正データが演算される様子を示している。

ＶＯＢ領域は全部で６４ラインある。このＶＯＢ領域は垂直方向に８ラインずつの８つの検出ブロックに分割される。

動画の読み出しに先立ち、最初にダミーフレームが設けられており、巡回演算の初期値０でダミーフレームのＶＯＢ領域から列オフセットが検出される。ダミーフレーム用のＶＯＢ領域は、６４ラインで指定された全ＶＯＢ領域である。ダミーフレームにおいては、短期間に動画の第１フレームに動作を移行するために、ＶＯＢ領域のみで有効画素領域の画素信号の読み出しは行われない。

さらに、ダミーフレームにおいては、巡回係数Ｋ（１／６４）に対して巡回演算を収束させて正しい列オフセットを検出するために、６４ラインで指定された全ＶＯＢ領域が総じて２回繰り返して読み出される。

ダミーフレームにおけるＶＯＢ１２８ラインの読み出し時間は、通常の動画の１フレームの読み出し時間（１／３０）秒に対して時間的に十分短いので、動画の描画開始までのロスタイムとしては何ら問題とならない。

ダミーフレームの列オフセットデータを巡回演算値の初期値として引き継いで、第１フレームのＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第１フレーム用のＶＯＢ領域は、ＶＯＢ領域の最初の８ラインで指定されたブロック１の領域である。

次の第２フレームでは、第１フレームの列オフセットデータを巡回演算値として引き継いで第２フレーム用のＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第２フレーム用のＶＯＢ領域は、第１フレームのＶＯＢ領域に続く次の８ラインで指定されたブロック２の領域である。

以降のフレームでは、同様にして、前のフレームの列オフセットデータを巡回演算値としてさらに引き継いで、当該フレーム用のＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。当該フレーム用のＶＯＢ領域は、前のフレームのＶＯＢ領域に続く次の８ラインで指定されたブロック領域である。このようにして、順次、第３フレームから第７フレームまでの読み出しの動作が行われる。

第８フレームでは、第７フレームの列オフセットデータを巡回演算値としてさらに引き継いで第７フレーム用のＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第８フレーム用のＶＯＢ領域は、第７フレームのＶＯＢ領域に続く最後の８ラインで指定されたブロック８の領域である。そして、第８フレームにおいて全てのＶＯＢ領域が読み出される。

そして、次の第９フレームでは、第８フレームの列オフセットデータを巡回演算値としてさらに引き継いで第９フレーム用のＶＯＢ領域から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。第９フレーム用のＶＯＢ領域は、再びＶＯＢ領域の最初の８ラインで指定されたブロック１の領域に戻り、第１フレーム用のＶＯＢ領域と同じ領域となる。以降、８フレーム単位で全ＶＯＢ領域の読み出しの過程が繰り返される。

このようにして、実施形態２では、動画の最初のフレーム画像の読み出しに先立ち、ダミーフレームを挿入して巡回演算の収束時間の問題の解決を図っている。

その上で、１フレームあたりの検出ライン数を８ラインに変更することで、実施形態１に対してさらに動画のフレームレートを向上させることが可能である。

［実施形態３」次に、図１４及び図１５を参照して、実施形態３について説明する。

図１４は、動画撮影の際に連続して読み出された各フレームから列オフセットを検出・補正する処理を示し、図１５は、各フレームから列オフセットが検出されて補正データを演算する様子を示している。

ここでは、動画撮影の前に、予め撮像素子のＲＴＳノイズの発生頻度について検出が済んでおり、図９に示すように、検出ブロック１の誤差量が突出しており、ブロック３の誤差量が最も小さい場合を例として説明する。

動画動作のまず最初に、撮像装置に記憶されている撮像素子のＲＴＳノイズの発生頻度に関するブロックごとの検出結果に基づいて、最も加重平均による誤差量が小さいと考えられる検出ブロック３がＶＯＢの検出領域として指定される。

検出ブロック３を指定して列オフセットの検出を行うのに最も単純な方法は、撮像素子がＣＭＯＳセンサで構成される場合には、センサ内部の垂直走査回路の制御により他のブロック領域を読み飛ばして検出ブロック３のみを読み出すことである。

しかしながら、撮像素子が読み飛ばしのできないＣＣＤセンサであっても、列オフセット検出回路１０８において、他のブロック領域を読み出す際に式１の巡回係数をＫ１＝０、Ｋ２＝１に切り換えて加重平均の割合を変更することで対応可能である。この場合、検出ブロック３以外の領域の加重割合はゼロとなり、加重平均による演算結果は読み飛ばした場合の結果と等しい。

そして、巡回演算の初期値０で第１フレームのＶＯＢ領域として指定された検出ブロック３から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

次の第２フレームでは、第１フレームの列オフセットデータを巡回演算値として引き継いで、同じくＶＯＢ領域として指定された検出ブロック３から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

次の第３フレームも同様に、前のフレームの列オフセットデータを巡回演算値として引き継いで、ＶＯＢ領域として指定された検出ブロック３から列オフセットが検出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

以降、各フレームでＶＯＢ領域として検出ブロック３が指定されて読み出しが繰り返される。

このようにして、検出領域を分割して、分割された検出ブロックごとにＲＴＳノイズの発生頻度の検出結果に基づいて検出ブロックを取捨選択する。そして、ノイズ発生頻度の高い領域を避けて低い領域での加重平均による巡回演算により、ＲＴＳノイズの影響を抑え、ＲＴＳノイズによる誤差量を許容レベル以下に低減することが可能である。

本実施形態でも、十分なノイズ低減効果を得るために、撮像素子のＲＴＳノイズの発生頻度に基づいて、適宜、検出領域や分割ブロック数の拡張を図るべきである。

また、本実施形態においても、画素ソースフォロアに電気的にフォトダイオードが接続されない状態で読み出しが行われる、所謂、ダミー画素を検出領域として割り当てても同様の効果を得ることができる。

また、上述した加重平均の動作は以下に説明する実施形態４および実施形態５においても利用される。

［実施形態４］ＶＯＢの検出領域においてＲＴＳノイズの発生頻度が高い領域が偏在することは既に説明した。ところが、画素ソースフォロアの素子の温度特性や経時変化によって、これらの偏在箇所がしばしば移動する場合がある。

そこで、実施形態４として、撮像中にＲＴＳノイズによる誤差量を検出ブロック単位で算出して所定以内にある検出ブロックを採択する手順を組み込むことで、温度などの周囲環境や経時変化にもリアルタイムに対応できるように工夫した方法について説明する。

以下では、実施形態３と構成や動作の異なる部分を中心に説明する。

撮像装置の基本的な構成は実施形態３と同様であるが、ＲＴＳノイズによる誤差量を算出する手段が撮像装置に追加される点が異なる。

図１６は、ＲＴＳノイズによる誤差量を算出する回路構成を、列オフセット検出回路１０８の内部に追加したものであり、図６に対して新たに追加された部分が破線枠内に示される誤差判定回路５１０である。

誤差判定回路５１０には、出力５０５を受けて検出された各列の列オフセット補正データの中から最大値を検出する最大値検出回路５１１と、同様に各列の列オフセット補正データの中から最小値を検出する最小値検出回路５１２とを含む。

さらに、最大値検出回路５１１の出力から最小値検出回路５１２の出力を減ずる減算器５１３と、減算器５１３の出力値を受けて、所定値以内にあるか否かを判定して判定結果を出力するレベル判定回路５１４とを含む。さらに、レベル判定回路５１４には、システムコントローラ１１０によりレジスタ値Ｅ０が設定可能なレジスタが接続される
そしてレベル判定回路５１４の出力５１６は、誤差判定の出力結果としてシステムコントローラ１１０に供給される。

図１７は、動画撮影の際に連続して読み出された各フレーム画像から列オフセットを検出・補正する処理を示し、図１８は、各フレームから列オフセットが検出されて補正データを演算する様子を示している。

上述した実施形態３と同様に、ＶＯＢ領域は全部で６４ラインが設定されており、垂直方向に１６ラインずつの４つの検出ブロックに分割される。

そして、撮像素子のＲＴＳノイズの発生頻度については、図９と同じ特性を有する撮像素子を用いた場合を一例として動作を説明する。

すなわち、検出ブロック１の誤差量が突出すると共に許容量を超えており、検出ブロック２〜４が許容量以内にあり、検出ブロック３の誤差量が最も小さい場合について説明する。

動画撮影のまず最初に、第１フレームの検出領域としてＶＯＢ領域の最初のラインから始まる１６ラインの検出ブロック１が指定される。

式１の巡回係数が、Ｋ１＝１／１６、Ｋ２＝１に設定される。そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算させることにより、検出ブロック１内の各列ごとに１６ラインの加算平均値が算出される。

算出された各列ごとの加重平均値は、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

他方で、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出された各列ごとの加重平均値は、図１６に示した誤差判定回路５１０にも供給されて、最大値検出回路５１１と最小値検出回路５１２とにより最大値および最小値が検出・保持される。その差分値が列オフセット最大値となり、レベル判定回路５１４にてレジスタ値Ｅ０と比較される。そして、レジスタ値Ｅ０よりも大きな場合に、レベル判定回路５１４の出力線５１６からエラーが出力される。

図１９は各列ごとの加重平均値と算出された列オフセット最大値を示している。

レジスタ値Ｅ０は、撮像素子により規定される列オフセットの上限値を超えたところの所定値が設定されており、通常、撮像素子の出力で見て数ｍＶ〜数１０ｍＶに相当する値である。そして、列オフセットの上限値を逸脱する列オフセット最大値に対して、判定結果としてエラーが出力される。

この場合には、検出ブロック１にＲＴＳノイズが偏在しており、そのために、ＲＴＳノイズによる誤差量が大きくなり、判定結果としてエラーが出力される。

エラーの判定結果はシステムコントローラ１１０に伝達されて記憶される。

次の第２フレームでは、エラー判定結果を受けて、システムコントローラ１１０によりＶＯＢ領域として第１フレームのＶＯＢ領域に続く次の１６ラインのブロック２が指定されて、検出ブロックが更新される。

その後は、第１フレームの場合と全く同様にして、列オフセット検出回路１０８では式１の巡回係数が、再び、Ｋ１＝１／１６、Ｋ２＝１、巡回演算の初期値０に設定される。

そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算させることにより、検出ブロック２内の各列ごとに１６ラインの加重平均値が算出される。

他方で、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出された各列ごとの加重平均値は、誤差判定回路５１０によって列オフセット最大値が算出されて、レベル判定回路５１４にてレジスタ値Ｅ０と比較される。

今度は、第１フレームの場合と異なり検出ブロック２にはＲＴＳノイズが偏在しておらず、そのために、ＲＴＳノイズによる誤差量は許容値内にあり、判定結果としては非エラーが出力される。

非エラーの判定結果はシステムコントローラ１１０に伝達されて記憶される。

次の第３フレームでは、非エラー判定結果を受けて、システムコントローラ１１０によりＶＯＢ領域として第２フレームと同じ検出ブロック２が指定されて、検出ブロックが更新されない。

また、非エラー判定結果を受けて、第３フレーム以降のフレームでは、列オフセット検出回路１０８によるエラー判定は行われず、システムコントローラ１１０に伝達されて記憶された非エラーの判定結果は更新されない。

その後は、巡回演算式１において、初期値として直前のフレームである第２フレームの列オフセットデータ、すなわち検出ブロック２内の各列ごとに算出された１６ラインの加重平均値が引き継がれる。

さらに、式１の巡回係数は、Ｋ１＝１／６４、Ｋ２＝６３／６４に設定される。そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算させることにより、検出ブロック２内の各列ごとに１６ラインの加重平均値が算出される。

算出された各列ごとの加重平均値は、垂直補正ウィンドウ信号（ＶＷＣＯＬ）期間に読み出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

次の第４フレームでは、先の非エラー判定結果を受けて、システムコントローラ１１０によりＶＯＢ領域として第２フレームと同じ検出ブロック２が指定されて、検出ブロックが更新されない。

その後は、巡回演算式１において、直前のフレームである第３フレームの列オフセットデータすなわち検出ブロック２内の各列ごとに算出された１６ラインの加重平均値が引き継がれる。

巡回係数は、第３フレームと同じく、Ｋ１＝１／６４、Ｋ２＝６３／６４、に設定される。そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算させることにより、直前のフレームの１６ラインに第４フレームの１６ラインを加えた３２ラインの加重平均値が算出される。

以降、各フレームでＶＯＢ領域として検出ブロック２が指定されて、同様に読み出しの過程が繰り返される。

このようにして、動画撮影の最初の数フレームにおいて検出ブロックごとのＲＴＳノイズによる誤差量の検出を行う。そして、ＲＴＳノイズによる誤差量が許容レベルに達するまで検出ブロックを切り換えながら読み出すことで検出ブロックの取捨選択を行い、その後のフレームでＲＴＳノイズによる誤差量を許容レベル以下に低減することが可能である。

［実施形態５］実施形態４では、ＲＴＳノイズによる誤差量が許容レベルに達するまで検出ブロックを切り換えながら読み出しを行うことで、検出ブロック２を取捨選択した。しかしながら、撮像素子のＲＴＳノイズの発生頻度については、図９と同じ特性を有する撮像素子である場合には、検出ブロック３の誤差量が最も小さく、全検出ブロックの中で最良の検出ブロックと考えられる。

そこで、実施形態５では、撮像動作中にＲＴＳノイズによる誤差量を検出ブロック単位で算出して最小となる検出ブロックを採択する手順を組み込むことで最も高い精度で列オフセットを検出する方法について説明する。

実施形態４とは、列オフセット検出回路１０８におけるレベル判定の構成と、システムコントローラ１１０による制御の仕方が異なる。

以下に、実施形態４とは異なる部分である列オフセット検出回路におけるレベル判定の構成と、システムコントローラ１１０による制御の仕方について説明する。

図２０は、上記ＲＴＳノイズによる誤差量を算出する回路構成を、列オフセット検出回路１０８の内部に追加したものであり、図６に対して新たに追加された部分が破線枠内に示される誤差検出回路６１０である。

誤差検出回路６１０は、列オフセットの出力５０５を受けて検出された各列の補正データの中からそれぞれ最大値と最小値を検出する最大値検出回路６１１と最小値検出回路６１２を含む。

さらに、誤差検出回路６１０は、最大値検出回路６１１の出力から最小値検出回路６１２の出力を減ずる減算器６１３と、減算器６１３の出力値を受けて所定期間これを保持する誤差量保持回路６１４とを含む。誤差量保持回路６１４の出力６１５は、誤差量の出力結果としてシステムコントローラ１１０に供給される。

図２１は、動画撮影の際に連続して読み出された各フレーム画像から列オフセットを検出・補正する処理を示し、図２２は、各フレームから列オフセットが検出されて補正データを演算する様子を示している。

上述した各実施形態と同様に、ＶＯＢ領域は全部で６４ラインが設定されており、垂直方向に１６ラインずつの４つの検出ブロックに分割される。

そして、撮像素子のＲＴＳノイズの発生頻度については、図９と同じ特性を有する撮像素子を用いた場合を一例として説明する。すなわち、検出ブロック１の誤差量が突出すると共に許容量を超えており、検出ブロック２〜検出ブロック４が許容量以内にあり、検出ブロック３の誤差量が最も小さい場合について説明する。

列オフセット検出回路１０８では巡回演算式１の初期値０、巡回係数が、Ｋ１＝１／１６、Ｋ２＝１に設定される。そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算することにより、検出ブロック１内の各列ごとに１６ラインの加重平均値が算出される。

他方で、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出された各列ごとの加重平均値は、図２０の誤差検出回路６１０にも供給されて、最大値検出回路６１１と最小値検出回路６１２とにより最大値および最小値が検出・保持される。その差分値が列オフセット最大値として誤差量保持回路６１４にて所定期間に保持されて、誤差量の出力結果としてシステムコントローラ１１０に供給される。

この場合には、検出ブロック１にＲＴＳノイズが偏在しており、そのために、ＲＴＳノイズによる許容量Ｅ０を超える誤差量Ｅ１が、システムコントローラ１１０に伝達されて１１０内部の記憶領域に記憶される。

次の第２フレームでは、システムコントローラ１１０によりＶＯＢ領域として第１フレームのＶＯＢ領域に続く次の１６ラインのブロック２が指定されて、検出ブロックが更新される。

他方で、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出された各列ごとの加重平均値は、誤差検出回路６１０によって出力結果として誤差量Ｅ２がシステムコントローラ１１０に伝達されて内部の記憶領域に記憶される。

次の第３フレームでは、システムコントローラ１１０によりＶＯＢ領域として第２フレームのＶＯＢ領域に続く次の１６ラインのブロック３が指定されて、検出ブロックが更新される。

その後は、前の第２フレームの場合と全く同様にして、列オフセット検出回路１０８では式１の巡回係数が、再び、Ｋ１＝１／１６、Ｋ２＝１、巡回演算の初期値０に設定される。

他方で、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出された各列ごとの加重平均値は、誤差検出回路６１０によって出力結果として誤差量Ｅ３がシステムコントローラ１１０に伝達されて内部の記憶領域に記憶される。

次の第４フレームでは、システムコントローラ１１０によりＶＯＢ領域として第３フレームのＶＯＢ領域に続く次の１６ラインのブロック４が指定されて、検出ブロックが更新される。

その後は、前の第３フレームの場合と全く同様にして、列オフセット検出回路１０８では式１の巡回係数が、再び、Ｋ１＝１／１６、Ｋ２＝１、巡回演算の初期値０に設定される。

そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算させることにより、検出ブロック４内の各列ごとに１６ラインの加重平均値が算出される。

他方で、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出された各列ごとの加重平均値は、誤差検出回路６１０によって出力結果として誤差量Ｅ４がシステムコントローラ１１０に伝達されて内部の記憶領域に記憶される。

次の第５フレームでは、システムコントローラ１１０により記憶領域にこれまでに記憶された誤差量Ｅ１、Ｅ２、Ｅ３、Ｅ４の中から誤差量の最も小さい検出ブロック３がＶＯＢ領域として指定される。

その後は、列オフセット検出回路１０８では式１の巡回係数が、再び、Ｋ１＝１／１６、Ｋ２＝１、巡回演算の初期値０に設定される。

そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算させることにより、検出ブロック３内の各列ごとに１６ラインの加重平均値が算出される。

また、第５フレーム以降のフレームでは、これまでのように誤差検出回路６１０による誤差量の検出は行われず、システムコントローラ１１０に伝達されて記憶された誤差量Ｅ１、Ｅ２、Ｅ３、Ｅ４は更新されない。

次の第６フレームでは、システムコントローラ１１０によりＶＯＢ領域としてブロック３が指定されて、検出ブロックは更新されない。

その後は、巡回演算式１において、初期値として直前のフレームである第５フレームの列オフセットデータ、すなわち検出ブロック３内の各列ごとに算出された１６ラインの加重平均値が引き継がれる。

さらに、巡回係数は、今度は、Ｋ１＝１／６４、Ｋ２＝６３／６４、に設定される。そして、これらの巡回係数による加重平均を１６回繰り返して巡回演算させることにより、検出ブロック３内の各列ごとに１６ラインの加重平均値が算出される。

以降、各フレームでＶＯＢ領域として検出ブロック３が定常的に指定されて、第６フレームと同様の読み出しが繰り返される。

このようにして、動画撮影の最初の数フレームにおいて検出ブロックごとのＲＴＳノイズによる誤差量の検出を行う。そして、ＲＴＳノイズによる誤差量が最小となる検出ブロックの取捨選択を行い、その後のフレームでＲＴＳノイズによる誤差量を最小レベルに低減することが可能である。

［実施形態６］上述した各実施形態では、巡回演算における加重平均の割合を変更する手段として、ＲＴＳノイズによる誤差量の小さい検出ブロックの取捨選択を行う方法について説明した。しかしながら、巡回演算における加重平均の割合を変更する手段としては、この他にも検出ブロックの読み出しの順番を変更する方法が考えられる。

図２３は、式１の巡回係数として、初期値Ｙ１＝Ａ、Ｋ１＝１／６４、Ｋ２＝６３／６４を用いた加重平均による巡回演算を行った場合に巡回演算値に含まれる各行ごとのデータの割合が、巡回演算を経るごとに変化していく様子を示している。特定列上の画素信号のデータが、上から行配置された順番で、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆで示されている。

１行目のデータＡの割合に着目すると、１回目の巡回演算値Ｙ１で割合１（つまり全て）であったものが２回目の巡回演算値Ｙ２では（１／６４）に減少する。３回目の巡回演算値Ｙ３では、さらにその（１／６４）に減少する。その後も巡回演算の回数に伴い減少していく。２行目のデータＢの割合も、巡回演算の回数に伴い（１／６４）の割合で同様に減少していく。

このようにして、各行のデータは全て、巡回演算の回数に伴い（１／６４）の割合で同様に減少していく。そして、６回目の巡回演算値Ｙ６を見ると明らかなように、後から読み出された行データＦの割合が最も大きく、先に読み出された行データＡの割合が最も小さくなる。すなわち読み出された行データの順番で割合が決定される。

そこで、本実施形態では、ＲＴＳノイズによる誤差量を検出ブロック単位で算出して、その誤差量に基づいて巡回演算における検出ブロックの読み出しの順番を変更する。そうすることで巡回演算値に対してＲＴＳノイズによる誤差量の大きな検出ブロックの影響度を下げると共に誤差量の小さな検出ブロックの影響度を上げるようにして列オフセットを検出する。

図２４は、ＶＯＢの構成と分割された検出ブロックとの関係を示し、図２５は、各検出ブロックから加重平均による巡回演算で列オフセットが検出されて補正データが演算される様子を指名している。

図２４のように、ＶＯＢ領域は全部で１６ラインが設定されており、垂直方向に４ラインずつの４つの検出ブロックに分割される。

そして、撮像素子のＲＴＳノイズの発生頻度については、図９と同様の関係性を有する撮像素子を用いた場合を一例として説明する。

すなわち、検出ブロック１の誤差量が突出すると共に許容量を超えており、検出ブロック２〜検出ブロック４が許容量以内にあり、検出ブロック３の誤差量が最も小さい。そして、各検出ブロックの誤差量の大小関係は、検出ブロック１、検出ブロック４、検出ブロック２、検出ブロック３の順番で大きい場合について説明する。

動画撮影のまず最初に、撮像装置に記憶されている撮像素子のＲＴＳノイズの発生頻度に関するブロックごとの検出結果に基づいて、最も誤差量が大きいと考えられる検出ブロック１がＶＯＢの検出領域として最初に指定される。

そして、第１フレームでは、巡回演算式１の初期値０、巡回係数は、Ｋ１＝１／６４、Ｋ２＝６３／６４に設定される。そして、これらの巡回係数による加重平均を４回繰り返して巡回演算させることにより、検出ブロック１内の各列ごとに４ラインの加重平均値が算出される。検出ブロック１から検出された加重平均値は、次の巡回演算の初期値として引き継がれる。

次に、２番目に誤差量が大きいと考えられる検出ブロック４が次の検出領域として指定されて、同様の巡回係数による加重平均を４回繰り返して巡回演算させることにより、検出ブロック４内の各列ごとに４ラインの加重平均値が算出される。検出ブロック４から検出された加重平均値は、次の巡回演算の初期値として引き継がれる。

次に、３番目に誤差量が大きいと考えられる検出ブロック２が次の検出領域として指定されて、同様の巡回係数による加重平均を４回繰り返して巡回演算させることにより、検出ブロック２内の各列ごとに４ラインの加重平均値が算出される。検出ブロック２から検出された加重平均値は、次の巡回演算の初期値として引き継がれる。

最後に、誤差量が最も小さいと考えられる検出ブロック３が次の検出領域として指定されて、同様の巡回係数による加重平均を４回繰り返して巡回演算させることにより、検出ブロック３内の各列ごとに４ラインの加重平均値が算出される。
検出ブロック３から検出された加重平均値は、次の巡回演算の初期値として次のフレームに引き継がれると共に、垂直補正ウィンドウ信号ＶＷＣＯＬ期間に読み出され、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

次の第２フレームでは、第１フレームの列オフセットデータを巡回演算値として引き継いで、同じくＶＯＢ領域として指定された検出ブロック１、検出ブロック４、検出ブロック２、検出ブロック３の順番で読み出されて列オフセットが検出される。そして、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

次の第３フレームも同様に、前のフレームの列オフセットデータを巡回演算値として引き継いで、同じくＶＯＢ領域として指定された検出ブロック１、検出ブロック４、検出ブロック２、検出ブロック３の順番で読み出されて列オフセットが検出される。そして、その結果が有効画素領域の撮像信号から減算されることで列オフセットが除去される。

以降、各フレームでＶＯＢ領域として各検出ブロックの指定と読み出しが繰り返される。

このようにして、各フレームごとに検出される列オフセットは、ＶＯＢ領域として分割された検出ブロックごとにＲＴＳノイズによる誤差量の大きい順番に読み出される。これにより誤差量の大きな検出ブロックの影響度を下げると共に誤差量の小さな検出ブロックの影響度を上げることで、最終的に検出された列オフセットに含まれる誤差量を許容量以内に低減することが可能である。

なお、上述した各実施形態では、動画を対象として説明してきたが、検出領域を分割して、分割された検出ブロックごとにＲＴＳノイズの発生頻度の検出結果に基づいて巡回演算における加重割合を変更してもよい。これによりＲＴＳノイズによる誤差量を低減して列オフセットを高精度に検出するという本発明の趣旨に従えば、動画の各フレームを静止画と考えた場合に静止画においても同様の効果を得られることは言うまでもない。

［他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び当該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

複数の画素が行方向及び列方向において２次元に配列された有効画素部と、前記有効画素部の少なくとも列方向の端部に設けられた遮光画素部とを有する撮像素子を有する撮像装置であって、
前記撮像素子から画素信号を読み出す読み出し手段と、
前記読み出し手段により前記遮光画素部における同じ列から読み出された画素信号に対する巡回演算を行うことにより列ごとの列オフセット成分を検出する列オフセット検出手段と、
前記列オフセット検出手段で検出される列オフセット成分を複数のフレームにわたって引き継ぎながら巡回演算を行うと共に、前記巡回演算ごとに算出される列オフセット成分を前記読み出し手段により前記有効画素部から読み出された画素信号から減じていくことで当該有効画素部の画素信号に重畳する列オフセットを補正する補正手段と、
前記遮光画素部を、１フレームで前記読み出し手段により画素信号を読み出す画素領域ごとに複数のブロックに分割し、前記画素領域におけるノイズの発生頻度に応じてフレームごとに前記読み出し手段により画素信号を読み出すブロックを制御する制御手段と、を有することを特徴とする撮像装置。
前記読み出し手段により画素信号を読み出す前記遮光画素部のブロックの数は、前記ノイズの発生頻度に応じて決定されることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、フレームごとに前記読み出し手段により所定のブロックから画素信号を読み出すように制御し、
前記所定のブロックは、前記複数のブロックのうち前記ノイズの発生頻度が最も小さいブロックであることを特徴とする請求項１または２に記載の撮像装置。
前記制御手段は、フレームごとに前記ノイズの発生頻度を検出し、前記所定のブロックを前記ノイズの発生頻度がより小さいブロックに切り換えることを特徴とする請求項３に記載の撮像装置。
前記制御手段は、フレームごとに前記ノイズの発生頻度を検出し、前記ノイズの発生頻度が閾値を超えている場合に前記所定のブロックを切り換えることを特徴とする請求項３に記載の撮像装置。
前記制御手段は、前記ノイズの発生頻度が小さいものから複数のブロックを選択し、選択されたブロックをフレームごとに切り換えることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、フレームごとに前記ノイズの発生頻度を検出し、前記ノイズの発生頻度が小さいブロックほど後に読み出されるように順番を切り換えることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、フレームごとに前記ノイズの発生頻度を検出し、前記ノイズの発生頻度が閾値より大きい場合に前記ブロックの順番を切り換えることを特徴とする請求項１に記載の撮像装置。
前記遮光画素部は、光電変換素子を覆う遮光膜により遮光された状態で画素ソースフォロアを介して前記画素信号が読み出される画素からなることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記遮光画素部は、光電変換素子が電気的に接続されない状態で画素ソースフォロアを介して前記画素信号が読み出される画素からなることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記ノイズは、前記画素ソースフォロアにより発生するランダム・テレグラム・シグナルノイズを含むことを特徴とする請求項９または１０に記載の撮像装置。
前記制御手段は、前記読み出し手段による最初のフレームの画素信号の読み出しに先立ち、全てのブロックから読み出した画素信号から検出された列オフセット成分を、前記補正手段による巡回演算の初期値とすることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
複数の画素が行方向及び列方向において２次元に配列された有効画素部と、前記有効画素部の少なくとも列方向の端部に設けられた遮光画素部とを有する撮像素子を有する撮像装置の制御方法であって、
前記撮像素子から画素信号を読み出す読み出し工程と、
前記読み出し工程により前記遮光画素部における同じ列から読み出された画素信号に対する巡回演算を行うことにより列ごとの列オフセット成分を検出する列オフセット検出工程と、
前記列オフセット検出工程で検出される列オフセット成分を複数のフレームにわたって引き継ぎながら巡回演算を行うと共に、前記巡回演算ごとに算出される列オフセット成分を前記読み出し工程により前記有効画素部から読み出された画素信号から減じていくことで当該有効画素部の画素信号に重畳する列オフセットを補正する補正工程と、
前記遮光画素部を、１フレームで前記読み出し手段により画素信号を読み出す画素領域ごとに複数のブロックに分割し、前記画素領域におけるノイズの発生頻度に応じてフレームごとに前記読み出し工程により画素信号を読み出すブロックを制御する制御工程と、を有することを特徴とする制御方法。
コンピュータを、請求項１乃至１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。