JP4847281B2 - 撮像装置及びその制御方法並びに撮像システム - Google Patents

Description

本発明は、光電変換部を有する撮像装置及びその制御方法並びに撮像システムに関する。

従来から、電子カメラ等の撮像装置には固体撮像素子が用いられている。このような固体撮像素子としては、ＣＭＯＳイメージセンサ等のように各画素に増幅素子が組み込まれたものがある。このように各画素に増幅素子が組み込まれた固体撮像素子では、増幅素子の特性バラツキにより、固定パターンノイズが発生するという問題があった。これに対し、光が入った状態で撮像した信号（Ｓ信号）と光が入らない状態で撮像した信号（Ｎ信号）との差分を取ることにより、固定パターンノイズを除去する手法が用いられている。しかしながら、このような手法では、信号飽和レベルを超える高輝度光が入射された場合、出力信号が飽和レベルから低下し、撮像画像の高輝度被写体の部分が黒く沈んで見える現象（以下「高輝度黒沈み現象」という）が発生するという問題があった。

このような問題点を解決するために、Ｎ信号を設定値にクリップする技術がある（特許文献１を参照）。

特許文献１は、リセット後に共通の信号線に出力された電圧が急激に下降したときに、所定の電圧をリセット時の電圧として用いる技術を開示している。
特開２０００−２８７１３１号公報

しかしながら、特許文献１の発明では、共通の信号線に出力される電圧のレベルを検出する手段や所定の電圧をリセット時の電圧として用いるための手段を撮像装置に追加しなければならず、回路規模が増大するという問題があった。また、Ｎ信号にクリップレベル以上の大きなノイズ信号があると、そのノイズ信号も所定レベルにクリップされ、ノイズ信号を除去し切れなくなるという問題があった。

本発明は、上記の問題点に鑑みてなされたものであり、回路規模を増大することなく、効果的にノイズ信号を除去し、高輝度黒沈み現象の発生を抑えることを目的とする。

本発明の第１の側面は、光電変換部を有する画素部を有し、前記画素部により生成された光信号と、ノイズ信号との差分に基づいて撮像画像を生成する撮像装置に係り、第１の撮影において前記画素部に蓄積された光信号の読み出しに先立って、第１の蓄積時間蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第１の撮像画像を生成する第１の撮像画像生成手段と、前記第１の撮影後の第２の撮影において前記画素部に蓄積された光信号の読み出しに先立って、前記第１の蓄積時間よりも長い第２の蓄積時間蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第２の撮像画像を生成する第２の撮像画像生成手段と、前記第１の撮像画像と第２の撮像画像との差分画像を生成する差分画像生成手段と、前記差分画像から、該差分画像を構成する画素の画素信号が予め設定された閾値以上の出力値を有する画素により閉じられた領域を抽出する画像領域抽出手段と、前記第１の撮像画像及び前記第２の撮像画像のいずれか一方において、前記画像領域抽出手段により抽出された領域に対応する領域内の画素信号を、前記画素部の飽和レベルに相当する画素信号に置き換える画像補正手段と、を備えることを特徴とする。

本発明の第２の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備える。

本発明の第３の側面は、光電変換部を有する画素を有し、前記画素部により生成された光信号とノイズ信号との差分に基づいて撮像画像を生成する撮像装置の制御方法に係り、第１の撮影において前記画素部に蓄積された光信号の読み出しに先立って、第１の蓄積時間で蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第１の撮像画像を生成する工程と、前記第１の撮影後の第２の撮影において前記画素部に蓄積された光信号の読み出しに先立って、前記第１の蓄積時間よりも長い第２の蓄積時間で蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第２の撮像画像を生成する工程と、前記第１の撮像画像と第２の撮像画像との差分画像を生成する工程と、前記差分画像から、該差分画像を構成する画素の画素信号が予め設定された閾値以上の出力値を有する画素により閉じられた領域を抽出する工程と、前記第１の撮像画像及び前記第２の撮像画像のいずれか一方において、抽出された前記領域に対応する領域内の画素信号を、前記画素部の飽和レベルに相当する画素信号に置き換える工程と、を含むことを特徴とする。

本発明によれば、回路規模を増大することなく、効果的にノイズ信号を除去し、高輝度黒沈み現象の発生を抑えることができる。

以下、本発明の好適な実施の形態に係る撮像装置について、添付図面を参照して詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって、適宜修正又は変更されるべきである。従って、本発明は、以下の実施の形態に限定されない。

図１は、本発明の好適な実施の形態に係る撮像部の回路図を示す。

本発明の好適な実施の形態に係る撮像部には、複数の単位画素１が２次元に配列されている。各単位画素１は、フォトダイオード２、転送スイッチ３、リセットスイッチ４、行選択スイッチ５、画素アンプ６、浮遊拡散層ＦＤ７により構成されている。フォトダイオード２は、光を信号電荷に変換して蓄積する光電変換部である。転送スイッチ３は、フォトダイオード２の光電変換によって生成された信号電荷をパルスＰＴＸに応じて転送する。浮遊拡散層ＦＤ７は、転送スイッチ３によって転送された信号電荷を蓄積する。リセットスイッチ４は、画素アンプ６のゲートに接続された浮遊拡散層ＦＤ７をリセットパルスＰＲＥＳに応じてＳＶＤＤの電圧レベルにリセットする。画素アンプ６は、ソースフォロワとして機能し、浮遊拡散層ＦＤ７に蓄積された信号電荷を増幅する。行選択スイッチ５は、不図示の垂直走査回路により選択された行画素を選択パルスＰＳＥＬに応じて選択する。

行選択スイッチ５によって選択された行画素の信号は、画素アンプ６を介して負荷電流源２１に接続された垂直出力線２２に出力される。垂直出力線２２に出力される信号のうち、光信号（Ｓ信号）は、信号出力パルスＰＴＳに応じてＯＮされた転送ゲート２５を介して蓄積容量ＣＴＳ２７に蓄積される。また、ノイズ信号（Ｎ信号）は、ノイズ出力パルスＰＴＮによりＯＮされたＭＯＳトランジスタ２４を介して蓄積容量ＣＴＮ２６に蓄積される。次いで、不図示の水平走査回路からの制御信号ＰＨＳ及びＰＨＮにより、転送スイッチ２８、２９を介して、ノイズ信号が容量ＣＨＮ３０に蓄積され、光信号が容量ＣＨＳ３１に蓄積される。次いで、差動増幅器３２によって、両者の差分に基づいて撮像画像が出力される。

図２は、図１の撮像部における第１の駆動タイミングを示すタイミングチャートを示す図である。

時刻ｔ１では、１水平走査期間の開始を示す信号ＨＤがＬ（ローレベル）からＨ（ハイレベル）となる。このとき、ＰＳＥＬ信号及びＰＲＥＳ信号がＨであるため、リセットスイッチ４及び選択スイッチ５の両方がＯＮとなっている。そのため、垂直出力線２２に電位ＳＶＤＤが出力される。

時刻ｔ２では、ＰＲＥＳ信号がＬとなり、選択スイッチ５がＯＦＦされる。また、ＰＴＳ信号及びＰＴＮ信号がＨとなり、転送ゲート２５及びＭＯＳトランジスタ２４がＯＮされる。これにより、垂直出力線２２に出力された電位ＳＶＤＤが、信号蓄積部としての蓄積容量ＣＴＮ２６及び蓄積容量ＣＴＳ２７に供給され、蓄積容量ＣＴＮ２６及び蓄積容量ＣＴＳ２７がリセットされる。

時刻ｔ３では、ＰＲＥＳ信号がＬとなり、リセットスイッチ４がＯＦＦされる。これにより、浮遊拡散層ＦＤ７がフローティング状態となり、浮遊拡散層ＦＤ７はノイズ信号を保持するようになる。

時刻ｔ４では、ＰＳＥＬ信号がＨとなり、選択スイッチ５がＯＮされる。これにより、選択スイッチ５と負荷電流源２１で構成されたソースフォロワ回路が動作状態になり、垂直出力線２２上に画素アンプ６のフローティングゲートのリセット電位に応じたノイズ出力がなされる。

時刻ｔ５では、ＰＴＳ信号及びＰＴＮ信号がＬとなり、転送ゲート２５及びＭＯＳトランジスタ２４がＯＦＦされ、蓄積容量ＣＴＮ２６及び蓄積容量ＣＴＳ２７が初期状態となる。

時刻ｔ６では、ＰＴＮ信号がＨとなり、ＭＯＳトランジスタ２４がＯＮされ、画素アンプ６のフローティングゲートに蓄積されたノイズ信号が蓄積容量ＣＴＮ２６に蓄積される。

時刻ｔ７では、ＰＴＮ信号がＬとなり、ＭＯＳトランジスタ２４がＯＦＦされ、画素アンプ６から蓄積容量ＣＴＮ２６へのノイズ信号の蓄積動作が終了する。

次いで、フォトダイオード２で発生した光信号とノイズ信号の混合信号の蓄積が行われる。まず、不図示の回路により、垂直出力線２２が定電位にリセットされる。

時刻ｔ８では、ＰＴＳ信号がＨとなり、転送ゲート２５がＯＮされる。

時刻ｔ９では、ＰＴＸ信号がＨとなり、転送スイッチ３がＯＮされ、フォトダイオード２に蓄積された光信号が画素アンプ６のフローティングゲートに転送される。このとき、ＰＳＥＬ信号はＨであるため、上述のソースフォロワ回路は動作状態となっており、垂直出力線２２上に画素アンプ６のフローティングゲートの電位に応じた「光信号＋ノイズ信号」の出力がなされる。従って、垂直出力線２２に出力された「光信号＋ノイズ信号」が転送ゲート２５を介して蓄積容量ＣＴＳ２７に蓄積される。

時刻ｔ１０では、ＰＴＸ信号がＬとなり、転送スイッチ３がＯＦＦされ、画素アンプ６のフローティングゲートへの転送動作が終了する。

時刻ｔ１１では、ＰＴＳ信号がＬとなり、転送ゲート２５がＯＦＦされ、蓄積容量ＣＴＳ２７への蓄積動作が終了する。

このように、ｔ９〜ｔ１０の期間を内包するｔ８〜ｔ１１の間に、ＰＴＳ信号をＨにすることによって、蓄積容量ＣＴＳ２７が垂直出力線２２と接続され、「光信号＋ノイズ信号」が蓄積容量ＣＴＳ２７に保持される。

以上のようにして、１行分の「ノイズ信号」とフォトダイオード２で発生した「光信号＋ノイズ信号」が、ＣＴＮ２６及びＣＴＳ２７にそれぞれ蓄積される。

次に、不図示の水平シフトレジスタで制御される制御パルスＰＨに応じて、これら２つの信号が容量ＣＨＮ３０及びＣＨＳ３１にそれぞれ転送される。

そして、差動増幅器３２によって、容量ＣＨＮ３０及びＣＨＳ３１に蓄積された「ノイズ信号」及び「光信号＋ノイズ信号」が、「光信号＋ノイズ信号」−「ノイズ信号」＝光信号となって出力される。

図１において、入射光量が大きく、フォトダイオード２が飽和すると、転送スイッチ３がＯＦＦされていても、飽和した電荷が浮遊拡散層ＦＤ７に溢れ出る場合がある。この場合、図７（ａ）に示すように、Ｓ信号は飽和レベルに達しているため、それ以上の信号レベルになることはない。従って、Ｓ信号は、浮遊拡散層ＦＤ７への漏れ込む電荷の有無にかかわらず、信号レベルが一定となる。一方、Ｎ信号は、図２のＡに示す浮遊拡散層ＦＤ７のリセット完了時から、図２のＢに示すＰＴＮ信号による蓄積容量ＣＴＮ２６への転送完了までの蓄積時間Ｔｎ１に行われる。蓄積時間Ｔｎ１は、浮遊拡散層ＦＤ７のＮ信号に相当する電荷が蓄積容量ＣＴＮ２６に略完全に転送されるのに十分な時間であり、かつ、読出時間を短くするために、極力短い期間が設定される。蓄積時間Ｔｎ１の間にフォトダイオード２が飽和するほどの光量が入射すると、溢れ出てくる電荷によって浮遊拡散層ＦＤ７及び電荷転送先の蓄積容量ＣＴＮ２６の電荷量がリセットレベルを維持することができずに増加する。その結果、図７（ｂ）に示すように、Ｓ信号とＮ信号の差分信号である出力信号が、Ｎ信号の増加に従って急激に減少し、高輝度黒沈み現象が発生する。

図３は、図１の撮像部における第２の駆動タイミングを示すタイミングチャートを示す図である。図２と同様の動作については、その説明を省略する。

図３において示される第２の駆動タイミングは、高輝度黒沈み現象の発生時に、第１の駆動タイミングとともに用いられる駆動タイミングである。

図３に示される第２の駆動タイミングにおけるリセット完了時Ａ’からＮ信号転送終了時Ｂ’までの期間Ｔｎ２は、第１の駆動タイミングにおける蓄積時間Ｔｎ１よりも長くなるように設定されている。Ｎ信号転送終了タイミングＢ’以降のタイミングは、Ｔｎ２−Ｔｎ１の分だけ後ろにシフトしている。

図３のように、第２の駆動タイミングを用いる第２の撮像の場合には、第１の駆動タイミングを用いる第１の撮像よりもＮ信号の転送時間が長く設定されている。そのため、フォトダイオード２の飽和による電荷溢れが起こりやすくなっている。即ち、第２の撮像時の出力画像における黒沈み発生領域は、第１の撮像時よりも大きくなる。

なお、本発明の好適な実施の形態においては、後述するように第１の撮像における第１の撮像画像と第２の撮像における第２の撮像画像との差分画像を用いる。そのため、第１の駆動タイミングを用いた第１の撮像時と、第２の駆動タイミングを用いた第２の撮像時とで、露光開始から水平走査期間の開始までの時間を同一にする。蓄積時間Ｔｎ１と蓄積時間Ｔｎ２は、露光開始から水平走査期間の開始までの時間と比べて非常に短いため、第１の撮像と第２の撮像それぞれの露光時間は、ほぼ同一と考えることができる。

図４は、本実施形態の原理を説明するための図である。

図４（ａ）は、図２において説明した第１の駆動タイミングを用いた第１の撮像時において高輝度黒沈み現象が発生した画像の一例である。

図４（ｂ）は、図３において説明した第２の駆動タイミングを用いた第２の撮像時において高輝度黒沈み現象が発生した画像の一例であり、図４（ａ）と同じ被写体を撮影したものである。図４（ｂ）に示す第２の撮像時の第２の撮像画像の方が、図４（ａ）に示す第１の撮像時の第１の撮像画像よりも、黒沈みの発生領域が大きくなっていることが分かる。

図４（ｃ）は、図４（ａ）の第１の撮像画像から図４（ｂ）の第２の撮像画像を差分した差分画像である。第１の撮像と第２の撮像では、露光時間が略同一であるため、一般の被写体に対しては両撮像の差異は殆ど発生しない。そのため、図４（ｃ）に示す差分画像おいては、０（黒レベル）近傍の値となっている。これに対し、黒沈みが発生している領域は、図４（ａ）と図４（ｂ）とでその大きさが相違しているため、図４（ａ）では黒沈みが生じていないが図４（ｂ）では黒沈みが生じている領域は、図４（ｃ）ではプラスの出力となる。また、図４（ａ）及び図４（ｂ）の両方で黒レベルまで黒沈みしている領域は、図４（ｃ）では０（黒レベル）近傍の値となる。以上により、図４（ｃ）に示すように、図４（ａ）と図４（ｂ）との差分画像は、高輝度被写体を中心にドーナツ状の出力が存在する画像となる。

ここで、図４（ｃ）のドーナツ状の出力に囲まれた閉領域（０近傍の値を持つ領域）は、黒沈みが発生している領域であると判別することができる。そのため、この閉領域のアドレスを記憶し、図４（ａ）の第１の撮像画像の同アドレスの出力値を飽和レベルの値に置き換えればよい。黒沈みが発生している領域及びその周辺は、十分に飽和している領域であると考えられるため、このように置き換える値は飽和レベルの値でよい。

なお、上記の説明では、第１の撮像画像の所定の領域の出力値を飽和レベルの値に置き換えたが、第２の撮像画像の所定の領域の出力値を飽和レベルの値に置き換えてもよい。すなわち、図４（ｂ）で黒沈みが生じている領域は、図４（ｃ）におけるプラスの出力がなされた領域と、この領域により囲まれた閉領域の両方に対応する。従って、図４（ｃ）においてプラスの出力がなされた領域とその閉領域とを合わせた領域のアドレスを記憶し、図４（ｂ）に示す第２の撮像画像の同アドレスの出力値を飽和レベルの値に置き換えてもよい。後述する図５のフローチャートにおいても同様である。

図５は、本発明の好適な実施の形態に係る撮像部の動作を示すフローチャートを示す図である。なお、以下の処理は、例えば、システム制御部２１４がＲＯＭ２１５に記憶されたプログラム等を実行することによって行われうる。

ステップＳ１０１では、第１の駆動タイミングによる第１の撮像を行う。

ステップＳ１０２では、ステップＳ１０１で撮像した画像内で、飽和レベルに達している領域が存在するか否かを判定する。飽和レベルに達している領域があると判定した場合には（ステップＳ１０２で「Ｙｅｓ」）、ステップ１０３に進み、飽和レベルに達している領域がないと判定した場合には（ステップＳ１０２で「Ｎｏ」）、ステップ１０８に進む。

ステップＳ１０３では、第２の駆動タイミングによる第２の撮像を行う。

ステップＳ１０４では、第１の撮像で得られた第１の撮像画像から第２の撮像で得られた第２の撮像画像を差し引いた差分画像を生成する。

ステップＳ１０５では、ステップＳ１０４で生成した差分画像中に設定値以上の出力値を有する領域が存在するか否かを判定する。差分画像中に設定値以上の領域があると判定した場合には（ステップＳ１０５で「Ｙｅｓ」）、ステップＳ１０６に進み、差分画像中に設定値以上の領域がないと判定した場合には（ステップＳ１０５で「Ｎｏ」）、ステップＳ１０８に進む。

ステップＳ１０６では、ステップＳ１０４で生成した差分画像内の設定値以上の出力値を持つ領域で囲まれた閉領域のアドレスを記憶する。

ステップＳ１０７では、ステップＳ１０１で得られた第１の撮像画像におけるステップＳ１０６で記憶したアドレスの出力値を本撮像部の飽和レベルに相当する値に置き換えて、第１の撮像画像を補正する。

ステップＳ１０８では、ステップＳ１０５で差分画像中に設定値以上の領域があると判定された場合には、補正した第１の撮像画像を出力画像として出力する。一方、ステップＳ１０５で差分画像中に設定値以上の領域がないと判定された場合には、ステップＳ１０１で取得した第１の撮像画像を出力画像としてそのまま出力する。

なお、図５では、まず始めに撮影画面内に飽和部分があるか否かを判定し、飽和部分があった場合にのみ高輝度黒沈み判定を行ったが、本発明はこれに限定されない。例えば、飽和部分の有無の判定は、数フレームに１回としてもよいし、飽和部分の有無の判定を行わずに、毎フレームで必ず高輝度黒沈みの判定を行ってもよい。

次に、本発明の好適な実施の形態に係る撮像部を組み込んだ撮像システムについて説明する。図６は、本発明の好適な実施の形態に係る撮像システムを示す図である。

本実施形態に係る撮像システムは、光学系２０１と撮像装置により構成されている。本実施形態に係る撮像装置は、メカニカルシャッタ（図６では「メカシャッタ」と表す）２０２、上記の実施形態に係る撮像部２０３、ＡＧＣ回路２０４、Ａ／Ｄ変換器２０５、タイミング信号発生回路２０６及び駆動回路２０７を備える。本実施形態に係る撮像装置はまた、信号処理回路２０８、画像メモリ２０９、画像記録媒体（図６では「記録媒体」と表す）２１０、記録回路２１１、画像表示装置２１２、表示回路２１３、システム制御部２１４を備える。本実施形態に係る撮像装置はまた、不揮発性メモリ（ＲＯＭ）２１５及び揮発性メモリ（ＲＡＭ）２１６を備える。

光学系２０１は、レンズ及び絞りを有する。ＡＧＣ回路２０４は、アナログ信号処理を行う。Ａ／Ｄ変換器２０５は、アナログ信号をデジタル信号に変換する。タイミング信号発生回路２０６は、撮像部２０３とＡＧＣ回路２０４とＡ／Ｄ変換器２０５とを動作させる信号を発生する。駆動回路２０７は、光学系２０１とメカニカルシャッタ２０２と撮像部２０３とを駆動する。信号処理回路２０８は、撮影した画像データに必要な信号処理を行う。例えば、信号処理回路２０８は、差分画像を生成する差分画像生成手段として機能しうる。また、例えば、信号処理回路２０８は、差分画像から画素信号の絶対値が設定値以上である領域があるか否かを判定する画像領域判定手段、その判定した領域を抽出する画像領域判定手段抽出手段としても機能しうる。また、例えば、信号処理回路２０８は、撮像画像内の画素信号の値を設定値へ置き換える画像補正手段としても機能しうる。画像メモリ２０９は、信号処理された画像データを記憶する。画像記録媒体２１０は、撮像装置から取り外し可能な記録媒体である。記録回路２１１は、信号処理された画像データを画像記録媒体２１０に記録する。画像表示装置２１２は、信号処理された画像データを表示する。表示回路２１３は、画像表示装置２１２に画像を表示させる。システム制御部２１４は、撮像装置の各部を制御する。ＲＯＭ２１５は、システム制御部２１４で実行される制御プログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ及びキズアドレス等の補正データを記憶する。ＲＡＭ２１６は、ＲＯＭ２１５に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部２１４が撮像装置を制御する際に使用する。

以下、上述のように構成された撮像装置を用いてメカニカルシャッタ２０２を使用した撮影動作について説明する。

撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部２１４の動作開始時において、ＲＯＭ２１５から必要なプログラム、制御データ及び補正データがＲＡＭ２１６に転送される。これらのプログラムやデータは、システム制御部２１４が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータがＲＯＭ２１５からＲＡＭ２１６に転送されたり、システム制御部２１４が直接ＲＯＭ２１５内のデータを読み出して使用したりする。

まず、光学系２０１は、システム制御部２１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像部２０３上に結像させる。

次に、メカニカルシャッタ２０２は、静止画撮影時においては、システム制御部２１４からの制御信号により、必要な露光時間となるように撮像部２０３の動作に合わせて撮像部２０３を遮光するように駆動される。この時、撮像部２０３が電子シャッタ機能を有する場合は、メカニカルシャッタ２０２と併用して、必要な露光時間を確保してもよい。なお、動画撮影時及び静止画撮影時で、メカシャッタ２０２を用いずに撮像部２０３の電子シャッタ機能のみで露光時間を制御するモードでの撮影時においては、撮影動作中、メカシャッタ２０２は常に開いた状態を維持させておく。

撮像部２０３は、システム制御部２１４により制御されるタイミング信号発生回路２０６が発生する動作パルスに基づいた駆動パルスにより駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像部２０３から出力されたアナログの画像信号は、システム制御部２１４により制御されるタイミング信号発生回路２０６が発生する動作パルスにより、ＡＧＣ回路２０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器２０５でデジタル画像信号に変換される。

次に、システム制御部２１４により制御される信号処理回路２０８において、図５のフローチャートで説明したように、差分画像の生成、黒沈み領域の抽出及びその領域の補正等の一連の黒沈み抑制処理を行う。また、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。

画像メモリ２０９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。また、画像メモリ２０９は、図５のフローチャートでの説明における「第１の撮像画像」、「第２の撮像画像」及び信号処理回路２０８における差分処理によって生成された差分画像を一時的に記憶することができる。

信号処理回路２０８で信号処理された画像データや画像メモリ２０９に記憶されている画像データは、記録回路２１１において画像記録媒体２１０に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて画像記録媒体２１０に記録される。また、このような画像データは、信号処理回路２０８で解像度変換処理が行われた後に、表示回路２１３において画像表示装置２１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換され、画像表示装置２１２に表示されてもよい。

ここで、信号処理回路２０８においては、システム制御部２１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ２０９や記録回路２１１に出力してもよい。また、信号処理回路２０８は、システム制御部２１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部２１４に出力する。更に、記録回路２１１は、システム制御部２１４から要求があった場合に、画像記録媒体２１０の種類や空き容量等の情報をシステム制御部２１４に出力する。

更に、画像記録媒体２１０に画像データが記録されている場合の再生動作について説明する。システム制御部２１４からの制御信号により記録回路２１１は、画像記録媒体２１０から画像データを読み出し、同じくシステム制御部２１４からの制御信号により信号処理回路２０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ２０９に記憶する。画像メモリ２０９に記憶されている画像データは、信号処理回路２０８で解像度変換処理を実施された後、表示回路２１３において画像表示装置２１２に適した信号に変換されて画像表示装置２１２に表示される。

なお、本発明に係る撮像装置は、１フレーム中に第１の撮像及び第２の撮像の２回の撮像を行い、各フレーム毎に高輝度黒沈みの判定及び補正を行う構成としてもよい。或いは、連続する２フレームのそれぞれを第１、第２の撮像として前フレームの画像との比較から黒沈み部分を求めるような構成としてもよい。

また、図４を用いて説明した本実施形態の原理の説明においては、黒沈み画像の補正領域として、差分画像に出力がある閉領域のアドレスを用いるとした。しかしながら、撮像画像のばらつき等を考慮し、この閉領域よりもひと回り大きな領域を補正領域として設定してもよい。

以上説明したように、本発明の好適な実施の形態では、Ｎ信号（リセット信号）の転送時間を変えた２つの画像の差分画像から、高輝度被写体による黒沈み現象が発生している領域を判別し、該当領域の出力値を飽和レベルへと置き換える。このような構成により、余分な構成要素を追加することがなく、固体撮像素子としての基本性能を落とさないで、高輝度黒沈み現象の発生を抑えることができる。

本発明の好適な実施の形態に係る撮像部の回路図である 図１の撮像部における第１の駆動タイミングを示すタイミングチャートを示す図である。 図１の撮像部における第２の駆動タイミングを示すタイミングチャートを示す図である。 本実施形態の原理を説明するための図である。 本発明の好適な実施の形態に係る撮像部の動作を示すフローチャートを示す図である。 本発明の好適な実施の形態に係る撮像システムを示す図である。 出力信号レベルの推移を示す図である。

符号の説明

２ フォトダイオード
２６、２７ 蓄積容量
２０８ 信号処理回路

Claims (4)

1. 光電変換部を有する画素部を有し、前記画素部により生成された光信号と、ノイズ信号との差分に基づいて撮像画像を生成する撮像装置であって、
   第１の撮影において前記画素部に蓄積された光信号の読み出しに先立って、第１の蓄積時間蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第１の撮像画像を生成する第１の撮像画像生成手段と、
   前記第１の撮影後の第２の撮影において前記画素部に蓄積された光信号の読み出しに先立って、前記第１の蓄積時間よりも長い第２の蓄積時間蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第２の撮像画像を生成する第２の撮像画像生成手段と、
   前記第１の撮像画像と第２の撮像画像との差分画像を生成する差分画像生成手段と、
   前記差分画像から、該差分画像を構成する画素の画素信号が予め設定された閾値以上の出力値を有する画素により閉じられた領域を抽出する画像領域抽出手段と、
   前記第１の撮像画像及び前記第２の撮像画像のいずれか一方において、前記画像領域抽出手段により抽出された領域に対応する領域内の画素信号を、前記画素部の飽和レベルに相当する画素信号に置き換える画像補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の撮像画像内に飽和レベルに達している領域が存在するかどうかを判定する判定手段を更に有し、
   前記判定手段により飽和レベルに達している領域が存在すると判断されたことに応じて、前記第２の撮像画像生成手段は、前記第２の撮像画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 光学系と、
   請求項１または２に記載の撮像装置と、
   を備える撮像システム。
4. 光電変換部を有する画素を有し、前記画素部により生成された光信号とノイズ信号との差分に基づいて撮像画像を生成する撮像装置の制御方法であって、
   第１の撮影において前記画素部に蓄積された光信号の読み出しに先立って、第１の蓄積時間で蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第１の撮像画像を生成する工程と、
   前記第１の撮影後の第２の撮影において前記画素部に蓄積された光信号の読み出しに先立って、前記第１の蓄積時間よりも長い第２の蓄積時間で蓄積したノイズ信号を読み出し、該ノイズ信号の読み出し後に読み出された光信号から前記ノイズ信号を差分することにより第２の撮像画像を生成する工程と、
   前記第１の撮像画像と第２の撮像画像との差分画像を生成する工程と、
   前記差分画像から、該差分画像を構成する画素の画素信号が予め設定された閾値以上の出力値を有する画素により閉じられた領域を抽出する工程と、
   前記第１の撮像画像及び前記第２の撮像画像のいずれか一方において、抽出された前記領域に対応する領域内の画素信号を、前記画素部の飽和レベルに相当する画素信号に置き換える工程と、
   を含むことを特徴とする撮像装置の制御方法。