JP7062430B2 - 撮像素子、撮像装置および画像処理方法 - Google Patents

Description

本発明は、撮像素子、撮像装置および画像処理方法に関し、特に、入射したフォトンの数を計数して計数値を出力する撮像素子、撮像装置および画像処理方法に関するものである。

従来から撮像装置には、ＣＣＤやＣＭＯＳイメージセンサが広く用いられていた。これらのイメージセンサでは、露光期間中に入射した光をフォトダイオードにおいて電荷に変換して蓄積し、その電荷を電流あるいは電圧のアナログ信号として取り出し、デジタル信号に変換する方法が一般的であった。

ところで、近年、露光期間中にフォトダイオードに入射したフォトンの数を計数し、その計数値を信号値として出力するフォトンカウンティング方式のイメージセンサが提案されている。フォトンカウンティング方式を実現する手段として、例えば、アバランシェフォトダイオードと、カウンター回路を用いる方法がある。アバランシェフォトダイオードに、降伏電圧より大きな逆バイアス電圧を印加すると、フォトンの入射による生成キャリアがアバランシェ増倍を起こし、大電流が発生する。この電流をもとに生成したパルス信号をカウンター回路で計数することで、アバランシェフォトダイオードに入射したフォトンの数に応じた信号値を得ることができる。

フォトンカウンティング方式のイメージセンサは、フォトダイオードに入射したフォトンの数をそのまま信号値として扱う。このことから、ＣＣＤやＣＭＯＳイメージセンサと比較して、回路ノイズによる信号への影響が少なく、微弱な光環境においても画像を鮮明にとらえることが可能である。

しかしながら、フォトンカウンティング方式のイメージセンサでは、単位時間あたりの受光量が増加すると、パルス信号のパルス幅よりも短い周期でフォトンが入射するようになり、複数のパルス信号が結合してしまうことがある。そのため、カウンター回路で計数した計数値が本来のフォトンの数よりも低下してしまい、受光量に対して線形な信号値が得られなくなってしまう。すなわち、リニアリティ特性が悪化してしまう。その結果、撮影画像の画質が劣化してしまう。

そこで、特許文献１には、フォトンカウンティング方式の光検出器において、計数値の低下を抑えるために、パルス信号のパルス幅を累積加算した出力値を求める累積手段を備えた構成が開示されている。この構成によれば、受光量に対して単調に増加する信号を得ることができる。

また、特許文献２には、ＣＭＯＳイメージセンサにおいて、電荷の不完全転送によって生じるリニアリティ特性の悪化を、露光量（すなわち、露光期間中に受光した光量）に応じたゲイン補正値およびオフセット補正値を用いて補正する方法が開示されている。

特開２０１４－８１２５３号公報 特許第５９１７１６０号公報

しかしながら、特許文献１に記載の構成では、例えば、１つのアバランシェフォトダイオードに複数のフォトンが同時に入射した場合には正しい信号値を得ることができなかった。そのため、受光量に対する線形性は不十分である。

また、特許文献２に記載の補正方法では、露光量に応じてゲイン補正値およびオフセット補正値を変更している。しかしながら、フォトンカウンティング方式のイメージセンサにおいては、露光量が同じであっても、高照度（単位時間あたりの受光量が多い）環境下で短秒撮影した場合と低照度（単位時間あたりの受光量が少ない）環境化で長秒撮影した場合とでは、前者の方が計数値の低下が大きくなる。したがって、露光量に応じて補正値を変更するだけでは不十分であり、低照度環境化では、過補正になり、かえって画質を劣化させてしてしまう場合もある。

本発明は上記問題点を鑑みてなされたものであり、入射したフォトンの数を計数して信号値として出力する撮像装置において、単位時間あたりの受光量の違いによって生じる画質劣化を抑制することを目的とする。

上記目的を達成するために本発明の撮像素子は、予め決められた露光期間に入射したフォトンを検出して数を計数し、第１の計数値を出力する複数の画素と、前記露光期間と前記第１の計数値とに基づいて、単位時間あたりの第２の計数値を求める算出手段と、前記第２の計数値に基づいて補正係数を取得し、前記第１の計数値に対して、前記検出の誤差を、前記補正係数により補正するとともに、暗電流成分を補正する補正手段と、を有し、前記補正手段は、前記第２の計数値が第１の値である場合に、該第１の値より小さい第２の値である場合よりも、大きい補正係数を取得する。

本発明によれば、入射したフォトンの数を計数して信号値として出力する撮像装置において、単位時間あたりの受光量の違いによって生じる画質劣化を抑制することができる。

本発明の第１の実施形態における撮像装置の全体構成を示すブロック図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における単位画素の構成の一例を示す回路図。 第１の実施形態における受光部の動作を説明する図。 第１の実施形態における画素領域の構成を示す概略図。 第１の実施形態における撮像素子のチップレイアウトの一例を示す概略図。 第１の実施形態における１フレームの画像を取得する際の撮像装置の駆動タイミングチャート。 第１の実施形態における補正部の構成を示すブロック図。 入射フォトンレートに対するカウントレートの関係を示す図。 カウントレートに対する入射フォトンレートの関係を示す図。 第１の実施形態におけるゲイン補正係数の一例を示す図。 第１の実施形態の変形例における単位画素の構成の一例を示す回路図。 第２の実施形態における補正部の構成を示すブロック図。 第２の実施形態におけるゲイン補正係数の一例を示す図。 第２の実施形態における撮影処理のフローチャート。 第３の実施形態における補正部の構成を示すブロック図。 第３の実施形態におけるオフセット補正方法を説明する図。 第４の実施形態における補正部の構成を示すブロック図。 第４の実施形態におけるオフセット補正方法を説明する図。 第５の実施形態における撮像素子の構成を示す図。 第５の実施形態における撮像素子のチップレイアウトの一例を示す概略図。 第５の実施形態における１フレームの画像を取得する際の撮像装置の駆動タイミングチャート。 第６の実施形態における信号処理ブロックの構成を示すブロック図。 第６の実施形態における１フレームの画像を取得する際の撮像装置の駆動タイミングチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
本発明における第１の実施形態について説明する。図１は、第１の実施形態における撮像装置の全体構成を示すブロック図である。図１において、撮影レンズ１０２は、レンズ駆動部１０３によって駆動され、ズーム制御、フォーカス制御、絞り制御などが行われて、被写体の光学像を撮像素子１００に結像させる。

撮像素子１００は、入射したフォトンの数を計数して信号値として出力可能な構成を有し、撮影レンズ１０２により結像された被写体の光学像を入射光として取り込んで、画像信号を出力する。なお、撮像素子１００の構成については、詳細に後述する。信号処理部１０１は、撮像素子１００より出力される画像信号に対して、並べ替えを含む各種の信号処理を行う。全体制御・演算部１０４は、各種演算処理と撮像装置全体の制御を行う。

メモリ部１０５は、画像データを一時的に記憶するために用いられ、表示部１０６は、各種情報や撮影画像を表示する。記録部１０７は、半導体メモリ等を着脱可能な構成を有し、画像データの記録または読み出しを行う。操作部１０８は、ボタン、ダイヤルなどで構成され、ユーザーからの操作入力を受け付ける。なお、表示部１０６がタッチパネルである場合には、当該タッチパネルも操作部１０８に含まれる。測光部１０９は、不図示のＣＣＤやＣＭＯＳなどの測光用の撮像素子を備え、撮影レンズ１０２を通して入射した光を不図示の可動式ミラー等を介して受光し、複数の測光エリア毎に被写体輝度を測定する。

図２は、撮像素子１００の全体構成を示す図である。撮像素子１００は、画素領域２００、垂直制御回路２０２、水平制御回路２０３、タイミングジェネレータ（ＴＧ）２０４、補正部２０７、デジタル出力部２０８を含んで構成される。

画素領域２００には、後述するように、アバランシェフォトダイオードとカウンター回路とを有する単位画素２０１が行列状に配置されている。ここでは、説明を簡単にするために４×４画素の配列を示してあるが、実用上はさらに多数の画素が配置される。単位画素２０１は、入射したフォトンの数を計数してデジタルの信号値として出力することが可能である。なお、単位画素２０１の詳細は、図３を参照して説明する。

垂直制御回路２０２は、画素領域２００の画素をスイッチ２０５により１行単位で選択する。また、垂直制御回路２０２は、不図示の配線を介して画素領域の画素に行単位で制御信号を送出する。この制御信号の詳細についても、図３を参照して後述する。

水平制御回路２０３は、画素領域２００の画素をスイッチ２０６により１列単位で選択する。垂直制御回路２０２と水平制御回路２０３の組み合わせにより選択された画素の画素信号は、補正部２０７に出力される。

補正部２０７は、各画素から出力された画素信号に対して単位時間当たりの受光量の違いによって生じる画質劣化を抑制するための補正処理（画像処理）を行う。また、補正部２０７では、画素信号の黒レベルを基準値に合わせる補正処理も行う。これらの補正処理の詳細は、図８を参照して後述する。

デジタル出力部２０８は、補正部２０７で補正処理（画像処理）された画素信号を、撮像素子１００の外部に出力する。ＴＧ２０４は、各画素の画素信号を出力するための制御信号を、垂直制御回路２０２および水平制御回路２０３に送出する。なお、ＴＧ２０４は、不図示の配線を介して補正部２０７、デジタル出力部２０８にも制御信号を送出する。

図３は、単位画素２０１の構成を示す図である。単位画素２０１は、大きく分けて、受光部３０１と計数部３０２を備える。

受光部３０１は、フォトダイオード（ＰＤ）３０３、クエンチ抵抗３０４、反転バッファ３０５を含んで構成される。ＰＤ３０３は、アバランシェフォトダイオードであり、クエンチ抵抗３０４を介して降伏電圧より大きな逆バイアス電圧Ｖｂｉａｓが印加され、ガイガーモードで動作する。したがって、ＰＤ３０３にフォトンが入射するとアバランシェ増倍現象を引き起こし、アバランシェ電流が発生する。クエンチ抵抗３０４は、ＰＤ３０３のアバランシェ増倍現象を停止されるための抵抗素子である。反転バッファ３０５は、アバランシェ増倍現象によって生じた電圧変化をパルス信号（以下、「ＰＬＳ信号」と記す。）として取り出すために設けられる。

ここで、図４を参照して、受光部３０１の動作について説明する。図４は、ＰＤ３０３にフォトンが入射した際のカソード端子電圧Ｖｏｕｔと、反転バッファ３０５から出力されるＰＬＳ信号の時間変化を表す図である。ここで、カソード端子電圧Ｖｏｕｔは、ＰＤ３０３に印加される逆バイアス電圧の大きさでもある。

時刻ｔ４０１では、ＰＤ３０３には、降伏電圧Ｖｂｒより大きな逆バイアス電圧Ｖｂｉａｓが印加さており、ガイガーモードで動作している。この状態で時刻ｔ４０２において、ＰＤ３０３にフォトンが入射すると、ＰＤ３０３で生成されたキャリアがアバランシェ増倍現象を引き起こし、アバランシェ電流が発生する。このアバランシェ電流により、クエンチ抵抗３０４に接続されたＰＤ３０３のカソード端子電圧Ｖｏｕｔが低下し始める。時刻ｔ４０４でＶｏｕｔが降伏電圧Ｖｂｒを下回るとアバランシェ増倍現象が停止する。そして、Ｖｂｉａｓを印加している電源からクエンチ抵抗３０４を介して再充電が行われるため、カソード端子電圧Ｖｏｕｔは上昇し始める。時刻ｔ４０６で再充電が完了すると、Ｖｏｕｔは、再び逆バイアス電圧Ｖｂｉａｓに戻る。ここで、再充電に掛かる時間はクエンチ抵抗３０４の抵抗値と寄生容量に依存する。

反転バッファから出力されるＰＬＳ信号がＬ→ＨおよびＨ→Ｌに切り替わる閾値をＶｔｈとすると、図４に示すように、時刻ｔ４０３～ｔ４０５の間でＰＬＳ信号はＨとなる。したがって、１回のフォトン入射によって、１つのＰＬＳ信号が受光部３０１から出力される。ここで、時刻ｔ４０３～ｔ４０５で発生するＰＬＳ信号のパルス幅をΔＴｐと記す。

図３の説明に戻り、計数部３０２は、カウンター回路３０６、画素メモリ３０７を含んで構成される。カウンター回路３０６には、受光部３０１でフォトンの入射により発生したＰＬＳ信号が入力され、ＰＬＳ信号がＬからＨに変化した回数をパルス数として計数する。また、カウンター回路３０６には、垂直制御回路２０２からイネーブル信号（以下、「ＰＥＮ信号」と記す。）およびリセット信号（以下、「ＰＲＥＳ信号」と記す。）が供給される。カウンター回路３０６に供給されるＰＥＮ信号がＨレベルの状態で、ＰＬＳ信号がＬからＨに変化すると、計数値が１つ増加する。ＰＥＮ信号がＬレベルの状態では、ＰＬＳ信号がＬからＨに変化しても、計数値は増加せず、現在の計数値が保持される。また、カウンター回路３０６に供給されるＰＲＥＳ信号がＨレベルになると、カウンター回路３０６の計数値は０にリセットされる。

画素メモリ３０７は、カウンター回路３０６で計数した計数値をデジタルの画素信号として取込み、その画素信号を補正部２０７に読み出している間、一時的に保持するためのメモリである。画素メモリ３０７には垂直制御回路２０２からラッチ信号（以下、「ＰＬＡＴ信号」と記す。）が供給される。ＰＬＡＴ信号がＬからＨに変化すると、画素メモリ３０７は、その時点でのカウンター回路３０６の計数値をデジタルの画素信号として取り込んで保持する。これ以降、カウンター回路３０６が計数している値を計数値、画素メモリ３０７が保持した値を画素信号と表記して区別する。

垂直制御回路２０２と水平制御回路２０３の組み合わせによって選択された画素の画素メモリ３０７に保持された画素信号は、補正部２０７に出力される。

なお、第１の実施形態においては、垂直制御回路２０２から供給されるＰＥＮ信号、ＰＲＥＳ信号およびＰＬＡＴ信号は、画素領域２００内のすべての画素で同時に制御されるものとして説明するが、行単位で制御するタイミングを切り替えてもよい。

また、画素領域２００の一部領域は、図５に示すようにオプティカルブラック画素領域（以下、「ＯＢ領域」と記す。）５０１と開口画素領域５０２で構成される。ＯＢ領域５０１に配置される画素（ＯＢ画素）の受光部３０１は不図示の金属遮光層等で遮光され、ＰＤ３０３に光が入射しない構成になっている。ＯＢ領域の各画素から出力された画素信号は、補正部２０７で画素信号の黒レベルを基準値に合わせる補正に用いられる。一方、開口画素領域５０２に配置される画素の受光部３０１は、ＰＤ３０３に光が入射するように不図示の開口を備える。開口画素領域の各画素からは、受光量に応じた画素信号が出力される。

なお、図５では、ＯＢ領域５０１を画素領域の上側一帯に配置してあるが、例えば、画素領域２００の左側や右側等、配置箇所は適宜選択することができる。

図６に、撮像素子１００のチップレイアウトの一例を示す。撮像素子１００は、受光部基板６０１、計数部基板６０２を積層させた構成を有する。各基板間の配線は、シリコン貫通電極等を用いて電気的に接続される。受光部基板６０１には、各画素の受光部３０１が行列状に配置される。計数部基板６０２には、各画素の計数部３０２が行列状に配置される。また、計数部基板６０２には、垂直制御回路２０２および水平制御回路２０３、ＴＧ２０４、補正部２０７、デジタル出力部２０８も配置される。図５に示すように、受光部３０１と計数部３０２とを別々の基板に形成することで、受光部３０１の面積を確保することができ、これにより、受光部の開口率の低下を防止することができる。なお、撮像素子１００を積層構造にせず、同一の基板上に形成してもよい。

図７は、第１の実施形態において、１フレームの画像を取得する際の撮像装置の駆動タイミングチャートを示す。時刻ｔ７０１で撮影開始信号ＳＴＡＲＴがＬ→Ｈ→Ｌになると、各画素の受光部３０１にバイアス電圧Ｖｂｉａｓが供給される。そして、ＰＤ３０３には、降伏電圧より大きな逆バイアス電圧が印加され、ガイガーモードで動作を開始する。これにより、受光部３０１からは、入射したフォトンの数に応じてＰＬＳ信号が出力される。ＣＯＵＮＴは任意の画素のカウンター回路３０６が計数した計数値の一例を示す。Ｃｍａｘは、カウンター回路３０６で計数できる最大値である。

時刻ｔ７０１の時点では、ＰＲＥＳ信号はＨになっており、各画素のカウンター回路３０６の計数値は０にリセットされている。

時刻ｔ７０２で、ＰＲＥＳ信号がＬとなり、各画素のカウンター回路３０６のリセットが解除される。同時にＰＥＮ信号がＨとなり、各画素のカウンター回路３０６はイネーブル状態となる。したがって、各画素のカウンター回路３０６では、入力されたＰＬＳ信号に応じて計数値が増加する。これにより撮像装置の露光期間が開始する。この露光期間は時刻ｔ７０３でＰＥＮ信号がＬになるまで続く。この時刻ｔ７０２からｔ７０３までの露光期間の長さをＴとする。

時刻ｔ７０３で露光期間Ｔが終了すると、ＰＥＮ信号がＬになる。これにより、各画素のカウンター回路３０６がディセーブル状態になり、カウンター回路３０６にＰＬＳ信号が入力されても計数値が増加しなくなる。また、受光部３０１へのバイアス電圧Ｖｂｉａｓの供給が停止し、受光部３０１はＰＬＳ信号を出力しなくなる。そして時刻ｔ７０４で垂直制御回路２０２から各画素に対して供給しているＰＬＡＴ信号が一斉にＬ→Ｈに変化する。これにより各画素のカウンター回路３０６の計数値が画素信号として画素メモリ３０７に保持される。その後、ＰＬＡＴ信号はＬに戻る。また、画素メモリ３０７に画素信号が保持されると、すぐにＰＲＥＳ信号がＨになり、各画素のカウンター回路３０６の計数値が０にリセットされる。

時刻ｔ７０５～ｔ７０６では、垂直制御回路２０２にＴＧ２０４からＶＣＬＫ信号が供給される。ＶＣＬＫ信号がＨになる毎に、各行のスイッチ２０５が順番にオンし、垂直制御回路２０２が画素領域２００の画素を１行ずつ選択していく。そして、任意の１行が選択されると、水平制御回路２０３にＴＧ２０４からＨＣＬＫ信号が供給され、各列のスイッチ２０６が順番にオンする。これにより、選択行の画素の画素メモリ３０７に保持されていた画素信号が補正部２０７に順次出力される。

その後、補正部２０７で補正処理された画素信号は、デジタル出力部２０８を介して撮像素子１００の外部に順次出力される。

図８に、補正部２０７の構成を示す。補正部２０７は、カウントレート算出部８０１、ゲイン補正部８０２、黒レベル補正部８０３を含んで構成される。カウントレート算出部８０１およびゲイン補正部８０２は、単位時間あたりの受光量の違いによって生じる画質劣化を補正する。黒レベル補正部８０３は、各画素のＰＤ３０３で発生した暗電流に起因して受光部３０１から出力されるＰＬＳ信号をカウンター回路３０６で計数して増加してしまった画素信号成分（暗電流成分）を、オフセット補正により除去する。

ここで、図９および図１０を用いて、単位時間あたりの受光量の違いによって生じる画質劣化（誤差）の補正方法について説明する。

図９に、任意の画素の入射フォトンレートと、カウンター回路３０６のカウントレートとの関係を示す。ここで、入射フォトンレートは受光部３０１に単位時間あたりに入射するフォトンの数であり、単位時間あたりの受光量に比例した値となる。カウントレートはカウンター回路３０６の計数値の単位時間あたりの増加量である。本来であれば、理想値で示すようにカウントレートと入射フォトンレートは比例する。しかし、入射フォトンレートが高い状態、つまり単位時間あたりの受光量が多い状態では、１つのフォトンが入射して発生したＰＬＳ信号がＨ→Ｌに戻る前に新たなフォトンが入射してしまう。その結果、複数のＰＬＳ信号が重なってしまうため、カウンター回路３０６で計数する計数値が、本来のフォトンの数よりも低下してしまう。したがって、図９の９０１に示すように、入射フォトンレートが高くなるほど、カウントレートが本来の値よりも低下してしまう。

図１０に、カウントレートに対する入射フォトンレートの関係を示す。この図１０は、図９のグラフの縦軸と横軸を入れ替えたものである。図１０に示すように、各画素のカウントレートに応じて、矢印１００１のように理想値となるように画素信号にゲイン補正をすることで、受光量に対して線形な画素信号を得ることができる。ここで、入射フォトンレートがＰｍａｘ以上となる斜線で示す領域では、入射フォトンレートが増えるにつれてカウントレートが減少し始める。したがって、入射フォトンレートがＰｍａｘ以上となる場合は、カウントレートから本来の入射フォトンレートを算出することができない。そのため、撮影前に測光部１０９で測光処理を行い、その測光結果から、入射フォトンレートがＰｍａｘ以上となるような高輝度被写体を含むと全体制御・演算部が判定した場合は、入射フォトンレートがＰｍａｘ未満になるように撮影レンズの絞り制御を行ってから撮影すればよい。または、特許文献１に記載のように、各画素に受光部から出力されたＰＬＳ信号のパルス幅を累積加算する累積手段を設け、受光量に対して単調増加する信号が各画素から出力されるようにしてもよい。

次に、図８の各ブロックの具体的な処理について説明する。カウントレート算出部８０１には、各画素から出力された画素信号が順次入力される。そして、画素信号を露光期間Ｔで除算することで、単位時間あたりのカウント値の増加量であるカウントレートを算出する。

ゲイン補正部８０２は、カウントレート算出部８０１で算出したカウントレートをもとに、対応する画素の画素信号にゲイン補正を行う。各画素から出力され補正部２０７に入力される画素信号をｘ、ゲイン補正後の画素信号をｙとすると、ゲイン補正後の画素信号ｙは、式（１）により表すことができる。
ｙ = α（ｒ） × ｘ …（１）

ここで、α（ｒ）はゲイン補正係数、ｒはカウントレート算出部８０１で算出したカウントレートである。
図１１にゲイン補正係数α（ｒ）の例を示す。同図に示すように、ゲイン補正係数α（ｒ）は、カウントレート算出部８０１で算出したカウントレートｒによって異なる値をとる。このゲイン補正係数α（ｒ）は図１０のカウントレートが理想値になるために必要なゲイン補正量である。

ゲイン補正係数α（ｒ）は、ゲイン補正部８０２においてカウントレートｒに応じた補正テーブルとして記憶しておけばよい。または、カウントレートｒの近似関数として記憶しておき、各画素のカウントレートに応じてゲイン補正係数α（ｒ）を算出してもよい。

黒レベル補正部８０３は、ゲイン補正部８０２でゲイン補正された画素信号が入力され、オフセット補正により画素信号から暗電流成分を除去する。具体的には、ＯＢ領域５０１の画素信号を積算し、その平均値を算出することで、暗電流成分を算出する。そして、その平均値を開口画素領域５０２の各画素の画素信号から減算することで、暗電流成分を除去する。

黒レベル補正部８０３で補正された画素信号は、順次デジタル出力部２０８に送出され、撮像素子１００の外部に出力される。

なお、ゲイン補正部８０２によるゲイン補正は、黒レベル補正部８０３によるオフセット補正よりも前で行っている。これは、受光部３０１において暗電流によって発生したパルス信号とフォトンの入射によって発生したパルス信号が重なることで、カウンター回路３０６で計数したフォトンによる画素信号成分と暗電流成分の双方が本来の値よりも低下するためである。したがって、ゲイン補正部８０２において、本来のフォトンによる画素信号成分および暗電流成分になるようにゲイン補正を行った後、黒レベル補正部８０３で画素信号からＯＢ領域の平均画素信号を減算することで、暗電流成分を好適に除去することができる。

なお、フォトンによる画素信号成分に比べて暗電流成分が十分小さい場合には、黒レベル補正部８０３でオフセット補正を行った後、ゲイン補正部８０２でゲイン補正を行う構成にしてもよい。

以上で述べた補正部２０７の補正処理により単位時間あたりの受光量の違いによって生じる画質劣化を抑制することができる。なお、補正部２０７で行う補正処理は、信号処理部１０１や全体制御・演算部１０４で行う構成にしてもよい。

＜変形例＞
図３に示した単位画素２０１では、クエンチ抵抗３０４を用いてアバランシェ増倍を停止させていたが、クエンチ抵抗として、ＭＯＳトランジスタの抵抗成分を利用してもよい。図１２に、第１の実施形態の変形例による単位画素２０１の構成を示す。図１２は、図３に示す単位画素の構成に対応し、図３と同一の箇所については同一の番号を付与し、その説明は省略する。

図１２は、ＭＯＳトランジスタ１２０１のドレイン－ソース間の抵抗成分をクエンチ抵抗として利用した場合の構成を示している。本構成では、ＭＯＳトランジスタ１２０１のゲート電圧Ｖｑｎｃを変えることで、ドレイン－ソース間の抵抗値を変化させ、図４の時刻ｔ４０４～４０６で示す再充電にかかる時間を変化させることができる。例えば、ゲート電圧Ｖｑｎｃをゲート閾値電圧以上にすることでＭＯＳトランジスタ１２０１をオンさせると、ドレイン－ソース間の抵抗値が減少する。これにより再充電にかかる時間が短縮し、ＰＬＳ信号のパルス幅ΔＴｐが短縮される。したがって、複数のフォトンが連続して受光部に入射した際に、それぞれのフォトンにより発生したパルスが重なってしまう確立を減少させることができる。

その結果、図９で示した入射フォトンレートが高い場合の出力カウントレートの低下を減少させることができる。この場合、ゲイン補正部８０２で画素信号に乗算するゲイン補正係数α（ｒ）をパルス幅ΔＴｐに応じて変えることで過補正になることを抑えることができる。したがって、単位時間あたりの受光量の違いによって生じる画質劣化を好適に抑制することが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、画素毎にカウントレートを算出して、カウントレートに応じたゲイン補正係数を用いて補正を行っていた。これに対し、第２の実施形態では、測光部１０９の測光結果に基づいて画素信号に応じたゲイン補正係数を選択する。

図１３は、第２の実施形態における補正部２０７の構成を示すブロック図であり、第１の実施形態で説明した図８に示す補正部２０７に代えて用いられる。なお、図８と同様の構成については同じ参照番号を付し、説明を省略する。また、補正部２０７以外の構成は上述した第１の実施形態と同様であるため、説明を省略する。

補正係数選択部１３０１は、測光部１０９で行った測光の測光結果を取得し、その結果に応じて、画素信号に応じたゲイン補正係数を選択する。具体的には、測光部１０９の測光エリア毎に測定した被写体輝度のうち、最大の輝度値に応じて図１４のγ１（ｘ）～γ３（ｘ）で示すゲイン補正係数のいずれかを選択する。ここで、ｘはゲイン補正部１３０２に入力される画素信号であり、γ１（ｘ）～γ３（ｘ）は画素信号に応じたゲイン補正係数である。

測光部１０９で測定した最大輝度値が予め決められた第１の閾値よりも低い場合はゲイン補正係数γ１（ｘ）が選択され、最大輝度値が予め決められた第２の閾値以上の場合には、ゲイン補正係数γ３（ｘ）が選択される。なお、第１の閾値＜第２の閾値である。また、両者の中間の場合は、ゲイン補正係数γ２（ｘ）が選択される。すなわち、同じ画素信号であっても、測光部１０９で測定した最大輝度値が高いほど、ゲイン補正量が大きくなるようなゲイン補正係数が選択される。これは、最大輝度値が高いほど、撮影時の単位時間あたりの受光量が増え、受光部からのパルス信号が重なることで発生する画素信号の低下の影響が大きくなるためである。

ゲイン補正部１３０２では、補正係数選択部１３０１で選択した補正係数を以下の式（２）のように画素信号ｘに乗算する。
ｙ = γ（ｘ） × ｘ …（２）

ここで、ｙはゲイン補正後の画素信号、γ（ｘ）は、補正係数選択部１３０１により、測光結果及び画素信号に基づいて選択されたゲイン補正係数である。
ゲイン補正部１３０２でゲイン補正された画素信号は、第１の実施形態と同様に、黒レベル補正部８０３でオフセット補正が行われ、補正後の画素信号がデジタル出力部に出力される。

図１５に、第２の実施形態における自動露出撮影処理のフローチャートを示す。撮影が開始されると、まずＳ１５０１において、測光部１０９において測光処理を行う。具体的には、測光部１０９の測光エリア毎に被写体輝度を測定する。

次にＳ１５０２において、測光部１０９の測光結果に応じて全体制御・演算部１０４が、絞り、露光期間等の撮影条件を設定する。Ｓ１５０３では、補正係数選択部１３０１で、ゲイン補正係数の選択が行われる。ここでは、図１４を参照して上述したように、測光部１０９で測定した最大輝度値が高いほど、ゲイン補正量が大きくなるようなゲイン補正係数が選択される。

Ｓ１５０４では、Ｓ１５０２で設定した撮影条件で撮像素子１００により撮影を行う。具体的には、図７に示す駆動を行い、画素領域２００から画素信号が補正部２０７に順次出力される。

Ｓ１５０５では、画素領域２００から順次出力される画素信号に対して補正部２０７にて補正処理を行う。ゲイン補正部１３０２では、補正係数選択部１３０１で選択されたゲイン補正係数のうち、画素信号に応じて選択されたゲイン補正係数を画素信号に乗算する。これにより、受光部からのパルス信号が重なることで発生する画素信号の低下を補うことができる。その後、黒レベル補正部８０３でオフセット補正された画素信号が撮像素子１００から出力され、そして、Ｓ１５０６で、記録部１０７にて画像データとして保存される。

以上で述べた補正部２０７の補正処理により単位時間あたりの受光量の違いによって生じる画質劣化を抑制することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態では、単位時間あたりの受光量に応じて、黒レベル補正部の補正量を変える構成について説明する。

単位時間あたりの受光量が大きい画素では、頻繁にアバランシェ増倍現象が発生し、大電流がクエンチ抵抗３０４を流れるため、クエンチ抵抗３０４での発熱量が大きくなる。そのため、クエンチ抵抗３０４の付近にあるＰＤ３０３の温度が上昇し、暗電流量が増加する。その結果、光が入射しないＯＢ領域の画素（ＯＢ画素）と、単位時間あたりの受光量の多い画素とで暗電流量に差が生じてしまう。そこで、第３の実施形態では、単位時間当たりの受光量に応じて黒レベル補正部の補正量を変更する。

図１６に、第３の実施形態における補正部２０７の構成を示すブロック図であり、第１の実施形態で説明した図８に示す補正部２０７に代えて用いられる。なお、図８と同様の構成については同じ参照番号を付し、説明を省略する。また、補正部２０７以外の構成は上述した第１の実施形態と同様であるため、説明を省略する。

空間フィルタ処理部１６０１は、カウントレート算出部８０１で算出した画素毎のカウントレートに対してフィルタ処理を行う。例えば、対象画素とその周囲８画素のカウントレートの平均値である平均カウントレートを計算する。なお、フィルタ処理として、重み付け平均処理を行ってもよい。

なお、対象画素よりも後に読み出す画素のカウントレートを平均化の対象とする場合は、補正部２０７の前に不図示の保持メモリを設けて、画素信号を一時的に保持してから空間フィルタ処理部１６０１でフィルタ処理を行うようにすればよい。黒レベル補正部１６０２には、ゲイン補正部８０２から出力された画素信号が入力され、以下の式（３）のようにオフセット補正を行う。
ｚ = ｙ － β（ｒ_ａｖｅ） × ｄｒｋ …（３）

ここで、ｚはオフセット補正後の画素信号、ｙは黒レベル補正部１６０２に入力される画素信号、ｄｒｋはＯＢ領域の平均画素信号、ｒ_ａｖｅは空間フィルタ処理部１６０１で算出した平均カウントレートである。β（ｒ_ａｖｅ）はオフセット補正係数であり、平均カウントレートｒ_ａｖｅに応じた値となる。
ここで、オフセット補正係数β（ｒ_ａｖｅ）の詳細について、図１７を参照して説明する。図１７（ａ）は、画素領域の任意の一列の画素のカウントレートを算出した例を示す。１７０１に示すように単位時間あたりの受光量が多い画素では、カウントレートが高くなる。また、実線で示す温度のようにカウントレートの高い画素付近では、アバランシェ電流による発熱によって温度が高くなる。破線で示す平均カウントレートは空間フィルタ処理部１６０１で各画素のカウントレートを平均化処理した値である。

図１７（ｂ）は、図１７（ａ）に対応する画素の暗電流量の例である。１７０２に示す位置の付近の画素では、温度が高いため、ＯＢ領域に比べて暗電流量が多くなる。実線で示すβ（ｒ_ａｖｅ）はＯＢ領域の平均画素信号に乗算するオフセット補正係数である。オフセット補正係数β（ｒ_ａｖｅ）は、図１７（ｂ）に示すように、図１７（ａ）の平均カウントレートが高い画素ほど大きな値となる。これにより、ＯＢ領域と、単位時間あたりの受光量が多い画素とで暗電流量が異なっていても、画素信号から暗電流成分を好適に除去することができる。

なお、空間フィルタ処理部１６０１のフィルタ処理は、画素領域２００がベイヤー配列のカラーフィルターを備えている場合は、同一色の画素のみで平均化処理を行う構成にしてもよい。また、空間フィルタ処理部１６０１を設けず、カウントレート算出部８０１で算出したカウントレートに応じたオフセット補正係数を用いてもよい。

上記の通り第３の実施形態によれば、単位時間あたりの受光量が多い画素の画素信号から暗電流成分を好適に除去することができ、単位時間あたりの受光量の違いによって生じる画質劣化を抑制することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。動画等で連続して撮影を行う場合、高輝度の被写体が移動すると、被写体のあった位置の画素のカウントレートは低下するが、温度はそれよりもゆるやかに変化する。そして、各画素の暗電流量も温度変化に従ってゆるやかに変化する。このような場合でも暗電流成分を好適に補正することができる構成について説明する。

図１８は、第４の実施形態における補正部２０７の構成を示すブロック図であり、第１の実施形態で説明した図８に示す補正部２０７に代えて用いられる。なお、図８と同様の構成については同じ参照番号を付し、説明を省略する。また、補正部２０７以外の構成は上述した第１の実施形態と同様であるため、説明を省略する。

時間フィルタ処理部１８０１はカウントレート算出部８０１で算出したカウントレートを複数フレームにわたってフィルタ処理をする。例えば、現在のフレームとそれより前の４フレーム分の画素毎の平均カウントレートを算出する。また、時間フィルタ処理部１８０１は、各画素の平均カウントレートを保持するための不図示の保持メモリを備える。

黒レベル補正部１８０２にはゲイン補正部８０２から出力された画素信号が入力され、時間フィルタ処理部１８０１で算出した平均カウントレートに応じてオフセット補正係数βを用いて黒レベルの補正を行う。この補正方法は第３の実施形態において説明した式（３）と同様であるため、説明を省略する。

図１９（ａ）に画素領域の任意の一つの画素のカウントレートを撮影フレーム毎に算出した例を示す。１９０１のフレームに示すように高輝度被写体の移動等により対象画素のカウントレートが低下した場合でも、同図に実線で示す対象画素の温度はすぐには低下せず、ゆるやかに追従する。そのため、図１９（ｂ）に示すように、各撮影フレームの暗電流は温度に従ってゆるやかに変化する。また、破線で示す平均カウントレートは時間フィルタ処理部１８０１で対象画素のカウントレートを複数フレームにわたって平均化処理した値である。

図１９（ｂ）は、図１９（ａ）に対応するフレームの暗電流量の例である。１９０２に示すフレームでは、カウントレートは低下しているが、画素の温度がまだ高いため、カウントレートと比べて暗電流量は多いままである。実線で示すβ（ｒ_ａｖｅ）は式（３）でＯＢ領域の平均画素信号に乗算するオフセット補正係数である。オフセット補正係数β（ｒ_ａｖｅ）は、図１７（ａ）の平均カウントレートが高い画素ほど大きな値となる。このオフセット補正係数をＯＢ領域の平均画素信号に乗算した値を用いてオフセット補正することで、画素信号から暗電流成分を除去することができる。

上記の通り第４の実施形態によれば、動画撮影等の最中に単位時間あたりの受光量が大きく変化した場合でも、画素信号から暗電流成分を好適に除去することができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。上述した第１の実施形態では、露光期間終了後に出力した画素信号をもとにカウントレートを算出し、補正を行っていたため、露光期間中に被写体輝度が変化した場合に正確なカウントレートを求めることができなかった。これに対し、第５の実施形態では、露光期間中に被写体輝度が変化した場合でも対応可能な構成について説明する。

図２０に、第５の実施形態における撮像素子１００’の全体構成を示す図であり、第１の実施形態で説明した図２に示す撮像素子１００に代えて用いられる。なお、図２と同様の構成については同じ参照番号を付し、説明を省略する。また、撮像素子１００’以外の構成は上述した第１の実施形態と同様であるため、説明を省略する。

信号処理ブロック２０００は、補正部２０７と、フレームメモリ２００１と、加算部２００２とを備える。フレームメモリ２００１は、一時メモリ領域２００１ａと積算メモリ領域２００１ｂとを備え、露光期間中に各画素からデジタルの画素信号を取得して、保持する記憶回路である。一時メモリ領域２００１ａは、各画素からデジタルの画素信号を取得し、一時的に保持する。一時メモリ領域２００１ａに保持された画素信号は補正部２０７に入力され、第１の実施形態と同様の補正処理が行われる。

加算部２００２は、積算メモリ領域２００１ｂに保持されていた画像信号に、各画素から新たに読み出して補正処理された画像信号を同一アドレス毎に加算する。加算された画像信号は積算メモリ領域２００１ｂに再び保持される。これにより、積算メモリ領域２００１ｂは、露光期間中に補正部２０７で補正処理された画素信号を同一アドレス毎に積算された画素信号を保持する。ここで、一時メモリ領域２００１ａは、１画素あたり単位画素２０１から出力されるデジタルの画素信号と同一のビット幅を備える。一方、積算メモリ領域２００１ｂは、単位画素２０１から出力されるデジタルの画素信号に比べて、十分大きなビット幅を備える。

積算メモリ領域２００１ｂに保持された画素信号は、露光期間終了後にデジタル出力部２０８を介して撮像素子１００の外部に出力される。なお、フレームメモリ２００１および加算部２００２、補正部２０７は、撮像素子１００’の外部に設ける構成でもよい。

図２１に、第５の実施形態における撮像素子１００’のチップレイアウトの一例を示す。図２１は、第１の実施形態の図６に対応し、図６と同一の構成については同一の番号を付与し、その説明は省略する。

撮像素子１００’は、受光部基板６０１、計数部基板６０２およびフレームメモリ基板２１０１を積層させた構成を有する。各基板間の配線は、シリコン貫通電極等を用いて電気的に接続される。フレームメモリ基板２１０１には、フレームメモリ２００１および加算部２００２、補正部２０７、デジタル出力部２０８が配置される。フレームメモリ基板２１０１を、受光部基板６０１および計数部基板６０２よりも微細なプロセスで製造すれば、フレームメモリ２００１は、大きなビット数を確保できる。なお、撮像素子１００’を積層構造にせず、同一の基板上に形成してもよい。

図２２は、第５の実施形態において、１フレームの画像を取得する際の撮像装置の駆動タイミングチャートを示す。図２２は、第１の実施形態の図７に示すタイミングチャートに対応し、図７と同一の動作をする処理については同一の番号を付与し、その説明は適宜省略する。

図２２では、ｔ７０２からｔ７０３の露光期間Ｔを４つの露光期間（以下、「分割露光期間」と呼ぶ。）Ｔ１～Ｔ４に分割し、分割露光期間毎に各画素から画素信号をフレームメモリ２００１へ読み出す。

時刻ｔ２２０１で分割露光期間Ｔ１が経過すると、垂直制御回路２０２からすべての画素に対して供給しているＰＬＡＴ信号が一斉にＬ→Ｈ→Ｌと変化する。これにより、分割露光期間Ｔ１の間に各画素のカウンター回路３０６で計数していた計数値が、画素信号として、各画素の画素メモリ３０７に保持される。画素信号が画素メモリ３０７に保持されると、すぐにＰＲＥＳがＨになり、各画素のカウンター回路３０６の計数値が０にリセットされる。そして、ＰＲＥＳがＬに戻ると、リセットが解除され、各画素のカウンター回路３０６は、再び入射したフォトンに応じて計数を開始する。

時刻ｔ２２０２～ｔ２２０３では、ＴＧ２０４から垂直制御回路２０２および水平制御回路２０３にそれぞれＶＣＬＫ信号およびＨＣＬＫ信号が供給される。そして、垂直制御回路２０２および水平制御回路２０３によって選択された画素の画素メモリ３０７に保持されていた画素信号が順次フレームメモリ２００１内の一時メモリ領域２００１ａに保持される。一時メモリ領域２００１ａに保持された画素信号は、補正部２０７においてゲイン補正およびオフセット補正が行われ、補正後の画素信号は再び一時メモリ領域２００１ａに保持される。なお、ここで補正部２０７ににより行われる補正処理は、第１～第４の実施形態と同様のため、説明を省略する。

そして、加算部２００２において、一時メモリ領域２００１ａに保持された補正後の画素信号と、積算メモリ領域２００１ｂに保持されていた同一アドレスの画素信号とを加算処理し、加算された画素信号を積算メモリ領域２００１ｂに再び格納する。なお、上記補正処理および加算処理は、各画素の画素メモリ３０７内の画素信号をフレームメモリ２００１に保持する動作と並行して行われる。

時刻ｔ２２０２～ｔ２２０４で行う最初の加算処理では、フレームメモリ２００１内の積算メモリ領域２００１ｂには、画素信号が保持されていないため、補正部２０７で補正処理された画素信号が、そのまま積算メモリ領域２００１ｂに保持される。

時刻ｔ２２０４で分割露光期間Ｔ２が経過すると、再びＰＬＡＴ信号がＬ→Ｈ→Ｌとなり、時刻ｔ２２０１～ｔ２２０３の時と同様に、各画素の画素信号がフレームメモリ２００１の一時メモリ領域２００１ａに保持され、補正処理および加算処理が行われる。そして、加算処理が終わった画素信号は積算メモリ領域２００１ｂに再び保持される。以降、分割露光期間毎に同様の処理が繰り返される。

ここで、時刻ｔ２２０１～ｔ２２０３で行われる、各画素の画素メモリ３０７に保持された画素信号に対する、一時メモリ領域２００１ａへの保持および補正部２０７の補正処理、加算部２００２の加算処理は、時刻ｔ２２０４までに完了している必要がある。すなわち、次の分割露光期間が経過する前に完了している必要がある。したがって、この時間内に処理が完了するような動作周波数を設定する。または、次の分割露光期間が経過する前に処理が完了するように、分割露光期間の長さや分割数を調節する。

時刻ｔ７０３で、１フレーム分の露光期間Ｔが終了すると、ＰＥＮ信号がＬとなる。これにより、各画素のカウンター回路３０６がディセーブル状態になり、カウンター回路３０６の計数値が増加しなくなる。また、受光部３０１へのバイアス電圧Ｖｂｉａｓの供給が停止し、受光部３０１はＰＬＳ信号を出力しなくなる。そして、時刻ｔ２２０６で、ＰＬＡＴ信号がＬ→Ｈ→Ｌと切り替わり、露光終了時にカウンター回路３０６で計数していた計数値が画素メモリ３０７に保持される。そして、ＰＲＥＳ信号がＨになり、カウンター回路３０６の計数値が０にリセットされる。

その後、時刻ｔ２２０７～ｔ２２０８では、ｔ２２０２～ｔ２２０３の時と同様に、各画素の画素信号が一時メモリ領域２００１ａに保持される。そして、補正処理および加算処理された画素信号が、積算メモリ領域２００１ｂに保持される。このとき、積算メモリ領域２００１ｂに保持された画素信号は、時刻ｔ７０２～ｔ７０３の露光期間中に画素メモリ３０７から取得した画素信号を積算した信号となる。この画素信号は、露光期間中に入射したフォトンの数に応じた信号となる。

上記の通り本第５の実施形態によれば、分割した露光期間毎にカウントレートを算出して補正する。これにより、第１の実施形態と比べて、露光期間中に被写体輝度が変化した場合でも単位時間あたりの受光量の違いによって生じる画質劣化を好適に抑制することが可能となる。なお、上述した第５の実施形態における露光期間を分割する数や分割露光期間の長さは一例であり、本発明はこれに限られるものではない。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。上述した第５の実施形態では、露光期間中に画素信号をフレームメモリ２００１に読み出す度にカウンター回路の計数値をリセットしたが、本第６の実施形態では、露光期間中にカウンター回路の計数値をリセットしない構成について説明する。なお、第６の実施形態では、第５の実施形態と同様に、露光期間中に被写体輝度が変化した場合でも対応可能な構成である。

図２３は、画素領域２００から出力された画素信号に信号処理をする信号処理ブロック２３００の構成を示す。信号処理ブロック２３００は、第５の実施形態において図２０に示した信号処理ブロック２０００の代わりに用いられる。なお、これ以外の箇所については、第５の実施形態と同様であるため、説明を省略する。

フレームメモリ２３０１は、露光期間中に各画素からデジタルの画素信号を取得して、保持する記憶回路であり、一時メモリ領域Ａ２３１１、一時メモリ領域Ｂ２３１２、積算メモリ領域２３１３で構成される。一時メモリ領域Ａ２３１１および一時メモリ領域Ｂ２３１２は、各画素からデジタルの画素信号を取得し、一時的に保持するための一時メモリである。露光期間中に各画素から読み出し動作を行う毎に、読み出された画素信号は一時メモリ領域Ａ２３１１と一時メモリ領域Ｂ２３１２に交互に保持される。積算メモリ領域２３１３は、露光期間中に補正部２０７で補正処理された画素信号を積算した値を保持する。

差分部２３０２は、一時メモリ領域Ａ２３１１、一時メモリ領域Ｂ２３１２に保持された画素信号を同一アドレス毎に差分を計算して、その差分信号（差分値）を補正部２０７に出力する。なお、補正部２０７の補正処理は、第１～第４の実施形態で述べた処理と同様であるため、ここでは説明を省略する。加算部２００２は、フレームメモリ２３０１の積算メモリ領域２３１３に保持されていた画像信号に、補正部２０７で補正処理された画像信号を同一アドレス毎に加算する。加算された画像信号は積算メモリ領域２３１３に再び格納される。積算メモリ領域２３１３に保持された画素信号は、露光期間終了後にデジタル出力部２０８を介して撮像素子１００’の外部に出力される。なお、信号処理ブロック２３００を撮像素子１００’の外部に設ける構成でもよい。

図２４に、第６の実施形態において、１フレームの画像を取得する際の撮像装置の駆動タイミングチャートを示す。図２４は、第５の実施形態の図２２に示すタイミングチャートに対応し、図２２と同一の動作をする処理については同一の番号を付与し、その説明は適宜省略する。

図２４では、第５の実施形態と同様にｔ７０２からｔ７０３の露光期間Ｔを４つの分割露光期間Ｔ１～Ｔ４に分割し、分割露光期間毎に各画素から画素信号をフレームメモリ２３０１へ読み出す。ただし、第５の実施形態とは異なり、フレームメモリ２３０１に信号を読み出した後にカウンター回路３０６の計数値はリセットしない。

時刻ｔ２４０１で分割露光期間Ｔ１が経過すると、垂直制御回路２０２からすべての画素に対して供給しているＰＬＡＴ信号が一斉にＬ→Ｈ→Ｌと変化する。これにより、分割露光期間Ｔ１の間に各画素のカウンター回路３０６で計数していた計数値が、画素信号として、各画素の画素メモリ３０７に保持される。時刻ｔ２４０２～ｔ２４０３では、ＴＧ２０４から垂直制御回路２０２および水平制御回路２０３にそれぞれＶＣＬＫ信号およびＨＣＬＫ信号が供給される。そして、垂直制御回路２０２および水平制御回路２０３によって選択された画素の画素メモリ３０７に保持されていた画素信号が順次フレームメモリ２００１内の一時メモリ領域に保持される。

ここで、ＰＭＥＭ信号は、画素信号を一時メモリ領域Ａ２３１１と一時メモリ領域Ｂ２３１２のどちらに保持するかを選択するための制御信号であり、ＴＧ２０４からフレームメモリ２３０１に送出される。ＰＭＥＭ信号がＬレベルのとき、画素領域２００から出力された画素信号は、一時メモリ領域Ａ２３１１に保持され、ＰＭＥＭ信号がＨレベルのときは、一時メモリ領域Ｂ２３１２に保持される。ｔ２４０２～ｔ２４０３では、ＰＭＥＭ信号がＬレベルのため、画素領域２００から出力された画素信号は、一時メモリ領域Ａ２３１１に保持される。

一時メモリ領域Ａ２３１１に画素信号が保持されると、差分部２３０２では、一時メモリ領域Ａ２３１１に保持された画素信号から一時メモリ領域Ｂ２３１２に保持された画素信号を、同一アドレス毎に減算して差分信号を生成する。そして、その差分信号を補正部２０７に出力する。このとき、一時メモリ領域Ｂ２３１２には画素信号が保持されていないため、一時メモリ領域Ａ２３１１に保持された画素信号がそのまま補正部２０７に出力される。ここで、補正部２０７に出力される差分信号は、分割露光期間Ｔ１の間にカウンター回路３０６で計数した信号である。補正部２０７に入力された画素信号は、ゲイン補正およびオフセット補正が行われた後、加算部２００２によって補正処理後の画素信号と、積算メモリ領域２３１３に保持されていた同一アドレスの画素信号とを加算処理する。そして、加算された画素信号が積算メモリ領域２３１３に再び保持される。なお、上記差分処理、補正処理および加算処理は、各画素の画素信号をフレームメモリ２３０１の一時メモリ領域Ａ２３１１に保持する動作と並行して行われる。また、時刻ｔ２４０２～ｔ２４０４で行う最初の加算処理では、積算メモリ領域２３１３には、画素信号が保持されていないため、補正部２０７で補正処理された画素信号が、そのまま積算メモリ領域２３１３に格納される。

時刻ｔ２４０１で、カウンター回路３０６の計数値を画素メモリ３０７に保持した後、カウンター回路３０６はリセットしていないため、入射したフォトンの数に応じて計数値は増加し続ける。

時刻ｔ２４０４で分割露光期間Ｔ２が経過すると、再びＰＬＡＴ信号がＬ→Ｈ→Ｌとなり、時刻ｔ２４０１～ｔ２４０３の時と同様に、各画素の画素信号がフレームメモリ２３０１に出力され保持される。このとき、ＰＭＥＭ信号がＨとなるため、各画素の画素信号は、一時メモリ領域Ｂ２３１２に保持される。そして、差分部２３０２は、一時メモリ領域Ｂ２３１２に保持した画素信号から、時刻ｔ２４０２～ｔ２４０３で一時メモリ領域Ａ２３１１に保持した画素信号を同一アドレス毎に減算し、その差分信号を補正部２０７に出力する。ここで、差分部２３０２で行う差分処理は、一時メモリ領域Ａ２３１１と一時メモリ領域Ｂ２３１２のうち、後から保持した信号から、先に保持した信号を減算することで行われる。したがって、この差分処理により生成される差分信号は、分割露光期間Ｔ２の間に入射したフォトンの数に応じた信号となる。差分部２３０２で差分処理された差分信号は、補正部２０７および加算部２００２で、補正処理および加算処理が行われる。そして、加算処理が終わった画素信号は積算メモリ領域２３１３に再び格納される。以降、分割露光期間毎に同様の処理が繰り返される。

時刻ｔ７０３で、１フレーム分の露光期間Ｔが終了すると、ＰＥＮ信号がＬとなる。これにより、各画素のカウンター回路３０６がディセーブル状態になり、カウンター回路３０６の計数値が増加しなくなる。また、受光部３０１へのバイアス電圧Ｖｂｉａｓの供給が停止し、受光部３０１はＰＬＳ信号を出力しなくなる。

そして、時刻ｔ２４０６で、ＰＬＡＴ信号がＬ→Ｈ→Ｌと切り替わり、露光終了時にカウンター回路３０６で計数していた計数値が画素メモリ３０７に保持される。そして、ＰＲＥＳ信号がＨになり、カウンター回路３０６の計数値が０にリセットされる

その後、時刻ｔ２４０７～ｔ２４０８では、ｔ２４０２～ｔ２４０３の時と同様に、各画素の画素信号が一時メモリ領域Ａ２３１１と一時メモリ領域Ｂ２３１２のいずれかに保持される。そして、差分処理および補正処理、加算処理された画素信号が積算メモリ領域２３１３に保持される。このとき、積算メモリ領域２３１３に保持された画素信号は、時刻ｔ７０２～ｔ７０３の露光期間中に画素メモリ３０７から取得した画素信号を積算した信号となる。この画素信号は、露光期間中に入射したフォトンの数に応じた信号となる。

上記の通り本第６の実施形態によれば、分割した露光期間毎にカウントレートを算出して補正する。これにより、第１の実施形態と比べて、露光期間中に被写体輝度が変化した場合でも単位時間あたりの受光量の違いによって生じる画質劣化を好適に抑制することが可能となる。なお、露光期間を分割する数や分割露光期間の長さは、一例であり、本発明はこれに限られるものではない。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。また、上述した実施形態を適宜組み合わせてもよい。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像素子、１０１：信号処理部、１０４：全体制御・演算部、１０５：メモリ部、１０７：記録部、１０８：操作部、１０９：測光部、２００：画素領域、２０１：単位画素、２０２：垂直制御回路、２０３：水平制御回路、２０４：タイミングジェネレータ（ＴＧ）、２０７：補正部、２０８：デジタル出力部、３０１：受光部、３０２：計数部、３０３：フォトダイオード（ＰＤ）、３０４：クエンチ抵抗、３０５：反転バッファ、３０６：カウンター回路、３０７：画素メモリ、８０１：カウントレート算出部、８０２：ゲイン補正部、８０３，１３０２，１６０２，１８０２：黒レベル補正部、１２０１：ＭＯＳトランジスタ、１３０１：補正係数選択部、１６０１：空間フィルタ処理部、１８０１：時間フィルタ処理部、２０００：信号処理ブロック、２００１，２３０１：フレームメモリ、２００１ａ：一時メモリ領域、２００１ｂ，２３１３：積算メモリ領域、２００２：加算部、２３１１：一時メモリ領域Ａ、２３１２：一時メモリ領域Ｂ

Claims (27)

1. 予め決められた露光期間に入射したフォトンを検出して数を計数し、第１の計数値を出力する複数の画素と、
   前記露光期間と前記第１の計数値とに基づいて、単位時間あたりの第２の計数値を求める算出手段と、
   前記第２の計数値に基づいて補正係数を取得し、前記第１の計数値に対して、前記検出の誤差を、前記補正係数により補正するとともに、暗電流成分を補正する補正手段と、を有し、
   前記補正手段は、前記第２の計数値が第１の値である場合に、該第１の値より小さい第２の値である場合よりも、大きい補正係数を取得することを特徴とする撮像素子。
2. 予め決められた露光期間に入射したフォトンを検出して数を計数し、第１の計数値を出力する複数の画素と、
   測光手段から得られた測光結果と前記第１の計数値とに基づいて補正係数を取得し、前記第１の計数値に対して、前記検出の誤差を、前記補正係数により補正する補正手段と、を有し、
   前記測光結果による輝度値が第１の輝度値である場合に、該第１の輝度値よりも小さい第２の輝度値である場合よりも、大きい補正係数を取得することを特徴とする撮像素子。
3. 前記複数の画素は、それぞれ、フォトンを検出する検出手段と、該検出したフォトンの数を計数して計数値を出力する計数手段と、前記計数値を保持する記憶手段とを有し、前記記憶手段に保持した計数値を前記第１の計数値として出力することを特徴とする請求項１または２に記載の撮像素子。
4. 予め決められた数の連続する前記露光期間について、前記露光期間ごとに出力され、前記補正手段により補正された前記第１の計数値を、前記複数の画素それぞれについて加算する加算手段を更に有し、
   前記計数手段は、前記記憶手段に前記計数値が保持される度に、前記計数値を０にリセットすることを特徴とする請求項３に記載の撮像素子。
5. 各画素が、フォトンを検出する検出手段と、該検出したフォトンの数を計数して計数値を出力する計数手段と、前記計数値を保持する記憶手段とを有し、予め決められた露光期間ごとに、前記記憶手段に保持した計数値を第１の計数値として出力する複数の画素と、
   前記露光期間と、連続して出力された前記第１の計数値の差分値とに基づいて、単位時間あたりの第２の計数値を求める算出手段と、
   前記第２の計数値に基づいて補正係数を取得し、前記差分値に対して、前記検出の誤差を、前記補正係数により補正する補正手段と、を有し、
   前記補正手段は、前記第２の計数値が第１の値である場合に、該第１の値より小さい第２の値である場合よりも、大きい補正係数を取得することを特徴とする撮像素子。
6. 予め決められた数の連続する前記露光期間について、前記補正手段により補正された前記差分値を、前記複数の画素それぞれについて加算する加算手段を更に有し、
   前記計数手段は、前記予め決められた数の連続する露光期間が経過する度に、前記計数値を０にリセットすることを特徴とする請求項５に記載の撮像素子。
7. 前記検出手段は、アバランシェフォトダイオードと、該アバランシェフォトダイオードに逆バイアス電圧をかけるためのクエンチ抵抗とを含むことを特徴とする請求項３乃至６のいずれか１項に記載の撮像素子。
8. 前記検出手段は、アバランシェフォトダイオードと、該アバランシェフォトダイオードに逆バイアス電圧をかけるためのＭＯＳトランジスタとを含むことを特徴とする請求項３乃至６のいずれか１項に記載の撮像素子。
9. 前記撮像素子は積層構造を有し、前記検出手段と前記計数手段を異なる層に構成したことを特徴とする請求項３乃至８のいずれか１項に記載の撮像素子。
10. 前記補正係数は、前記検出の誤差が無い場合の理想値の前記単位時間あたりの値と、前記第２の計数値との誤差に基づいた値であることを特徴とする請求項１または５に記載の撮像素子。
11. 前記単位時間あたりの計数値に対応した補正係数を記憶した記憶手段を更に有し、
    前記補正手段は、前記記憶手段から、前記第２の計数値に対応した補正係数を選択することを特徴とする請求項１または５に記載の撮像素子。
12. 前記補正手段は、前記単位時間あたりの計数値に対応した補正係数を求めるための近似関数を用いて、前記第２の計数値に対応した補正係数を取得することを特徴とする請求項１または５に記載の撮像素子。
13. 前記複数の画素の一部は、遮光されたＯＢ画素であって、
    前記補正手段は、前記遮光されていない画素から出力され、前記検出の誤差を補正された前記第１の計数値の暗電流成分を前記ＯＢ画素の出力を用いて補正することを特徴とする請求項１または５に記載の撮像素子。
14. 前記補正手段は、補正する画素とその周囲の画素の前記第２の計数値の平均に基づいて、第２の補正係数を求め、前記ＯＢ画素から出力され、前記補正手段により前記検出の誤差を補正された前記第１の計数値の平均値を前記第２の補正係数により補正した値により、前記検出の誤差を補正された前記第１の計数値の暗電流成分を補正することを特徴とする請求項１３に記載の撮像素子。
15. 前記補正手段は、予め決められた数の連続する前記露光期間に対して得られた、補正する画素の複数の前記第２の計数値の平均に基づいて、第２の補正係数を求め、前記ＯＢ画素から出力され、前記補正手段により前記検出の誤差を補正された前記第１の計数値の平均値を前記第２の補正係数により補正した値により、前記検出の誤差を補正された前記第１の計数値の暗電流成分を補正することを特徴とする請求項１３に記載の撮像素子。
16. 予め決められた露光期間に入射したフォトンを検出して数を計数し、第１の計数値を出力する複数の画素を有する撮像素子と、
    前記露光期間と前記第１の計数値とに基づいて、単位時間あたりの第２の計数値を求める算出手段と、
    前記第２の計数値に基づいて補正係数を取得し、前記第１の計数値に対して、前記検出の誤差を、前記補正係数により補正するとともに、暗電流成分を補正する補正手段と、を有し、
    前記補正手段は、前記第２の計数値が第１の値である場合に、該第１の値より小さい第２の値である場合よりも、大きい補正係数を取得することを特徴とする撮像装置。
17. 予め決められた露光期間に入射したフォトンを検出して数を計数し、第１の計数値を出力する複数の画素を有する撮像素子と、
    測光手段と、
    前記測光手段から得られた測光結果と前記第１の計数値とに基づいて補正係数を取得し、前記第１の計数値に対して、前記検出の誤差を、前記補正係数により補正する補正手段と、を有し、
    前記補正手段は、前記測光結果による輝度値が第１の輝度値である場合に、該第１の輝度値よりも小さい第２の輝度値である場合よりも、大きい補正係数を取得することを特徴とする撮像装置。
18. 前記複数の画素は、それぞれ、フォトンを検出する検出手段と、該検出したフォトンの数を計数して計数値を出力する計数手段と、前記計数値を保持する記憶手段とを有し、前記記憶手段に保持した計数値を前記第１の計数値として出力し、
    予め決められた数の連続する前記露光期間について、前記露光期間ごとに出力され、前記補正手段により補正された前記第１の計数値を、前記複数の画素それぞれについて加算する加算手段を更に有し、
    前記計数手段は、前記記憶手段に前記計数値が保持される度に、前記計数値を０にリセットすることを特徴とする請求項１６または１７に記載の撮像装置。
19. 各画素が、フォトンを検出する検出手段と、該検出したフォトンの数を計数して計数値を出力する計数手段と、前記計数値を保持する記憶手段とを有し、予め決められた露光期間ごとに、前記記憶手段に保持した計数値を第１の計数値として出力する複数の画素を有する撮像素子と、
    前記露光期間と、連続して出力された前記第１の計数値の差分値とに基づいて、単位時間あたりの第２の計数値を求める算出手段と、
    前記第２の計数値に基づいて補正係数を取得し、前記差分値に対して、前記検出の誤差を、前記補正係数により補正する補正手段と、を有し、
    前記補正手段は、前記第２の計数値が第１の値である場合に、該第１の値より小さい第２の値である場合よりも、大きい補正係数を取得することを特徴とする撮像装置。
20. 前記複数の画素の一部は、遮光されたＯＢ画素であって、
    前記補正手段は、前記遮光されていない画素から出力され、前記検出の誤差を補正された前記第１の計数値の暗電流成分を前記ＯＢ画素の出力を用いて補正する黒レベル補正手段を更に有することを特徴とする請求項１６に記載の撮像装置。
21. 算出手段が、予め決められた露光期間に入射したフォトンを検出して数を計数した計数値を出力する複数の画素を有する撮像素子から得られた第１の計数値と前記露光期間とに基づいて、単位時間あたりの第２の計数値を求める算出工程と、
    補正手段が、前記第２の計数値に基づいて補正係数を取得し、前記第１の計数値に対して、前記検出の誤差を、前記補正係数により補正するとともに、暗電流成分を補正する補正工程と、を有し、
    前記補正工程では、前記第２の計数値が第１の値である場合に、該第１の値より小さい第２の値である場合よりも、大きい補正係数を取得することを特徴とする画像処理方法。
22. 補正手段が、予め決められた露光期間に入射したフォトンを検出して数を計数した計数値を出力する複数の画素を有する撮像素子から得られた第１の計数値と、測光手段から得られた測光結果とに基づいて補正係数を取得し、前記第１の計数値に対して、前記検出の誤差を、前記補正係数により補正する補正工程を有し、
    前記補正工程では、前記測光結果による輝度値が第１の輝度値である場合に、該第１の輝度値よりも小さい第２の輝度値である場合よりも、大きい補正係数を取得することを特徴とする画像処理方法。
23. 前記複数の画素は、それぞれ、フォトンを検出する検出手段と、該検出したフォトンの数を計数して計数値を出力する計数手段と、前記計数値を保持する記憶手段とを有し、前記記憶手段に保持した計数値を前記第１の計数値として出力し、
    加算手段が、予め決められた数の連続する前記露光期間について、前記露光期間ごとに出力され、前記補正工程で補正された前記第１の計数値を、前記複数の画素それぞれについて加算する加算工程を更に有し、
    前記計数手段は、前記記憶手段に前記計数値が保持される度に、前記計数値を０にリセットすることを特徴とする請求項２１または２２に記載の画像処理方法。
24. 算出手段が、各画素が、フォトンを検出する検出手段と、該検出したフォトンの数を計数して計数値を出力する計数手段と、前記計数値を保持する記憶手段とを有し、予め決められた露光期間ごとに、前記記憶手段に保持した計数値を出力する複数の画素を有する撮像素子から連続して得られた、第１の計数値の差分値と、前記露光期間とに基づいて、単位時間あたりの第２の計数値を求める算出工程と、
    補正手段が、前記第２の計数値に基づいて補正係数を取得し、前記差分値に対して、前記検出の誤差を、前記補正係数により補正する補正工程と、を有し、
    前記補正工程では、前記第２の計数値が第１の値である場合に、該第１の値より小さい第２の値である場合よりも、大きい補正係数を取得することを特徴とする画像処理方法。
25. 前記複数の画素の一部は、遮光されたＯＢ画素であって、
    前記補正工程では、遮光されていない画素から出力され、前記検出の誤差を補正された前記第１の計数値の暗電流成分を前記ＯＢ画素の出力を用いて補正することを特徴とする請求項２１に記載の画像処理方法。
26. コンピュータに、請求項２１乃至２５のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
27. 請求項２６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images