JP4351658B2 - メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置 - Google Patents

Description

本発明は、一般に半導体イメージャに関するものであり、特に半導体イメージャにおける雑音補正に関するものである。

現在、電荷結合装置（ＣＣＤ）より成るイメージセンサ及び相補型金属酸化物半導体（ＣＭＯＳ）より成るイメージセンサを含む種々のイメージャ又はイメージセンサが用いられている。ＣＭＯＳ技術によれば、低価格化、製造の容易化、ＣＣＤイメージセンサに対する高集積化のような多数の利点が得られる。しかし、ＣＭＯＳイメージセンサ技術には、固定パターン雑音（ＦＰＮ）が存在するという欠点がある。固定パターン雑音は、集積回路の製造処理におけるばらつきの為に回路構造が互いに一致しないことにより生じる。ＣＭＯＳイメージセンサにおける固定パターン雑音による影響は、ピクセルの群、代表的にセンサアレイの各列が均一な入力光に応答して相対的に異なる強度を呈するということである。図１は、画像に対する固定パターン雑音の影響を示す。図１において、画像１１０はセンサアレイ１３０を介してＣＭＯＳイメージセンサ１２０により検出される。センサアレイ１３０はピクセル１３２のマトリックスを有している。センサアレイ１３０における雑音の為に、雑音障害を受けた画像１４０がＣＭＯＳイメージセンサ１２０により発生される。固定パターン雑音が、殆ど、雑音障害を受けた画像１４０に現われる列方向ひずみの原因となる。

固定パターン雑音はＣＭＯＳイメージセンサに存在する唯一の雑音源ではない。行雑音（所定の行における全てのピクセルに共通な雑音）も存在するおそれがある。図２において、画像２１０はセンサアレイ２３０を介してＣＭＯＳイメージセンサ２２０により検出される。センサアレイ２３０はピクセル２３２のマトリックスを有している。センサアレイ２３０における雑音の為に、雑音障害を受けた画像２４０がＣＭＯＳイメージセンサ２２０により発生される。行方向雑音が、殆ど、雑音障害を受けた画像２４０に現われる行方向ひずみの原因である。従って、列方向の固定パターン雑音を補正した後でも、行方向雑音が依然として、補正された画像中に現われるおそれがある。

固定パターン雑音の影響を除去するために、通常の校正処理には、周知の光入力に基づく出力を測定する過程と、この出力を予測（期待）値と比較する過程とが含まれている。ＣＭＯＳイメージセンサでは、代表的に、周知の光度及び周波数の光がセンサ上にそそがれ、入力校正信号として用いられる。ある場合には、校正中に、不作動の暗ピクセルのセンサからの出力を用いて、このセンサの出力を予測暗出力と比較するようにすることもできる。センサ装置に互いに不一致が生じない場合には、原則的に、各ピクセルからの電圧信号出力が互いに同じである必要がある。しかし、実際には、均一な入力光刺激がセンサアレイに与えられた際でも、このセンサアレイのピクセル列間でかなり相違する信号出力値が読出される。ピクセル信号出力値と予測ピクセル信号出力値との間の相違は一般にピクセルオフセットと称されている。これらのピクセルオフセットが計算されて、全センサアレイを校正するのに用いられるように記憶される。

オフセット低減化処理を採用する従来のセンサアレイ校正処理では、通常のイメージセンサ動作中に、計算されたそれぞれのオフセットが各ピクセルの出力に適用される。校正されない出力が予測値よりも大きいピクセルの信号出力値は、その対応する大きさのオフセット値だけ低減化される。同様に、校正されない出力が予測値よりも小さいピクセルの信号出力値は、その対応する大きさのオフセット値だけ増大される。従って、動作モードにおいてオフセット値に影響を及ぼす変化がいかなるものであっても、各ピクセルに対しオフセット値を再計算する必要がある。

正確なオフセット値を発生させ且つ記憶させるには、計算時間及び追加のメモリ手段が必要となる。図３は、従来のＣＭＯＳイメージセンサ３００を示す。このイメージセンサ３００は、Ｎ個のピクセル列とＲ個のピクセル行とに配列したピクセルアレイ３１０を有する。１行を読出すと、各列からの並列ピクセル出力（すなわち、Ｎ個のピクセル出力）が、一組のアナログ‐デジタル変換器（ＡＤＣ）に送られる。次に、各ピクセル列からのデジタル出力が一組の読出しバッファ３３０に送られる。代表的なイメージセンサ３００では、デジタルピクセル出力は直列データ流３４０となるように処理される。アレイの各行は行順次で読出される。一般に、この直列データ流３４０には、列方向オフセット校正及び行雑音補正が適用される（ブロック３５０）。換言すれば、直列データ流３４０において各ピクセル出力に対し雑音低減化処理が行われる。その結果、雑音低減化処理がＮ×Ｒ個のピクセル信号全体を読出すのにかなりの遅延を加える。更に、校正中に予測基準値からオフセット値を測定する為、オフセット値を表わすのに多数のビット、従って、大きなメモリ容量が必要となる。

従って、必要とするメモリ容量を少なくして、雑音補正値を有効に発生させてＣＭＯＳイメージャのピクセル出力に与える方法及び装置が必要となる。

本発明は、雑音補正値を有効に発生させてＣＭＯＳイメージャのピクセル出力に与える方法及び装置を提供する。

本発明の代表的な一例では、校正処理中にピクセルオフセット値及び平均ピクセル出力値を計算することにより雑音補正値を発生させる。校正用の行を読む度に、この行の複数のピクセル列からの対応する複数のピクセル出力値に対する平均ピクセル出力値を決定する。更に、複数のピクセル出力の各々と計算した平均ピクセル出力値との差を求めることにより、複数のピクセル出力の各々に対するオフセット値を発生させる。オフセット値は、他の校正用の行におけるピクセルに対しても同様にして求める。次に、各列におけるオフセット値を平均化して各列に対する１つのオフセット値を決定する。

本発明の他の代表的な例では、イメージャ行における複数の光学的に黒のピクセルに対する平均ピクセル出力値を求めることにより、ピクセル出力の行全体に対するオフセット値を計算しうるようにする。光学的に黒のピクセル値に対する平均ピクセル出力値は、しきい値窓外のピクセル値の代わりに平均ピクセル出力値を用い、新たな平均ピクセル値を計算することにより真値に近づけることができる。光学的に黒のピクセルからの出力は信号に無関係な雑音を呈する為、負の平均ピクセル出力をオフセット値として処理することができる。

イメージャによる画像収集中、収集された画像における雑音を、デジタル化されたピクセル出力値とその対応するオフセット値とを加算することにより、低減化することができる。平均及びピクセルオフセット値の計算は、並列入力演算平均モジュールを使用することにより容易にすることができる。

本発明の上述した及びその他の利点及び特徴は、添付図面を参照して行う代表的な実施例の詳細な説明からより一層明らかとなるであろう。
次に、種々の代表的な実施例につき本発明を詳細に説明する。これらの実施例は説明の便宜上のためのみのものであり、本発明はこれらの実施例に限定されるものではない。更に、本発明は、当業者にとって既知であるようにソフトウェア、ハードウエア又はそのいかなる組み合わせを用いても実施しうるものである。

本発明の一実施例では、雑音低減化校正処理は、ＣＭＯＳイメージャからの行順次並列の列ピクセル出力に適用する。この雑音低減化校正処理の結果は、ピクセル出力の直列データ流へのその後の適用のために記憶される。

図４を参照するに、本発明の一実施例により構成したＣＭＯＳイメージャ４００は、ピクセルアレイ４１０と、一組のアナログ‐デジタル変換器（ＡＤＣ）４２０と、一組の読出しバッファ４３０とを有している。ピクセルアレイ４１０は、Ｎ個のピクセル列とＲ個のピクセル行とに配列されている。このピクセルアレイ４１０は、能動領域４１２と、列方向校正領域４１５と、行方向校正領域４１７とを有している。ピクセルアレイ４１０のＮ個のピクセル列からのピクセル出力は、並列ＡＤＣ４２０によりデジタル化され、次に読出しバッファ４３０により一時的に保持される。図３のＣＭＯＳイメージャと同様に、アレイの行の全ての列に対するデジタルピクセル出力は読出しバッファ４３０から直列データ流４４０を介して転送され、アレイの全ての行が行順次に読出される。更に、校正処理中に生ぜしめられた雑音低減化用のピクセルオフセットがメモリ４６０内に記憶され、これらの記憶されたピクセルオフセットが、画像収集及び読出し中に生ぜしめられた直列データ流４４０中のそれぞれのピクセル出力と、合成器４５５において合成される。雑音低減化用のオフセットを、直列データ流４４０から計算せずに、校正期間中のピクセル出力の並列解析により発生させ且つ記憶させることにより、より多くのピクセル出力が所定の期間で解析され、雑音低減化用のオフセットがより迅速に発生される。更に、以下に、より詳細に説明するように、オフセット値を記憶するのに少数のメモリビットで足り、オフセットを記憶するのに必要な容量を小さくしうる。

雑音低減化用のオフセットの発生は、列方向オフセット校正モジュール４５２及び行雑音補正モジュール４５４を介して実行される。雑音低減化ファクタ発生器（ブロック４５０）により発生された雑音低減化用のオフセットは雑音低減化メモリブロック４６０内に記憶される。雑音低減化メモリブロック４６０内に記憶された雑音低減化用のオフセットは、通常のイメージャ動作中に、直列データ流４４０にあるピクセル出力を必要に応じ変えるのに用いられる。

図４に示す本発明の代表的な実施例によれば、列方向の雑音低減化用のオフセットはイメージャによりピクセルアレイの校正中に発生させる。イメージャの校正は、通常のイメージャ動作の前、又はイメージャが校正を必要としうるいかなる時にも行なわれる。雑音低減化用のオフセットの発生は、基準光信号又は基準電圧信号を列方向校正領域４１５に供給することにより達成される。供給される基準光信号は、いかなる入射光も存在しないことを表わす信号、又は供給される光のその他の基準値とすることができる。或いはまた、供給される基準電圧信号は、内部的にピクセルアレイ４１０に供給され、光信号の供給をシミュレートする既知の電圧とすることができる。列方向校正領域４１５は、ピクセルアレイ４１０のうちの数個の行を有し、これらの行は通常ピクセルアレイ４１０のエッジ付近に位置する。列方向オフセット校正モジュール４５２は、基準光信号又は基準電圧信号が列方向校正領域４１５に供給されることにより得られるピクセル出力を読出す。列方向オフセット校正モジュール４５２は、ピクセルの所定の行に対し、Ｎ個のピクセル出力をｎ個のピクセル出力ずつ読み取る。ここに、ｎは列方向オフセット校正モジュール４５２に対する入力数に関連する。例えば、列方向校正モジュールが８個のみの入力を有する場合（この場合ｎは８に等しい）、１０２４個のピクセル出力（すなわち、１０２４列）を含む各行は、各組が８個のピクセル出力となる１２８組で読出される。ｎ個のピクセル出力の各組（上述した例では、８個のピクセル出力の各組）に対し、平均ピクセル出力を求める。次に、この平均値からｎ個のピクセル出力の各々に対するオフセット値を計算する。計算されたオフセット値の各々は、ｎ個のピクセル出力の１つと、ｎ個のピクセル出力の対応する組の対応する平均ピクセル出力との間の差を表わす。オフセット値を計算するこの方法は、ピクセル出力と、（所定の基準信号の場合に各ピクセルに対し予測されるピクセル出力である）予測ピクセル出力との差に関連してオフセット値を決定する代表的な方法と相違するものである。この代表的な方法とは相違して、平均ピクセル出力を参照してオフセット値を計算することにより、より少ないメモリを用いてオフセット値を記憶することができる。換言すれば、列方向オフセット校正モジュール４５２は、（予測されるピクセル出力に対して発生され）各々が多数のメモリビットを必要とし、場合に応じ大きくなるピクセルオフセット値を記憶するのではなく、（ｎ個のピクセル出力の平均値に対して発生され）各々が少数のメモリビットしか必要とせずにメモリの条件を軽減させる比較的小さなｎ個のピクセルオフセット値を記憶するものである。このことを図５及び図６Ａにおいて明らかとする。

図５は、従来のイメージャ３００（図３）の標準オフセットメモリ技術（ブロック５１０）と、本発明の低減化オフセットメモリ技術（ブロック５２０）とがそれぞれ必要とするビット深さを、ｎ個のピクセル出力の組に適用した場合につき示す。標準のオフセットメモリ技術（ブロック５１０）では、ｎ個の列の組（便宜上ｎは８に等しいものとする）からのピクセル出力の各々が予測したピクセル出力５１４と比較され、ｎ個のピクセル出力の各々と予測ピクセル出力５１４との間の差を表わす対応のピクセルオフセットが計算される。例示にすぎないが、代表的なピクセル出力値と予測ピクセル出力５１４とを図５に示す。ブロック５１０における例示の値を用いて、ｎ個のピクセルの各々に対するオフセット値を計算してメモリブロック５１２に記憶する。本例では、メモリブロック５１２は、差が大きくなるおそれがある為に各オフセット値を記憶するのに少なくとも５ビットのビット深さを必要とする。図示の例では、ピクセル値は二進値で０〜２５５の範囲をとる。校正基準レベル５１４は約１５４の値に設定されている。これに対し、ブロック５２０は、本発明と関連してオフセット値のメモリ条件を軽減させることを示している。ブロック５２０において用いる代表的なピクセル出力値をブロック５１０において用いたのと同じにする。これらの代表的なピクセル出力値を用いて、ｎ個のピクセルの組に対する平均ピクセル出力値５２６を発生させ、次にｎ個のピクセル出力の各々につき、平均ピクセル出力値５２６対するオフセット値を計算する。得られたオフセット値をメモリブロック５２２に記憶する。本例では、平均ピクセル値が実際のピクセル値に接近する為、ピクセルオフセット値を記憶するのに３ビットのみのビット深さで足りる。

図６Ａは、読出しバッファ４３０（図４）からのｎ個のピクセル出力の各組に対し校正モジュール４５２において並列に用いうる数個の列方向オフセット校正回路の１つを示すブロック線図である。図６Ａの回路では、複数の演算平均ユニット６１０が用いられており、その各々がこれらユニットに対するｎ個の入力の各対に対し平均値を決定するとともに、この平均値からのオフセット値を決定する。演算平均ユニット６１０は図示のように加算器６２０と一緒に配置されて単一の回路６０５を構成しており、この回路６０５がこれに入力信号ＤＩＮ０〜ＤＩＮ７として供給されるｎ個のピクセル出力の平均値を出力端６３０に生ぜしめるのと一緒に、供給される信号の各々に対しこの平均値からのピクセルオフセット値を出力ＯＦＳＴ０〜ＯＦＳＴ７として生ぜしめる。例示にすぎないが、前述したようにｎを８に等しくする。本例では、演算平均ユニット６１０と加算器６２０とを用いるだけで、ｎ個の入力ピクセル出力が、平均ピクセル出力６３０（信号ＤＯＵＴとして示す）と、ｎ個の低減化されたメモリオフセット値（信号ＯＦＳＴ０〜７として示す）とに変換される。列方向オフセット校正モジュールはメモリを含んでいない為、計算されたオフセット値ＯＦＳＴ０〜ＯＦＳＴ７が遅延なく発生される。演算平均ユニット６１０の一例を図６Ｂに示す。図６Ｂの演算平均ユニット６１０は、加算器６１４と、乗算器６１６と、割算器６１８とを用いるだけで２つの入力の平均値及びこの平均値からのオフセット値を出力させる。

図６に示すオフセット計算処理は、行内のｎ個のピクセル出力の各組に対しそれぞれ回路６０５を用いて、この各組に対し繰返す。ｎがＮに等しい場合には、回路６０５は１つのみで足りる。或いはまた、行内のｎ個のピクセル出力の各組を単一回路６０５に多重送信しうる。いずれにしても、Ｎ個のピクセル出力の行全体を処理した後に、（図４の）列方向オフセット校正モジュール４５２がＮ／ｎ個の平均ピクセル出力及びＮ個のオフセット値を出力する。

１行当りの平均ピクセル出力の個数が１よりも多い（Ｎ／ｎが１よりも大きい）場合、ｎ個のピクセル出力の各組の平均ピクセル出力相互間の変動を考慮するために、回路６０５を、更なる回の平均化において再度用いる必要がある。二回目の平均化においては、前に計算されたｎ個の平均ピクセル出力の各組に対する平均ピクセル出力が求められる。例えば、前述したように、Ｎが１０２４に等しく、ｎが８に等しいピクセルアレイは最初に１２８個の平均ピクセル出力を生じる。これらの１２８個の平均ピクセル出力を更に、回路６０５を用いる二回目の平均化処理で平均化して１６個（ｎが８に等しい場合に、１２８をｎで割る）の平均ピクセル出力を得る。三回目の平均化処理により２つの平均ピクセル出力が得られる。四回目の平均化処理により、Ｎ個のピクセル出力の行全体に対し１つの平均ピクセル出力が得られる。Ｎ個のピクセル出力に対するオフセットは、各回の平均化処理により得られる関連のオフセットを加算することにより計算される。このようにすることにより、Ｎ個のピクセルの各々に対するオフセットが、ピクセル出力値と行のＮ個のピクセル全てに対する平均出力値との間の差を表わすようになる。

図６Ａにつき説明したオフセット計算処理は、行中のｎ個のピクセル出力の各組に対し繰返されるとともに列方向校正領域４１５における全ての行に対し繰返される為、この列方向校正領域４１５における全てのピクセルに対しオフセット値が求められる。換言すれば、アレイ中の各列は、列方向校正領域４１５における行数と同じ個数のオフセット値と関連する。平均列オフセット値は各列に対し計算したオフセットから得られ、メモリ４６０に記憶される。平均を考慮したオフセット値を記憶するのに必要とするビット数は少なくて足りる為、オフセットを固定の基準点から決定する場合よりも、メモリ４６０の容量を少なくしうる。

オフセット値が上述した処理により計算されると、これらのオフセット値を用いて列方向雑音を低減化させることができる。読出し処理中、直列データ流４４０（図４）におけるデジタルピクセル出力は雑音を有する。この雑音は、各出力ピクセル値と、当該ピクセルの対応する平均列オフセット値とを合成回路４５５（図４）において加算することにより低減させることができる。このようにすることにより、ハードウエアが原因となる、ピクセル出力値の列方向変化がＮ個の列のピクセル出力全てに亘り平滑となる。

アレイの異なる行からのピクセルも同様に平滑にするために、本発明の他の実施例において行雑音補正モジュール４５４（図４）を用いることができる。再び図４を参照するに、行雑音補正モジュール４５４はノイズトレラントな（雑音に影響されない）行方向オフセット値を発生するように作用する。これを達成するために、行雑音補正モジュール４５４が行方向校正領域４１７から生じるピクセル出力信号を読み取る。行方向校正領域４１７におけるピクセルは光学的に黒のピクセルであり、このことは、行方向校正領域４１７におけるピクセルが光源にさらされないということを意味する。その結果、行方向校正領域４１７におけるピクセルからのピクセル出力信号は信号に依存しない雑音を呈する。ピクセルアレイ４１０から各行が読出されるにつれ、行方向校正領域４１７におけるピクセルからのピクセル出力信号がｎ個の出力信号ずつ行雑音補正モジュール４５４に入力される。ｎ個の出力信号の各組当り、平均出力信号が計算される。行方向校正領域４１７からの平均出力信号の計算は、図６Ａに示す、列方向校正モジュール４５２に対し用いたのと同じ回路を用いて達成しうる。例えば、図６Ａの回路を用いることにより、行雑音補正モジュール４５４が行方向校正領域４１７におけるピクセルの行からのｎ個のピクセル出力の平均を計算する。行方向校正領域４１７におけるピクセルの個数がｎよりも大きい場合には、行方向校正領域４１７におけるピクセルの行全体に対し平均ピクセル出力値が得られるまで図６Ａの回路を繰返し用いる。計算された平均は信号に依存しない雑音を表わす為、計算された平均ピクセル出力をピクセル出力のそれぞれの行に対するオフセット値として用いることができる。雑音を低減させるには、行中の各ピクセル出力から、対応して計算した平均ピクセル出力の量、すなわち、行方向校正領域４１７からのオフセットを減じる。

行雑音補正モジュール４５４により用いられる平均化処理は、この行雑音補正モジュール４５４により発生される計算された平均ピクセル出力が、行方向オフセットの計算中に平均ピクセル出力から著しく異なるピクセル出力により過度に影響されないようにするものである。例えば、図６Ａに示すような平均化回路を用いた場合に、ｎ個のピクセル出力値の１つが残りのｎ−１個のピクセル出力値と著しく異なるものとすると、ｎ個のピクセル出力のこの組に対し計算した平均ピクセル出力は雑音性のこの１つのピクセル出力値の方向にシフトする。ｎ個のピクセルの組の平均ピクセル出力値における上述した雑音に関連するシフトを回避するために、本発明の第２の実施例では、計算した平均ピクセル出力値を真値に近づける。真値に近づけた行方向平均ピクセル出力は、大きな雑音を有するピクセル出力の値の代わりに最も新たに計算した行方向平均ピクセル出力を用いるピクセル出力の多重平均をとることにより決定される。

図７は、本発明の第２実施例に応じて、図４の行雑音補正モジュール４５４により実行される行雑音補正方法を示す。ブロック７１０では、図６Ａにつき説明した回路を用いて行の複数のピクセル出力から得られるｎ個のピクセル出力の組から平均ピクセル出力７１２が計算される。この場合も、例示にすぎないが、ｎ個のピクセル出力を（Ｄ０〜Ｄ７で示すように）８個のピクセル出力とする。ｎ個のピクセル出力に対する種々の値の例を図示してある。例えば、Ｄ０は４の値を有し、Ｄ１は６６の値を有し、以下図示の通りである。これらのピクセル出力は光学的に黒のピクセルから成るものである為、これらのピクセル出力は、列方向校正処理中に発生される出力よりも著しく小さい。ピクセル出力Ｄ０〜Ｄ７の計算された平均ピクセル出力７１２は、図６Ａに示すような回路を用いて発生させる。ｎ個のピクセルより成る１つの組に対しブロック７１０の例示のピクセル出力値Ｄ０〜Ｄ７を用いると、計算した平均ピクセル出力７１２は４６となる。ブロック７１０では、ピクセル出力Ｄ０は、計算された平均ピクセル出力７１２から、予め決定した雑音しきい値７１４を越えて変化しているものとして識別される。この場合、例示にすぎないが、予め決定した雑音しきい値を２３に設定したものであり、このことは、計算された平均ピクセル出力７１２から±２３の範囲内にないいかなるピクセル出力も過大雑音を有するピクセル出力として識別されるということを意味する。従って、平均ピクセル出力を真値に近づけるために、ブロック７２０において、ピクセル出力Ｄ０の値を、ｎ個のピクセルの組に対し前に計算した平均ピクセル出力７１２に等しく設定する。すなわち、ブロック７２０における信号Ｄ０は４から４６に変更されている。ブロック７２０においては、ｎ個のピクセルの組に対し新たな平均ピクセル出力７２２が計算され、この計算された新たな例の値は５１である。この場合、ピクセル出力Ｄ５と新たに計算された平均ピクセル出力７２２との差が予め決定された雑音しきい値７２４を越えており、このピクセル出力Ｄ５もこの平均ピクセル出力７２２とは著しく相違するピクセル出力として識別される。従って、ブロック７３０では、ピクセル出力Ｄ０及びＤ５の双方が、前に計算した平均ピクセル出力７２２の値に等しく設定される（これら双方のピクセル出力は計算した平均ピクセル出力７２２の値である５１に設定される）。これらの新たな値を用いて、新たな平均ピクセル出力７３２が計算される。この処理は、新たに計算した平均ピクセル出力がその前に計算した平均ピクセル出力と同じ値になるまで続けられる。換言すれば、この処理は、最後に計算した平均値に基づく雑音しきい値を越えるピクセル値がｎ個のピクセルの組に存在しなくなるまで続けられる。このことは、図７では、ブロック７５０において平均ピクセル出力７５２が計算されると、この平均ピクセル出力７５２はブロック７４０の平均ピクセル出力７４２と等しい値となることにより生じる。他の何れかのピクセル出力が予め決定された雑音しきい値７１４、７２４、７３４、７４４、７５４を越える場合には、これらの出力もその前に計算された平均ピクセル出力と等しく設定される。

図７に示す方法を用いることにより、行雑音校正領域４１７（図４）の各行におけるｎ個のピクセル出力の各組に対し、真値に近づけたノイズトレラントな時間経過型の平均ピクセル出力が決定される。行方向校正領域４１７における１行当りの出力数がｎを越える場合には、図７の方法及び図６Ａの回路を用いる平均化の回数は複数となり、その結果、各行に対しノイズトレラントな単一の平均ピクセル出力が得られる。本発明によれば、大きな雑音、すなわち、予め決定した雑音しきい値を越える雑音は平均ピクセル出力の計算に当り考慮されない。このようにして行方向オフセット値が発生され、これらをメモリ４６０に記憶することができる。行方向オフセット値が計算されると、列方向オフセットを前述したようにして用いたのと同様にして、これら列方向オフセット値を用いて行方向雑音を低減させることができる。読出し処理に当り、直列データ流４４０（図４）におけるデジタルピクセル出力の雑音は、行中の各出力ピクセル値を合成回路４５５（図４）においてこのピクセルの対応する平均行方向オフセット値だけ減少させることにより低減させることができる。このようにして、ピクセル出力値における行方向変動がピクセル出力の全ての行に亘り平滑化される。

図８は、行雑音補正モジュール４５４（図４）を構成するノイズトレラントな時間経過型平均化回路８００を示すブロック線図である。このノイズトレラントな時間経過型平均化回路８００は、行方向校正領域４１７における行のｎ個のピクセルの組に対し入力としてデジタルピクセル出力信号８１０を受ける。この回路８００は、行方向校正領域４１７の各行におけるｎ個のピクセルの組の個数に相当する複数個存在する。或いはまた、用いる回路８００を１つとすることができ、この場合、行中のｎ個のピクセルの各組を回路８００中に多重送信して処理する。更に、行方向校正領域４１７内に１行当りｎ個のみのピクセルしか存在しない場合には、回路８００は１つ必要とするだけである。回路８００に入力されるデジタルピクセル出力信号８１０は、複数個の入力セレクタ８２０により入力として選択される。これらの入力セレクタの役割は以下の通りである。入力セレクタ８２０の出力は、図６Ａに示す回路のような平均化回路８３０に入力される。この平均化回路８３０の出力信号には複数のオフセット信号８１４と、１つの平均ピクセル出力信号８１６とが含まれる。オフセット信号８１４の各々が比較器８４０により評価されて、この信号が予め決定した雑音しきい値を越えているか否かが決定される。オフセット信号８１４がこのしきい値を越えていると、対応する入力セレクタ８２０が雑音低減処理の後の繰返し過程に対する入力として平均ピクセル出力信号８１６を選択するように設定される。随意ではあるが、オフセット信号８１４がしきい値を越えると、対応の加算器８５０をも動作させるようにすることができる。随意ではあるが、動作させた加算器８５０は、回路８３０からの出力としての対応のオフセット信号８１４と、記憶された対応のオフセット信号とを加算する。このようにすることにより、随意ではあるが、図７の処理を依然として用いて大きな雑音のピクセル出力に対するオフセット値を計算して記憶させ、大きな雑音により悪影響を受けない平均ピクセル出力値を得るようにすることができる。この雑音低減モジュール８００は、記憶した平均ピクセル出力８１９と計算した平均ピクセル出力８１６とが比較器８７０により互いに等しいと見いだされるまで繰返し用いられる。

本発明の第３実施例では、第１実施例の列方向校正モジュール４５２と、第２実施例の行雑音補正モジュール４５４とを一緒に用いて、ピクセルアレイ４１０の能動領域４１２における各ピクセルに対し２つのオフセットを生ぜしめる。本発明のこの第３実施例によれば、各ピクセルに対し２つのオフセット値を用い、従ってピクセルアレイの双方の方向において画像出力を平滑にすることに加えて、列方向オフセット校正モジュール４５２（図４）と列雑音補正モジュール４５４（図４）との双方が図６Ａに示す同じ回路を用いることができ、従ってオフセット計算処理に必要とする回路面積が著しく低減するという利点が得られる。しかも、オフセット計算処理がｎ個の並列ピクセル出力の組に作用する為に、全計算時間が少なくなる。更に、使用する回路が簡単となる為に、ＣＭＯＳイメージャを動作させるのに用いる場合のある追加の誤り検査及び解決過程も簡単となる。

図４を再度参照するに、ｎ個のピクセルの組に対し真値に近づけた平均からオフセット値を計算した後、行及び列オフセット値の双方がメモリ４６０内に記憶される。実際の画像収集中、雑音を低減させるために、記憶されたオフセット値が直列データ流４４０における対応のピクセル出力値と加算される。

図９は、上述した本発明の第３実施例の過程を要約するフローチャートである。最初に、イメージャの校正が必要であるか否かを決定する（ブロック９０５）。校正は、イメージャが最初にターンオンされた際、又はイメージャの動作モードが変更された際に必要となるか、或いは所望に応じ実行することができる。校正が必要であることが決定されると、基準光信号又は基準電圧信号がピクセルアレイの列方向校正領域に供給される（ブロック９１０）。次に、列方向校正領域における行からのピクセル出力を含む全てのピクセル出力をデジタル化する（ブロック９１５）。次に、ブロック９１７において、どの種類のオフセットを測定して供給する必要があるかを判定する。列方向のオフセットを決定する必要がある場合には、列方向校正モジュールがｎ個のデジタルピクセル出力を列方向校正領域から読出す（ブロック９２０）。これらのｎ個のピクセル出力からその平均ピクセル出力を決定し、関連のピクセルオフセット値を計算する。列方向校正領域の同じ行からの追加のデジタルピクセル出力をも、追加の列方向校正モジュールに入力させるか、或いは単一の列方向校正モジュールに多重送信する。列方向校正モジュールを反復的に用いることにより、列方向校正領域４１５におけるピクセルの各行に対し平均列信号出力値が決定される。対応する平均列信号出力値に関連して測定した個々のピクセルオフセットは列方向校正領域４１５における各ピクセルに対しても決定する。列方向校正領域内の複数の行における各列に対し平均の列オフセットを求める。従って、アレイ中の各列に対し列オフセット値が決定される。この計算後、列オフセットが記憶される（ブロック９３５）。

ピクセルが行方向校正領域から読出される場合、行方向校正領域４１７内に位置するピクセルの部分の各行に対する平均ピクセル出力を、列オフセット値を発生させるのに用いるのと同じ基本演算平均回路を用いるノイズトレラントな時間経過型の平均化処理により決定する（ブロック９２５）。各行に対し計算された平均ピクセル出力の負値が行オフセット値である。その理由は、行方向校正領域４１７におけるピクセルは光学的に黒である為である。計算した行オフセット値を記憶し（ブロック９３５）、次にこの行オフセット値と記憶されている列オフセット値との双方を、対応する行から読出したピクセル出力に与える（ブロック９５５Ｂ）。オフセットをピクセル出力の行に与えた後、次の行をアレイから読出す。再び、行オフセット値を計算して記憶し、次にこの新たに計算した行オフセットと記憶されている列オフセット値とを新たに読出した行のピクセル出力に与える。この処理は、ピクセルアレイ４１０から全ての行を読出し、このピクセルアレイの能動領域における各行に対し行オフセット値を計算するまで続ける。

計算したオフセットは、校正中に、収集した画像に与えることができる為、上述した校正処理は、イメージャにより実行されるいかなる、又は全ての画像収集に対し同時に用いることができる。或いはまた、オフセット値を記憶し、これを非校正モードで用いることができ、この場合、画像を収集し（ブロック９４５）、これによるピクセル信号をデジタル化し（ブロック９５０）、次に記憶されている行及び列の双方のオフセットを対応するピクセルに与える（ブロック９５５Ａ）。得られた信号における雑音は、ピクセルオフセット値と各対応のデジタルピクセル出力信号とを加算することにより低減される。本発明の第１実施例では、適用した雑音低減化処理により、収集した画像の列方向の平滑化を達成する。この列方向の平滑化は、ピクセルオフセット値とピクセル出力との加算による直接的な結果によるものである。本発明の第２実施例では、収集した画像が行方向の平滑化を呈する。この行方向の平滑化は、ノイズトレラントな平均行ピクセル出力値を決定する、従って、ピクセルオフセットの計算結果をイメージャアレイの行に亘ってより均一にする結果によるものである。本発明の第３実施例では、収集した画像が行方向及び列方向の双方において平滑となる。

上述したところでは、本発明の代表的な実施例を示したが、本発明はハードウエアの実施に限定されないこと、当業者にとって明らかである。本発明は、ハードウエア、ソフトウェア又はそのいかなる組み合わせでも実施しうるものである。

本発明により構成したピクセル列及び行補正システムを有するＣＭＯＳイメージャ装置１０３０を含む代表的なプロセッサ主体システム１０００を図１０に示す。このプロセッサ主体システムは、ＣＭＯＳイメージャ装置を含むことのできるデジタル回路を有するシステムの代表例である。このようなシステムには、コンピュータシステム、カメラシステム、スキャナ、マシンビジョンシステム、ビークルナビゲーションシステム、テレビジョン電話、監視システム、オートフォーカスシステム、スタートラッカーシステム、動き検出システム、画像安定システムが含まれるが、これらに限定されるものではなく、その他の撮像分野も含まれるものである。

カメラシステムのようなプロセッサシステムは、例えば一般に、バス１０９０を介して入力／出力（Ｉ／Ｏ）装置１０２０と通信するマイクロプロセッサのような中央処理ユニット（ＣＰＵ）１０１０を有している。ＣＭＯＳイメージャ１０３０もバス１０９０を介してシステム構成素子と通信する。プロセッサ主体システム１０００はランダムアクセスメモリ（ＲＡＭ）１０４０をも有しており、撮像システムの場合には、バス１０９０を介してＣＰＵ１０１０とも通信する取外し自在のメモリ１０５０のような周辺装置を含むことができる。ＣＭＯＳイメージャ１０３０は、フォトゲート又はフォトダイオードのようなフォトセンサを含むピクセルを有する集積回路として構成するのが好ましい。このＣＭＯＳイメージャ１０３０は、単一の集積回路においてメモリ記憶装置を有する又は有しない、ＣＰＵ、デジタル信号プロセッサ又はマイクロプロセッサのようなプロセッサと組み合わせたり、このプロセッサとは異なるチップ上に設けたりすることができる。

本発明の種々の実施例を上述したが、これらは例示にすぎず、本発明をこれらに限定するものではない。本発明の精神及び範囲を逸脱することなしに、本発明に種々の変更を施こしうることは当業者にとって明らかである。従って、本発明は上述した実施例の何れによっても制限されるものではない。

図１は、従来の撮像システムにより処理される画像への固定パターン雑音の影響を示すこの撮像システムのブロック線図である。 図２は、従来の撮像システムにより処理される画像への行方向雑音の影響を示すこの撮像システムのブロック線図である。 図３は、従来のＣＭＯＳイメージャのブロック線図である。 図４は、本発明の代表的な実施例によるＣＭＯＳイメージャのブロック線図である。 図５は、本発明の代表的な実施例によりピクセルオフセット値を記憶するメモリ条件を示すブロック線図である。 図６Ａは、本発明の代表的な実施例による演算平均ユニットを有する並列入力演算平均回路を示すブロック線図である。 図６Ｂは、図６Ａの１つの演算平均ユニットの一例を示すブロック線図である。 図７は、本発明の代表的な実施例による、多フレームでノイズトレラントな平均ピクセル出力値を計算する方法を示すブロック線図である。 図８は、並列入力演算平均回路を図７の方法により如何に用いるかを示す本発明の代表的な実施例のブロック線図である。 図９は、本発明の代表的な実施例による雑音低減化処理の過程を示すフローチャートである。 図１０は、本発明の代表的な実施例によるプロセッサシステムのブロック線図である。

Claims (22)

1. ピクセル行におけるピクセル出力値に対する平均ピクセル出力値を計算する過程と、ピクセル出力の各々と計算された平均ピクセル出力値との差を計算することにより、行の各ピクセル出力に対しオフセット値を発生させる過程と、これらのオフセット値を記憶する過程とを有するイメージャ校正を実行する過程と、
   画像を収集する過程と、
   前記オフセット値の各々と画像の対応のピクセル値とを合成する過程と
   を具えるイメージャのピクセル信号補正用のメモリ容量低減化方法。
2. 請求項１に記載のイメージャのピクセル信号補正用のメモリ容量低減化方法において、並列入力演算平均モジュールを用いることにより、前記ピクセル出力値に対し、オフセット値を発生させるとともに平均ピクセル出力値を計算するイメージャのピクセル信号補正用のメモリ容量低減化方法。
3. 請求項１に記載のイメージャのピクセル信号補正用のメモリ容量低減化方法において、前記ピクセル出力値は、Ｎ個のピクセルより成るイメージャ行におけるｎ個のピクセルの各組に対し平均ピクセル出力値を計算し、次に、Ｎ／ｎ個の平均ピクセル出力値の組に対する平均ピクセル出力値を決定することにより計算するイメージャのピクセル信号補正用のメモリ容量低減化方法。
4. 請求項１に記載のイメージャのピクセル信号補正用のメモリ容量低減化方法において、この方法が更に、
   行の光学的に黒の部分からのピクセルに対する平均ピクセル出力を求めることにより、行全体に対する追加のオフセット値を決定する過程
   を有するイメージャのピクセル信号補正用のメモリ容量低減化方法。
5. 請求項４に記載のイメージャのピクセル信号補正用のメモリ容量低減化方法において、平均出力値を計算する前記過程が更に、
   光学的に黒のピクセル出力値に対し最初の平均ピクセル出力値を計算する過程と、
   この最初の平均ピクセル出力値に基準平均ピクセル出力値を設定する過程と、
   この基準平均ピクセル出力値とは、予め決定したしきい値だけ異なるピクセル出力値を識別する過程と、
   この識別したピクセル出力値の代わりに前の基準平均ピクセル出力値を用いた後に新たな基準平均ピクセル出力値を決定する過程と
   を有するイメージャのピクセル信号補正用のメモリ容量低減化方法。
6. 請求項５に記載のイメージャのピクセル信号補正用のメモリ容量低減化方法において、この方法が更に、
   前記新たな平均ピクセル出力値がその前の基準平均ピクセル出力値に等しいか否かを求める過程と、
   前の基準平均ピクセル出力値を前記新たな平均ピクセル出力値に置き換える過程と、
   新たに決定される平均ピクセル出力値がその前の基準平均ピクセル出力値に等しくなるまで、ピクセル出力値を識別する前記過程、新たな基準平均ピクセル出力値を決定する前記過程、新たな平均ピクセル出力値がその前の基準平均ピクセル出力値に等しいか否かを求める前記過程及び新たな平均ピクセル出力値に置き換える前記過程を繰返す過程と
   を有するイメージャのピクセル信号補正用のメモリ容量低減化方法。
7. 請求項６に記載のイメージャのピクセル信号補正用のメモリ容量低減化方法において、基準平均ピクセル出力値とは、予め決定したしきい値だけ異なるピクセル出力値が存在しなくなるまで、ピクセル出力値を識別する前記過程、新たな基準平均ピクセル出力値を決定する前記過程、新たな基準平均ピクセル出力値がその前の基準平均ピクセル出力値に等しいか否かを求める前記過程及び新たな基準平均ピクセル出力値に置き換える前記過程を繰返すイメージャのピクセル信号補正用のメモリ容量低減化方法。
8. イメージャ行における複数のピクセル列と関連する対応の複数のピクセル出力値に対する平均ピクセル出力値を決定するピクセル値補正回路と、
   複数のピクセル出力の各々と計算した平均ピクセル出力値との差を計算することにより、複数のピクセル出力の各々に対するオフセット値を発生させるように構成した列方向オフセット校正モジュールと、
   これらオフセット値を記憶する記憶回路と、
   各オフセット値を対応のピクセル出力信号と合成するように構成した加算回路と
   を具え、前記オフセット値はイメージャ雑音を低減させるのに用いられるようにしたイメージャのメモリ容量低減化雑音低減化回路。
9. 請求項８に記載のイメージャのメモリ容量低減化雑音低減化回路において、並列入力演算平均モジュールを用いることにより、オフセット値を発生させるとともに平均ピクセル出力値を計算するようになっているイメージャのメモリ容量低減化雑音低減化回路。
10. 請求項８に記載のイメージャのメモリ容量低減化雑音低減化回路において、複数のピクセル出力値が、Ｎ個のピクセルより成るイメージャ行におけるｎ個のピクセルと関連し、イメージャ行におけるピクセルの複数の組でその各組がｎ個のピクセルより成る当該各組に、前記ピクセル値補正回路、前記列方向オフセット校正モジュール、前記記憶回路及び前記加算回路が適用されるようになっているイメージャのメモリ容量低減化雑音低減化回路。
11. 請求項８に記載のイメージャのメモリ容量低減化雑音低減化回路において、この雑音低減化回路が更に、イメージャ行における複数の光学的に黒のピクセルに対する平均ピクセル出力を求めることにより、複数のピクセル出力に対する追加のオフセット値を決定する行方向オフセット校正モジュールを有しているイメージャのメモリ容量低減化雑音低減化回路。
12. 請求項１１に記載のイメージャのメモリ容量低減化雑音低減化回路において、前記行方向オフセット校正モジュールは更に、複数の光学的に黒のピクセル出力値に対する最初の平均ピクセル出力値を計算し、この最初の平均ピクセル出力値に基準平均ピクセル出力値を設定し、この基準平均ピクセル出力値とは、予め決定したしきい値だけ異なるピクセル出力値を識別し、この識別されたピクセル出力値の代わりに前の基準平均ピクセル出力値を用いた後に新たな基準平均ピクセル出力値を決定するように構成されているイメージャのメモリ容量低減化雑音低減化回路。
13. 請求項１２に記載のイメージャのメモリ容量低減化雑音低減化回路において、前記行方向オフセット校正モジュールは更に、新たな平均ピクセル出力値が前の基準平均ピクセル出力値に等しいか否かを求め、前の基準平均ピクセル出力値を新たな平均ピクセル出力値に置き換え、新たに決定される平均ピクセル出力値がその前の基準平均ピクセル出力値に等しくなるまで、ピクセル出力値を識別する過程、新たな基準平均ピクセル出力値を決定する過程、新たな平均ピクセル出力値がその前の基準平均ピクセル出力値に等しいか否かを求める過程及び新たな平均ピクセル出力値に置き換える過程を繰返すように構成されているイメージャのメモリ容量低減化雑音低減化回路。
14. 請求項１３に記載のイメージャのメモリ容量低減化雑音低減化回路において、この雑音低減化回路は、基準平均ピクセル出力値とは、予め決定したしきい値だけ異なるピクセル出力値が存在しなくなるまで、ピクセル出力値を識別する前記過程、新たな基準平均ピクセル出力値を決定する前記過程、新たな基準平均ピクセル出力値がその前の基準平均ピクセル出力値に等しいか否かを求める前記過程及び新たな基準平均ピクセル出力値に再設定する前記過程を繰返すように構成されているイメージャのメモリ容量低減化雑音低減化回路。
15. イメージャ行におけるピクセルの組からのピクセル値をそれぞれ用いる入力端の組と、
    これらの入力端に供給されるピクセル値から平均ピクセル値を発生させ、供給される前記ピクセル値の各々に対し前記平均ピクセル値からの対応オフセット値を決定する補正値決定回路と、
    前記入力端に供給されるピクセル値の各々に対し対応のオフセット値と前記平均ピクセル値とを合成する手段と
    を具えるイメージャピクセル補正値発生用のメモリ容量低減化装置。
16. 請求項１５に記載のイメージャピクセル補正値発生用のメモリ容量低減化装置において、この装置が更に、前記オフセット値を記憶するメモリを具えているイメージャピクセル補正値発生用のメモリ容量低減化装置。
17. 請求項１５に記載のイメージャピクセル補正値発生用のメモリ容量低減化装置において、並列入力演算平均モジュールを用いることにより、オフセット値を発生させるとともに平均ピクセル値を計算するようになっているイメージャピクセル補正値発生用のメモリ容量低減化装置。
18. 請求項１５に記載のイメージャピクセル補正値発生用のメモリ容量低減化装置において、前記補正値決定回路が、イメージャ行におけるピクセルの複数の順次の組に対する平均ピクセル値及び対応のオフセット値を発生するようになっているイメージャピクセル補正値発生用のメモリ容量低減化装置。
19. 請求項１５に記載のイメージャピクセル補正値発生用のメモリ容量低減化装置において、前記補正値決定回路は更に、イメージャ行における複数の光学的に黒のピクセルに対する平均ピクセル出力を求めることにより、イメージャ行における全てのピクセル値に対する追加のオフセット値を決定するように構成されているイメージャピクセル補正値発生用のメモリ容量低減化装置。
20. 請求項１９に記載のイメージャピクセル補正値発生用のメモリ容量低減化装置において、前記補正値決定回路は更に、入力の組に対する最初の平均ピクセル値を計算し、この最初の平均ピクセル値に基準平均ピクセル値を設定し、この基準平均ピクセル値とは、予め決定したしきい値だけ異なるピクセル値を識別し、この識別されたピクセル値の代わりに前の基準平均ピクセル値を用いた後に新たな基準平均ピクセル値を決定するように構成されているイメージャピクセル補正値発生用のメモリ容量低減化装置。
21. 請求項２０に記載のイメージャピクセル補正値発生用のメモリ容量低減化装置において、前記補正値決定回路は更に、新たな平均ピクセル値がその前の基準平均ピクセル値に等しいか否かを求め、前の基準平均ピクセル値を新たな平均ピクセル値に置き換え、新たに決定される平均ピクセル値がその前の基準平均ピクセル値に等しくなるまで、ピクセル値を識別する過程、新たな基準平均ピクセル値を決定する過程、新たな平均ピクセル値がその前の基準平均ピクセル値に等しいか否かを求める過程及び新たな平均ピクセル値に置き換える過程を繰返すように構成されているイメージャピクセル補正値発生用のメモリ容量低減化装置。
22. 請求項２１に記載のイメージャピクセル補正値発生用のメモリ容量低減化装置において、前記補正値決定回路は、基準平均ピクセル値とは、予め決定したしきい値だけ異なるピクセル値が存在しなくなるまで、ピクセル値を識別する前記過程、新たな基準平均ピクセル値を決定する前記過程、新たな基準平均ピクセル値がその前の基準平均ピクセル値に等しいか否かを求める前記過程及び新たな基準平均ピクセル値に置き換える前記過程を繰返すように構成されているイメージャピクセル補正値発生用のメモリ容量低減化装置。