JP2012104901A - 撮像装置 - Google Patents

Abstract

【課題】 適応補間処理による同時化を実施する際に、適応補間に用いる画素が欠陥画素補正されている場合、適応補間処理が誤動作する可能性があることを防止する。
【解決手段】 欠陥画素補正画像と共に欠陥画素補正情報を生成し、前記欠陥画素補正画像に対して適応補間処理を実行する際に、前記欠陥画素補正情報を参照することにより、適応補間処理において欠陥画素補正された画素が使用されないように制御する。
【選択図】 図１

Description

本発明は、原色ベイヤ−配列などの色フィルタが装着された固体撮像素子を用いた単板カラー撮像装置に関するものである。

民生用途のディジタルカメラやビデオカメラなどの撮像装置においては、装置の小型化や低価格化を実現するため、単一のＣＣＤやＣＭＯＳ等の固体撮像素子を用いており、さらに、色の情報を抽出するために、所定の配列の色フィルタを撮像素子の画素毎に装着している。

例えば原色ベイヤ−配列の色フィルタでは、いわゆる市松状に配置されたＧｒｅｅｎ画素（以下、Ｇ画素と表記）と、空いた画素に対して、水平ライン毎にＲｅｄ画素（以下、Ｒ画素と表記）と、Ｂｌｕｅ画素（以下、Ｂ画素と表記）が配置された構造となっている。こうした色フィルタが配列された固体撮像素子から得られる画像信号は、色フィルタ毎に画素感度の異なっているだけのモノクロの画像であるため、そのままではカラー画像とはならず、以下のような処理が一般的に実施される。

即ち、原色ベイヤ−配列通りの撮像素子出力画像に対して、Ｇ画素、Ｒ画素、Ｂ画素それぞれで実画像信号のない画素位置における各色の画素信号を隣接する実画像信号から補間生成し、撮像素子の画素数と同じ画素数のＧ、Ｒ、Ｂ画像を生成する同時化処理を行うことにより、カラー３原色画像を生成し、これをカラー表示装置に与えることによりカラー画像が得られる。実際には、同時化して得られたカラー３原色信号に対しては、白バランス、輪郭補正、ガンマ補正、ノイズ抑圧処理といった、画質向上のためのカメラ信号処理が種々施され、マトリクス処理により輝度、色差といったビデオフォーマットに沿った映像信号が出力される。

また、近年では、最終的な映像信号における解像感を向上させるため、原色ベイヤ−配列の撮像素子出力信号の同時化において、とりわけ輝度の解像感に密接に関連するＧ画素を同時化する場合に、上下または左右のＧ画素の相関情報を見て、相関の高い方向で補間処理が実施されるようにした適応補間処理が行われている。

一方で、こうした固体撮像素子においては、素子製造時の不純物混入などにより、正常な光電変換出力が出ない画素、いわゆる欠陥画素の存在が良く知られている。これら欠陥画素は最終的な映像信号における画質劣化となるので、予め欠陥画素位置情報を記憶しておくか、あるいは、撮像画像上における孤立点のパターンを欠陥画素と見なし、欠陥画素に対しては周囲の正常画素値から補間処理を行い、補正するという処理がよく行われる。

このように周囲の正常画素を用いて補間処理により欠陥画素を補正する手法では、欠陥画素としては補正されて見えなくなるが、周辺画素からの補間により欠陥画素位置の空間周波数特性が低下するため、高周波成分を含む被写体が撮影されている場合に、補正画素の周波数特性劣化が見えてしまう場合がある。そのため、欠陥画素の補正個数としてはあまり多く設定できないという課題がある。

これに対し、特許文献１においては、欠陥画素情報を生成された画像データに関連付けて出力する画像データ出力手段とを備え、前記画像データに対して信号処理を行う手段がある場合に、欠陥画素情報を参照することにより、過剰に欠陥画素補正が発生しないようにする技術が開示されている。即ち、前記欠陥画素情報においては、当該画素が本来は欠陥画素であるかどうかという情報だけではなく、当該画素が欠陥画素補正済みの画素であるかについても含んでおり、欠陥画素補正済みの画素であれば、重複して欠陥画素補正しないようにしている。

特開２００５−２８６６６８号公報

上記従来の技術では、画像データに付属して送られてきた欠陥画素情報を参照して、欠陥画素に対しての処置が実施されているのみであって、欠陥画素補正ではない画像処理である同時化において発生する課題の解決には至っていない。

即ち、図１１に示すように、市松状に配置されたＧ画素において、実画素信号のない図１１のＣで示す画素を、実画素信号であるＬとＲの平均値、またはＵとＬの平均値のいずれかにより補間して生成するのであって、ＬとＲの差分絶対値とＵとＬの差分絶対値を比較して相関の高い方向の補間結果を選択することによりＧ画素の空間相関による適応補間処理を行う場合に、Ｌ、Ｒ、Ｕ、Ｄのいずれかが欠陥画素であり欠陥画素補正された結果である場合に、以下のような課題がある。

図１１ではＵは欠陥画素であって、図１１のＵｌ（同色左隣画素）とＵｒ（同色右隣画素）の平均値で補正されていることを示している。また、図１１のＬ、Ｒ、Ｕ、Ｄ、Ｕｌ、Ｕｒの各画素の右上には、各画素値の例を示すものであり、さらに、Ｕが正常画素であれば本来出力しているはずの値を、括弧内に記するものである。

まず、Ｕは現実的には欠陥画素であり本来出力すべき値を出力しないのであるから、下記補正演算により算出される。つまり、
Ｕ ＝ （Ｕｌ ＋ Ｕｒ）／２ ＝ ３０ 式１
という結果となる。

次に、実画素信号のない、図１１のＣ画素での値を算出するのであるが、ＬとＲ、および、ＵとＤの差分絶対値を比較すると、
｜Ｌ−Ｒ｜ ＝ ５ ＞ ｜Ｕ−Ｄ｜ ＝ ０ 式２
となり、ＵとＤを用いた補間処理が選択される。つまり、
Ｃ ＝ （Ｕ ＋ Ｄ）／２ ＝ ３０ 式３
でもって算出されることとなる。

しかしながら、仮にＵが本来出力しているはずの値である１０としてＬとＲ、および、ＵとＤの差分絶対値を比較すると、
｜Ｌ−Ｒ｜ ＝ ５ ＜ ｜Ｕ−Ｄ｜ ＝ ２０ 式４
となり、式２とは逆の結果となってしまう。即ち、ＵがＵｌとＵｒにより欠陥画素補正されていることにより、図１１のＣを求める適応補間処理が正しく行えない結果といえる。

結局、式３は式１により、
Ｃ ＝ （Ｕ ＋ Ｄ）／２ ＝ （（Ｕｌ ＋ Ｕｒ）／２ ＋ Ｄ）／２ 式５
となっていて、Ｌ、Ｒ、Ｕ、Ｄのいずれも正常画素であれば、画素間距離２画素の演算であるＬとＲの平均またはＵとＤの平均でＣが生成できるのに対し、Ｌ、Ｒ、Ｕ、Ｄに欠陥画素がある場合（図１１ではＵ）、画素間距離４画素の演算が混入することにより、式２と式４で説明したような、適応補間処理の誤動作が生じる場合があるという課題があった。

なお、前記画素間距離２画素とは、適応補間処理を実施する上での画素間距離であり、前記画素間距離４画素とは、欠陥画素補正処理を実施する上での画素間距離となり、整数倍の関係がある。

上記、従来技術の課題を解決するため、本発明の第１の特徴とするところは、所定の色フィルタ配列の撮像素子を含む撮像系と、前記所定の色フィルタ配列の撮像画像に対して、第１の画素間距離の画素を用いて欠陥画素を補正して欠陥画素補正画像を生成する手段と、欠陥画素補正情報を生成する手段と、前記欠陥画素補正画像に対して、第２の画素間距離の画素と前記欠陥画素補正情報とを用いて同時化処理を行い、同時化画像を生成する手段で構成され、前記同時化画像に対して所定の信号処理を行い出力画像を生成することにある。

また、本発明の第２の特徴とするところは、前記第１の画素間距離は、前記所定の色フィルタ配列において、所定の色フィルタの任意の１画素に対する同色の周囲隣接画素同士の画素間距離であって、前記第２の画素間距離は、前記所定の色フィルタの画素間距離であって、前記第１の画素間距離は前記第２の画素間距離の整数倍であることにある。

また、本発明の第３の特徴とするところは、前記欠陥画素補正情報は、欠陥画素補正実施の有無を表す情報、または、補正に使用した周辺隣接画素を識別する情報の少なくともいずれかであることにある。

以上説明したように、本発明によれば、所定の画素間距離で処理される適応補間処理を行う際に、前記所定の画素間距離の整数倍である画素間距離で処理された欠陥画素補正の実施情報を参照することにより、適応補間処理時に欠陥画素補正画素を使用せず、常に前記所定の画素間距離による処理が行われるため、欠陥画素補正の影響を受けない同時化処理が実現できる。

本発明の第１の実施例 図１の欠陥画素補正回路１０７の詳細構成 図１のＧ画素信号の画素分離および補間方向判定回路１１２の詳細構成 図１の補間信号選択回路１１６の動作タイミングチャート 図１の補間方向修正回路１１５の動作の論理真理値表 本発明の第２の実施例 図６の欠陥画素補間信号生成回路６２３の補間信号生成説明図 図６の補間方向修正回路６１５の動作の論理真理値表 本発明の第３の実施例 図９の欠陥画素補正回路９０７の詳細構成 従来技術における課題の説明図

［実施例１］
図１にビデオカメラに適用した本発明の第１の実施例を示す。図１において、１０１はＲＧＢベイヤー配列のカラーフィルタが装着された固体撮像素子、１０２はＡ／Ｄ変換や相関二重サンプリングを行うアナログフロントエンド（以下、ＡＦＥと略記）、１０３は同期信号生成回路、１０４は欠陥画素位置情報を記憶したＳＲＡＭ、１０５はＳＲＡＭ制御回路、１０６は欠陥画素位置判定回路、１０７は欠陥画素補正回路、１０８は第１のラインメモリ、１０９は第２のラインメモリ、１１０は第３のラインメモリ、１１１は第４のラインメモリ、１１２はＧ画素信号の画素分離および補間方向判定回路、１１３は補間信号生成回路、１１４は欠陥画素補正ＩＤ分離回路、１１５は補間方向修正回路、１１６は補間信号選択回路、１１７は広帯域輝度信号処理回路、１１８はベースバンド信号処理回路、１１９は出力輝度・色差信号生成回路、１２０は不揮発性メモリ、１２１はＣＰＵである。

図２は図１の欠陥画素補正回路１０７の詳細構成である。図２において、２０１は第１のＤＦＦ、２０２は第２のＤＦＦ、２０３は第３のＤＦＦ、２０４は第４のＤＦＦ、２０５は加算回路、２０６はビットシフトによる１／２ゲイン回路、２０７はセレクタである。

図３は図１のＧ画素信号の画素分離および補間方向判定回路１１２の詳細構成である。図３において、３０１は第５のＤＦＦ、３０２は第６のＤＦＦ、３０３は第７のＤＦＦ、３０４は第８のＤＦＦ、３０５は水平方向の差分絶対値算出回路、３０６は垂直方向の差分絶対値算出回路、３０７は差分絶対値比較回路である。

図４は図１の補間信号選択回路１１６の動作タイミングチャートである。

図５は図１の補間方向修正回路１１５の動作の論理真理値表である。

図１〜図５を用いて、本発明の第１の実施例についての説明を行う。固体撮像素子１０１により生成された撮像信号は、ＡＦＥ１０２においてディジタル化され、ＲＡＷ画像データＳ１として生成される。また、前記固体撮像素子１０１と前記ＡＦＥ１０２は、同期信号生成回路１０３により生成された同期信号Ｓ２により駆動されるので、前記ＲＡＷ画像データＳ１は前記同期信号Ｓ２に同期したものとなる。前記ＲＡＷ画像データＳ１は、欠陥画素補正回路１０７にて固体撮像素子の複数の画素に含まれる欠陥画素から出力された異常信号画素が補正される。前記欠陥画素補正回路１０７における補正動作は以下の説明の通りである。

不揮発性メモリ１２０には、本第１実施例のビデオカメラの製造過程において検出された欠陥画素の位置情報が予め記憶されており、前記ビデオカメラの電源起動時において、ＣＰＵ１２１はＳＲＡＭ制御回路１０５を制御し、前記不揮発性メモリ１２０に記憶された前記欠陥画素の位置情報をＳＲＡＭ１０４にコピーし、その後に前記ＳＲＡＭ１０４にコピーされた前記欠陥画素の位置情報を参照することにより、欠陥画素補正を行うものである。前記欠陥画素の位置情報は、前記固体撮像素子１０１から画素出力を読み出す順に従って配列されている。フレームまたはフィールドの先頭において、前記ＳＲＡＭ制御回路１０５は前記ＳＲＡＭ１０４にコピーされた欠陥画素の位置情報の先頭の位置情報が出力されるように前記ＳＲＡＭ１０４の先頭アドレスを生成する。従い、フレームまたはフィールドの先頭においては前記先頭の位置情報が欠陥画素位置判定回路１０６に入力される。一方、前記欠陥画素位置判定回路１０６は、前記同期信号により撮影時の前記ＲＡＷ画像データＳ１が、前記欠陥画素位置であるかを判定し、両者が一致した場合には、欠陥画素補正パルスＳ４を出力する。前記欠陥画素補正回路１０７は前記欠陥画素補正パルスＳ４により補正動作を実行する。また、前記欠陥画素補正パルスＳ４は前記ＳＲＡＭ制御回路１０５にもフィードバックされ、前記ＳＲＡＭ制御回路１０５は前記ＳＲＡＭ１０４のアドレスを更新し、前記欠陥画素の位置情報を更新する。以上の更新動作は任意のフレームまたはフィールドの間継続し、次のフレームまたはフィールドとなったとき、前記ＳＲＡＭ制御回路１０５が前記ＳＲＡＭ１０４の先頭アドレスを出力するようにリセットされることにより、動画撮影時の連続した欠陥画素補正動作が実現される。

図２により、前記欠陥画素補正回路１０７における補正動作について説明する。前記欠陥画素補正回路１０７に入力された前記ＲＡＷ画像データＳ１は、第１のＤＦＦ２０１〜第４のＤＦＦ２０４によりそれぞれ１画素ずつ遅延、保持されており、第２のＤＦＦ２０２の保持画素がセレクタ２０７の第１の入力に入力され、前記ＲＡＷ画像データＳ１と前記第４のＤＦＦ２０４の保持画素が、各々加算回路２０５に入力される。さらに前記加算回路２０５の加算結果はビットシフトによる１／２ゲイン回路２０６にて１／２され、１／２された加算結果すなわち、前記ＲＡＷ画像データＳ１と前記第４のＤＦＦ２０４の保持画素の平均値が、前記セレクタ２０７の第２の入力に入力される。前記ＲＡＷ画像データＳ１は前記図１の固体撮像素子１０１が装着したＲＧＢベイヤー配列のカラーフィルタに従い、１画素ごとに異なる色となり、前記セレクタ２０７の第１と第２の入力には、同色のＲＡＷ画像データでの処理結果が入力されていることとなる。前記セレクタ２０７は、前記欠陥画素補正パルスＳ４により切り替え動作となり、前記欠陥画素補正パルスＳ４がアサート時には前記第２の入力である前記平均値が選択され、前記欠陥画素補正パルスＳ４がアサートされないときには、前記第１の入力である前記第２のＤＦＦ２０２の保持画素が選択される。従い、前記欠陥画素補正パルスＳ４がアサート時には、同色の水平隣接画素による補正がなされ、前記欠陥画素補正パルスＳ４がアサートされないときは、前記ＲＡＷ画像データＳ１を２画素分遅延した画素がそのまま出力され、欠陥画素の補正が実現され、欠陥画素補正済みＲＡＷ画像データＳ３が出力される。

このようにして得られた欠陥画素補正済みＲＡＷ画像データＳ３は、図１のベースバンド信号処理回路１１８に入力される。前記図１のベースバンド信号処理回路１１８においては、前記欠陥画素補正済みＲＡＷ画像データＳ３に対して、ＲＧＢベイヤー配列による色のサンプリング構造に従い、欠落した色成分の同時化を、２次元の空間フィルタ処理などにより行い、ＲＧＢ各色プレーン画像を生成した上で、ホワイトバランスやガンマ補正、ノイズ抑圧処理等を行い、欠陥画素による画質劣化のないベースバンド輝度・色差信号Ｓ２４を生成している。

一方で、この後説明する、Ｇ画素信号の画素分離および補間方向判定回路１１２、補間信号生成回路１１３、補間信号選択回路１１６、広帯域輝度信号処理回路１１７においては、ＲＧＢベイヤー配列におけるＧ画素のサンプリング構造に着目した、適応補間処理と輝度信号生成処理を行うことにより、より高精細な輝度信号を生成する処理が実施される。

図１のＧ画素信号の画素分離および補間方向判定回路１１２には、前記欠陥画素補正済みＲＡＷ画像データＳ３と、第１のラインメモリ１０８および第２のラインメモリ１０９によって各々生成された１Ｈ遅延した欠陥画素補正済みＲＡＷ画像データＳ５と、２Ｈ遅延した欠陥画素補正済みＲＡＷ画像データＳ６が入力され、着目画素Ｓ２０、着目画素の１Ｈ前の画素Ｓ９、着目画素の１画素後の画素Ｓ１０、着目画素の１画素前の画素Ｓ１１、着目画素の１Ｈ後の画素Ｓ１２、補間方向制御信号Ｓ１７が生成される。前記Ｇ画素信号の画素分離および補間方向判定回路１１２の動作については、図３により詳細に説明する。

図３において、欠陥画素補正済みＲＡＷ画像データＳ３、１Ｈ遅延した欠陥画素補正済みＲＡＷ画像データＳ５、２Ｈ遅延した欠陥画素補正済みＲＡＷ画像データＳ６は第５のＤＦＦ３０１〜第８のＤＦＦ３０４により１画素単位で遅延したＲＡＷ画像データとして保持される。このとき、第６のＤＦＦ３０２により保持されたＲＡＷ画像データが、着目画素Ｓ２０であり、欠陥画素補正済みＲＡＷ画像データＳ３を１画素遅延させたＲＡＷ画像データが着目画素の１Ｈ前の画素Ｓ９であり、１Ｈ遅延した欠陥画素補正済みＲＡＷ画像データＳ５が着目画素の１画素前の画素Ｓ１１であり、１Ｈ遅延した欠陥画素補正済みＲＡＷ画像データＳ５を第６のＤＦＦ３０２および第７のＤＦＦ３０３で２画素遅延させたＲＡＷ画像データが着目画素の１画素後の画素Ｓ１０であり、２Ｈ遅延した欠陥画素補正済みＲＡＷ画像データＳ６を第８のＤＦＦ３０４で１画素遅延させたＲＡＷ画像データが着目画素の１Ｈ後の画素Ｓ１２である。

前記ＲＡＷ画像データＳ１、前記欠陥画素補正済みＲＡＷ画像データＳ３はＲＧＢベイヤー配列によるカラーサンプリング構造である点を鑑みれば、前記着目画素Ｓ２０がＲまたはＢ画素であるとき、前記着目画素の１Ｈ前の画素Ｓ９、着目画素の１画素後の画素Ｓ１０、着目画素の１画素前の画素Ｓ１１、着目画素の１Ｈ後の画素Ｓ１２は前記着目画素Ｓ２０の上下左右に位置するＧ画素となる。さらに前記着目画素Ｓ２０がＲまたはＢ画素であるから前記着目画素Ｓ２０におけるＧは前記上下左右に位置するＧ画素から生成するが、より高精細な輝度信号を生成するために、前記着目画素Ｓ２０におけるＧは、前記着目画素の１Ｈ前の画素Ｓ９と前記着目画素の１Ｈ後の画素Ｓ１２から上下のＧ画素の相関と、前記着目画素の１画素後の画素Ｓ１０と前記着目画素の１画素前の画素Ｓ１１から左右のＧ画素の相関を検出、比較し、相関の強い方向での補間結果を選択する動作とする。そのため、前記着目画素の１Ｈ前の画素Ｓ９と前記着目画素の１Ｈ後の画素Ｓ１２は垂直方向の差分絶対値算出回路３０６に入力され、また、前記着目画素の１画素後の画素Ｓ１０と着目画素の１画素前の画素Ｓ１１は水平方向の差分絶対値算出回路３０５に入力され、得られた水平方向の差分絶対値と垂直方向の差分絶対値が差分絶対値比較回路３０７において比較され、差分絶対値が小さい方向が判定され、補間方向制御信号Ｓ１７が出力され、補間方向修正回路１１５に入力される。

さて、前記Ｓ９、前記Ｓ１０、前記Ｓ１１、前記Ｓ１２は、各々、図９における、Ｕ、Ｒ、Ｌ、Ｄに相当するが、上述したようにＵ、Ｒ、Ｌ、Ｄの少なくともいずれかが前記欠陥画素補正回路１０７において補正されていた場合、前記図２により説明した通り、前記Ｕ、Ｒ、Ｌ、Ｄの少なくともいずれかは、同色の水平隣接画素の平均値とされたものとなっている。従い、この点を考慮して、前記補間方向制御信号Ｓ１７は、前記補間方向修正回路１１５において方向判定結果の修正動作が加えられる。以下、引き続き説明する。

図１において前記欠陥画素補正パルスＳ４は、第３のラインメモリ１１０と第４のラインメモリ１１１において、１Ｈ遅延した欠陥画素補正パルスＳ７と２Ｈ遅延した欠陥画素補正パルスＳ８として生成され、欠陥画素補正ＩＤ分離回路１１４には、前記欠陥画素補正パルスＳ４、前記１Ｈ遅延した欠陥画素補正パルスＳ７、前記２Ｈ遅延した欠陥画素補正パルスＳ８が入力される。前記欠陥画素補正ＩＤ分離回路１１４では、図３の３０１〜３０４の各ＤＦＦと同様の構成のＤＦＦにより、着目画素の１Ｈ前の欠陥画素補正パルスＳ１３、着目画素の１画素後の欠陥画素補正パルスＳ１４、着目画素の１画素前の欠陥画素補正パルスＳ１５、着目画素の１Ｈ後の欠陥画素補正パルスＳ１６が生成され、前記補間方向修正回路１１５に入力される。

前記Ｓ１３、前記Ｓ１４、前記Ｓ１５、前記Ｓ１６は、上述した前記Ｓ９、前記Ｓ１０、前記Ｓ１１、前記Ｓ１２の各画素が、前記欠陥画素補正回路１０７にて欠陥画素補正された画素か否かを判定する情報となる。前記補間方向修正回路１１５では、図５に示す通りの動作により、前記補間方向制御信号Ｓ１７に対して修正動作を行い、補間画素選択信号Ｓ２１として出力する。

即ち、前記補間方向制御信号Ｓ１７としては、垂直方向に補間するものと判定されたとしても、前記着目画素の１Ｈ前の欠陥画素補正パルスＳ１３、または、前記着目画素の１Ｈ後の欠陥画素補正パルスＳ１６がアクティブ（図５の表中ではＨと表記）である場合には、前記補間画素選択信号Ｓ２１としては水平補間として修正され、これにより前記欠陥画素補正された画素が、適応補間時に使用されない動作となる。

一方、前記補間方向制御信号Ｓ１７としては、水平方向に補間するものと判定されたとしても、前記着目画素の１画素後の欠陥画素補正パルスＳ１４、または、前記着目画素の１画素前の欠陥画素補正パルスＳ１５がアクティブである場合には、前記補間画素選択信号Ｓ２１としては垂直補間として修正され、これにより前記欠陥画素補正された画素が、適応補間時に使用されない動作となる。

図１において、前記補間信号生成回路１１３では、前記着目画素の１Ｈ前の画素Ｓ９、前記着目画素の１画素後の画素Ｓ１０、前記着目画素の１画素前の画素Ｓ１１、前記着目画素の１Ｈ後の画素Ｓ１２から、水平方向補間画素信号Ｓ１８と、垂直方向補間画素信号Ｓ１９を生成する。前記水平方向補間画素信号Ｓ１８は、前記Ｓ１０と前記Ｓ１１の平均値、前記垂直方向補間画素信号Ｓ１９は、前記Ｓ９と前記Ｓ１２の平均値として算出したものである。

補間信号選択回路１１６では、前記水平方向補間画素信号Ｓ１８と、前記垂直方向補間画素信号Ｓ１９のうち、前記補間画素選択信号Ｓ２１に応じた選択動作が行われると同時に、前記同期信号Ｓ２と、前記着目画素Ｓ２０を用いて、Ｒ／Ｂ画素に対する処理を分ける動作を行う。前記補間信号選択回路１１６の動作については、図４のタイミングチャートにより説明する。

図４において、Ｔｃは１画素単位の処理サイクル、ＰＩＤは前記同期信号Ｓ２より生成した、Ｇ画素とＲ／Ｂ画素を区別するための画素ＩＤ信号である。前記ＰＩＤが’Ｈｉｇｈ’レベルである時は、前記着目画素Ｓ２０がＧ画素であり実画素が存在することを示す。一方、前記ＰＩＤが’Ｌｏｗ’レベルである時は、前記着目画素Ｓ２０がＲまたはＢ画素であるため、前記水平方向補間画素信号Ｓ１８または前記垂直方向補間画素信号Ｓ１９のいずれかを選択して、適応補間されたＧ画素を生成する必要があることを示す。前記補間画素選択信号Ｓ２１が’Ｈｉｇｈ’レベルである時は、前記垂直方向補間画素信号Ｓ１９が選択され、前記補間画素選択信号Ｓ２１が’Ｌｏｗ’レベルである時は、前記水平方向補間画素信号Ｓ１８が選択され、適応補間Ｇ画像信号Ｓ２２として出力される。その結果、図４のＳ２２に示すように、
Ｇ０、ＧＨ０、Ｇ１、ＧＶ１、Ｇ２、ＧＨ２、Ｇ３、ＧＨ３の順で適応補間されたＧ画像信号が生成される。

前記適応補間Ｇ画像信号Ｓ２２は広帯域輝度信号処理回路１１７に入力され、ガンマ補正、輪郭強調処理、ノイズ抑圧処理などの輝度信号処理が行われて、広帯域輝度信号Ｓ２３として生成される。

前記ベースバンド輝度・色差信号Ｓ２４と前記広帯域輝度信号Ｓ２３は、出力輝度・色差信号生成回路１１９にて、特にベースバンド輝度信号と前記広帯域輝度信号Ｓ２３が合成され、出力輝度信号Ｓ２５と、出力色差信号Ｓ２６として出力される。

以上、説明した本発明の第１の実施例では、同時化のための適応補間処理において使用する実画素に、欠陥画素補正された画素がある場合には、前記欠陥画素補正結果の情報を参照することにより、前記欠陥画素補正された画素を使用しない制御が可能となり、前記式２と前記式４で説明した適応補間処理の誤動作が生じることを防止することができ、最終的に得られる画像の画質向上が実現できるものである。

［実施例２］
図６にビデオカメラに適用した本発明の第２の実施例を示す。図６において、３桁の数字で示す符号の下２桁は、図１の本発明の第１の実施例の同一構成要素のものと合致しており、また、Ｓとそれに続く数字で示す内部信号を説明する符号についても、同一信号については同一符号で記してある。

図６において、６０１はＲＧＢベイヤー配列のカラーフィルタが装着された固体撮像素子、６０２はＡＦＥ、６０３は同期信号生成回路、６０４は欠陥画素位置情報を記憶したＳＲＡＭ、６０５はＳＲＡＭ制御回路、６０６は欠陥画素位置判定回路、６０７は欠陥画素補正回路、６０８は第１のラインメモリ、６０９は第２のラインメモリ、６１０は第３のラインメモリ、６１１は第４のラインメモリ、６１２はＧ画素信号の画素分離および補間方向判定回路、６１３は補間信号生成回路、６１４は欠陥画素補正ＩＤ分離回路、６１５は補間方向修正回路、６１６は補間信号選択回路、６１７は広帯域輝度信号処理回路、６１８はベースバンド信号処理回路、６１９は出力輝度・色差信号生成回路、６２０は不揮発性メモリ、６２１はＣＰＵ、６２２は第５のラインメモリ、６２３は第６のラインメモリ、６２４は第７のラインメモリ、６２５は第８のラインメモリ、６２６は欠陥画素補間信号生成回路である。

図７は図６の欠陥画素補間信号生成回路６２３の補間信号生成を説明する図である。

図８は図６の補間方向修正回路６１５の動作の論理真理値表
図６の本発明の第２の実施例において、前記固体撮像素子６０１、前記ＡＦＥ６０２、前記同期信号生成回路６０３、前記欠陥画素位置情報を記憶したＳＲＡＭ６０４、前記ＳＲＡＭ制御回路６０５、前記欠陥画素位置判定回路６０６、前記不揮発性メモリ６２０、前記ＣＰＵ６２１で構成される撮像動作と欠陥画素位置判定動作については、前記第１の実施例と同一であるため、動作説明を省略する。

また、前記第１のラインメモリ６０８、前記第２のラインメモリ６０９、前記Ｇ画素信号の画素分離および補間方向判定回路６１２、前記補間信号生成回路６１３、前記補間信号選択回路６１６、前記広帯域輝度信号処理回路６１７、前記ベースバンド信号処理回路６１８、前記出力輝度・色差信号生成回路６１９で構成される、欠陥画素補正後の適応輝度補間処理とベースバンド信号処理による映像信号生成に関しても、前記第１の実施例と同一であるため、動作説明を省略する。

一方で、前記第１の実施例と、構成が異なる部分としては、前記第５のラインメモリ６２２、前記第６のラインメモリ６２３、前記第７のラインメモリ６２４、前記第８のラインメモリ６２５、前記欠陥画素補間信号生成回路６２６、前記欠陥画素補正回路６０７から構成される、欠陥画素補正処理部分と、前記第３のラインメモリ６１０、前記第４のラインメモリ６１１、前記欠陥画素補正ＩＤ分離回路６１４、前記補間方向修正回路６１５から構成される、適応補間の方向制御部分であるので、以下、これらの動作説明を行う。

図６のＲＡＷ画像データＳ１は、前記欠陥画素補間信号生成回路６２６と、前記第５のラインメモリ６２２に伝送され、順次、前記第５のラインメモリ６２２、前記第６のラインメモリ６２３、前記第７のラインメモリ６２４、前記第８のラインメモリ６２５と１走査ライン毎に遅延され、図６の１Ｈ遅延したＲＡＷ画像データＳ２７、２Ｈ遅延したＲＡＷ画像データＳ２８、３Ｈ遅延したＲＡＷ画像データＳ２９、４Ｈ遅延したＲＡＷ画像データＳ３０が各々生成される。

前記欠陥画素補間信号生成回路６２６には、前記２Ｈ遅延したＲＡＷ画像データＳ２８と、前記４Ｈ遅延したＲＡＷ画像データＳ３０が入力される。従い、前記欠陥画素補間信号生成回路６２６には、１ライン飛ばしで、計３ライン分のＲＡＷ画像データが入力されることとなる。

前記欠陥画素補間信号生成回路６２６の動作説明は、図７を用いて行う。図７で示すとおり、前記ＲＡＷ画像データＳ１、前記１Ｈ遅延したＲＡＷ画像データＳ２７、前記２Ｈ遅延したＲＡＷ画像データＳ２８、前記３Ｈ遅延したＲＡＷ画像データＳ２９、前記４Ｈ遅延したＲＡＷ画像データＳ３０は、ＲＧＢベイヤー配列のカラーフィルタに応じたサンプリング構造となっており、ＲおよびＧだけのラインと、ＢおよびＧだけのラインが交互に配置されることとなる。前記欠陥画素補間信号生成回路６２６では、図７のサンプリング構造のＲＡＷ画像において、中心画素Ｇ２２に対し、水平同色隣接画素であるＧ２０とＧ２４の平均値をもって、図６の水平方向欠陥画素補間信号Ｓ３１を生成し、前記中心画素Ｇ２２に対し、垂直同色隣接画素であるＧ０２とＧ４２の平均値をもって、図６の垂直方向欠陥画素補間信号Ｓ３２を生成する動作を行う。

また、前記水平同色隣接画素であるＧ２０とＧ２４の差分絶対値と、前記垂直同色隣接画素であるＧ０２とＧ４２の差分絶対値を比較すれば、欠陥画素補間処理による周波数特性劣化の影響が少ない方向を判定することができる。即ち、前記水平同色隣接画素であるＧ２０とＧ２４の差分絶対値が前記垂直同色隣接画素であるＧ０２とＧ４２の差分絶対値より小さければ、前記水平方向欠陥画素補間信号Ｓ３１の方が、欠陥画素補間処理による周波数特性劣化の影響が少ないといえる。従い、前記欠陥画素補間信号生成回路６２６ではさらに、前記差分絶対値の比較結果でもって、欠陥画素補間方向制御信号Ｓ３３を生成する。

なお、図７は中心画素をＧ画素としているが、ＲもしくはＢ画素であっても同様の処理により、水平および垂直方向の欠陥画素補間信号生成と、欠陥画素補間方向制御信号の生成が可能である。

前記水平方向欠陥画素補間信号Ｓ３１と、前記垂直方向欠陥画素補間信号Ｓ３２と、前記欠陥画素補間方向制御信号Ｓ３３は、前記２Ｈ遅延したＲＡＷ画像データＳ２８と前記欠陥画素補正パルスＳ４と共に、欠陥画素補正回路６０７に入力される。前記欠陥画素補正回路６０７では、前記欠陥画素補正パルスＳ４により、欠陥画素補正すべきタイミングを検知すると、前記欠陥画素補間方向制御信号Ｓ３３を参照し、前記水平方向欠陥画素補間信号Ｓ３１と、前記垂直方向欠陥画素補間信号Ｓ３２のいずれかを選択して欠陥画素補正済みＲＡＷ画像データＳ３として出力する。前記説明したように、前記欠陥画素補間方向制御信号Ｓ３３は、前記Ｓ３１とＳ３２のうち、欠陥画素補間処理による周波数特性劣化の影響が少ないものを選択するように生成されているので、前記欠陥画素補正済みＲＡＷ画像データＳ３は、より良い画質の欠陥画素補正されたものとなる。

なお、前記欠陥画素補正パルスＳ４により、正常画素であるタイミングが検知されると、前記欠陥画素補正済みＲＡＷ画像データＳ３としては、前記２Ｈ遅延したＲＡＷ画像データＳ２８に対して、２画素遅延させた、図７の前記中心画素Ｇ２２と同じタイミングの画素が選択されて出力される。

前記欠陥画素補間方向制御信号Ｓ３３と、前記欠陥画素補正パルスＳ４は、各々１ビットデータであるが、これをバスにまとめて、２ビットの欠陥画素補正ＩＤ Ｓ３４とし、前記欠陥画素補正ＩＤ Ｓ３４は、前記欠陥画素補正ＩＤ分離回路６１４に入力される。また、前記第３のラインメモリ６１０と前記第４のラインメモリ６１１にて、１Ｈ遅延した欠陥画素補正ＩＤ Ｓ７と、２Ｈ遅延した欠陥画素補正ＩＤ Ｓ８が生成され、これも前記欠陥画素補正ＩＤ分離回路６１４に入力される。

前記欠陥画素補正ＩＤ分離回路６１４では、前記欠陥画素補正ＩＤ Ｓ３４、前記１Ｈ遅延した欠陥画素補正ＩＤ Ｓ７、前記２Ｈ遅延した欠陥画素補正ＩＤ Ｓ８より、着目画素の１Ｈ前の欠陥画素補正ＩＤ Ｓ１３、着目画素の１画素後の欠陥画素補正ＩＤ Ｓ１４、着目画素の１画素前の欠陥画素補正ＩＤ Ｓ１５、着目画素の１Ｈ後の欠陥画素補正ＩＤ Ｓ１６が生成される。

前記Ｓ１３、前記Ｓ１４、前記Ｓ１５、前記Ｓ１６は、前記Ｇ画素信号の画素分離および補間方向判定回路６１２にて生成された、前記着目画素の１Ｈ前の画素Ｓ９、前記着目画素の１画素後の画素Ｓ１０、前記着目画素の１画素前の画素Ｓ１１、前記着目画素の１Ｈ後の画素Ｓ１２の各画素が、前記欠陥画素補正回路６０７にて、前記図７の水平同色隣接画素であるＧ２０とＧ２４で補間されたのか、または、前記図７の垂直同色隣接画素であるＧ０２とＧ４２で補間されたのか、または、正常画素のため補正処理されていないのかを判定する情報となる。

前記補間方向修正回路６１５では、図８に示す通りの動作により、前記補間方向制御信号Ｓ１７に対して修正動作を行い、補間画素選択信号Ｓ２１として出力する。

即ち、前記補間方向制御信号Ｓ１７が、垂直方向に補間するものと判定されたとしても、前記着目画素の１Ｈ前の欠陥画素補正ＩＤ Ｓ１３、または前記着目画素の１画素後の欠陥画素補正ＩＤ Ｓ１４、または前記着目画素の１画素前の欠陥画素補正ＩＤ Ｓ１５、または前記着目画素の１Ｈ後の欠陥画素補正ＩＤ Ｓ１６により、前記着目画素の１Ｈ前の画素Ｓ９、または前記着目画素の１画素後の画素Ｓ１０、または前記着目画素の１画素前の画素Ｓ１１、または前記着目画素の１Ｈ後の画素Ｓ１２が、水平同色隣接画素により欠陥画素補正された画素であることを意味する、”１０”なる２ｂｉｔ値となっている場合、前記補間画素選択信号Ｓ２１は、水平補間を選択するように修正される。

また、前記補間方向制御信号Ｓ１７が、水平方向に補間するものと判定されたとしても、前記着目画素の１Ｈ前の欠陥画素補正ＩＤ Ｓ１３、または前記着目画素の１画素後の欠陥画素補正ＩＤ Ｓ１４、または前記着目画素の１画素前の欠陥画素補正ＩＤ Ｓ１５、または前記着目画素の１Ｈ後の欠陥画素補正ＩＤ Ｓ１６により、前記着目画素の１Ｈ前の画素Ｓ９、または前記着目画素の１画素後の画素Ｓ１０、または前記着目画素の１画素前の画素Ｓ１１、または前記着目画素の１Ｈ後の画素Ｓ１２が、垂直同色隣接画素により補間されたものであることを意味する、”１１”なる２ｂｉｔ値となっている場合、前記補間画素選択信号Ｓ２１は、垂直補間を選択するように修正される。

上記補間方向修正回路６１５の動作により、適応補間に用いる実画素が欠陥画素補正されて生成された画素であった場合、適応補間時に使用されず、かつ、欠陥画素補正を行った方向に沿って、適応補間する動作となる。

以上、説明した本発明の第２の実施例では、同時化のための適応補間処理において使用する実画素に、欠陥画素補正された画素がある場合には、前記欠陥画素補正の方向を参照することにより、前記欠陥画素補正された画素を使用せず、かつ欠陥画素補正の方向と同一方向での適応補間制御が可能となり、前記式２と前記式４で説明した適応補間処理の誤動作が生じることを防止することができ、最終的に得られる画像の画質向上が実現できるものである。

［実施例３］
図９にビデオカメラに適用した本発明の第３の実施例を示す。図９において、３桁の数字で示す符号の下２桁は、図１の本発明の第１の実施例の同一構成要素のものと合致しており、また、Ｓとそれに続く数字で示す内部信号を説明する符号についても、同一信号については同一符号で記してある。

図９において、９０１はＲＧＢベイヤー配列のカラーフィルタが装着された固体撮像素子、９０２はＡＦＥ、９０３は同期信号生成回路、９０７は欠陥画素補正回路、９０８は第１のラインメモリ、９０９は第２のラインメモリ、９１０は第３のラインメモリ、９１１は第４のラインメモリ、９１２はＧ画素信号の画素分離および補間方向判定回路、９１３は補間信号生成回路、９１４は欠陥画素補正ＩＤ分離回路、９１５は補間方向修正回路、９１６は補間信号選択回路、９１７は広帯域輝度信号処理回路、９１８はベースバンド信号処理回路、９１９は出力輝度・色差信号生成回路である。

図１０は図９の欠陥画素補正回路９０７の詳細構成である。図１０において、３桁の数字で示す符号の下２桁は、図２の本発明の第１の実施例の欠陥画素補正回路１０７の詳細構成のものと合致しており、また、Ｓとそれに続く数字で示す内部信号を説明する符号についても、同一信号については同一符号で記してある。

図９の本発明の第３の実施例において、前記欠陥画素補正回路９０７以外の構成要件の動作については、前記第１の実施例と同一であるため、動作説明を省略する。

一方で、前記第１の実施例と、構成が異なる部分としては、前記欠陥画素補正回路９０７の動作、および、前記欠陥画素補正パルスＳ４の生成方法であり、以下、図１０により動作を説明する。

なお、図１０において、第１のＤＦＦ １００１、第２のＤＦＦ １００２、第３のＤＦＦ １００３、第４のＤＦＦ １００４、加算回路１００５、ビットシフトによる１／２ゲイン回路１００６、セレクタ１００７による欠陥画素補正動作についても、図２による前記第１の実施例での動作と同じであるため、説明は省略する。前記セレクタ１００７の出力が、欠陥画素補正済みＲＡＷ画像データＳ３である。

図１０のメディアンフィルタ１００８においては、前記ＲＡＷ画像データＳ１と、前記第２のＤＦＦ １００２、および前記第４のＤＦＦ １００４に保持されたＲＡＷ画像データ、３画素分のＲＡＷ画像データが入力され、前記３画素分のＲＡＷ画像データの中間値が出力され、孤立点判定回路１００９に入力される。また、前記第２のＤＦＦ １００２に保持されたＲＡＷ画像データは、前記３画素分のＲＡＷ画像の中心画素として、前記孤立点判定回路１００９に入力され、値の差分を算出し、孤立点判定閾値Ｓ３５と比較される。

即ち、前記差分は前記３画素において前記中心画素が孤立点データである場合には大きな値となる。前記孤立点判定閾値Ｓ３５は予め設定される値であり、前記差分と比較され、前記差分が大きい場合には前記中心画素が所定レベル以上の孤立点であると判定され、欠陥画素とみなし、欠陥画素補正パルスＳ４がアサートされる。

以上の動作により、図９の前記欠陥画素補正パルスＳ４と、図９の前記欠陥画素補正済みＲＡＷ画像データＳ３が、画像検出方式により生成され、実施例１の説明と同様、同時化のための適応補間処理において使用する実画素に、欠陥画素補正された画素がある場合には、前記欠陥画素補正結果の情報を参照することにより、前記欠陥画素補正された画素を使用しない制御が可能となり、前記式２と前記式４で説明した適応補間処理の誤動作が生じることを防止することができ、最終的に得られる画像の画質向上が実現される。

１０１はＲＧＢベイヤー配列のカラーフィルタが装着された固体撮像素子
１０２はＡ／Ｄ変換や相関二重サンプリングを行うアナログフロントエンド
１０３は同期信号生成回路
１０４は欠陥画素位置情報を記憶したＳＲＡＭ
１０５はＳＲＡＭ制御回路
１０６は欠陥画素位置判定回路
１０７は欠陥画素補正回路
１０８は第１のラインメモリ
１０９は第２のラインメモリ
１１０は第３のラインメモリ
１１１は第４のラインメモリ
１１２はＧ画素信号の画素分離および補間方向判定回路
１１３は補間信号生成回路
１１４は欠陥画素補正ＩＤ分離回路
１１５は補間方向修正回路
１１６は補間信号選択回路
１１７は広帯域輝度信号処理回路
１１８はベースバンド信号処理回路
１１９は出力輝度・色差信号生成回路
１２０は不揮発性メモリ
１２１はＣＰＵ

Claims (3)

1. 所定の色フィルタ配列の撮像素子を含む撮像系と、前記所定の色フィルタ配列の撮像画像に対して、第１の画素間距離の画素を用いて欠陥画素を補正して欠陥画素補正画像を生成する手段と、欠陥画素補正情報を生成する手段と、前記欠陥画素補正画像に対して、第２の画素間距離の画素と前記欠陥画素補正情報とを用いて同時化処理を行い、同時化画像を生成する手段で構成され、前記同時化画像に対して所定の信号処理を行い出力画像を生成することを特徴とする撮像装置。
2. 前記第１の画素間距離は、前記所定の色フィルタ配列において、所定の色フィルタの任意の１画素に対する同色の周囲隣接画素同士の画素間距離であって、前記第２の画素間距離は、前記所定の色フィルタの画素間距離であって、前記第１の画素間距離は前記第２の画素間距離の整数倍であることを特徴とする、請求項１に記載の撮像装置。
3. 前記欠陥画素補正情報は、欠陥画素補正実施の有無を表す情報、または、補正に使用した周辺隣接画素を識別する情報の少なくともいずれかであることを特徴とする、請求項１に記載の撮像装置。