JP5425343B2 - 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムに係り、特に、混色補正を行う撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムに関する。

撮像素子によって撮像された撮像信号に対しては、撮像素子の特性等に起因する画質劣化を改善、補正する処理が行われるのが通常である（例えば特許文献１〜５参照）。補正処理には様々な種類があり、それぞれの補正処理を行うことによる影響を考慮して、最適な処理順序にすることが重要である。

例えば、特許文献１には、混色補正の前に欠陥補正を行う技術が開示されている。

また、特許文献２には、混色補正の前に黒レベル補正を行う技術が開示されている。

また、特許文献３には、ノイズリダクション処理をした後に黒レベル補正を行う技術が開示されている。

また、特許文献４には、黒レベル補正した後にノイズ低減処理を行う技術が開示されている。

また、オフセット補正とゲイン補正の関係については、オフセット補正の後にゲイン補正を行うことが好ましい。これは、ゲイン補正（例えば感度補正、ホワイトバランス補正、シェーディング補正等）は、自画素に対してゲイン補正する処理であるため、オフセット補正の前に行うと、ゲイン補正量によって撮像信号のオフセット量が変化してしまうためである。

また、オフセット補正とノイズ補正の関係については、ノイズ補正の後にオフセット補正を行うことが好ましい。これは、ノイズ補正は、ノイズを低減（抑圧）する処理なので、オフセット補正の後に行うと、オフセット補正によって低輝度側のノイズ特性が影響を受けて、適切なノイズ低減処理ができなくなるためである。

ところで、カラーフィルタを備えたカラー撮像素子の場合、混色補正が重要となる。カラーフィルタは予め定められた基本配列パターンが繰り返し配置されて構成されるが、この基本配列パターンが従来のベイヤー配列よりサイズが大きいカラーフィルタを用いた場合、特に混色補正や画素欠陥補正等の処理が重要となる。

特開２０１０−２５８６２０号公報 特開２０１０−１６４１９号公報 特開２００７−１１０４８６号公報 特開２００６−４１６８７号公報

しかしながら、上記従来技術では、例えば混色補正とノイズ補正との関係については特に考慮されておらず、撮像素子で撮像された画像に対して適正に補正できるとは限らない、という問題があった。

本発明は上記問題点を解決するためになされたものであり、撮像素子で撮像された画像に対して補正の順序を考慮しない場合と比較して、補正による画質の劣化を防ぐことができる撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、前記撮像素子により撮像された撮像画像の画像データに対して混色補正を行う混色補正手段と、前記混色補正手段により混色補正された画像データに対してノイズ補正処理を行うノイズ補正手段と、を備えたことを特徴とする。

この発明によれば、混色補正手段の後段にノイズ補正手段を設けた構成としたため、混色補正に必要な隣接画素間のレベル差を消失させてしまうのを防ぐことができ、適切に混色補正を行うことができる。

なお、前記混色補正の前に、前記画像データに対してオフセット補正を行うオフセット補正手段と、前記混色補正の後で且つ前記ノイズ補正処理の前に、前記画像データに対して逆オフセット補正を行う逆オフセット補正手段と、を備えた構成としてもよい。

この発明によれば、混色補正の前にオフセット補正を行い、混色補正の後で且つノイズ補正処理の前に逆オフセット補正を行うので、オフセットの影響を受けずに適切に混色補正を行うことができる。

また、前記オフセット補正手段は、前記画像データの各画素値からオフセット値を減算した際に、零未満となる画素値に対しては負値とする構成としてもよい。

この発明によれば、画素データが負値になる場合でも、零でクリップせずに負値のままとするため、その後のノイズ補正処理等に悪影響が及ぶのを防ぐことができる。

また、前記混色補正の前に画素欠陥補正を行う画素欠陥補正手段を備えた構成としてもよい。

この発明によれば、混色補正の前に画素欠陥補正を行うので、画素欠陥が補正された状態で混色補正を適切に行うことができ、画質低下を防止することができる。

なお、前記カラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された前記基本配列パターンが水平及び垂直方向に繰り返して配置され、前記第１のフィルタは、更に前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置された構成としてもよい。

この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されるため、各方向に隣接する第１の色の画素の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。これにより、カラー撮像素子から出力されるモザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして最小画素間隔の画素値により判別した輝度の相関方向に応じて、相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
また、前記第１のフィルタ及び前記第２の色のそれぞれに対応する第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタの水平及び垂直方向の各ライン内に１つ以上配置された構成としてもよい。

また、前記基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上の整数）画素に対応する正方配列パターンである構成としてもよい。

また、前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む構成としてもよい。

また、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。

また、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列されて構成されているものとしてもよい。

この発明によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

また、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されているものとしてもよい。

この発明によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２ ×２画素のＧ画素が存在することになる。これらの２ ×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

また、前記カラーフィルタは、前記第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ前記第１のフィルタが連続配置されている構成としてもよい。

この発明によれば、これらの連続する第１のフィルタに対応する画素の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である構成としてもよい。

この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。

本発明の撮像装置の制御方法は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置により実行される撮像方法であって、前記撮像素子により撮像された撮像画像の画像データに対して混色補正を行い、混色補正された画像データに対してノイズ補正処理を行うことを特徴とする。

本発明の撮像装置の制御プログラムは、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータを、前記撮像素子により撮像された撮像画像の画像データに対して混色補正を行う混色補正手段、及び、前記混色補正手段により混色補正された画像データに対してノイズ補正処理を行うノイズ補正手段、として機能させることを特徴とする。

本発明によれば、撮像素子で撮像された画像に対して適正な順序で補正処理を施すことができる、という効果を有する。

第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 図４ＡのカラーフィルタによるＧ画素の特徴的な配置を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 第１実施形態に係る撮像補正処理部で実行される処理のフローチャートである。 第２実施形態に係る撮像装置の概略ブロック図である。 第２実施形態に係る撮像補正処理部で実行される処理のフローチャートである。 第３実施形態に係る撮像装置の概略ブロック図である。 第３実施形態に係る撮像補正処理部で実行される処理のフローチャートである。 第３実施形態に係る撮像装置の変形例を示す概略ブロック図である。 第４実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第４実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第４実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像補正処理部１６、及び画像処理部１８を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

＜カラーフィルタ配列の特徴＞

第１実施形態のカラーフィルタは、下記の特徴(1)、(2)、(3)、及び(4)を有している。

〔特徴(1)〕

図２に示すカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理（デモザイク処理とも言う。）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理さした縮小画像のカラーフィルタの配列は、間引き処理前のカラーフィルタの配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴(2)〕

図２に示すカラーフィルタを構成する基本配列パターンＰは、輝度信号を得るために最も寄与する色 (この実施形態では、Ｇの色 )に対応するＧフィルタと、Ｇの色以外の他の色（この実施形態では、Ｒ，Ｂ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＰ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。

〔特徴(3)〕

輝度系画素に対応するＧフィルタは、基本配列パターンＰ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図４Ａに示すように、第１実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置された基本配列パターンＰが繰り返し配列されていると捉えることもできる。

いま、図４Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図４Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、画像処理部１８で同時化（補間）処理等を行う際に利用することができる。

〔特徴（４）〕

図２に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。

図３に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。尚、カラーフィルタは、図２に示した構成に限られるものではなく、例えば図５に示したような６×６画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されたカラーフィルタ（詳細は後述）や、図６に示したような４×４画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されたカラーフィルタ、図７に示したような５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されたカラーフィルタ、図８に示したような７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されたカラーフィルタ、図９に示したような８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されたカラーフィルタを用いてもよい。更に、基本配列パターンは前述のようなＮ×Ｎ（Ｎは２以上の自然数）の正方配列に限られず、Ｎ×Ｍ（Ｎ，Ｍは２以上の自然数）の配列であっても良い。ただし、同時化処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Ｎ及びＭは１０以下であることが望ましい。

撮像補正処理部１６は、混色補正部２０、ノイズ補正部２２、オフセット補正部２４、及びゲイン補正部２６を含んで構成されている。

混色補正部２０は、例えば、各画素の画素データに混色補正を施す。混色補正は、例えば、各画素の画素データについて、注目画素の画素値に対して注目画素の周囲に存在する画素からの混色の影響度合いを示す係数を乗算等することにより、混色の影響を補正する処理であり、種々公知の混色補正処理を用いることができる。

ノイズ補正部２２は、各画素の画素データについて、ノイズ補正処理を施す。ノイズ補正は、例えばランダム性のノイズ成分等を除去する処理であり、種々公知のノイズ補正処理を用いることができる。

オフセット補正部２４は、各画素の画素データについて、オフセット補正処理を施す。オフセット補正は、例えば暗電流成分等の一定のオフセット成分を補正（減算）する処理であり、種々公知のオフセット補正処理を用いることができる。

ゲイン補正部２６は、各画素の画素データについて、ゲイン補正処理を施す。ゲイン補正は、例えば感度補正、ホワイトバランス補正、及びシェーディング補正等の処理であり、種々公知のゲイン補正を用いることができる。

ここで、ノイズ補正は、ノイズを低減（抑圧）する処理であるため、混色補正の前に行うと、混色補正に必要な隣接画素間のレベル差を消失させてしまう場合がある。このため、ノイズ補正の後の混色補正を行うと、適切に混色補正を行うことができなくなる虞があることから、本実施形態では、混色補正部２０の後段にノイズ補正部２２を設けた構成としている。これにより、混色補正に必要な隣接画素間のレベル差を消失させてしまうのを防ぐことができ、適切に混色補正を行うことができる。

次に、本実施形態の作用として、撮像補正処理部１６で実行される処理について、図１０に示すフローチャートを参照して説明する。

まず、ステップ１００では、混色補正部２０が、撮像素子１４から画像データを読み出して混色補正処理を施す。すなわち、各画素の画素データについて、周囲の画素からの混色の影響度合いを示す係数を乗算等することにより、混色の影響を補正する処理を施す。

ステップ１０２では、ノイズ補正部２２が、混色補正部２０により混色補正処理が施された画像データに対してノイズ補正処理を施す。すなわち、各画素の画素データについて、ランダム性のノイズ成分等を除去する処理を施す。

ステップ１０４では、オフセット補正部２４が、ノイズ補正部２２によりノイズ補正処理が施された画像データに対してオフセット補正処理を施す。すなわち、各画素の画素データに対して、暗電流成分等の一定のオフセット成分を補正する処理を施す。

ステップ１０６では、ゲイン補正部２６が、オフセット補正部２４によりオフセット補正処理が施された画像データに対してゲイン補正処理を施す。すなわち、各画素の画素データに対して、感度補正、ホワイトバランス補正、シェーディング補正等の処理を施す。

ゲイン補正部２６によってゲイン補正処理が施された画像データは、画像処理部１８に出力される。画像処理部１８では、ゲイン補正処理が施された画像データに対して、同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画素データを生成する。なお、この同時化処理では、前述した方法により判別された相関方向に基づいて同時化（補間）処理が施される。

以上のように、本実施形態では、混色補正部２０の後段にノイズ補正部２２を設けた構成としたため、混色補正に必要な隣接画素間のレベル差を消失させてしまうのを防ぐことができ、適切に混色補正を行うことができる。特に、本実施形態では撮像素子上に配置されるカラーフィルタが、従来より知られているベイヤー配列のような基本配列パターンと比べて基本配列パターンに含まれる画素数が多く、隣接配置される画素のパターンも多いため、特に混色補正や画素欠陥補正等の処理が重要となるため有効である。例えば、ベイヤー配列では、水平・垂直方向の隣接配置パターンの異なる画素の種類が、Ｇ画素が２種類、Ｂ，Ｒ画素がそれぞれ１種類ずつの合計４種類であるため、混色の影響は一様になる傾向があり隣接画素間のレベル差を消失しても後段の処理によりある程度は混色補正が可能だが、本実施形態のように混色補正部２０の後段にノイズ補正部２２を設けた構成とすることで混色補正に必要な隣接画素間のレベル差を消失させてしまうのを防ぐことができるため、より適切に混色補正を行うことができる。また、図２の配列や図５の配列の場合にはそれぞれ合計１８種類となるため、混色の影響が多様になり、隣接画素間のレベル差を消失すると後段での処理が複雑になり適切な混色補正をすることが難しくなる。従って、本実施形態のように基本配列パターンのサイズが４×４以上と大きく、含まれる画素数が多いカラーフィルタを配置した撮像素子を用いた撮像装置において、混色補正部２０の後段にノイズ補正部２２を設けた構成とすることで混色補正に必要な隣接画素間のレベル差の消失を防ぐことは特に有効になる。

（第２実施形態）

次に、本発明の第２実施形態について説明する。なお、第１実施形態と同一部分には同一符号を伏し、その詳細な説明は省略する。

図１１には、本実施形態に係る撮像装置１０Ａを示した。同図に示すように、撮像装置１０Ａが図１に示した撮像装置１０と異なる点は、撮像補正処理部１６Ａの構成である。その他の構成は撮像装置１０と同一なので、詳細な説明は省略する。

図１１に示すように、撮像補正処理部１６Ａが図１の撮像補正処理部１６と異なるのは、混色補正部２０の前段にオフセット補正部２８が設けられ、混色補正部２０の後段に逆オフセット補正部３０が設けられている点である。

前述したように、ゲイン補正は、自画素に対してゲイン補正する処理であるため、オフセット補正の前に行うと、ゲイン補正量によって撮像信号のオフセット量が変化してしまうことから、オフセット補正の後にゲイン補正を行うことが好ましい。このため、図１、図１１に示すように、オフセット補正部２４の後段にゲイン補正部２６を設けた構成としている。

また、混色補正とオフセット補正との関係も、ゲイン補正とオフセット補正との関係と同様であり、混色補正をオフセット補正の前に行うと、混色補正によって撮像信号のオフセット量が変化してしまうことから、オフセット補正の後に混色補正を行うことが好ましい。

しかしながら、前述したように、オフセット補正とノイズ補正との関係では、ノイズ補正の後にオフセット補正を行うことが好ましいことから、本実施形態に係る撮像補正処理部１６Ａでは、混色補正の前にオフセット補正を行い、混色補正の後に逆オフセット補正を行う構成とした。

すなわち、オフセット補正部２８は、オフセット補正部２４と同様のオフセット補正処理を実行し、逆オフセット補正部３０は、オフセット補正部２８でオフセット補正を行った際のオフセット量で逆オフセット補正を行う。例えば、オフセット補正部２８において、各画素の画素データからオフセット量Ａを減算する処理を行った場合、逆オフセット補正部３０では、各画素の画素データにオフセット補正量Ａを加算する処理を行う。これにより、混色補正部２０では、オフセットの影響を受けずに適切に混色補正を行うことができる。

なお、混色補正の前にオフセット補正を行う際に、各画素の画素データからオフセット補正量を減算したときに、零未満になる画素データ、すなわち負値となる画素データを零でクリップしてしまうと、その後のノイズ補正処理等に悪影響を及ぼす場合がある。

このため、オフセット補正部２８では、各画素の画素データからオフセット補正量を減算したときに、画素データが負値になる場合でも、零でクリップせずに負値のままとする。そして、混色補正部２０においても、負値に対応した混色補正を実行する。

次に、本実施形態の作用として、撮像補正処理部１６Ａで実行される処理について、図１２に示すフローチャートを参照して説明する。

まず、ステップ２００では、オフセット補正部２４が、撮像素子１４から画像データを読み出してオフセット補正処理を施す。この処理は、図１０のステップ１０４と同様の処理である。なお、画素データが負値になる場合でも、零でクリップせずに負値のままとする。

ステップ２０２では、混色補正部２０が、オフセット補正部２８によりオフセット補正処理が施された画像データに対して混色補正処理を施す。この処理は、図１０のステップ１００と同様の処理である。

ステップ２０４では、逆オフセット補正部３０が、混色補正部２０により混色補正処理が施された画像データに対して、逆オフセット補正処理を施す。すなわち、ステップ２００において、各画素の画素データからオフセット量Ａを減算する処理を行った場合には、ステップ２０４では、各画素の画素データにオフセット補正量Ａを加算する処理を行う。

ステップ２０６では、ノイズ補正部２２が、逆オフセット補正部３０により逆オフセット補正処理が施された画像データに対してノイズ補正処理を施す。この処理は、図１０のステップ１０２と同様の処理である。

ステップ２０８では、オフセット補正部２４が、ノイズ補正部２２によりノイズ補正処理が施された画像データに対してオフセット補正処理を施す。この処理は、ステップ２００と同様の処理である。

ステップ２１０では、ゲイン補正部２６が、オフセット補正部２４によりオフセット補正処理が施された画像データに対してゲイン補正処理を施す。この処理は、図１０のステップ１０６と同様の処理である。

ゲイン補正部２６によってゲイン補正処理が施された画像データは、画像処理部１８に出力される。画像処理部１８では、ゲイン補正処理が施された画像データに対して、同時化処理を施す。

以上のように、本実施形態では、混色補正の前にオフセット補正を行い、混色補正の後に逆オフセット補正を行うので、オフセットの影響を受けずに適切に混色補正を行うことができる。

（第３実施形態）

次に、本発明の第３実施形態について説明する。なお、第１実施形態と同一部分には同一符号を伏し、その詳細な説明は省略する。

図１３には、本実施形態に係る撮像装置１０Ｂを示した。同図に示すように、撮像装置１０Ｂが図１に示した撮像装置１０と異なる点は、撮像補正処理部１６Ｂの構成である。その他の構成は撮像装置１０と同一なので、詳細な説明は省略する。

図１３に示すように、撮像補正処理部１６Ｂが図１の撮像補正処理部１６と異なるのは、混色補正部２０の前段に画素欠陥補正部３２が設けられている点である。

撮像素子の画素にキズ等の画素欠陥がある状態で混色補正を行うと、画質低下の虞があるため、混色補正の前に画素欠陥補正を行うことが好ましい。このため、本実施形態に係る撮像補正処理部１６Ｂでは、混色補正の前に画素欠陥補正を行う構成とした。

次に、本実施形態の作用として、撮像補正処理部１６Ｂで実行される処理について、図１４に示すフローチャートを参照して説明する。

まず、ステップ３００では、画素欠陥補正部３２が、撮像素子１４から画像データを読み出して画素欠陥補正処理を施す。この画素欠陥補正処理は、画素欠陥がある画素の画素データを、周囲の画素の画素データから補間して求める処理であり、種々公知の方法を用いることができる。

ステップ３０２では、混色補正部２０が、画素欠陥補正部３２により画素欠陥補正処理が施された画像データに対して混色補正処理を施す。この処理は、図１０のステップ１００と同様の処理である。

ステップ３０４では、ノイズ補正部２２が、混色補正部２０により混色補正処理が施された画像データに対してノイズ補正処理を施す。この処理は、図１０のステップ１０２と同様の処理である。

ステップ３０６では、オフセット補正部２４が、ノイズ補正部２２によりノイズ補正処理が施された画像データに対してオフセット補正処理を施す。この処理は、図１０のステップ１０４と同様の処理である。

ステップ３０８では、ゲイン補正部２６が、オフセット補正部２４によりオフセット補正処理が施された画像データに対してゲイン補正処理を施す。この処理は、図１０のステップ１０６と同様の処理である。

ゲイン補正部２６によってゲイン補正処理が施された画像データは、画像処理部１８に出力される。画像処理部１８では、ゲイン補正処理が施された画像データに対して、同時化処理を施す。

以上のように、本実施形態では、混色補正の前に画素欠陥補正を行うので、画素欠陥が補正された状態で混色補正を適切に行うことができ、画質低下を防止することができる。

なお、図１５に示した撮像装置１０Ｃの撮像補正処理部１６Ｃのように、第２実施形態で説明した撮像装置１０Ａの撮像補正処理部１６Ａのオフセット補正部２８の前段に、画素欠陥補正部３２を設けた構成としてもよい。

また、撮像補正処理部１６、１６Ａ、１６Ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータを含んだ構成とすることができる。この場合、上記各実施形態においてフローチャートを用いて説明した処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

（第４実施形態）

次に、本発明の第４実施形態について説明する。本実施形態では、カラーフィルタの変形例として図５に示したカラーフィルタの詳細について説明する。

図５には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、このカラーフィルタ配列を構成する基本配列パターンＰは、第１実施形態と同様に、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

また、輝度系画素に対応するＧフィルタは、カラーフィルタ配列Ｐ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

図１６は、図５に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１６に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図１７に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

即ち、図５に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図１７に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図１８に示す配置になっている。

図１８に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図１７又は図１８に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。

また、図５に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図１６に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このように第４実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)、及び(4)と同じ特徴を有している。

更に、第４実施形態に係るカラーフィルタは、Ｇフィルタが、カラーフィルタ配列の斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されており、高周波領域での同時化処理の再現精度をより向上させることができるという、第１実施形態に係るカラーフィルタにない特徴を有している。

また、上記各実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタにも適用できる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子により撮像された画像の画像データを処理する画像処理装置にも適用可能である。

また、上記各実施形態では、基本配列パターンのサイズがベイヤー配列よりも大きいカラーフィルタを用いた場合について説明したが、本発明は、ベイヤー配列のカラーフィルタを用いた撮像装置にも適用可能である。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０、１０Ａ、１０Ｂ、１０Ｃ 撮像装置
１２ 光学系
１４ 撮像素子
１６、１６Ａ、１６Ｂ、１６Ｃ 撮像補正処理部
１８ 画像処理部
２０ 混色補正部
２２ ノイズ補正部
２４、２８ オフセット補正部
２６ ゲイン補正部
３０ 逆オフセット補正部
３２ 画素欠陥補正部

Claims (16)

1. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子により撮像された撮像画像の画像データに対して混色補正を行う混色補正手段と、
   前記混色補正手段により混色補正された画像データに対してノイズ補正処理を行うノイズ補正手段と、
   を備えた撮像装置。
2. 前記混色補正の前に、前記画像データに対してオフセット補正を行うオフセット補正手段と、
   前記混色補正の後で且つ前記ノイズ補正処理の前に、前記画像データに対して逆オフセット補正を行う逆オフセット補正手段と、
   を備えた請求項１記載の撮像装置。
3. 前記オフセット補正手段は、前記画像データの各画素値からオフセット値を減算した際に、零未満となる画素値に対しては負値とする
   請求項２記載の撮像装置。
4. 前記混色補正の前に画素欠陥補正を行う画素欠陥補正手段
   を備えた請求項１〜請求項３の何れか１項に記載の撮像装置。
5. 前記カラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された前記基本配列パターンが水平及び垂直方向に繰り返して配置され、
   前記第１のフィルタは、更に前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置された
   請求項１〜４の何れか１項に記載の撮像装置。
6. 前記基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上の整数）画素に対応する正方配列パターンである
   請求項５記載の撮像装置。
7. 前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
   請求項５又は請求項６記載の撮像装置。
8. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
   請求項５〜７の何れか１項に記載の撮像装置。
9. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列されて構成されている
   請求項８記載の撮像装置。
10. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている
    請求項８記載の撮像装置。
11. 前記カラーフィルタは、前記第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ前記第１のフィルタが連続配置されている
    請求項５〜１０の何れか１項に記載の撮像装置。
12. 前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
    請求項５〜１１の何れか１項に記載の撮像装置。
13. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置の制御方法であって、
    前記撮像素子により撮像された撮像画像の画像データに対して混色補正を行い、
    混色補正された画像データに対してノイズ補正処理を行う
    撮像装置の制御方法。
14. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、異なる複数の色に各々対応した複数のフィルタが前記水平方向及び垂直方向に予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置を制御するコンピュータを、
    前記撮像素子により撮像された撮像画像の画像データに対して混色補正を行う混色補正手段、及び、
    前記混色補正手段により混色補正された画像データに対してノイズ補正処理を行うノイズ補正手段、
    として機能させるための撮像装置の制御プログラム。
15. 前記第１のフィルタ及び前記第２の色のそれぞれに対応する第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタの水平及び垂直方向の各ライン内に１つ以上配置された
    請求項５〜１２の何れか１項に記載の撮像装置。
16. 前記ノイズ補正処理の後にホワイトバランス補正を行うホワイトバランス補正手段
    を備えた請求項１〜請求項１２、及び請求項１５の何れか１項に記載の撮像装置。

Images