JP5872408B2 - カラー撮像装置及び画像処理方法 - Google Patents

Description

本発明はカラー撮像装置及び画像処理方法に係り、特に色モワレの発生を抑圧することができるカラー撮像装置及び画像処理方法に関する。

単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。

単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。

例えば、図１４の（Ａ）に示すような斜めの白黒の高周波画像が、図１４の（Ｂ）に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図１４の（Ｃ）から（Ｅ）に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となり、仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。

一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。

このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献１）。

また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献２）。

一方、特許文献３には、ベイヤー配列のモザイク画像の注目画素の周辺画素を用いて、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）における相関度を求め、求めた相関度の比率に応じた重み付けを行って画素補間を行う技術が記載されている。

また、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素おきに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子を備えた撮像装置が提案されている（特許文献４）。特許文献４に記載のカラー撮像素子は、輝度信号に対して色差信号の解像度は低くてもよいという理由により、輝度信号を得るために最も寄与するＧ画素がＲＢ画素に比べて非常に多く配置されており、これにより水平及び垂直方向の解像度を上げることができるようにしている。

特開２０００−３０８０８０号公報 特開２００５−１３６７６６号公報 特開２０１０−１０４０１９号公報 特開平８−２３５４３号公報

特許文献１に記載の３色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。

特許文献２に記載の画像センサのカラーフィルタ配列は、Ｒ、Ｇ、Ｂフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献２に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献２に記載の発明は、色分布形状に関する統計量（共分散値）の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。

一方、特許文献３に記載の画素補間方法は、ベイヤー配列のモザイク画像に適用されるものであるが、ベイヤー配列の場合、Ｇ画素は、水平及び垂直方向に連続していないため、最小画素間隔で水平及び垂直方向における相関度を求めることができず、例えば、縦縞や横縞の高周波を入力した場合に相関度を誤判定し、画素補間を精度よく行うことができないという問題がある。

また、特許文献４に記載のカラー撮像素子は、ＲＢの画素に対してＧの画素の比率がベイヤー配列よりも高くなっており、水平及び垂直方向の解像度を上げることができるように構成されているが、特許文献４に記載の撮像装置は、このカラー撮像素子から出力されるＲＧＢ信号を補間フィルタにより一律に同時化しているため、偽色が発生しやすいという問題がある。

本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像装置及び画像処理方法を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むカラー撮像素子と、前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちのいずれの方向かを判別する方向判別部と、前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部とを備えている。

前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１のフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）に、それぞれ２以上隣接する部分を含んでいるため、各方向に隣接する画素の画素値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。

本発明の他の態様に係るカラー撮像装置において、前記カラー撮像素子の所定のカラーフィルタ配列は、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、前記第１のフィルタ及び第２のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に１つ以上配置されている。前記第１のフィルタ及び第２のフィルタは、それぞれ前記基本配列パターン内に水平及び垂直方向の各ライン内に１つ以上配置されているため、水平及び垂直方向の色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。また、このカラーフィルタ配列は、前記基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記３×３画素群の４隅に前記第１のフィルタが配置されているため、該３×３画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記第１のフィルタからなる２×２画素に対応する正方配列を含むようになり、この２×２画素の画素値を使用して、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちの相関の高い方向を判別することができる。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心のフィルタを挟んで上下左右に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記３×３画素群の中心のフィルタを挟んで上下左右に前記第１のフィルタが配置されているため、該３×３画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記３×３画素群の中心のフィルタを挟んで前記第１のフィルタが、水平及び垂直方向にそれぞれ２画素ずつ隣接することになる。これらの第１のフィルタに対応する画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別するようにしている。

本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も１に近い方向を相関方向として判別するようにしている。

尚、上記各方向別に差分絶対値、又は比を複数算出し、各方向別に複数の差分絶対値の総和又は平均値、又は比の平均値を算出するようにしてもよく、この場合には、より精度よく相関方向を判別することができる。

本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値としている。

本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出している。尚、前記他の色の画素の画素位置における色差又は色比は、その画素位置における画素の画素値と、既に相関方向の方向判別により推定した他の色の画素値との差（色差）、又は比（色比）である。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がＧ画素、その画素値がＧであり、前記方向判別部により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧ_Ｒ、Ｇ_Ｂとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ_Ｇ，Ｂ_Ｇを、次式、
Ｒ_Ｇ＝Ｇ＋（Ｒ−Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ＋（Ｂ−Ｇ_Ｂ）
により算出し、前記同時化処理の対象画素がＲ画素、その画素値がＲであり、前記方向判別部により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲ_Ｇ、Ｒ_Ｂとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ_Ｒ，Ｂ_Ｒを、次式、
Ｇ_Ｒ＝Ｒ＋（Ｇ−Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ＋（Ｂ−Ｒ_Ｂ）
により算出し、前記同時化処理の対象画素がＢ画素、その画素値がＢであり、前記方向判別部により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢ_Ｇ、Ｂ_Ｒとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ_Ｂ，Ｒ_Ｂを、次式、
Ｇ_Ｂ＝Ｂ＋（Ｇ−Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ＋（Ｒ−Ｂ_Ｒ）
により算出している。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がＧ画素、その画素値がＧであり、前記方向判別部により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧ_Ｒ、Ｇ_Ｂとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ_Ｇ，Ｂ_Ｇを、次式、
Ｒ_Ｇ＝Ｇ×（Ｒ／Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ×（Ｂ／Ｇ_Ｂ）
により算出し、前記同時化処理の対象画素がＲ画素、その画素値がＲであり、前記方向判別部により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲ_Ｇ、Ｒ_Ｂとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ_Ｒ，Ｂ_Ｒを、次式、
Ｇ_Ｒ＝Ｒ×（Ｇ／Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ×（Ｂ／Ｒ_Ｂ）
により算出し、前記同時化処理の対象画素がＢ画素、その画素値がＢであり、前記方向判別部により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢ_Ｇ、Ｂ_Ｒとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ_Ｂ，Ｒ_Ｂを、次式、
Ｇ_Ｂ＝Ｂ×（Ｇ／Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ×（Ｒ／Ｂ_Ｒ）
により算出している。

本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出している。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。

上記構成のカラーフィルタ配列によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。

上記構成のカラーフィルタ配列によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

本発明によれば、輝度信号を得るために最も寄与する第１のフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）にそれぞれ２以上隣接する部分を含むカラーフィルタを有するカラー撮像素子であって、前記第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが水平方向及び垂直方向の各ライン内に周期的に配置されたカラー撮像素子を使用し、各方向に隣接する画素の画素値の差分値に基づいて輝度の相関方向を判別するようにしたため、最小画素間隔の画素値を使用して相関方向を判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用して、対象画素の画素位置における他の色の画素値を算出するようにしたため、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。

図１は本発明に係るカラー撮像装置の実施形態を示すブロック図であり； 図２は第１の実施形態のカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図であり； 図３は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり； 図４は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割した様子を示す図であり； 図５は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図であり； 図６は輝度の相関方向の判別方法と同時化処理時の画素補間方法を説明するために用いた図であり； 図７Ａは斜めの高周波画像がカラー撮像素子に入射した場合を示す図であり； 図７Ｂは斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するために用いた図であり； 図８は本発明に適用されるカラー撮像素子の第２の実施形態を示す図であり； 図９は本発明に適用されるカラー撮像素子の第３の実施形態を示す図であり； 図１０は本発明に適用されるカラー撮像素子の第４の実施形態を示す図であり； 図１１は本発明に適用されるカラー撮像素子の第５の実施形態を示す図であり； 図１２は本発明に適用されるカラー撮像素子の第６の実施形態を示す図であり； 図１３は本発明に適用されるカラー撮像素子の第７の実施形態を示す図であり； 図１４は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。

以下、添付図面に従って本発明に係るカラー撮像装置の好ましい実施の形態について詳説する。

［カラー撮像装置の全体構成］
図１は本発明に係るカラー撮像装置の実施形態を示すブロック図である。

撮影光学系１０により被写体が撮像され、被写体像を示す光像がカラー撮像素子１２（第１の実施形態のカラー撮像素子）の受光面上に結像される。

このカラー撮像素子１２は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子からなる複数の画素（図示せず）と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、カラー撮像素子１２のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の全ての色のフィルタが、水平及び垂直方向の各ライン内に周期的に配置され、また、輝度信号を得るために最も寄与するＧに対応するＧフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むことを特徴とするものである。カラー撮像素子１２の詳細については、後述する。

カラー撮像素子１２に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部２０の指令に従って駆動部１８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてカラー撮像素子１２から順次読み出される。カラー撮像素子１２から読み出される画像信号は、カラー撮像素子１２のカラーフィルタ配列に対応したＲ、Ｇ、Ｂのモザイク画像を示すＲ、Ｇ、Ｂ信号である。尚、カラー撮像素子１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カラー撮像素子に限らず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などの他の種類の撮像素子であってもよい。

カラー撮像素子１２から読み出された画像信号は、撮像処理部１４に入力する。撮像処理部１４は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、及びＡ／Ｄ変換器を含み、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるＲＡＷデータを画像処理部１６に出力する。

画像処理部１６は、ホワイトバランス補正回路、ガンマ補正回路、本発明に係る同時化処理回路（単板式のカラー撮像素子１２のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理回路）、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含み、制御部２０からの指令に従い、撮像処理部１４から入力したモザイク画像のＲＡＷデータに所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

画像処理部１６で生成された画像データは、圧縮／伸張処理回路により静止画に対しては、ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）規格に準拠した圧縮処理が施された後、記録メディア（メモリカード）に記録され、また、液晶モニタ等の表示装置（図示せず）に出力されて表示される。

尚、画像処理部１６の中の本発明に係る同時化処理回路による処理内容の詳細については後述する。

＜カラーフィルタ配列の特徴＞
カラー撮像素子１２のカラーフィルタ配列は、下記の特徴（１）、（２）及び（３）を有している。

〔特徴（１）〕
図２はカラー撮像素子１２に設けられているカラーフィルタのカラーフィルタ配列を示す図である。図２に示すように、カラー撮像素子１２のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子１２から読み出されるＲ、Ｇ、Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

〔特徴（２）〕
図２に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターンＰ内の水平方向及び垂直方向の各ライン内に配置されている。これにより、後述するように、同時化処理時に相関方向が水平方向又は垂直方向と判別されると、水平方向又は垂直方向に存在する他の色の画素の画素値を使用して補間することができるため、色モワレ（偽色）の発生を抑圧することができる。また、上記のようにして偽色の発生を抑制することができるため、光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、図４に示すように水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

〔特徴（３）〕
図２に示すカラーフィルタ配列の基本配列パターンＰは、Ｇフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含んでいる。この基本配列パターンＰが水平方向及び垂直方向に配列されたカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

これは、図３に示すように輝度系画素であるＧフィルタが、Ａ配列またはＢ配列における３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタが形成されるためである。これらのＧフィルタからなる２×２画素の画素値は、水平方向、垂直方向、及び斜め方向（ＮＥ，ＮＷ）方向の輝度の相関方向の算出（方向判別）に使用することができる。

［画像処理部１６の同時化処理回路］
次に、画像処理部１６の同時化処理回路の処理内容について説明する。

図５に示すように、カラー撮像素子１２から出力されるモザイク画像からＧフィルタに対応する２×２画素のＧ画素を取り出し、各Ｇ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、同時化処理回路に含まれる方向判別回路は、各方向別の差分絶対値を算出する。

即ち、垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

方向判別回路は、これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別する。

いま、図６に示すように中央に３×３画素のＡ配列（図３参照）が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。

また、図７Ａに示すようなパターンの入力があった場合（黒が０、白が２５５）、図７Ｂに示す４隅の２×２画素のＧ画素の画素値の垂直方向の差分絶対値の総和は、｜０−２５５｜×８＝２０４０となり、水平方向の差分絶対値の総和も、｜０−２５５｜×８＝２０４０になる。一方、右上斜め方向の差分絶対値の総和は、｜２５５−２５５｜×２＋｜０−０｜×２＝０となり、左上斜め方向の差分絶対値の総和は、｜０−０｜×２＋｜２５５−２５５｜×２＝０となる。したがって、差分絶対値の総和が最小になる方向は、右上斜め方向と左上斜め方向の２方向となるが、図７Ａのパターンの場合は、斜めの最大周波数の入力であるため、斜め方向のどちらを採用しても問題はない。

上記のように互いに隣接する２×２画素のＧ画素から相関方向を判別するため、最小画素間隔で相関方向を判別することができる。即ち、高周波の影響を受けずに精度よく相関方向を判別することができる。

尚、上記の実施の形態では、隣接するＧ画素の画素値の差分値に基づいて輝度の変化が最も小さい方向（相関の高い相関方向）を判別するようにしたが、これに限らず、隣接するＧ画素の画素値の比に基づいて輝度の変化が最も小さい方向を判別するようにしてもよい。隣接するＧ画素の画素値の比に基づいて輝度の変化を判別する場合、その比（４つの方向別に複数の比を求める場合には、その比の平均値）が、最も１に近い方向を輝度の変化の小さい方向として判別する。

次に、画像処理部１６の同時化処理回路によりＲＧＢのモザイク画像を同時化処理する方法について説明する。

同時化処理の対象画素における相関方向が判別されると、同時化処理回路は、同時化処理の対象画素の画素位置における、他の色の画素値を算出する際に、前記判別された相関方向に存在する他の色の画素の画素値を使用する。

図４に示すように、水平方向及び垂直方向にはＲ画素、Ｇ画素、Ｂ画素の全ての色の画素が存在するため、水平方向又は垂直方向に相関方向があると判別されると、水平方向又は垂直方向に存在する、対象画素の近傍の他の色の画素の画素値を取得する。そして、取得した１画素の画素値、又は複数の画素の画素値の補間した値を、対象画素の画素位置における他の色の画素値とする。

例えば、相関方向が水平方向と判別された場合、図６において、Ｇ22の画素の画素位置におけるＲの画素値は、Ｒ12又はＲ32の画素値をそのまま画素値とする、または、Ｒ12及びＲ32の画素値から補間することにより決定する。

同様に、Ｇ22の画素の画素位置におけるＢの画素値は、Ｂ02又はＢ42の画素値をそのまま画素値とする、または、Ｂ02及びＢ42の画素値から補間することにより決定する。

また、Ｂ02の画素の画素位置におけるＲの画素値は、Ｒ12の画素値をそのまま画素値とする、または、Ｒ12及びＲ32の画素値から補間することにより決定する。

更に、Ｂ02の画素の画素位置におけるＧの画素値は、Ｇ22の画素値をそのまま画素値とする、または、隣接するＢ配列の同じ水平位置にあるＧ画素の画素値とＧ22の画素値から補間することにより決定する。

尚、相関方向が垂直方向と判別された場合も、上記と同様に垂直方向に存在する他の色の画素値を使用することができる。

また、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列は、３×３画素のＡ配列のＧ画素を中心とする斜め方向（対角方向）には、Ｇ画素しか存在しないため、相関方向がＧ画素の連続する斜め方向と判別されると、Ｇの画素値が算出されている近傍のＲ，Ｂ画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出する。

図６に示すように、方向判別結果により左斜め上に相関方向があると判別された場合、Ｇ11の画素の補間方向には、Ｒ，Ｂ画素が存在しない。そこで、Ｇ11の画素の近傍のＲ12，Ｂ21の画素の画素値Ｒ12，Ｒ21と、これらの画素の画素位置におけるＧの画素値Ｇ12’，Ｇ21’の色差を用いてＧ11の画素値Ｇ11を補間し、Ｇ11の画素の画素位置におけるＲ，Ｇの画素値Ｒ11’，Ｂ11’を算出する。

具体的には、以下の式で補間を行う。

Ｒ11’＝Ｇ11＋（Ｒ12−Ｇ12’） …（ａ）
Ｂ11’＝Ｇ11＋（Ｂ21−Ｇ21’） …（ｂ）
上記式（ａ）及び（ｂ）において、Ｇ12’＝Ｇ01，Ｇ21’＝Ｇ10である。即ち、画素値Ｇ12’，Ｇ21’は、左斜め方向の方向判別により推定したＲ12，Ｂ21の画素の画素位置におけるＧの画素値である。

同様に、Ｇ22の画素の画素位置のＲ，Ｂ画素の画素値Ｒ22’，Ｂ22’は、その近傍のＲ12，Ｒ32の画素と、Ｂ21，Ｂ23の画素の各画素位置の色差を用いて、Ｇ22の画素値Ｇ22を補間し、Ｇ22の画素の画素位置におけるＲ，Ｇの画素値Ｒ22’，Ｂ22’を算出する。

具体的には、以下の式で補間を行う。

Ｒ22’＝G22＋｛(Ｒ12+Ｒ32)/2−(Ｇ12’+Ｇ32’)/2｝ …（ｃ）
Ｂ22’＝G22＋｛(Ｂ21+Ｂ23)/2−(Ｇ21’+Ｇ23’)/2｝ …（ｄ）
尚、Ｇ32’＝Ｇ43，Ｇ23’＝Ｇ34である。

上記のようにして３×３画素（Ａ配列）の全ての画素の同時化処理が終了すると、隣接する３×３画素（Ｂ配列）の対象画素に対して、上記と同じ処理（方向判別と同時化処理）を行い、これを３×３画素単位で移動させながら繰り返す。

前述したように、カラー撮像素子１２のカラーフィルタ配列の場合、同時化処理の対象画素がＧ画素で、この画素位置におけるＲ，Ｂの画素値を算出する際に、斜め方向にＧ画素しか存在しないものがあるが、カラーフィルタ配列によっては、同時化処理の対象画素がＲ画素で、この画素位置におけるＧ，Ｂの画素値を算出する際に、斜め方向にＧ画素，又はＢ画素が存在しない場合や、同時化処理の対象画素がＢ画素で、この画素位置におけるＧ，Ｒの画素値を算出する際に、斜め方向にＧ画素，又はＲ画素が存在しない場合が考えられる。

この場合にも、上記式（ａ）〜（ｄ）と同様にして、ＲＧＢの画素値が算出された近傍の画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出することができる。

近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。

同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧ_Ｒ、Ｇ_Ｂとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ_Ｇ，Ｂ_Ｇを、次式により算出する。

Ｒ_Ｇ＝Ｇ＋（Ｒ−Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ＋（Ｂ−Ｇ_Ｂ） …（１）
この式（１）は、前述した式（ａ），（ｂ）に相当するものである。

同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲ_Ｇ、Ｒ_Ｂとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ_Ｒ，Ｂ_Ｒを、次式により算出する。

Ｇ_Ｒ＝Ｒ＋（Ｇ−Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ＋（Ｂ−Ｒ_Ｂ） …（２）
また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢ_Ｇ、Ｂ_Ｒとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ_Ｂ，Ｒ_Ｂを、次式により算出する。

Ｇ_Ｂ＝Ｂ＋（Ｇ−Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ＋（Ｒ−Ｂ_Ｒ） …（３）
尚、上記式（１）〜（６）に限らず、同時化処理の対象画素の近傍に、補間して求めようとする色と同じ色の画素が複数存在する場合には、式（ｃ）〜（ｄ）と同様に、複数の画素の平均の色差を使用して補間してもよい。

また、上記の実施形態では、同時化処理の対象画素に対し、判別された相関方向に他の色の画素が存在しない場合には、近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしたが、これに限らず、近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。

近傍の画素の色比により、対象画素の画素値を補間して他の色の画素値を算出する方法の具体例を下記に示す。

同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧ_Ｒ、Ｇ_Ｂとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ_Ｇ，Ｂ_Ｇを、次式により算出する。

Ｒ_Ｇ＝Ｇ×（Ｒ／Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ×（Ｂ／Ｇ_Ｂ） …（４）
同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲ_Ｇ、Ｒ_Ｂとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ_Ｒ，Ｂ_Ｒを、次式により算出する。

Ｇ_Ｒ＝Ｒ×（Ｇ／Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ×（Ｂ／Ｒ_Ｂ） …（５）
また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢ_Ｇ、Ｂ_Ｒとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ_Ｂ，Ｒ_Ｂを、次式により算出する。

Ｇ_Ｂ＝Ｂ×（Ｇ／Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ×（Ｒ／Ｂ_Ｒ） …（６）
一方、本発明は、水平方向及び垂直方向の各ライン内にＲ，Ｇ，Ｂ画素が周期的に配置されるカラー撮像素子を前提とするが、斜め（ＮＥ，ＮＷ）方向にもＲ，Ｇ，Ｂ画素が周期的に配置されるカラー撮像素子を使用する場合には、上記式（１）〜（６）等により他の色の画素値を補間算出する必要はない。

また、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接するＧ画素の画素値の差分絶対値がそれぞれ等しい場合（差分絶対値が全ての方向で０の場合、又はほぼ０の場合）には、方向判別回路は相関方向がないと判別する。この場合、同時化処理の対象画素の画素位置における他の色の画素値は、その画素位置の近傍に存在する他の色の画素の画素値を使用する。

［カラー撮像素子の第２の実施形態］
図８は本発明に適用されるカラー撮像素子の第２の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図８に示すように、このカラー撮像素子のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図８に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

また、図８に示すように基本配列パターンを、３×３画素に４分割すると、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられたカラーフィルタ配列となっていると捉えることもできる。

Ａ配列は、３×３画素の中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置され、一方、Ｂ配列は、３×３画素の中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図８に示すカラーフィルタ配列は、Ｇフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２つ隣接する部分を含んでいる。

輝度系画素であるＧフィルタは、Ａ配列またはＢ配列における３×３画素群の中心のフィルタを挟んで上下左右に配置されているため、該３×３画素群が水平方向及び垂直方向に繰り返し配置されると、前記３×３画素群の中心のフィルタを挟んで水平及び垂直方向にそれぞれ２画素ずつ隣接することになる。

このカラーフィルタ配列によれば、輝度系画素であるＧフィルタに対応する画素（合計８画素）の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔の画素値で判断することができる。

いま、Ａ配列に対応する３×３画素を同時化処理の対象画素とした場合、中心のＲ画素を挟んで水平方向及び垂直方向に、それぞれ連続するＧ画素が存在する（Ｇ画素が十字状に配置されている）。これらの水平方向及び垂直方向に連続するＧ画素の画素値に基づいて水平方向及び垂直方向の輝度の相関を求めることができ、また、Ｒ画素に隣接する上下左右の４つのＧ画素から斜め方向（ＮＥ，ＮＷ）方向の輝度の相関を求めることができる。

この第２の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。

尚、第２の実施形態のカラー撮像素子のカラーフィルタ配列の場合、例えば、Ａ配列の中心のＲ画素、又はＢ配列の中心のＢ画素を同時処理の対象画素とし、かつ斜め方向が相関方向と判別されると、その斜め方向にはＧ画素が存在しない。この場合、前述した式（２）、（３）、又は式（５）、（６）に基づいてＧの画素値を算出することができる。

［カラー撮像素子の第３の実施形態］
図９は本発明に適用されるカラー撮像素子の第３の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図９に示すように、このカラー撮像素子のカラーフィルタ配列は、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図９に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

更に、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向に、それぞれ２以上連続するＧフィルタ（Ｇ画素）が配置されている。これらの連続するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

この第３の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。

［カラー撮像素子の第４の実施形態］
図１０は本発明に適用されるカラー撮像素子の第４の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図１０に示すように、このカラー撮像素子のカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１０に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

更に、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向に、それぞれ連続するＧフィルタ（Ｇ画素）が配置されている。即ち、基本配列パターン内で上下左右に連続する２×２画素のＧ画素のかたまりが４組存在する。

これらの連続するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

この第４の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。

［カラー撮像素子の第５の実施形態］
図１１は本発明に適用されるカラー撮像素子の第５の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図１１に示すように、このカラー撮像素子のカラーフィルタ配列は、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１１に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

更に、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向に、それぞれ連続するＧフィルタ（Ｇ画素）が配置されている。即ち、基本配列パターン内で上下左右に連続する２×２画素を含むＧ画素のかたまりが４組存在する。

これらの連続するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

この第５の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。

［カラー撮像素子の第６及び第７の実施形態］
図１２及び図１３はそれぞれ本発明に適用されるカラー撮像素子の第６及び第７の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図１２に示す第６の実施形態のカラー撮像素子のカラーフィルタ配列は、図３に示した第１の実施形態に示した３×３画素のＡ配列が、水平、垂直方向に並べて配列されて構成されている。

一方、図１３に示す第７の実施形態のカラー撮像素子のカラーフィルタ配列は、図３に示した第１の実施形態に示した３×３画素のＢ配列が、水平、垂直方向に並べて配列されて構成されている。

これらの第６及び第７の実施形態のカラー撮像素子のカラーフィルタ配列は、基本配列パターンが３×３画素と小さく、Ｒ、Ｇ、Ｂ信号の同時化処理が容易になるという利点がある。

一方、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されておらず、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（２）を有していないが、特徴（１）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。

［その他］
上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮影光学系、１２…カラー撮像素子、１４…撮像処理部、１６…画像処理部、１８…駆動部、２０…制御部

Claims (11)

1. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、斜め右上、及び斜め左上方向に２以上隣接する部分を含むカラー撮像素子と、
   前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
   前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、斜め右上、及び斜め左上方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、斜め右上、及び斜め左上方向のうちのいずれの方向かを判別する方向判別部と、
   前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、を備え、
   前記カラーフィルタ配列は、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
   前記第１のフィルタ及び第２のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に１つ以上配置されているカラー撮像装置。
2. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、斜め右上、及び斜め左上方向に２以上隣接する部分を含むカラー撮像素子と、
   前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
   前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、斜め右上、及び斜め左上方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、斜め右上、及び斜め左上方向のうちのいずれの方向かを判別する方向判別部と、
   前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、を備え、
   前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されているカラー撮像装置。
3. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、斜め右上、及び斜め左上方向に２以上隣接する部分を含むカラー撮像素子と、
   前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
   前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、斜め右上、及び斜め左上方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、斜め右上、及び斜め左上方向のうちのいずれの方向かを判別する方向判別部と、
   前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、を備え、
   前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心のフィルタを挟んで上下左右に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されているカラー撮像装置。
4. 前記方向判別部は、前記水平、垂直、斜め右上、及び斜め左上方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別する請求項１から３のいずれか１項に記載のカラー撮像装置。
5. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、斜め右上、及び斜め左上方向に２以上隣接する部分を含むカラー撮像素子と、
   前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
   前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、斜め右上、及び斜め左上方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、斜め右上、及び斜め左上方向のうちのいずれの方向かを判別する方向判別部と、
   前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、を備え、
   前記方向判別部は、前記水平、垂直、斜め右上、及び斜め左上方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も１に近い方向を相関方向として判別するカラー撮像装置。
6. 前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値とする請求項１から５のいずれか１項に記載のカラー撮像装置。
7. 前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出する請求項１から６のいずれか１項に記載のカラー撮像装置。
8. 前記カラーフィルタは、赤、緑、青の色に対応する赤フィルタ、緑フィルタ及び青フィルタを有し、
   前記同時化処理部は、
   前記同時化処理の対象画素が緑画素、その画素値がＧであり、前記方向判別部により判別された相関方向に赤画素又は青画素が存在しない場合、前記緑画素の近傍の赤画素及び青画素の画素値をＲ，Ｂ、これらの画素の画素位置における緑画素の画素値をＧ_Ｒ、Ｇ_Ｂとすると、前記対象画素の位置における赤画素及び青画素の画素値Ｒ_Ｇ，Ｂ_Ｇを、次式、
   Ｒ_Ｇ＝Ｇ＋（Ｒ−Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ＋（Ｂ−Ｇ_Ｂ）
   により算出し、前記同時化処理の対象画素が赤画素、その画素値がＲであり、前記方向判別部により判別された相関方向に緑画素又は青画素が存在しない場合、前記赤画素の近傍の緑画素及び青画素の画素値をＧ，Ｂ、これらの画素の画素位置における赤画素の画素値をＲ_Ｇ、Ｒ_Ｂとすると、前記対象画素の位置における緑画素及び青画素の画素値Ｇ_Ｒ，Ｂ_Ｒを、次式、
   Ｇ_Ｒ＝Ｒ＋（Ｇ−Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ＋（Ｂ−Ｒ_Ｂ）
   により算出し、前記同時化処理の対象画素が青画素、その画素値がＢであり、前記方向判別部により判別された相関方向に緑画素又は赤画素が存在しない場合、前記青画素の近傍の緑画素及び赤画素の画素値をＧ，Ｒ、これらの画素の画素位置における青画素の画素値をＢ_Ｇ、Ｂ_Ｒとすると、前記対象画素の位置における緑画素及び赤画素の画素値Ｇ_Ｂ，Ｒ_Ｂを、次式、
   Ｇ_Ｂ＝Ｂ＋（Ｇ−Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ＋（Ｒ−Ｂ_Ｒ）
   により算出する請求項７に記載のカラー撮像装置。
9. 前記カラーフィルタは、赤、緑、及び青の色に対応する赤フィルタ、緑フィルタ及び青フィルタを有し、
   前記同時化処理部は、
   前記同時化処理の対象画素が緑画素、その画素値がＧであり、前記方向判別部により判別された相関方向に赤画素又は青画素が存在しない場合、前記緑画素の近傍の赤画素及び青画素の画素値をＲ，Ｂ、これらの画素の画素位置における緑画素の画素値をＧ_Ｒ、Ｇ_Ｂとすると、前記対象画素の位置における赤画素及び青画素の画素値Ｒ_Ｇ，Ｂ_Ｇを、次式、
   Ｒ_Ｇ＝Ｇ×（Ｒ／Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ×（Ｂ／Ｇ_Ｂ）
   により算出し、前記同時化処理の対象画素が赤画素、その画素値がＲであり、前記方向判別部により判別された相関方向に緑画素又は青画素が存在しない場合、前記赤画素の近傍の緑画素及び青画素の画素値をＧ，Ｂ、これらの画素の画素位置における赤画素の画素値をＲ_Ｇ、Ｒ_Ｂとすると、前記対象画素の位置における緑画素及び青画素の画素値Ｇ_Ｒ，Ｂ_Ｒを、次式、
   Ｇ_Ｒ＝Ｒ×（Ｇ／Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ×（Ｂ／Ｒ_Ｂ）
   により算出し、前記同時化処理の対象画素が青画素、その画素値がＢであり、前記方向判別部により判別された相関方向に緑画素又は赤画素が存在しない場合、前記青画素の近傍の緑画素及び赤画素の画素値をＧ，Ｒ、これらの画素の画素位置における青画素の画素値をＢ_Ｇ、Ｂ_Ｒとすると、前記対象画素の位置における緑画素及び赤画素の画素値Ｇ_Ｂ，Ｒ_Ｂを、次式、
   Ｇ_Ｂ＝Ｂ×（Ｇ／Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ×（Ｒ／Ｂ_Ｒ）
   により算出する請求項７に記載のカラー撮像装置。
10. 前記方向判別部は、前記水平、垂直、斜め右上、及び斜め左上方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、
    前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出する請求項１から９のいずれか１項に記載のカラー撮像装置。
11. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、斜め右上、及び斜め左上方向に２以上隣接する部分を含むカラー撮像素子に使用される画像処理方法において、
    前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する工程と、
    前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、斜め右上、及び斜め左上方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、斜め右上、及び斜め左上方向のうちのいずれの方向かを判別する工程と、
    前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する工程であって、前記判別された相関方向に存在する他の色の画素の画素値を使用して算出する工程と、を含み、
    前記判別する工程は、前記水平、垂直、斜め右上、及び斜め左上方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も１に近い方向を相関方向として判別する画像処理方法。

Images