JP5600814B2 - 画像処理装置及び方法並びに撮像装置 - Google Patents

Description

本発明は画像処理装置及び方法並びに撮像装置に係り、特に単板の撮像素子に配設されているカラーフィルタ配列に対応するモザイク画像の各画素間の混色等の影響を排除する技術に関する。

一般に、モザイク状のカラーフィルタ配列を有する撮像素子では、隣接する画素からの光の漏れ込みによる混色が発生する。また、所定の画素群毎にアンプを共有する素子構造を有する撮像素子では、アンプと各画素との位置関係に応じて出力特性に差異が生じる。

混色等の影響を受けているＲＧＢの色信号からホワイトバランス（ＷＢ）補正用のＷＢゲインを算出する場合、精度のよいＷＢゲインを算出することができないという問題がある。

従来、混色成分を含む色信号から混色成分を除去する技術として、特許文献１に記載のものがある。

特許文献１に記載の撮像装置は、複数の画素が行方向及び列方向に配列された画素配列における画素の位置毎に、その画素への周辺画素から混入する信号成分に関する補正係数を対応付けて記憶する係数テーブルを有する。そして、特許文献１に記載の撮像装置は、補正対象画素の位置に応じて前記係数テーブルから対応する補正係数を読み出し、補正対象画素の周辺画素の信号と補正係数とを用いることにより、補正対象画素の信号を補正するようにしている。

また、撮像素子に斜めに入射する光によって撮像画像に生じる混色を、簡便な方法で効果的に補正してホワイトバランス補正を行う技術が知られている（特許文献２）。

特許文献２に記載の画像処理装置は、所定の色度座標空間において、黒体放射軸を基準に白検出領域を設定し、この白検出領域に含まれる画素の色成分毎の積分値から、環境光源を推定するものである。特許文献２に記載の画像処理装置は、特に混色成分の量が絞りの大きさに依存することから、絞り値（Ｆ値）に応じて白検出領域を切り替えることを特徴としている。

一方、撮像素子のカラーフィルタ配列として知られているベイヤー配列では、左右方向にＲ（赤）画素が隣接するＧｒ（Ｒ行の緑）画素と、左右方向にＢ（青）が隣接するＧｂ（Ｂ行の緑）画素とは、本来応答が等しくなるべきである。しかしながら、「Ｇｒ」と「Ｇｂ」にアンバランスが生じるという課題がある。また、撮像領域の周辺部で色シェーディングが発生するという課題がある。特許文献３に記載のカラー固体撮像装置は、この課題を解決するために、カラーフィルタ上に画素単位で設けられている集光用のマイクロレンズのサイズ（面積）を画素単位で変化させるようにしている。

特開２０１０−１３０５８３号公報 特開２０１１−２３４２３１号公報 特開２００９−８８２５５号公報

特許文献１に記載の発明は、センサ面内の画素の位置毎に、その画素への周辺画素から混入する信号成分に関する補正係数を対応付けて記憶する係数テーブルを設けるようにしたものである。このため、センサ面内の画素の位置毎に適正な補正係数を使用することができる。しかしながら、この場合には、補正係数のデータ量が膨大となるという問題がある。また、特許文献１には、係数テーブルの代わりに関係式を記憶し、データ量を低減する記載がある。しかしながら、特許文献１では、補正係数のセンサ面内での変化か特定の関係式に当てはまらない場合には、適正な補正係数を算出することができないという問題がある。

特許文献２に記載の画像処理装置は、混色成分の量が絞りの大きさに依存することから、絞り値に応じて白検出領域を切り替え、その白検出領域に対応する画素の色信号を、色毎に加算平均して色平均値を算出するようにしている。しかしながら、特許文献２では、絞りの大きさに起因しない混色成分（例えば、対象画素の周辺画素の色による影響等）を考慮しておらず、ホワイトバランス補正の精度が低くなるという問題がある。

また、特許文献３に記載の発明は、カラーフィルタ上に画素単位で設けられているマイクロレンズのサイズ（面積）を画素単位で変化させるため、マイクロレンズの製造が難しい。また、特許文献３に記載の発明は、撮像素子毎に特性にバラツキが生じる場合には対応することができない。

本発明はこのような事情に鑑みてなされたもので、複雑なカラーフィルタ配列のモザイク画像であっても、そのモザイク画像の各画素間の混色等の影響を容易に排除することができ、これによりホワイトバランス補正を良好に行うことができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る画像処理装置は、Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得手段と、Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段と、画像取得手段により取得したモザイク画像の各画素の色信号から、色信号に含まれる周辺画素からの混色成分を除去する混色補正手段であって、任意の混色補正の対象画素のＩ×Ｊ画素内の画素位置に関連づけられた混色率を記憶手段から読み出し、読み出した混色率と対象画素の色信号とに基づいて対象画素に含まれる混色成分を除去する混色補正手段と、混色補正手段により混色補正されたモザイク画像の各画素の色信号に基づいて色毎の平均値を算出する算出手段と、算出手段により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて、モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正手段と、を備えている。

混色補正の対象画素は、隣接する複数の周辺画素からの混色等の影響を受けており、その影響の度合いは、周辺画素の方位方向（例えば、上下左右方向）や周辺画素の色等により異なる。Ｉ×Ｊ画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像の場合、任意の対象画素に対する複数の周辺画素の色等の組合せ（重複順列）の数は多く存在する。これにより、同じ色の対象画素であっても、これらの対象画素の周辺画素の色等の組合せがそれぞれ異なる。その結果、同じ色の対象画素の間で出力特性が異なる。

本発明の一の態様によれば、Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、Ｉ×Ｊ画素内の画素位置に関連づけて記憶手段に記憶させておく。この場合、同じ光を受光した同じ色の画素は、その周辺画素の色等の組合せが異なっていても、同じ出力が得られるように混色率を設定することが好ましい。そして、任意の混色補正の対象画素の混色補正を行う場合には、その対象画素のＩ×Ｊ画素内の画素位置に関連づけられた混色率を記憶手段から読み出し、読み出した混色率と対象画素の色信号とに基づいて対象画素に含まれる混色成分を除去するようにしている。このようにして混色補正されたモザイク画像の各画素の色信号に基づいてホワイトバランスゲインを算出する。このため、精度の高いホワイトバランスゲインを算出することができるようにしている。また、算出されたホワイトバランスゲインに基づいてモザイク画像の各画素の色信号をホワイトバランス補正することにより、良好なホワイトバランス補正を実現することができる。

本発明の他の態様に係る画像処理装置は、Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得手段と、Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段と、画像取得手段により取得したモザイク画像の各画素の色信号の、Ｉ×Ｊ画素内の画素位置毎の積算値を算出する第１の算出手段と、第１の算出手段により算出されたＩ×Ｊ画素内の画素位置毎の積算値を、Ｉ×Ｊ画素内の画素位置に関連づけられた混色率に基づいて補正する積算値補正手段と、積算値補正手段により補正したＩ×Ｊ画素内の画素位置毎の積算値を色毎に加算し、色毎の平均値を算出する第２の算出手段と、第２の算出手段により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて、モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正手段と、を備えている。

本発明の他の態様では、最初にモザイク画像の各画素の色信号の、Ｉ×Ｊ画素内の画素位置毎の積算値を算出し、各積算値に対してそれぞれ対応する混色率に基づいて補正する。続いて、同じ色の補正した積算値を加算して色毎の平均値を算出する。これらの色毎の平均値に基づいてホワイトバランスゲインを算出する。このようにして算出されるホワイトバランスゲインは、本発明の一の態様のものと同じ値にすることができ、良好なホワイトバランス補正を実現できるようにしている。

本発明の更に他の態様に係る画像処理方法装置において、モザイク画像は、複数の色の色画素を有するＭ×Ｎ（Ｍ≦Ｉ，Ｎ≦Ｊ）画素からなる基本配列パターンの画素群を含み、基本配列パターンの画素群が水平及び垂直方向に繰り返して配置された画像である。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子から出力される画像であり、所定の画素群は、Ｋ×Ｌ（Ｋ≦Ｍ，Ｌ≦Ｎ，Ｋ，Ｌは自然数）画素のサイズを有するものである。

本発明の更に他の態様に係る画像処理装置において、記憶手段は、モザイク画像の全領域を複数の分割領域に分割したときの分割領域毎に混色率を記憶することが好ましい。

本発明の更に他の態様に係る画像処理方法は、Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得工程と、Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段を準備する工程と、画像取得手段により取得したモザイク画像の各画素の色信号から、色信号に含まれる周辺画素からの混色成分を除去する混色補正手段であって、任意の混色補正の対象画素のＩ×Ｊ画素内の画素位置に関連づけられた混色率を記憶手段から読み出し、読み出した混色率と対象画素の色信号とに基づいて対象画素に含まれる混色成分を除去する混色補正工程と、混色補正工程により混色補正されたモザイク画像の各画素の色信号に基づいて色毎の平均値を算出する算出工程と、算出工程により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて、モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正工程と、を含んでいる。

本発明の更に他の態様に係る画像処理方法は、Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得工程と、Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段を準備する工程と、画像取得工程により取得したモザイク画像の各画素の色信号の、Ｉ×Ｊ画素内の画素位置毎の積算値を算出する第１の算出工程と、第１の算出工程により算出されたＩ×Ｊ画素内の画素位置毎の積算値を、Ｉ×Ｊ画素内の画素位置に関連づけられた混色率に基づいて補正する積算値補正工程と、積算値補正工程により補正したＩ×Ｊ画素内の画素位置毎の積算値を色毎に加算し、色毎の平均値を算出する第２の算出工程と、第２の算出工程により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて、モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正工程と、を含んでいる。

本発明の更に他の態様に係る撮像装置は、撮影光学系とこの撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、撮像手段から出力されるモザイク画像を取得する画像取得手段と、前述した画像処理装置と、を備えている。

本発明の更に他の態様に係る撮像装置において、撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設され、カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、基本配列パターンが水平及び垂直方向に繰り返して配置され、基本配列パターンは、Ｍ×Ｎ（Ｍ≦Ｉ，Ｎ≦Ｊ）画素に対応する配列パターンである。

本発明の更に他の態様に係る撮像装置において、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいことが好ましい。

上記カラーフィルタ配列を撮像素子によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色に対応する第２のフィルタについても、基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。また、カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化処理を行う際に、繰り返しパターンに従って処理を行うことができる。更に、第１のフィルタに対応する第１の色の画素数と第２のフィルタに対応する第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るために最も寄与する第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにした。このため、エリアシングを抑制することができ高周波再現性もよい。

本発明の更に他の態様に係る撮像装置において、基本配列パターンは、３×３画素に対応する正方配列パターンであり、中心と４隅に第１のフィルタが配置されていることが好ましい。

本発明の更に他の態様に係る撮像装置において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）であり、所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されていることが好ましい。

本発明の更に他の態様に係る撮像装置において、撮像素子は、所定の画素群毎にアンプを共有する素子構造を有し、所定の画素群は、Ｋ×Ｌ（Ｋ≦Ｍ，Ｌ≦Ｎ，Ｋ，Ｌは自然数）画素のサイズを有することが好ましい。

本発明の更に他の態様に係る撮像装置において、撮像素子のＩ×Ｊ画素の繰り返し周期の画素構造は、Ｍ×Ｎ画素の基本配列パターンと、Ｋ×Ｌ画素の所定の画素群との最小公倍数の周期となるものである。

本発明によれば、Ｉ×Ｊ画素の周期性を有するモザイク画像の、Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、Ｉ×Ｊ画素内の画素位置に関連づけて記憶手段に記憶しておき、前記混色率に応じて補正したモザイク画像の色毎の平均値に基づいてホワイトバランスゲインを算出するようにしたため、精度の高いホワイトバランスゲインを算出することができ、これにより良好なホワイトバランス補正を行うことができる。

本発明に係る撮像装置の実施形態を示すブロック図 撮像素子に配置されたモザイク状の新規のカラーフィルタ配列を示す図 図２に示した基本配列パターンを３×３画素に４分割した状態に関して示した図 図１に示した画像処理部の第１の実施形態の内部構成を示す要部ブロック図 基本配列パターン内の３６個の各画素の位置を示す図 ２×２の４画素が１つのアンプを共有している撮像素子の一例を示す図 混色率を示す補正テーブルの一例を示す図表 モザイク画像の８×８の分割領域を示す図 図４に示した混色補正部の内部構成の実施形態を示すブロック図 本発明に係る画像処理方法の実施形態を示すフローチャート 図１に示した画像処理部の第２の実施形態の内部構成を示す要部ブロック図 図１１に示したＲＧＢ積算部の内部構成の実施形態を示すブロック図 Ｒフィルタ（赤フィルタ）、Ｇ１フィルタ（第１の緑フィルタ）、Ｇ２フィルタ（第２の緑フィルタ）及びＢフィルタ（青フィルタ）を備える撮像素子の分光感度特性を示すグラフ Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＷフィルタ（透明フィルタ）を備える撮像素子の分光感度特性を示すグラフ Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＥフィルタ（エメラルドフィルタ）を備える撮像素子の分光感度特性を示すグラフ

以下、添付図面に従って本発明に係る画像処理装置及び方法並びに撮像装置の実施の形態について詳説する。

［撮像装置の実施形態］
図１は本発明に係る撮像装置の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像を内部メモリ（メモリ部２６）、又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）１２によって統括制御される。

撮像装置１０には、シャッタボタン（シャッタースイッチ）、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部１４が設けられている。この操作部１４からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、デバイス制御部１６を介してレンズ部１８、シャッタ２０、画像取得手段として機能する撮像素子２２を制御するとともに、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部２５の表示制御などを行う。

レンズ部１８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部１８及びシャッタ２０を通過した光束は、撮像素子２２の受光面に結像される。

撮像素子２２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のカラーイメージセンサである。撮像素子２２の受光面には、多数の受光素子（フォトダイオード）が２次元配列されている。各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

＜撮像素子の実施形態＞
図２は、上記撮像素子２２の実施形態を示す図であり、特に撮像素子２２の受光面上に配置されている新規のカラーフィルタ配列に関して示している。

この撮像素子２２のカラーフィルタ配列は、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含んでいる。撮像素子２２の受光面には、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子２２から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に１以上配置されている。

ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となる。一方、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

また、図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、それぞれ基本配列パターンの水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。尚、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

更に、図２に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにした。このため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

図３は、図１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

上記構成の撮像素子２２に蓄積された信号電荷は、デバイス制御部１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２から読み出された電圧信号は、Ａ／Ｄ変換器２４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部２６に保存される。

メモリ部２６は、揮発性メモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory；記憶手段）等を含んでいる。ＳＤＲＡＭは、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子２２の画素の欠陥情報、混色補正を含む画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部２８は、メモリ部２６に一旦格納されたデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理（デモザイク処理）、ＲＧＢ／ＹＣ変換等の所定の信号処理を行う。ここで、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、色補間処理又はデモザイキング処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。尚、本発明に係る画像処理装置（画像処理部２８）の詳細については後述する。

画像処理部２８で処理された画像データは、エンコーダ３０において画像表示用のデータにエンコーディングされ、ドライバ３２を介してカメラ背面に設けられている表示部２５に出力される。これにより、被写体像が連続的に表示部２５の表示画面上に表示される。

操作部１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ１２は、ＡＦ（Automatic Focus）動作及びＡＥ（Automatic Exposure Adjustment）動作を開始させ、デバイス制御部１６を介してレンズ部１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ１２は、シャッタボタンの半押し時にＡ／Ｄ変換器２４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、前記決定した露出条件により絞り、シャッタ２０及び撮像素子２２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子２２から読み出され、Ａ／Ｄ変換器２４によりＡ／Ｄ変換されたＲＧＢのモザイク画像（図２に示したカラーフィルタ配列に対応する画像）の画像データは、メモリ部２６に一時的に記憶される。

メモリ部２６に一時的に記憶された画像データは、画像処理部２８により適宜読み出され、ここで、混色補正、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）に従って圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆ（Exchangeable image file format）ファイル）形式で内部メモリや外部メモリに記録される。

［画像処理］
＜第１の実施形態＞
図４は、図１に示した画像処理部２８の第１の実施形態の内部構成を示す要部ブロック図である。

図４に示すように、画像処理部２８は、混色補正部（混色補正手段）１００、ホワイトバランス（ＷＢ）補正部（ホワイトバランス補正手段）２００、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換等の信号処理を行う信号処理部３００、ＲＧＢ積算部（算出手段）４００、及びホワイトバランス（ＷＢ）ゲイン算出部（ホワイトバランスゲイン算出手段）５００を備えている。

前述したように撮影時に撮像素子２２から出力されたカラーフィルタ配列のままのＲＡＷデータ（モザイク画像）は、一旦メモリ部２６に格納される。画像処理部２８は、メモリ部２６からモザイク画像（ＲＧＢの色信号）を取得する。

取得したＲＧＢの色信号は、点順次で混色補正部１００に加えられる。混色補正部１００は、点順次で入力する混色補正の対象画素の色信号に含まれる周辺画素からの混色等の影響を除去する。尚、混色補正部１００の詳細については後述する。

混色補正部１００により混色等の影響が除去されたモザイク画像の各画素の色信号は、ＷＢ補正部２００に加えられるとともに、ＲＧＢ積算部４００に加えられる。

ＲＧＢ積算部４００は、１画面を８×８に分割した分割領域（図８参照）毎に、ＲＧＢの色信号毎を積算し、その積算平均値を算出する。ＲＧＢ積算部４００により分割領域毎に算出されたＲＧＢ毎の積算平均値は、ＷＢゲイン算出部５００に加えられる。

ＷＢゲイン算出部５００は、分割領域毎にＲＧＢの積算平均値の比（Ｒ／Ｇ，Ｂ／Ｇ）からなる色情報を算出する。１画面が８×８の６４の分割領域に分割されている場合には、６４個の色情報（Ｒ／Ｇ，Ｂ／Ｇ）が算出される（算出工程）。

ＷＢゲイン算出部５００は、これらの分割領域毎の色情報（Ｒ／Ｇ，Ｂ／Ｇ）に基づいてＷＢゲインを算出する。具体的には、６４個の分割領域毎の色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。尚、色温度の替わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよい（特開２００７−５３４９９号公報参照）。また、推定した光源種から色温度を推定してもよい。

ＷＢゲイン算出部５００には、予め環境光の色温度又は光源種に対応して、適正なホワイトバランス補正を行うためのＲＧＢ毎、又はＲＢ毎のＷＢゲインが用意されている。ＷＢゲイン算出部５００は、前記推定した環境光の色温度又は光源種に基づいて対応するＲＧＢ毎、又はＲＢ毎のＷＢゲインを読み出し、この読み出したＷＢゲインをＷＢ補正部２００に出力する（ホワイトバランスゲイン算出工程）。

ＷＢ補正部２００は、混色補正部１００から入力するＲ，Ｇ，Ｂの色信号毎に、それぞれＷＢゲイン算出部５００から入力する色毎のＷＢゲインをかけることによりホワイトバランス補正を行う（ホワイトバランス補正工程）。

ＷＢ補正部２００から出力されたＲ、Ｇ、Ｂの色信号は、信号処理部３００に加えられ、ここで、ガンマ補正、撮像素子２２のカラーフィルタ配列に伴うＲ、Ｇ、Ｂの色信号の空間的なズレを補間してＲ、Ｇ、Ｂの色信号を同時式に変換する同時化処理、同時化されたＲ、Ｇ、Ｂの色信号を輝度信号Ｙ，色差信号Ｃｒ，Ｃｂに変換するＲＧＢ／ＹＣ変換等の信号処理を行う。そして、信号処理部３００は、信号処理した輝度信号Ｙ，色差信号Ｃｒ，Ｃｂを出力する。

画像処理部２８から出力された輝度データＹ、及び色差データＣｒ，Ｃｂは、圧縮処理された後、内部メモリや外部メモリに記録される。

＜混色補正＞
図５は、図２に示した６×６画素に対応する基本配列パターンを示す図であり、この基本配列パターンは、３６個の画素群に対応している。

図５に示すように、基本配列パターン内の３６個の各画素の位置を、(1)〜(36)とする。尚、基本配列パターン内の左上隅のＧ画素の位置は(1)、右下隅のＧ画素の位置は(36)で表されている。

基本配列パターン内の位置(1)〜(18)の１８個の画素は、図３に示すＡ配列とＢ配列の画素に対応し、位置(19)〜位置(36)の１８個の画素は、図３に示すＢ配列とＡ配列に対応する。

いま、位置(16)のＧ画素を混色補正の対象画素とすると、この対象画素に隣接する上下左右の周辺画素（上画素、下画素、左画素、右画素）の色は、それぞれＢ、Ｇ、Ｇ、及びＲとなっている。そして、３×３画素のＡ配列の９画素及びＢ配列の９画素（位置(1)〜(18)の１８個の画素）は、いずれの画素を対象画素にした場合でも、その対象画素の上下左右に隣接する４つの画素の色の組合せは異なるものとなる。

対象画素に対する周辺画素からの混色の影響は、その周辺画素の方位方向（上下左右）、及び周辺画素の色（ＲＧＢ）により異なる。

対象画素の４つの周辺画素の色は、ＲＧＢの３色のいずれの色も取り得るため、４つの周辺画素の色の組合せ（重複順列）は、３^４＝８１通り存在する。尚、この実施形態のカラーフィルタ配列の場合、４つの周辺画素の組合せは、Ａ配列及びＢ配列の１８画素に対応する１８通り存在する。

基本配列パターンの画素サイズが大きくなり、３色のＲＧＢの画素の配列の自由度が上がると、隣接する周辺画素の色配置の組合せが増える。また、ＲＧＢの３色以外に、エメラルドやイエローの画素が存在する場合には、更に色配置の組合せが増えることになる。

一方、この実施形態の撮像素子２２は、ＣＭＯＳ型の撮像素子であり、図６に示すようにＣＭＯＳの下地に画素共有アンプＡが埋め込まれており、Ｋ×Ｌ（２×２）画素が１つのアンプＡを共有している。この撮像素子２２の素子構造により、アンプＡに対する画素の位置１〜４（アンプＡに対して左上、右上、左下、右下の位置）により出力レベルに差が生じる。

図５上で、点線が囲んだ２×２画素は、１つのアンプＡを共有している４画素を示している。

図５上で、位置(8)のＧ画素と位置(29)のＧ画素とは、それぞれ３×３画素のＡ配列（図３参照）の中心のＧ画素であり、これらの画素の上下左右の周辺画素の色は、Ｂ、Ｂ、Ｒ、Ｒとなっており、同じ色の組合せになっているが、アンプＡに対する画素の位置が異なっている。即ち、位置(8)のＧ画素、及び位置(29)のＧ画素の、アンプＡに対する画素の位置は、図６に示すように、それぞれ４と１に対応する。

したがって、位置(8)のＧ画素と位置(29)のＧ画素とは、周辺画素の色の組合せが同じでも出力レベルに差が生じ得る。

いま、基本配列パターンが、Ｍ×Ｎ画素（Ｍ×Ｎ画素内の色の配置が非対称の場合のＭ×Ｎ画素）の場合、Ｍ×Ｎ個の全ての画素の周辺画素の色の組合せは異なるものとなる。また、アンプを共有する画素群が、Ｋ×Ｌ（Ｋ≦Ｍ，Ｌ≦Ｎ）画素の場合、Ｋ×Ｌ個の画素は、それぞれアンプに対する画素の位置が異なり、出力レベルに差が生じる。

したがって、基本配列パターン内のＭ×Ｎ画素の各画素の位置と、アンプを共有する画素群のＫ×Ｌ画素内の画素の位置との組合せは、Ｍ×Ｎ画素とＫ×Ｌ画素の最小公倍数の数だけ存在する。

本例の図３に示した６×６画素の基本配列パターンは、６×６画素内の色の配置が対称になっている（Ａ配列とＢ配列とが互い違いに配置されている）。このため、４つの周辺画素の色の組合せが異なる最小の配列パターンの画素サイズは、３×６画素となる。

一方、本例の図６に示した１つのアンプＡを共有する画素群は、２×２画素である。そして、３×６画素と２×２画素の最小公倍数は、３６（＝６×６）となる。

即ち、図５に示した基本配列パターン内の３６個の画素は、基本配列パターン内のいずれの位置の画素を対象画素とした場合でも、その対象画素の４つの周辺画素の色の組合せ、及びアンプＡを共有する画素群内の位置のうちの少なくとも一方が異なるものとなる。

図７は、メモリ部２６に記憶させる混色率の補正テーブルを示している。この補正テーブルには、基本配列パターン内の画素の位置(1)〜(36)に対応する３６個の混色率（補正係数）Ａ_１〜Ａ_３６が記憶されている。

これらの混色率Ａ_１〜Ａ_３６は、例えば均一な白色光（例えば、デーライトＤ５０）が撮像素子２２の各画素に入射した場合に、同じ色の画素（本例の場合は、８個のＲ画素、２０個のＧ画素、８個のＢ画素）の出力レベルが揃うように、より好ましくは、３６個の全画素の出力レベルが揃うように補正する係数になるように設定する。

メモリ部２６への補正テーブルの保存は、予め製品出荷前の検査時に上記混色率Ａ_１〜Ａ_３６を求め、製品別に保存することが好ましい（準備工程）。

また、モザイク画像の中央部と周辺部とでは、撮像素子２２の各画素へ被写体光の入射角が異なるため混色率が異なる。そこで、図８に示すようにモザイク画像の全領域を、例えば、８×８の分割領域に分割し、分割領域毎に、図７に示した補正テーブルをメモリ部２６に記憶させる。

図９は、図４に示した混色補正部１００の内部構成の実施形態を示すブロック図である。

この混色補正部１００は、乗算器１１０と、対象画素情報取得部１１２と、混色率設定部１１４とを備えている。

図９において、撮像素子２２を介して取得したモザイク画像（ＲＧＢの色信号）は、点順次で乗算器１１０に加えられる。

一方、対象画素情報取得部１１２には、乗算器１１０に加えられる混色補正の対象画素の、モザイク画像内における対象画素の位置(x,y)を示す情報が加えられている。対象画素情報取得部１１２は、対象画素の位置(x,y)を示す情報に基づいて、その対象画素の基本配列パターン内における位置（図５に示す位置(1)〜(36)のうちのいずれかの位置）を示す位置情報と、その対象画素が属する分割領域（図８参照）を示す分割領域情報を取得する。対象画素情報取得部１１２により取得された対象画素の基本配列パターン内の位置情報と分割領域情報は、混色率設定部１１４に出力される。

混色率設定部１１４は、対象画素情報取得部１１２から入力する基本配列パターン内の位置情報と分割領域情報とに基づいて、メモリ部２６から対応する混色率Ａを読み出し、この混色率Ａを乗算器１１０の他の入力に加える。即ち、混色率設定部１１４は、分割領域情報に基づいて対象画素が属する分割領域に対応する補正テーブルを選択し、選択した補正テーブルから基本配列パターン内の位置情報に基づいて、図７に示したように基本配列パターン内の位置(1)〜(36)に関連づけて記憶された混色率Ａ（混色率Ａ_１〜Ａ_３６のうちのいずれかの混色率）を読み出す。

乗算器１１０は、入力する混色補正の対象画素の色信号と混色率Ａとを乗算し、乗算値を混色等の影響が除去された色信号として、前述の図４に示したＷＢ補正部２００及びＲＧＢ積算部４００に出力する。

＜画像処理方法＞
図１０は本発明に係る画像処理方法の実施形態を示すフローチャートである。

図１０において、混色補正部１００は、まず、混色補正開始前に混色補正の対象画素の位置(x,y)を、初期値(０,０)に設定する（ステップＳ１０）。

続いて、対象画素(x,y)の色信号（画素値）と、その対象画素(x,y)の基本配列パターン内の位置情報及び分割領域情報を取得する（ステップＳ１２、画像取得工程）。

混色率設定部１１４は、前記取得した位置情報及び分割領域情報に基づいてメモリ部２６から対応する混色率Ａを読み出す（ステップＳ１４）。

次に、ステップＳ１２で取得した対象画素(x,y)の画素値と、ステップＳ１４で読み出した混色率Ａとを乗算し、その乗算値を混色等の影響を除去した画素値として取得する（ステップＳ１６、混色補正工程）。

続いて、全ての対象画素の混色補正が終了したか否かを判別し（ステップＳ１８）、終了していない場合（「No」の場合）には、ステップＳ２０に遷移させる。

ステップＳ２０では、対象画素の位置(x,y)を１画素移動させる。また、対象画素の位置(x,y)が水平方向の左端に達した場合には、対象画素の位置(x,y)を水平方向の右端に戻すとともに、垂直方向に１画素移動させてステップＳ１２に遷移させる。そして、上記ステップＳ１２からステップＳ１８の処理を繰り返し実行させる。

一方、ステップＳ１８において、全ての対象画素の混色補正が終了したと判別されると（「Yes」の場合）、本混色補正の処理を終了する。

＜第２の実施形態＞
図１１は、図１に示した画像処理部２８の第２の実施形態の内部構成を示す要部ブロック図である。

図１１に示すように、画像処理部２８は、ホワイトバランス（ＷＢ）補正部２００、信号処理部３００、ＲＧＢ積算部４００’、及びＷＢゲイン算出部５００を備えている。尚、図１１に示す第２の実施形態の画像処理部２８は、図４に示した第１の実施形態の画像処理部２８と比較して、混色補正部１００が設けられていない点と、ＲＧＢ積算部４００’の構成が異なる点で相違している。

したがって、以下ではＲＧＢ積算部４００’についてのみ詳述し、他の構成の説明は省略する。

ＲＧＢ積算部４００’は、１画面を８×８に分割した分割領域（図８参照）毎に、ＲＧＢの色信号毎を積算し、その積算平均値を算出する点で、図４に示したＲＧＢ積算部４００と共通するが、その積算平均値の算出過程において、混色等の影響を除去する処理を行う点で相違する。

図１２は、図１１に示したＲＧＢ積算部４００’の内部構成の実施形態を示すブロック図である。

このＲＧＢ積算部４００’は、第１スイッチング部４１０、第１の算出手段（第１〜第３６積算部420-1〜420-36）、積算値補正手段（乗算器430-1〜430-36）、第２スイッチング部４４０、第２の算出手段（Ｒ積算部４５０、Ｇ積算部４５２、Ｂ積算部４５４）、対象画素情報取得部４６０、及び混色率設定部４７０を備えている。

図１２において、撮像素子２２を介して取得したモザイク画像（ＲＧＢの色信号）は、点順次で第１スイッチング部４１０に加えられる（画像取得工程）。尚、この実施形態では、図８に示した６４の分割領域毎に、モザイク画像が点順次で加えられるものとする。

一方、対象画素情報取得部４６０には、第１スイッチング部４１０に加えられる混色補正の対象画素の、モザイク画像内における対象画素の位置(x,y)を示す情報が加えられている。対象画素情報取得部４６０は、対象画素の位置(x,y)を示す情報に基づいて、その対象画素の基本配列パターン内における位置（図５に示す位置(1)〜(36)のうちのいずれかの位置）を示す位置情報と、その対象画素が属する分割領域（図８参照）を示す分割領域情報を取得する。対象画素情報取得部４６０により取得された対象画素の基本配列パターン内の位置情報は第１スイッチング部４１０に出力され、分割領域情報は混色率設定部４７０に出力される。

第１スイッチング部４１０は、点順次で加えられる積算対象の色信号を、対象画素情報取得部４６０から入力する基本配列パターン内の位置情報に基づいて、第１〜第３６積算部420-1〜420-36のうちのいずれかの積算部に切り替えて（振り分けて）出力する。例えば、積算対象の色信号が、図５に示した基本配列パターン内の位置(1)に対応する信号の場合には、第１積算部420-1に出力し、同様に基本配列パターン内の位置(36)に対応する信号の場合、第３６積算部420-36に出力する。

第１〜第３６積算部420-1〜420-36は、上記のようにして入力する色信号をそれぞれ積算し、１つの分割領域の色信号の積算が終了すると、それぞれの積算値を乗算器430-1〜430-36に出力する（第１の算出工程）。その後、第１〜第３６積算部420-1〜420-36は、積算値を０にリセットし、次の分割領域の色信号の積算を行う。

混色率設定部４７０は、対象画素情報取得部４６０から、現在、第１〜第３６積算部420-1〜420-36で積算している色信号の分割領域を示す分割領域情報を入力しており、この分割領域情報に基づいて分割領域に対応する補正テーブル（図７参照）をメモリ部２６から選択し、選択した補正テーブルに登録されている混色率Ａ_１〜Ａ_３６を、それぞれ乗算器430-1〜430-36の他の入力に加える。

乗算器430-1〜430-36は、それぞれ入力する積算値と混色率Ａとを乗算し、これらの乗算結果を混色等の影響が除去された積算値として第２スイッチング部４４０に出力する（積算値補正工程）。

第２スイッチング部４４０は、入力する３６個の乗算値をＲＧＢの色毎に分け、Ｒの乗算値をＲ積算部４５０に出力し、同様にＧの乗算値をＧ積算部４５２に出力し、Ｂの乗算値をＢ積算部４５４に出力する。

Ｒ積算部４５０、Ｇ積算部４５２及びＢ積算部４５４は、それぞれ第２スイッチング部４４０から加えられる乗算値を積算するとともに、積算した値を全画素数で除算して平均値を求める（第２の算出工程）。このようにして求めたＲＧＢ毎の積算平均値は、後段のＷＢゲイン算出部５００（図１１）に出力される。

上記のようにＲＧＢ積算部４００’は、分割領域に対応する補正テーブルを使用し、分割領域毎に混色等の影響が除去されたＲＧＢの積算平均値を算出する。これにより、ＷＢゲイン算出部５００は、混色等の影響が排除された適正なＷＢゲインを算出することができる。

［その他］
本発明は、図２に示したカラーフィルタ配列のモザイク画像に限らず、種々のカラーフィルタ配列のモザイク画像に対して適用することができる。本発明は、例えば、図３に示したＡ配列、又はＢ配列のみのモザイク画像に対しても適用することができる。本発明が適用される基本配列パターンのサイズＮ×Ｍは、好ましくは５×５以上、より好ましくは１０×１０以下が望ましい。

基本配列パターンの画素サイズが平方で大きくなり、３色のＲＧＢの画素の配列の自由度が上がると、隣接する周辺画素の色配置の組合せが増え、異なる混色率が増えてくるため、本発明は有効である。５×５では２５画素にもなるため本発明の効果が十分得られる。一方、同時化処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Ｎ，Ｍは１０以下であることが望ましい。

また、画素共有アンプが埋め込まれていない撮像素子から取得されるモザイク画像に対しても本発明は適用できる。更にモザイク画像の中央部と周辺部とで混色等の影響が少ない場合には、分割領域毎に混色率の補正テーブルを持たなくてもよい。

＜カラーフィルタ配列の追加の実施の形態＞
また、上述の各実施形態では、第１の色として緑（Ｇ）を採用し、第２の色として赤（Ｒ）及び青（Ｂ）を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではない。上記各実施形態では、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。

＜第１のフィルタ（第１の色）の条件＞
例えば、上記各実施形態において、Ｇフィルタの代わりに、あるいはＧフィルタの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いてもよい。

〔条件（１）〕
条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、上記各実施形態に係る第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。

例えば、Ｇ色は、輝度（Ｙ）信号（輝度データ）を得るための寄与率がＲ色、Ｂ色よりも高い。すなわち、Ｇ色よりもＲ色及びＢ色の方の寄与率が低い。具体的に説明すると、上述の画像処理部２８は、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号から、下記式（１）に従って輝度信号（Ｙ信号）を生成する。下記式（１）はカラー撮像素子２２でのＹ信号の生成に一般的に用いられる式である。この式（１）ではＧ色の輝度信号への寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。したがって、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ・・・式（１）
Ｇ色の寄与率は上記式（１）に示したように６０％となるので条件（１）を満たす。また、Ｇ色以外の色の寄与率についても実験やシミュレーションにより取得可能である。したがって、Ｇ色以外で寄与率が５０％以上となる色を有するフィルタについても、上記各実施形態において第１のフィルタとして用いることができる。尚、寄与率が５０％未満となる色は、上記各実施形態において第２の色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが上記各実施形態において第２のフィルタとなる。

〔条件（２）〕
条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば、分光光度計で測定された値が用いられる。この波長範囲は、上記各実施形態に係る第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。尚、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが上記各実施形態に係る第２のフィルタ（Ｒフィルタ、Ｂフィルタ）となる。

〔条件（３）〕
条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（ＲフィルタやＢフィルタ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、上記各実施形態に係る第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。

〔条件（４）〕
条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。

＜複数種類の第１のフィルタ（Ｇフィルタ）＞
したがって、第１のフィルタとしてのＧ色のＧフィルタは一種類に限定されるものではなく、例えば複数種類のＧフィルタを第１のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ（基本配列パターン）のＧフィルタが、第１ＧフィルタＧ１または第２ＧフィルタＧ２に適宜置き換えられてもよい。第１ＧフィルタＧ１は第１の波長帯域のＧ光を透過し、第２ＧフィルタＧ２は第１ＧフィルタＧ１と相関の高い第２の波長帯域のＧ光を透過する（図１３参照）。

第１ＧフィルタＧ１としては、現存のＧフィルタ（例えば第１実施形態のＧフィルタＧ）を用いることができる。また、第２ＧフィルタＧ２としては、第１ＧフィルタＧ１と相関の高いフィルタを用いることができる。この場合に、第２ＧフィルタＧ２が配置される受光素子の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタが配置される受光素子の分光感度曲線のピーク値の近傍）にあることが望ましい。尚、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば、特開２００３−２８４０８４号に記載されている方法が用いられる。

このようにカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。

なお、第１及び第２ＧフィルタＧ１、Ｇ２の透過率は、第１実施形態のＧフィルタＧの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。したがって、第１及び第２ＧフィルタＧ１、Ｇ２は前述の条件（１）を満たす。

また、カラーフィルタ配列（受光素子）の分光感度特性を示す図１３において、各ＧフィルタＧ１、Ｇ２の透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。各ＧフィルタＧ１、Ｇ２の透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタＲ、Ｂの透過率よりも高くなる。このため、各ＧフィルタＧ１、Ｇ２は前述の条件（２）、（３）も満たしている。

なお、各ＧフィルタＧ１、Ｇ２の配置や個数は適宜変更してもよい。また、ＧフィルタＧの種類を３種類以上に増加してもよい。

＜透明フィルタ（Ｗフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタからなるカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタＷ（白色画素）としてもよい。特に第１のフィルタ（ＧフィルタＧ）の一部に代えて透明フィルタＷを配置することが好ましい。このようにＧ画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。

透明フィルタＷは、透明色（第１の色）のフィルタである。透明フィルタＷは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。透明フィルタＷの透過率は、ＧフィルタＧよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。

カラーフィルタ配列（受光素子）の分光感度特性を示す図１４において、透明フィルタＷの透過率のピーク（白色画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、透明フィルタＷの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタＲ、Ｂの透過率よりも高くなる。このため、透明フィルタＷは前述の条件（２）、（３）も満たしている。尚、ＧフィルタＧについても透明フィルタＷと同様に前述の条件（１）〜（３）を満たしている。

このように透明フィルタＷは、前述の条件（１）〜（３）を満たしているので、上記各実施形態において第１のフィルタとして用いることができる。なお、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタＧの一部を透明フィルタＷに置き換えているので、前述の条件（４）も満たしている。

＜エメラルドフィルタ（Ｅフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド（Ｅ）色に対応するフィルタＥ（エメラルド画素）としてもよい。特に第１のフィルタ（ＧフィルタＧ）の一部に代えてエメラルドフィルタ（Ｅフィルタ）を配置することが好ましい。このようにＧフィルタＧの一部をＥフィルタで置き換えた４色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。

カラーフィルタ配列（受光素子）の分光感度特性を示す図１５において、エメラルドフィルタＥの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、エメラルドフィルタＥの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタＲ、Ｂの透過率よりも高くなる。このため、エメラルドフィルタＥは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタＧの一部をエメラルドフィルタＥに置き換えているので、前述の条件（４）も満たしている。

なお、図１５に示した分光特性では、エメラルドフィルタＥがＧフィルタＧよりも短波長側にピークを持つが、ＧフィルタＧよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにエメラルドフィルタＥとしては、上記の各条件を満たすものを選択可能であり、例えば、条件（１）を満たすようなエメラルドフィルタＥを選択することもできる。

＜他の色の種類＞
上述の各実施形態では、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）〜（４）のいずれかを満たすカラーフィルタを上記各実施形態に係る第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。

＜ハニカム配置＞
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向（Ｈ）及び垂直方向（Ｖ）に２次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されてなるが、本発明はこれに限定されるものではない。

例えば、上述の各実施形態の基本配列パターンを光軸回りに４５°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向（ＮＥ、ＮＷ）に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…中央処理装置（ＣＰＵ）、１４…操作部、１８…レンズ部、２２…撮像素子、２６…メモリ部、２８…画像処理部、１００…混色補正部、１１０…乗算器、１１２…対象画素情報取得部、１１４…混色率設定部、２００…ホワイトバランス補正部、４００、４００’…ＲＧＢ積算部、４１０…第１スイッチング部、420-1〜420-36…第１〜第３６積算部、430-1〜430-36…乗算器、４４０…第２スイッチング部、４５０…Ｒ積算部、４５２…Ｇ積算部、４５４…Ｂ積算部、４６０…対象画素情報取得部、４７０…混色率設定部、５００…ホワイトバランスゲイン算出部

Claims (16)

1. Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得手段と、
   前記Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、前記Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段と、
   前記画像取得手段により取得したモザイク画像の各画素の色信号から、該色信号に含まれる周辺画素からの混色成分を除去する混色補正手段であって、任意の混色補正の対象画素の前記Ｉ×Ｊ画素内の画素位置に関連づけられた混色率を前記記憶手段から読み出し、前記読み出した混色率と前記対象画素の色信号とに基づいて前記対象画素に含まれる混色成分を除去する混色補正手段と、
   前記混色補正手段により混色補正された前記モザイク画像の各画素の色信号に基づいて色毎の平均値を算出する算出手段と、
   前記算出手段により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
   前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて、前記モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正手段と、
   を備えた画像処理装置。
2. Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得手段と、
   前記Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、前記Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段と、
   前記画像取得手段により取得したモザイク画像の各画素の色信号の、前記Ｉ×Ｊ画素内の画素位置毎の積算値を算出する第１の算出手段と、
   前記第１の算出手段により算出された前記Ｉ×Ｊ画素内の画素位置毎の積算値と前記Ｉ×Ｊ画素内の画素位置に関連づけられた混色率とに基づいて前記積算値を補正する積算値補正手段と、
   前記積算値補正手段により補正した前記Ｉ×Ｊ画素内の画素位置毎の積算値を色毎に加算し、色毎の平均値を算出する第２の算出手段と、
   前記第２の算出手段により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
   前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて、前記モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正手段と、
   を備えた画像処理装置。
3. 前記モザイク画像は、複数の色の色画素を有するＭ×Ｎ（Ｍ≦Ｉ，Ｎ≦Ｊ）画素からなる基本配列パターンの画素群を含み、該基本配列パターンの画素群が水平及び垂直方向に繰り返して配置された画像である請求項１又は２に記載の画像処理装置。
4. 前記モザイク画像は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子から出力される画像であり、
   前記所定の画素群は、Ｋ×Ｌ（Ｋ≦Ｍ，Ｌ≦Ｎ，Ｋ，Ｌは自然数）画素のサイズを有する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記記憶手段は、前記モザイク画像の全領域を複数の分割領域に分割したときの分割領域毎に前記混色率を記憶する請求項１から４のいずれか１項に記載の画像処理装置。
6. Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得工程と、
   前記Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、前記Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段を準備する工程と、
   前記画像取得工程により取得したモザイク画像の各画素の色信号から、該色信号に含まれる周辺画素からの混色成分を除去する混色補正工程であって、任意の混色補正の対象画素の前記Ｉ×Ｊ画素内の画素位置に関連づけられた混色率を前記記憶手段から読み出し、前記読み出した混色率と前記対象画素の色信号とに基づいて前記対象画素に含まれる混色成分を除去する混色補正工程と、
   前記混色補正工程により混色補正された前記モザイク画像の各画素の色信号に基づいて色毎の平均値を算出する算出工程と、
   前記算出工程により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
   前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて、前記モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正工程と、
   を含む画像処理方法。
7. Ｉ×Ｊ（Ｉ，Ｊ：２以上の整数で、少なくとも一方は３以上）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得工程と、
   前記Ｉ×Ｊ画素の各画素にそれぞれ対応した混色率を、前記Ｉ×Ｊ画素内の画素位置に関連づけて記憶する記憶手段を準備する工程と、
   前記画像取得工程により取得したモザイク画像の各画素の色信号の、前記Ｉ×Ｊ画素内の画素位置毎の積算値を算出する第１の算出工程と、
   前記第１の算出工程により算出された前記Ｉ×Ｊ画素内の画素位置毎の積算値と前記Ｉ×Ｊ画素内の画素位置に関連づけられた混色率とに基づいて前記積算値を補正する積算値補正工程と、
   前記積算値補正工程により補正した前記Ｉ×Ｊ画素内の画素位置毎の積算値を色毎に加算し、色毎の平均値を算出する第２の算出工程と、
   前記第２の算出工程により算出された色毎の平均値に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
   前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて、前記モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正工程と、
   を含む画像処理方法。
8. 撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
   前記撮像手段から出力されるモザイク画像を取得する前記画像取得手段と、
   請求項１から５のいずれか１項に記載の画像処理装置と、
   を備えた撮像装置。
9. 前記撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設され、
   前記カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
   前記基本配列パターンは、Ｍ×Ｎ（Ｍ≦Ｉ，Ｎ≦Ｊ）画素に対応する配列パターンである請求項８に記載の撮像装置。
10. 前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に１つ以上配置され、
    前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項９に記載の撮像装置。
11. 前記基本配列パターンは、３×３画素に対応する正方配列パターンであり、中心と４隅に前記第１のフィルタが配置されている請求項９に記載の撮像装置。
12. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）であり、
    前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項９に記載の撮像装置。
13. 前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有し、
    前記所定の画素群は、Ｋ×Ｌ（Ｋ≦Ｍ，Ｌ≦Ｎ，Ｋ，Ｌは自然数）画素のサイズを有する請求項８から１２のいずれか１項に記載の撮像装置。
14. 前記撮像素子の前記Ｉ×Ｊ画素の繰り返し周期の画素構造は、前記Ｍ×Ｎ画素の基本配列パターンと、前記Ｋ×Ｌ画素の所定の画素群との最小公倍数の周期となるものである請求項１３に記載の撮像装置。
15. 前記混色補正手段は、前記読み出した混色率と前記対象画素の色信号とを乗算することにより前記対象画素に含まれる混色成分を除去する請求項１に記載の画像処理装置。
16. 前記積算値補正手段は、前記Ｉ×Ｊ画素内の画素位置毎の積算値と前記Ｉ×Ｊ画素内の画素位置に関連づけられた混色率とを乗算することにより前記積算値を補正する請求項２に記載の画像処理装置。

Images