JP5359465B2 - 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 - Google Patents

Description

本発明は、固体撮像装置、固体撮像装置の信号処理方法および撮像装置に関する。

固体撮像装置において、色解像度の低下を抑えつつ輝度の感度向上を図るために、画素上に積層される色フィルタアレイのカラーコーディングとして、市松配列で上下左右の隣接画素を同色としたカラーコーディングが提案されている（例えば、特許文献１参照）。

このカラーコーディングにおいては、空間サンプリング点（即ち、光学的な画素重心）ｘ，ｙが次式で表わされる。すなわち、ｘ＝２＊（２ｎ−１＋ｏｅ）±１、ｙ＝２ｍ−１（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）と、ｘ＝２＊（２ｎ−１＋ｏｅ）、ｙ＝２ｍ−１±１（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）で表わされる。

一般的に、固体撮像装置からは、色フィルタアレイのカラーコーディングに対応した画素の信号がそのままＲＡＷデータ（生データ）として出力される。そして、固体撮像装置から出力されるＲＡＷデータに対してデモザイク処理が施される。デモザイク処理は、単色の色情報しか持たない各画素の信号に対して、その周辺画素の信号から足りない色情報を集め与えることで色情報を補完してフルカラー画像を作り出す処理である。

特開２００７−２３５８８８号公報

上記従来技術では、デモザイク処理にて市松配列から正方配列に変換するに当たって、４画素の中央の画素情報について周囲の画素からのデモザイク処理によって生成し、実画素数の２倍の画素数となるようにしている。その際、画像メモリに画素情報を記録するときの空間サンプリング点ｘ，ｙは、ｘ＝ｎ、ｙ＝ｍとなる。したがって、画像メモリとして、実画素数に対応したメモリ容量よりも多くのメモリ容量が必要になるために、画像メモリを含むシステム全体のコストが高くなるという問題がある。

そこで、本発明は、色解像度の低下を抑えつつ輝度の感度向上を図るに当たり、必要とする画像メモリの容量を少なくすることによってシステムコストの低減を可能にした固体撮像装置、固体撮像装置の信号処理方法および撮像装置を提供することを目的とする。

本発明による固体撮像装置は、
市松配列に準拠し、上下左右の少なくとも一方の隣接２画素が同色の色フィルタアレイを有し、
前記色フィルタアレイは、
近似的に、空間サンプリング点ｘ，ｙがｘ＝３＊（２ｎ−１＋ｏｅ）＋１±２、ｙ＝３ｍ−２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）と、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１、ｙ＝３ｍ−２±２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）の少なくとも一方に配列された色配列となっている。

上記の各式は、市松配列を４５度傾斜させた空間的な画素の配列（市松的な色配列）を表わしている。そして、ｎ，ｍ特定値単位で、上下左右の少なくとも一方の隣接２画素、好ましくは上下左右隣接４画素が同一色となる色配列とすることで、市松的な色配列でありながら、デモザイク処理後の画像メモリへの記録画素配列をｘ＝２ｎ、ｙ＝２ｍ＋１とすることができる。記録画素配列がｘ＝２ｎ、ｙ＝２ｍ＋１ということは、画素が行列状に２次元配置されてなる画素アレイ部の実画素数と画像メモリに対する記録画素数が同程度であることを意味する。

本発明によれば、画素アレイ部の実画素数と画像メモリに対する記録画素数を同程度にすることができるため、画像メモリの不必要なメモリ容量の増加を抑えることができる。そして、色解像度の低下を抑えつつ輝度の感度向上を図るに当たり、デモザイク処理で必要とするメモリ容量を抑えることで、システム全体のコスト低減を図ることができる。

本発明が適用されるＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。 単位画素の回路構成の一例を示す回路図である。 隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図である。 本発明の第１実施形態に係る色フィルタアレイのカラーコーディングを示す図である。 第１実施形態に係る色フィルタアレイのカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。 第１実施形態に係るカラーコーディングの場合のデモザイク処理についての説明図である。 輝度信号の主成分となる緑色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。 色信号の主成分となる赤色／青色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。 本発明の第２実施形態に係る色フィルタアレイのカラーコーディングを示す図である。 第２実施形態に係る色フィルタアレイのカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。 輝度信号の主成分となる白色／緑色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。 Ｇｗ＝Ｗ−Ｒ−Ｂとしてデモザイク処理を行ったときの画素配列を示す図である。 Ｗｇ＝Ｇ＋Ｒ＋Ｂとしてデモザイク処理を行ったときの画素配列を示す図である。 本発明の第３実施形態に係る色フィルタアレイのカラーコーディングを示す図である。 第３実施形態に係る色フィルタアレイのカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。 輝度信号の主成分となる白色／緑色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。 Ｒ／Ｂ／Ｇの解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。 第３実施形態に係るカラーコーディングの場合の空間サンプリング点についての説明図である。 第３実施形態に係るカラーコーディングの場合の出力サンプリング点についての説明図である。 従来技術の場合の空間サンプリング点についての説明図である。 第１実施形態に係るカラーコーディングにおける同色４画素加算についての説明図である。 第１実施形態に係る色フィルタアレイの場合の寄り目配列についての説明図である。 マイクロレンズの高さｈおよび曲率ｒについての説明図である。 位相差検出の原理についての説明図である。 マイクロレンズの形状の変形例を示す図である。 第１変形例に係るカラーコーディングを示す図である。 第１変形例に係るカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。 第１変形例でのＷ画素の情報を全画素に展開して画素ずらしを行う際の説明図である。 第１変形例でのＲＧＢの画素についてＷ−ＲＧＢの相関からＲＧＢ補間処理を行う際の説明図である。 第１変形例でのＷ画素の情報とＲＧＢの画素の情報を合成する際の説明図である。 第１変形例でのＷＲ４画素加算およびＲＢ２画素加算を行う際の説明図である。 第１変形例での縦加算プレーンについての説明図である。 第１変形例での横加算プレーンについての説明図である。 第２変形例に係るカラーコーディングを示す図である。 第２変形例に係るカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。 ＲＧＢの実画素の情報の配列を第一プレーンとして示す図である。 Ｗの実画素についての画素ずらし配列をＷプレーンとして示す図である。 ＲＧＢの補間画素の情報の配列を第二プレーンとして示す図である。 第一プレーンと第二プレーンを加算することによって復元されたベイヤ配列を示す図である。 縦加算プレーンと横加算プレーンを加算した結果を加算プレーンとして示す図である。 第３変形例に係るカラーコーディングを示す図である。 第３変形例に係るカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。 ＲＧＢの実画素の情報の配列を第一プレーンとして示す図である。 Ｗの実画素についての画素ずらし配列をＷプレーンとして示す図である。 ＲＧＢの補間画素の情報の配列を第二プレーンとして示す図である。 第一プレーンと第二プレーンを加算することによって復元されたベイヤ配列を示す図である。 縦加算プレーンと横加算プレーンを加算した結果を加算プレーンとして示す図である。 本発明に係る撮像装置の構成の一例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。

１．本発明が適用される固体撮像装置（ＣＭＯＳイメージセンサの例）
２．本発明の特徴部分の要旨
３．第１実施形態（同色４画素単位のＲＧＢベイヤ配列を４５度回転させた例）
４．第２実施形態（同色４画素単位のＷＲＧＢ市松配列を４５度回転させた例）
５．第３実施形態（同色４画素単位のＷ市松配列を４５度回転させた例）
６．画素配列の変形例
７．適用例（撮像装置の例）

＜１．本発明が適用される固体撮像装置＞
［システム構成］
図１は、本発明が適用される固体撮像装置、例えばＸ−Ｙアドレス型固体撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。

本適用例に係るＣＭＯＳイメージセンサ１０は、半導体基板（以下、単に「センサチップ」と記述する場合もある）１１上に形成された画素アレイ部１２と、当該画素アレイ部１２と同じ半導体基板１１上に集積された周辺回路部とを有する構成となっている。周辺回路部としては、例えば、垂直駆動部１３、カラム処理部１４、水平駆動部１５およびシステム制御部１６が設けられている。また、センサチップ１１の外部には、信号処理系を構成するＤＳＰ(Digital Signal Processor；デジタル信号処理回路)回路３１および画像メモリ３２が設けられている。

画素アレイ部１２には、入射する可視光をその光量に応じた電荷量に光電変換する光電変換素子を含む図示せぬ単位画素（以下、単に「画素」と記述する場合もある）が行列状に２次元配置されている。単位画素の具体的な回路構成については後述する。この画素アレイ部１２の受光面（光入射面）側には、色フィルタアレイ３３が積層され、その上にさらにマイクロレンズアレイ３４が積層されている。

画素アレイ部１２にはさらに、行列状の画素配列に対して行ごとに画素駆動線１８が図の左右方向（画素行の画素配列方向／水平方向）に沿って配線され、列ごとに垂直信号線１９が図の上下方向（画素列の画素配列方向／垂直方向）に沿って形成されている。画素駆動線１８の一端は、垂直駆動部１３の各行に対応した出力端に接続されている。図１では、画素駆動線１８について１本として示しているが、１本に限られるものではない。

垂直駆動部１３は、シフトレジスタやアドレスデコーダなどによって構成されている。ここでは、具体的な構成については図示を省略するが、垂直駆動部１３は、読出し走査系と掃出し走査系とを有する構成となっている。読出し走査系は、信号を読み出す単位画素について行単位で順に選択走査を行う。

一方、掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して当該読出し行の単位画素の光電変換素子から不要な電荷を掃き出す（リセットする）掃出し走査を行う。この掃出し走査系による不要電荷の掃き出し（リセット）により、いわゆる電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積時間（露光時間）となる。

垂直駆動部１３によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線１９の各々を通してカラム処理部１４に供給される。カラム処理部１４は、画素アレイ部１２の画素列ごとに、選択行の各画素から出力されるアナログの画素信号に対してあらかじめ定められた信号処理を行う。

カラム処理部１４での信号処理としては、例えばＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理が挙げられる。ＣＤＳ処理は、選択行の各画素から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって１行分の画素の信号を得るとともに、画素の固定パターンノイズを除去する処理である。カラム処理部１４に、アナログの画素信号をデジタル化するＡ／Ｄ変換機能を持たせる場合もある。

水平駆動部１５は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１４の画素列に対応した回路部分を順番に選択走査する。この水平駆動部１５による選択走査により、カラム処理部１４で画素列ごとに信号処理された画素信号が順番にセンサチップ１１の外部へ出力される。すなわち、センサチップ１１からは、色フィルタアレイ３３のカラーコーディング（色配列）に対応した画素信号がそのままＲＡＷデータ（生データ）として出力される。

システム制御部１６は、センサチップ１１の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、本ＣＭＯＳイメージセンサ１０の内部情報などのデータを出力する。システム制御部１６はさらには、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部１３、カラム処理部１４、水平駆動部１４および変換処理部１６などの駆動制御を行う。

センサチップ１１の外部回路であるＤＳＰ回路３１は、センサチップ１１から出力される例えば１フレーム分の画像データを画像メモリ３２に一時的に蓄えるとともに、当該画像メモリ３２に蓄えられた画素情報を基にデモザイク処理を実行する。前にも述べたように、デモザイク処理は、単色の色情報しか持たない各画素の信号に対して、その周辺画素の信号から足りない色情報を集め与えることで色情報を補完してフルカラー画像を作り出す処理である。

（単位画素の回路構成）
図２は、単位画素２０の回路構成の一例を示す回路図である。図２に示すように、本回路例に係る単位画素２０は、光電変換素子、例えばフォトダイオード２１と、例えば転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の４つのトランジスタとを有する構成となっている。

ここでは、４つのトランジスタ２２〜２５として、例えばＮチャネルのＭＯＳトランジスタを用いている。ただし、ここで例示した転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。

この単位画素２０に対して、画素駆動線１８として、例えば、転送線１８１、リセット線１８２および選択線１８３の３本の駆動配線が同一画素行の各画素について共通に設けられている。これら転送線１８１、リセット線１８２および選択線１８３の各一端は、垂直駆動部１３の各画素行に対応した出力端に、画素行単位で接続されている。

フォトダイオード２１は、アノード電極が負側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換する。フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。増幅トランジスタ２４のゲート電極と電気的に繋がったノード２６をＦＤ（フローティングディフュージョン）部と呼ぶ。

転送トランジスタ２２は、フォトダイオード２１のカソード電極とＦＤ部２６との間に接続されている。転送トランジスタ２２のゲート電極には、高レベル（例えば、Ｖｄｄレベル）がアクティブ（以下、「Ｈｉｇｈアクティブ」と記述する）の転送パルスφＴＲＦが転送線１８１を介して与えられる。転送パルスφＴＲＦが与えられることで、転送トランジスタ２２はオン状態となってフォトダイオード２１で光電変換された光電荷をＦＤ部２６に転送する。

リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。リセットトランジスタ２３のゲート電極には、フォトダイオード２１からＦＤ部２６への信号電荷の転送に先立って、ＨｉｇｈアクティブのリセットパルスφＲＳＴがリセット線１８２を介して与えられる。リセットパルスφＲＳＴが与えられることで、リセットトランジスタ２３はオン状態となり、ＦＤ部２６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２６をリセットする。

増幅トランジスタ２４は、ゲート電極がＦＤ部２６に、ドレイン電極が画素電源Ｖｄｄにそれぞれ接続されている。そして、増幅トランジスタ２４は、リセットトランジスタ２３によってリセットした後のＦＤ部２６の電位をリセット信号（リセットレベル）Ｖｒｅｓｅｔとして出力する。増幅トランジスタ２４はさらに、転送トランジスタ２２によって信号電荷を転送した後のＦＤ部２６の電位を光蓄積信号（信号レベル）Ｖｓｉｇとして出力する。

選択トランジスタ２５は、例えば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線１７にそれぞれ接続されている。選択トランジスタ２５のゲート電極には、Ｈｉｇｈアクティブの選択パルスφＳＥＬが選択線１６３を介して与えられる。選択パルスφＳＥＬが与えられることで、選択トランジスタ２５はオン状態となって単位画素２０を選択状態とし、増幅トランジスタ２４から出力される信号を垂直信号線１７に中継する。

なお、選択トランジスタ２５については、画素電源Ｖｄｄと増幅トランジスタ２４のドレインとの間に接続した回路構成を採ることも可能である。

また、単位画素２０としては、上記構成の４つのトランジスタからなる画素構成のものに限られるものではない。例えば、増幅トランジスタ２４と選択トランジスタ２５とを兼用した３つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。

（画素加算）
ところで、一般的に、動画撮像のときにはフレームレートを上げ、高速動画撮像を実現するために、隣接する複数の画素の信号を加算して読み出す画素加算が行われる。この画素加算については、画素内や、垂直信号線１９上や、カラム処理部１４や、後段の信号処理部などで行うことができる。ここで、一例として、例えば上下左右に隣接する４画素の信号を画素内で加算する場合の画素構成について説明する。

図３は、隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図であり、図中、図２と同等部分には同一符号を付して示している。

図３において、上下左右に隣接する４画素のフォトダイオード２１を、フォトダイオード２１−１，２１−２，２１−３，２１−４とする。これらフォトダイオード２１−１，２１−２，２１−３，２１−４に対して、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４が設けられ、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５が１個ずつ設けられている。

すなわち、転送トランジスタ２２−１，２２−２，２２−３，２２−４は、各一方の電極がフォトダイオード２１−１，２１−２，２１−３，２１−４の各カソード電極に接続され、各他方の電極が増幅トランジスタ２４のゲート電極に共通に接続されている。この増幅トランジスタ２４のゲート電極には、フォトダイオード２１−１，２１−２，２１−３，２１−４に対して共通のＦＤ部２６が電気的に接続されている。リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。

上記構成の隣接４画素加算に対応した画素構成において、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して同じタイミングで転送パルスφＴＲＦを与えることで、隣接する４画素間での画素加算を実現できる。すなわち、フォトダイオード２１−１，２１−２，２１−３，２１−４から転送トランジスタ２２−１，２２−２，２２−３，２２−４によってＦＤ部２６に転送された信号電荷は、当該ＦＤ部２６において加算（以下、「ＦＤ加算」と記述する場合もある）されることになる。

一方、転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して異なるタイミングで転送パルスφＴＲＦを与えることで、画素単位での信号出力も実現できる。すなわち、動画撮像時には画素加算を行うことによってフレームレートの向上を図ることができるに対して、静止画撮像時には全画素の信号を独立して読み出すことで、解像度の向上を図ることができる。

＜２．本発明の特徴部分の要旨＞
以上説明したＣＭＯＳイメージセンサ１０において、色解像度の低下を抑えつつ輝度の感度向上を図るに当たって、画像メモリ３２の容量を低減するための色フィルタアレイ３３のカラーコーディングおよびＤＳＰ回路３１でのデモザイク処理を特徴としている。画像メモリ３２は、ＤＳＰ回路３１でのデモザイク処理等の信号処理に用いられる。

色フィルタアレイ３３は、市松配列に準拠し、上下左右の少なくとも一方の隣接２画素が同色となっている。そして、本発明では、色フィルタアレイ３３のカラーコーディング（色配列）を、近似的に、空間サンプリング点（即ち、光学的な画素中心）ｘ，ｙが次式で表わされるカラーコーディングとする。

すなわち、色フィルタアレイ３３の色配列を、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１±２、ｙ＝３ｍ−２と、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１、ｙ＝３ｍ−２±２の少なくとも一方に配列された色配列とする。ここで、ｎ，ｍは整数、ｏｅはｍが奇数のときに０、ｍが偶数のときに１となる係数である。また、ｘの式における±２は左右の２画素を意味し、ｙの式における±２は上下の２画素を意味している。上記の各式は、市松配列を４５度傾斜させた空間的な画素の配列（市松的な色配列）を表わしている。

ｎ，ｍ特定値単位で、上下左右の少なくとも一方の隣接２画素、好ましくは上下左右隣接４画素が同一色となる色配列とすることにより、市松的な色配列でありながら、デモザイク処理後の画像メモリ３２への記録画素配列をｘ＝２ｎ、ｙ＝２ｍ＋１とすることができる。記録画素配列がｘ＝２ｎ、ｙ＝２ｍ＋１ということは、画素アレイ部１２の実画素数と画像メモリ３２に対する記録画素数が同程度であることを意味する。

このように、画素アレイ部１２の実画素数と画像メモリ３２に対する記録画素数を同程度にすることで、画像メモリ３２の不必要なメモリ容量の増加を抑えることができる。そして、色解像度の低下を抑えつつ輝度の感度向上を図るに当たって、ＤＳＰ回路３１でのデモザイク処理で必要とする画像メモリ３２のメモリ容量を抑えることで、システム全体のコスト低減を図ることができる。

以下に、色フィルタアレイ３３のカラーコーディングおよびその信号処理についての具体的な実施形態について説明する。

＜３．第１実施形態＞
（カラーコーディング）
図４は、本発明の第１実施形態に係る色フィルタアレイ３３Ａのカラーコーディングを示す図である。

図４に示すように、第１実施形態に係る色フィルタアレイ３３Ａは、同一色（ＲＧＢ）の隣接する４画素（ｎ，ｍ＝２，２）を単位とした市松配列で、当該市松配列を４５度回転させたカラーコーディングとなっている。換言すれば、色フィルタアレイ３３Ａのカラーコーディングは、ＲＧＢベイヤ配列を４５度回転させた市松配列で、上下左右隣接４画素が同一色となっている。ここで、ＲＧＢベイヤ配列は、緑色（Ｇ；Ｇｒｅｅｎ）フィルタを市松状に配置し、残りの部分に赤色（Ｒ；Ｒｅｄ）フィルタ、青色（Ｂ；Ｂｌｕｅ）フィルタを市松状に配列したカラーコーディングである。

ＲＧＢベイヤ配列を４５度回転させ、しかも上下左右隣接４画素が同一色になるようにＲＧＢベイヤ配列を市松状に配列することで、図４に示すようなカラーコーディングとなる。すなわち、第１実施形態に係る色フィルタアレイ３３Ａは、同色４画素単位でＲＧＢの各フィルタが正方配列されたカラーコーディングとなっている。

また、マイクロレンズアレイ３４については、異なる色を跨ぐように４画素（上下２画素×左右２画素）単位で１つのマイクロレンズ３４Ａを共有する構成となっている。このようなマイクロレンズアレイ３４の構成により、光学的な画素中心の配列は、図５に示すようになる。図５は、色フィルタアレイ３３Ａのカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。

（デモザイク処理）
第１実施形態に係る色フィルタアレイ３３Ａのカラーコーディングに対応した画素信号は、画像メモリ３２に一時的に記録した画素信号を基にＤＳＰ回路３１において、ＲＧＢベイヤ配列を４５度回転させた市松配列を正方配列にするデモザイク処理が行われる。

このデモザイク処理において、輝度信号の主成分となる緑色の解像度を重視する場合は、先ず上下左右に隣接するＧフィルタの４画素の中心に、当該４画素のＧ信号から、例えば加算平均をとるなどの補間処理によってＧ信号を生成する。そして、残りの上下左右に隣接するＲ／Ｂフィルタの画素部分では、同色斜め２画素を加算平均し、その中心に画素重心を設定する。

第１実施形態に係るカラーコーディングの場合のデモザイク処理について、図６を用いてより具体的に説明する。

先ず、白抜きのＧ部分については、方向性（縦方向の相関、横方向の相関、斜め方向の相関）を判断して周囲のＧ画素、具体的には２つのＧ画素または４つのＧ画素の画素情報を基に白抜きのＧ部分の画素情報を生成する。残りの上下左右に隣接するＲ／Ｂの画素部分については、同色斜め２画素を加算平均または単純加算し、その中心に画素重心を設定する（重心移動する）。

次いで、マイクロレンズ３４Ａ内のＲＧＢのフィルタを近似的に同一箇所として色相関を求める。そして、色相関からＧフィルタの画素情報を全画素に展開し、その後にＲ／Ｂフィルタの画素情報を展開する。以上の一連の処理により、ＲＧＢベイヤ配列を４５度回転させた市松配列を正方配列にするデモザイク処理が完了する。

かかるデモザイク処理の結果、図７に示すように、ＲＧＢフィルタの各画素の信号が正方均等に配列されたカラーコーディングに対応した画素信号を生成することができる。図７は、輝度信号の主成分となる緑色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。

一方、色信号の主成分となる赤色や青色の解像度を重視する場合は、図８に示すように、先ず上下左右に隣接するＲ／Ｂフィルタの４画素の中心に、当該４画素のＲ／Ｂフィルタの画素の信号から、例えば加算平均をとるなどの補間処理によってＲ／Ｂの信号を生成する。そして、残りの上下左右に隣接するＧフィルタの画素部分では、同色斜め２画素を加算平均し、その中心に画素重心を設定する。

かかるデモザイク処理の結果、図８に示すように、ＲＧＢの各信号が正方均等に配列されたカラーコーディングに対応した画素信号を生成することができる。図８は、色信号の主成分となる赤色／青色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。

このように、ＲＧＢベイヤ配列を４５度回転させた市松配列とし、上下左右隣接４画素を同一色としたカラーコーディングの色フィルタアレイ３３Ａを用いることで、画像メモリ３２の容量の不必要な増大を抑えることができる。具体的には、画像メモリ３２に画素信号を記録する際の記録画素数は、画素アレイ部１２の画素数（以下、「実画素数」と記述する）に対して、上下左右の画素から補間される画素部分が増えた分（９／８＝１．１２５倍）だけ増加する。

しかし、画像メモリ３２に対する記録画素数の増加分は僅かなものであり、当該記録画素数は実画素数とほぼ同程度と言うことができる。したがって、ＤＳＰ回路３１でのデモザイク処理に当たって必要とする画像メモリ３２の容量を少なく抑えることができるために、システム全体のコスト低減を図ることができる。

＜４．第２実施形態＞
（カラーコーディング）
図９は、本発明の第２実施形態に係る色フィルタアレイ３３Ｂのカラーコーディングを示す図である。

第２実施形態に係る色フィルタアレイ３３Ｂは、輝度信号の主成分となる色、例えば白色（Ｗ；Ｗｈｉｔｅ）を含むカラーコーディングとなっている。白色を含むカラーコーディングの色フィルタアレイは、ＲＧＢベイヤ配列の色フィルタアレイに比べて出力電圧が高くなるために、ＣＭＯＳイメージセンサ１０の高感度化を図ることができる。

具体的には、第２実施形態に係る色フィルタアレイ３３Ｂは、同一色（ＷＲＧＢ）の隣接する４画素を単位とした市松配列で、当該市松配列を４５度回転させたカラーコーディングとなっている。換言すれば、色フィルタアレイ３３Ｂは、同色４画素単位のＲＧＢベイヤ配列におけるＧフィルタの一方に代えてＷフィルタを用い、ＷＲＧＢ市松配列を４５度回転させたカラーコーディングとなっている。第１実施形態に係る色フィルタアレイ３３Ａとの違いは、Ｇフィルタが４画素単位で正方に配列されていたカラーコーディングを、ＧフィルタとＷフィルタで市松状に配列したカラーコーディングとした点にある。

Ｇフィルタが４画素単位で正方に配列されていたカラーコーディングを、ＧフィルタとＷフィルタで市松状に配列したカラーコーディングとすることにより、図９に示すようなカラーコーディングとなる。すなわち、第２実施形態に係る色フィルタアレイ３３Ｂは、同色４画素単位でＷＲＧＢの各フィルタが正方配列されたカラーコーディングとなっている。

また、マイクロレンズアレイ３４については、異なる色を跨ぐように４画素単位で１つのマイクロレンズ３４Ｂを共有する構成となっている。このようなマイクロレンズアレイ３４の構成により、光学的な画素中心の配列は、図１０に示すようになる。図１０は、色フィルタアレイ３３Ｂのカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。

（デモザイク処理）
第２実施形態に係る色フィルタアレイ３３Ｂのカラーコーディングに対応した画素信号は、画像メモリ３２に一時的に記録した画素信号を基にＤＳＰ回路３１において、ＷＲＧＢ市松配列を４５度回転させたカラーコーディング（市松配列）を正方配列にするデモザイク処理が行われる。

このデモザイク処理において、輝度信号の主成分となる白色や緑色の解像度を重視する場合は、先ず上下左右に隣接するＷ／Ｇの４画素の中心に、当該４画素のＷ／Ｇの画素の信号から、例えば加算平均をとるなどの補間処理によってＧ信号を生成する。そして、残りの上下左右に隣接するＲ／Ｂの画素部分では、同色斜め２画素を加算平均し、その中心に画素重心を設定する。

かかるデモザイク処理の結果、図１１に示すように、ＷＲＧＢの各信号が正方均等に配列されたカラーコーディングに対応した画素信号を生成することができる。図１１は、輝度信号の主成分となる白色／緑色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。色信号の主成分となるＲやＢの解像度を重視する場合は、第１実施形態に係る色フィルタアレイ３３Ａの場合と同じである。

ＷＲＧＢのカラーコーディングおいては、輝度信号を緑色と白色の画素信号から生成することが一般的である。この場合、解像度の低下や色再現性の悪化を招かないようにするためには、図１０に示す色配列から正方配列へデモザイク処理する際に、次のようなデモザイク処理を行うのが好ましい。すなわち、同一マイクロレンズ３３Ｂ内のＷＲＧＢのフィルタを近似的に同じ空間位置とみなし、図１２に示すようにＧｗ＝Ｗ−Ｒ−Ｂとして、また図１３に示すようにＷｇ＝Ｇ＋Ｒ＋Ｂとしてデモザイク処理を行うようにする。

図１２に示すようにＧｗ＝Ｗ−Ｒ−Ｂとしてデモザイク処理を行ったときは図７の画素配列となるために、以降の信号処理を共通化できるメリットがある。一方、図１３に示すようにＷｇ＝Ｇ＋Ｒ＋Ｂとしてデモザイク処理を行ったときは、Ｒ／Ｂ成分を含むことによってＷ／Ｗｇの出力信号レベルが大きくなるために、輝度Ｓ／Ｎが良好となるメリットがある。

上述した第２実施形態に係るカラーコーディングの色フィルタアレイ３３Ｂを用いた場合にも、第１実施形態に係るカラーコーディングの色フィルタアレイ３３Ａを用いた場合と同様の作用効果を得ることができる。すなわち、ＤＳＰ回路３１でのデモザイク処理に当たって必要とする画像メモリ３２の容量を少なく抑えることができるために、システム全体のコスト低減を図ることができる。

＜５．第３実施形態＞
（カラーコーディング）
図１４は、本発明の第３実施形態に係る色フィルタアレイ３３Ｃのカラーコーディングを示す図である。

図１４に示すように、第３実施形態に係る色フィルタアレイ３３Ｃは、同一色（ＷＲＧＢ）の隣接する４画素を単位としたＷ市松配列で、当該Ｗ市松配列を４５度回転させたカラーコーディングとなっている。すなわち、色フィルタアレイ３３Ｃは、第１実施形態に係る色フィルタアレイ３３Ａの同色４画素単位で緑色が正方配列となっている部分を白色に置き換えたものである。その他のＲＧＢの正方配列の部分については各種配列が考えられる。ここで示したカラーコーディングは、一般的に提案されている中の一例である。

マイクロレンズアレイ３４については、第１、第２実施形態の場合と同様に、異なる色を跨ぐように４画素単位で１つのマイクロレンズ３４Ｃを共有する構成となっている。このようなマイクロレンズアレイ３４の構成により、光学的な画素中心の配列は、図１５に示すようになる。図１５は、色フィルタアレイ３３Ｃのカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。

（デモザイク処理）
ＤＳＰ回路３１において、第１実施形態の場合と同様のデモザイク処理が、第３実施形態に係る色フィルタアレイ３３Ｃのカラーコーディングに対応した画素信号に対して行われる。このデモザイク処理において、輝度信号の主成分となる白色や緑色の解像度を重視する場合は、先ず上下左右に隣接するＷ／Ｇの４画素の中心に、当該４画素のＷ／Ｇの信号から、例えば加算平均をとるなどの補間処理によってＧ信号を生成する。そして、残りの上下左右に隣接するＲ／Ｂの画素部分では、同色斜め２画素を加算平均し、その中心に画素重心を設定する。

かかるデモザイク処理の結果、図１６に示すように、ＷＲＧＢの各信号が正方均等に配列されたカラーコーディングに対応した画素信号を生成することができる。図１６は、輝度信号の主成分となるＷ／Ｇの解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。

一方、赤色／青色／緑色の解像度を重視する場合は、基本的に第１実施形態の場合と同様のデモザイク処理が行われる。具体的には、先ず上下左右に隣接する赤色／青色／緑色の４画素の中心に、当該４画素のＲ／Ｂ／Ｇの信号から、例えば加算平均をとるなどの補間処理によってＲ／Ｂ／Ｇの信号を生成する。

かかるデモザイク処理の結果、図１７に示すように、ＷＲＧＢの各信号が正方均等に配列されたカラーコーディングに対応した画素信号を生成することができる。図１７は、赤色／青色／緑色の解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示す図である。

第１実施形態と第３実施形態では、図７と図１６の画素配列から全色デモザイク処理を行う際に、最初に緑色や白色を全画素部分に補間展開し、その後に色相関を判断して緑色や白色の部分に不足している赤色や青色や緑色の各成分を生成することが考えられる。このとき、図７／図１６でのマイクロレンズ３４Ａ／３４Ｃ内のＲＧＢの画素やＷＲＧ／ＷＧＢの画素の受光中心が、いわゆる寄り目になっていることで、近似的に同じ空間位置とみなすことができる。ここで、寄り目とは、受光中心である光学的画素中心をマイクロレンズ３４Ａ／３４Ｃの中心に寄せた状態のことを言う。

このように、マイクロレンズ３４Ａ／３４Ｃ内のＲＧＢの画素やＷＲＧ／ＷＧＢの画素を近似的に同じ空間位置とみなすことができることで、デモザイク処理する前に簡易的に色相関を求めることができるために、デモザイク処理のための回路規模を縮小できる。特に、白色はＲＧＢの各成分を含むために、図１６／図１７のＷＧＲ／ＷＧＢの画素から全画素部分への全色デモザイク処理の精度を高くとることができる。

上述した第３実施形態に係るカラーコーディングの色フィルタアレイ３３Ｃを用いた場合にも、第１実施形態に係るカラーコーディングの色フィルタアレイ３３Ａを用いた場合と同様の作用効果を得ることができる。すなわち、ＤＳＰ回路３１でのデモザイク処理に当たって必要とする画像メモリ３２の容量を少なく抑えることができるために、システム全体のコスト低減を図ることができる。

ここで、第３実施形態に係るカラーコーディングの場合を例に採って、色フィルタアレイ３３の空間サンプリング点ｘ，ｙと出力サンプリング点ｘ，ｙについて説明する。

図１８は、空間サンプリング点ｘ，ｙについての説明図であり、（Ａ）は色フィルタアレイ３３Ａの光学的中心をｘ，ｙ空間に配置した図１５に対応し、（Ｂ）は空間サンプリング点ｘ，ｙを示している。

前にも述べたように、色フィルタアレイ３３のカラーコーディングは、近似的に、空間サンプリング点（即ち、光学的な画素中心）ｘ，ｙが、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１±２、ｙ＝３ｍ−２と、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１、ｙ＝３ｍ−２±２で表わされる。ここで、ｎ，ｍは整数であり、ｍが奇数のときにｏｅ＝０、偶数のときにｏｅ＝１となる。

図１８（Ｂ）において、１行目、２行目はｍ＝１、ｏｅ＝０のときのＷフィルタの空間サンプリング点を記している。３行目、４行目はｍ＝２、ｏｅ＝１のときのＧ／Ｒフィルタの空間サンプリング点を示している。５行目、６行目はｍ＝３、ｏｅ＝０のときのＷフィルタの空間サンプリング点を記している。７行目、８行目はｍ＝４、ｏｅ＝１のときのＢ／Ｇフィルタの空間サンプリング点を記している。９行目、１０行目はｍ＝５、ｏｅ＝０のときのＷフィルタの空間サンプリング点を示している。

因みに、例えば１行目、２行目において、最初の４個の空間サンプリング点ｘ，ｙは、図１８（Ａ）に破線で囲んだ上下左右に隣接する４画素のＷフィルタについての空間サンプリング点を表わしている。すなわち、破線で囲んだ４画素において、左の画素の空間サンプリング点ｘ，ｙが（２，１）、上の画素の空間サンプリング点ｘ，ｙが（４，−１）となる。また、右の画素の空間サンプリング点ｘ，ｙが（６，１）、下の画素の空間サンプリング点ｘ，ｙが（４，３）となる。

図１９は、出力サンプリング点ｘ，ｙについての説明図であり、（Ａ）はＷ／Ｇの解像度を重視したときの正方配列へのデモザイク処理後の画素配列を示した図１６に対応し、（Ｂ）は出力サンプリング点ｘ，ｙ（２ｎ，２ｍ＋１）を示している。

空間サンプリングでの一点鎖線で示す８画素に対して、出力サンプリングでは上下左右の画素から補間される１画素分が増えることによって一点鎖線で示す９画素となる。このため、先述したように、画像メモリ３２に対する記録画素数は、実画素数に対して１．１２５倍（＝９／８）だけ増加する。しかし、先述したように、記録画素数の増加分は僅かなものであることから、デモザイク処理に当たって必要とする画像メモリ３２の容量の増量を少なく抑えることができる。

因みに、特許文献１記載の従来技術では、市松配列から正方配列に変換するに当たり、４画素の中央の画素情報について周囲の画素からのデモザイク処理によって生成するようにしている。図２０は、従来技術の場合の空間サンプリング点ｘ，ｙについての説明図であり、（Ａ）は色フィルタアレイの光学的中心をｘ，ｙ空間に配置した色配列を、（Ｂ）は空間サンプリング点ｘ，ｙを示している。

従来技術の場合、空間サンプリング点ｘ，ｙは、ｘ＝２＊（２ｎ−１＋ｏｅ）±１、ｙ＝２ｍ−１と、ｘ＝２＊（２ｎ−１＋ｏｅ）、ｙ＝２ｍ−１±１で表わされる。ここで、ｎ，ｍは整数であり、ｍが奇数のときにｏｅ＝０、偶数のときにｏｅ＝１となる。空間サンプリングでの画素数を５０画素（＝水平５画素×垂直１０画素）としたとき、４画素の中央の画素情報について周囲の画素からのデモザイク処理によって生成することにより、出力サンプリングでは実画素数の２倍の１００画素（＝水平１０画素×垂直１０画素）となる。すなわち、画像メモリ３２のメモリ容量として、実画素数に対応した容量の２倍の容量が必要になる。

以上説明した第１乃至第３実施形態では、マイクロレンズアレイ３４を構成する個々のマイクロレンズを、異なる色を跨ぐように４画素単位で共有する場合を例に挙げたが、これに限られるものではない。すなわち、マイクロレンズを画素単位で有する構成を採る場合にも、第１乃至第３実施形態に係るカラーコーディングを採用することで、画像メモリ３２の容量を少なく抑え、システムコストの低減を図ることができる。

また、単位となる４画素が、光学的画素中心（受光中心）をマイクロレンズの中心に寄せた寄り目であることで４画素の真ん中に空間領域ができるために、当該空間領域を配線領域として使用できるメリットもある。

［同色４画素加算］
続いて、第１、第２、第３実施形態に係る色フィルタアレイ３３Ａ，３３Ｂ，３３Ｃに関して、上下左右隣接４画素が同色となるカラーコーディングにおいて、同色４画素の信号を加算する画素加算（同色４画素加算）について述べる。

この同色４画素加算を行うに当たっては、加算対象の４画素が隣接しているために、例えば先述したＦＤ加算（図３参照）を用いることによって４画素加算を実現できる。ここで、同色４画素加算について、第１実施形態に係るカラーコーディングの場合を例に挙げて、図２１を用いて具体的に説明する。図２１は、第１実施形態に係るカラーコーディングにおける同色４画素加算についての説明図である。第３実施形態に係るカラーコーディングの場合についても、基本的に、第１実施形態に係るカラーコーディングの場合と同じことが言える。

図４に示す第１実施形態に係るカラーコーディングにおいて、ＲＧＢの画素それぞれについて隣接４画素間で画素加算（例えば、ＦＤ加算）を行うことで、画素加算後の色配列は市松配列となる。したがって、同色４画素加算後の信号処理については、一般的な市松配列の周知の信号処理系が適応できる。また、画素加算を行うことにより、前にも述べたように、高速動画撮像を実現できるとともに感度を上げることができる。４画素加算の場合には、基本的に、感度は画素加算を行わない場合の４倍となる。

なお、４画素加算を行った場合には、一般的に、解像度が１／４に低下する。しかし、４画素加算を行った時点で市松配列となることで、上述した従来技術の説明から明らかなように、デモザイク処理を行うことによって情報量が２倍になる。したがって、画像メモリ３２に対する記録画素数（記録解像度）が４画素加算であるにも拘わらず、画素加算を行わないフル画素の場合の１／２の低下で済む。すなわち、上下左右隣接４画素が同色となるカラーコーディングにおいて、同色４画素の信号を加算する４画素加算を行うことにより、画素加算時に問題となる色解像度の低下を最小限に抑えつつ輝度の感度向上を図ることができる。

ここでは、隣接４画素間で画素加算を画素内でＦＤ加算によって行うとしたが、画素内での画素加算に限られるものではなく、前にも述べたように、垂直信号線１９上や、カラム処理部１４や、後段の信号処理部などでも行うことができる。いずれの画素加算を用いた場合でも、上述した作用効果、即ち色の解像度低下を最小限に抑えつつ輝度の感度向上を図ることができる。

なお、本例では、隣接する４画素に対して共通に設けられたＦＤ部２６（図２参照）にて同色４画素加算を行う場合について説明したが、４画素のうちの点対象の位置関係にある同色２画素加算を行うことも可能である。

［寄り目配列］
ここで、先述した、光学的画素中心をマイクロレンズの中心に寄せた寄り目の画素配列（寄り目配列）について説明する。

第１実施形態に係る色フィルタアレイの場合を例に挙げて図２２を用いて説明する。図２２において、（Ａ）は第１実施形態に係る色フィルタアレイ３３Ａのカラーコーディングを、（Ｂ）は当該カラーコーディングの一部の拡大図をそれぞれ示している。

マイクロレンズアレイ３４の個々のマイクロレンズ３４Ａの平面視の形状が例えば円形である場合、マイクロレンズ３４Ａ相互間にギャップが生じる。このマイクロレンズ３４Ａ相互間のギャップやマイクロレンズ３４Ａのデッドゾーンを、単位画素２０のフォトダイオード以外の回路素子、特に先述したＦＤ加算を実現する図３に示す画素構成を採る場合の画素構成素子を配置するに当たって有効に利用することができる。

具体的には、４画素間で共有するＦＤ部２６をマイクロレンズ３４Ａ相互間のギャップの中央部に配置し、その周囲に画素構成素子、具体的には転送トランジスタ２２−１〜２２−４、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５を配置する。また、マイクロレンズ３４Ａ相互間のギャップを画素構成素子の配置領域としてだけでなく、配線領域としても利用することができる。

このように、マイクロレンズ３４Ａ相互間のギャップやデッドゾーンを利用して、フォトダイオード２１−１〜２１−４以外の画素構成素子を配置することで、マイクロレンズ３４Ａの集光に邪魔にならない回路素子のレイアウトを実現できる。また、１つのマイクロレンズ３４Ａ内で４つのフォトダイオード２１−１〜２１−４を、その光学中心をマイクロレンズＡ３４の中心に寄せた寄り目に配置することができる。

フォトダイオード２１−１〜２１−４の光学中心をマイクロレンズ３４Ａの中心に寄せた寄り目の配置とすることで、マイクロレンズ３４Ａの高さｈを低くできるとともに、レンズの曲率ｒを小さくできる。マイクロレンズ３４Ａのフォトダイオード２１−１〜２１−４の受光面からの高さｈおよび曲率ｒは、フォトダイオード相互間の距離に対応して決められる。

図２３に、図２２（Ｂ）のＸ−Ｘ´線に沿った断面構造を示す。図２３から明らかなように、寄り目の配置構造を採らない場合（Ａ）に比べて、寄り目の配置構造を採る場合（Ｂ）の方が、フォトダイオード相互間の距離が短くなる分だけ、マイクロレンズ３４Ａの高さを低く（ｈ２＜ｈ１）、曲率ｒを小さくできる（ｒ２＜ｒ１）。そして、マイクロレンズ３４Ａの高さｈが低い場合の方が高い場合よりも、マイクロレンズアレイ３４をオンチップ化し易いというメリットがある。

寄り目のフォトダイオード２１−１〜２１−４相互間には、必要に応じて混色防止用の遮光構造を必要寸法にて構成することができる。例えば、フォトダイオード２１−１〜２１−４の受光面側に積層される多層配線の１相目の配線を用いて遮光層としたり、右斜め方向と左斜め方向で配線層として別のメタル層を用いたりすることで、混色防止用の遮光構造を実現できる。

一方、隣接する４つのマイクロレンズ３４Ａ相互間のギャップは、同色フィルタを持つ４つの画素の中心位置となる。したがって、転送トランジスタ２２−１〜２２−４を介して４画素共有のＦＤ部２６とすることで、先述したように、ＦＤ部２６での電荷加算による４画素加算が可能となる。そして、前にも述べたように、画素加算によって画素数を加算圧縮した高速動画撮像が実現できるようになる。

ここでは、第１実施形態に係る色フィルタアレイ３３Ａの場合を例に挙げて説明したが、第１、第２実施形態に係る色フィルタアレイ３３Ｂ，３３Ｂの場合にも、第１実施形態に係る色フィルタアレイ３３Ａの場合と同様のことが言える。

［位相差検出］
第１乃至第３実施形態では、異なる色を跨ぐように４画素（上下２画素×左右２画素）単位で１つのマイクロレンズ３４Ａ，３４Ｂ，３４Ｃを共有する構成を採っている。これらの実施形態のうち、第１、第３実施形態では、単位となる４画素のうち、２画素が同一色となっている。

具体的には、第１実施形態に係るカラーコーディングの場合は、図４から明らかなように、ＲフィルタとＢフィルタが各々１画素で、Ｇフィルタが２画素となっている。第３実施形態の場合は、図１４から明らかなように、ＧフィルタとＢフィルタ／ＧフィルタとＲフィルタが各々１画素で、Ｗフィルタが２画素となっている。すなわち、Ｒ／Ｂ画素に比べて信号出力量が大きい輝度信号の主成分となるＧ／Ｗ画素が４画素のうちの２画素となっている。

このように、輝度信号の主成分となるＷ／Ｇ画素が、市松隣接４画素同色を単位に正方に配列されている場合は、マイクロレンズアレイ３４の行列単位でＧ／Ｗ画素が２画素ずつ１つのマイクロレンズ内で縦や横に並んで配列される。この画素配列において、１つのマイクロレンズ内の同色の２つの画素を、２つの入射光の位相差を検出する位相差センサとして利用することができる。

具体的には、横に並んだ２つのＧ／Ｗ画素が属するマイクロレンズが横方向に並んでいる行では、２つのＧ／Ｗ画素の各信号に基づいて横方向（行方向）からマイクロレンズに入射する２つの光の位相差を検出することができる。また、縦に並んだ２つのＧ／Ｗ画素が属するマイクロレンズが縦方向に並んでいる列では、２つのＧ／Ｗ画素の各信号に基づいて縦方向（列方向）からマイクロレンズに入射する２つの光の位相差を検出することができる。

ここで、位相差検出の原理について図２４を用いて説明する。ここでは、Ｒフィルタの２つの画素の信号を用いて位相差検出を行う場合を例に挙げて説明するものとする。Ｇ／Ｂ／Ｗフィルタの２つの画素を用いる場合にも同じである。

ＣＭＯＳイメージセンサ１０を撮像デバイスとして用いる撮像装置では、ＣＭＯＳイメージセンサ１０の受光面側に撮像レンズ４１が配され、当該撮像レンズ４１によって被写体４２からの像光（入射光）が取り込まれる。

撮像レンズ４１と被写体４２との間の距離が図２４（Ｂ）の状態のとき、２つの入射光が２つのＲ画素の受光面上に結像する。この図２４（Ｂ）の状態を合焦状態とし、このときの２つのＲ画素の各出力信号のピーク間の間隔が合焦状態における撮像レンズ４１と被写体４２との間の距離となる。２つのＲ画素の各出力信号のピーク間の間隔は、２つの入射光の位相差を表わす。

そして、撮像レンズ４１と被写体４２との間の距離が合焦状態のときの距離よりも近くなった状態（Ａ）では、２つのＲ画素の各出力信号のピーク間の間隔が合焦状態のときの間隔よりも狭くなる。また、撮像レンズ４１と被写体４２との間の距離が合焦状態のときの距離よりも遠くなった状態（Ｃ）では、２つのＲ画素の各出力信号のピーク間の間隔が合焦状態のときの間隔よりも広くなる。

このことから明らかなように、同色フィルタの２つの画素の各出力信号のピーク間の間隔から２つの入射光の位相差を、撮像レンズ４１の光軸方向についての情報、即ち撮像レンズ４１と被写体４２との間の距離情報として検出できる。したがって、同色フィルタの２つの画素を位相差センサとして利用することにより、撮像レンズ４１と被写体４２との間の距離情報に基づいて撮像レンズ４１の光軸方向の位置を制御するＡＦ（オートフォーカス）機能を実現できる。同色フィルタの２つの画素を位相差センサとして用い、当該位相差センサをＡＦセンサとして兼用することにより、ＡＦ機能を実現するのに専用のＡＦセンサを用いなくて済むメリットがある。

ここでは、Ｒフィルタの画素を位相検出に用いる場合を例に挙げたが、位相差検出は入射光の特定角度を検出することなので、入射光の一部を捨てることになるから、輝度信号の主成分となる高出力の色フィルタ（Ｇ／Ｗフィルタ）の画素が位相検出に適している。特に、輝度信号の主成分を白色Ｗとする第３実施形態の係るカラーコーディングが好ましい。Ｇ／Ｗフィルタの画素を位相差センサとして利用する場合は、色信号の主成分となるＲ／Ｂフィルタの画素は集光が最大となる条件が適する。

したがって、Ｒ／Ｂフィルタの画素のそれぞれについて、フォトダイオードの受光面積（光学的な面積）とマイクロレンズの曲率が最適値となるようにすることにより、同一プロセスにて位相差検出に適した構造と集光に適した構造を両立できる。最適値とする具体的な手法としては、色画素Ｒ／ＢやＧ／ＲやＧ／Ｂと異なるフォトダイオードの受光面積としたり、マイクロレンズの曲率をｎ方向とｍ方向（縦横）で変えたりする手法が考えられる。さらに、図２５に示すように、マイクロレンズの形状を楕円（Ａ）や八角形（Ｂ）や六角形（Ｃ）にしたりすることも考えられる。

［視差画像］
上述した位相差検出では、１つのマイクロレンズ内に属する同色２画素の信号を用いるとしている。これに対して、１つのマイクロレンズ内に属する全色の画素の信号を用いた処理を行うことで、２次元視差画像を得る周知の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた撮像装置を構築することができる。

位相差検出で述べたように、１つのマイクロレンズ内に属する２つの画素の信号から、撮像レンズの光軸方向についての情報を得ることができる。そして、上記手法を用いることにより、１つのマイクロレンズ内に属する４画素から得られる信号は、視差についての情報を含むことになる。ここに、視差とは、異なった点から見た物体の見かけ上の変位を言う。

このように、１つのマイクロレンズ内に属する４画素から得られる信号が視差についての情報を含むために、１つのマイクロレンズ内に属する全色の画素の信号を用いた処理を行うことで、２次元視差画像を得る撮像装置を構築できることになる。また、２次元視差情報を利用したリフォーカスが可能になる。

＜６．画素配列の変形例＞
第１乃至第３実施形態では、色配列の単位となる上下左右隣接４画素が同一色となる画素配列（色配列）としているが、本発明はこの色配列への適用に限られるものではなく、例えば、同色４画素と同色２画素とが混在する色配列にも適用可能である。以下に、同色４画素と同色２画素とが混在する変形例について説明する。

［第１変形例］
（カラーコーディング）
図２６は、第１変形例に係るカラーコーディングを示す図である。本変形例に係るカラーコーディングは、第３実施形態に係る色フィルタアレイ３３Ｃのカラーコーディング、即ち４画素を単位とするＷ市松配列を４５度回転させたカラーコーディングを基本としている。

そして、第３実施形態に係るカラーコーディングにおいて、Ｂフィルタの４画素については、上下２画素がＲフィルタ、左右２画素がＢフィルタの組合せに置き換えている。また、Ｒフィルタの４画素については、上下２画素がＢフィルタ、左右２画素がＲフィルタの組合せに置き換えている。Ｗ／Ｇフィルタの４画素についてはそれぞれ、４画素が共に同一色となっている。

すなわち、第１変形例に係るカラーコーディングは、４画素を単位とするＷ市松配列を４５度回転させたカラーコーディングにおいて、Ｗ／Ｇフィルタについては４画素が共に同一色となり、Ｒ／Ｂフィルタについては点対称の位置関係にある（対向する）２画素が同一色となっている。

マイクロレンズアレイ３４については、第１乃至第３実施形態と同様に、異なる色を跨ぐように４画素単位で１つのマイクロレンズを共有する。図２７は、第１変形例に係るカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。

（デモザイク処理）
続いて、第１変形例に係るカラーコーディングの市松配列を正方配列にするデモザイク処理について説明する。

Ｗ画素については、図２８に示すように、実際に存在する画素（以下、「実画素」と記述する）の情報から方向性（縦方向の相関、横方向の相関、斜め方向の相関）を判断して実画素が存在しない部分の画素情報をその周囲の実画素の情報を基に生成して全画素に展開する。図２８において、黒色の菱形がＷの実画素を、灰色の菱形が演算で求めたＷの画素をそれぞれ示している。

一例として、ｘ，ｙ＝６，１１の空間位置にはＷ画素が存在しなく、当該空間位置のＷ情報を求めるには、その周囲に位置する８つのＷ画素（実画素）の情報を用いる。また、ｘ，ｙ＝１０，７の空間位置にはＷ画素が存在しなく、当該空間位置のＷ情報を求めるには、その周囲に位置する４つのＷ画素の情報を用いる。

その後、隣接する４つのＷ画素の情報から当該４つのＷ画素の真ん中の位置の画素情報を演算によって求める。この４つのＷ画素の情報から真ん中の画素情報を求める処理を、「画素ずらし」と呼ぶこととする。この画素ずらしによって求めた、４つのＷ画素の真ん中のＷ画素の重心はＲＧＢの色画素の重心と一致する。

ＲＧＢの画素については、図２９に示すように、Ｗ−ＲＧＢの相関から周知の補間処理によって画素情報を求める。図２９において、菱形がＲＧＢの実画素の情報を示し、小さい丸が補間処理で求めた画素（以下、「補間画素」と記述する）の情報を示している。上述した画素ずらしの結果、Ｗ画素の重心とＲＧＢの色画素の重心が一致することで、Ｗ画素とＲＧＢの画素との色相関をとることができる。

例えば、Ｗ画素とＲ画素との色相関をとることで、その相関係数からＲ画素が実在しない空白部分のＲ画素の情報を求めることができる。すなわち、画素ずらしによって求められたＷ画素の情報は、色画素が実在しない空白部分の色情報を求める、いわゆる色情報の穴埋めに使われる。このような処理によって色情報が再現される。そして、図３０に示すように、Ｗ画素の情報とＲＧＢの画素の情報とを合成する。

上述したように、Ｗ画素の情報を全画素に展開するとともに、空間的に中間位置のＷ画素に変換する画素ずらしを行い、その中間位置のＷ画素とＲＧＢの画素との相関をとることにより、第１変形例に係るカラーコーディングの色配列をベイヤ配列に復元することができる。

そして、このベイヤ配列の信号に対して空間帯域ローパスフィルタをかける信号処理を行うことで、画像メモリ３２に対する独立読み出し時の標準記録画素数が元の色配列の画素数（実画素数）の１．１２５倍（＝９／８）となる。ただし、このときの画像メモリ３２のメモリ容量の増加分は僅かなものである。また、画素ずらしによって隣接する４つのＷ画素の情報から当該４つのＷ画素の真ん中の位置の情報を生成することによって画素数が元の色配列の４．５倍（＝３６／８）となる。すなわち、データ量としては、標準記録画素数のときの４倍（＝４．５／１．１２５）になる。

Ｗ画素の情報とＲＧＢの画素の情報とを合成した後、図３１に示すように、Ｗ／Ｇについては、隣接する４画素間で加算処理を行う（４画素加算）。一例して、ｘ，ｙ＝７，４の空間位置については、図３０において、ｘ，ｙ＝７，２のＧ画素と、ｘ，ｙ＝７，６のＧ画素と、ｘ，ｙ＝５，４のＧ画素と、ｘ，ｙ＝５，９のＧ画素の各情報を４画素加算する。一方、Ｒ／Ｂの色情報については、上下または左右の２画素間で加算処理を行う（２画素加算）。

ここでは、Ｗ／Ｇについて４画素加算、Ｒ／Ｂについて２画素加算を行うとしたが、この加算方式に限られるものではない。例えば、ＷＧＲＢの全てについて縦２画素加算、横２画素加算にてデモザイク処理を行い、その後に両者を加算することで、結果として、ＷＧＲＢの全てについて４画素加算の効果を得ることができる。

図３２に縦（上下）加算プレーンについて、図３３に横（左右）加算プレーンについてそれぞれ示す。縦加算プレーンと横加算プレーンを加算して、結果として、ＷＧＲＢの全てについて４画素加算を行うことで、実効画素数は０．２５画素（＝２／８）となり、記録画素数は０．５画素（＝４／８）となる。

［第２変形例］
（カラーコーディング）
図３４は、第２変形例に係るカラーコーディングを示す図である。本変形例に係るカラーコーディングは、第１変形例に係るカラーコーディング、即ちＷ／Ｇフィルタについては４画素が共に同一色となり、Ｒ／ＢフィルタについてはＲ２画素とＢ２画素の組合せとなるカラーコーディングを基本としている。

そして、第２変形例に係るカラーコーディングにおいて、先ず、Ｇフィルタの４画素については、横２画素に比べて縦２画素の感度が低くなっている。すなわち、相対的に、横２画素が高感度、縦２画素が低感度となっている。Ｗフィルタについても、Ｇフィルタと同様に、横２画素が高感度、縦２画素が低感度となっている。

一方、Ｒ２画素とＢ２画素の組合せからなる４画素については、上下左右の４画素のうち上と左の画素に比べて下と右の画素の感度が低くなっている。具体的には、上下２画素がＲ、左右２画素がＢの４画素において、相対的に、上のＲ画素が高感度、下のＲ画素が低感度、左のＢ画素が高感度、右のＢ画素が低感度となっている。また、上下２画素がＢ、左右２画素がＲの４画素において、相対的に、上のＢ画素が高感度、下のＢ画素が低感度、左のＲ画素が高感度、右のＲ画素が低感度となっている。

マイクロレンズアレイ３４については、第１乃至第３実施形態と同様に、異なる色を跨ぐように４画素単位で１つのマイクロレンズを共有する。図３５は、第２変形例に係るカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。

（デモザイク処理）
続いて、第２変形例に係るカラーコーディングの市松配列を正方配列にするデモザイク処理について説明する。

先ず、ＲＧＢの各画素について実画素の情報を抽出して配列する。図３６は、ＲＧＢの実画素の情報の配列を第一プレーンとして示す図である。次に、Ｗの実画素について、第１変形例のＷ画素の場合と同様に、実画素の情報から方向性を判断して周囲の実画素の情報を基に実画素が存在しない部分の画素情報を生成して全画素に展開する。

また、先述した画素ずらしの処理を行うことで、隣接する４つのＷ画素の情報から当該４つのＷ画素の真ん中の位置の画素情報を演算によって求める。図３７は、Ｗの実画素についての画素ずらし配列をＷプレーンとして示す図である。

ＲＧＢの画素については、第１変形例のＲＧＢ画素の場合と同様に、Ｗ−ＲＧＢの相関から周知の補間処理によって画素情報（補間画素の情報）を求める。図３８は、ＲＧＢの補間画素の情報の配列を第二プレーンとして示す図である。図３８において、菱形がＲＧＢの補間画素の情報を示している。

そして、図３６の第一プレーンと図３８の第二プレーンを加算することで、図３９に示すように、第２変形例に係るカラーコーディングの色配列をベイヤ配列に復元することができる。この加算時、実効画素数は５／１６画素となり、記録画素数は０．５画素（＝４／８）となる。

図３９に示す色配列の各画素の信号に対しては、周知のＳＶＥ（Spatially Varying Exposure）方式と呼ばれる技術（例えば、国際公開第０２／０５６６０３号パンフレット参照）を適用することができる。ＳＶＥ方式は、空間的な感度パターンを用いて解像度を低下させることなく、ダイナミックレンジを向上させる技術の１つである。

このＳＶＥ方式では、各画素は１種類の感度だけを有する。よって、撮像された画像の各画素は、本来の撮像素子が有するダイナミックレンジの情報しか取得することができない。これに対して、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることにより、結果的に、ダイナミックレンジが広い画像を生成することができる。

第２変形例においても、第１変形例の場合と同様に、縦２画素加算による縦加算プレーンと横２画素加算による横加算プレーンを生成し、これらプレーンを加算する手法を採ることができる。図４０は、縦加算プレーンと横加算プレーンを加算した結果を加算プレーンとして示す図である。

［第３変形例］
（カラーコーディング）
図４１は、第３変形例に係るカラーコーディングを示す図である。本変形例に係るカラーコーディングは、各画素の感度の高低の組合せを第２変形例に係るカラーコーディングと異にしたカラーコーディングとなっている。

具体的には、第３変形例に係るカラーコーディングにおいて、Ｇフィルタの４画素については、横２画素に比べて縦２画素の感度が高くなっている。すなわち、相対的に、横２画素が低感度、縦２画素が高感度となっている。Ｗフィルタについても、Ｇフィルタと同様に、横２画素が低感度、縦２画素が高感度となっている。

一方、Ｒ２画素とＢ２画素の組合せからなる４画素については、横２画素に比べて縦２画素の感度が高くなっている。すなわち、縦２画素がＲ、横２画素がＢの組合せでは、Ｂの２画素に比べてＲの２画素の感度が高くなっている。また、縦２画素がＢ、横２画素がＲの組合せでは、Ｒの２画素に比べてＢの２画素の感度が高くなっている。

マイクロレンズアレイ３４については、第１乃至第３実施形態と同様に、異なる色を跨ぐように４画素単位で１つのマイクロレンズを共有する。図３５は、第２変形例に係るカラーコーディングに関して光学的中心をｘｙ空間に配置した図である。

（デモザイク処理）
続いて、第３変形例に係るカラーコーディングの市松配列を正方配列にするデモザイク処理について説明する。第２変形例の場合とは各画素の感度の高低の組合せが異なるだけであり、基本的なデモザイク処理については同じである。

先ず、ＲＧＢの各画素について実画素の情報を抽出して配列する。図４３は、ＲＧＢの実画素の情報の配列を第一プレーンとして示す図である。次に、Ｗの実画素について、第１変形例のＷ画素の場合と同様に、実画素の情報から方向性を判断して周囲の実画素の情報を基に実画素が存在しない部分の画素情報を生成して全画素に展開する。

また、先述した画素ずらしの処理を行うことで、隣接する４つのＷ画素の情報から当該４つのＷ画素の真ん中の位置の画素情報を演算によって求める。図４４は、Ｗの実画素についての画素ずらし配列をＷプレーンとして示す図である。

ＲＧＢの画素については、第１変形例のＲＧＢ画素の場合と同様に、Ｗ−ＲＧＢの相関から周知の補間処理によって画素情報（補間画素の情報）を求める。図４５は、ＲＧＢの補間画素の情報の配列を第二プレーンとして示す図である。図４５において、菱形がＲＧＢの補間画素の情報を示している。

そして、図４３の第一プレーンと図４４の第二プレーンを加算することで、図４６に示すように、第２変形例に係るカラーコーディングの色配列をベイヤ配列に復元することができる。この加算時、実効画素数は５／１６画素となり、記録画素数は０．５画素（＝４／８）となる。

第３変形例においても、第１変形例の場合と同様に、縦２画素加算による縦加算プレーンと横２画素加算による横加算プレーンを生成し、これらプレーンを加算する手法を採ることができる。図４７は、縦加算プレーンと横加算プレーンを加算した結果を加算プレーンとして示す図である。

＜７．適用例＞
［撮像装置］
図４８は、本発明に係る撮像装置の構成の一例を示すブロック図である。

図４８に示すように、本発明に係る撮像装置１００は、撮像レンズ等のレンズ群１０１を含む光学系、撮像素子１０２、カメラ信号処理回路であるＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７および電源系１０８等を有している。そして、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７および電源系１０８がバスライン１０９を介して相互に接続された構成となっている。

レンズ群１０１は、被写体からの入射光（像光）を取り込んで撮像素子１０２の撮像面上に結像する。撮像素子１０２は、レンズ群１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子１０２として、先述した本発明が適用されるＣＭＯＳイメージセンサ１０が用いられる。このＣＭＯＳイメージセンサ１０は、色フィルタアレイ３３として、先述した第１乃至第３実施形態に係るカラーコーディングのものや、第１乃至第３変形例に係るカラーコーディングのものを有している。

ＤＳＰ回路１０３は図１のＤＳＰ回路３１に相当し、センサチップ１１から出力される例えば１フレーム分の画像データを画像メモリ３２に相当するフレームメモリ１０４に一時的に蓄える。そして、ＤＳＰ回路１０３は、フレームメモリ１０４に記憶保持した画像データを用いて先述したデモザイク処理を含む各種の信号処理を行う。

表示装置１０５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置からなり、撮像素子１０２で撮像された動画または静止画を表示する。記録装置１０６は、撮像素子１０２で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録する。

操作系１０７は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源系１０８は、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６および操作系１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

このような撮像装置１００は、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けのカメラモジュールに適用される。そして、撮像素子１０２として、先述した第１乃至第３実施形態に係るカラーコーディングや、第１乃至第３変形例に係るカラーコーディングの色フィルタアレイ３３を有するＣＭＯＳイメージセンサを用いることで、次のような作用効果を得ることができる。

すなわち、ＲＧＢベイヤ配列を４５度回転させた市松配列とし、上下左右隣接４画素を同一色としたカラーコーディングの色フィルタアレイ３３を用いることで、フレームメモリ１０４の容量の不必要な増大を抑えることができる。したがって、ＤＳＰ回路１０３でのデモザイク処理に当たって必要とする画像メモリ３２の容量を少なく抑えることができるために、本撮像装置のシステム全体のコスト低減を図ることができる。

１０…ＣＭＯＳイメージセンサ、１１…半導体基板（センサチップ）、１２…画素アレイ部、１３…垂直駆動部、１４…カラム処理部、１５…水平駆動部、１６…システム制御部、２０…単位画素、２１…フォトダイオード、２２…転送トランジスタ、２３…リセットトランジスタ、２４…増幅トランジスタ、２５…選択トランジスタ、２６…ＦＤ（フローティングディフュージョン）部、３１…ＤＳＰ回路、３２…画像メモリ、３３，３３Ａ，３３Ｂ，３３Ｃ…色フィルタアレイ、３４，３４Ａ，３４Ｂ，３４Ｃ…マイクロレンズアレイ

Claims (19)

1. 市松配列に準拠し、上下左右の少なくとも一方の隣接２画素が同色の色フィルタアレイを有し、
   前記色フィルタアレイは、
   近似的に、空間サンプリング点ｘ，ｙがｘ＝３＊（２ｎ−１＋ｏｅ）＋１±２、ｙ＝３ｍ−２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）と、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１、ｙ＝３ｍ−２±２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）の少なくとも一方に配列され、
   ｎ，ｍ単位でｍ値が奇数または偶数の空間サンプリング点同士が同色となり、当該同色が輝度信号の主成分となる緑色または白色となる色配列である固体撮像装置。
2. 前記色フィルタアレイは、上下左右に隣接する４つの画素のうち、当該４つの画素の全てが同色となる色配列である請求項１に記載の固体撮像装置。
3. 前記色フィルタアレイは、上下左右に隣接する４つの画素のうち、少なくとも点対称の位置関係にある２画素が同色となる色配列である請求項１に記載の固体撮像装置。
4. 前記色フィルタアレイは、前記同色が緑色であり、当該緑色以外の部分が上下左右に隣接する４つの画素で赤色と青色の同色となる色配列である請求項１に記載の固体撮像装置。
5. 前記色フィルタアレイは、前記同色が緑色または白色であり、当該緑色または白色以外の部分が上下左右に隣接する４つの画素で赤色と青色の同色となる色配列である請求項１に記載の固体撮像装置。
6. 前記色フィルタアレイは、前記同色が白色であり、当該白色以外の部分が上下左右に隣接する４つの画素で緑色と赤色と青色の同色となる色配列である請求項１に記載の固体撮像装置。
7. 前記色フィルタアレイは、前記同色が白色であり、当該白色以外の部分が上下左右に隣接する４つの画素で緑色の同色と、上下左右に隣接する４つの画素で赤色と青色が点対称の位置関係にある２画素で同色となる色配列である請求項１に記載の固体撮像装置。
8. 前記色フィルタアレイは、前記４つの画素のうち、点対称の位置関係にある２画素同士の感度が異なる請求項４に記載の固体撮像装置。
9. ｎ，ｍ値が異なる隣接する４画素を単位とし、当該４画素ごとに１つのマイクロレンズが配置されてなるマイクロレンズアレイを有する請求項１に記載の固体撮像装置。
10. 前記４画素は、各光学的画素中心が１つのマイクロレンズの中心に寄せて配置されている請求項９に記載の固体撮像装置。
11. 前記マイクロレンズアレイは、マイクロレンズの曲率がｎ方向とｍ方向で異なる請求項９に記載の固体撮像装置。
12. 上下左右に隣接する４つの画素ごとに当該４つの画素の中央部にフローティングディフュージョン部を有し、当該フローティングディフュージョン部において隣接する４つの同色画素間または点対称の位置関係にある２つの同色画素間で電荷の加算を行う請求項２または請求項３に記載の固体撮像装置。
13. 上下左右に隣接する４つの画素ごとに当該４つの画素の中央部にフローティングディフュージョン部を有し、
    前記フローティングディフュージョン部は、前記マイクロレンズアレイのマイクロレンズ相互間のギャップに配置されている請求項９に記載の固体撮像装置。
14. 前記４つの画素を構成する素子は、前記マイクロレンズアレイのマイクロレンズ相互間のギャップに配置されている請求項９に記載の固体撮像装置。
15. 白色の画素については、実際に存在する画素の情報から画素が存在しない部分の画素情報をその周囲の画素情報を基に生成して全画素に展開し、隣接する４つの白色の画素の情報から当該４つの白色の画素の真ん中の位置の白色の画素情報を求める信号処理回路を有する請求項７に記載の固体撮像装置。
16. 前記信号処理回路は、緑色、赤色、青色の各画素については、当該画素の情報と前記真ん中の位置の白色の画素情報との色相関から画素情報を求めることによって色情報を再現し、当該色情報と前記白色の画素情報とを合成し、この合成した信号に対して空間帯域ローパスフィルタをかける請求項１５に記載の固体撮像装置。
17. 市松配列に準拠し、上下左右の少なくとも一方の隣接２画素が同色の色フィルタアレイを有し、
    前記色フィルタアレイは、
    近似的に、空間サンプリング点ｘ，ｙがｘ＝３＊（２ｎ−１＋ｏｅ）＋１±２、ｙ＝３ｍ−２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）と、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１、ｙ＝３ｍ−２±２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）の少なくとも一方に配列され、
    ｎ，ｍ単位でｍ値が奇数または偶数の空間サンプリング点同士が同色となり、当該同色が輝度信号の主成分となる緑色または白色であり、当該白色以外の部分が上下左右に隣接する４つの画素で緑色の同色と、上下左右に隣接する４つの画素で赤色と青色が点対称の位置関係にある２画素で同色となる色配列である
    固体撮像装置の信号処理に当たって、
    白色の画素については、実際に存在する画素の情報から画素が存在しない部分の画素情報をその周囲の画素情報を基に生成して全画素に展開し、隣接する４つの白色の画素の情報から当該４つの白色の画素の真ん中の位置の白色の画素情報を求める固体撮像装置の信号処理方法。
18. 緑色、赤色、青色の各画素については、当該画素の情報と前記真ん中の位置の白色の画素情報との色相関から画素情報を求めることによって色情報を再現し、当該色情報と前記白色の画素情報とを合成し、この合成した信号に対して空間帯域ローパスフィルタをかける請求項１７に記載の固体撮像装置の信号処理方法。
19. 市松配列に準拠し、上下左右の少なくとも一方の隣接２画素が同色の色フィルタアレイを有し、
    前記色フィルタアレイは、
    近似的に、空間サンプリング点ｘ，ｙがｘ＝３＊（２ｎ−１＋ｏｅ）＋１±２、ｙ＝３ｍ−２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）と、ｘ＝３＊（２ｎ−１＋ｏｅ）＋１、ｙ＝３ｍ−２±２（ｎ，ｍ＝整数、ｏｅ＝ｍが奇数のとき０／偶数のとき１）の少なくとも一方に配列され、
    ｎ，ｍ単位でｍ値が奇数または偶数の空間サンプリング点同士が同色となり、当該同色が輝度信号の主成分となる緑色または白色となる色配列である固体撮像装置を有する撮像装置。

Images