JP4859502B2

JP4859502B2 - 撮像装置

Info

Publication number: JP4859502B2
Application number: JP2006086829A
Authority: JP
Inventors: 紳聡阿部
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2005-03-30
Filing date: 2006-03-28
Publication date: 2012-01-25
Anticipated expiration: 2026-03-28
Also published as: JP2006311524A

Description

本発明は、撮像素子から読み出される画像信号に基いてカラー画像を生成する撮像装置に関し、特に色再現性に関する。

デジタルカメラなどの撮像装置では、撮像素子の受光面に対して原色カラーフィルタあるいは補色カラーフィルタが配置されており、各画素位置に対応するようにＲ，Ｇ，Ｂなど色要素がモザイク状に配列されている。被写体からの反射光がカラーフィルタを通ると、各色要素に応じた色信号から構成される画像信号が発生し、撮像素子から読み出される。読み出された画像信号は、測色学に基づいて規格化された色空間に従う画像信号を生成するため、マトリクス演算などによって色変換処理される。そして、ＮＴＳＣ信号、Ｒ，Ｇ，Ｂコンポーネント信号など所定の映像信号としてモニタ等の外部装置へ出力される。

デジタルカメラにおいては、より忠実な色再現性を図るため、様々なカラーフィルタの配列方法、および色変換処理方法が適用されている。例えば、等色関数の中で赤色（Ｒ）の分光感度曲線が負になるスペクトル領域の情報を得るため、緑色（Ｇ）に近い分光感度特性をもつ色要素（Ｇ’）を配列させたフィルタが使用され、補正された赤色（Ｒ’）の信号が生成される（特許文献１参照）。色要素（Ｇ’）に基いて新たな赤色（Ｒ’）の信号へ変換することにより、色域の広い範囲が再現される。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のほかに、異なる分光透過特性をもつ色要素を加えた４色フィルタが使用され、４×３のマトリクス演算によって三刺激値に応じたＲ，Ｇ，Ｂの原色信号が生成される（特許文献２参照）。４色フィルタを使用することによって、ノイズを低減しながら色が再現される。
特許第２８７２７５９号公報（第６頁〜第７頁、第２図）特開２００３−２８４０８４号公報（第５頁右欄第２行〜第１１行、図１８）

上記特許文献１、２の撮像装置においても、カラーフィルタの分光透過特性は理想的な視感度分布特性に完全に一致しないため、色再現性に問題がある。特許文献１では、緑色、青色の中間色の再現性を向上させるフィルタの色要素が用意されているが、それ以外の中間色については十分な色再現をすることが難しい。また、特許文献２では、あらかじめ定められたマトリクス係数に基づいてＲ，Ｇ，Ｂの原色信号が生成されるため、ある特定の分光分布特性をもつ被写体（例えば青味を帯びた被写体）に対しては色を適切に再現できるが、他の分光分布特性をもつ被写体（例えば赤味を帯びた被写体）に対して適切な色再現を実現することができない。

本発明の撮像装置は、デジタルカメラ等に適用可能であって、どのような被写体であっても色再現性の優れた画像を提供可能な撮像装置であり、少なくとも４色以上の色要素を配列したフィルタを使用し、人間の視感度に適したＲ，Ｇ，Ｂの原色信号を生成する。

本発明の撮像装置は、撮像素子と、少なくとも４種類の色要素から構成されて撮像素子の受光面上に配置されるカラーフィルタと、撮像素子から少なくとも４種類の色要素に応じた一連の色信号を読み出す信号読み出し手段とを備える。カラーフィルタの色要素の分光透過特性はそれぞれ異なっており、所定の波長をピークとする連続的な分光分布曲線によって表される。また、色要素の分光透過特性は、等色関数を考慮して波長ピーク、スペクトル分布が定められており、この分光透過特性は、撮像素子、赤外線カットフィルタを含めて撮像系（入力系）の分光感度特性を特徴づける。撮像方式としては、単板式や３板式などが適用可能であり、単板同時式の場合、色要素が市松状に配置された１枚のカラーフィルタ（オンチップカラーフィルタ）が適用される。カラーフィルタは少なくとも４種類の色要素から構成すればよく、等色関数に応じたＲ，Ｇ，Ｂを含む原色フィルタ、あるいはＹ、Ｃｙ、Ｍｇ、Ｇなどの補色フィルタいずれによって構成してもよい。一連の色信号は、各色要素に応じた色成分信号によって構成される。例えば、４種類の色要素をモザイク状に配列した場合、隣接する４つの画素をブロックと定め、第１乃至第４の色成分信号によって構成される画像信号を単位として信号処理される。

本発明の撮像装置は、三刺激値に応じたＲ，Ｇ，Ｂ原色信号を生成する信号処理手段を備え、信号処理手段は、一連の色信号のうち非選択色信号に含まれる被写体の分光分布特性（分光反射率）の情報に基き、残りの複数の選択色信号から適正色信号を定め、非選択色信号と適正色信号とに基づいて三刺激値に応じたＲ，Ｇ，Ｂ原色信号を生成する。非選択色信号は、等色関数を考慮し、色空間に基づいた標準の分光感度分布曲線のうち、所定の分光感度分布曲線に応じた信号であり、例えば、カラーフィルタがＲ，Ｇ，Ｂを含む原色フィルタである場合、Ｒ，Ｂに応じた分光透過特性を有する色要素から得られる色信号が、標準的分光感度分布曲線のＲ，Ｂの分光感度曲線に応じた色信号、すなわち非選択色信号として定められる。一方、等色関数のうち残りの分光感度分布曲線に相関する分光透過特性（例えばＧ）を有する色要素によって得られる色信号が、複数の選択色信号として定められる。例えば、Ｇに相関する分光透過特性を有する少なくとも２種類の色要素から得られる色信号が選択色信号となる。例えば、色要素はＧに相関する分光透過特性をもつ場合、ＧとＢの間に波長ピークを有する分光透過特性をもつ色要素と、ＧとＲの間に波長ピークを有する分光透過特性をもつ色要素とから構成される。適用される色空間は、側色学的に規格化された色空間、例えばＸＹＺ系、Ｌ^＊ａ^＊ｂ^＊空間、Ｌ^＊ｕ^＊ｖ^＊空間、ｓＲＧＢ色空間などが適用される。色空間に基づいた標準分光感度分布曲線は、等色関数に相当する。

生成される色信号は、色要素の分光透過特性と被写体の分光分布特性とに影響を受ける。非選択色信号には、被写体の分光分布特性、すなわち反射率特性の情報が含まれており、非選択色信号の値を検知すること等によって、被写体の分光分布特性が明らかになる。例えば、青味を帯びた被写体を撮影する場合、青色に応じた波長領域のスペクトルが相対的に大きい分光分布特性になる。一方、赤味を帯びた被写体を撮影する場合、赤色に応じた波長領域のスペクトルが相対的に大きい分光分布特性になる。色要素の透過する光の波長領域が、その被写体の分光分布特性におけるスペクトルの大きい波長領域と共通する場合、その色要素から得られる色信号は被写体の色情報を十分含む。被写体の色情報を判断するため、例えば、赤色（Ｒ），青色（Ｂ）に応じた色信号の値が所定値（閾値）より大きい、あるいは小さいことによって判断される。あるいは、赤色（Ｒ），青色（Ｂ）に応じた色信号の比によって判断してもよい。

本発明では、非選択色信号は、上記所定の分光感度分布曲線の全体に渡って対応する。すなわち、撮像系の感度分布特性のうち非選択色信号に対応する分光感度曲線が、その所定の分光感度分布曲線（例えば、Ｒ，Ｂ）のスペクトル分布全体に渡ってほぼ一致、あるいは線形関係をもつ。一方、選択色信号は、残りの分光感度分布曲線の一部において対応する。すなわち、撮像系の感度分布特性のうち選択色信号に対応する分光感度曲線（例えば、Ｇ）が、残りの分光感度分布曲線の一部において（例えば短波長領域のみ、あるいは長波長領域のみ）一致、あるいは線形関係をもつ。さらに、本発明では、信号処理手段が、撮影対象である被写体の分光分布特性におけるスペクトルの相対的に大きい波長領域において、残りの分光感度曲線に適合する色信号を定める。すなわち、等色関数のうち残りの分光感度曲線に略沿った撮像系の分光感度特性を導く色信号を、複数の選択色信号に基づいて定める。例えば、青味を帯びた被写体の場合、短波長領域付近において分光感度分布曲線にできるだけ近い色信号を適合色信号と定める。原色信号生成手段は、複数の選択色信号のうち一つを選択色信号として選択し、あるいは、複数の選択色信号を演算して定めてもよい。例えば、被写体が青味を帯びている場合、短波長領域の光を相対的に透過させる分光透過特性を有する色要素から得られる色信号を適合色信号として選択し、被写体が赤味を帯びている場合、長波長領域の光を相対的に透過する分光透過特性を有する色要素から得られる色信号を適合色信号として選択すればよい。

被写体の分光分布特性の情報を撮像素子から読み出される所定の色信号から直接的に取得するため、その被写体の分光分布特性に適した色信号に基づいてＲ，Ｇ，Ｂの原色信号が得られる。

Ｒ，Ｇ，Ｂの原色信号を生成する処理としては、はじめに色変換用のマトリクス演算を実行し、その後選択色信号から適合色信号を定めてもよい。あるいは、はじめに適合色信号を定めた後、マトリクス演算を行ってもよい。前者の場合、信号処理手段は、一連の色信号を、色変換のためマトリクス演算する色変換処理手段と、一連の色信号のうちマトリクス演算された非選択色信号に含まれる被写体の分光分布特性の情報に基いて、マトリクス演算された複数の選択色信号から適合色信号を定め、マトリクス演算された非選択色信号および適合色信号とに基づいて、Ｒ，Ｇ，Ｂ原色信号を出力する原色信号生成手段とを備える。後者の場合、信号処理手段は、一連の色信号のうち非選択色信号に含まれる被写体の分光分布特性の情報に基いて、複数の選択色信号から適合色信号を定める適合色信号決定手段と、非選択色信号と適性色信号を色変換のためマトリクス演算し、Ｒ，Ｇ，Ｂの原色信号を出力する色変換処理手段とを備える。

可視光の波長領域の中で短波長領域から長波長領域までさまざまな被写体の分光分布特性に対応できるようにするため、少なくとも４種類の色要素に応じた分光透過特性が、可視光の波長領域において略等間隔でピーク値をもつスペクトル分布となるように定めるのがよい。赤味を帯びた被写体、青味を帯びた被写体、その中間色の被写体に対してもその分光分布特性に応じた色信号が得られる。

本発明の撮像方法は、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素から構成されるカラーフィルタが受光面上に配置される撮像素子から少なくとも４種類の色要素に応じた一連の色信号を読み出し、一連の色信号の中で、色空間に基づいた標準的分光感度分布曲線のうち所定の分光感度分布曲線に応じた非選択色信号に含まれる被写体の分光分布特性の情報に基き、残りの分光感度分布曲線に相関する少なくとも２つの選択色信号から適正色信号を定め、非選択色信号と適正色信号とに基づいて三刺激値に応じたＲ，Ｇ，Ｂ原色信号を生成する撮像方法であって、分光透過特性が、撮像系の分光感度特性を特徴付け、非選択色信号が、所定の分光感度分布曲線の波長領域全体に渡って対応する一方、選択色信号が、残りの分光感度分布曲線の一部の波長領域において対応し、その被写体の分光分布特性におけるスペクトルが相対的に大きい波長領域において残りの分光感度分布曲線に適合する色信号を適合色信号として定めることを特徴とする。

本発明の原色信号生成処理装置は、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素から構成されるカラーフィルタが受光面上に配置される撮像素子から読み出される少なくとも４種類の色要素に応じた一連の色信号に対し信号処理を施す原色信号生成処理装置であって、一連の色信号の中で、色空間に基づいた標準的分光感度曲線のうち所定の分光感度分布曲線に応じた非選択色信号に含まれる被写体の分光分布特性の情報に基き、残りの分光感度分布曲線に相関する少なくとも２つの選択色信号から適正色信号を定め、非選択色信号と適正色信号とに基づいて三刺激値に応じたＲ，Ｇ，Ｂ原色信号を生成する信号処理手段を備え、分光透過特性が、撮像系の分光感度特性を特徴付け、非選択色信号が、所定の分光感度分布曲線の波長領域全体に渡って対応する一方、選択色信号が、残りの分光感度分布曲線の一部の波長領域において対応し、信号処理手段が、その被写体の分光分布特性におけるスペクトルが相対的に大きい波長領域において残りの分光感度分布曲線に適合する色信号を適合色信号として定めることを特徴とする。

本発明によれば、被写体の色を忠実に再現した画像を得ることができる。

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

図１は、デジタルカメラのブロック図である。

デジタルカメラ１０は、撮影光学系１２およびＣＣＤ１６を備え、被写体において反射した光が撮影光学系を通り、ＣＣＤ１６の受光面に到達する。これにより、被写体像がＣＣＤ１６の受光面に形成される。ここでは撮像方式として単板同時式が適用されており、ＣＣＤ１６の受光面には、４つの色要素が市松状に配列された色フィルタ１４が設けられている。被写体からの光がＣＣＤ１６の受光面に到達すると、色フィルタ１４の各色要素に応じた画素信号が発生し、画素信号はＣＣＤ駆動回路（図示せず）からのクロックパルス信号に従ってＣＣＤ１６から読み出される。読み出された画素信号は初期回路（図示せず）において増幅され、所定の処理が施されるとマトリクス回路１８へ送られる。

マトリクス回路１８では、色フィルタ１４の４つの色要素に応じた一連の画素信号に対して色変換処理が実行され、４つの色、すなわち赤色（Ｒ）、緑色（Ｇ）に準じた第１選択色および第２選択色、青色（Ｂ）に応じた一連の色信号が生成される。そして、Ｇ信号出力回路２０では、赤色（Ｒ），青色（Ｂ）に応じた色信号に基づいて、第１選択色、第２選択色に応じた色信号から緑色（Ｇ）に応じた色信号が決定される。これにより、三刺激値に応じたＲ，Ｇ，Ｂの原色信号が生成され、画像信号処理回路２２へ送信される。

画像信号処理回路２２では、ホワイトバランス調整、ガンマ補正などの処理がＲ，Ｇ，Ｂの原色信号に対して施され、ｓＲＧＢ色空間に従った映像信号が生成される。ここでは、標準モニタと標準視環境において規定される色を測色的に正しく再現するように色変換処理されている。映像信号がＬＣＤドライバ２４へ送られると、ＬＣＤドライバ２４は映像信号に基いてＬＣＤ２６を駆動する。これにより、撮影画像が動画像としてＬＣＤ２６に表示される。

レリーズボタン（図示せず）が半押しされて半押しスイッチ４２がＯＮ状態になると、測距センサ３０によって被写体までの距離が測定されるとともに、測光センサ３２によって被写体の明るさが検出される。そして、システムコントロール回路３４では、測定された被写体情報に基いてシャッタスピード、絞り値が演算される。また、計測された被写体までの距離に従い、レンズ駆動回路２８によって撮影光学系１２が焦点調整のため駆動される。レリーズボタンが全押しされて全押しスイッチ４４がＯＮ状態になると、図示しないシャッタ、絞りが駆動され、１フレーム分の画素信号が生成される。ＣＣＤ１６から読み出された１フレーム分の画素信号は、マトリクス回路１８、Ｇ信号出力回路２０、画像信号処理回路２２において処理される。そして、システムコントロール回路３４において圧縮処理された後、メモリカード３６に記録される。さらに、送信ボタン（図示せず）が操作されて送信スイッチ４６がＯＮ状態になると、メモリカード３６に記録された画像データがインターフェイス回路（Ｉ／Ｆ）３８を介して外部のコンピュータ４０へ出力される。

図２は、色フィルタ１４の一部を示した図であり、図３は、デジタルカメラにおける入力系の分光感度特性を示した図である。図２、図３を用いて、フィルタの色配列について説明する。

図２に示すように、色フィルタ１４は、４種類の色要素から成るブロックを規則的に配列させたベイヤ−配列型フィルタである。また、４種類の色要素は、青色光を含む短波長領域の色要素（以下、Ｂ０とする）、青色（Ｂ）の波長領域から緑色（Ｇ）の波長領域に範囲に渡って光を透過する色要素（以下、Ｘと表す）、緑色（Ｇ）の波長領域から赤色（Ｒ）の波長領域に渡って光を透過する色要素（以下、Ｚと表す）、赤色光を含む長波長領域の光を透過する色要素（以下、Ｒ０と表す）によって構成されている。４つの色要素（Ｂ０、Ｘ、Ｚ、Ｒ０）は市松状に並べられ、各色要素がＣＣＤ１６における受光面の各画素に対向するように配置されている。

図３は、色フィルタ１４の分光透過特性、撮影光学系１２あるいは赤外線カットフィルタの分光感度特性、ＣＣＤ１６の分光感度特性を総合したデジタルカメラ１０の入力系における分光感度特性を表す。色要素Ｂ０、Ｘ、Ｚ、Ｒ０の分光透過特性によって特徴付けられる入力系の分光感度特性は、いずれも略ガウス分布に近い曲線で表され、それぞれ「Ｌ１」、「Ｌ２」、「Ｌ３」、「Ｌ４」とする。分光感度曲線Ｌ１、Ｌ２、Ｌ３、Ｌ４は、それぞれピーク波長λ１（４５０ｎｍ）、λ２（５００ｎｍ）、λ３（５５０ｎｍ）、λ４（５９０ｎｍ）をもつスペクトル分布で表される。

分光感度曲線Ｌ１は、主に青色（Ｂ）の光に対応する分光感度曲線であり、スペクトル分布（分光感度）領域は３６０ｎｍ〜５４０ｎｍの範囲になる。分光感度曲線Ｌ４は主に赤色（Ｒ）の光に対応する分光感度曲線であり、スペクトル分布領域は約５２０ｎｍ〜６８０ｎｍの範囲になる。分光感度曲線Ｌ２、分光感度曲線Ｌ３は、分光感度曲線Ｌ１と分光感度曲線Ｌ４との間においてほぼ均等間隔になるようなラインを描き、ピーク波長λ１、λ２、λ３、λ４が略等間隔になるように分光感度曲線Ｌ１、Ｌ２、Ｌ３、Ｌ４が定められている。

図４は、理想的な撮像システム、すなわち入力系の分光感度特性を示した図である。図５は、マトリクス演算により得られる色信号のうち色フィルタＲ０，Ｂ０に応じた色信号の分光感度特性を示した図である。図６は、マトリクス演算により得られる色信号のうち色フィルタＸ，Ｚに応じた色信号の分光感度特性を示した図である。図４〜図６を用いて、分光感度特性について説明する。

図４に示す分光感度特性は、測色学的に適正に色再現を実現できる分光感度特性であり、等色関数によって表され、人間の視感度に合わせて測色学的に規定された分光感度特性に対応する。ここでは、等色関数に相当する分光感度曲線を、標準分光感度曲線としてＲｓ、Ｇｓ、Ｂｓと表す。ただし、Ｒｓ、Ｇｓ、Ｂｓは、色空間としてｓＲＧＢ色空間に基づいた分光感度曲線を示す。

図３に示す入力系の分光感度特性に基いて得られた４色の色信号（以下では、それぞれＢｉｎ、Ｘｉｎ、Ｚｉｎ、Ｒｉｎとする）は、図４に示したｓＲＧＢ色空間による分光感度曲線に基いた測色値（機器独立色）を得るため、以下の式に従い、マトリクス回路１８においてマトリクス演算される。以下の数式からわかるように、第１行第３列のマトリクス係数が相対的に小さい値に設定され、第３行第２列のマトリクス係数は相対的に大きい値に設定される。上式においてマトリクスの各係数は、出来る限りルータ条件を満たすように定められている。

４色の色信号Ｒｉｎ、Ｘｉｎ、Ｚｉｎ、Ｒｉｎは色変換処理され、４つの色信号Ｒｏｕｔ、Ｇ１ｏｕｔ、Ｇ２ｏｕｔ、Ｂｏｕｔが生成される。ここでは、色信号Ｒｏｕｔ、Ｂｏｕｔは、等色関数から得られる三刺激値Ｘ，Ｙ，ＺのうちＸ，Ｚに対応し、そのままＲ，Ｂの原色信号として出力される。一方、色信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔは、三刺激値のうちＹに対応し、色信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔに基づいてＧの原色信号が出力される。以下では、色信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔをそれぞれ第１選択色信号、第２選択色信号という。

図５に示すように、マトリクス演算後の分光感度曲線Ｒ’ｓ、Ｂ’ｓは、ｓＲＧＢ空間に従う標準的分光感度曲線Ｒｓ，Ｂｓと概して一致する。すなわち、図３に示す入力系の分光感度特性の分光感度分布曲線Ｌ１、Ｌ４が、分光感度曲線Ｒ’ｓ、Ｂ’ｓと略線形関係にあることを示す。一方、図６に示すように、第１選択色信号Ｇ１ｏｕｔ、第２選択色信号Ｇ２ｏｕｔに応じたマトリクス演算後の分光感度曲線Ｇ１ｓ、Ｇ２ｓは、ピーク波長λ_Ｇを境にして異なる。すなわち、ピーク波長λ_Ｇより波長の短い領域では、第１選択色信号Ｇ１ｏｕｔの分光感度曲線Ｇ１ｓがｓＲＧＢ空間に従う標準の分光感度曲線Ｇｓと略一致する一方、ピーク波長λ_Ｇより波長の長い領域では、第２選択色信号Ｇ２ｏｕｔの分光感度曲線Ｇ２ｓが分光感度曲線Ｇｓと略一致する。これは、短波長領域では分光感度曲線Ｇ１ｓが標準の分光感度曲線Ｇｓと線形関係にあり、長波長領域では分光感度曲線Ｇ２ｓが分光感度曲線Ｇｓと線形関係にあることを意味する。本実施形態では、以下に示すように、マトリクス演算後の色信号Ｒｏｕｔ，Ｂｏｕｔに含まれる被写体の分光分布特性（反射率特性）の情報に基づいて、ｓＲＧＢ空間に基づく分光感度曲線Ｇｓに適合した色信号Ｇを定める。

図７は、Ｇに応じた色信号を定める処理を示したフローチャートである。

ステップＳ１０１では、色信号Ｂｏｕｔの値が境界値Ｂ０以上であり、かつ色信号Ｒｏｕｔの値が境界値Ｒ０より小さいか否かが判断される。青色に応じた短波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｂｏｕｔの値が色信号Ｒｏｕｔの値に比べて相対的に大きくなる。逆に、赤色に応じた長波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｒの値Ｒｏｕｔが色信号Ｂの値Ｂｏｕｔに比べて相対的に大きい。ここでは、青色光を含む短波長領域のスペクトルが大きい分光分布特性をもつ被写体、赤色光を含む長波長領域のスペクトルが大きい分光分布特性をもつ被写体、それ以外の分光分布特性をもつ被写体とに分類し、その識別のための境界値Ｂ０、Ｒ０があらかじめ定められている。境界値Ｂ０、Ｒ０は、分光感度曲線Ｒｓ，Ｂｓ、マトリクス係数等に基づき、所定の値に定められている。

ステップＳ１０１において、色信号Ｂｏｕｔの値が境界値Ｂ０以上であり、かつ色信号Ｒｏｕｔの値が境界値Ｒ０より小さいと判断された場合、ステップＳ１０２へ進み、分光感度曲線Ｇ１ｓに応じた色信号Ｇ１ｏｕｔが選択される。その結果、色信号Ｒｏｕｔ，Ｇ１ｏｕｔ，ＢｏｕｔがＲ，Ｇ，Ｂの原色信号として出力される。

一方、ステップＳ１０１において、色信号Ｂｏｕｔの値が境界値Ｂ０以上ではない、又は色信号Ｒｏｕｔの値が境界値Ｒ０より小さくないと判断された場合、ステップＳ１０３へ進む。ステップＳ１０３では、色信号Ｂｏｕｔの値が境界値Ｂ０より小さく、かつ色信号Ｒｏｕｔの値が境界値Ｒ０以上であるか否かが判断される。

ステップＳ１０３において、色信号Ｂｏｕｔの値が境界値Ｂ０より小さく、かつ色信号Ｒｏｕｔの値が境界値Ｒ０以上であると判断された場合、ステップＳ１０４へ進み、分光感度曲線Ｇ２ｓに応じた色信号Ｇ２ｏｕｔが選択される。その結果、色信号Ｒｏｕｔ，Ｇ２ｏｕｔ，ＢｏｕｔがＲ，Ｇ，Ｂの原色信号として出力される。

一方、ステップＳ１０３において、色信号Ｂｏｕｔの値が境界値Ｂ０より小さくなく、又は色信号Ｒｏｕｔの値が境界値Ｒ０以上ではないと判断された場合、ステップＳ１０５へ進む。ステップＳ１０５では、色信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔを加算して２で割り算することによって色信号Ｇ’が算出され、Ｇの原色信号として色信号Ｇ’が出力される。

このように本実施形態によれば、Ｒ，Ｂに応じた色要素Ｒ０、Ｂ０と、Ｇに相関する色要素Ｘ、Ｚとが市松状に配列されたカラーフィルタがＣＣＤ１６の受光面に配置される。そして、マトリクス回路１８において、ＣＣＤ１６から読み出された４つの色信号が、ｓＲＧＢ空間に基づく色変換処理としてマトリクス演算される。マトリクス演算によって生成された４つの色信号Ｒｏｕｔ，Ｂｏｕｔ、Ｇ１ｏｕｔ、Ｇ２ｏｕｔのうち、色信号Ｒｏｕｔ、Ｂｏｕｔから被写体の分光分布特性（反射率特性）が検知される。すなわち、色信号Ｒｏｕｔ、Ｂｏｕｔが所定値Ｒ０、Ｂ０と比較され、青色の短波長領域においてスペクトルが相対的に大きい分光分布特性を有する被写体、あるいは赤色の長波長領域においてスペクトルが相対的に大きい分光分布特性を有する被写体であるか推定される。そして、色信号Ｇ１ｏｕｔ、Ｇ２ｏｕｔのうち被写体の分光分布特性に応じた、すなわち等色関数のＧに応じた分光感度曲線に適合する色信号が選択、あるいは演算され、Ｒ，Ｇ，Ｂの原色信号が生成される。

色信号Ｇ１ｏｕｔ，Ｇ２ｏｕｔについては、演算せずに選択のみで処理するように構成してもよい。色フィルタ１４の色要素Ｒ０、Ｘ、Ｚ、Ｂ０の分光透過特性は図３以外の特性でもよい。Ｇに応じた色信号を設定する代わりに、Ｒ、Ｇに応じた色信号に含まれる被写体の分光分布特性の情報に基づいてＢの色信号を設定し、あるいは、Ｇ，Ｂに応じた色信号に含まれる被写体の分光分布特性の情報に基づいて、Ｒの色信号を設定してもよい。また、補色系フィルタを使用してマトリクス演算によりＲ，Ｇ，Ｂに応じた原色色信号を生成してもよい。

次に、第２の実施形態について説明する。第２の実施形態では、始めに４つの色信号のうち緑色（Ｇ）に応じた２つの色信号から１つの色信号を選択し、その後マトリクス演算処理が施され、Ｒ，Ｇ，Ｂの原色信号が生成される。それ以外の構成については、第１の実施形態と同じである。

図８は、第２の実施形態であるデジタルカメラのブロック図である。第１の実施形態のデジタルカメラと共通する構成については同一符号で表す。

デジタルカメラ１０’は、選択回路１９、第１マトリクス回路２１Ａ、第２マトリクス回路２１Ｂとを備える。システムコントロール回路３４は、選択回路１９からの信号に基づき、第１マトリクス回路２１Ａ、第２マトリクス回路２１Ｂとを制御する。

ＣＣＤ１６から読み出された４つの色要素Ｒ０、Ｘ、Ｚ、Ｂ０に応じた色信号のうち、Ｒ０、Ｂ０に応じた２つの色信号Ｒ’ｉｎ、Ｂ’ｉｎが選択回路１９へ送られる。選択回路１９では、Ｒ０、Ｂ０に応じた色信号に基づいて、２つの色要素Ｘ、Ｚに応じた色信号Ｘ’ｉｎ、Ｚ’ｉｎのうちいずれか一方の色信号が選択される。

第１マトリクス回路２１Ａでは、３つの色要素Ｒ０、Ｘ、Ｂ０に応じた色信号がマトリクス変換され、Ｒ，Ｇ，Ｂの原色信号が生成される。一方、第２マトリクス回路２１Ｂでは、３つの色要素Ｒ０、Ｚ、Ｂ０に応じた色信号がマトリクス変換され、Ｒ，Ｇ，Ｂの原色信号が生成される。システムコントロール回路３４は、選択回路１９から送られてくる信号に基づき、第１マトリクス回路２１Ａ、第２マトリクス回路２１Ｂを切り替える。選択された信号を含むＲ，Ｇ，Ｂの原色信号は、画像信号処理回路２２、ＬＣＤドライバ２４及びシステムコントロール回路３４へ送信される。

図９は、第２の実施形態におけるＧに応じた色信号を選択する処理を示したフローチャートである。

ステップＳ２０１では、色信号Ｂ’ｉｎの値が境界値Ｂ０’以上であり、かつ色信号Ｒ’ｉｎの値が境界値Ｒ０’より小さいか否かが判断される。ただし、境界値Ｂ０’、Ｒ０’は、分光感度曲線等によって定められる。ステップＳ２０１において、色信号Ｂ’ｉｎの値が境界値Ｂ０’以上であり、かつ色信号Ｒ’ｉｎの値が境界値Ｒ０’より小さいと判断された場合、ステップＳ２０２へ進み、色要素Ｘに応じた色信号Ｘ’ｉｎが選択される。これにより、第１マトリクス回路２１Ａにおいて、次式により、色信号Ｒｏｕｔ，Ｇｏｕｔ，ＢｏｕｔがＲ，Ｇ，Ｂの原色信号として生成される。ただし、第１マトリクス回路２１Ａに入力される色信号をＲ’ｉｎ、Ｘ’ｉｎ、Ｂ’ｉｎと表す。

一方、ステップＳ２０１において、色信号Ｂ’ｉｎの値が境界値Ｂ０’以上ではない、又は色信号Ｒ’ｉｎの値が境界値Ｒ０’より小さくないと判断された場合、ステップＳ２０３へ進み、色要素Ｚに応じた色信号Ｚ’ｉｎが選択される。これにより、第２マトリクス回路２１Ａにおいて、次式により、色信号Ｒｏｕｔ，Ｇｏｕｔ，ＢｏｕｔがＲ，Ｇ，Ｂの原色信号として生成される。

図１０は、第１マトリクス回路２１Ａによって得られるＲ，Ｇ，Ｂの原色信号による分光感度分布曲線を示した図である。図１１は、第２マトリクス回路２１Ｂによって得られるＲ，Ｇ，Ｂの原色信号による分光感度分布曲線を示した図である。

図１０に示すように、青色に応じた波長領域においてスペクトルの大きい分光分布特性をもつ被写体の場合、忠実に被写体の色が再現される。一方、図１１に示すように、赤色に応じた波長領域においてスペクトルの大きい分光分布特性をもつ被写体の場合、忠実に被写体の色が再現される。

第１の実施形態と同じように、色信号Ｘ，Ｚの一方を選択するだけでなく、演算によって色信号を設定してもよい。

被写体の色情報を判断するのに際し、図７、図９に示したように赤色、青色に応じた色信号をそれぞれ所定の値と比較する代わりに、色信号の比によって判断してもよい。例えば、図７のステップＳ１０１では、Ｂｏｕｔ／Ｒｏｕｔが所定の値（例えば、１．１）より大きいか否か判断してもよい。また、ステップＳ１０３において、Ｂｏｕｔ／Ｒｏｕｔが所定の値（例えば、０．５９）より小さいか否か判断してもよい。同様に、図９のステップＳ２０１においては、Ｂ’ｉｎ／Ｒ’ｉｎの比に基づいて判断してもよい。

デジタルカメラのブロック図である。色フィルタの一部を示した図である。入力系の分光感度特性を示した図である。理想的な撮像システムの分光感度特性を示した図である。マトリクス演算により得られる色信号のうち色フィルタＲ０，Ｂ０に応じた色信号の分光感度特性を示した図である。マトリクス演算により得られる色信号のうち色フィルタＸ，Ｚに応じた色信号の分光感度特性を示した図である。Ｇに応じた色信号を定める処理を示したフローチャートである。第２の実施形態であるデジタルカメラのブロック図である。第２の実施形態におけるＧに応じた色信号を定める処理を示したフローチャートである。第１マトリクス回路によって得られるＲ，Ｇ，Ｂの原色信号による分光感度分布曲線を示した図である。第２マトリクス回路によって得られるＲ，Ｇ，Ｂの原色信号による分光感度分布曲線を示した図である。

符号の説明

１０、１０’ デジタルカメラ
１４色フィルタ
１６ＣＣＤ（撮像素子）
１８マトリクス回路
１９選択回路
２０Ｇ信号出力回路
２１Ａ第１マトリクス回路
２１Ｂ第２マトリクス回路

Claims

撮像素子と、
それぞれ異なった分光透過特性を有する４種類の色要素が市松状に前記撮像素子の受光面上に配置されるカラーフィルタであって、等色関数のＲ，Ｇ，ＢのうちＲ，Ｂに応じた分光透過特性を有する２種類の非選択用色要素と、Ｇに相関する２種類の色要素とから成り、前記分光透過特性が撮像系の分光感度特性を特徴付けるものであるカラーフィルタと、
前記撮像素子から、前記４種類の色要素に応じた一連の色信号であって、前記２種類の非選択用色要素に基づくＲ，Ｂに応じた非選択色信号と、前記Ｇに相関する２種類の色要素に基づくＧに準じる２つの選択色信号から構成される一連の色信号を読み出す信号読み出し手段と、
前記一連の色信号から、三刺激値に応じたＲ，Ｇ，Ｂ原色信号を生成する信号処理手段とを備え、
前記信号処理手段が、
前記一連の色信号を、色変換のためマトリクス演算する色変換処理手段と、
マトリクス演算された前記非選択色信号に含まれる被写体の分光分布特性の情報に基き、マトリクス演算された前記２つの選択色信号のうち、その被写体の分光分布特性におけるスペクトルの相対的に大きい波長領域において等色関数のＧに応じた分光感度分布曲線に適合する方を、適合色信号として選択し、前記非選択色信号および前記適合色信号に基づいてＲ，Ｇ，Ｂ原色信号を生成する原色信号生成手段と
を備えたことを特徴とする撮像装置。
撮像素子と、
それぞれ異なった分光透過特性を有する４種類の色要素が市松状に前記撮像素子の受光面上に配置されるカラーフィルタであって、等色関数のＲ，Ｇ，ＢのうちＲ，Ｂに応じた分光透過特性を有する２種類の非選択用色要素と、Ｇに相関する２種類の色要素とから成り、前記分光透過特性が撮像系の分光感度特性を特徴付けるものであるカラーフィルタと、
前記撮像素子から、前記４種類の色要素に応じた一連の色信号であって、前記２種類の非選択用色要素に基づくＲ，Ｂに応じた非選択色信号と、前記Ｇに相関する２種類の色要素に基づくＧに準じる２つの選択色信号から構成される一連の色信号を読み出す信号読み出し手段と、
前記一連の色信号から、三刺激値に応じたＲ，Ｇ，Ｂ原色信号を生成する信号処理手段とを備え、
前記信号処理手段が、
前記一連の色信号のうち前記Ｒ，Ｂに応じた非選択色信号に含まれる被写体の分光分布特性の情報に基き、前記Ｇに応じた２つの選択色信号のうち、その被写体の分光分布特性におけるスペクトルの相対的に大きい波長領域において等色関数のＧに応じた分光感度分布曲線に適合する方を、適合色信号として選択する適合色信号決定手段と、
前記非選択色信号と前記適合色信号とを色変換のためマトリクス演算し、Ｒ，Ｇ，Ｂの原色信号を出力する色変換処理手段と
を備えたことを特徴とする撮像装置。
マトリクス演算された前記２つの選択色信号のうち一方の色信号の分光感度分布曲線が、ピーク波長より短い短波長領域において前記等色関数のＧに応じた分光感度分布曲線に適合し、他方の色信号の分光感度分布曲線が、ピーク波長より互い長波長領域において前記等色関数のＧに応じた分光感度分布曲線に適合することを特徴とする請求項１に記載の撮像装置。
前記２つの選択色信号のうち一方の色信号の分光感度分布曲線が、ピーク波長より短い短波長領域において前記等色関数のＧに応じた分光感度分布曲線に適合し、他方の色信号の分光感度分布曲線が、ピーク波長より互い長波長領域において前記等色関数のＧに応じた分光感度分布曲線に適合することを特徴とする請求項２に記載の撮像装置。
前記原色信号生成手段が、マトリクス演算された前記非選択色信号において、Ｒに応じた色信号、Ｂに応じた色信号をそれぞれ所定値と比較し、青色に応じた短波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるか、もしくは赤色に応じた長波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるかを判断することを特徴とする請求項１に記載の撮像装置。
前記適合色信号生成手段が、前記非選択色信号において、Ｒに応じた色信号、Ｂに応じた色信号をそれぞれ所定値と比較し、青色に応じた短波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるか、もしくは赤色に応じた長波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるかを判断することを特徴とする請求項２に記載の撮像装置。
前記原色信号生成手段が、マトリクス演算された前記非選択色信号におけるＲに応じた色信号とＢに応じた色信号との比に基づいて、青色に応じた短波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるか、もしくは赤色に応じた長波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるかを判断することを特徴とする請求項１に記載の撮像装置。
前記適合色信号生成手段が、前記非選択色信号におけるＲに応じた色信号とＢに応じた色信号との比に基づいて、青色に応じた短波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるか、もしくは赤色に応じた長波長領域におけるスペクトルが相対的に大きい分光分布特性を有する被写体であるかを判断することを特徴とする請求項２に記載の撮像装置。
前記４種類の色要素に応じた分光透過特性が、可視光の波長領域において略等間隔でピーク値をもつスペクトル分布となるように定められていることを特徴とする請求項１に記載の撮像装置。