JP2007267404A - 画像処理装置の製造方法 - Google Patents

Abstract

【課題】より忠実な色を再現するとともに、ノイズを低減できるようにする。
【解決手段】４色カラーフィルタ６１は、赤の光のみを透過するＲフィルタ、青の光のみを透過するＢフィルタ、第１の波長帯域の緑色の光のみを透過するＧ１フィルタ、およびＧ１フィルタと相関が高い、第２の波長帯域の緑色の光のみを透過するＧ２フィルタの、合計４個のフィルタを最小単位として構成される。また、Ｇ１フィルタとＧ２フィルタは、その最小単位内において、対角する位置に配置されている。４色カラーフィルタ６１を透過し、画像センサにより取得された４種類の信号に基づいてRGB信号が生成される。本発明はディジタルカメラなどの画像処理装置に適用することができる。
【選択図】図９

Description

本発明は、画像処理装置の製造方法に関し、特に、より忠実な色を再現するとともに、ノイズを低減するようにした画像処理装置の製造方法に関する。

近年、コンシューマ向けの画像入力装置（ディジタルカメラ、カラースキャナ等）および画像処理ソフトウェアが普及しつつあり、撮影するなどして取得した画像を自ら編集するユーザの数が増加してきている。

また、これに伴い、画像の画質に対する要求（より好ましい色に対する要求、ノイズが少ないことに対する要求等）も非常に高くなってきている。ディジタルカメラ等を購入する際の第１の条件として、画質がよいことを挙げるユーザの割合が半数以上を占める現状である。

ディジタルカメラにおいては、一般的に、図１に示されるようなRGBの３原色のカラーフィルタ１が用いられている。この例では、図１の一点鎖線で示されるように、緑色（Ｇ）の光のみを透過するＧフィルタが２個、赤（Ｒ）の光のみを透過するＲフィルタが１個、および青（Ｂ）の光のみを透過するＢフィルタが１個の、合計４個を最小単位として、いわゆるベイヤー配列（Bayer配列）により、カラーフィルタ１が構成される。

図２は、RGBカラーフィルタ１を有するCCD(Charge Coupled Device)撮像素子により取得されたRGB信号に対して各種の処理を施す信号処理部１１の構成例を示すブロック図である。

オフセット補正処理部２１は、CCD撮像素子により取得された信号に所定の処理を施すフロントエンド１３から供給されてきた画像信号に含まれるオフセット成分を除去し、得られた画像信号をホワイトバランス補正処理部２２に出力する。ホワイトバランス補正処理部２２は、オフセット補正処理部２１から供給されてきた画像信号の色温度、およびカラーフィルタ１の各フィルタの感度の違いに基づいて、各色のバランスを補正する。ホワイトバランス補正処理部２２により補正が施され、取得された色信号はガンマ補正処理部２３に出力される。ガンマ補正処理部２３は、ホワイトバランス補正処理部２２から供給されてきた信号に対してガンマ補正を行い、取得した信号を垂直方向同時化処理部２４に出力する。垂直方向同時化処理部２４にはディレイ素子が設けられており、ガンマ補正処理部２３から供給されてきた信号の垂直方向の時間のずれが同時化される。

RGB信号生成処理部２５は、垂直方向同時化処理部２４から供給されてきた色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等を行い、得られたRGB信号を、輝度信号生成処理部２６、および色差信号生成処理部２７に出力する。

輝度信号生成処理部２６は、RGB信号生成処理部２５から供給されてきたRGB信号を所定の合成比で合成し、輝度信号を生成する。色差信号生成処理部２７も同様に、RGB信号生成処理部２５から供給されてきたRGB信号を所定の合成比で合成し、色差信号（Ｃｂ，Ｃｒ）を生成する。輝度信号生成処理部２６により生成された輝度信号、および色差信号生成処理部２７により生成された色差信号は、例えば、信号処理部１１の外部に設けられているモニタに出力される。

このように、元信号に対してガンマ処理を施してから線形変換によって画像処理を行うことが一般的に行われている。

ところで、カラーフィルタを決定する条件としては、第１に、人間の眼の見え方に忠実な色を再現する「色再現性」があげられる。この「色再現性」は、色を、人間の眼で見える色に近づけることを意味する「色の見え」、および、眼で違うものに見える色は違う色に、同じものに見える色は同じ色に再現することを意味する「色の判別性」（メタメリズムマッチング）の、２つにより構成される。第２に、分光成分が正の感度を有し、かつ、分光感度特性が１つのピークを有するなどの、フィルタを作成するにあたっての「物理的制限」を満たすこと、第３に、「ノイズの低減性」が考慮されていることなどが挙げられる。

「色再現性」を重視したカラーフィルタを作成し、評価するために、従来より、例えば、ｑファクタ、μファクタ、またはFOM(Figure of Merit)のようなフィルタ評価係数が使用される。これらの係数は０乃至１の値をとり、カラーフィルタの分光感度特性が人間の眼の分光感度特性（等色関数）の線形変換に近似する程、大きな値、すなわち１に近い値を示す。これらの係数の値を１に近い色にするには、分光感度がルータ条件を満足するようにすればよい。

しかしながら、ルータ条件を満たすように設計すると、カラーフィルタは、図３に示されるように、負の分光成分を有するものとなったり、ピーク値が複数発生するものとなる。そのため、物理的に実現不可能であるか、または実現ができたとしても、相当困難となる。

そこで、ルータ条件の他、上記した「物理的制限」をも考慮して設計すると、分光感度の特性は、通常、図４に示されるような、負の分光成分が現れない特性となる。なお、図３の曲線Ｌ１および図４の曲線Ｌ１１はＲの分光感度を、図３の曲線Ｌ２および図４の曲線Ｌ１２はＧの分光感度を、図３の曲線Ｌ３および図４の曲線Ｌ１３はＢの分光感度を、それぞれ表している。

しかしながら、図４に示されるような分光感度特性を有するフィルタおいては、Ｒの分光感度の特性（曲線Ｌ１１）とＧの分光感度の特性（曲線Ｌ１２）の重なりが大きくなり、それぞれの色信号を分解（抽出）する際に、伝搬ノイズが増大してしまうという課題があった。すなわち、色信号を分解するためにＲ信号とＧ信号の差を大きくする必要があるが、差を大きくすべく、それぞれの信号を増幅した場合、それとともにノイズも増幅されてしまい、上述した「ノイズの低減性」が満足されなくなってしまう。

そこで、「ノイズの低減性」を満足させるべく、「色再現性」を多少犠牲にしてでもＧの分光感度とＲの分光感度の重複する部分を少なくし、例えば、図５に示されるような分光感度特性にすることも考えられる。

しかしながら、このような特性のフィルタとした場合、例えば、眼では異なる色として見える物体が、ディジタルカメラにおいては同一の色として撮影されるなど、いわゆる「色の判別性」が悪くなってしまうという課題がある。

この「色の判別性」が悪くなることについてさらに説明すると、次のようになる。すなわち、図６は、物体Ｒ１と物体Ｒ２の分光反射率を示す図であり、図に示されるように物体Ｒ１と物体Ｒ２の分光反射率は異なっている。また、図７は、図６の分光反射率を有する物体Ｒ１と物体Ｒ２を、標準観察者の眼で見た場合の三刺激値（Ｘ，Ｙ，Ｚ値）（図７Ａ）と、図５の分光感度特性を有するカラーフィルタで撮影した場合のRGB値（図７Ｂ）を示す図である。

図７Ａにおいては、物体Ｒ１のＸ，Ｙ，Ｚ値（「０．０８」，「０．０６」，「０．３０」）と、物体Ｒ２のＸ，Ｙ，Ｚ値（「０．１０」，「０．０７」，「０．３３」）はそれぞれ異なる値であり、これは、それぞれの物体は、人間の眼では異なる色として見えることを表している。これに対して、図７Ｂにおいては、物体Ｒ１のＲ，Ｇ，Ｂの値と、物体Ｒ２のＲ，Ｇ，Ｂの値が同一の値（「６６．５」，「８８．３」，「１３２．０」）となっている。これは、図５の分光感度特性を有するディジタルカメラ（カラーフィルタ）では、それぞれの物体の色が区別されずに、同じ色のものとして撮影されていることを意味する。

また、qファクタ、μファクタ、FOMを用いて行うカラーフィルタの評価においては、「ノイズの低減性」が考慮されず、「ノイズ低減性」の観点からは望ましくないものであるにも関わらず、「色再現性」、「物理的制限」の両方を満たすフィルタ（ルータ条件を満たす、図４に示されるようなフィルタ）に対して最高の評価（係数の値が１）が示されてしまう。

本発明はこのような状況に鑑みてなされたものであり、より忠実な色を再現するとともに、ノイズを低減できるようにするものである。

本発明の製造方法は、３原色の第１乃至第３の光、および前記３原色の前記第１乃至第３の光のうちの前記第２の光と高い相関を有する第４の光を抽出する抽出手段と、前記抽出手段により抽出された前記第１乃至第４の光を、対応する第１乃至第４の色信号に変換する変換手段と、前記変換手段による変換によって得られた前記第１乃至第４の色信号に基づいて、前記３原色に対応する第５乃至第７の色信号を生成する生成手段と、前記生成手段により生成された前記第５乃至第７のそれぞれの色信号に対して、ガンマ補正を施すガンマ補正手段とを備える画像処理装置の製造方法において、前記変換手段を用意する第１のステップと、３原色の第１乃至第３の光、および前記３原色の前記第１乃至第３の光のうちの前記第２の光と高い相関を有する第４の光を抽出する前記抽出手段を、前記第１のステップの処理により用意された前記変換手段の前面に生成する第２のステップとを含むことを特徴とする。

前記第１乃至第４の光を抽出する前記抽出手段は、前記第１乃至第４の光をそれぞれ抽出する第１乃至第４の抽出部で構成される単位を有し、前記第２の光と前記第４の光をそれぞれ抽出する前記第２の抽出部と前記第４の抽出部は、前記単位において対角に位置するものであるようにすることができる。

前記第２の抽出部および前記第４の抽出部は、輝度信号の視感度特性に近似する分光感度特性を有するものであるようにすることができる。

前記３原色の第１乃至第３の光は、赤、緑、または青の光であり、前記第４の光は、緑の光であるようにすることができる。

前記信号生成手段は、所定のカラーパッチに基づいて算出される参照値と、前記カラーパッチに基づいて前記抽出手段の分光感度特性により算出される出力値の、XYZ色空間における差を最小にするものとして与えられる変換式に基づいて前記第５乃至第７の色信号を生成するものであるようにすることができる。

前記信号生成手段は、所定のカラーパッチに基づいて算出される参照値と、前記カラーパッチに基づいて前記抽出手段の分光感度特性により算出される出力値の、知覚均等色空間における差を最小にするものとして与えられる変換式に基づいて前記第５乃至第７の色信号を生成するものであるようにすることができる。

前記信号生成手段は、所定のカラーパッチに基づいて算出される参照値と、前記カラーパッチに基づいて前記抽出手段の分光感度特性により算出される出力値の、色分解のための伝播ノイズを最小にするものとして与えられる変換式に基づいて前記第５乃至第７の色信号を生成するものであるようにすることができる。

本発明により得られた画像処理装置によれば、撮影された色を忠実に再現することができる。

また、本発明により得られた画像処理装置によれば、「色の判別性」を向上させることができる。

さらに、本発明により得られた画像処理装置によれば、「色の再現性」および「ノイズの低減性」を向上させることができる。

本発明により得られた画像処理装置によれば、「色の見え方」を改善させることができる。

図８は、本発明を適用したディジタルカメラの構成例を示すブロック図である。

図８に示されるディジタルカメラは、CCD(Charge Coupled Device)等よりなる画像センサ４５の前面（レンズ４２に対向する面）に、４種類の色（光）を識別するカラーフィルタが設けられている。

図９は、図８の画像センサ４５に設けられる４色カラーフィルタ６１の例を示す図である。

図９の一点鎖線で示されるように、４色カラーフィルタ６１は、赤の光のみを透過するＲフィルタ、青の光のみを透過するＢフィルタ、第１の波長帯域の緑色の光のみを透過するＧ１フィルタ、およびＧ１フィルタと相関が高い、第２の波長帯域の緑色の光のみを透過するＧ２フィルタの、合計４個のフィルタを最小単位として構成される。また、Ｇ１フィルタとＧ２フィルタは、その最小単位内において、互いに対角する位置に配置されている。

後に詳述するように、画像センサ４５により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（RGB）のみが取得される場合と較べて、より正確に色を表現することができ、眼で違うものに見える色は違う色に、同じものに見える色は同じ色に、それぞれ再現すること（「色の判別性」）を向上させることができる。

なお、図１０に示される視感度曲線から分かるように、人間の眼は輝度に敏感である。従って、図９の４色カラーフィルタ６１の例においては、より正確な輝度情報を取得することにより、輝度の階調を上げることができ、かつ、眼の見え方に近い画像を再現することができるように、視感度曲線に近い分光感度特性を有するＧ２のカラーフィルタが追加されている（図１のＲ，Ｇ，Ｂに対応するＲ，Ｇ１，Ｂのフィルタに対して、新たに決定された緑Ｇ２フィルタが追加されている）。

また、４色カラーフィルタ６１を決定する際に使用されるフィルタ評価係数として、例えば、「色再現性」と「ノイズ低減性」の両方を考慮した係数であるUMG(Unified Measure of Goodness)が用いられている。

UMGを用いた評価においては、評価対象のフィルタが単にルータ条件を満たしているだけでは、その評価値は高くならず、それぞれのフィルタの分光感度分布の重なりも考慮される。従って、ｑファクタ、μファクタ、またはFOM(Figure of Merit)を利用して評価されたカラーフィルタの場合と比較して、ノイズをより低減させることができる。すなわち、UMGを用いた評価により、それぞれのフィルタの分光感度特性が、ある程度の重なりを有するが、図４のＲの特性とＧの特性のようにほぼ全てが重なるものではないフィルタが選択されるため、色の分離のため、それぞれの色信号を増幅する場合であっても、増幅率をそれ程大きくする必要がなく、それに伴ってノイズ成分が増幅されることが抑制される。

第４のフィルタ（Ｇ２フィルタ）によりノイズが抑制される理由について付言すれば、画素数拡大のためにCCDのセルサイズが微小化されるに伴い、感度効率を向上させるために原色フィルタの分光感度曲線が太くなって各フィルタの重なりが大きくなる傾向にある。この様な状況下でもう一枚フィルタを追加することは、元の３原色の重なりを抑制し、結果としてノイズを防ぐ効果がある。

図１１は、各フィルタ評価係数の特徴を示す図である。図１１においては、各評価係数に対して、１度に評価できるフィルタの数、物体の分光反射率が考慮されているか否か、および、ノイズの低減が考慮されているか否かが示されている。

図１１に示されるように、ｑファクタ（q-factor）は、１度に評価できるフィルタの数が「１個」のみであり、物体の分光反射率と、ノイズの低減が考慮されていない。また、μファクタ（μ-factor）は、１度に複数のフィルタを評価することができるものの、物体の分光反射率とノイズの低減は考慮されていない。さらに、FOMは、１度に複数のフィルタを評価することができ、物体の分光反射率が考慮されているものの、ノイズの低減が考慮されていない。

これに対して、４色カラーフィルタ６１を決定する際に使用されるUMGは、１度に複数のフィルタを評価することができ、物体の分光反射率が考慮され、かつ、ノイズの低減も考慮されている。

なお、ｑファクタについては「H.E.J.Neugebauer "Quality Factor for Filters Whose Spectral Transmittances are Different from Color Mixture Curves, and Its Application to Color Photography" JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 46, NUMBER 10」にその詳細が開示されており、μファクタについては「P.L.Vora and H.J.Trussell, "Measure of Goodness of a set of color-scanning filters", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 10, NUMBER 7」にその詳細が開示されている。また、FOMについては「G.Sharma and H.J.Trussell, "Figures of Merit for Color Scanners, IEEE TRANSACTION ON IMAGE PROCESSING, VOLUME 6」にその詳細が開示されており、UMGについては「S.Quan, N.Ohta, and N.Katoh, "Optimal Design of Camera Spectral Sensitivity Functions Based on Practical Filter Components", CIC, 2001」にその詳細が開示されている。

図８の説明に戻り、マイクロコンピュータ４１は、所定の制御プログラムに従って全体の動作を制御する。例えば、マイクロコンピュータ４１は、絞り４３による露光制御、シャッター４４の開閉制御、TG(Timing Generator)４６の電子シャッターの制御、フロントエンド４７でのゲインコントロール、カメラシステムLSI(Large Scale Integrated Circuit)４８のモード制御、パラメータ制御等を行う。

絞り４３は、レンズ４２により集光された光の通過（絞り）を調整し、画像センサ４５により取り込まれる光量を制御する。シャッター４４は、マイクロコンピュータ４１の指示に基づいて、レンズ４２により集光された光の通過を制御する。

画像センサ４５は、さらに、CCDやCMOS(Complementary Metal Oxide Semiconductor)により構成される撮像素子を有し、その撮像素子の前面に形成する４色カラーフィルタ６１を介して入射された光を電気信号に変換し、４種類の色信号（Ｒ信号，Ｇ１信号，Ｇ２信号，Ｂ信号）をフロントエンド４７に出力する。画像センサ４５には、図９の４色カラーフィルタ６１が設けられ、レンズ４２を介して入射された光から、Ｒ，Ｇ１，Ｇ２，Ｂのそれぞれの帯域の波長の成分（その詳細は、図１８を参照して後述する）が抽出される。

フロントエンド４７は、画像センサ４５から供給されてきた色信号に対して、ノイズ成分を除去するための相関二重サンプリング処理、ゲインコントロール処理、およびディジタル変換処理等を施す。フロントエンド４７により各種の処理が施され、得られた画像データは、カメラシステムLSI４８に出力される。

カメラシステムLSI４８は、後に詳述するように、フロントエンド４７から供給されてきた画像データに対して各種の処理を行い、例えば、輝度信号および色信号を生成して画像モニタ５０に出力し、信号に対応する画像を表示させる。

画像メモリ４９は、例えば、DRAM(Dynamic Random Access Memory)やSDRAM(Synchronous Dynamic Random Access Memory)などにより構成され、カメラシステムLSI４８が各種の処理を行う際に適宜利用される。半導体メモリ、ディスク等により構成される外部記憶媒体５１は、例えば、図８のディジタルカメラに対して着脱可能に構成され、カメラシステムLSI４８によりJPEG(Joint Photographic Expert Group)フォーマットで圧縮された画像データが記憶される。

画像モニタ５０は、例えば、LCD(Liquid Crystal Display)などにより構成され、撮影された画像や各種のメニュー画面等を表示する。

図１２は、図８のカメラシステムLSI４８の構成例を示すブロック図である。カメラシステムLSI４８を構成する各ブロックは、マイクロコンピュータインタフェース(I/F)７３を介して、図８のマイクロコンピュータ４１により制御される。

信号処理部７１は、フロントエンド４７から供給されてきた４種類の色情報に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等の各種の処理を行い、例えば、生成した画像信号をモニタインタフェース７７を介して画像モニタ５０に出力する。

画像検波部７２は、フロントエンド４７の出力に基づいて、オートフォーカス、オートエキスポージャー、オートホワイトバランス等の検波処理を行い、その結果を、適宜、マイクロコンピュータ４１に出力する。

メモリコントローラ７５は、処理ブロック間同士のデータの送受信、または、所定の処理ブロックと画像メモリ４９との間のデータの送受信を制御し、例えば、信号処理部７１から供給されてきた画像データをメモリインタフェース７４を介して画像メモリ４９に出力し、記憶させる。

画像圧縮・解凍部７６は、例えば、信号処理部７１から供給されてきた画像データをJPEGフォーマットで圧縮し、得られたデータをマイクロコンピュータインタフェース７３を介して外部記憶媒体５１に出力し、記憶させる。画像圧縮・解凍部７６は、また、外部記憶媒体５１から読み出された圧縮データを解凍（伸張）し、モニタインタフェース７７を介して画像モニタ５０に出力する。

図１３は、図１２の信号処理部７１の詳細な構成例を示すブロック図である。信号処理部７１を構成する各ブロックは、マイクロコンピュータインタフェース７３を介して、マイクロコンピュータ４１により制御される。

オフセット補正処理部９１は、フロントエンド４７から供給されてきた画像信号に含まれるノイズ成分（オフセット成分）を除去し、得られた画像信号をホワイトバランス補正処理部９２に出力する。ホワイトバランス補正処理部９２は、オフセット補正処理部９１から供給されてきた画像信号の色温度、および４色カラーフィルタ６１の各フィルタの感度の違いに基づいて、各色のバランスを補正する。ホワイトバランス補正処理部９２により補正が施され、取得された色信号は、垂直方向同時化処理部９３に出力される。垂直方向同時化処理部９３にはディレイ素子が設けられており、ホワイトバランス補正処理部９２から出力されてきた信号の垂直方向の時間のずれが同時化（補正）される。

信号生成処理部９４は、垂直方向同時化処理部９３から供給されてきたRG1G2Bの最小単位の２×２画素の色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等を行い、得られたRG1G2B信号を、リニアマトリクス処理部９５に出力する。

リニアマトリクス処理部９５は、次式（１）に従って、所定のマトリクス係数（３×４の行列）に基づいて、RG1G2B信号の演算を行い、３色のRGB信号を生成する。

リニアマトリクス処理部９５により生成されたＲ信号はガンマ補正処理部９６−１に出力され、Ｇ信号はガンマ補正処理部９６−２に出力され、Ｂ信号はガンマ補正処理部９６−３に出力される。

ガンマ補正処理部９６−１乃至９６−３は、リニアマトリクス処理部９５から出力されてきたRGB信号のそれぞれの信号に対してガンマ補正を行い、取得されたRGB信号を輝度（Ｙ）信号生成処理部９７および色差（Ｃ）信号生成処理部９８に出力する。

輝度信号生成処理部９７は、ガンマ補正処理部９６−１乃至９６−３から供給されてきたRGB信号を、例えば、次式（２）に従って、所定の合成比で合成し、輝度信号を生成する。

色差信号生成処理部９８も同様に、ガンマ補正処理部９６−１乃至９６−３から供給されてきたRGB信号を所定の合成比で合成し、色差信号（Ｃｂ，Ｃｒ）を生成する。輝度信号生成処理部９７により生成された輝度信号、および色差信号生成処理部９８により生成された色差信号は、例えば、図１２のモニタインタフェース７７を介して画像モニタ５０に出力される。

以上のような構成を有するディジタルカメラにおいて、画像の撮影が指示された場合、マイクロコンピュータ４１は、TG４６を制御し、画像センサ４５により画像を取り込ませる。すなわち、画像センサ４５を構成するCCDなどの撮像素子の前面に形成されている４色カラーフィルタ６１により４色の光が透過され、透過された光がCCD撮像素子により取り込まれる。CCD撮像素子により取り込まれた光は、４色の色信号に変換され、それがフロントエンド４７に出力される。

フロントエンド４７は、画像センサ４５から供給されてきた色信号に対して、ノイズ成分を除去するための相関二重サンプリング処理、ゲインコントロール処理、およびディジタル変換処理等を施し、得られた画像データをカメラシステムLSI４８に出力する。

カメラシステムLSI４８の信号処理部７１においては、オフセット補正処理部９１により色信号のオフセット成分が除去され、ホワイトバランス補正処理部９２により、画像信号の色温度、および４色カラーフィルタ６１の各フィルタの感度の違いに基づいて、各色のバランスが補正される。

また、垂直方向同時化処理部９３により、ホワイトバランス補正処理部９２により補正された信号の垂直方向の時間のずれが同時化（補正）され、信号生成処理部９４により、垂直方向同時化処理部９３から供給されてきたRG1G2Bの最小単位の２×２画素の色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等が行われる。

さらに、リニアマトリクス処理部９５においては、信号生成処理部９４により生成された信号（RG1G2B信号）が、所定のマトリクス係数（３×４の行列）に基づいて変換され、３色のRGB信号が生成される。リニアマトリクス処理部９５により生成されたＲ信号はガンマ補正処理部９６−１に出力され、Ｇ信号はガンマ補正処理部９６−２に出力され、Ｂ信号はガンマ補正処理部９６−３に出力される。

ガンマ補正処理部９６−１乃至９６−３により、リニアマトリクス処理部９５の処理により得られたRGB信号のそれぞれの信号に対してガンマ補正が行われ、取得されたRGB信号が輝度信号生成処理部９７および色差信号生成処理部９８に出力される。輝度信号生成処理部９７、および色差信号生成処理部９８においては、ガンマ補正処理部９６−１乃至９６−３から供給されてきたＲ信号、Ｇ信号、Ｂ信号のそれぞれの信号が所定の合成比で合成され、輝度信号および色差信号が生成される。輝度信号生成処理部９７により生成された輝度信号、および色差信号生成処理部９８により生成された色差信号は、図１２の画像圧縮・解凍部７６に出力され、例えば、JPEGフォーマットで圧縮される。圧縮され、得られた画像データは、マイクロコンピュータインタフェース７３を介して外部記憶媒体５１に出力され、記憶される。

以上のように、１つの画像データが４種類の色信号に基づいて形成されるため、その再現性は、人間の眼の見えにより近いものとなる。

一方、外部記憶媒体５１に記憶されている画像データの再生（表示）が指示されたとき、マイクロコンピュータ４１により、外部記憶媒体５１に記憶されている画像データが読み出され、それがカメラシステムLSI４８の画像圧縮・解凍部７６に出力される。画像圧縮・解凍部７６においては、圧縮されている画像データが伸張され、モニタインタフェース７７を介して、得られたデータに対応する画像が画像モニタ５０に表示される。

次に、図１４のフローチャートを参照して、以上のような構成を有するディジタルカメラを作成する処理（手順）について説明する。

ステップＳ１において、図８の画像センサ４５に設けられる４色カラーフィルタ６１の分光感度特性を決定する４色カラーフィルタ決定処理が行われ、ステップＳ２において、図１３のリニアマトリクス処理部９５に設定されるマトリクス係数を決定するリニアマトリクス決定処理が行われる。ステップＳ１において実行される４色カラーフィルタ決定処理の詳細については、図１５のフローチャートを参照して、また、ステップＳ２において実行されるリニアマトリクス決定処理の詳細については、図１９のフローチャートを参照して、それぞれ後述する。

４色カラーフィルタ６１が決定され、マトリクス係数が決定された後、ステップＳ３において、図１３の信号処理部７１が作成され、ステップＳ４に進み、図１２のカメラシステムLSI４８が作成される。また、ステップＳ５において、図８に示されるような画像処理装置（ディジタルカメラ）の全体が作成される。ステップＳ６において、ステップＳ５で作成されたディジタルカメラの画質（「色再現性」、「色判別性」）の評価が行われ、処理が終了される。

ここで、「色再現性」、「色判別性」などを評価する際に参照される物体色について説明する。物体色は「物体の分光反射率」、「標準照明の分光エネルギー分布」、および「物体を感知するセンサ（カラーフィルタ）の分光感度分布（特性）」の積を可視光領域（例えば、４００乃至７００nm）の範囲で積分した値によって算出される。すなわち、次の式（３）により物体色が算出される。

例えば、所定の物体を眼で観察する場合、式（３）の「センサの分光感度特性」が等色関数で表され、その物体の物体色は、Ｘ，Ｙ，Ｚの三刺激値で表される。具体的には、Ｘの値は式（４−１）で算出され、Ｙの値は式（４−２）で算出され、Ｚの値は式（４−３）で算出される。なお、式（４−１）乃至（４−３）における定数ｋの値は式（４−４）で算出される。

また、ディジタルカメラなどの画像処理装置により、所定の物体の画像を取り込む場合、上式（３）の「センサの分光感度特性」がカラーフィルタの分光感度特性で表され、その物体の物体色は、フィルタの数の色値（例えば、RGBフィルタ（３種類）の場合はRGB値（３値））の物体色が算出される。画像処理装置に、３種類の色を検出するRGBフィルタが設けられている場合、具体的には、Ｒの値は式（５−１）で算出され、Ｇの値は式（５−２）で算出され、Ｂの値は式（５−３）で算出される。また、式（５−１）における定数ｋ_rの値は式（５−４）で算出され、式（５−２）における定数ｋ_gの値は式（５−５）で算出され、式（５−３）における定数ｋ_bの値は式（５−６）で算出される。

次に、図１５のフローチャートを参照して、図１４のステップＳ１で行われる４色カラーフィルタ決定処理について説明する。

なお、４色カラーフィルタの決定方法としては様々な方法があるが、例えば、RGBフィルタを基調として（既存の（図１の）Ｇフィルタの一方をＧ１フィルタとして）、Ｇ１フィルタを透過する色と相関の高い色を透過するＧ２フィルタを選択し、それを追加して４色カラーフィルタを決定する処理について説明する。

ステップＳ２１において、UMG値を算出するために使用されるカラーターゲットが選択される。例えば、ステップＳ２１において、現存する色を代表するカラーパッチを多く含み、かつ、人間の記憶色（肌色、植物の緑、空の青等）を重視したカラーパッチを多く含むカラーターゲットが選択される。カラーターゲットとしては、例えば、IT8.7，Macbeth Color Checker，GretagMacbeth DigitalCamera Color Checker，CIE，Color Bar等がある。

また、目的に応じて、SOCS(Standard Object Color Spectra Database)などのデータから、標準となりうるカラーパッチを作成し、それを使用するようにしてもよい。なお、SOCSについては「田島譲二, "標準物体色分光データベース(SOCS)による統計的色再現評価", カラーフォーラムJAPAN 99」にその詳細が開示されている。以下、Macbeth Color Checkerがカラーターゲットとして選択された場合について説明する。

ステップＳ２２において、Ｇ２フィルタの分光感度特性が決定される。分光感度特性として、実存する材料から作成可能なものを使用するようにしてもよいし、図１６に示されるようなcubic spline曲線（３次スプライン関数）で仮想曲線Ｃ（λ）を想定し、仮想曲線Ｃ（λ）のピーク値λ₀、値ｗ（ｗ₁とｗ₂の和を２で除算した値）、値Δｗ（ｗ₁からｗ₂を減算した値を２で除算した値）を、図中に示す範囲で変化させたものを使用するようにしてもよい。なお、ｗ，Δｗの値は、半値幅の値に基づく値とされる。λ₀，ｗ，Δｗの変化の方法は、例えば、５nm刻みとする。仮想曲線Ｃ（λ）は、それぞれの範囲において、下式（６−１）乃至（６−５）で表される。

なお、この例では、フィルタＧ２のみが追加されるが、図１のフィルタ（Ｒ，Ｇ，Ｇ，Ｂ）のＲフィルタとＢフィルタのみを使用し、残りの２つのＧ１，Ｇ２フィルタを、緑色付近の上式（６−１）乃至（６−５）の仮想曲線として定義することも可能である。また、同様に、ＲとＧのみ、ＧとＢのみを、図１のフィルタから使用するようにしてもよい。さらに、４色のフィルタのうち、３色を仮想曲線、または４色とも仮想曲線として定義することも可能である。

ステップＳ２３において、追加するフィルタ（Ｇ２フィルタ）と、現存のフィルタ（Ｒフィルタ，Ｇ１フィルタ，Ｂフィルタ）が組み合わされ、４色カラーフィルタの最小単位（セット）が作成される。また、ステップＳ２４において、ステップＳ２３で作成された４色カラーフィルタに対して、フィルタ評価係数としてUMGが用いられ、UMG値が算出される。

図１１を参照して説明したように、UMGを用いた場合、４色のそれぞれのカラーフィルタに対して１度で評価を行うことができる。また、物体の分光反射率を考慮して評価が行われるだけでなく、ノイズの低減性をも考慮して評価が行われる。UMGを用いた評価においては、それぞれのフィルタの分光感度特性に、適度な重なりがあるフィルタに対して高い評価が示されるため、例えば、Ｒの特性とＧの特性が広い波長帯域にわたって重複する特性を有するフィルタ（それぞれの色信号を分離した際、ノイズが増幅されるフィルタ）に対して、高い評価が示されるということを抑制することができる。

図１７は、３色カラーフィルタにおいて算出されるUMG値の例を示す図である。例えば、RGBの特性がそれぞれ重複しない図１７Ａに示されるような特性のフィルタにおいては、「０．７９４２」のUMG値が算出され、Ｒの特性とＧの特性が広い波長帯域にわたって重複する図１７Ｂに示されるような特性のフィルタにおいては、「０．８２１１」のUMG値が算出される。また、RGBのそれぞれの特性が適度に重なる図１７Ｃに示されるような特性を有するフィルタにおいては、「０．８８７９」のUMG値が算出される。すなわち、RGBのそれぞれの特性が適度に重なる、図１７Ｃに示されるような特性を有するフィルタに対して最も高い評価が示される。このことは、４色カラーフィルタにおいても同様である。なお、図１７Ａの曲線Ｌ３１、図１７Ｂの曲線Ｌ４１、および図１７Ｃの曲線Ｌ５１はＲの分光感度を、図１７Ａの曲線Ｌ３２、図１７Ｂの曲線Ｌ４２、および図１７Ｃの曲線Ｌ５２はＧの分光感度を、図１７Ａの曲線Ｌ３３、図１７Ｂの曲線Ｌ４３、および図１７Ｃの曲線Ｌ５３はＢの分光感度を、それぞれ表している。

ステップＳ２５において、ステップＳ２４で算出されたUMG値が、所定の閾値である「０．９５」以上であるか否かが判定され、「０．９５」未満であると判定された場合、ステップＳ２６に進み、作成された４色カラーフィルタが却下される（使用されない）。ステップＳ２６において、４色カラーフィルタが却下された場合、その後、処理は終了される（図１４のステップＳ２以降の処理は実行されない）。

一方、ステップＳ２５において、ステップＳ２４で算出されたUMG値が「０．９５」以上であると判定された場合、ステップＳ２７において、その４色カラーフィルタが、ディジタルカメラで使用される候補のフィルタとされる。

ステップＳ２８において、ステップＳ２７で候補のフィルタとされた４色カラーフィルタが、現存する材料、染料で実現可能であるか否かが判定される。材料、染料等が取得困難である場合、実現不可能であると判定され、ステップＳ２６に進み、その４色カラーフィルタが却下される。

一方、ステップＳ２８において、材料、染料等が取得可能であり、実現可能であると判定された場合、ステップＳ２９に進み、作成された４色カラーフィルタが、ディジタルカメラにおいて使用されるフィルタとして決定される。その後、図１４のステップＳ２以降の処理が実行される。

図１８は、ステップＳ２９において決定された４色カラーフィルタの分光感度特性の例を示す図である。

図１８において、曲線Ｌ６１はＲの分光感度を表し、曲線Ｌ６２はＧ１の分光感度を表している。また、曲線Ｌ６３はＧ２の分光感度を表し、曲線Ｌ６４はＢの分光感度を表している。図１８に示されるように、Ｇ２の分光感度曲線（曲線Ｌ６３）は、Ｇ１の分光感度曲線（曲線Ｌ６２）に対して相関が高い。また、Ｒの分光感度、Ｇ（Ｇ１，Ｇ２）の分光感度、およびＢの分光感度は、それぞれ適度な範囲において重複している。なお、図１８に示される特性は、図５に示される３色カラーフィルタの特性に対して、Ｇ２の特性が付加されたものである。

以上のようにして決定された４色カラーフィルタを利用することにより、特に、「色再現性」のうちの「色の判別性」を改善させることができる。

なお、光の利用効率の観点から、以上のように、現存するRGBフィルタのＧフィルタと相関の高いフィルタを、追加するフィルタ（Ｇ２フィルタ）とすることが好ましい。この場合、追加するフィルタの分光感度曲線のピーク値は、経験的に４９５乃至５３５nmの範囲（現存するＧフィルタの分光感度曲線のピーク値の近傍）にあることが望ましい。

また、現存するＧフィルタと相関の高いフィルタを追加する場合、図１の最小単位（Ｒ，Ｇ，Ｇ，Ｂ）を構成する２つのＧフィルタのいずれか一方を追加色のフィルタにするだけで４色カラーフィルタを作成することができるため、作成の行程に大きな変更を加える必要がない。

以上のようにして４色カラーフィルタが作成され、それがディジタルカメラに設けられた場合、図１３の信号処理装置７１には４種類の色信号が信号生成処理部９４から供給されるため、リニアマトリクス処理部９５において、４色（Ｒ，Ｇ１，Ｇ２，Ｂ）の信号から３色（Ｒ，Ｇ，Ｂ）の信号を生成する変換処理が行われる。この変換処理は、輝度リニアな（輝度値を線形的な変換により表すことができる）入力信号値に対するマトリクス処理であるため、以下、リニアマトリクス処理部９５において行われる変換処理を、適宜、リニアマトリクス処理と称する。

次に、図１９のフローチャートを参照して、図１４のステップＳ２において実行される、リニアマトリクス決定処理について説明する。

なお、図１９の処理において使用されるカラーターゲットはMacbeth Color Checkerとし、また、使用される４色カラーフィルタは図１８に示される分光感度特性を有するものとする。

ステップＳ４１において、例えば、CIE(Commision Internationale del'Eclairange)において標準光源とされている一般的な昼光Ｄ６５（照明光Ｌ（λ））が照明光として選択される。なお、照明光は、画像処理装置が頻繁に使用されることが予想される環境の照明光等に変更してもよい。また、想定される照明環境が複数ある場合、リニアマトリクスを複数用意することも考えられる。以下、照明光として昼光Ｄ６５が選択された場合について説明する。

ステップＳ４２において、リファレンス値（参照値）Ｘ_r，Ｙ_r，Ｚ_rが算出される。具体的には、リファレンス値Ｘ_rは式（７−１）により算出され、Ｙ_rは式（７−２）により算出され、Ｚ_rは式（７−３）により算出される。

また、定数ｋは式（８）により算出される。

例えば、カラーターゲットがMacbeht Color Checkerの場合、２４色分のリファレンス値が算出される。

次に、ステップＳ４３において、４色カラーフィルタの出力値Ｒ_f，Ｇ１_f，Ｇ２_f，Ｂ_fが算出される。具体的には、Ｒ_fは式（９−１）により算出され、Ｇ１_fは式（９−２）により算出され、Ｇ２_fは式（９−３）により算出され、Ｂ_fは式（９−４）により算出される。

また、定数ｋ_rは式（１０−１）により算出され、定数ｋ_g1は式（１０−２）により算出され、定数ｋ_g2は式（１０−３）により算出され、定数ｋ_bは式（１０−４）により算出される

例えば、カラーターゲットがMacbeht Color Checkerの場合は、２４色分の出力値Ｒ_f，Ｇ１_f，Ｇ２_f，Ｂ_fが算出される。

ステップＳ４４において、ステップＳ４３で算出されたフィルタ出力値を、ステップＳ４２で算出されたリファレンス値（XYZ_ref）に近似させる変換を行うマトリクスが、例えば、XYZ色空間における誤差最小二乗法により算出される。

例えば、算出される、３×４のマトリクスを式（１１）で表されるＡとした場合、マトリクス変換（XYZ_exp）は、次の式（１２）で表される。

また、リファレンス値に対するマトリクス変換（式（１２））の誤差の２乗（Ｅ2）は、次の式（１３）で表され、これに基づいてリファレンス値に対するマトリクス変換の誤差を最小にするマトリクスＡが算出される。

また、誤差最小二乗法で使用する色空間を、XYZ色空間以外のものに変更するようにしてもよい。例えば、人間の知覚に対して均等なLab，Luv，Lch色空間（知覚均等色空間）に変換した後に同様の演算を行うことにより、知覚的な誤差の少ない色の再現を可能にするリニアマトリクスを算出することができる。なお、これらの色空間の値は、XYZ値から非線形な変換によって算出されるため、誤差最小二乗法においても非線形な計算アルゴリズムが使用される。

上述したような演算により、例えば、図１８の分光感度特性を有するフィルタに対するマトリクス係数として式（１４）で表されるものが算出される。

ステップＳ４５において、リニアマトリクスが決定される。例えば、作成される最終のRGB画像データが次の式（１５）で表されるとした場合、リニアマトリクス（LinearＭ）は、以下のようにして算出される。

すなわち、照明光がＤ６５である場合、sRGB色空間をXYZ色空間に変換する変換式はITU-R709.BTマトリクスを含む式（１６）で表され、そのITU-R709.BTマトリクスの逆マトリクスにより式（１７）が算出される。

式（１２）のマトリクス変換式、式（１５）および式（１７）のITU-R709.BTマトリクスの逆マトリクスにより、式（１８）が算出される。式（１８）の右辺には、ITU-R709.BTマトリクスの逆マトリクスと、上述したマトリクスＡを乗算した値としてのリニアマトリクスが含まれる。

すなわち、３×４のリニアマトリクス（LinearＭ）は式（１９−１）により表され、例えば、式（１４）のマトリクス係数が用いられる、図１８の分光分布特性を有する４色カラーフィルタに対するリニアマトリクスは、式（１９−２）により表される。

以上のようにして算出されたリニアマトリクスが、図１３のリニアマトリクス処理部９５に与えられる。これにより、輝度を線形変換により表すことができる信号（Ｒ，Ｇ１，Ｇ２，Ｂ）に対してマトリクス処理を行うことができるので、図２に示される信号処理部１１における処理のように、ガンマ処理を施した後に得られる信号に対してマトリクス処理を行う場合に較べて、色彩工学的に、より忠実な色を再現させることができる。

次に、図１４のステップＳ６において行われる評価について説明する。

以上のようにして作成された、例えば、図１８の分光感度特性を有する４色カラーフィルタが設けられた画像処理装置（図８のディジタルカメラ）の色再現性と、図１に示される３色カラーフィルタが設けられる画像処理装置の色再現性を比較した場合、以下のような差が現れる。

例えば、マクベスチャートを２種類の画像入力装置（４色カラーフィルタが設けられるディジタルカメラと、３色カラーフィルタが設けられるディジタルカメラ）で撮像したときの出力値とリファレンス値とのLab色空間における色差が次の式（２０）によりそれぞれ算出される。

Ｌ₁−Ｌ₂は２つの試料の明度差であり、ａ₁−ａ₂、ｂ₁−ｂ₂は２つの試料の色相・彩度の成分差を表している。

図２０は、式（２０）による算出結果を示す図である。図２０に示されるように、３色カラーフィルタが設けられるディジタルカメラの場合は色差が「３．３２」であるのに対して、４色カラーフィルタが設けられるディジタルカメラの場合は「１．３９」であり、「色の見え方」は４色カラーフィルタが設けられたディジタルカメラの方が優れている（色差が小さい）。

また、図２１は、図６の分光反射率を有する物体Ｒ１と物体Ｒ２を、４色カラーフィルタが設けられたディジタルカメラにより撮影した場合のRGB値を示す図である。

図２１においては、物体Ｒ１のＲ値が「４９．４」、Ｇ値が「６４．１」、Ｂ値が「１４９．５」とされ、物体Ｒ２のＲ値が「６６．０」、Ｇ値が「６３．７」、Ｂ値が「１５５．６」とされている。従って、上述したように、３色カラーフィルタで撮影した場合、そのRGB値は図７Ｂに示されるものとなり、それぞれの物体の色が識別されていないのに対して、４色カラーフィルタにおいては、物体Ｒ１と物体Ｒ２のRGB値はそれぞれ異なる値となり、眼で見た場合（図７Ａ）と同様に、それぞれの物体の色が識別されていることが図２１により表されている。すなわち、４種類の色を識別できるフィルタを設けることにより、「色の判別性」が改善されている。

以上においては、４色カラーフィルタ６１は、図９に示されるように、Ｇ１フィルタの左右にＢフィルタが設けられるとともに、Ｇ２フィルタの左右にＲフィルタが設けられるような配列により構成されるとしたが、図２２に示されるような配列により構成されるようにしてもよい。図２２に示される４色カラーフィルタ６１においては、Ｇ１フィルタの左右にＲフィルタが設けられるとともに、Ｇ２フィルタの左右にＢフィルタが設けられている。４色カラーフィルタ６１をこのように構成することによっても、図９に示されるものと同様に、「色の判別性」、「色の再現性」および「ノイズの低減性」を向上させることができる。

従来のRGBカラーフィルタの例を示す図である。 従来のディジタルカメラに設けられる信号処理部の構成例を示すブロック図である。 分光感度特性の例を示す図である。 分光感度特性の他の例を示す図である。 分光感度特性のさらに他の例を示す図である。 所定の物体の分光反射率を示す図である。 所定の物体の色値の例を示す図である。 本発明を適用したディジタルカメラの構成例を示すブロック図である。 図８のディジタルカメラに設けられる４色カラーフィルタの例を示す図である。 視感度曲線の例を示す図である。 評価係数の特徴を示す図である。 図８のカメラシステムLSIの構成例を示すブロック図である。 図１２の信号処理部の構成例を示すブロック図である。 画像処理装置の作成処理を説明するフローチャートである。 図１４のステップＳ１の４色カラーフィルタ決定処理の詳細を説明するフローチャートである。 仮想曲線の例を示す図である。 フィルタ毎のUMG値の例を示す図である。 ４色カラーフィルタの分光感度特性の例を示す図である。 図１４のステップＳ２のリニアマトリクス決定処理の詳細を説明するフローチャートである。 色差の評価結果の例を示す図である。 ４色カラーフィルタによる所定の物体の色度を示す図である。 図８のディジタルカメラに設けられる４色カラーフィルタの他の例を示す図である。

符号の説明

４５ 画像センサ， ６１ ４色カラーフィルタ， ７１ 信号処理部， ９４ 信号生成処理部， ９５ リニアマトリクス処理部

Claims (7)

1. ３原色の第１乃至第３の光、および前記３原色の前記第１乃至第３の光のうちの前記第２の光と高い相関を有する第４の光を抽出する抽出手段と、
   前記抽出手段により抽出された前記第１乃至第４の光を、対応する第１乃至第４の色信号に変換する変換手段と、
   前記変換手段による変換によって得られた前記第１乃至第４の色信号に基づいて、前記３原色に対応する第５乃至第７の色信号を生成する生成手段と、
   前記生成手段により生成された前記第５乃至第７のそれぞれの色信号に対して、ガンマ補正を施すガンマ補正手段と
   を備える画像処理装置の製造方法において、
   前記変換手段を用意する第１のステップと、
   ３原色の第１乃至第３の光、および前記３原色の前記第１乃至第３の光のうちの前記第２の光と高い相関を有する第４の光を抽出する前記抽出手段を、前記第１のステップの処理により用意された前記変換手段の前面に生成する第２のステップと
   を含むことを特徴とする製造方法。
2. 前記第１乃至第４の光を抽出する前記抽出手段は、前記第１乃至第４の光をそれぞれ抽出する第１乃至第４の抽出部で構成される単位を有し、前記第２の光と前記第４の光をそれぞれ抽出する前記第２の抽出部と前記第４の抽出部は、前記単位において対角に位置する
   請求項１に記載の画像処理装置の製造方法。
3. 前記第２の抽出部および前記第４の抽出部は、輝度信号の視感度特性に近似する分光感度特性を有する
   請求項２に記載の画像処理装置の製造方法。
4. 前記３原色の第１乃至第３の光は、赤、緑、または青の光であり、前記第４の光は、緑の光である
   請求項１に記載の画像処理装置の製造方法。
5. 前記信号生成手段は、所定のカラーパッチに基づいて算出される参照値と、前記カラーパッチに基づいて前記抽出手段の分光感度特性により算出される出力値の、XYZ色空間における差を最小にするものとして与えられる変換式に基づいて前記第５乃至第７の色信号を生成する
   請求項１に記載の画像処理装置の製造方法。
6. 前記信号生成手段は、所定のカラーパッチに基づいて算出される参照値と、前記カラーパッチに基づいて前記抽出手段の分光感度特性により算出される出力値の、知覚均等色空間における差を最小にするものとして与えられる変換式に基づいて前記第５乃至第７の色信号を生成する
   請求項１に記載の画像処理装置の製造方法。
7. 前記信号生成手段は、所定のカラーパッチに基づいて算出される参照値と、前記カラーパッチに基づいて前記抽出手段の分光感度特性により算出される出力値の、色分解のための伝播ノイズを最小にするものとして与えられる変換式に基づいて前記第５乃至第７の色信号を生成する
   請求項１に記載の画像処理装置の製造方法。

Images