JP4121493B2 - デジタルカメラとその信号処理方法及び信号処理装置 - Google Patents

Description

本発明は、カラー固体撮像素子を備えるデジタルカメラとその信号処理方法及び信号処理装置に係り、特に、ホワイトバランスをとった後の紫色の偽色の発生を抑制するデジタルカメラとその信号処理方法及び信号処理装置に関する。

原色フィルタを使用したＣＣＤ型やＣＭＯＳ型のイメージセンサの感度は、一般的に、緑色（Ｇ）が赤色（Ｒ）や青色（Ｂ）より高いが、飽和レベルは、赤色，緑色，青色でほぼ同じである。しかし、ホワイトバランスをとると、感度比を補うために、赤色と青色のゲインが緑色より大きくなり、この結果、緑色の飽和レベルが、赤色，青色の飽和レベルより低くなってしまう。

そこで、緑色の飽和レベルを赤色，青色の飽和レベルに合わせてしまうと、高輝度領域で、紫色の偽色が発生するという問題が生じる。このため従来は、下記の特許文献１に記載されている様に、赤色と青色の飽和レベルを、緑色を検出する画素に合わせてクリップし、紫色の偽色を抑制している。

特許第２５５７６２０号公報

上述した様に、赤色と青色の飽和レベルを、緑色の飽和レベルでクリップすると、紫色の偽色発生を抑制することは可能であるが、赤色と青色の飽和レベルがクリップされることで、赤色と青色のダイナミックレンジが減少してしまうという別の問題が生じてしまう。

本発明の目的は、緑色が飽和した領域において高輝度で発生する紫色の偽色を赤色，青色のダイナミックレンジを減少させることなく抑制することができるデジタルカメラとその信号処理方法及び信号処理装置を提供することにある。

本発明の信号処理方法は、固体撮像素子から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の色信号に対してホワイトバランス補正を施し画像信号として出力する信号処理方法において、ホワイトバランス補正後のＲ，Ｇ，Ｂの各色信号の信号レベルを比較し、Ｇ信号が飽和した際にＲ信号とＢ信号の両方共がＧ信号レベルより高い場合には、Ｇ信号レベルを、Ｒ信号レベルとＢ信号レベルの内の低い方の信号レベルに合わせる補正を行うことを特徴とする。

本発明の信号処理装置は、固体撮像素子から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の色信号に対してホワイトバランス補正を施し画像信号として出力する信号処理装置において、ホワイトバランス補正後のＲ，Ｇ，Ｂの各色信号の信号レベルを比較しＧ信号が飽和した際にＲ信号とＢ信号の両方共がＧ信号レベルより高い場合にはＧ信号レベルをＲ信号レベルとＢ信号レベルの内の低い方の信号レベルに合わせる補正を行うことを特徴とする。

本発明のデジタルカメラは、固体撮像素子と、該固体撮像素子から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の色信号に対してホワイトバランス補正を行うゲイン補正手段と、該ゲイン補正手段でホワイトバランス補正されたＲ，Ｇ，Ｂの各色信号を取り込みＧ信号レベルの補正を行う上記に記載の信号処理装置とを備えることを特徴とする。

本発明によれば、緑色（Ｇ）が飽和した領域において、高輝度で発生する紫色の偽色を赤色，青色のダイナミックレンジを減少させることなく抑制することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る信号処理装置を搭載したデジタルスチルカメラの構成図である。この例ではデジタルスチルカメラに本実施形態の信号処理装置を搭載しているが、デジタルビデオカメラ等の他の種類のデジタルカメラに本実施形態の信号処理装置を同様に搭載可能である。

図１に示すデジタルスチルカメラは、撮影レンズ１０と、ＣＣＤ等の固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１７を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。

また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。

デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。

更に、このデジタルスチルカメラの電気制御系は、メインメモリ（フレームメモリ）２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。

図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とすることでもよい。

図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるデジタルのＲ，Ｇ，Ｂの各色信号を取り込んでオフセット処理を行うオフセット補正回路４１と、前述した積算部２８の積算結果に基づいてホワイトバランスをとるゲイン補正回路４２と、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３を備える。オフセット補正後の信号に対してリニアマトリクス処理やニー補正を行う場合には、ゲイン補正回路４２とガンマ補正回路４３との間で行う。

このデジタル信号処理部２６は更に、ガンマ補正後のＲ，Ｇ，Ｂの各色信号を補間演算して各画素位置におけるＲ，Ｇ，Ｂの３色の信号を求めるＲＧＢ補間演算部４４と、補間演算後のＲ，Ｇ，Ｂの各色信号を取り込み詳細は後述するように信号処理するＧ信号補正処理部４５と、Ｇ信号補正処理部４５から出力されるＲ，Ｇ，Ｂの各色信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂのノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。

ＲＧＢ補間演算部４４は、３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。

図３は、ＲＧＢ補間演算部４４からＧ信号補正処理部４５に画素単位に入力されるＲ，Ｇ，Ｂの各色信号間の大小関係を見てＧ信号補正処理部４５が行うＧ信号レベル補正処理の説明図である。

図３に示す例では、入力されるＲ，Ｇ，Ｂの大小関係は、Ｒ＞Ｇ＞Ｂ（またはＢ＞Ｇ＞Ｒ）となっている。入射光量が高輝度領域に未だ入らず上記の大小関係が成立している場合には、Ｂ信号レベルｂ１＜Ｇ信号レベルｇ１＜Ｒ信号レベルｒ１となっており、画像が紫がかることはない。即ち、Ｇ信号補正処理部４５に入力したＧ信号の信号レベルｇ１を補正する必要がないため、Ｇ信号補正処理部４５は、ＲＧＢ補間演算部４４から入力されるＲ，Ｇ，Ｂ信号をそのまま後段のＲＧＢ／ＹＣ変換回路４６に出力する。

入射光量が高輝度領域に入り、Ｇ信号が飽和しているにも関わらずＢ信号の信号レベルが上昇し、Ｇ信号レベルｇ２＜Ｂ信号レベルｂ２＜Ｒ信号レベルｒ２になると、画像が紫がかってくる。このため、Ｇ信号補正処理部４５は、Ｇ信号レベルｇ２をレベルアップしてＲＧＢ／ＹＣ変換回路４６に出力する。Ｇ信号レベルｇ２をレベルアップさせる場合、Ｂ信号レベルｂ２とＲ信号レベルｒ２のうちの低い方の信号レベルに合わせる。図示する例では、Ｇ信号レベルｇ２を、Ｂ信号レベルｂ２と同じにしている。

これにより、Ｇ信号の信号レベルと入射光量との関係を示すグラフは、図３に一点鎖線で示す様に、Ｇ信号とＢ信号とが交差した以降の高輝度領域では、Ｇ信号レベルとＢ信号レベルとは同じグラフとなる。このため、Ｒ信号，Ｂ信号が共に飽和しても、Ｒ＝Ｇ＝Ｂとなって無色化され、紫がかることはない。

尚、Ｇ信号が飽和しているか否かは、Ｇ信号の信号レベルが所定レベルに達しているか否かにより判断できる。この所定レベルは、固体撮像素子１１の飽和レベルと前段のゲイン補正回路４２において処理されるホワイトバランス処理によって決まる値である。

撮影シーンやホワイトバランス処理によって、Ｒ，Ｇ，Ｂの各色信号の大小関係は図３とは異なる場合がある。しかし、Ｇ信号が飽和した際にＲ信号とＢ信号の各信号レベルが共にＧ信号レベルより高い場合に、Ｒ信号，Ｂ信号の内の低い方の信号レベルにＧ信号レベルを補正することで、画像が紫がかってしまうのを抑制することができる。

図４，図５は、図３とＲ，Ｇ，Ｂ信号の大小関係が異なる場合のＧ信号補正処理を示すグラフであり、図４はＢ＞Ｒ＞Ｇ（またはＲ＞Ｂ＞Ｇ）の場合の補正例を示し、図５はＧ＞Ｂ＞Ｒ（またはＧ＞Ｒ＞Ｂ）の場合の補正例である。いずれも、Ｇ信号の信号レベルを一点鎖線の様にレベルアップしてＲＧＢ／ＹＣ変換回路４６に出力する。この場合、図４に示す様に、Ｇ信号の信号レベルがグラフ上で垂直にレベルアップされると不自然なため、例えば点線曲線Ｉで示す様に、なだらかに変化させる様にするのが良い。

以上より、全ての場合で赤色（Ｒ）と青色（Ｂ）のダイナミックレンジを減少させずに高輝度領域で紫色の偽色を白色に補正できる。これを色相の観点で考えた場合を、図６で説明する。紫色の偽色が顕著となるのは色相が赤（Ｒ）から紫（Ｇの補色であるマゼンタＭＧ）を経由し青（Ｂ）となる色相領域（Ｒ―ＭＧ―Ｂ領域）に、これ以外の領域（Ｒ―ＭＧ―Ｂ領域外）から色相が移動する場合である。

例えば、画素信号の色相が点ｃ１，ｃ２，…と変化し、Ｇ信号が飽和してＲ信号レベルと一致したとき点ｃ３に至る。このままＧ信号補正処理を行わないと、点線矢印で示す様に画素信号の色相はＭＧ（紫）線上に飛んでしまい、画像が紫がかってしまう。そこで、上述した実施形態では、画素信号の色相が点ｃ３に達した以後は、Ｒ（＞Ｂ＝Ｇ）の直線上を移動させて、点線矢印の様にＭＧ線上に色相が飛ばないようにし、Ｒ，Ｇ，Ｂの全てが飽和したとき原点Ｏ（Ｒ＝Ｇ＝Ｂすなわち白色）に至るようにする。これにより、高輝度領域における紫の偽色を補正することが可能となる。また、Ｇ信号が飽和してＲ信号と一致した場合も同様にＢ（＞Ｒ＝Ｇ）の直線上を移動させることで紫の偽色を補正することが可能となる。

本発明に係る信号処理方法，信号処理装置は、高輝度領域における紫色の偽色の発生を抑制できるため、デジタルカメラに適用すると有用である。

本発明の一実施形態に係るデジタルスチルカメラのブロック構成図である。 図１に示す信号処理装置の詳細ブロック構成図である。 図２に示すＧ信号補正処理部の処理内容の説明図である。 図２に示すＧ信号補正処理部の処理内容の説明図である。 図２に示すＧ信号補正処理部の処理内容の説明図である。 図２に示すＧ信号補正処理部の処理内容を色相の観点で説明する図である。

符号の説明

１０ レンズ
１１ 固体撮像素子（イメージセンサ）
１５ ＣＰＵ
２６ デジタル信号処理部
４２ ゲイン補正部（ホワイトバランス補正部）
４５ Ｇ信号補正処理部

Claims (3)

1. 固体撮像素子から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の色信号に対してホワイトバランス補正を施し画像信号として出力する信号処理方法において、ホワイトバランス補正後のＲ，Ｇ，Ｂの各色信号の信号レベルを比較し、Ｇ信号が飽和した際にＲ信号とＢ信号の両方共がＧ信号レベルより高い場合には、Ｇ信号レベルを、Ｒ信号レベルとＢ信号レベルの内の低い方の信号レベルに合わせる補正を行うことを特徴とする信号処理方法。
2. 固体撮像素子から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の色信号に対してホワイトバランス補正を施し画像信号として出力する信号処理装置において、ホワイトバランス補正後のＲ，Ｇ，Ｂの各色信号の信号レベルを比較しＧ信号が飽和した際にＲ信号とＢ信号の両方共がＧ信号レベルより高い場合にはＧ信号レベルをＲ信号レベルとＢ信号レベルの内の低い方の信号レベルに合わせる補正を行うことを特徴とする信号処理装置。
3. 固体撮像素子と、該固体撮像素子から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の色信号に対してホワイトバランス補正を行うゲイン補正手段と、該ゲイン補正手段でホワイトバランス補正されたＲ，Ｇ，Ｂの各色信号を取り込みＧ信号レベルの補正を行う請求項２に記載の信号処理装置とを備えることを特徴とするデジタルカメラ。

Images