JP2012065069A - 欠陥検出補正装置、及びプログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】ホワイトバランスを考慮して欠陥画素を補正する処理を短時間で行う。
【解決手段】デジタルカメラ１０には、複数の欠陥画素マップ２７〜２８が予め記憶されている。欠陥画素マップ２７〜２８には、遮光状態で所定時間露光した時に撮像素子から得られるＣＦＡ画像データの画素値と撮影光源に応じて色毎に変えた閾値とに基づいて検出した欠陥画素の位置情報が記録さている。ホワイトバランスゲイン算出回路１７は、撮像素子２５から取得したＣＦＡ画像データに基づいてホワイトバランスゲインを算出する。欠陥画素マップ選択回路１８は、ホワイトバランスゲインに応じて複数の欠陥画素マップ２７〜２９のうちからいずれかを選択する。欠陥補正回路１９は、選択した欠陥画素マップに記載の欠陥画素の位置情報に基づいて欠陥画素を補正する。
【選択図】図１

Description

本発明は、画像信号中、特に固体撮像素子上に生じる欠陥画素を検出する欠陥検出補正装置、及びプログラム、並びに記録媒体に関する。

カラーイメージセンサ等を構成する固体撮像素子（以下、「撮像素子」と称す）では、半導体の局部的な結晶欠陥等によって感度が低下したり、あるいは出荷時以降に何らかのストレス要因で発生する傷などに伴って画素欠陥が生じることがある。このような場合、その画素欠陥に起因して画像に白点欠陥や黒点欠陥が生じ、画質が劣化する。このため、撮像素子を利用するデジタルカメラには、予め欠陥画素の位置情報を検出しておき、画像データを取得後にその位置情報に基づいて欠陥画素の出力値を近傍の画素値を使って補正する欠陥画素補正回路が組み込まれている。

ところで、一般的なデジタルカメラでは、画像処理等によって各画素に有するＲＧＢの各出力値を変更した場合については欠陥画像の補正が考慮されていない。例えば、ホワイトバランス処理の時に、増幅前には異常な値を出力せず欠陥画素に該当しないものであっても、そのゲインの大きさによっては欠陥画素に相当するデータを有することになる場合がある。ホワイトバランス補正により欠陥画素に相当することになった画素については欠陥補正対象とされないため、そのまま画像として表示することによりこの画素に起因する白点欠陥が画像上に現れてしまうおそれがある。

そこで、ホワイトバランス補正を考慮した欠陥画素を補正する画像処理装置が知られている（特許文献１）。特許文献１に記載の画像処理装置では、真っ暗な状態で所定時間露光したときに撮像素子のから得られる各画素の出力値が第１閾値以上となる画素の位置情報、その画素位置のＲＧＢ情報及び出力値を欠陥画素候補テーブルに予め記憶しておき、撮影前又は後で行われるホワイトバランスの設定に応答して、ホワイトバランスに応じたゲインを欠陥画素候補テーブルに記載の画素の出力値に乗算し、乗算した値が、前記第１閾値よりも大きい第２閾値を超える画素を欠陥画素として検出して欠陥画素補正を行っている。

特開２００７−１４０６４６号公報

しかしながら、特許文献１に記載の発明では、ホワイトバランスの設定毎に、そのゲインを欠陥候補画素のデジタルデータに乗算する演算と、乗算したデータと第２閾値とを比較して欠陥画素を抽出する比較判定との二つの処理を行う必要があるため、欠陥補正をして画像を得るのに長時間を要してしまい、次の撮影を迅速に行えないおそれがある。

本発明は、上記問題に鑑みてなされたものであり、ホワイトバランス等の撮影条件を考慮して欠陥画素を補正する処理を短時間で行うことができる欠陥画素補正装置、及びプログラム、並びに記憶媒体を提供することを目的とする。

上記目標を達成するために、本発明では、撮影条件を設定する撮影条件設定手段と、所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに基づいて検出した欠陥画素の位置情報がカラーの画像データを構成する色毎に予め記録されている欠陥画素情報を複数記憶する欠陥画素情報記憶手段と、前記設定した撮影条件に応じて前記複数の欠陥画素情報のうちの何れかの欠陥画素情報を選択する選択手段と、前記選択した欠陥画素情報に記録の欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正手段と、を備えたものである。

撮影条件としては、ホワイトバランスゲイン、又はＩＳＯ感度が好適である。なお、空格子補間処理（画素補間処理）や連写モード等としてもよい。欠陥画素情報としては、撮影条件に応じて前記色毎に決めた閾値に基づいて検出した欠陥画素の位置情報を記録したメモリマップやテーブルメモリ等としてもよい。

カラーの画像データとしては、３色のカラーフィルタアレイを備えた１個の撮像素子から得られる画像データとしてもよい。この場合、空間周波数が最も高い第１色成分の色情報を出力する複数の画素と、前記第１色成分の色情報を出力せず前記第１色成分よりも空間周波数が低い第２色成分又は第３色成分の色情報を出力する複数の画素と、が２次元配列された撮像素子によって生成される画像データになる。なお、３板式ＣＣＤ等から得られるカラーの画像データとしてもよい。

撮影条件をホワイトバランスにする場合には、所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに対して、色毎に一律の閾値を用いて検出した第１欠陥画素情報と、第２色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第２欠陥画素情報と、第３色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第３欠陥画素マップとを前記欠陥画素情報記憶手段に予め記憶しておくとともに、撮影毎に得られるカラーの画像データに基づいて前記第２及び第３色成分の色情報に応じたホワイトバランスゲインを算出するホワイトバランスゲイン算出回路を設け、前記選択手段は、前記二つのホワイトバランスゲインに基づいて第１〜第３欠陥画素情報のうちから何れかを選択するように構成すればよい。

本発明としては、カラーの画像データを、色毎の欠陥画素の情報に基づいて補正する欠陥画素補正方法としてもよい。この場合には、撮影条件を設定する撮影条件設定ステップと、欠陥画素の位置情報が前記カラーの画像データを構成する色毎に記録されている複数の欠陥画素情報のうちの何れかを前記設定した撮影条件に応じて、選択する欠陥画素情報選択ステップと、前記選択した欠陥画素情報に記録されている欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正ステップと、を含むものである。また、本発明としては、欠陥画素補正方法を実行させるコンピュータが読み取り可能なプログラムとしてもよい。また、コンピュータが読み取り可能なプログラムを記録した記録媒体としてもよい。

本発明では、複数の欠陥画素情報のうちの何れかの欠陥画素情報を選択することで撮影条件に影響が生じる欠陥画素を確実に検出することができ、よって、従来技術で説明した演算や比較等の処理を行う必要がないため、撮影条件を考慮した欠陥画素補正を迅速に行うことができる。

本発明を採用したデジタルカメラの構成を示すブロック図である。 原色ベイヤー配列のカラーフィルタアレイを示す説明図である。 撮像素子から得られる１画面分のＣＦＡ画像データを構成する各画素の出力値を二次元配列で概略的に示す説明図である。 第１欠陥画素マップを概略的に示す説明図である。 第１欠陥画素マップに代えてテーブルメモリにした別例を示す説明図である。 第２欠陥画素マップを概略的に示す説明図である。 第２欠陥画素マップに代えてテーブルメモリにした別例を示す説明図である。 第３欠陥画素マップを概略的に示す説明図である。 第３欠陥画素マップに代えてテーブルメモリにした別例を示す説明図である。 欠陥画素マップを選択する時に用いる決定テーブルを概略的に示す説明図である。 デジタルカメラの動作手順を示すフローチャート図である。 撮像素子の感度特定を概略的に示すグラフである。 Ｒａｗファイルを記録するデジタルカメラの別の実施形態を示すブロック図である。 図１３で説明したカメラで生成されるＲａｗファイルの中身を示す説明図である。 図１４で説明したＲａｗファイルを現像するＲａｗファイル現像装置の構成を示すブロック図である。 任意のホワイトバランスゲインを設定するデジタルカメラで生成されるＲａｗファイルの中身を示す説明図である。 図１６で説明したＲａｗファイルを読み込むとともに、任意のホワイトバランスゲインを設定するようにしたＲａｗファイル現像装置の実施形態を示すブロック図である。 欠陥画素レベルマップを記録するＲａｗファイルの構成を概略的に示す説明図である。 図１８で説明したＲａｗファイルを読み込むとともに、任意の空格子補間処理を設定するようにしたＲａｗファイル現像装置の実施形態を示すブロック図である。 欠陥画素レベルマップの生成するために各画素値を段階的に区分した範囲と各範囲に対応する補正レベルとの関係を示す説明図である。 欠陥画素レベルマップの概略を示す説明図である。 図２１で説明した補正レベルと欠陥画素マップとの関係を示す説明図である。

デジタルカメラ１０は、図１に示すように、光学系１１、カラーイメージセンサ１２、アナログフロントエンド（以下「ＡＦＥ」と称す）１３、画像処理部１４、画像圧縮部１５、及び記録部１６を備えている。画像処理部１４は、ホワイトバランスゲイン算出回路１７、欠陥画素マップ選択回路１８、欠陥補正回路１９、ホワイトバランス処理回路２０、空格子補間回路２１、及び色変換回路２２等で構成されている。この画像処理部１４には、ワークメモリ用のＲＡＭ２３が接続されている。

光学系１１は、撮影レンズや絞り等で構成されている。カラーイメージセンサ（ベイヤー配列型単板撮像素子）１２は、カラーフィルタアレイ（ＣＦＡ）２４とＣＣＤ等の固体撮像素子（以下「撮像素子」と称す）２５とで構成されており、光学系１１により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し受光セル（画素）毎の受光量に応じた電気信号を出力する。

カラーフィルタアレイ２４は、撮像素子２５の総画素数Ｎに対して、例えば、詳しくは図２に示すように、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。

ここで、各画素は、Ｇ色を出力する画素と、Ｇ色を出力しない画素とで構成されている。すなわち、撮像素子２５は、空間周波数が最も高い第１色成分の色情報を出力する複数の画素と、第１色成分の色情報を出力せず第１色成分よりも空間周波数が低い第２色成分又は第３色成分の色情報を出力する複数の画素と、を２次元配列したものである。

ＡＦＥ１３は、カラーイメージセンサ１２から出力されるアナログの電気信号をデジタルに変換してＣＦＡ画像データとして出力するとともに、デジタル変換に際してノイズ除去等の処理を施す。

ホワイトバランスゲイン算出回路１７は、ＣＦＡ画像データに基づいて、例えば３色のうちのＲ（赤色）及びＢ（青色）の色情報を、Ｇ（緑色）の色情報のピークレベルと等しくなるように調整するために、ホワイトバランス補正処理の時にＲＧＢの各値に乗算する係数、すなわちホワイトバランスゲインを算出する。このホワイトバランス調整量は、Ｒ／Ｇゲイン（緑色に対する赤色のゲイン）の値Ｗ_Ｒと、Ｂ／Ｇゲイン（緑色に対する青色のゲイン）の値Ｗ_Ｂとで構成されている。

一例として、ホワイトバランスゲイン算出回路１７は、ＪＩＳＺ８７２５の「光源の分布温度及び色温度・相関色温度の測定方法」に従ってＣＦＡ画像データをＴＣ−Ｄｕｖ座標のデータに変換し、画像データにおける無彩色部分を判定する。そして、座標変換後のデータが無彩色と判定された場合には、ホワイトバランスゲイン算出回路１７は、ＴＣ−Ｄｕｖ座標から求まる相関色温度を所定の色温度−ホワイトバランスゲインの関係式に当てはめてＧに対するＲ及びＢのホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂを算出する。

ホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂの情報は、欠陥画素マップ選択回路１８とホワイトバランス処理回路２０とにそれぞれ送られる。欠陥画素マップ選択回路１８は、第１ないし第３の欠陥画素マップ２７〜２９を記憶する記憶部３０を有し、算出した２つのホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂに基づいて第１ないし第３の欠陥画素マップ２７〜２９のうちのいずれかを選択する。

各欠陥画素マップ２７〜２９には、予め決めた閾値に基づいて検出した欠陥画素の位置情報が予め記録されている。閾値は、色温度や光源の分光放射強度で決まる撮影光源に応じて色毎に決められている。これは、撮像素子２５の分光感度と撮影光源との関係によりＲ又はＢの画素位置での白点欠陥の影響が他色の画素位置での白点欠陥の影響と異なるためである。

欠陥補正回路１９は、選択した欠陥画素マップ２７〜２９に記録されている欠陥画素を補正する。ホワイトバランス処理回路２０は、無彩色の被写体が無彩色な被写体の画像になるように、ホワイトバランスゲイン算出回路１７で算出した２つのホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂを、対応する色の画素値に乗算する。

空格子補間回路２１は、ＣＦＡ画像データがＲＧＢのいずれか１つのデータであることから、各画素につき周りの画素の色から推測することによりその画素以外の色を補う処理（画素補間処理）を行ってＲＧＢ画像データを作る。

ここで用いる補間方法としては、ＣＦＡ画像データから輝度成分画像を生成して空格子補間を行ってもよい。また、代わりに、周知の色相を保つ補間法、メジアン処理による補間法、勾配に基づく補間法、及び、適応型カラーブレーン補間法(ＡＣＰＩ)等のいずれかの補間法を用いることができる。

得られたＲＢＧ画像データは、撮像素子２５の感度特性に基づくデータである。そこで、色変換回路２２は、ＲＧＢ画像データに対して表示に適した_ＳＲＧＢ等の色変換や階調変換等を行う。

画像圧縮部１５は、_ＳＲＧＢ画像データを非可逆圧縮方式、例えばＪＰＥＧ方式により符号化して圧縮画像データを作る。記録部１６は、圧縮画像データを、例えば内部メモリ、又は着脱可能なメモリカード等に記録する。

次に、上記構成の作用を簡単に説明する。デジタルカメラ１０の組立工場には、欠陥画素マップ生成手段と、書き込み手段とを備えている。欠陥画素マップ生成手段は、撮影光源に応じて複数の欠陥画素マップ２７〜２９を予め生成し、書き込み手段は、生成した欠陥画素マップ２７〜２９をデジタルカメラ１０の記憶部３０に記録する。

欠陥画素マップ２７〜２９は、予め撮像して得られるＣＦＡ画像データに基づいて、撮像素子２５の各画素のうちの異常な値を出力する画素を抽出し、抽出した欠陥画素のみの位置情報をテーブルとして記録したものである。

具体的には、真っ暗な状態で所定時間露光した時に撮像素子２５の各画素から出力されるＣＦＡ画像データを１２ビットのデジタルデータとして示した値と、予め決めた閾値とを比較し、前記閾値を超える値の画素を欠陥画素として抽出し、その抽出した欠陥画素の位置情報を記憶する。

例えば、ＣＦＡ画像データが、図３に示すように得られたものとする。ここで、図３における数字がデジタルデータである。このＣＦＡ画像データに基づいて、撮影光源に応じた欠陥画素の位置情報を持つ第１〜第３の欠陥画素マップ２７〜２９を作る。

例えば、第１欠陥画素マップ２７は、ＲＧＢの区別無く欠陥画素を抽出してそれらの位置情報を記録したテーブルである。このときに用いる閾値は、全て一律にした値、すなわち「Ｔ_Ｒ」＝「Ｔ_Ｇ」＝「Ｔ_Ｂ」との関係になっている。ここで、「Ｔ_Ｒ」はＲ画素用の閾値、「Ｔ_Ｇ」はＧ画素用の閾値、Ｔ_ＢはＢ画素用の閾値である。ここで、閾値「Ｔ_Ｒ」，「Ｔ_Ｇ」，「Ｔ_Ｂ」を、例えば「１５０」に設定すると、第１欠陥画素マップ２７は、例えば図４に示す「×」の画素位置を、欠陥画素を表す「１」とし、「×」以外の正常画素を「０」とするマップになる。なお、第１欠陥画素情報としては、マップ２７に限らず、例えば、図５に示すように、欠陥画素の位置情報のみを記録するテーブルとしてもよい。

第２欠陥画素マップ２８には、Ｒ画素の判定基準を厳しくして欠陥画素を抽出してそれらの位置情報を記録したテーブルである。このときに用いる閾値は、「Ｋ_Ｒ」×「Ｔ_Ｒ」＝「Ｔ_Ｇ」＝「Ｔ_Ｂ」との関係になっている。なお、「Ｋ_Ｒ」は、「１」以下の定数である。ここで、前述した閾値「Ｔ_Ｒ」，「Ｔ_Ｇ」，「Ｔ_Ｂ」を、例えば「１５０」に設定し、そして「Ｋ_Ｒ」を例えば「０．７」に設定すると、Ｇ及びＢ画素用の閾値「Ｔ_Ｇ」，「Ｔ_Ｂ」が「１５０」であるのに対し、Ｒ画素用の閾値は「Ｋ_Ｒ」×「Ｔ_Ｒ」なので「１０５」となる。したがって、図６に示すように、「×」の画素位置が欠陥画素として検出される。このときに検出した欠陥画素は、第１欠陥画素マップ２７に対してＲ画素だけ厳しく検出されており、第２欠陥画素マップ２８は、例えば図６に示す「×」の画素位置を、欠陥画素を表す「１」とし、「×」以外の正常画素を「０」とするマップになる。なお、前述したように、第２欠陥画素情報としては、図７に示すように、欠陥画素の位置情報のみを記録するテーブルとしてもよい。

第３欠陥画素マップには、Ｂ画素の判定基準を厳しくして欠陥画素を抽出してそれらの位置情報を記録したテーブルである。このときに用いる閾値は、「Ｔ_Ｒ」＝「Ｔ_Ｇ」＝「Ｔ_Ｂ」×「Ｋ_Ｒ」との関係になっている。なお、「Ｋ_Ｒ」は、「１」以下の定数である。ここで、前述した閾値「Ｔ_Ｒ」，「Ｔ_Ｇ」，「Ｔ_Ｂ」を「１５０」、そして「Ｋ_Ｒ」を「０．７」とすると、Ｒ及びＧ画素用の閾値「Ｔ_Ｒ」，「Ｔ_Ｇ」は「１５０」、Ｂ画素用の閾値は、「Ｋ_Ｒ」×「Ｔ_Ｂ」なので「１０５」となる。したがって、図８に示す「×」の画素位置が欠陥画素として検出される。このときに検出した欠陥画素は、第１欠陥画素マップ２７に対してＢ画素だけ厳しく検出されており、第３欠陥画素マップ２９は、図８に示す「×」の画素位置を、欠陥画素を表す「１」とし、「×」以外の正常画素を「０」とするマップになる。なお、第３欠陥画素情報も、マップに限らず、例えば、図９に示すように、欠陥画素の位置情報のみを記録するテーブルとしてもよい。

欠陥画素マップ選択回路１８は、撮影光源により決まる２つのホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂに基づいて、複数の欠陥画素マップ２７〜２９のうちの何れか一つ、又は何れかを組み合わせたものを選択する。

マップを選択するときには、例えば、図１０に示すように、２つのホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂのうちの一方を縦軸に他方を横軸にとり、横軸と縦軸の範囲に応じて欠陥画素マップ２７〜２９を割り当てた決定テーブルを用いる。この決定テーブルは、予め記憶部３０に記憶されている。

決定テーブルは、Ｂ画素用のホワイトバランスゲインＷ_Ｂが「０」〜「１．８」の範囲で、かつＲ画素用のホワイトバランスゲインＷ_Ｒが「０」〜「１．８」の範囲のときに第１欠陥画素マップ（Ｍａｐ１）を選択する。また、Ｂ画素用のホワイトバランスゲインＷ_Ｂが「１．８」〜「３」の範囲で、かつＲ画素用のホワイトバランスゲインＷ_Ｒが「０」〜「１．８」の範囲のときに第２欠陥画素マップ（Ｍｐａ２）を選択する。さらに、Ｂ画素用のホワイトバランスゲインＷ_Ｂが「０」〜「１．８」の範囲で、かつＲ画素用のホワイトバランスゲインＷ_Ｒが「１．８」〜「３」の範囲のときに第３欠陥画素マップ（Ｍａｐ３）が選択される。そして、Ｂ画素用のホワイトバランスゲインＷ_Ｂが「１．８」〜「３」の範囲で、かつＲ画素用のホワイトバランスゲインＷ_Ｒが「１．８」〜「３」の範囲のときには、第２及び第３欠陥画素マップ（Ｍａｐ２＋Ｍａｐ３）が選択される。この場合、第２及び第３欠陥画素マップとの論理和（ＯＲ）で得られる欠陥画素の位置情報、すなわち第２及び第３欠陥画素マップの欠陥画素の位置情報のうちの少なくともいずれかを含む位置情報で、かつ第２又は第３欠陥画素マップで得られる位置情報を欠陥画素とする。

次に、デジタルカメラ１０の作用を、図１１を参照しながら説明する。シャッタレリーズに応答して撮像素子２５から取り込んだＣＦＡ画像データは、ＡＦＥ１３を介してホワイトバランスゲイン算出回路１７と欠陥補正回路１９に取り込まれる。ホワイトバランスゲイン算出回路１７は、ＣＦＡ画像データに基づいてホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂを自動的に算出する。

例えば、図１２に示す分光感度特性を有する撮像素子２５を用いて、ＣＩＥ標準光源Ｄ６５の環境下で撮影したＣＦＡ画像データの場合には、ホワイトバランスゲイン「Ｗ_Ｒ」が略「２．０８」、「Ｗ_Ｂ」が略「１．２５」になる。また、ＣＩＥ標準光源Ａの環境下で撮影したＣＦＡ画像データの場合には、ホワイトバランスゲイン「Ｗ_Ｒ」が略「１．０１」、「Ｗ_Ｂ」が略「２．８９」になる。なお、ＣＩＥ標準光源Ａの環境下で撮影したＣＦＡ画像データの場合には、Ｒ，Ｇ，Ｂ各色の画像データを無彩色の被写体に完全に揃えることはせずに、光源の影響を残す場合もある。この場合には、「Ｗ_Ｒ」＞「１．０１」、及び、「Ｗ_Ｂ」＜「２．８９」を満たすようにすればよい。このようにホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂは、撮像素子２５の分光感度とＣＦＡ画像データから得られる所定の光源の分光強度とに基づいて算出される。

ホワイトバランスゲイン算出回路１７は、算出したホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂの情報を欠陥画素マップ選択回路１８とホワイトバランス処理回路２０とに送る。欠陥画素マップ選択回路１８は、２つのホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂに基づいて欠陥画素マップ２７〜２９を選択する。

例えばホワイトバランスゲイン「Ｗ_Ｒ」が略「２．０８」、かつ「Ｗ_Ｂ」が略「１．２５」の場合には、図１０で説明したように「Ｍａｐ２」、すなわち第２欠陥画素マップ２８が選択され、また、ホワイトバランスゲイン「Ｗ_Ｒ」が略「１．０１」、かつ「Ｗ_Ｂ」が略「２．８９」の場合には、「Ｍａｐ３」、すなわち第３欠陥画素マップ２９が選択される。選択した欠陥画素マップ２７〜２９は、欠陥補正回路１９に送られる。

欠陥補正回路１９は、欠陥画素マップ２７〜２９に対してＣＦＡ画像データを照合させて、ＣＦＡ画像データ上での欠陥画素の位置を検出し、検出した欠陥画素に対して近接する同色の４つの画素位置のデジタルデータの平均値を、その欠陥画素のデジタルデータとして置き換えて欠陥画素補正を行う。なお、マップではなく欠陥画素テーブルを用いる場合には、選択したテーブルに記載の欠陥画素の位置情報を読み出してＣＦＡ画像データ上での欠陥画素の位置を検出すればよい。

その後、ホワイトバランス処理回路２０がホワイトバランス処理を行う。ホワイトバランス処理回路２０は、算出したホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂを、Ｒ画素、Ｂ画素の各デジタルデータに乗算する。

続いて、空格子補間回路２１により画素補間処理が実行されてＲＧＢ画像データが作られ、その後、色変換回路２２によりＲＧＢ画像データに基づいて_ＳＲＧＢ画像データへの色変換処理等が実行される。色変換処理を実行した後には、画像圧縮部１５により_ＳＲＧＢ画像データを圧縮して圧縮画像データを作る。この圧縮画像データは、記録部１６により、例えば内部メモリやメモリカード等に記録される。

上記実施形態では、撮像素子２５としては、ＣＣＤとして説明しているが、本発明ではこれに限らず、ＭＯＳタイプの撮像素子でもよい。また、本発明は、デジタルカメラ１０に限らす、ビデオカメラ、テレビカメラ、カメラ付き携帯電話、防犯用モニタカメラ、及びスキャナー等の画像形成装置に採用することができる。

また、ＣＦＡ２４もベイヤー配列以外の種々のＣＦＡを用いても良い。さらに、ＲＧＢ３色のベイヤー配列のＣＦＡ２４について説明しているが、ＣＦＡが４色以上の場合にも本発明は適用可能である。

上記実施形態では、オートホワイトバランス機能を備えたデジタルカメラ１０について説明しているが、ユーザが所望するホワイトバランスモードを設定するホワイトバランスモード設定手段を設けてもよい。この場合には、ホワイトバランスモードに関連付けしたホワイトバランスゲインを予め記憶するゲイン記憶部と、設定したホワイトバランスモードに応じてゲイン記録部からホワイトバランスゲインを選択するゲイン選択部とを設ける。ゲイン選択部は、選択したホワイトバランスゲインの情報を欠陥画素マップ選択回路１８とホワイトバランス処理回路２０とに送ればよい。また、ゲイン入力手段を設け、ゲイン入力手段によりユーザが任意のホワイトバランスゲインを入力するようにしてもよい。

また、上記各実施形態では、欠陥補正回路１９として、欠陥画素と同じ色の隣接画素値をもって欠陥画素の位置の画素値とする処理を行っているが、これに限らず、近傍の画素間の相関を調べ、相関の有る方向の同じ色の画素値を補間して欠陥画素の位置の画素値とする処理を行っても良い。

上記各実施形態では、ＣＦＡ画像データに対してホワイトバランス処理や空格子補間処理、及び色変換処理等を施してフルカラー画像を作り出すデモザイク処理を行い、完成した画像データに対してＪＰＥＧ等の汎用の圧縮画像フォーマットで保存しているが、本発明ではこれに限らず、デモザイク処理前の生データをそのままファイル保存する機能を持つデジタルカメラにも採用することができる。

この場合には、算出したホワイトバランスゲインと、欠陥画素マップ選択回路で選択した欠陥画素マップとを、生データにそれぞれ関連付けして保存すればよい。

このようなデジタルカメラ３１は、例えば、図１３に示すように、光学系１１、カラーイメージセンサ１２、Ａ／Ｄ３２、画像処理部３３、及び記録部３４で構成されており、画像処理部３３は、ホワイトバランスゲイン算出回路３５、欠陥画素マップ選択回路３６、画像圧縮回路３７、及びファイル出力回路３８で構成されている。

Ａ／Ｄ３２は、デジタルに変換した生のＣＦＡ画像データをホワイトバランスゲイン算出回路３５と画像圧縮回路３７とに出力する。ホワイトバランスゲイン算出回路３５は、前述したようにＣＦＡ画像データに基づいてホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂを算出し、算出したホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂを欠陥画素マップ選択回路３６とファイル出力回路３８とに送る。欠陥画素マップ選択回路３６は、ホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂに基づいて、記憶部３９に記憶した複数の欠陥画素マップ２７〜２９のうちの何れかを選択し、選択した欠陥画素マップ２７〜２９をファイル出力回路３８に送る。

画像圧縮回路３７は、ＣＦＡ画像データを可逆圧縮もしくは非可逆圧縮（高ビットレート）してファイル出力回路３８に出力する。ファイル出力回路３８は、図１４に示すように、ＣＦＡ圧縮画像データと、これにホワイトバランスゲインＷ_Ｒ，Ｗ_Ｂ、及び選択した欠陥画素マップをそれぞれ関連付けして一つのファイルに記録してＲａｗファイルとして出力する。記録部３４はＲａｗファイルを例えば、内部メモリやメモリカードに記録する。

Ｒａｗファイルは、Ｒａｗファイル現像装置により現像される。例えば、図１５に示すＲａｗファイル現像装置４０は、Ｒａｗファイル格納部４１、現像処理実行部４２、及び表示部４３等を備えている。デジタルカメラ３１に記録されたＲａｗファイルは、入力部４４からの転送指示によりインタフェースを介してＲａｗファイル格納部４１に転送される。

現像処理実行部４２は、欠陥画素補正処理４５、ホワイトバランス処理４６、画素補間処理４７、及び色変換処理４８等からなるプログラムで構成されており、これらプログラムは、ハードディスク等の記録媒体に記録されている。入力部４４からＲａｗファイルの現像指示が入力されると、欠陥画素補正処理４５は、Ｒａｗファイルに記録されているＣＦＡ画像データと欠陥画素マップとを読み出し、前記ＣＦＡ画像データに対して前記欠陥画素マップに記録の欠陥画素の位置情報に従って欠陥補正を行う。Ｒａｗファイルに記録の欠陥画素マップは、デジタルカメラ３１で算出したホワイトバランスゲインに基づいて選択した欠陥画素マップである。

その後、ホワイトバランス処理４６は、Ｒａｗファイルに記録されているホワイトバランスゲインＷ_Ｂ，Ｗ_Ｒを読み出し、欠陥画素補正済みのＣＦＡ画像データのうちのＢ，Ｒの各画素値に対してホワイトバランスゲインＷ_Ｂ，Ｗ_Ｒを乗算してホワイトバランス処理を行う。その後、画素補間処理４７は、ホワイトバランス処理済みのＣＦＡ画像データに基づいてＲＧＢ画像データを作り、色変換処理部位は、ＲＧＢ画像データに基づいて_ＳＲＧＢ変換を行う。この_ＳＲＧＢ画像データに基づいて表示部４３に画像が表示される。

ところで、デジタルカメラ３１で算出したホワイトバランスゲインＷ_Ｂ，Ｗ_Ｒを使用せずに、ユーザが入力部４４を介して所望するホワイトバランスゲインＷ_Ｂ，Ｗ_Ｒを入力してホワイトバランス処理を行う場合がある。この場合には、デジタルカメラ３１側では、選択した欠陥画素マップのみではなく、図１６に示すように、記憶部３９に記録されている全ての欠陥画素マップ２７〜２９を、ファイル出力回路３８がＲａｗファイルの中に記録するように構成する。

この場合、図１７に示すように、Ｒａｗファイル現像装置５０には、現像処理実行部５１に欠陥画素マップ選択部５２を設ける。欠陥画素マップ選択部５２は、ホワイトバランスゲイン入力部５３で指定されたホワイトバランスゲインに基づいて、Ｒａｗファイルから読み出した複数の欠陥画素マップ２７〜２９の中から何れかの欠陥画素マップを選択する。欠陥画素補正処理４５は、Ｒａｗファイルから読み出したＣＦＡ画像データに対して、選択した欠陥画素マップに基づいて欠陥画素補正を行う。ホワイトバランス処理４６は、欠陥画素補正済みのＣＦＡ画像データに対して、指定のホワイトバランスゲインを乗算する。

上記各実施形態は、ホワイトバランスゲインに基づいて欠陥画素マップを選択するように構成しているが、本発明ではこれに限らず、欠陥画素の画質への影響は空格子補間処理（画素補間処理）によっても異なるため、空格子補間処理に応じて欠陥画素マップを選択するように構成してもよい。

例えば、以下のような空格子補間処理がある。この処理は、前述したＣＦＡ画像データのＲ、及びＢ画素位置において、上下のＧ画素の相関と左右のＧ画素の相関とを調べ、相関の高い方のＧ画素の平均を当該画素位置のＧ画素値としてＧの補間を行い、Ｒ画素位置、Ｂ画素位置にて色差Ｃ_Ｒ＝（Ｒ−Ｇ）及びＣ_Ｂ＝（Ｂ−Ｇ）をそれぞれ計算した後にＣ_Ｒ，Ｃ_Ｂを補間して各が素でＧ，Ｃ_Ｒ，Ｃ_Ｂを求めて、Ｒ＝Ｃ_Ｒ＋Ｇ，Ｂ＝Ｃ_Ｂ＋Ｂから各画素のＲ，Ｇ，Ｂを求める方法である。

このような空格子補間処理を行う場合には、Ｇの白点欠陥はそのまま残るのに対し、Ｒ及びＢ画素の白点欠陥は、補間による平滑化のためにぼやけてしまい、画質への影響が小さくなるため、以下のような欠陥画素マップを作るのが好ましい。

例えば、図１０で説明した第１欠陥画素マップとしては、Ｇ画素を厳しく検出するために、「Ｔ_Ｒ」＝「Ｋ_Ｇ」×「Ｔ_Ｇ」＝「Ｔ_Ｂ」とした閾値を設定して欠陥画素を検出したマップとする。ここで、「Ｔ_Ｒ」はＲ画素用の閾値、「Ｔ_Ｇ」はＧ画素用の閾値、「Ｔ_Ｂ」はＢ画素用の閾値である。なお、「Ｋ_Ｒ」は、「１」以下の定数である。

第２欠陥画素マップとしては、Ｇ画素及びＢ画素を厳しく検出するために、「Ｔ_Ｒ」＝「Ｋ_Ｇ」×「Ｔ_Ｇ」＝「Ｋ_Ｇ」×「Ｔ_Ｂ」とした閾値を設定して欠陥画素を検出したマップとする。

第３欠陥画素マップとしては、Ｒ画素及びＧ画素を厳しく検出するために、「Ｋ_Ｇ」×「Ｔ_Ｒ」＝「Ｋ_Ｇ」×「Ｔ_Ｇ」＝「Ｔ_Ｂ」とした閾値を設定して欠陥画素を検出したマップとする。なお、Ｂ画素の白点欠陥は見えにくいため、第３欠陥画素マップとしては、「Ｔ_Ｒ」＝「Ｋ_Ｇ」×「Ｔ_Ｇ」＝「Ｔ_Ｂ」との閾値を設定して欠陥画素を検出したマップ、すなわち第１欠陥画素マップと同じにしてもよい。

これによれば、空格子補間処理に応じて複数の欠陥画素マップを作り、複数の欠陥画素マップの中からホワイトバランスゲインに基づいて何れかのマップを選択して欠陥画素補正を行う。

また、複数の空格子補間処理のうちの何れかの処理を選択する空格子補間選択部をＲａｗファイル現像装置に設けてもよい。

この場合、例えば、デジタルカメラ３１では、遮光撮影した時の全画素のデジタルデータに基づいて生成した欠陥画素レベルマップ６０（図１３参照）を、工場出荷時に記憶部３９に記憶しておき、撮影毎にＣＦＡ画像データとともに欠陥画素レベルマップ６０をＲａｗファイルの中に記録する。したがって、このときに作られるＲａｗファイルには、図１８に示すように、ＣＦＡ画像データ等とともに欠陥画素レベルマップ６０が記録される。

Ｒａｗファイル現像装置６５では、図１９に示すように、欠陥画素レベル選択部６９を設ける。欠陥画素レベル選択部６９は、Ｒａｗファイルから欠陥画素レベルマップ６０を読み出すとともに、欠陥画素レベルマップ６０に基づいて、空格子補間処理選択部７０で選択した空格子補間処理に応じた欠陥画素を検出する。その後は、前述したように欠陥画素補正処理４５が欠陥画素の位置情報に基づいて欠陥画素を補正する。

欠陥画素レベルマップ６０は、図２０に示すように、欠陥画素補正を行うための条件に応じて各画素値を７段階の範囲に区分し、各区分を補正レベル「０」〜「６」に対応付け、図２１に示すように、各画素位置に補正レベルを表す数字を付与したマップになる。

ここで、例えば補正レベル「０」は、補正の必要のない画素を表し、補正レベル「１」は、当該画素で白点欠陥が目立ちやすい場合で、かつ白点欠陥が目立ちやすい被写体画像の場合に、補正した方が好ましい画素を表す。補正レベル「２」は、当該画素で白点欠陥が目立ちやすい場合に、補正した方が好ましい画素を表す。補正レベル「３」は、当該画素で白点欠陥が目立ち難い場合で、かつ白点欠陥が目立ちやすい被写体画像の場合に補正した方が好ましい画素を表す。そして、補正レベル「４」〜「６」は、当該画素で白点欠陥が目立ち難い場合でも補正した方が好ましい画素を表す。ここで、白点欠陥が目立ちやすい被写体画像とは、暗くて平坦な（フラットな）被写体画像、すなわち輝度変化や色変化の少ない画像である。

したがって、欠陥画素レベル選択部６９は、Ｒａｗファイルから読み出した欠陥画素レベルマップのうち、選択された空格子補間処理に適した補正レベルを選択し、選択した補正レベルの範囲に出力値が含まれる画素位置を欠陥画素として検出する。この場合、図２２に示すように、補正レベル毎に欠陥画素の位置情報を記載した欠陥画素マップ１〜７があるものと解すことができるため、欠陥画素レベル選択部６９は、複数の欠陥画素マップ１〜７の中から何れかを選択する欠陥画素情報選択手段に相当する。

このような欠陥画素レベルマップを記憶しておくことで、画素補間方法における欠陥画素の影響度、ホワイトバランスゲイン、色変換処理、及び画像データに写る被写体の情報等に基づいて、欠陥画素レベルマップから補正対象となる欠陥画素の位置情報を記載した欠陥画素マップ１〜７を選ぶことができる。なお、この場合、欠陥画素マップ１〜７のうちの一つを選択する以外に、例えば欠陥画素マップ５〜７というように、複数を選択してもよい。

上記実施形態では、撮影条件として空格子（画素）補間方法、ホワイトバランスゲイン、色変換処理、及び画像データに写る被写体の情報等に応じて欠陥画素マップを選択しているが、他の撮影条件、例えばＩＳＯ感度や連写モード等に基づいて欠陥画素マップを選択するように構成してもよい。

ＩＳＯ感度に基づく場合には、デジタルカメラ側で予め決めた閾値を超える高感度が設定された場合、遮光状態で撮影した各色の画素値を厳しく判定した欠陥画素マップを選択し、また閾値未満の低感度が設定された場合には、前記各色の画素値を緩く判定した欠陥画素マップを選択するように構成するのが好適である。なお、逆に高感度の場合には緩く判定した欠陥画素マップを、また低感度の場合には厳しく判定した欠陥画素マップを選択するように構成してもよい。

また、連写モードが設定された場合には、単写モードに比べて緩く判定した欠陥画素マップを選択するように構成するのが好ましい。

上記各実施形態では、白点欠陥の補正について説明しているが、黒点欠陥の補正にも本発明を採用することができる。黒点欠陥を補正する場合には、絞りやシャッターを所定量に開放して所定の露出条件で撮像し、この撮像で得られたＣＦＡ画像データを用いて、撮影条件に応じて色毎に決めた閾値に基づいて黒点欠陥を検出した欠陥画素情報を複数生成すればよい。この場合、各色に設定される閾値は、画素値のうちの正常な範囲の画素値を下回る値に設定し、閾値未満の値を有する画素を黒点欠陥として検出すればよい。

上記各実施形態では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０，３１ デジタルカメラ
１７，３５ ホワイトバランスゲイン算出回路
１８，３６ 欠陥画素マップ選択回路
４０，５０，６５ Ｒａｗファイル現像装置

Claims (8)

1. 所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに基づいて検出した欠陥画素を補正する欠陥画素補正装置において、
   撮影条件を設定する撮影条件設定手段と、
   前記欠陥画素の位置情報が前記カラーの画像データを構成する色毎に記録されている欠陥画素情報を複数記憶する欠陥画素情報記憶手段と、
   前記設定した撮影条件に応じて前記複数の欠陥画素情報のうちの何れかの欠陥画素情報を選択する選択手段と、
   前記選択した欠陥画素情報に記録の欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正手段と、
   を備えたことを特徴とする欠陥画素補正装置。
2. 請求項１記載の欠陥画素補正装置において、
   前記撮影条件は、ホワイトバランスゲイン、又はＩＳＯ感度になっていることを特徴する欠陥画素補正装置。
3. 請求項１又は２記載の欠陥画素補正装置において、
   前記欠陥画素情報は、前記撮影条件に応じて前記色毎に決めた閾値に基づいて検出した欠陥画素の位置情報が記録されていることを特徴とする欠陥画素補正装置。
4. 請求項１ないし３いずれか記載の欠陥画素補正装置において、
   前記カラーの画像データは、
   空間周波数が最も高い第１色成分の色情報を出力する複数の画素と、前記第１色成分の色情報を出力せず前記第１色成分よりも空間周波数が低い第２色成分又は第３色成分の色情報を出力する複数の画素と、が２次元配列された撮像素子によって生成される画像データになっていることを特徴とする欠陥画素補正装置。
5. 請求項４記載の欠陥画素補正装置において、
   前記撮影条件をホワイトバランスとし、
   所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに対して、色毎に一律の閾値を用いて検出した第１欠陥画素情報と、第２色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第２欠陥画素情報と、第３色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第３欠陥画素マップとを前記欠陥画素情報記憶手段に予め記憶しておくとともに、
   撮影毎に得られるカラーの画像データに基づいて前記第２及び第３色成分の色情報に応じた二つのホワイトバランスゲインを算出するホワイトバランスゲイン算出回路を設け、
   前記選択手段は、前記二つのホワイトバランスゲインに基づいて第１〜第３欠陥画素情報のうちから何れかを選択することを特徴とする欠陥画素補正装置。
6. カラーの画像データを、色毎の欠陥画素の情報に基づいて補正する欠陥画素補正方法において、
   撮影条件を設定する撮影条件設定ステップと、
   前記設定した撮影条件に応じて、前記欠陥画素の位置情報が前記カラーの画像データを構成する色毎に記録されている複数の欠陥画素情報のうちの何れかを選択する欠陥画素情報選択ステップと、
   前記選択した欠陥画素情報に記録されている欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正ステップと、
   を含むことを特徴とする欠陥画素補正方法。
7. 請求項６記載の欠陥画素補正方法を実行させるコンピュータが読み取り可能なプログラム。
8. 請求項７に記載のコンピュータが読み取り可能なプログラムを記録した記録媒体。

Images