JP5262953B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

ＣＣＤ（Charge Coupled Device）撮像素子やＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子においては、複数の画素が平面上に配列されている。これらの撮像素子は、全ての画素が正常に動作することが望ましいが、様々な原因によってある画素の電気信号が不適切になり、画面上で白点や黒点になるという不具合が発生する場合がある。この場合、該当部分の画素情報の欠落を補うため、通常、周囲の画素情報を用いて欠陥補正処理を行う。特許文献１には、欠陥画素補正に関する技術が開示されている。

また、ＣＣＤ撮像素子やＣＭＯＳ撮像素子の１つ１つの画素には、赤、青、緑などのカラーフィルタが設けられている。ところが、画素間の距離が短いため、ある画素に入射する光には、その画素に設けられたカラーフィルタの色だけでなく、隣接する画素のカラーフィルタの色が混入することがある。この混色の問題を解決するため、やはり周囲の画素情報を用いて混色補正処理を行う。特許文献２には、混色補正を行う信号処理装置に関する技術が開示されている。

特開２００５−３１８３８３号公報 特開２００７−１４２６９７号公報

ところで、撮像装置などにおける一連の画像処理において、欠陥補正処理と混色補正処理の両方が行われるが、欠陥補正処理が混色補正処理よりも先に行われる場合、欠陥補正処理は、混色の影響を受けたままの信号に基づいて処理が行われることになる。その結果、隣接する画素の色による混色が、補正後の画質に影響を与えることがある。従来、欠陥補正処理は、混色の発生の有無にかかわらず、注目画素の最近傍画素が優先される処理をしていたため、混色が目立つ部分での誤補正を回避することができないという問題があった。

また、欠陥補正と混色補正の順序を入れ換えて、混色補正が欠陥補正よりも先に行われる場合、混色補正処理は、画素の欠陥の影響を受けることになる。その結果、例えば、欠陥画素の付近だけ混色が適正に補正されないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、混色が発生する画素においても、欠陥補正を適切に行うことができ、画質低下を抑制することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子の複数の画素のうち電気信号の出力が不適切な欠陥画素の位置及び本来の色を検出する欠陥画素検出部と、欠陥画素と同じ色を有する画素であり、かつ、周辺画素の色配置が、検出された欠陥画素の周辺画素の色配置と同一である同色画素を検出する同色画素検出部と、同色画素の画素値を用いて、欠陥画素の第一の補正画素値を算出する補正画素値算出部と、第一の補正画素値を用いて混色補正をする混色補正部とを有する画像処理装置が提供される。ここで、同色画素とは、各画素が有する色に注目して周辺画素の位置関係が同一である画素と定義する。

上記画像の高周波成分を検出する高周波成分検出部を更に有し、画像内で高周波成分が検出されず、撮像素子で混色が発生しているとき、混色補正部が第一の補正画素値を用いて混色補正をしてもよい。

上記画像内で高周波成分が検出されたとき、補正画素値算出部は、欠陥画素の最近傍画素を用いる処理、又は高周波成分復元処理によって、欠陥画素の第二の補正画素値を算出し、混色補正部は、第二の補正画素値を用いて混色補正をしてもよい。

上記画像内で高周波成分が検出されず、撮像素子で混色が発生していないとき、補正画素値算出部は、欠陥画素の最近傍画素を用いる処理によって、欠陥画素の第三の補正画素値を算出し、混色補正部は、第三の補正画素値を用いて混色補正をしてもよい。

上記高周波成分検出部は、欠陥画素と同じ色を有して隣接し合う画素の画素値の差分値を算出し、差分値と所定の閾値に基づいて、高周波成分の検出の有無を判断してもよい。

上記高周波成分検出部は、欠陥画素と同じ色を有する画素の画素値の変化量を算出し、変化量に基づいて、高周波成分の検出の有無を判断してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、欠陥画素検出部が撮像素子の複数の画素のうち電気信号の出力が不適切な欠陥画素の位置及び本来の色を検出するステップと、同色画素検出部が欠陥画素と同じ色を有する画素であり、かつ、周辺画素の色配置が、検出された欠陥画素の周辺画素の色配置と同一である同色画素を検出するステップと、補正画素値算出部が同色画素の画素値を用いて、欠陥画素の第一の補正画素値を算出するステップと、混色補正部が第一の補正画素値を用いて混色補正をするステップとを有する画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、欠陥画素検出部が撮像素子の複数の画素のうち電気信号の出力が不適切な欠陥画素の位置及び本来の色を検出するステップ、同色画素検出部が欠陥画素と同じ色を有する画素であり、かつ、周辺画素の色配置が、検出された欠陥画素の周辺画素の色配置と同一である同色画素を検出するステップ、補正画素値算出部が同色画素の画素値を用いて、欠陥画素の第一の補正画素値を算出するステップ、混色補正部が第一の補正画素値を用いて混色補正をするステップをコンピュータに実行させるためのプログラムが提供される。

本発明によれば、混色が発生する画素においても、欠陥補正を適切に行うことができ、画質低下を抑制することができる。

本発明の一実施形態に係る撮像装置１００を示すブロック図である。 ベイヤ配列構造を有する撮像素子１１１の一部を示す説明図である。 点欠陥が生じているベイヤ配列構造を示す説明図である。 線欠陥が生じているベイヤ配列構造を示す説明図である。 画素値の変化から補正値を予測したときのベイヤ配列構造を示す説明図である。 最近傍画素平均処理をしたときのベイヤ配列構造を示す説明図である。 ベイヤ配列された複数の画素を示す説明図である。 本実施形態に係る欠陥補正処理及び混色補正処理の動作を示すフローチャートである。 本実施形態に係る混色対応の欠陥補正処理の動作を示すフローチャートである。 同色画素を優先して欠陥補正処理したときのベイヤ配列構造を示す説明図である。 同色画素を優先して欠陥補正処理したときのベイヤ配列構造を示す説明図である。 隣接する画素の差分値に注目して欠陥補正処理したときのベイヤ配列構造を示す説明図である。 ベイヤ配列以外の構造を有する撮像素子の一部を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．一実施形態に係る撮像装置１００の構成
２．一実施形態に係る欠陥補正方法

＜１．一実施形態に係る撮像装置１００の構成＞
本発明の一実施形態に係る撮像装置１００は、例えば、レンズが交換可能、又は交換不可能双方におけるディジタルスチルカメラである。但し、本実施形態はこれに限定されず、カムコーダ、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置１００を適用することができる。

また、後述する撮像装置１００の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置１００の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。

まず、本実施形態に係る撮像装置１００の構成を説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

図１に示す撮像装置１００は、記憶媒体に映像データを記録可能なビデオカメラである。
撮像装置１００は、例えば、イメージセンサ１０１と、前処理部１０２と、映像信号処理部１０３と、ＪＰＥＧ信号生成回路１０４などを備える。撮像装置１００は、そのほか、メモリ制御部、メモリ、表示処理部、表示部、記録デバイス制御部、記録デバイス、制御部、撮像レンズなどを備えることもある。

撮像レンズは、被写体からの入射光を集光させ、後述のイメージセンサ１０１に被写体像を結像させるレンズ群である。

イメージセンサ１０１は、光学系（例えば、撮像レンズ、赤外線除去フィルタ、光学的ローパスフィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。イメージセンサ１０１は、例えば撮像素子１１１、ビデオアンプ１１２、ＡＤ変換器１１３などからなる。

撮像素子１１１は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、撮像素子１１１として、ＣＣＤ(Charge Coupled Device)を使用してもよい。撮像素子は、例えば、複数の画素が平面上に配置される。以下では、図２に示すような、赤（Ｒ）、緑（Ｇｒ，Ｇｂ）、青（Ｂ）の各色の画素がベイヤ配列された構成を有する場合について説明する。図２は、ベイヤ配列構造を有する撮像素子１１１の一部を示す説明図である。

撮像素子１１１から出力された電気信号が、ビデオアンプ１１２、ＡＤ変換器１１３によって、適切なレベルに調節され量子化されて、イメージセンサ１０１から撮像データが出力される。

前処理部１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。前処理部１０２は、例えば調整回路１２１、ゲイン調整回路１２２、欠陥補正回路１２３、混色補正回路１２４、色分離回路１２５などからなる。イメージセンサ１０１から出力された撮像データは、調整回路１２１、ゲイン調整回路１２２によって適切に処理された後、欠陥補正回路１２３に入力される。欠陥補正回路１２３において欠陥補正された撮像データは、混色補正回路１２４に入力される。そして、欠陥補正、混色補正された撮像データは、色分離回路１２５に入力される。色分離回路１２５は、ベイヤ配列の画像信号をＲＧＢ信号に変換し、映像信号処理部１０３に出力する。

欠陥補正回路１２３は、例えば、欠陥画素検出部と、同色画素検出部と、補正画素値算出部を有する。欠陥画素検出部は、撮像素子の複数の画素のうち電気信号の出力が不適切な欠陥画素の位置及び本来の色を検出する。同色画素検出部は、欠陥画素と同じ色を有する画素であり、かつ、周辺画素の色配置が、検出された欠陥画素の周辺画素の色配置と同一である同色画素を検出する。補正画素値算出部は、同色画素の画素値を用いて、欠陥画素の第一の補正画素値を算出する。ここで、同色画素とは、各画素が有する色に注目して周辺画素の位置関係が同一である画素と定義する。

混色補正回路１２４は、混色補正部の一例であり、第一の補正画素値を用いて混色補正をする。また、欠陥補正回路１２３は、画像の高周波成分を検出する高周波成分検出部を更に有し、画像内で高周波成分が検出されず、撮像素子で混色が発生しているとき、混色補正回路１２４が第一の補正画素値を用いて混色補正をする。

高周波成分検出部によって、上記画像内で高周波成分が検出されたとき、補正画素値算出部は、欠陥画素の最近傍画素を用いる処理、又は高周波成分復元処理によって、欠陥画素の第二の補正画素値を算出する。そして、混色補正部は、第二の補正画素値を用いて混色補正をしてもよい。または、高周波成分検出部によって、上記画像内で高周波成分が検出されず、撮像素子で混色が発生していないとき、補正画素値算出部は、欠陥画素の最近傍画素を用いる処理によって、欠陥画素の第三の補正画素値を算出する。そして、混色補正部は、第三の補正画素値を用いて混色補正をしてもよい。

また、高周波成分検出部は、欠陥画素と同じ色を有して隣接し合う画素の画素値の差分値を算出し、差分値と所定の閾値に基づいて、高周波成分の検出の有無を判断してもよい。または、上記高周波成分検出部は、欠陥画素と同じ色を有する画素の画素値の変化量を算出し、変化量に基づいて、高周波成分の検出の有無を判断してもよい。例えば、ＧｒとＧｂの区別をせず、高周波検出を行うとよい。なお、この場合、混色で発生する段差が高周波と認識されないように閾値を設定する必要がある。Ｇｒのみ又はＧｂのみなどに限定すると、折り返しの影響が大きく、高周波成分が正しく検出できない可能性がある。

映像信号処理部１０３は、前処理部１０２からの撮像データに対して、同時化処理、ホワイトバランス補正、アパーチャ補正、ＹＣ生成、ガンマ補正等のカメラ信号処理を施す。映像信号処理部１０３は、例えば、映像処理回路１３１、ＹＣ信号生成回路１３２、ガンマ補正回路１３３などからなる。映像処理回路１３１は、ＲＧＢ信号に対して様々な処理を施す。ＹＣ信号生成回路１３２は、ＲＧＢ信号をＹＣ信号に変換する。ガンマ補正回路１３３は、ＣＲＴ等のディスプレイのモニターガンマに対応するため、撮像データを信号処理する。

ＪＰＥＧ信号生成回路１０４は、映像信号処理部１０３で処理された撮像データに対して、ＪＰＥＧ（Joint Photographic Experts Group）規格による静止画像の符号化方式で圧縮符号化処理を行う。ＪＰＥＧ信号生成回路１０４で生成されたＪＰＥＧ信号は、記録デバイス制御部や表示処理部に出力される。なお、本発明における圧縮符号化処理はＪＰＥＧに限定されない。

メモリ制御部は、メモリに対する画像データの書き込み及び読み込みを制御する。メモリは、メモリ制御部から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。

記録デバイス制御部は、ＪＰＥＧ信号生成回路１０４から受け取った画像データを記録デバイスに格納された記録媒体に送り、記録デバイスを駆動して記録媒体に画像データを記録する。表示処理部は、ＪＰＥＧ信号生成回路１０４から受け取った画像信号から、表示部に表示させるための画像信号を生成して、画像信号を表示部に送り、画像を表示させる。表示部は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイスに記録されたデータの画像などを表示する。

制御部は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行する。そして、制御部は撮像装置１００の各構成要素を統括的に制御する。

＜２．一実施形態に係る欠陥補正方法＞
撮像素子は、全ての画素が正常に動作することが望ましいが、様々な原因によってある画素の電気信号が不適切になり、画面上で白点や黒点になるという不具合（欠陥）が発生する場合がある。シャッター遮光状態に関わらず画素の電気信号が所定の出力レベルを超えると白点が生じ、露光状態に関わらず画素の電気信号が所定の出力レベルに満たない場合黒点が生じる。

従来の撮像装置などにおいて、混色が発生しているイメージセンサから出力された画像信号に対して欠陥補正をすると、欠陥補正が混色補正よりも先に行われる場合、欠陥補正処理は、混色の影響を受けたままの信号に基づいて処理が行われることになる。従来、欠陥補正処理は、欠陥画素（注目画素）の最近傍の画素を優先する処理をしていたため、隣接する画素の色による混色が、補正後の画質に影響を与えることがある。例えば、補正した部分だけが、他の部分の色と違って見えたりすることになる。

他方、欠陥補正と混色補正の順序を入れ換えて、混色補正が欠陥補正よりも先に行われる場合、混色補正処理は、画素の欠陥の影響を受けることになる。その結果、例えば、欠陥画素の付近だけ混色が適正に補正されないという問題が発生する。

以下で説明する本実施形態の欠陥補正方法は、混色補正処理よりも先に行うが、混色発生条件の違いによる影響に対応しており、混色が発生する画素においても欠陥補正を適切に行うことができ、画質低下を抑制することができる。

本実施形態では、撮像素子１１１がベイヤ配列構造である場合について説明する。ベイヤ配列構造は、図２に示すように、Ｒ（赤色）画素とＧ（緑色）画素が交互に並んだ列と、Ｇ（緑色）画素とＢ（青色）画素が交互に並んだ列が１列ずつ交互に配置されている。Ｇ（緑色）画素は、Ｒ（赤色）画素と同一列にあるＧｒ画素と、Ｂ（青色）画素と同一列にあるＧｂ画素に分類される。

まず、従来の欠陥補正処理について説明する。従来の欠陥補正処理では、欠陥が生じた画素（欠陥画素）の周囲の画素の画素値を用いて、欠陥画素の画素値を算出して、その値を欠陥画素の画素値とすることで、画像データを補正している。その際、周波数特性をできるだけ良くするという目的のために、欠陥画素の最近傍画素が優先される。この欠陥補正について、図３及び図４を参照して説明する。図３及び図４は、ベイヤ配列の画素構造を示している。また、それぞれの画素に画素値の例を数字で示した。図３及び図４に示す例は、画像が平坦な絵柄（例えば単色の壁など）である場合である。

図３に示す例では、中央に示す画素が欠陥画素であり、Ｂ画素の間に配置されたＧｂ画素に欠陥が発生している（点欠陥）。図４に示す例では、横方向１列の全ての画素が欠陥画素であり、Ｂ画素とＧｂ画素に欠陥が発生している（線欠陥）。

欠陥画素の最近傍の画素を用いて、画素値の変化から補正値を予測する処理をすると、図３に示す点欠陥の例では、図５に示すように、欠陥画素の補正画素値は「１２」となる。図４に示す線欠陥の例でも、画素値の変化から補正値を予測する処理をすると、欠陥画素の補正画素値は「１２」となる。これは、平坦な絵柄であるにもかかわらず、Ｇｒ画素とＧｂ画素の画素値の違いを高周波成分であると判断されるためである。

そこで、Ｇｒ画素とＧｂ画素の画素値の違いを高周波成分と判断しないように、最近傍画素の平均を算出することによって欠陥補正処理をする場合を考える。最近傍画素の平均を算出する処理は、平坦な絵柄であれば、例えば欠陥画素の左上の画素と欠陥画素の右下の画素が使用される。例えば、図３及び図４中に示した中央の欠陥画素（Ｇｂ画素）の補正画素値を算出するため、欠陥画素の左上の画素（Ｇｒ画素）と欠陥画素の右下の画素（Ｇｒ画素）が使用される。最近傍画素平均処理の結果、図３に示す点欠陥の例では、図６に示すように、欠陥画素の補正画素値は「２６」となる。図４に示す線欠陥の例でも、最近傍画素の平均によって補正値を算出する処理をすると、欠陥画素の補正画素値は「２６」となる。

ところで、Ｇｒ画素とＧｂ画素は、同じＧ画素であっても、Ｒ画素と同一列にあるか、又はＢ画素と同一列にあるかによってゲイン特性やオフセット特性が異なることがある。そこで、Ｇｒ画素とＧｂ画素を区別することによって、Ｇｒ画素とＧｂ画素のゲイン特性やオフセット特性のばらつきの調整を行なっている。また、欠陥画素補正においてＧｒ画素とＧｂ画素を区別する必要をなくすため、ゲイン特性やオフセット性のばらつきを欠陥補正前に補正していた。但し、その場合でも混色は残ってしまう。

しかし、イメージセンサ１０１に混色が発生している場合は、本来Ｇｒ画素とＧｂ画素を区別する必要がある。これを説明するために、図７を参照して混色について説明する。図７は、ベイヤ配列された複数の画素を示す説明図である。図７は、均一な絵柄（例えば単色の壁等）を撮像した場合を仮定している。図７では、Ｒ画素の画素値が２００、Ｂ画素の画素値が６０、Ｇ画素の画素値が２０である。図７（Ａ）は、混色が発生しない場合（左側）のＧｂ画素と混色発生時（右側）のＧｂ画素の違いを表している。図７（Ｂ）は、混色が発生しない場合（左側）のＧｒ画素と混色発生時（右側）のＧｒ画素の違いを表している。

垂直方向の混色率は５％、水平方向の混色率は０％として混色が発生していると仮定する。なお、説明の簡略化のために、本来は周りに漏れた光量分を減算するべきであるが、ここではその成分については無視できるものとする。このとき、図７（Ａ）において、混色が発生しないときのＧｂ画素の本来の画素値は２０である。しかし、上記条件で混色が発生しているときは、上下に位置するＲ画素の影響でＧｂ画素の画素値は４０になる。一方、図７（Ｂ）において、混色が発生しないときのＧｒ画素の本来の画素値は２０である。しかし、上記条件で混色が発生しているときは、上下に位置するＢ画素の影響でＧｒ画素の画素値は２６になる。

このように、本来は、Ｇｂ画素とＧｒ画素共に２０という画素値であるべきが、混色が発生することによって、それぞれ４０と２６と異なる値になり、まるで段差が生じているような絵柄になる。

図３、図４、図５及び図６を用いて説明した欠陥画素補正は、図７で示したように混色が発生しているときの補正例である。平坦絵柄（例えば単色の壁等）を撮像した場合、本来であれば、図３及び図４中に示した中央の欠陥画素（Ｇｂ画素）の補正画素値は、中央の列から２列上又は２列下にあるＢ画素と同一列にあるＧｂ画素と同じ値（＝４０）であることが望ましい。しかし、混色が発生していることによって、画素値の変化から補正値を予測したときの補正結果は「１２」であり、最近傍画素平均処理をしたときの補正結果は「２６」である。その結果、画像は平坦な絵柄であり補正画素値は４０が望ましいが、いずれの補正結果も望ましくない値が得られることになる。

このような誤補正を回避するため、本実施形態では、混色発生時には最近傍画素ではなくて同色画素（各画素が有する色に注目して周辺画素の位置関係が同一である画素）を優先して補正に使用する。ベイヤ配列であれば、緑色画素のうち、Ｇｒ画素同士又はＧｂ画素同士が同色画素であり、Ｇｒ画素とＧｂ画素の関係は同色画素ではなく異なる色の画素として扱う。これにより、イメージセンサ１０１に混色が発生している場合でも、適切に欠陥補正をすることができる。この補正の様子を図１０に示す。図１０は、同色画素を優先して処理したときのベイヤ配列構造を示す説明図である。同色画素を優先して使用することによって、欠陥画素に所望の値（＝４０）が得られていることが分かる。

上述の例では、平坦な絵柄のみを対象にして説明したが、撮像装置が撮像する画像は、実際には高周波成分が多く含まれている絵柄が多い。そのため、上述した同色画素優先の欠陥画素補正を常に行なおうとすると、問題が発生する可能性がある。問題が発生している補正の様子を図１１に示す。図１１は、同色画素を優先して処理したときのベイヤ配列構造を示す説明図である。図１１では、画面中央で直線が水平に横切っている画像を想定している。即ち、Ｒ画素や緑色（Ｇｒ，Ｇｂ）画素は中央の列に向かうほど画素値が高くなっている。図１１の例では、欠陥画素の本来の画素値は、欠陥画素と同一列にあるＧｂ画素と同一の値（＝１００）であることが望ましい。しかし、同色画素優先の欠陥画素補正を行なうと、補正結果によって欠陥画素（Ｇｂ画素）の画素値は、中央の列から２列上又は２列下にあるＢ画素と同一列にあるＧｂ画素と同じ値（＝５５）となり、誤補正が発生する。

一般的に、画像中に混色が目立つ場合は、平坦な絵柄に限られている。高周波成分が多いところでは，平坦な絵柄に比べて混色の発生が問題になる可能性が低い。そこで、高周波成分が多い部分では、同色画素優先の欠陥補正を行なわないか、又は積極的に高周波成分を復元する補正を行なうことで、誤補正を回避することができる。図１２に高周波成分を復元する補正を行なう例を示す。図１２の例では、隣接する画素の差分から欠陥画素部分の高周波成分を予測した場合を示す。なお、多項式近似等を用いて、欠陥画素部分をより高精度に補正してもよい。

このように、均一な（平坦な）絵柄であって混色が目立つ絵柄では、混色に対応可能な同色画素優先の欠陥画素補正を行なう。一方、高周波成分が多い絵柄であって混色が目立たない絵柄では、周波数特性をより改善する補正を行なう。このように補正処理を分けることで、それぞれの絵柄で最適な補正画質が得られる。

なお、画像における高周波成分の量を定量的に算出するには、一般的に離散フーリエ変換等の方法が用いられる。しかし、離散フーリエ変換を用いた方法を採用すると、演算量が多くなる。本実施形態では、離散フーリエ変換を用いた方法で得られるような正確な分析は不要なことから、より実用に即した検出方法を用いるとよい。

例えば、隣接する画素の差分値に注目する。混色が発生している場合、通常、隣接するＧｒ画素とＧｂ画素の画素値の差分に影響が現れる。従って、全画素のうちＧｒ画素とＧｂ画素にのみ注目し、隣接するＧｒ画素とＧｂ画素の差分が予め決定しておいた所定の閾値以下のとき（または閾値より小さいとき）、混色はあるものの絵柄が平坦であるから、混色対応の欠陥補正をしても問題が発生しないと判別する。また、隣接するＧｒ画素とＧｂ画素の差分がなければ、混色が発生していないと判別する。これにより、離散フーリエ変換を用いた方法を用いることなく、簡易な方法で高周波成分が含まれる絵柄か否かを判断することができる。

または、より精度を上げるためには、混色が発生している場合の隣接するＧｒ画素とＧｂ画素の画素値の変化の特徴を用いる方法もある。図１２に示す例では、中央の列に向けてＧｒ画素とＧｂ画素の画素値が、２６→５５→６６→？（＝中央の欠陥画素）というように、画素値の変化が単調増加している。更に、このような値の変化は、均一な絵柄では生じにくく、画素値の変化量が比較的大きい。このような判断結果を得ることが可能なとき、欠陥画素の周囲には高周波成分が存在する可能性があるため、混色対応の欠陥補正ではなくて、高周波成分を予測する補正等の方法を用いるとよい。

一方、図１０に示す例では、中央の列に向けてＧｒ画素とＧｂ画素の画素値が、２６→４０→２６→？（＝中央の欠陥画素）というように、画素値の変化が単調増加となっていない。更に、このような値の変化は、画素値の変化量が比較的小さい。このような判断結果を得ることが可能なとき、混色が発生しているか、又は均一な（平坦な）絵柄である可能性があるため、混色対応の欠陥補正を用いるとよい。
また、図示しないが、画素値の変化がない場合は、混色の発生がないと判断することもできる。混色の発生がないときは、欠陥画素の最近傍画素を用いた補正方法を用いるとよい。

以下では、フローチャートを用いて説明する。
図８は、本実施形態に係る欠陥補正処理及び混色補正処理の動作を示すフローチャートである。

まず、上述した離散フーリエ変換を用いた方法、又はそれに代用する簡易な方法で、補正対象とする画像の高周波成分を検出する（ステップＳ１０１）。そして、画像内に高周波成分の量が少ないか否かを判断する（ステップＳ１０２）。また、画像内に混色が発生しているか否かを判断する（ステップＳ１０３）。

そして、画像内に高周波成分が少なく、混色が発生していると判断された場合は、混色対応の欠陥補正処理をする（ステップＳ１０４）。混色対応の欠陥補正処理については、上述した通りである。一方、高周波成分が多い場合、又は高周波成分が少なくても混色が発生していない場合は、混色対応の欠陥補正処理ではなく、最近傍画素優先の欠陥補正処理や、高周波成分を復元する欠陥補正処理をする（ステップＳ１０５）。最近傍画素優先の欠陥補正処理や、高周波成分を復元する欠陥補正処理については、詳述しないが、上述したような例を用いながら、通常用いられる一般的な方法で行う。
そして、欠陥補正処理が完了したのち、混色補正処理をする（ステップＳ１０６）。混色補正処理については、詳述しないが、通常用いられる一般的な方法で行う。

混色対応の欠陥補正処理について説明する。
図９は、混色対応の欠陥補正処理の動作を示すフローチャートである。

まず、画像内から欠陥が発生している画素の位置及び色を検出する（ステップＳ１１１）。欠陥画素の検出処理は、詳述しないが、通常用いられる一般的な方法で行う。そして、検出された欠陥画素と同一色を有する画素（同色画素）を画像内から検出する（ステップＳ１１２）。同色画素とは、本実施形態がベイヤ配列であれば、緑色画素のうち、Ｇｒ画素同士又はＧｂ画素同士が同色画素として扱うことから、例えば、ステップＳ１１１で、欠陥画素がＧｒ画素であれば画像内からＧｒ画素を検出する。又は、欠陥画素がＧｂ画素であれば画像内からＧｂ画素を検出する。

そして、検出された画素の画素値を用いて、欠陥画素の画素値を算出する（ステップＳ１１３）。例えば、欠陥画素の近傍にある同色画素の画素値を欠陥画素の画素値としたり、欠陥画素の近傍にある同色画素の画素値の平均値を欠陥画素の画素値としたりする。

その後、算出された欠陥発生画素の画素値を補正画素値に決定する（ステップＳ１１４）。これにより、ステップＳ１１６において、補正画素値を用いて混色補正処理をすることができる。

以上、本実施形態によれば、混色発生条件の違いによる影響を受けずに、欠陥発生画素の補正画素値を生成することができる。従来は、欠陥画素（注目画素）の最近傍の画素を優先する欠陥補正処理をしていたため、補正した部分が他の部分の色と違って見えるなどの問題が生じていた。一方、本実施形態によれば、混色が同じような条件で発生している同色画素に基づいて、欠陥補正処理をしているため、より適正な補正処理をすることができ、画質低減を抑制できる。

また、混色が同じような条件で発生している同色画素に基づいて処理をする混色対応の欠陥補正は、混色が目立つ絵柄、例えば均一な（平坦な）絵柄のみを補正対象とすることで、総合的な画質の向上を図ることができる。混色が目立たない絵柄、例えば高周波成分が含まれる絵柄は、高周波成分を復元する欠陥補正をしたり、最近傍画素を優先する欠陥補正をしたりすることで、誤補正を回避できる。

更に、混色が目立つ絵柄の検出方法を、混色が発生しているがゆえの検出方法とすることで、簡素な方法とすることができ、計算量を低減させて、装置への実装がより容易になる。即ち、隣接する画素の差分値や、隣接する画素の画素値の変化量を算出することによって、混色が目立つ絵柄をより容易に検出することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本実施形態の画像処理は、ベイヤ配列によるイメージセンサ１０１を用いた場合について説明したが、イメージセンサがベイヤ配列以外の画素配列である場合も適用できる。例えば、図１３に、クリアビッド（登録商標）ＣＭＯＳ撮像素子の画素配列の一例を示した。クリアビッド（登録商標）ＣＭＯＳ撮像素子は、ベイヤ配列に対して、各画素を４５度回転し、色の配置を変えたものである。図１３に示す例では、Ｇ画素の数がベイヤ配列に比べて増加している。

そして、同色画素を、各画素が有する色に注目して周辺画素の位置関係が同一である画素と定義し、欠陥画素と同一の色を有する同色画素を検出することによって、適正な補正画素値を算出できる。

例えば、図１３に示す例で、Ｇ６４（緑色）が欠陥画素であり、矢印の方向に相関がある絵柄である場合、最近傍画素を優先する補正であれば、Ｇ５３とＧ７４から補正値を算出することが考えられる。しかし、Ｇ５３とＧ７４は、上下左右に位置する周辺画素の位置関係が異なるため、均一な（平坦な）絵柄であっても混色によって異なる値になっている可能性がある。そこで、Ｇ６４と同色となるＧ２２とＧ１０６から補正値を算出する。これにより、画質が改善される場合がある。ただし、ベイヤ配列の場合に比べて、補正に使用する同色画素の位置が欠陥画素（注目画素）から離れてしまうため、この補正方法は絵柄によっては画像が破綻するおそれがある。従って、絵柄の状況を見ながら適応的に処理することも必要である。

また、本実施形態の画像処理は、撮像装置１００において行われる場合について説明したが、本発明はこの例に限定されない。例えば、撮像装置による撮影で取得されたＲＡＷデータを外部に出力して、例えばパーソナルコンピュータなどで上述した本実施形態の画像処理を適用することができる。

１０１ イメージセンサ
１０２ 前処理部
１０３ 映像信号処理部
１０４ ＪＰＥＧ信号生成回路
１１１ 撮像素子
１１２ ビデオアンプ
１１３ ＡＤ変換器
１２１ 調整回路
１２２ ゲイン調整回路
１２３ 欠陥補正回路
１２４ 混色補正回路
１２５ 色分離回路
１３１ 映像処理回路
１３２ ＹＣ信号生成回路
１３３ ガンマ補正回路

Claims (7)

1. 撮像素子における欠陥画素の位置を検出する欠陥画素検出部と、
   前記欠陥画素の周囲の高周波成分を検出する高周波成分検出部と、
   前記欠陥画素と同じ色を有する画素であって、周辺画素の色配置が前記欠陥画素の周辺画素の色配置と同一である同色画素の画素値を用いて、前記欠陥画素の第一の補正画素値を算出する補正画素値算出部と、
   前記第一の補正画素値を用いて色補正をする補正部とを有し、
   前記欠陥画素の周囲で前記高周波成分が検出された場合には、前記補正画素値算出部は、前記欠陥画素の最近傍画素を用いる処理、又は高周波成分復元処理によって、前記欠陥画素の第二の補正画素値を算出し、前記補正部は、前記第二の補正画素値を用いて色補正をする、画像処理装置。
2. 前記欠陥画素の周囲で前記高周波成分が検出されず、前記撮像素子で混色が発生しているとき、前記補正部が前記第一の補正画素値を用いて色補正をする、請求項１に記載の画像処理装置。
3. 前記欠陥画素の周囲で前記高周波成分が検出されず、前記撮像素子で混色が発生していないとき、
   前記補正画素値算出部は、前記欠陥画素の最近傍画素を用いる処理によって、前記欠陥画素の第三の補正画素値を算出し、
   前記補正部は、前記第三の補正画素値を用いて色補正をする、請求項１に記載の画像処理装置。
4. 前記高周波成分検出部は、前記欠陥画素と同じ色を有して隣接し合う画素の画素値の差分値を算出し、前記差分値と所定の閾値に基づいて、前記高周波成分の検出の有無を判断する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記高周波成分検出部は、前記欠陥画素と同じ色を有する画素の画素値の変化量を算出し、前記変化量に基づいて、前記高周波成分の検出の有無を判断する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 欠陥画素検出部が撮像素子における欠陥画素の位置を検出するステップと、
   高周波成分検出部が前記欠陥画素の周囲の高周波成分を検出するステップと、
   補正画素値算出部が前記欠陥画素と同じ色を有する画素であって、周辺画素の色配置が前記欠陥画素の周辺画素の色配置と同一である同色画素の画素値を用いて、前記欠陥画素の第一の補正画素値を算出するステップと、
   補正部が前記第一の補正画素値を用いて色補正をするステップと、
   を有し、
   前記欠陥画素の周囲で前記高周波成分が検出された場合には、前記補正画素値算出部が前記欠陥画素の最近傍画素を用いる処理、又は高周波成分復元処理によって、前記欠陥画素の第二の補正画素値を算出し、前記補正部が前記第二の補正画素値を用いて色補正をする、画像処理方法。
7. 欠陥画素検出部が撮像素子における欠陥画素の位置を検出するステップ、
   高周波成分検出部が前記欠陥画素の周囲の高周波成分を検出するステップ、
   補正画素値算出部が前記欠陥画素と同じ色を有する画素であって、周辺画素の色配置が前記欠陥画素の周辺画素の色配置と同一である同色画素の画素値を用いて、前記欠陥画素の第一の補正画素値を算出するステップ、
   補正部が前記第一の補正画素値を用いて色補正をするステップ、
   をコンピュータに実行させ、
   前記欠陥画素の周囲で前記高周波成分が検出された場合には、前記補正画素値算出部が前記欠陥画素の最近傍画素を用いる処理、又は高周波成分復元処理によって、前記欠陥画素の第二の補正画素値を算出し、前記補正部が前記第二の補正画素値を用いて色補正をするステップ、
   をコンピュータに実行させるためのプログラム。
   
   
   
   

Images