JP2015128226A - 撮像装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】適切に色シェーディング補正できるようにする。
【解決手段】撮影ボタンＳ２が押されると、まず絞り１０３を小絞りに切り替えて、小絞り画像を読み出し、次に絞り１０３を本撮影で用いる絞りに切り替えて、本撮影を行う。その後、本撮影で取り込んだ本撮影画像の各画素に対して、読み出した小絞り画像と比較して色の差分を求め、本撮影画像の補正値を計算し、その補正値を用いて本撮影画像を補正する。このように本撮影前に色シェーディングの発生量が少ない小絞り画像を取得し、本撮影画像との比較に基づいて、本撮影画像用の色シェーディング補正の補正値を求めることで、適切に色シェーディング補正を行うことができる。
【選択図】図６

Description

本発明は、撮影画像に色シェーディング補正を行う撮像装置、その制御方法及びプログラムに関する。

デジタルカメラの小型化に伴って、それに搭載されるカメラモジュールの小型化及び低背化が進んでいる。カメラモジュールの低背化を実現するために、カメラモジュールのレンズ（光学系）とイメージセンサ（固体撮像素子）が近接して配置されることによって、色シェーディングと呼ばれる現象が顕著に見られるようになってきている。

特許文献１には、予め各種光源により生じるシェーディングの補正用係を予め算出しておく構成が開示されている。この特許文献１には、さらに被写体像の画像データにおける色成分情報から被写体を照明している撮影光源の種類を特定し、その光源に対応したシェーディングの補正用係数を用いて画像データのシェーディングを補正する構成が開示されている。

特開２００８−２７７９２６号公報

しかしながら、特許文献１に開示された構成は、１枚の画像の色成分情報から光源の種類を推定しているため、光源の推定結果が被写体の色の影響を強く受けることになる。そのため、被写体の色の影響によって光源の推定を誤ってしまい、適切に色シェーディング補正できなくなる可能性が考えられる。

本発明は上記のような点に鑑みてなされたものであり、適切に色シェーディング補正できるようにすることを目的とする。

本発明の撮像装置は、２色以上のカラーフィルタを有する撮像素子と、前記撮像素子で撮影される本撮影画像に色シェーディング補正を行う補正手段とを備え、前記補正手段は、前記本撮影画像とは光学条件が異なる基準画像に応じて、前記本撮影画像に色シェーディング補正を行うことを特徴とする。

本発明によれば、本撮影画像とは光学条件が異なる基準画像に応じて、前記本撮影画像に色シェーディング補正を行うようにしたので、適切に色シェーディング補正を行うことができ、色シェーディングの影響を除いた良好な画像を得ることができる。

第１の実施形態に係る撮像装置の構成を示す図である。 色シェーディングについて説明するための図である。 色シェーディングの発生メカニズムについて説明するための図である。 絞り径と上光線入射角度の関係を示す図である。 光源のスペクトルと画素の分光感度について説明するための図である。 第１の実施形態に係る撮像装置による撮影から補正終了までの処理を示すフローチャートである。 小絞り画像、本撮影画像、補正画像を示す図である。 第２の実施形態に係る撮像装置による撮影から補正終了までの処理を示すフローチャートである。 補正値テーブルの例を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態に係る撮像装置の構成を示す図である。なお、本発明が適用可能な撮像装置としては、デジタルカメラや携帯電話やタブレット型ＰＣ等の携帯型電子情報機器用のカメラ等がある。
鏡筒１０１は、レンズ群１０２、１０４及び絞り１０３を含み、撮像素子１０５に結像するための光学素子で構成された光学ユニットである。
撮像素子１０５は、２色以上のカラーフィルタを有する、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等の固体撮像素子である。ここでは、ＲＧＢ３色のカラーフィルタを有する撮像素子を想定している。
Ａ／Ｄ変換部１０６は、撮像素子１０５から出力されたアナログ電気信号をデジタル信号に変換する。
シェーディング補正部１０７は、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された画像データに色シェーディング補正を行う。
画像処理部１０８は、シェーディング補正部１０７で色シェーディング補正された画像データに対し、各種補正を行ったり、所定の保存形式に変換したりする。
ＲＡＭ１０９は、画像処理部１０８で処理された画像データを保存したり、シェーディング補正部１０７で使用する補正値を保持したりする記憶部である。
ＣＰＵ１１０は、撮像装置の制御を司る制御ブロックであり、ズーム制御部１１１、露出演算部１１２、フォーカス制御部１１３、色温度推定部１１４を有する。
レンズ駆動部１１５は、ＣＰＵ１１０からの制御信号に従って鏡筒１０１を制御する。

次に、色シェーディングについて説明する。色シェーディングは、画面の位置に応じて、ＲＧＢの感度比が異なる現象である。
例えば色シェーディングの発生しない理想的な撮像装置で均一輝度面を撮影すると、各画面内の全ての領域でＲＧＢの色比は常に一定になる。
それに対して、色シェーディングが発生する撮像装置で均一輝度面を撮影すると、像高毎にＲＧＢの感度比が異なり、色比率が変化して、画面内の一部が着色する。図２（ａ）に示すように色シェーディングが発生すると、均一輝度面を撮影した画像２０１の破線のＲＧＢの水平出力値を比較すると、図２（ｂ）に示すような水平出力分布２０２となる。水平出力分布２０２において、ＲＧＢの出力最大値は同じ位置にあるが、画面中央と画面周辺でＲＧＢの色比率が異なっている。
このように、画面内の色毎の感度が異なることで、均一輝度面を撮影しても画面内の色比率が異なる色シェーディングが発生する。

次に、色シェーディングの発生メカニズムについて説明する。
図３（ａ）は、波長の異なる光が画素に入射したときの光の経路を示している。３０１はマイクロレンズ、３０２はＲのカラーフィルタ、３０３はＢのカラーフィルタ、３０４、３０５はＰＤ（フォトダイオード）、３０６は遮光膜である。
また、図３（ｂ）に、図３（ａ）のＡ−Ａの位置でＰＤ３０４、３０５を見た平面図を示す。３０８はＰＤ３０４に入射したＲの光を示し、３０９はＰＤ３０５に入射したＢの光を示す。
撮像面に対して光線が入射するとき、一般的な光学設計を行った場合、光学ユニット１０１の光軸の中心位置では撮像面に対して垂直に光線が入射するが、像高が高くなるにつれて、光線の入射角が傾くことがわかっている。
図３に示すように、光線の入射角が傾く場合は、遮光膜３０６等画素内の構造物によるケラレが発生する。光の波長によって屈折率が異なるため、ケラレの発生量は図３（ｂ）のようになる。波長が長いほど屈折率が低く、波長が短いほど屈折率が高い。そのため、Ｒの光３０８はＰＤ３０４の開口部からはみ出てケラれているが、Ｂの光３０９はＰＤ３０５の開口部に集光してケラレは発生していない。
この現象は、光線の入射角度に応じて、分光感度が異なることを示している。実際には、像高に応じて光線の入射角度が異なるため、画面中央部と比較して、周辺部では波長の長い光は、画素内の構造物によってケラれることが多くなる。そのため、長波長側の分光感度が低下する。このように、像高によって分光感度が異なる現象が、色シェーディングである。

図４は、絞り径と上光線入射角度の関係を示す図であり、（ａ）は絞り開放時の上光線経路を示し、（ｂ）は小絞り時の上光線経路を示す。４０１は上光線経路、４０２は絞り、４０３は撮像素子を示す。また、４０４は絞り開放時の上光線角度を示し、４０５は小絞り時の上光線角度を示す。
図４（ａ）の絞り開放時と、図４（ｂ）小絞り時とを比較すると、絞り径に応じて撮像素子４０３に入射する光線角度４０４、４０５が変化していることがわかる。

図５を参照して、光源のスペクトルと画素の分光感度について説明する。
図５（ａ）は、ある光源のスペクトルを示しており、横軸が波長、縦軸が光の強さを表わす。図５（ｂ）は、Ｒ画素の分光感度を示しており、横軸が波長、縦軸が感度を表わす。図５（ｃ）は、図５（ａ）の光を図５（ｂ）の画素が受光したときの画素の出力を示しており、横軸が波長、縦軸が出力信号値を表わす。
ここで、スペクトルの光５０１が、絞り径を開放、中間絞り、小絞り、と選択できる絞りを通って画素に入射した場合を考える。
図５（ｃ）は、図５（ａ）のスペクトルの光５０１が図５（ｂ）の分光感度の画素に入射したときの波長毎の画素出力を示している。画素の理想的な分光感度を５０２としたとき、絞り毎の分光感度は、小絞りのときは分光感度５０３、中間絞りのときは分光感度５０４、開放のときは分光感度５０５のようになる。
画素の出力は、波長毎の出力の積分値になる。例えば光５０１が分光感度５０２の画素に入射したとき、画素出力の面積５０６になる。同様に、光５０１が分光感度５０３の画素に入射したとき、画素出力の面積５０７になる。また、光５０１が分光感度５０４の画素に入射したとき、画素出力の面積５０８になる。また、光５０１が分光感度５０５の画素に入射したとき、画素出力の面積５０９になる。
このことから、絞り条件と光源によって色シェーディング量が異なることがわかり、開放でＲ出力が低下することから色シェーディングは大きくなる。
なお、図示しないが、Ｇ、Ｂ画素の分光感度は、絞り径に応じてＲ画素と異なる変化をする。

以上のような原理を用いて、以下に述べる手法で色シェーディングの補正処理を行う。
まず、本撮影の前に絞りを小絞りにした画像を読み出す。この画像を小絞り画像とする。
次に、本撮影の露出条件で撮影を行い、この画像を本撮影画像とする。ここでいう露出条件とは、ＡＥ動作によって導き出された絞り条件による、本撮影条件のことである。
そして、小絞り画像と本撮影画像とにおいて同じ画角の領域毎に色の変化を比較して、本撮影画像で発生した色シェーディングを小絞り画像の水準に低減するように補正を行う。小絞り画像は小絞り以外の画像と比較して、角度の大きい光線が入射しないため、色シェーディングの発生量は少ないことから、色シェーディング補正の基準画像としたものである。
上記の要領で、小絞り以外の絞りで撮影した本撮影画像の色シェーディングを、小絞り画像の色シェーディングの水準に低減する。以上が色シェーディング補正の概要である。

図６に、第１の実施形態に係る撮像装置による撮影から補正終了までの処理を示す。図６のフローチャートの処理は、ＣＰＵ１１０がプログラムを実行し、各部を制御することにより実現される。
ＥＶＦの状態で（ステップＳ６０１）、撮影準備ボタンＳ１が押されると（ステップＳ６０２）、ＡＥ／ＡＦ処理を実行する（ステップＳ６０３）。ＥＶＦとは、撮像素子１０５から読みだした画像情報をリアルタイムでＬＣＤ等の表示部に表示するための撮像素子の駆動方式であり、一般的には加算や間引き動作で画素信号の読み出しを行う。

この状態で撮影ボタンＳ２が押されると（ステップＳ６０４）、撮影処理を実行し、補正値の算出処理を行う。本実施形態では、まず絞り１０３を小絞りに切り替えて（ステップＳ６０５）、小絞り画像を読み出す（ステップＳ６０６）。次に、絞り１０３を本撮影で用いる絞りに切り替えて（ステップＳ６０７）、本撮影を行う（ステップＳ６０８）。その後、本撮影で取り込んだ本撮影画像の各画素に対して、ステップＳ６０６で読み出した小絞り画像と比較して色の差分を求め、本撮影画像の補正値を計算する（ステップＳ６０９）。そして、ステップＳ６０９で求めた補正値を用いて、本撮影画像を補正する（ステップＳ６１０）。

ステップＳ６１０で行う補正の詳細について説明する。本撮影画像と小絞り画像との色比率を比較して、画像中の色比率が異なる領域は、小絞り画像に色比率を近づける処理を行うものである。
具体的には、まず、本撮影画像と小絞り画像とを複数領域に分ける。次に、領域毎の色比率を求める。次に、本撮影画像と小絞り画像との、同じ画角の色比率を比較する。その結果、色比率が異なる場合、小絞り画像と同じ色比率になるように本撮影画像の対象領域の色にゲイン（補正値）をかけることで補正を行う。

図７を参照して、具体的な補正の処理について説明する。
図７（ａ）は小絞り画像を示し、図７（ｂ）は本撮影画像を示し、図７（ｃ）は補正画像を示す。
図７（ａ）の小絞り画像は本撮影前に取得する。これはＥＶＦ等のような、本撮影画像と異なるサイズの画像でよい。図７（ａ）の小絞り画像と図７（ｂ）の本撮影画像とを同じ画角になるように領域分けを行う。
次に、各領域の色比率を比較する。色比率は基準となる色の出力値と、その他の色の出力値との比率を示している。本実施形態では、色比率の基準をＢの色で示す。Ｒとの色比率をＲ／Ｂ、Ｇとの色比較をＧ／Ｂで表わす。
また、図７（ａ）の小絞り画像の領域７０１の色比率は、ＲとＢの色比率がＤＲ／ＤＢ、ＧとＢの色比率がＤＧ／ＤＢとする。
図７（ｂ）の本撮影画像の領域７０２（領域７０１と同じ画角の領域）の色比率も同様にＥＲ／ＥＢ、ＥＧ／ＥＢとする。
例として、領域７０２を補正する場合を考える。具体的には、色比率Ｒ／Ｂについて領域７０１と領域７０２とで比較し、領域７０２のＲ出力値を補正する処理を行う。
ここで、補正値をαとした場合、色比率ＤＲ／ＤＢ、ＥＲ／ＥＢは（式１）の関係になり、αは（式２）のように求められる。
ＤＲ／ＤＢ=ＥＲ／ＥＢ×α・・・（式１）
α＝ＤＲ×ＥＢ÷（ＤＢ×ＥＲ）・・・（式２）
ここで求めた補正値αを領域７０２のＲ出力値に積算することで、領域７０２と領域７７０１の読み出し画像の色シェーディング量を見た目上同等に補正することができる。なお、色比率ＤＧ／ＤＢ及びＥＧ／ＥＢに対しても同様の処理を行い、得られた補正値を領域７０２のＧ出力値に積算する。

以上のように、本実施形態の構成では、本撮影前に色シェーディングの発生量が少ない小絞り画像を取得し、本撮影画像との比較に基づいて、本撮影画像用の色シェーディング補正の補正値を求める。こうすることで、適切に色シェーディング補正を行うことができ、色シェーディングの影響を除いた良好な画像を得ることができる。

上記実施形態では、絞り値を切り替えることは光線入射角度を変化させることを目的としており、小絞り画像を色シェーディングの少ない基準画像として、本撮影画像と色シェーディングの発生量を比較して、本撮影画像を補正するようにした。ただし、絞り以外にも、フォーカス等その他の光学条件を撮影時と本撮影時とで変えて、色シェーディングの発生しにくい光学条件とした基準画像にすることも可能である。そして、本撮影画像と基準画像との色比率の差分から本撮影画像の色シェーディングを補正してもよい。
また、上記実施形態では、本撮影の前に小絞り画像を撮影する例を説明したが、本撮影の後に小絞り画像を撮影するようにしてもよい。

（第２の実施形態）
第２の実施形態では、本撮影前に絞りの異なる複数の画像を撮影して、色シェーディング補正の補正値を求め、本撮影時に補正を行う。なお、第２の実施形態に係る撮像装置の構成は第１の実施形態と同様であり、その説明を省略する。

第１の実施形態では、本撮影前に小絞り画像を取得して、本撮影画像と色比率を比較して、小絞り画像と色比率が同じになるように本撮影画像を補正していた。
しかしながら、第１の実施形態では、本撮影後に補正値を求めるため、撮影処理が冗長になるおそれがある。
そこで、第２の実施形態では、本撮影前に絞りの異なる複数の画像を撮影して、色シェーディング補正の補正値を求めてから、本撮影を実行する。これにより、第１の実施形態と比較して、撮影後に補正値を求める必要がなくなり、連写撮影時の撮影間隔が短縮される。

図８に、第２の実施形態に係る撮像装置による撮影から補正終了までの処理を示す。図８のフローチャートの処理は、ＣＰＵ１１０がプログラムを実行し、各部を制御することにより実現される。
ＥＶＦの状態で（ステップＳ８０１）、撮影準備ボタンＳ１が押されると（ステップＳ８０２）、ＡＥ／ＡＦ処理を実行する（ステップＳ８０３）。
次に、絞り１０３を小絞りに切り替えて（ステップＳ８０４）、小絞り画像を読み出し（ステップＳ８０５）。また、絞り１０３を本撮影と同じ絞り（以下、本撮影絞りという）に切り換えて（ステップＳ８０６）、本撮影絞り画像を読み出す（ステップＳ８０７）。そして、小絞り画像と本撮影絞り画像との各画素を比較して、後述する補正値テーブルから補正値を選択する（ステップＳ８０８）。なお、小絞りの撮影と本撮影絞りの撮影の順は逆でもかまわない。

撮影ボタンＳ２が押されると（ステップＳ８０９）、絞り１０３を本撮影で用いる絞りに切り替えて（ステップＳ８１０）、本撮影を行う（ステップＳ８１１）。その後、本撮影で取り込んだ本撮影画像の各画素に対して、ステップＳ８０８で選択した補正値を用いて補正する（ステップＳ８１２）。
第２の実施形態では、第１の実施形態のように撮影ボタンＳ２の押し込み後に小絞り画像を撮影する必要がないため、連写撮影時の撮影間隔を短縮することができる。

ステップＳ８０８で補正値を選択する際に使用する補正値テーブルについて説明する。
図９（ａ）、（ｂ）に補正値テーブルの例を示す。補正値は本撮影時の絞り値、焦点距離で分けられている。また、色シェーディングを検出する際に画像を分割する領域毎に記録されている。例えば、５×５の領域に分割して色シェーディングを検出する場合は、補正値テーブルには２５個に分割して補正値が記憶されている。

補正値テーブルから補正値を選択する方法について説明する。
小絞り画像と本撮影絞り画像との色比率から補正候補値を求める。次に、補正候補値を、図９（ａ）、（ｂ）の補正値テーブルと比較する。例えば、本撮影を絞りＦ２．８、焦点距離７０ｍｍで撮影する場合、図９（ａ）のＧと図９（ｂ）のｇが該当する。次に、Ｇとｇとを比較し、補正候補値と値が近い方を補正値とする。
このように、補正値は予め数種類求めておき、検出された色比率に応じて補正値を選択する。これにより、検出結果が異常値になっても補正値がある範囲以内に収まり、誤補正の発生頻度を低減することができる。
また、別の方法として、本撮影と焦点距離（例えば、７０ｍｍ）を等しくした状態で、絞り１０３を小絞りに設定した小絞り画像と、絞り１０３を開放に設定した開放画像を生成し、これらの色比率を求める。そして、開放画像の色比率を、小絞り画像の色比率で割った補正比率を求める。この値は、小絞り画像を基準としたときの開放画像の補正値の大きさを示す。
続いて、図９（ａ）、（ｂ）の補正値テーブルから、焦点距離が７０ｍｍのときの小絞りの補正値Ｊ、ｊと、開放の補正値Ｆ、ｆを読み出し、これらの比率Ｆ／Ｊ及びｆ／ｊを求める。これらの比率Ｆ／Ｊ及びｆ／ｊは、小絞り画像を基準としたときの開放画像の補正値の大きさを示す。そして、比率ｆ／ｊよりも、比率Ｆ／Ｊのほうが補正比率と近ければ、図９（ａ）の補正値テーブルを選択し、比率Ｆ／Ｊよりも、比率ｆ／ｊのほうが補正比率と近ければ、図９（ｂ）の補正値テーブルを選択する。
これらの処理を撮影ボタンＳ２が押される前に行うことで、撮影時のタイムラグを発生させずに済む。

以上のように、本撮影前に絞りの異なる２枚以上の画像を取得し、予め用意されている色シェーディングの補正値を選択することで、撮影時にタイムラグを発生することなく、適切に色シェーディング補正を行うことができ、色シェーディングの影響を除いた良好な画像を得ることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：鏡筒、１０２、１０４：レンズ群、１０３：絞り、１０５：撮像素子、１０６：Ａ／Ｄ変換部、１０７：シェーディング補正部、１０９：画像処理部、１０９：ＲＡＭ、１１０：ＣＰＵ、１１１：ズーム制御部、１１２：露出演算部、１１３：フォーカス制御部、１１４：色温度推定部

Claims (8)

1. ２色以上のカラーフィルタを有する撮像素子と、
   前記撮像素子で撮影される本撮影画像に色シェーディング補正を行う補正手段とを備え、
   前記補正手段は、前記本撮影画像とは光学条件が異なる基準画像に応じて、前記本撮影画像に色シェーディング補正を行うことを特徴とする撮像装置。
2. 前記補正手段は、前記本撮影画像と、前記基準画像との比較に基づいて、前記本撮影画像用の色シェーディング補正の補正値を求めることを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記本撮影画像の撮影前に、前記基準画像に基づいて、前記本撮影画像用の色シェーディング補正の補正値を求めることを特徴とする請求項１に記載の撮像装置。
4. 前記本撮影画像の撮影前に、所定の光学条件で前記撮像素子で撮影される画像を前記基準画像とすることを特徴とする請求項３に記載の撮像装置。
5. 前記基準画像は２枚以上の画像であることを特徴とする請求項４に記載の撮像装置。
6. 光学条件は絞りであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. ２色以上のカラーフィルタを有する撮像素子を備えた撮像装置の制御方法であって、
   前記撮像素子で撮影される本撮影画像に色シェーディング補正を行う補正ステップを有し、
   前記補正ステップでは、前記本撮影画像とは光学条件が異なる基準画像に応じて、前記本撮影画像に色シェーディング補正を行うことを特徴とする撮像装置の制御方法。
8. ２色以上のカラーフィルタを有する撮像素子を備えた撮像装置を制御するためのプログラムであって、
   前記撮像素子で撮影される本撮影画像に色シェーディング補正を行う補正処理をコンピュータに実行させ、
   前記補正処理では、前記本撮影画像とは光学条件が異なる基準画像に応じて、前記本撮影画像に色シェーディング補正を行うことを特徴とするプログラム。

Images