JP2015032966A - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】主要被写体が好適な階調範囲で表現された画像を生成する。
【解決手段】画像処理装置は、補正対象の画像から主要被写体を検出し、主要被写体に重み付けして得られた画像の輝度分布に基づき、分類される画素が多い輝度範囲ほど階調幅を拡張する第１の補正特性を設定する。また合焦度合いが高い領域に重み付けして得られた画像の輝度分布に基づき、合焦度合いが高い領域ほど階調幅を拡張する第２の補正特性を設定する。そして画像処理装置は、第１の補正特性と第２の補正特性とを重み付け合成した第３の補正特性に基づいて画像の階調を補正する。
【選択図】図４

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に画像における階調範囲を補正する技術に関する。

デジタルカメラ等の撮像装置を使用して撮影を行う場合、逆光シーンにおける撮影では、主要被写体が暗く、該被写体以外の背景や空が明るい画像が得られることになる。即ち、主要被写体の画像について割り当てられる階調の幅が狭くなる。一般に、このような画像に対しては階調補正処理を適用し、コントラストが強調されるように画像の補正が行われる。例えば、画像に含まれる画素について生成された輝度値ヒストグラムについて、頻度が高い輝度値周辺の画素の階調範囲が拡大されるような階調補正曲線が決定され、該曲線に従って階調補正が行われる。

しかしながら、このような基準で階調範囲を拡大する場合、主要被写体が画像において占有している面積によっては、主要被写体の輝度値が階調範囲の拡大対象とならないことがある。即ち、主要被写体以外の被写体が多くの面積を占有する場合、該被写体の輝度値が拡大対象となるため、逆に主要被写体の画素の階調範囲が狭められてしまう可能性があった。

また、画像内で、空のような輝度値の変動幅が狭い被写体の占有する面積が大きい場合、上述のような階調補正手法では、該被写体に不要な階調範囲が割り当てられる可能性があった。

このような問題に対し、特許文献１には、階調の変動幅が大きくかつエッジ量の多い領域に重みをおいた階調補正曲線を生成することで、被写体の面積に依存しない階調補正を実現する手法が開示されている。

特開２０１０−１３０１５０号公報

しかしながら、特許文献１に記載の手法では、主要被写体以外の被写体が画像内で占有する面積が広く、かつ該被写体のエッジ量が多い場合、主要被写体以外の被写体に対して階調範囲の拡大が行われる可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、主要被写体が好適な階調範囲で表現された画像を生成する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、補正対象の画像を取得する取得手段と、取得手段により取得された画像から主要被写体を検出する検出手段と、主要被写体に重み付けして得られた画像の輝度分布に基づき、分類される画素が多い輝度範囲ほど階調幅を拡張する第１の補正特性を設定する第１の設定手段と、合焦度合いが高い領域に重み付けして得られた画像の輝度分布に基づき、合焦度合いが高い領域ほど階調幅を拡張する第２の補正特性を設定する第２の設定手段と、第１の設定手段により設定された第１の補正特性と、第２の設定手段により設定された第２の補正特性とを重み付け合成した第３の補正特性に基づいて画像の階調を補正する補正手段と、を有することを特徴とする。

このような構成により本発明によれば、主要被写体が好適な階調範囲で表現された画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係る画像処理部１０４の内部構成を示したブロック図 本発明の実施形態に係る階調変換部２０３の詳細構成を示したブロック図 本発明の実施形態に係る画像処理部１０４において実行される階調補正処理を例示したフローチャート 本発明の実施形態に係る空領域の判定に係る信頼度を説明するための図 本発明の実施形態に係る第１曲線算出部３０２において実行される補正曲線決定処理（第１）を例示したフローチャート 本発明の実施形態に係る逆光シーンを例示した図 本発明の実施形態に係る被写体種類に応じて分割された領域ごとの輝度ヒストグラムを例示した図 本発明の実施形態に係る被写体種類の分布に応じて生成された輝度ヒストグラムを例示した図 本発明の実施形態に係る被写体種類の分布に応じて決定された第１の階調補正曲線を例示した図 本発明の実施形態に係る第２曲線算出部３０４において実行される補正曲線決定処理（第２）を例示したフローチャート 図７の逆光シーンに対応するエッジ量分布を例示した図 本発明の実施形態に係る合焦度合いに応じて分割された領域ごとの輝度ヒストグラムを例示した図 本発明の実施形態に係る合焦度合いの分布に応じて生成された輝度ヒストグラムを例示した図 本発明の実施形態に係る合焦度合いの分布に応じて決定された第２の階調補正曲線 本発明の実施形態に係る比率算出部３０５において実行される比率決定処理を例示したフローチャート 本発明の実施形態に係る人物信頼度と第１の領域分割信頼度との関係を例示した図 本発明の実施形態に係るエッジ量の差分と第２の領域分割信頼度との関係を例示した図 本発明の実施形態に係る加重加算判定信号と加重加算比率の関係を例示した図 本発明の実施形態に係る逆光シーンを例示した別の図 本発明の実施形態に係る逆光シーンを例示したさらに別の図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、入力された画像について階調補正処理を適用可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、入力された画像について階調補正処理を適用することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０６は、例えばＣＰＵやマイクロコンピュータ等の制御装置である。制御部１０６は、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０６は、不図示のＲＯＭに格納されている各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。

撮像素子１０２は、例えばＣＣＤやＣＭＯＳセンサ等の２次元配列の光電変換素子で構成された撮像素子である。撮像素子１０２は、光学系１０１により撮像面に結像された光学像を光電変換し、アナログ画像信号を出力する。光学系１０１には、フォーカスレンズや絞り、シャッタ等が含まれ、各光学部材は撮影時の露光量の調節のために駆動制御される。具体的には撮影時において、フォーカスレンズは被写体に合焦する位置に駆動され、撮影環境の光量や露光時間に応じて絞り及びシャッタが駆動制御される。Ａ／Ｄ変換部１０３は、撮像素子１０２により出力されたアナログ画像信号をデジタルデータである画像信号（画像）に変換するＡ／Ｄ変換処理を適用する。

画像処理部１０４は、画像信号に対してホワイトバランス補正処理、階調補正処理等の種々の画像処理を適用する。記録用の画像処理が適用された画像は、記録部１０５に伝送された後、ＪＰＥＧやＭＯＶ等の所定の記録形式に変換されて不図示の記録媒体に記録される。

〈画像処理部１０４の構成〉
ここで、本実施形態の画像処理部１０４の内部構成について、図２を用いて説明する。

撮像によりＡ／Ｄ変換部１０３から出力された画像信号が画像処理部１０４に入力されると、画像信号はホワイトバランス補正部２０１においてゲイン処理が適用される。具体的には、例えば撮像素子が原色のベイヤー配列である場合、Ｒ、Ｇ１、Ｇ２、Ｂの画素信号のそれぞれに対して異なるゲインを乗じる。ゲインの算出方法については、例えば特許第３５１３５０６号に開示されている技術を用いて算出すればよい。該文献では、画像を複数の分割領域に分割し、各分割領域の位置に応じた条件に基づいて各分割領域内の画像データが白色であるかを判断する。そして白色であると判断された分割領域の画像データに基づいてホワイトバランス補正時のゲインを算出し、各信号に適用する。本実施形態では、特許第３５１３５０６号に開示の手法を用いてホワイトバランス補正時のゲインを算出するものとして説明するが、公知の他の手法を用いてゲインは算出されるものであってもよい。

ホワイトバランス補正がなされた画像信号（ベイヤー画像信号）は、第１信号変換部２０２に入力される。第１信号変換部２０２は、入力されたベイヤー画像信号から、輝度信号Ｙと色相信号Ｈを変換により生成する。ベイヤー画像信号から各信号への変換は、例えば以下の式（１）及び（２）を用いて行う。
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ ・・・（１）
ここで、Ｇ信号の値は、変換対象の画素信号に対応するＧ１信号とＧ２信号の加算平均により算出される値であってよい。第１信号変換部２０２は、入力されたベイヤー画像信号、及び生成した輝度信号Ｙ及び色相信号Ｈを階調変換部２０３に出力する。

階調変換部２０３は、入力されたベイヤー画像信号、輝度信号、及び色相信号を用いて後述の階調補正処理を実行し、主要被写体の階調範囲を好適に拡大したベイヤー画像信号を出力する。

第２信号変換部２０４は、階調変換部２０３において階調補正が適用されたベイヤー信号をＹＵＶ色空間の画像信号（Ｙ信号、Ｕ信号、及びＶ信号）に変換して出力する。例えばベイヤー信号からＹ信号への変換は式（１）を使用し、Ｕ信号及びＶ信号への変換は以下の式（３）及び（４）を用いて行う。
Ｕ＝0.169×Ｒ−0.331×Ｇ＋0.500×Ｂ ・・・（３）
Ｖ＝0.500×Ｒ−0.419×Ｇ＋0.081×Ｂ ・・・（４）

操作部１０７は、レリーズボタンや十字キー等のデジタルカメラ１００が有するユーザインタフェースである。操作部１０７は、ユーザインタフェースがユーザにより操作されたことを検出すると、対応する制御信号を制御部１０６に出力する。

表示部１０８は、例えばＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１０８は、撮像により得られた画像信号や記録媒体から読み出された画像信号を表示する。また表示部１０８は、撮影時の操作の補助用途として、操作に係る情報提示を行うために用いられる。

《階調補正処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行される階調補正処理について、階調変換部２０３の詳細構成を示した図３、及び図４のフローチャートを用いて具体的な処理を説明する。なお、本階調補正処理は、例えば撮像により得られた画像信号が階調変換部２０３に入力された際に開始されるものとして説明する。

Ｓ４０１で、種類別分割部３０１は、輝度信号と色相信号とに基づいて、画像に含まれる被写体を種類ごとに分類し、該分類に応じて画像の領域を分割する。本実施形態では種類別分割部３０１は、主要被写体である人物と、空、空以外の背景との３種類に被写体を分類する。

具体的には種類別分割部３０１はまず、画像を複数のブロックに分割し、各ブロックについて輝度、色相、エッジ量に基づいて空である領域を特定する。空領域であるか否かの判定は、例えばブロックについて取得された輝度、色相、及びエッジ量の各々が空領域とみなす輝度範囲、色相範囲、エッジ量に合致する度合いに応じて設定された信頼度に応じて行われる。信頼度の算出は、例えば図５（ａ）乃至（ｃ）に示されるように輝度が所定の輝度値以上高く、色相が所定の色相範囲にあり、エッジ量が所定のエッジ量より少ないほど高くなるように設定された計算式に応じて行われる。即ち、輝度、色相、及びエッジ量の各々について算出された信頼度ａ乃至ｃを乗じることにより、最終的な領域についての信頼度Ｒｓが算出される。なお、図５に示されるような信頼度決定に係るパラメータＹ１、Ｙ２、Ｈ１乃至Ｈ４、Ｅ１、及びＥ２は、実験値や理論値に応じて任意に決められるものであってよい。

また種類別分割部３０１は、主要被写体である人物の領域を、例えば特開２００９−０５９３２６号公報に記載される手法を用いて特定する。具体的には種類別分割部３０１は、人物候補領域の検出結果に対して、人物と同色相の領域の数、人物領域内の輝度差、顔の面積、被写界の輝度（測光値）、及びフラッシュ発光の有無の情報のそれぞれについて信頼度を算出し、計５つの信頼度を算出する。そして種類別分割部３０１は、得られた５つの信頼度を乗じることで、検出結果の信頼度である人物信頼度Ｒｈを取得し、該信頼度に応じて領域が人物領域であるか否かを判定する。

また種類別分割部３０１は、空領域及び人物領域のいずれにも属さない領域を、空以外の背景である領域として分類する。

Ｓ４０２で、第１曲線算出部３０２は、補正曲線決定処理（第１）を実行し、画像における種類ごとの被写体の分布に基づく第１の階調補正曲線を決定する。

〈補正曲線決定処理（第１）〉
ここで、本実施形態の補正曲線決定処理（第１）について、図６のフローチャートを参照して詳細を説明する。

Ｓ６０１で、第１曲線算出部３０２は、種類別分割部３０１において分割された領域ごとに輝度ヒストグラムを生成する。例えば図７のような逆光シーン（黒の色味が強いほど輝度の低さを示す）で撮影した画像において、図のように領域の分類がなされた場合、各領域についての輝度ヒストグラムは図８（ａ）乃至（ｃ）のようになる。種類別分割部３０１は、生成されたそれぞれの輝度ヒストグラムを参照し、単純に面積の大きい領域が階調補正において支配的とならないよう、各輝度ヒストグラムの頻度を領域の面積に応じて除することで正規化する。

Ｓ６０２で、第１曲線算出部３０２は、正規化された各被写体についての輝度ヒストグラムを、主要被写体に重みを置いて加重加算する。加重加算における各被写体の重みは、第１曲線算出部３０２が画像全体の階調バランスを考慮することで決定される。例えば図８（ａ）では人物領域が低輝度範囲に分布しているが、このとき主要被写体である人物領域のヒストグラムに重点を置いた場合、図９のような輝度ヒストグラムが加重加算により得られる。各ヒストグラムに乗じられる重みは、例えば人物領域：空以外の背景領域：空領域＝６：３：１のように予め定められたバランスで決定されてもよいし、各領域の占有する面積の割合を考慮して決定されてもよい。

Ｓ６０３で、第１曲線算出部３０２は、Ｓ６０２における加重加算により得られた輝度ヒストグラムを参照し、該ヒストグラムにおいて頻度の高い輝度範囲の階調幅が広くなる第１の階調補正曲線を決定する。本実施形態では加重加算により得られた輝度ヒストグラムを図９のような３つの輝度範囲に分け、第１曲線算出部３０２は各輝度範囲について割り当てる階調の幅を設定することで第１の階調補正曲線を決定する。各輝度範囲に割り当てる階調の幅Ｉ_ｉは、各輝度範囲の画素数Ｎ_ｉ（ｉ＝１〜３）を画像の総画素数で除した値に全階調幅（本実施形態では１０ビット）を乗じる
により決定される。このようにして各輝度範囲に割り当てる階調幅が決定されると、図１０に示されるように補正の前後での輝度値の対応を示す第１の階調補正曲線が得られる。即ち、図１０に示されるように、頻度が高くなるように重みづけられた低輝度範囲の人物領域の画素に対して割り当てられる階調幅が広くなり、反対に、もともと階調幅の狭い空領域の階調幅を不要に拡張しないように補正する曲線を設定することができる。

なお、入力側の輝度範囲の分割は、例えば図８のように被写体分類ごとに生成した輝度ヒストグラムにおける画素数の比率に応じて決定されてよい。また、本実施形態では入力側の輝度範囲の分割数を３として設定したが、本発明の実施はこれに限られるものではなく、３以上の数が設定されてもよい。

また階調補正処理のＳ４０３で、合焦度合別分割部３０３は、撮影された画像信号における合焦状態あるいは画像信号のエッジ量の情報に基づき、合焦度合いに応じて画像の領域を分割する。本実施形態では、エッジ量の情報に基づいて合焦度合いを判断する場合の例について説明する。合焦度合別分割部３０３は、入力された輝度信号に対して例えば［−１，０，２，０，−１］のようなフィルタを適用することでエッジ画像を生成する。そして、該画像を分割したブロックごとに合計エッジ量を取得し、合焦度合いが予め定めたいずれの段階に分類されるかを特定する。なお、エッジ量算出の際、低輝度領域の被写体についてのエッジ量が少なくなる傾向があるため、領域の輝度に基づいて正規化を行った上で合焦度合別分割部３０３は分類を行うものとする。

Ｓ４０４で、第２曲線算出部３０４は、補正曲線決定処理（第２）を実行し、画像における合焦度合いに応じた領域分布に基づく第２の階調補正曲線を決定する。

〈補正曲線決定処理（第２）〉
ここで、本実施形態の補正曲線決定処理（第２）について、図１１のフローチャートを参照して詳細を説明する。

Ｓ１１０１で、第２曲線算出部３０４は、合焦度合別分割部３０３において分割された領域ごとに輝度ヒストグラムを生成する。本実施形態では、エッジ量に基づく合焦度合いを５段階に定め、図７の逆光シーンの画像信号が、図１２のように空以外の背景領域にエッジ量が多い領域に分類されたケースについて説明する。該ケースにおいて、各合焦度合いの領域についての輝度ヒストグラムは図１３のようになる。

Ｓ１１０２で、第２曲線算出部３０４は、各合焦度合いの領域の輝度ヒストグラムを、合焦度合いの高い領域、即ち正規化されたエッジ量が多い領域ほど大きい重みを付して加重加算する。図１２の例において領域５に最も高い重みが付されるようにして、図１３（ａ）乃至（ｅ）の輝度ヒストグラムを加重加算した場合、例えば図１４のような輝度ヒストグラムが得られる。各ヒストグラムに乗じられる重みは、例えば領域５：領域４：領域３：領域２：領域１＝５：４：３：２：１のように予め定められたバランスで決定されてもよいし、各領域の占有する面積の割合を考慮して決定されてもよい。

Ｓ１１０３で、第２曲線算出部３０４は、Ｓ１１０２における加重加算により得られた輝度ヒストグラムを参照し、該ヒストグラムにおいて頻度の高い輝度範囲の階調幅が広くなる第２の階調補正曲線を決定する。本実施形態では加重加算により得られた輝度ヒストグラムを図１４のような３つの輝度範囲に分け、第２曲線算出部３０４は各輝度範囲について割り当てる階調幅を上述の式（５）を用いて決定する。そして第２曲線算出部３０４は、決定した各輝度範囲に割り当てる輝度幅に応じて、図１５に示されるような補正の前後での輝度値の対応を示す第２の階調補正曲線を取得する。図１４の例では、空以外の背景領域がエッジ量の多い輝度範囲に分布しているため、図１５のように空以外の背景領域に対して割り当てられる輝度の階調幅が広く設定された階調補正曲線が得られる。

また階調補正処理のＳ４０５で、比率算出部３０５は比率決定処理を実行し、第１曲線算出部３０２及び第２曲線算出部３０４により実行された補正曲線決定処理により得られた第１及び第２の階調補正曲線の合成比率を決定する。

〈比率決定処理〉
ここで、被写体種類の分布に応じて決定された第１の階調補正曲線と、合焦度合いに応じて決定された第２の階調補正曲線との合成比率を決定する、本実施形態の比率決定処理について図１６のフローチャートを参照して詳細を説明する。

Ｓ１６０１で、比率算出部３０５は、補正曲線決定処理（第１）のＳ４０１において算出された人物領域の信頼度Ｒｈに基づき、第１の領域分割信頼度を算出する。具体的には比率算出部３０５は、図１７のような人物信頼度Ｒｈと第１の領域分割信頼度の関係式に基づいて、人物信頼度Ｒｈに対応する第１の領域分割信頼度を取得する。第１の領域分割信頼度は、図１７に示されるように、人物信頼度が高いほど高くなる値とする。

Ｓ１６０２で、比率算出部３０５は、人物領域とそれ以外の領域のエッジ量の差に基づき、第２の領域分割信頼度を算出する。具体的には比率算出部３０５は、輝度信号から生成したエッジ画像を用いて２つの領域のエッジ量を取得した後、それぞれ対応領域の面積で正規化することで、単位面積当たりのエッジ量の差分を算出する。そして比率算出部３０５は、図１８のようなエッジ量の差分と第２の領域分割信頼度との関係式に基づいて、算出したエッジ量の差分に対応する第２の領域分割信頼度を取得する。第２の領域分割信頼度は、図１８に示されるように、エッジ量の差分が小さいほど高くなる値とする。

Ｓ１６０３で、比率算出部３０５は、第１及び第２の領域分割信頼度をかけ合わせることで加重加算判定信号を算出し、該加重加算判定信号に基づいて第１及び第２の階調補正曲線の合成比率である加重加算比率を決定する。加重加算判定信号と加重加算比率の関係は、例えば図１９のようであり、加重加算判定信号が大きいほど第１の階調補正曲線の加重が大きくなり、第２の階調補正曲線の加重が小さくなるように定められている。即ち、人物信頼度が高く、エッジ量の差分が小さいほど、被写体種類の分布に応じて決定された第１の階調補正曲線が優先される合成比率が決定される。また反対に、人物信頼度が小さく、エッジ量の差分が大きいほど、合焦度合いに応じて決定された第２の階調補正曲線が優先される合成比率が決定される。

つまり、例えば主要被写体である人物が認識されるようなケースでは、主要被写体の階調幅を広くし、一方で主要被写体よりもコントラストが高い背景領域の階調幅が広くなることを防ぐように補正されることが好ましい。このため、主要被写体である人物領域が認識された際の人物信頼度Ｒｈが高いほど、人物被写体の階調幅が優先的に広くされる第１の階調補正曲線の加重が大きくなるようにしている。

一方、主要被写体である人物領域が認識された際の人物信頼度Ｒｈが低い、即ち認識結果の信頼度が低いことになるため、主要被写体ではない領域の階調幅が拡張されることが考えられる。このため、第１の階調補正曲線ではなく、エッジ強度の強い、あるいはコントラストが高い（階調幅がもともと広い）領域の階調幅が拡張される第２の階調補正曲線の加重が大きくなるようにしている。

また主要被写体以外の領域のエッジ量が少ない場合、該領域は空等のコントラストが低い（階調幅が狭い）被写体であるか、合焦度合いの低い被写体であると考えられる。例えば、合焦度合いの低い被写体である場合、空と、空以外の背景のうちの高輝度部分との判別が困難になり、領域抽出の精度は低いと考えられる。つまり、空と空以外の背景の輝度ヒストグラムの正当性が低く、第１の階調補正曲線は所望の結果が得られていないと考えられる。またポートレートのように主要被写体以外の領域と主要被写体との合焦度合いが極端に異なり、主要被写体以外の領域がボケている場合、背景の階調を優先せず、合焦している主要被写体のみの階調幅が拡張できればよいものと考えられる。このため、本実施形態では主要被写体とそれ以外の領域のエッジ量の差分が大きい場合は、合焦していると思われる領域の階調幅を拡張する第２の階調補正曲線の加重が大きくなるようにしている。

例えば図２０（ａ）のような主要被写体に合焦していて、背景が極端にボケているシーンを考える。このとき、背景領域のエッジ量は少ないため、エッジ量に基づく領域分布は図２０（ｂ）のようになる。また主要被写体の領域２００１、空以外の背景領域（２００３及び２００４）、空領域２００２の判定を行った場合、図２０（ｃ）のようにエッジ量の少ない背景領域２００３が空領域として誤認識されうる。即ち、被写体種類に応じた領域分割が正しく行われないため、第１の階調補正曲線は所望の入出力特性になっていないと考えられる。一方、主要被写体以外の背景がボケているため、ボケている被写体の階調を必要以上に拡張する必要はないため、結果としてコントラストの高い主要被写体の階調幅を優先的に拡張することが好ましい。故に、上述の関係に従い加重加算比率が決定された場合、図２０（ｄ）のような第１の階調補正曲線ではなく、図２０（ｅ）のような第２の階調補正曲線に重みを置いた第３の階調補正曲線が取得される。

また、例えば図２１（ａ）のように人物が存在しないシーンでは、主要被写体として人物が設定されている場合は、主要被写体領域は検出されないと考えられる。また図２１（ａ）のシーンでは、低輝度な背景領域２１０１（車両）に合焦しており、車両よりも明るい背景領域２１０２がボケている。この場合、図２１（ｃ）に示されるように、被写体は空以外の背景領域と空領域の２種類の領域に分割される。しかしながら、背景領域２１０１と背景領域２１０２との合焦度合いが異なる条件で領域分類を判定した場合、図２１（ｃ）にも示されるように正しい領域分類が行えない可能性がある。さらに、好適な階調補正としては、合焦している背景領域２１０１を主要被写体として捉えて階調範囲の拡張を行うことが考えられるが、図２１（ｃ）のように背景領域２１０２の一部も空以外の背景領域として認識されうる。つまり、図２１（ｄ）に示されるように、空以外の背景領域についての輝度ヒストグラムでは、合焦していない領域の輝度分布の影響を受け、図２１（ｆ）のように第１の階調補正曲線が所望の入出力特性を示さない可能性がある。特に、図２１（ａ）のように背景領域における輝度差が大きい場合は、このような問題が顕著化しうる。このため、図２１（ａ）のようなシーンでは、エッジ量の多い領域の階調幅が拡張されるよう、図２１（ｇ）のような第２の階調補正曲線に重みが置かれることが好ましい。本実施形態では、主要被写体が検出されなかった場合は人物信頼度が０となるため、第３の階調補正曲線は第２の階調補正曲線となり、エッジ量の多い被写体の階調幅を拡張するよう、補正が行われる。

このようにして合成比率が決定された後、階調補正処理のＳ４０６で合成部３０６は、第１の階調補正曲線と第２の階調補正曲線とを決定された合成比率に基づいて加重加算し、実際にベイヤー画像信号の補正に用いる第３の階調補正曲線を取得する。例えば図７のような人物信頼度が高く、人物領域及び背景領域のエッジ量が双方とも多いような逆光シーンでは、第１及び第２の領域分割信頼度が共に高くなるため、人物領域の階調幅が広くなる第３の階調補正曲線が得られる。

そしてＳ４０７で、階調補正部３０７は、第３の階調補正曲線に基づいて入力されたベイヤー画像信号の階調補正を行い、得られた階調補正後のベイヤー画像信号を第２信号変換部２０４に出力し、本階調補正処理を終了する。

このように本階調補正処理により、領域分割の信頼度に応じて２種類の階調補正曲線を加重加算することで、好適な被写体の階調幅が優先的に拡張されるような階調補正曲線を設定して階調補正処理を行うことができる。

なお、本実施形態ではエッジ量の差分に応じて第２の領域分割信頼度を決定するものとして説明したが、本発明の実施はこれに限られるものではなく、例えば撮影時の絞り値及び被写体とデジタルカメラ１００との距離に応じて決定されるものであってもよい。具体的には、撮影時の絞り量が大きいほど背景がボケにくく、合焦している主要被写体が近いほど背景がボケやすくなる。このため、絞り状態ほど第１の階調補正曲線の加重が大きくなり、主要被写体が近いほど第２の階調補正曲線の加重が大きくなるように、第２の領域分割信頼度が決定されるようにしてもよい。

また、本実施形態では主要被写体を人物であるものとして説明したが、本発明の実施はこれに限られず、例えば車や動物等、任意の被写体が主要被写体として設定可能な構成であってよい。

また本実施形態の階調補正処理では、２つの階調補正曲線を加重加算した第３の階調補正曲線を用いて階調補正を行うものとして説明したが、第１及び第２の階調補正曲線をそれぞれ適用したベイヤー画像信号を合成比率に応じて合成してもよい。

以上説明したように、本実施形態の画像処理装置は、主要被写体が好適な階調範囲で表現された画像を生成することができる。具体的には画像処理装置は、補正対象の画像から主要被写体を検出し、主要被写体に重み付けして得られた画像の輝度分布に基づき、分類される画素が多い輝度範囲ほど階調幅を拡張する第１の補正特性（例えば補正関数）を設定する。また合焦度合いが高い領域に重み付けして得られた画像の輝度分布に基づき、合焦度合いが高い領域ほど階調幅を拡張する第２の補正特性を設定する。そして画像処理装置は、第１の補正特性と第２の補正特性とを重み付け合成した第３の補正特性に基づいて画像の階調を補正する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 補正対象の画像を取得する取得手段と、
   前記取得手段により取得された前記画像から主要被写体を検出する検出手段と、
   前記主要被写体に重み付けして得られた前記画像の輝度分布に基づき、分類される画素が多い輝度範囲ほど階調幅を拡張する第１の補正特性を設定する第１の設定手段と、
   合焦度合いが高い領域に重み付けして得られた前記画像の輝度分布に基づき、合焦度合いが高い領域ほど階調幅を拡張する第２の補正特性を設定する第２の設定手段と、
   前記第１の設定手段により設定された前記第１の補正特性と、前記第２の設定手段により設定された前記第２の補正特性とを重み付け合成した第３の補正特性に基づいて前記画像の階調を補正する補正手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記補正手段は、前記検出手段により検出された前記主要被写体の検出結果の信頼度が高いほど前記第１の補正特性の重みを大きくして合成することで前記第３の補正特性を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記画像における前記主要被写体の領域とそれ以外の領域との合焦度合いの差が大きいほど前記第２の補正特性の重みを大きく合成することで前記第３の補正特性を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出手段はさらに、前記画像から前記主要被写体とは異なる種類の被写体をそれぞれ検出し、
   前記第１の設定手段は、前記検出手段により検出された前記主要被写体及び前記異なる種類の被写体のそれぞれについての輝度分布を、前記画像において占有する面積に応じて正規化した上で加重加算することで、前記主要被写体に重み付けして得られた前記画像の輝度分布を生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２の設定手段は、前記合焦度合いを予め定められた数の段階で分類し、該段階のそれぞれについての輝度分布を、前記画像において占有する面積に応じて正規化した上で加重加算することで、前記合焦度合いが高い領域に重み付けして得られた前記画像の輝度分布を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 撮像して画像を取得する撮像手段と、
   前記撮像手段により取得された前記画像から主要被写体を検出する検出手段と、
   前記主要被写体に重み付けして得られた前記画像の輝度分布に基づき、分類される画素が多い輝度範囲ほど階調幅を拡張する第１の補正特性を設定する第１の設定手段と、
   合焦度合いが高い領域に重み付けして得られた前記画像の輝度分布に基づき、合焦度合いが高い領域ほど階調幅を拡張する第２の補正特性を設定する第２の設定手段と、
   前記第１の設定手段により設定された前記第１の補正特性と、前記第２の設定手段により設定された前記第２の補正特性とを重み付け合成した第３の補正特性に基づいて前記画像の階調を補正する補正手段と、を有する
   ことを特徴とする撮像装置。
7. 画像処理装置の取得手段が、補正対象の画像を取得する取得工程と、
   前記画像処理装置の検出手段が、前記取得工程において取得された前記画像から主要被写体を検出する検出工程と、
   前記画像処理装置の第１の設定手段が、前記主要被写体に重み付けして得られた前記画像の輝度分布に基づき、分類される画素が多い輝度範囲ほど階調幅を拡張する第１の補正特性を設定する第１の設定工程と、
   前記画像処理装置の第２の設定手段が、合焦度合いが高い領域に重み付けして得られた前記画像の輝度分布に基づき、合焦度合いが高い領域ほど階調幅を拡張する第２の補正特性を設定する第２の設定工程と、
   前記画像処理装置の補正手段が、前記第１の設定工程において設定された前記第１の補正特性と、前記第２の設定工程において設定された前記第２の補正特性とを重み付け合成した第３の補正特性に基づいて前記画像の階調を補正する補正工程と、を有する
   ことを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。