JP2011090569A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】顔画像の質感の良好な制御を可能とする。
【解決手段】ゲイン制御部１０８は、顔画像領域情報Ｉarfに基づいて加減増幅器１０３のゲイン制御信号ＣＮ３を生成する。そのため、顔画像領域において、加減増幅器１０３のゲインを、他の領域に対して相対的に低くあるいは高く制御できる。加減増幅器１０３の基本的なゲイン設定による全体的な質感の高低によらずに、顔画像に関して適正な質感を得ることができる。顔情報抽出部１１１は、顔画像領域の情報Ｉarfに基づいて、顔画像の画像情報Ｉfaを抽出する。マスク領域作成部１１３は、この顔画像の画像情報Ｉfaに対応した画像が存在する画像領域を再構成画像領域として検出し、この再構成画像領域の情報に基づいてマスク領域信号Ｓmskを作成する。顔検出部１０５で顔画像領域の検出漏れがあった場合であっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１０３のゲインを適正に制御できる。
【選択図】図９

Description

この発明は、画像処理装置および画像処理方法に関し、特に、顔画像領域の検出結果を利用して処理を行う画像処理装置および画像処理方法に関する。

従来、画素値の変化が急峻なエッジを保存したまま当該エッジ以外を平滑化し、入力信号からその平滑化成分を減算した振幅成分を増幅することで、エッジを含まない成分に対して独立に画像処理を行うことが提案されている（例えば、特許文献１参照）。

図２２は、特許文献１に記載の画像処理装置に対応した画像処理装置２００の構成例を示している。この画像処理装置２００は、非線形フィルタ２０１と、減算器２０２と、加減増幅器２０３と、加算器２０４を有している。

入力画像データＶinは、非線形フィルタ２０１に供給される。この非線形フィルタ２０１は、例えばε（イプシロン）フィルタを用いて構成される。この非線形フィルタ２０１では、入力画像データＶinがエッジを保存したまま平滑化されて平滑化データとしてのストラクチャー成分ＳＴ１が生成される。また、入力画像データＶinは、減算器２０２に供給される。この減算器２０２には、非線形フィルタ２０１で生成されたストラクチャー成分ＳＴ１も供給される。この減算器２０２では、入力画像データＶinからストラクチャー成分ＳＴ１が減算されて、出力データとしてテクスチャー成分ＴＸ１が得られる。

減算器２０２で得られたテクスチャー成分ＴＸ１は、加減増幅器２０３に供給される。この加減増幅器２０３では、テクスチャー成分ＴＸ１が増幅されてテクスチャー成分ＴＸ２が得られる。この加減増幅器２０３のゲインは、例えば、ユーザ操作により調整される。この加減増幅器２０３で得られたテクスチャー成分ＴＸ２は加算器２０４に供給される。この加算器２０４には、非線形フィルタ２０１で生成されたストラクチャー成分ＳＴ１も供給される。この加算器２０４では、ストラクチャー成分ＳＴ１にテクスチャー成分ＴＸ２が加算されて、出力画像データＶoutが得られる。

図２２に示す画像処理装置２００では、入力画像データＶinのエッジ成分が保存されたまま、それ以外の小振幅成分が強調された出力画像データＶoutが得られる。そのため、画面全体の鮮鋭感を損なうとなく、質感を高めることが可能となる。しかし、この画像処理装置２００では、加減増幅器２０３のゲインが画面全体に対して一律であることから、顔画像に関して、強調され過ぎた違和感のある画像となる場合がある。

そこで、従来、肌色領域を検出し、この肌色領域では他の領域に比べて強調度合いを抑え、適正な質感が得られるように制御することが提案されている（例えば、特許文献２参照）。

図２３は、特許文献２に記載の画像処理装置に対応した画像処理装置２００Ａの構成例を示している。この画像処理装置２００Ａは、非線形フィルタ２０１と、減算器２０２と、加減増幅器２０３と、加算器２０４を有する他に、肌色度検出部２０５と、ゲイン制御部２０６を有している。

この画像処理装置２００Ａの非線形フィルタ２０１、減算器２０２、加減増幅器２０３および加算器２０４の部分は、詳細説明は省略するが、上述の図２２に示す画像処理装置２００と同様である。

入力画像データＶinは、肌色度検出部２０５に供給される。この肌色度検出部２０５では、入力画像データＶinに基づいて、画素毎に、肌色度が検出される。この肌色度は、予め決めた肌色で最大値となり、この肌色から離れるほど値が小さくなる。このように肌色度検出部２０５で検出された肌色度はゲイン制御部２０６に供給される。ゲイン制御部２０６では、例えば、図２４に示すような対応関係で、肌色度に対応したゲイン制御信号ＣＮ１が得られる。

ゲイン制御部２０６で得られるゲイン制御信号ＣＮ１は、加減増幅器２０３に供給される。この場合、加減増幅器２０３のゲインは、ゲイン制御信号ＣＮ１のレベルに比例した値とされる。そのため、肌色度が高い画像領域では、加減増幅器２０３のゲインが抑えられる。したがって、顔画像領域では他の領域に比べて強調度合いが抑えられ、適正な質感が得られる。

特開２００１−２９８６２１号公報 特開２００３−３４８６１５号公報

上述の図２３に示す画像処理装置２００Ａにおいて、照度の低い画像等では顔画像が予め定めた肌色の範囲から外れることがあり、その場合には顔画像領域で強調度合いが抑えられなくなり、顔画像領域で適正な質感が得られなくなる。

また、コントラスト補正に関して、全画面の輝度情報等から画面全体のコントラスト制御を行うと、主要な被写体である人物の顔の黒潰れが生じることがある。さらに、彩度、色相等の色補正に関しても、全画面の彩度情報、色相情報等から画面全体の彩度、色相の制御を行うと、同様に違和感のある顔色補正になってしまう場合がある。

この発明の目的は、顔画像の質感、鮮鋭感、輝度、色等の良好な制御を可能とすることにある。

この発明の概念は、
入力画像データを処理して出力画像データを得るデータ処理部と、
上記入力画像データに基づいて、顔画像が存在する顔画像領域を検出する顔検出部と、 上記顔検出部で検出された顔画像領域の情報に基づいて、上記データ処理部の処理を制御する処理制御部と
を備える画像処理装置にある。

この発明において、データ処理部により、入力画像データが処理されて出力画像データが得られる。また、顔検出部により、入力画像データに基づいて、顔画像が存在する顔画像領域が検出される。そして、処理制御部により、顔検出部で検出された顔画像領域の情報に基づいて、データ処理部の処理が制御される。このように、顔画像領域の情報に基づいてデータ処理部の処理が制御されることで、顔画像の質感、鮮鋭感、輝度、色等の良好な制御が可能となる。

この発明において、例えば、処理制御部は、顔検出部で検出された顔画像領域の情報に基づいて、入力画像データから顔画像の画像情報を抽出する顔情報抽出部と、入力画像データに基づいて、顔情報抽出部で抽出された画像情報に対応した画像が存在する画像領域を検出する画像領域検出部を有し、画像領域検出部で検出された画像領域の情報に基づいて、データ処理部の処理を制御する、ようにしてもよい。

この場合、画像領域検出部で検出される画像領域には、顔検出部で検出されない顔画像が存在する顔画像領域が含まれる。そのため、顔検出部において顔画像領域の検出漏れがあった場合であっても、画像に含まれる全ての顔画像の質感、鮮鋭感、輝度、色等の良好な制御が可能となる。また、この場合、顔検出部の検出に数フレーム要する場合であっても、画像領域検出部で検出される画像領域には、入力画像データの現在フレームで顔画像が存在する顔画像領域が含まれる。そのため、入力画像データが動画像データであって、顔画像領域が移動する場合であっても、顔画像の質感、鮮鋭感、輝度、色等の良好な制御が可能となる。

また、この発明において、例えば、顔検出部は、入力画像データに基づいて、フレーム毎に、顔画像が存在する顔画像領域を検出し、処理制御部の顔情報抽出部は、フレーム毎に、顔検出部で検出された顔画像領域の情報に基づいて、入力画像データから顔画像の画像情報を抽出し、処理制御部は、顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、処理制御部の画像領域検出部は、入力画像データに基づいて、顔情報保持部に保持されている画像情報に対応した画像が存在する画像領域を検出する、ようにしてもよい。

この場合、顔検出部で顔画像領域が検出されないフレームであっても、顔情報保持部に顔画像情報が保持されているので、画像領域検出部ではこの保持されている顔画像情報を用いて画像領域を安定して検出できる。そのため、顔画像の質感、鮮鋭感、輝度、色等の制御として、顔検出部の検出性能に依存しにくいロバストな制御が可能となる。

また、この発明において、例えば、入力画像データに基づいて画像状態の変化を検出する画像状態変化検出部をさらに備え、処理制御部の顔情報保持部は、画像状態変化検出部で画像状態の変化が検出される毎に、顔情報抽出部で抽出された画像情報を保持する、ようにしてもよい。顔情報抽出部で抽出される顔画像の画像情報は、画像状態が変化しない期間はほぼ同じ状態となる。ここで、画像状態の変化としては、例えば、シーン変化、照明変化等が考えられる。そのため、顔情報保持部における顔画像の画像情報の更新を画像状態が変化する毎に行っても問題はなく、ＣＰＵの処理負荷を軽減できる。

また、この発明において、例えば、データ処理部は、入力画像データをエッジを保存したまま平滑化して平滑化画像データを生成する平滑化部と、入力画像データから平滑化部で生成された平滑化画像データを減算する減算部と、減算部の出力データを増幅する増幅部と、この増幅部の出力データに平滑化部で生成された平滑化画像データを加算して出力画像データを得る加算部を有し、処理制御部は、増幅部のゲインを制御する、ようにしてもよい。

この場合、入力画像データのエッジ成分が保存されたまま、それ以外の小振幅成分が強調された出力画像データが得られる。また、増幅部のゲインは、顔画像領域とその他の領域とは異なるように制御される。例えば、顔画像領域では、増幅部のゲインが他の領域に比べて抑えられ、適正な質感が得られるようにされる。したがって、この場合、画面全体の鮮鋭感を損なうとなく画像の質感を高めることができ、しかも顔画像の質感が適切となるように制御できる。

また、この発明において、例えば、データ処理部は、入力画像データから高域成分を抽出する高域成分抽出部と、この高域成分抽出部で抽出された高域成分を増幅する増幅部と、入力画像データに増幅部の出力データを加算して出力画像データを得る加算部を有し、処理制御部は、増幅部のゲインを制御する、ようにしてもよい。

この場合、入力画像データの高域成分が強調された出力画像データが得られる。また、増幅部のゲインは、顔画像領域とその他の領域とは異なるように制御される。例えば、顔画像領域では、増幅部のゲインが他の領域に比べて抑えられ、適正な鮮鋭感が得られるようにされる。したがって、この場合、画像の鮮鋭感を高めることができ、しかも、顔画像の鮮鋭感が適切となるように制御できる。

また、この発明において、例えば、データ処理部は、入力画像データに対して彩度調整処理を行って出力画像データを得る彩度調整部を有し、処理制御部は、顔検出部で検出された顔画像領域の情報に基づいて、入力画像データから顔画像の画像情報を抽出する顔情報抽出部と、入力画像データに基づいて、顔情報抽出部で抽出された画像情報に対応した画像が存在する画像領域を検出する画像領域検出部を有し、画像領域検出部で検出された画像領域の情報および顔情報抽出部で抽出された画像情報に含まれる彩度情報に基づいて、彩度調整部における彩度調整量を制御する、ようにしてもよい。

また、この発明において、例えば、データ処理部は、入力画像データに対して彩度調整処理を行って出力画像データを得る彩度調整部を有し、処理制御部は、顔検出部で検出された顔画像領域の情報に基づいて、入力画像データから顔画像の画像情報を抽出する顔情報抽出部を有し、顔情報抽出部で抽出された画像情報に含まれる彩度情報に基づいて、彩度調整部における彩度調整量を制御する、ようにしてもよい。

この場合、彩度調整部により、入力画像データに対して彩度調整処理が行われて出力画像データが得られる。この彩度調整部における彩度調整量は、顔画像の画像情報に含まれる彩度情報に基づいて、制御される。したがって、この場合、顔画像の彩度が適切となるように制御できる。なお、彩度調整は、顔画像、あるいは顔画像を含めた全体画像に対して行われる。

また、この発明において、例えば、データ処理部は、入力画像データに対して色相調整処理を行って出力画像データを得る色相調整部を有し、処理制御部は、顔検出部で検出された顔画像領域の情報に基づいて、入力画像データから顔画像の画像情報を抽出する顔情報抽出部と、入力画像データに基づいて、顔情報抽出部で抽出された画像情報に対応した画像が存在する画像領域を検出する画像領域検出部を有し、画像領域検出部で検出された画像領域の情報および顔情報抽出部で抽出された画像情報に含まれる色相情報に基づいて、色相調整部における色相調整量を制御する、ようにしてもよい。

また、この発明において、例えば、データ処理部は、入力画像データに対して色相調整処理を行って出力画像データを得る色相調整部を有し、処理制御部は、顔検出部で検出された顔画像領域の情報に基づいて、入力画像データから顔画像の画像情報を抽出する顔情報抽出部を有し、顔情報抽出部で抽出された画像情報に含まれる色相情報に基づいて、色相調整部における色相調整量を制御する、ようにしてもよい。

この場合、色相調整部により、入力画像データに対して色相調整処理が行われて出力画像データが得られる。この色相調整部における色相調整量は、顔画像の画像情報に含まれる色相情報に基づいて、制御される。したがって、この場合、顔画像の色相が適切となるように制御できる。なお、色相調整は、顔画像、あるいは顔画像を含めた全体画像に対して行われる。

また、この発明において、例えば、データ処理部は、入力画像データに対してコントラスト補正用の入出力特性カーブに基づいてコントラスト補正を行って上記出力画像データを得るコントラスト補正部を有し、処理制御部は、顔検出部で検出された顔画像領域の情報に基づいて、入力画像データから上記顔画像の画像情報を抽出する顔情報抽出部と、入力画像データに基づいて、全画面の輝度情報を抽出する輝度情報抽出部を有し、顔情報抽出部で抽出された画像情報に含まれる輝度情報および上記輝度情報抽出部で抽出された輝度情報に基づいて、コントラスト補正部で使用するコントラスト補正用の入出力特性カーブを制御する、ようにしてもよい。

この場合、コントラスト補正部により、入力画像データに対してコントラスト補正用の入出力特性カーブに基づいてコントラスト補正が行われて出力画像データが得られる。このコントラスト補正部におけるコントラスト補正用の入出力特性カーブは、全画面の輝度情報および顔画像の画像情報に含まれる輝度情報に基づいて制御される。したがって、この場合、顔画像の輝度が適切となるように制御できる。

また、この発明において、例えば、データ処理部は、入力画像データをエッジを保存したまま平滑化して平滑化画像データを生成する平滑化部と、入力画像データから平滑化部で生成された平滑化画像データを減算する減算部と、減算部の出力データを増幅する増幅部と、平滑化部で生成された平滑化画像データに対してコントラスト補正用の入出力特性カーブに基づいてコントラスト補正を行うコントラスト補正部と、増幅部の出力データにコントラスト補正部の出力データを加算して出力画像データを得る加算部を有し、処理制御部は、入力画像データに基づいて、全画面の輝度情報を抽出する輝度情報抽出部をさらに有し、画像領域検出部で検出された画像領域の情報に基づいて、増幅部のゲインを制御し、顔情報抽出部で抽出された画像情報に含まれる輝度情報および輝度情報抽出部で抽出された輝度情報に基づいて、コントラスト補正部で使用するコントラスト補正用の入出力特性カーブを制御する、ようにしてもよい。

この場合、入力画像データのエッジ成分が保存されたまま、それ以外の小振幅成分が強調された出力画像データが得られる。また、増幅部のゲインは、顔画像領域とその他の領域とは異なるように制御される。例えば、顔画像領域では、増幅部のゲインが他の領域に比べて抑えられ、適正な質感が得られるようにされる。したがって、この場合、画面全体の鮮鋭感を損なうとなく画像の質感を高めることができ、しかも顔画像の質感が適切となるように制御できる。

また、この場合、コントラスト補正部により、平滑化部で生成された平滑化画像データに対してコントラスト補正が行われる。このコントラスト補正部におけるコントラスト補正用の入出力特性カーブは、全画面の輝度情報および顔画像の画像情報に含まれる輝度情報に基づいて制御される。したがって、この場合、ノイズを強調することなく、顔画像の輝度が適切となるように制御できる。

この発明によれば、顔画像領域の情報に基づいてデータ処理部の処理が制御されるものであり、顔画像の質感、鮮鋭感、輝度、色等の良好な制御が可能となる。

この発明の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。 マスク領域信号とゲイン制御信号との対応関係の一例を示す図である。 フレーム画像と、顔画像の検出例を示す図である。 顔検出部における顔画像の検出処理の一例について説明するための図である。 顔検出のための顔辞書と顔スコア測定を説明するための図である。 顔辞書の内容を説明するための図である。 顔画像の検出処理のための縮小画像を示す図である。 顔検出部における顔画像検出処理の手順の一例を示すフローチャートを示す図である。 この発明の第２の実施の形態としての画像処理装置の構成例を示す図である。 顔画像の画像情報の一例としての輝度ヒストグラムおよび２次元ＵＶヒスとグラムを説明するための図である。 顔画像の画像情報に対応した画像が存在する画像領域が再構成画像領域として検出されることを説明するための図である。 この発明の第３の実施の形態としての画像処理装置の構成例を示す図である。 この発明の第４の実施の形態としての画像処理装置の構成例を示す図である。 この発明の第５の実施の形態としての画像処理装置の構成例を示す図である。 この発明の第６の実施の形態としての画像処理装置の構成例を示す図である。 この発明の第７の実施の形態としての画像処理装置の構成例を示す図である。 この発明の第８の実施の形態としての画像処理装置の構成例を示す図である。 コントラスト制御部で生成される、コントラスト補正のための入出力特性カーブ（補正カーブ）を説明するための図である。 コントラスト制御部で生成される、コントラスト補正のための入出力特性カーブ（補正カーブ）を説明するための図である。 コントラスト制御部で生成される、コントラスト補正のための入出力特性カーブ（補正カーブ）を説明するための図である。 この発明の第９の実施の形態としての画像処理装置の構成例を示す図である。 従来の画像処理装置の構成例を示す図である。 従来の画像処理装置の他の構成例を示す図である。 肌色度とゲイン制御信号との対応関係の一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（図１）
２．第２の実施の形態（図９）
３．第３の実施の形態（図１２）
４．第４の実施の形態（図１３）
５．第５の実施の形態（図１４）
６．第６の実施の形態（図１５）
７．第７の実施の形態（図１６）
８．第８の実施の形態（図１７）
９．第９の実施の形態（図２１）

＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、非線形フィルタ１０１と、減算器１０２と、加減増幅器１０３と、加算器１０４を有している。また、この画像処理装置１００は、顔検出部１０５と、マスク領域作成部１０６と、空間フィルタ１０７と、ゲイン制御部１０８を有している。

非線形フィルタ１０１は、例えばε（イプシロン）フィルタを用いて構成される。この非線形フィルタ１０１は、入力画像データＶinを構成する入力輝度データＹinをエッジを保存したまま平滑化し、平滑化データとしてのストラクチャー成分ＳＴ１を生成する。減算器１０２は、入力輝度データＹinから非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１を減算して、出力データとしてテクスチャー成分ＴＸ１を得る。

加減増幅器１０３は、減算器１０２で得られたテクスチャー成分ＴＸ１を増幅して、出力データとして増幅されたテクスチャー成分ＴＸ２を得る。加算器１０４は、非線形フィルタ２０１で生成されたストラクチャー成分ＳＴ１に、加減増幅器１０３で得られたテクスチャー成分ＴＸ２を加算し、出力輝度データＹoutを得る。

顔検出部１０５は、入力輝度データＹinに基づいて、フレーム毎に、顔画像を検出し、この顔画像が存在する顔画像領域の情報Ｉarfを取得する。顔検出部１０５は、例えば、複数の解像度で検出枠をスライドさせながら各フレームの画像をスキャンして顔画像の検出を行って、顔画像を含む検出枠の情報を顔画像領域の情報Ｉarfとして取得するが、この手法に限定されるものではない。この顔検出部１０５の詳細については後述する。

マスク領域作成部１０６は、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、例えば顔画像領域でハイレベルとなり、その他の領域でローレベルとなるマスク領域信号Ｓmskを作成する。空間フィルタ１０７は、マスク領域作成部１０６で作成されマスク領域信号Ｓmskに対して、水平方向および垂直方向のローパスフィルタ処理をおこなう。この空間フィルタ１０７により、マスク領域信号Ｓmskの水平方向および垂直方向における急激なレベル変化部分が緩やかに変化するようにされる。

ゲイン制御部１０８は、空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ２を生成し、加減増幅器１０３に供給する。この場合、加減増幅器１０３のゲインは、ゲイン制御信号ＣＮ２のレベルに比例した値とされる。

ゲイン制御部１０８は、ユーザの表示モード選択操作に応じて、例えば、図２（ａ）に示す対応関係で、あるいは図２（ｂ）に示す対応関係で、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ２を生成する。図２（ａ）に示す対応関係は、加減増幅器１０３のゲインを高めにして質感を改善する表示モードが選択された場合に用いられる。この場合、全体的に質感が上がるが、顔画像領域では、加減増幅器１０３のゲインが相対的に抑えられるので、違和感のない適正な質感が得られる。また、図２（ｂ）に示す対応関係は、加減増幅器１０３のゲインを低めにして質感をあまり上げない表示モードが選択された場合に用いられる。この場合、全体的に質感があまり上がらないが、顔画像領域では、加減増幅器１０３のゲインが相対的に上げられるので、質感が上げられる。

［顔検出部の説明］
顔検出部１０５は、入力輝度データＹinに基づいて、フレーム毎に、例えば、複数の解像度で検出枠をスライドさせながらフレーム画像をスキャンして顔画像の検出を行う。そして、顔検出部１０５は、顔画像を含む検出枠の情報（位置情報、サイズ情報）を顔画像領域の情報Ｉarfとして取得する。顔検出部１０５は、例えば、フレーム画像ＩＭ-0が、図３（ａ）に示すようであるとき、図３（ｂ）に破線枠で囲んで示すように、フレーム画像ＩＭ-0に含まれている顔画像ＩＭ-1を検出する。

顔検出部１０５における顔画像の検出処理の一例について説明する。この検出処理では、図４に示すように、フレーム画像ＩＭ-0上に、所定サイズ、例えば、水平サイズがＳピクセル、垂直サイズがＳピクセルである、検出枠ＦＲ-faが設定される。この検出枠ＦＲ-faは、図４に矢印で示すように、フレーム画像ＩＭ-0上を走査され、その位置が順次変化するようにされる。そして、各位置の検出枠ＦＲ-faで囲まれる画像に対し、顔辞書を用いて顔スコアSCORE_faの測定が行われ、当該顔スコアSCORE_faに基づいて、顔画像であるか否かの判定が行われる。

顔辞書は、図５（ｂ）に示すように、ｔ４組（数百ペア）の、pix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の組み合わせからなっている。ここで、pix_fa1(i)，pix_fa2(i)は、図６に示すように、検出枠ＦＲ-faで囲まれる画像における２点の位置を示している。なお、図６には、図面の簡単化のため、３組だけを示している。θ_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差に関する閾値を示している。また、α_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差と閾値θ_fa(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。

顔スコアSCORE_faの測定では、図５（ａ）に示すように、顔辞書のpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各組に対応して、（１）式を満たすか否かを判断する。そして、この測定では、満たす場合には（２）式の演算を行い、一方、満たさない場合には（３）式の演算を行う。なお、（１）式で、pix_fa1(i)はその位置の輝度値を示し、pix_fa2(i)はその位置の輝度値を示している。

pix_fa1(i)−pix_fa2(i)＜θ_fa(i) ・・・（１）
SCORE_fa＝SCORE_fa＋α_fa(i) ・・・（２）
SCORE_fa＝SCORE_fa−α_fa(i) ・・・（３）

検出枠ＦＲ-faで囲まれる画像が顔画像であるか否かの判定は、上述したように測定された顔スコアSCORE_faに基づいて行われる。なお、上述の顔スコアSCORE_faの測定において、（１）式を満たす場合はｈ(i)＝１とし、逆に、（１）式を満たさない場合はｈ(i)＝−１とするとき、測定された顔スコアSCORE_faは、（４）式で表される。

顔スコアSCORE_faが０より大きいとき、検出枠ＦＲ-faで囲まれる画像は顔画像であると判定される。一方、顔スコアSCORE_faが０以下であるとき、検出枠ＦＲ-faで囲まれる画像は顔画像ではないと判定される。なお、判定の基準を０ではなく、０以外の多少調整された値が用いられることもある。

フレーム画像に含まれる顔画像には種々の大きさが考えられる。そのため、図４に示すように、フレーム画像ＩＭ-0上に所定サイズの検出枠ＦＲ-faを設定して顔画像を検出するものにあっては、このフレーム画像ＩＭ-0に含まれる顔画像の内、検出枠ＦＲ-faのサイズに対応した顔画像だけしか検出できない。フレーム画像ＩＭ-0に含まれる種々の顔画像を検出可能とするために、上述した顔画像の検出処理は、図７に示すように、フレーム画像ＩＭ-0の他に、このフレーム画像ＩＭ-0を、適宜縮小した縮小画像ＩＭ-0a，ＩＭ-0b，・・・に対しても行われる。

図８のフローチャートは、顔検出部１０２における、顔画像検出処理の手順を示している。
顔検出部１０５は、ステップＳＴ２１において、顔画像検出処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、顔検出部１０５は、フレーム画像ＩＭ-0の縮小段階Ｓ_NOを１に設定する。そして、顔検出部１０５は、ステップＳＴ２３において、フレーム画像ＩＭ-0に対して縮小段階Ｓ_NOのスケーリング（縮小処理）を施し、顔画像を検出するための縮小画像（縮小されたフレーム画像）を生成する。

なお、Ｓ_NO＝１であるとき、縮小率は１とされ、顔画像を検出するための縮小画像は、フレーム画像ＩＭ-0と同じものとされる。また、縮小段階Ｓ_NOが大きくなるにつれて、縮小率は小さくなっていく。縮小率が小さな縮小画像で検出される顔画像ほど、静止画フレームＩＭ-0上では大きな顔画像である。なお、顔検出枠情報（位置情報およびサイズ情報）は、フレーム画像ＩＭ-0におけるものとされる。

次に、顔検出部１０５は、ステップＳＴ２４において、ステップＳＴ２３で生成された縮小画像上の左上に検出枠ＦＲ-faを設定する。そして、顔検出部１０５は、ステップＳＴ２５において、上述したように、顔辞書を用いて、顔スコアSCORE_faを測定する。

次に、顔検出部１０５は、ステップＳＴ２６において、ステップＳＴ２５で測定された顔スコアSCORE_faに基づいて、検出枠ＦＲ-faで囲まれた画像が顔画像であるか否かを判定する。この場合、顔検出部１０５は、SCORE_fa＞０であるとき顔画像であると判定し、SCORE_fa＞０でないとき顔画像ではないと判定する。

顔画像であると判定するとき、顔検出部１０５は、ステップＳＴ２７に移る。このステップＳＴ２７において、顔検出部１０５は、顔検出枠情報（位置情報およびサイズ情報）を、顔ＩＤを付加して、図示しない記憶部に記憶する。顔検出部１０５は、ステップＳＴ２７の処理の後、ステップＳＴ２８に進む。

ステップＳＴ２６で顔画像でないと判定するとき、顔検出部１０５は、直ちに、ステップＳＴ２８に移る。このステップＳＴ２８において、顔検出部１０５は、検出枠ＦＲ-faが最後の位置まで移動したか否かを判定する。最後の位置まで移動していないとき、顔検出部１０５は、ステップＳＴ２９において、検出枠ＦＲ-faを次の位置に移動し、その後に、ステップＳＴ２５に戻って、上述したと同様の処理を繰り返す。なお、検出枠ＦＲ-faは、ある垂直位置においては水平方向に１ピクセルずつ移動していき、この垂直位置における水平方向の移動が終わると、垂直方向に１ピクセル移動して、次の垂直位置に移る。

ステップＳＴ２８で検出枠ＦＲ-faが最後の位置まで移動しているとき、顔検出部１０５は、ステップＳＴ３０において、縮小段階Ｓ_NOが最後の段階Ｓ_NOmaxにあるか否かを判定する。Ｓ_NO＝Ｓ_NOmaxでないとき、顔検出部１０５は、ステップＳＴ３１において、縮小段階Ｓ_NOを次の段階とし、その後、ステップＳＴ２３に移り、上述したと同様の処理を繰り返す。また、ステップＳＴ３０で、Ｓ_NO＝Ｓ_NOmaxであるとき、全ての縮小段階Ｓ_NOでの顔画像の検出処理が終了したことを意味するので、顔検出部１０５は、ステップＳＴ３２において、顔画像検出処理を終了する。

図１に示す画像処理装置１００の動作を説明する。入力画像データＶinを構成する入力輝度データＹinは、非線形フィルタ１０１に供給される。この非線形フィルタ１０１では、入力輝度データＹinがエッジを保存したまま平滑化されて平滑化データとしてのストラクチャー成分ＳＴ１が生成される。

また、入力輝度データＹinは、減算器１０２に供給される。この減算器１０２には、非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１も供給される。この減算器１０２では、入力輝度データＹinからストラクチャー成分ＳＴ１が減算されて、出力データとしてテクスチャー成分ＴＸ１が得られる。

減算器１０２で得られたテクスチャー成分ＴＸ１は、加減増幅器１０３に供給される。この加減増幅器１０３では、テクスチャー成分ＴＸ１が増幅されて、増幅されたテクスチャー成分ＴＸ２が得られる。この加減増幅器１０３の基本的なゲインは、例えば、上述したユーザの表示モード選択操作に応じて決定される。

この加減増幅器１０３で得られたテクスチャー成分ＴＸ２は加算器１０４に供給される。この加算器１０４には、非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１も供給される。この加算器１０４では、ストラクチャー成分ＳＴ１にテクスチャー成分ＴＸ２が加算されて、出力画像データＶoutを構成する出力輝度データＹoutが得られる。なお、入力画像データＶinを構成する入力色データ（赤色差データ、青色差データ）Ｃinは、そのまま、出力画像データＶoutを構成する出力色データＣoutとなる。

また、入力画像データＶinを構成する入力輝度データＹinは、顔検出部１０５に供給される。この顔検出部１０５では、入力輝度データＹinに基づいて、フレーム毎に、顔画像が検出され、この顔画像が存在する顔画像領域の情報Ｉarf、例えば顔検出枠情報（位置情報、サイズ情報）が取得される。この顔画像領域の情報Ｉarfは、マスク領域作成部１０６に供給される。マスク領域作成部１０６では、顔画像領域の情報Ｉarfに基づいて、例えば顔画像領域でハイレベルとなり、その他の領域でローレベルとなるマスク領域信号Ｓmskが作成される。

マスク領域作成部１０６で作成されたマスク領域信号Ｓmskは、空間フィルタ１０７に入力されて、水平方向および垂直方向のローパスフィルタ処理が施される。この処理により、マスク領域信号Ｓmskの水平方向および垂直方向における急激なレベル変化部分が緩やかに変化するようにされる。空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′は、ゲイン制御部１０８に供給される。

ゲイン制御部１０８では、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ２が生成され、加減増幅器１０３に供給される。この場合、加減増幅器１０３のゲインは、ゲイン制御信号ＣＮ２のレベルに比例した値とされる。

例えば、ゲイン制御部１０８では、加減増幅器１０３の基本的なゲインを高めにして質感を改善する表示モードが選択された場合、図２（ａ）に示す対応関係で、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ２が生成される。そのため、この場合には、加減増幅器１０３の基本的なゲインが高めにされるので全体的に質感が上がるが、顔画像領域では、ゲイン制御信号ＣＮ２が小さくなり、加減増幅器１０３のゲインが相対的に抑えられる。そのため、顔画像に関して、質感が強調され過ぎた違和感のある画像となることが防止され、適正な質感を得ることができる。

また、例えば、ゲイン制御部１０８では、加減増幅器１０３の基本的なゲインを低めにして質感をあまり上げない表示モードが選択された場合、図２（ｂ）に示す対応関係で、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ２が生成される。そのため、この場合には、加減増幅器１０３の基本的なゲインが低めにされるので全体的に質感はあまり上がらないが、顔画像領域では、ゲイン制御信号ＣＮ２が大きくなり、加減増幅器１０３のゲインが相対的に上げられる。そのため、主要被写体である顔画像に関しては質感が上げられ、適正な質感を得ることができる。

以上説明したように、図１に示す画像処理装置１００においては、顔検出部１０５で取得される顔画像領域の情報Ｉarfに基づいて、ゲイン制御部１０８で加減増幅器１０３のゲイン制御信号ＣＮ２が生成される。そのため、顔画像が存在する顔画像領域において、加減増幅器１０３のゲインが、他の領域に対して相対的に、低くあるいは高く制御される。したがって、加減増幅器１０３の基本的なゲイン設定による全体的な質感の高低によらずに、顔画像に関して適正な質感を得ることができる。

また、図１に示す画像処理装置１００においては、マスク領域作成部１０６で作成されたマスク領域信号Ｓmskは、空間フィルタ１０７に入力されて、水平方向および垂直方向のローパスフィルタ処理が施される。この処理により、マスク領域信号Ｓmskの水平方向および垂直方向における急激なレベル変化部分が緩やかに変化するようにされる。そのため、ゲイン制御部１０８で生成されるゲイン制御信号ＣＮ２が顔画像領域とその他の領域との境界で急激に変化することがなく、その境界が目立つことを抑制できる。

＜２．第２の実施の形態＞
［画像処理装置の構成］
図９は、第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この図９において、図１と対応する部分には同一符号を付して示している。この画像処理装置１００Ａは、非線形フィルタ１０１と、減算器１０２と、加減増幅器１０３と、加算器１０４を有している。また、この画像処理装置１００Ａは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、マスク領域作成部１１３と、空間フィルタ１０７と、ゲイン制御部１０８と、シーン変化検出部１１４を有している。

この画像処理装置１００Ａにおいて、非線形フィルタ１０１、減算器１０２、加減増幅器１０３、加算器１０４、顔検出部１０５、空間フィルタ１０７およびゲイン制御部１０８の部分は、詳細説明は省略するが、上述の図１に示す画像処理装置１００と同様である。

顔情報抽出部１１１は、フレーム毎に、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、入力画像データＶinを構成する入力輝度データＹinおよび入力色データＣinから、顔画像の画像情報Ｉfaを抽出する。この実施の形態において、顔画像抽出部１１１は、顔画像情報Ｉfaとして、例えば、顔画像領域の輝度ヒストグラムおよび２次元ＵＶヒストグラムの情報を得る。

すなわち、顔画像抽出部１１１は、入力輝度データＹinのうち、顔画像領域に対応した各ピクセルの輝度データを用いて、図１０（ｂ）に示すような輝度ヒストグラムを作成する。また、顔画像抽出部１１１は、入力色データＣinのうち、顔画像領域に対応した各ピクセルの色データ（赤色差データＵ、青色差データＶ）用いて、図１０（ａ）に示すような２次元ＵＶヒストグラムを作成する。

顔情報保持部１１２は、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaを保持する。顔情報抽出部１１１では、顔検出部１０５で顔画像領域の情報Ｉarfが取得されるフレームで、上述したように顔画像の画像情報Ｉfaが抽出される。顔情報保持部１１２は、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出されるフレーム毎に、この顔画像の画像情報Ｉfaにより保持内容を更新してもよい。

しかし、顔情報抽出部１１１で抽出される顔画像の画像情報Ｉfaは、画像状態が変化しない期間はほぼ同じ状態となる。そのため、この実施の形態において、顔情報保持部１１２は、画像状態の変化が検出される毎に、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaにより保持内容を更新する。この実施の形態においては、後述するように、画像状態の変化としてシーン変化による画像状態の変化の例を上げているが、照明変化等による画像状態の変化も考えられる。

マスク領域作成部１１３は、フレーム毎に、入力輝度データＹinおよび入力色データＣinに基づいて、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaに対応した画像が存在する画像領域を検出する。この場合、マスク領域作成部１１３は、顔画像の画像情報Ｉfaとしての輝度ヒストグラムおよび２次元ＵＶヒストグラムの情報を参照して、それぞれ、頻度が高い一定範囲を、輝度値範囲、ＵＶ値範囲に決定する。マスク領域作成部１１３は、この輝度値範囲、ＵＶ値範囲の決定処理を、例えば、顔情報保持部１１２の保持内容が更新される毎に行う。

マスク領域作成部１１３は、フレーム毎に、入力輝度データＹinおよび入力色データＣinに基づいて、輝度値、ＵＶ値が、決定された輝度値範囲、ＵＶ値範囲にあるピクセルを検出する。そして、マスク領域作成部１１３は、検出された各ピクセルの領域を、顔画像の画像情報Ｉfaに対応した画像が存在する画像領域として検出する。

このようにマスク領域作成部１１３で検出される画像領域は、顔画像の画像情報Ｉfaに基づいて再構成されたものであり、以下、「再構成画像領域」という。マスク領域作成部１１３は、さらに、この再構成画像領域の情報に基づいて、マスク領域信号Ｓmskを作成する。すなわち、マスク領域作成部１１３は、例えば、再構成顔画像領域でハイレベルとなり、その他の領域でローレベルとなるマスク領域信号Ｓmskを作成する。

シーン変化検出部１１４は、入力輝度データＹinおよび入力色データＣinに基づいて、シーン変化を検出し、その検出信号Ｓchdを顔情報保持部１１２に送る。シーン変化検出部１１４は、例えば、フレーム画像の画素データを分割ブロック毎に処理して得られた複数のベクトル要素からなる特徴ベクトル、あるいはフレーム画像の画素信号を処理して得られた輝度、色差のヒストグラム等を利用して、シーン変化を検出する。図９の示す画像処理装置１００Ａのその他は、図１に示す画像処理装置１００と同様に構成されている。

図９に示す画像処理装置１００Ａの動作を説明する。入力画像データＶinを構成する入力輝度データＹinは、非線形フィルタ１０１に供給される。この非線形フィルタ１０１では、入力輝度データＹinがエッジを保存したまま平滑化されて平滑化データとしてのストラクチャー成分ＳＴ１が生成される。

また、入力輝度データＹinは、減算器１０２に供給される。この減算器１０２には、非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１も供給される。この減算器１０２では、入力輝度データＹinからストラクチャー成分ＳＴ１が減算されて、出力データとしてテクスチャー成分ＴＸ１が得られる。

減算器１０２で得られたテクスチャー成分ＴＸ１は、加減増幅器１０３に供給される。この加減増幅器１０３では、テクスチャー成分ＴＸ１が増幅されて、増幅されたテクスチャー成分ＴＸ２が得られる。この加減増幅器１０３の基本的なゲインは、例えば、ユーザの表示モード選択操作に応じて決定される。

この加減増幅器１０３で得られたテクスチャー成分ＴＸ２は加算器１０４に供給される。この加算器１０４には、非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１も供給される。この加算器１０４では、ストラクチャー成分ＳＴ１にテクスチャー成分ＴＸ２が加算されて、出力画像データＶoutを構成する出力輝度データＹoutが得られる。なお、入力画像データＶinを構成する入力色データ（赤色差データ、青色差データ）Ｃinは、そのまま、出力画像データＶoutを構成する出力色データＣoutとなる。

また、入力画像データＶinを構成する入力輝度データＹinは、顔検出部１０５に供給される。この顔検出部１０５では、入力輝度データＹinに基づいて、フレーム毎に、顔画像が検出され、この顔画像が存在する顔画像領域の情報Ｉarf、例えば顔検出枠情報（位置情報、サイズ情報）が取得される。この顔画像領域の情報Ｉarfは、顔情報抽出部１１１に供給される。

顔情報抽出部１１１では、フレーム毎に、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、入力輝度データＹinおよび入力色データＣinから、顔画像の画像情報Ｉfaが抽出される。例えば、顔画像抽出部１１１では、顔画像情報Ｉfaとして、顔画像領域の輝度ヒストグラムおよび２次元ＵＶヒストグラムが計測される。このように、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaは、顔情報保持部１１２に供給される。

顔情報保持部１１２では、顔情報抽出部１１１から供給される顔画像の画像情報Ｉfaが保持される。この場合、顔情報保持部１１２では、画像状態に変化がある毎に、シーン変化検出部１１４からのシーン変化検出信号Ｓchdに基づき、シーン変化が検出される毎に、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaにより保持内容が更新される。

マスク領域作成部１１３では、フレーム毎に、入力輝度データＹinおよび入力色データＣinに基づいて、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaに対応した画像が存在する画像領域が再構成画像領域として検出される。そして、マスク領域作成部１１３では、さらに、この再構成画像領域の情報に基づいて、例えば再構成顔画像領域でハイレベルとなり、その他の領域でローレベルとなるマスク領域信号Ｓmskが作成される。

マスク領域作成部１１３で作成されたマスク領域信号Ｓmskは、空間フィルタ１０７に入力されて、水平方向および垂直方向のローパスフィルタ処理が施される。この処理により、マスク領域信号Ｓmskの水平方向および垂直方向における急激なレベル変化部分が緩やかに変化するようにされる。空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′は、ゲイン制御部１０８に供給される。

ゲイン制御部１０８では、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ３が生成され、加減増幅器１０３に供給される。この場合、加減増幅器１０３のゲインは、ゲイン制御信号ＣＮ３のレベルに比例した値とされる。

例えば、ゲイン制御部１０８では、加減増幅器１０３の基本的なゲインを高めにして質感を改善する表示モードが選択された場合、図２（ａ）に示す対応関係で、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ３が生成される。そのため、この場合には、加減増幅器１０３の基本的なゲインが高めにされるので全体的に質感が上がるが、再構成顔画像領域では、ゲイン制御信号ＣＮ３が小さくなり、加減増幅器１０３のゲインが相対的に抑えられる。そのため、顔画像に関して、質感が強調され過ぎた違和感のある画像となることが防止され、適正な質感を得ることができる。

また、例えば、ゲイン制御部１０８では、加減増幅器１０３の基本的なゲインを低めにして質感をあまり上げない表示モードが選択された場合、図２（ｂ）に示す対応関係で、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ３が生成される。そのため、この場合には、加減増幅器１０３の基本的なゲインが低めにされるので全体的に質感はあまり上がらないが、再構成顔画像領域では、ゲイン制御信号ＣＮ３が大きくなり、加減増幅器１０３のゲインが相対的に上げられる。そのため、主要被写体である顔画像に関しては質感が上げられ、適正な質感を得ることができる。

以上説明したように、図９に示す画像処理装置１００Ａにおいては、基本的には、顔検出部１０５で取得される顔画像領域の情報Ｉarfに基づいて、ゲイン制御部１０８で加減増幅器１０３のゲイン制御信号ＣＮ３が生成される。そのため、顔画像が存在する顔画像領域において、加減増幅器１０３のゲインが、他の領域に対して相対的に、低くあるいは高く制御される。したがって、加減増幅器１０３の基本的なゲイン設定による全体的な質感の高低によらずに、顔画像に関して適正な質感を得ることができる。

また、図９に示す画像処理装置１００Ａにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、マスク領域作成部１１３で、この顔画像の画像情報Ｉfaに対応した画像が存在する画像領域が再構成画像領域として検出され、この再構成画像領域の情報に基づいてマスク領域信号Ｓmskが作成される。

この再構成画像領域には、顔検出部１０５で検出されない顔画像が存在する顔画像領域も含まれる。例えば、図１１（ａ）に示すようなフレーム画像ＩＭ-0を例にとって説明する。例えば、顔検出部１０５では、図１１（ｂ）に破線枠で囲んで示すように、フレーム画像ＩＭ-0に含まれている大きな顔の顔画像ＩＭ-1は検出されるが、このフレーム画像ＩＭ-0に含まれている小さな顔の顔画像ＩＭ-2は検出されなかったものとする。しかし、顔画像の画像情報Ｉfaに基づいて検出された再構成画像領域には、図１１（ｃ）に示すように、顔画像ＩＭ-1の領域の他に、顔画像ＩＭ-2の領域も含まれる。なお、図１１（ｃ）において、ハッチングが付された領域は、再構成画像領域以外の領域を示している。

このように、再構成画像領域に顔検出部１０５で検出されない顔画像が存在する顔画像領域も含まれる。そのため、顔検出部１０５において、横向きの顔画像などで顔画像領域の検出漏れがあった場合であっても、再構成画像領域に、全ての顔画像の領域を含ませることができる。したがって、顔検出部１０５で顔画像領域の検出漏れがあった場合であっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１０３のゲインを適正に制御でき、画像に含まれる全ての顔画像に関して適正な質感を得ることができる。

また、図９に示す画像処理装置１００Ａにおいては、マスク領域作成部１１３で、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaに基づいて、入力輝度データＹinおよび入力色データＣinから再構成画像領域が検出される。そのため、顔検出部１０５の検出に数フレーム要する場合であっても、再構成画像領域には、入力画像データＶinの現在フレームで顔画像が存在する顔画像領域が含まれる。

したがって、図９に示す画像処理装置１００Ａにおいては、入力画像データＶinが動画像データであって、顔画像領域が移動する場合であっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１０３のゲインを適正に制御できる。そのため、入力画像に含まれる全ての顔画像に関して適正な質感を得ることができる。

また、図９に示す画像処理装置１００Ａにおいては、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaが顔情報保持部１１２に保持される。そして、マスク領域作成部１１３では、この顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaに基づいて再構成画像領域が検出され、この再構成画像領域の情報に基づいてマスク領域信号Ｓmskが作成される。

そのため、顔検出部１０５で顔画像領域が検出されないフレームであっても、顔情報保持部１１２に顔画像情報が保持されているので、マスク領域作成部１１３では、再構成画像領域を安定して検出できる。したがって、顔検出部１０５で顔画像領域が検出されないフレームであっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１０３のゲインを適正に制御でき、入力画像に含まれる全ての顔画像に関して適正な質感を得ることができる。

また、図９に示す画像処理装置１００Ａにおいては、顔情報保持部１１２では、シーン変化が検出される毎に、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaにより保持内容が更新されるものである。そのため、更新頻度を少なくでき、ＣＰＵの処理負荷を大幅に軽減できる。

また、図９に示す画像処理装置１００Ａにおいては、マスク領域作成部１１３で作成されたマスク領域信号Ｓmskは、空間フィルタ１０７に入力されて、水平方向および垂直方向のローパスフィルタ処理が施される。この処理により、マスク領域信号Ｓmskの水平方向および垂直方向における急激なレベル変化部分が緩やかに変化するようにされる。そのため、ゲイン制御部１０８で生成されるゲイン制御信号ＣＮ３が再構成顔画像領域とその他の領域との境界で急激に変化することがなく、その境界が目立つことを抑制できる。

なお、図９に示す画像処理装置１００Ａにおいて、顔検出部１０５では、フレーム毎に顔画像を検出するように説明した。しかし、この図９に示す画像処理装置１００Ａにおいて、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaは顔情報保持部１１２に送られて保持され、顔検出部１０５で顔画像領域が検出されないフレームにも対処されている。そのため、顔検出部１０５では、必ずしもフレーム毎に顔画像を検出する必要はなく、２以上のフレーム毎に検出するようにしてもよい。

＜３．第３の実施の形態＞
［画像処理装置の構成］
図１２は、第３の実施の形態としての画像処理装置１００Ｂの構成例を示している。この図１２において、図９と対応する部分には同一符号を付して示している。この画像処理装置１００Ｂは、ハイパスフィルタ１２１と、加減増幅器１２２と、加算器１２３を有している。また、この画像処理装置１００Ｂは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、マスク領域作成部１１３と、空間フィルタ１０７と、ゲイン制御部１０８と、シーン変化検出部１１４を有している。

この画像処理装置１００Ｂにおいて、顔検出部１０５、顔情報抽出部１１１、顔情報保持部１１２、マスク領域作成部１１３、空間フィルタ１０７、ゲイン制御部１０８およびシーン変化検出部１１４は、上述の図９に示す画像処理装置１００Ａと同様である。そのため、これら各部の詳細説明は省略する。

ハイパスフィルタ１２１は、入力画像データＶinを構成する入力輝度データＹinから高域成分ＹＨ１を抽出する。加減増幅器１２２は、ハイパスフィルタ１２１で得られた高域成分ＹＨ１を増幅して、出力データとして増幅された高域成分ＹＨ２を得る。加算器１２３は、入力輝度データＹinに、加減増幅器１２２で得られた高域成分ＹＨ２を加算し、出力輝度データＹoutを得る。

ゲイン制御部１０８は、空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ４を生成し、加減増幅器１２２に供給する。この場合、加減増幅器１２２のゲインは、ゲイン制御信号ＣＮ４のレベルに比例した値とされる。加減増幅１２２のゲインは、基本的には、ユーザのソフトフォーカス効果の調整操作により決定されるが、このゲインがゲイン制御信号ＣＮ４によりさらに制御される。

例えば、ゲイン制御部１０８は、ソフトフォーカス効果の調整で加減増幅器１２２のゲインが高めに設定される場合、顔画像領域において、加減増幅器１２２のゲインを相対的に下げるように、ゲイン制御信号ＣＮ４を生成する。この場合、全体的にソフトフォーカス効果が上がるが、顔画像領域では、加減増幅器１２２のゲインが相対的に抑えられるので、違和感のない適正なソフトフォーカス効果が得られる。

また、例えば、ゲイン制御部１０８は、ソフトフォーカス効果の調整で加減増幅器１２２のゲインが低めに設定される場合、顔画像領域において、加減増幅器１２２のゲインを相対的に上げるように、ゲイン制御信号ＣＮ４を生成する。この場合、全体的にソフトフォーカス効果はあまり上がらないが、顔画像領域では、加減増幅器１２２のゲインが相対的に上げられるので、ソフトフォーカス効果が高められる。図１２の示す画像処理装置１００Ｂのその他は、図９に示す画像処理装置１００Ａと同様に構成されている。

図１２に示す画像処理装置１００Ｂの動作を説明する。入力画像データＶinを構成する入力輝度データＹinは、ハイパスフィルタ１２１に供給される。このハイパスフィルタ１２１では、入力画像データＶinを構成する入力輝度データＹinから高域成分ＹＨ１が抽出される。ハイパスフィルタ１２１で抽出された高域成分ＹＨ１は、加減増幅器１２２に供給される。この加減増幅器１２２では、高域成分ＹＨ１が増幅されて、出力データとして増幅された高域成分ＹＨ２が得られる。この加減増幅器１２２の基本的なゲインは、例えば、上述したユーザのソフトフォーカス効果の調整操作に応じて決定される。

この加減増幅器１２２で得られた高域成分ＹＨ２は加算器１２３に供給される。この加算器１２３には、入力輝度データＹinも供給される。この加算器１２３では、入力輝度データＹinに高域成分ＹＨ２が加算されて、出力画像データＶoutを構成する出力輝度データＹoutが得られる。なお、入力画像データＶinを構成する入力色データ（赤色差データ、青色差データ）Ｃinは、そのまま、出力画像データＶoutを構成する出力色データＣoutとなる。

また、顔検出部１０５では、入力輝度データＹinに基づいて、顔画像が検出され、顔画像領域の情報Ｉarfが取得される。顔情報抽出部１１１では、この顔画像領域の情報Ｉarfに基づいて、入力輝度データＹinおよび入力色データＣinから、顔画像の画像情報Ｉfが抽出される。マスク領域作成部１１３では、この顔画像の画像情報Ｉfaに対応した画像が存在する画像領域が再構成画像領域として検出され、この再構成画像領域の情報に基づいてマスク領域信号Ｓmskが作成される。そして、このマスク領域信号Ｓmskは、空間フィルタ１０７でローパスフィルタ処理が施された後に、ゲイン制御部１０８に供給される。

ゲイン制御部１０８では、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ４が生成され、加減増幅器１２２に供給される。この場合、加減増幅器１２２のゲインは、ゲイン制御信号ＣＮ４のレベルに比例した値とされる。

例えば、ゲイン制御部１０８では、ソフトフォーカス効果の調整で加減増幅器１２２のゲインが高めに設定される場合、顔画像領域において、加減増幅器１２２のゲインを相対的に下げるように、ゲイン制御信号ＣＮ４が生成される。この場合、全体的にソフトフォーカス効果が上がるが、顔画像領域では、加減増幅器１２２のゲインが相対的に抑えられるので、違和感のない適正なソフトフォーカス効果が得られる。

また、例えば、ゲイン制御部１０８では、ソフトフォーカス効果の調整で加減増幅器１２２のゲインが低めに設定される場合、顔画像領域において、加減増幅器１２２のゲインを相対的に上げるように、ゲイン制御信号ＣＮ４が生成される。この場合、全体的にソフトフォーカス効果はあまり上がらないが、顔画像領域では、加減増幅器１２２のゲインが相対的に上げられるので、ソフトフォーカス効果が高められる。

以上説明したように、図１２に示す画像処理装置１００Ｂにおいては、基本的には、顔検出部１０５で取得される顔画像領域の情報Ｉarfに基づいて、ゲイン制御部１０８で加減増幅器１２２のゲイン制御信号ＣＮ４が生成される。そのため、顔画像が存在する顔画像領域において、加減増幅器１２２のゲインが、他の領域に対して相対的に、低くあるいは高く制御される。したがって、加減増幅器１２２の基本的なゲイン設定による全体的なソフトフォーカス効果の高低によらずに、顔画像に関して適正なソフトフォーカス効果を得ることができる。

また、図１２に示す画像処理装置１００Ｂにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、マスク領域作成部１１３で、この顔画像の画像情報Ｉfaに対応した画像が存在する画像領域が再構成画像領域として検出され、この再構成画像領域の情報に基づいてマスク領域信号Ｓmskが作成される。

そのため、顔検出部１０５において、横向きの顔画像などで顔画像領域の検出漏れがあった場合であっても、再構成画像領域に、全ての顔画像の領域を含ませることができる。したがって、顔検出部１０５で顔画像領域の検出漏れがあった場合であっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１２２のゲインを適正に制御でき、画像に含まれる全ての顔画像に関して、適正なソフトフォーカス効果を得ることができる。

また、図１２に示す画像処理装置１００Ｂにおいては、マスク領域作成部１１３で、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaに基づいて、入力輝度データＹinおよび入力色データＣinから再構成画像領域が検出される。そのため、顔検出部１０５の検出に数フレーム要する場合であっても、再構成画像領域には、入力画像データＶinの現在フレームで顔画像が存在する顔画像領域が含まれる。

したがって、図１２に示す画像処理装置１００Ｂにおいては、入力画像データＶinが動画像データであって、顔画像領域が移動する場合であっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１２２のゲインを適正に制御できる。そのため、入力画像に含まれる全ての顔画像に関して適正なソフトフォーカス効果を得ることができる。

また、図１２に示す画像処理装置１００Ｂにおいては、上述の図９に示す画像処理装置１００Ａと同様に、顔情報保持部１１２、空間フィルタ１０７による効果、顔情報保持部１１２の保持情報の更新をシーン変化毎に行うことによる効果等も得ることができる。

＜４．第４の実施の形態＞
［画像処理装置の構成］
図１３は、第４の実施の形態としての画像処理装置１００Ｃの構成例を示している。この図１３において、図９と対応する部分には同一符号を付して示している。この画像処理装置１００Ｃは、彩度調整器１３１と、彩度制御部１３２を有している。また、この画像処理装置１００Ｃは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、マスク領域作成部１１３と、空間フィルタ１０７と、シーン変化検出部１１４を有している。

この画像処理装置１００Ｃにおいて、顔検出部１０５、顔情報抽出部１１１、顔情報保持部１１２、マスク領域作成部１１３、空間フィルタ１０７およびシーン変化検出部１１４の部分は、詳細説明は省略するが、図９に示す画像処理装置１００Ａと同様である。

彩度調整器１３１は、入力画像データＶinを構成する入力色データ（赤色差データおよび青色差データ）Ｃinに対して彩度調整処理を行う。この彩度調整器１３１は例えば、入力色データＣin内の赤色差データおよび青色差データを増幅する加減増幅器で構成されており、そのゲインが調整されることで彩度調整が行われる。この彩度調整器１３１の彩度調整処理は、彩度制御部１３２で生成される彩度制御信号ＣＮ５により制御される。

彩度制御部１３２は、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaのうち、彩度情報（２次元ＵＶヒストグラム）を用いて、彩度制御信号ＣＮ５を生成する。また、彩度制御部１３２は、空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′に基づき、彩度制御信号ＣＮ５を生成する。彩度制御部１３２は、彩度調整器１３１に、顔画像の彩度が所定の彩度となるように彩度調整処理を行わせ、かつその彩度調整処理を再構成顔画像領域のみで行わせる、彩度制御信号ＣＮ５を生成する。所定の彩度は、固定値、あるいはユーザ設定値である。図１３に示す画像処理装置１００Ｃのその他は、図９に示す画像処理装置１００Ａと同様に構成されている。

図１３に示す画像処理装置１００Ｃの動作を説明する。入力画像データＶinを構成する入力色データＣinは、彩度調整器１３１に供給される。この彩度調整器１３１の彩度調整処理は、彩度制御部１３２から供給される彩度制御信号ＣＮ５により制御される。上述したように、この彩度制御信号ＣＮ５は、顔画像の彩度が所定の彩度となるように彩度調整処理を行わせ、かつその彩度調整処理を再構成顔画像領域のみで行わせるものである。

そのため、この彩度調整器１３１では、再構成顔画像領域のみで、顔画像の彩度が所定の彩度となるように彩度調整処理が行われる。この彩度調整器１３１の出力色データ（赤色差データ、青色差データ）は、出力画像データＶoutを構成する出力色データＣoutとなる。なお、入力画像データＶinを構成する入力輝度データＹinは、そのまま、出力画像データＶoutを構成する出力輝度データＹoutとなる。

以上説明したように、図１３に示す画像処理装置１００Ｃにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、この顔画像の画像情報Ｉfaのうち、彩度情報（２次元ＵＶヒストグラム）が用いられて彩度制御信号ＣＮ５が生成される。そのため、顔画像の彩度が所定の彩度となるように、顔画像領域で精度のよい彩度調整を行うことができる。

また、図１３に示す画像処理装置１００Ｃにおいては、彩度制御部１３２で彩度制御信号ＣＮ５を生成する際に、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaが用いられる。そのため、顔検出部１０５で顔画像領域が検出されないフレームであっても、彩度制御部１３２では彩度制御信号ＣＮ５が安定して生成され、安定した彩度調整が可能となる。

また、図１３に示す画像処理装置１００Ｃにおいては、上述の図９に示す画像処理装置１００Ａと同様に、空間フィルタ１０７による効果、顔情報保持部１１２の保持情報の更新をシーン変化毎に行うことによる効果等も得ることができる。

＜５．第５の実施の形態＞
［画像処理装置の構成］
図１４は、第５の実施の形態としての画像処理装置１００Ｄの構成例を示している。この図１４において、図９、図１３と対応する部分には同一符号を付して示している。この画像処理装置１００Ｄは、彩度調整器１３１と、彩度制御部１３３を有している。また、この画像処理装置１００Ｄは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、シーン変化検出部１１４を有している。

この画像処理装置１００Ｄにおいて、彩度調整器１３１、顔検出部１０５、顔情報抽出部１１１、顔情報保持部１１２およびシーン変化検出部１１４の部分は、詳細説明は省略するが、上述の図１３に示す画像処理装置１００Ｃと同様である。

彩度調整器１３１の彩度調整処理は、彩度制御部１３３で生成される彩度制御信号ＣＮ６により制御される。彩度制御部１３３は、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaのうち、彩度情報（２次元ＵＶヒストグラム）を用いて、彩度制御信号ＣＮ６を生成する。彩度制御部１３３は、彩度調整器１３１に、顔画像の彩度が所定の彩度となるように彩度調整処理を行わせる、彩度制御信号ＣＮ６を生成する。図１４に示す画像処理装置１００Ｄのその他は、図９、図１３に示す画像処理装置１００Ａと同様に構成されている。

図１４に示す画像処理装置１００Ｄの動作を説明する。入力画像データＶinを構成する入力色データＣinは、彩度調整器１３１に供給される。この彩度調整器１３１の彩度調整処理は、彩度制御部１３３から彩度制御信号ＣＮ６により制御される。上述したように、この彩度制御信号ＣＮ６は、顔画像の彩度が所定の彩度となるように彩度調整処理を行わせるものである。

そのため、この彩度調整器１３１では、顔画像の彩度が所定の彩度となるように、画面全体で彩度調整処理が行われる。この彩度調整器１３１の出力色データ（赤色差データ、青色差データ）は、出力画像データＶoutを構成する出力色データＣoutとなる。なお、入力画像データＶinを構成する入力輝度データＹinは、そのまま、出力画像データＶoutを構成する出力輝度データＹoutとなる。

以上説明したように、図１４に示す画像処理装置１００Ｄにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、この顔画像の画像情報Ｉfaのうち、彩度情報（２次元ＵＶヒストグラム）が用いられて彩度制御信号ＣＮ６が生成される。そのため、顔画像の彩度が所定の彩度となるように、画面全体の彩度を調整できる。この画像処理装置１００Ｄにおいては、人間の視覚特性が顔に対して感度が高いことから、簡易的に、顔画像領域の彩度のヒストグラムの変化から、画面全体の彩度を処理して、高画質化を図ることができる。

また、図１４に示す画像処理装置１００Ｄにおいては、彩度制御部１３３で彩度制御信号ＣＮ６を生成する際に、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaが用いられる。そのため、顔検出部１０５で顔画像領域が検出されないフレームであっても、彩度制御部１３３では彩度制御信号ＣＮ６が安定して生成され、安定した彩度調整が可能となる。また、図１４に示す画像処理装置１００Ｄにおいては、上述の図９に示す画像処理装置１００Ａと同様に、顔情報保持部１１２の保持情報の更新をシーン変化毎に行うことによる効果等も得ることができる。

＜６．第６の実施の形態＞
［画像処理装置の構成］
図１５は、第６の実施の形態としての画像処理装置１００Ｅの構成例を示している。この図１５において、図９と対応する部分には同一符号を付して示している。この画像処理装置１００Ｅは、色相調整器１４１と、色相制御部１４２を有している。また、この画像処理装置１００Ｅは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、マスク領域作成部１１３と、空間フィルタ１０７と、シーン変化検出部１１４を有している。

この画像処理装置１００Ｅにおいて、顔検出部１０５、顔情報抽出部１１１、顔情報保持部１１２、マスク領域作成部１１３、空間フィルタ１０７およびシーン変化検出部１１４の部分は、詳細説明は省略するが、図９に示す画像処理装置１００Ａと同様である。

色相調整器１４１は、入力画像データＶinを構成する入力色データ（赤色差データおよび青色差データ）Ｃinに対して色相調整処理を行う。この色相調整器１４１は例えば、入力色データＣin内の赤色差データおよび青色差データをそれぞれ増幅する２個の加減増幅器で構成されており、それぞれの加減増幅器のゲインが個別に調整されることで色相調整が行われる。この色相調整器１４１の色相調整処理は、色相制御部１４２で生成される色相制御信号ＣＮ７により制御される。

色相制御部１４２は、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaのうち、色相情報（２次元ＵＶヒストグラム）を用いて、色相制御信号ＣＮ７を生成する。また、色相制御部１４２は、空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′に基づき、色相制御信号ＣＮ７を生成する。色相制御部１４２は、色相調整器１４１に、顔画像の色相が所定の色相となるように色相調整処理を行わせ、かつその色相調整処理を再構成顔画像領域のみで行わせる、色相制御信号ＣＮ７を生成する。所定の色相は、固定値、あるいはユーザ設定値である。図１５の示す画像処理装置１００Ｅのその他は、図９に示す画像処理装置１００Ａと同様に構成されている。

図１５に示す画像処理装置１００Ｅの動作を説明する。入力画像データＶinを構成する入力色データＣinは、色相調整器１４１に供給される。この色相調整器１４１の色相調整処理は、色相制御部１４２から供給される色相制御信号ＣＮ７により制御される。上述したように、この色相制御信号ＣＮ７は、顔画像の色相が所定の色相となるように色相調整処理を行わせ、かつその色相調整処理が再構成顔画像領域のみで行わせるものである。

そのため、この色相調整器１４１では、再構成顔画像領域のみで、顔画像の色相が所定の色相となるように色相調整処理が行われる。この色相調整器１４１の出力色データ（赤色差データ、青色差データ）は、出力画像データＶoutを構成する出力色データＣoutとなる。なお、入力画像データＶinを構成する入力輝度データＹinは、そのまま、出力画像データＶoutを構成する出力輝度データＹoutとなる。

以上説明したように、図１５に示す画像処理装置１００Ｅにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、この顔画像の画像情報Ｉfaのうち、色相情報（２次元ＵＶヒストグラム）が用いられて色相制御信号ＣＮ７が生成される。そのため、顔画像の色相が所定の色相となるように、顔画像領域で精度のよい色相調整を行うことができる。

また、図１５に示す画像処理装置１００Ｅにおいては、色相制御部１４２で色相制御信号ＣＮ７を生成する際に、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaが用いられる。そのため、顔検出部１０５で顔画像領域が検出されないフレームであっても、色相制御部１４２では色相制御信号ＣＮ７が安定して生成され、安定した色相調整が可能となる。

また、図１５に示す画像処理装置１００Ｅにおいては、上述の図９に示す画像処理装置１００Ａと同様に、空間フィルタ１０７による効果、顔情報保持部１１２の保持情報の更新をシーン変化毎に行うことによる効果等も得ることができる。

＜７．第７の実施の形態＞
［画像処理装置の構成］
図１６は、第７の実施の形態としての画像処理装置１００Ｆの構成例を示している。この図１６において、図９、図１５と対応する部分には同一符号を付して示している。この画像処理装置１００Ｆは、色相調整器１４１と、色相制御部１４３を有している。また、この画像処理装置１００Ｆは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、シーン変化検出部１１４を有している。

この画像処理装置１００Ｆにおいて、色相調整器１４１、顔検出部１０５、顔情報抽出部１１１、顔情報保持部１１２およびシーン変化検出部１１４の部分は、詳細説明は省略するが、上述の図９、図１５に示す画像処理装置１００Ｅと同様である。

色相調整器１４１の色相調整処理は、色相制御部１４３で生成される色相制御信号ＣＮ８により制御される。色相制御部１４３は、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaのうち、色相情報（２次元ＵＶヒストグラム）を用いて、色相制御信号ＣＮ８を生成する。色相制御部１４３は、色相調整器１４１に、顔画像の色相が所定の色相となるように色相処理を行わせる、色相制御信号ＣＮ８を生成する。図１６の示す画像処理装置１００Ｆのその他は、図９、図１５に示す画像処理装置１００Ａと同様に構成されている。

図１６に示す画像処理装置１００Ｆの動作を説明する。入力画像データＶinを構成する入力色データＣinは、色相調整器１４１に供給される。この色相調整器１４１の色相調整処理は、色相制御部１４３から色相制御信号ＣＮ８により制御される。上述したように、この色相制御信号ＣＮ８は、顔画像の色相が所定の色相となるように色相調整処理を行わせるものである。

そのため、この色相調整器１４１では、顔画像の色相が所定の色相となるように、画面全体で色相調整処理が行われる。この色相調整器１４１の出力色データ（赤色差データ、青色差データ）は、出力画像データＶoutを構成する出力色データＣoutとなる。なお、入力画像データＶinを構成する入力輝度データＹinは、そのまま、出力画像データＶoutを構成する出力輝度データＹoutとなる。

以上説明したように、図１６に示す画像処理装置１００Ｆにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、この顔画像の画像情報Ｉfaのうち、色相情報（２次元ＵＶヒストグラム）が用いられて色相制御信号ＣＮ８が生成される。そのため、顔画像の色相が所定の色相となるように、画面全体の色相を調整できる。この画像処理装置１００Ｆにおいては、人間の視覚特性が顔に対して感度が高いことから、簡易的に、顔画像領域の色相のヒストグラムの変化から、画面全体の色相を処理して、高画質化を図ることができる。

また、図１６に示す画像処理装置１００Ｆにおいては、色相制御部１４３で色相制御信号ＣＮ８を生成する際に、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaが用いられる。そのため、顔検出部１０５で顔画像領域が検出されないフレームであっても、色相制御部１４３では色相制御信号ＣＮ８が安定して生成され、安定した色相調整が可能となる。また、図１６に示す画像処理装置１００Ｆにおいては、上述の図９に示す画像処理装置１００Ａと同様に、顔情報保持部１１２の保持情報の更新をシーン変化毎に行うことによる効果等も得ることができる。

＜８．第８の実施の形態＞
［画像処理装置の構成］
図１７は、第８の実施の形態としての画像処理装置１００Ｇの構成例を示している。この図１７において、図９と対応する部分には同一符号を付して示している。この画像処理装置１００Ｇは、コントラスト補正部１５１と、全画面情報抽出部１５３を有している。また、この画像処理装置１００Ｇは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、シーン変化検出部１１４を有している。

この画像処理装置１００Ｆにおいて、顔検出部１０５、顔情報抽出部１１１、顔情報保持部１１２およびシーン変化検出部１１４の部分は、詳細説明は省略するが、上述の図９に示す画像処理装置１００Ａと同様である。

コントラスト補正部１５１は、入力画像データＶinを構成する入力輝度データＹinに対してコントラスト補正処理を行う。このコントラスト補正部１５１は、コントラスト制御部１５２で生成される入出力特性カーブ（補正カーブ）ＣＮ９に基づいて、入力輝度データＹinを出力輝度データＹoutに変換することで、コントラスト補正処理を行う。

全画面情報抽出部１５３は、入力輝度データＹinに基づいて、画面全体の輝度ヒストグラムを作成し、その情報Ｉahsをコントラスト制御部１５２に送る。コントラスト制御部１５２は、基本的には、全画面情報抽出部１５３から供給される画面全体の輝度ヒストグラムの情報Ｉahsに基づいて、入出力特性カーブ（補正カーブ）ＣＮ９を作成する。

例えば、低輝度領域（黒レベル領域）の頻度が高い場合には、この低輝度領域のコントラストが広がるように入出力特性カーブＣＮ９が作成される。また、例えば、高輝度領域（白レベル領域）の頻度が高い場合には、この高輝度領域のコントラストが広がるように入出力特性カーブＣＮ９が作成される。さらに、例えば、中間輝度領域の頻度が高い場合には、この中間輝度領域のコントラストが広がるように入出力特性カーブＣＮ９が作成される。

また、コントラスト制御部１５２は、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaのうち、輝度ヒストグラムを用いて、入出力特性カーブＣＮ９を修正する。この場合、コントラスト制御部１５２は、顔画像領域で黒つぶれあるいは白つぶれが発生しないように、入出力特性カーブＣＮ９を修正する。

例えば、図１８（ａ）に示すようなフレーム画像である場合、画面全体の輝度ヒストグラムでは高輝度領域（白レベル領域）の頻度が高くなる。そのため、コントラスト補正部１５１において、基本的には、図１８（ｂ）に示すように、高い輝度領域のコントラストが広がるような入出力特性カーブＣＮ９が作成される。しかし、この入出力特性カーブＣＮ９をそのまま用いた場合、図１８（ｃ）に示すように、もともと低輝度領域にある顔画像領域で黒つぶれが発生する。

また、例えば、図１９（ａ）に示すようなフレーム画像である場合、画面全体の輝度ヒストグラムでは低輝度領域（黒レベル領域）の頻度が高くなる。そのため、コントラスト補正部１５１において、基本的には、図１９（ｂ）に示すように、低い輝度領域のコントラストが広がるような入出力特性カーブＣＮ９が作成される。しかし、この入出力特性カーブＣＮ９をそのまま用いた場合、図１９（ｃ）に示すように、もともと高輝度領域にある顔画像領域で白つぶれが発生する。

そこで、例えば、図２０（ａ）に示すようなフレーム画像（図１８（ａ）と同じ）で、基本的に図２０（ｂ）に示すような入出力特性カーブＣＮ９（図１８（ｂ）と同じ）が作成される場合には、以下のような修正が行われる。すなわち、図２０（ｂ）に示すような入出力特性カーブＣＮ９に対して、顔画像の輝度ヒストグラムに基づき、図２０（ｃ）に示すように、低輝度領域にある顔画像領域のコントラストも広がるような入出力特性カーブＣＮ９に修正される。この修正された入出力特性カーブＣＮ９を用いた場合、図２０（ｄ）に示すように、低輝度領域にある顔画像領域で黒つぶれが発生しなくなる。

説明は省略するが、例えば、図１９（ａ）に示すようなフレーム画像で、基本的に図１９（ｂ）に示すような入出力特性カーブＣＮ９が作成される場合にも、同様に高輝度領域にある顔画像領域のコントラストが広がるような入出力特性カーブＣＮ９に修正される。図１７に示す画像処理装置１００Ｇのその他は、図９に示す画像処理装置１００Ａと同様に構成されている。

図１７に示す画像処理装置１００Ｇの動作を説明する。入力画像データＶinを構成する入力輝度データＹinは、コントラスト補正部１５１に供給される。このコントラスト補正部１５１におけるコントラスト補正処理は、コントラスト補正部１５２から供給される入出力特性カーブ（補正カーブ）ＣＮ９に基づいて行われる。

また、入力輝度データＹinは、全画面情報抽出部１５３に供給される。この全画面情報抽出部１５３では、入力輝度データＹinに基づいて、画面全体の輝度ヒストグラムが作成され、その情報Ｉahsがコントラスト制御部１５２に送られる。また、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaのうち、輝度ヒストグラムの情報がコントラスト制御部１５２に送られる。

コントラスト制御部１５２では、基本的には、全画面情報抽出部１５３から供給される画面全体の輝度ヒストグラムの情報Ｉahsに基づいて、入出力特性カーブ（補正カーブ）ＣＮ９が作成される。さらに、コントラスト制御部１５２では、顔画像の輝度ヒストグラムに基づいて、この入出力特性カーブＣＮ９が、顔画像領域のコントラストが広がるように修正される。そして、このようにコントラスト制御部１５２で生成された入出力特性カーブＣＮ９は、コントラスト補正部１５１に供給される。

コントラスト補正部１５１の出力輝度データは、出力画像データＶoutを構成する出力輝度データＹoutとなる。なお、入力画像データＶinを構成する入力色データＣinは、そのまま、出力画像データＶoutを構成する出力色データＣoutとなる。

以上説明したように、図１７に示す画像処理装置１００Ｇにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、この顔画像の画像情報Ｉfaのうち、輝度ヒストグラムに基づいて、コントラスト制御部１５２で生成される入出力特性カーブＣＮ９が、顔画像領域のコントラストが広がるように修正される。したがって、好ましいコントラスト補正を行うことができる。

また、図１７に示す画像処理装置１００Ｇにおいては、コントラスト制御部１５２で入出力特性カーブＣＮ９を修正する際に、顔情報保持部１１２に保持されている顔画像の輝度ヒストグラムが用いられる。そのため、顔検出部１０５で顔画像領域が検出されないフレームであっても、コントラスト制御部１５２では入出力特性カーブＣＮ９が安定して生成され、安定したコントラスト補正が可能となる。また、図１７に示す画像処理装置１００Ｇにおいては、上述の図９に示す画像処理装置１００Ａと同様に、顔情報保持部１１２の保持情報の更新をシーン変化毎に行うことによる効果等も得ることができる。

＜９．第９の実施の形態＞
［画像処理装置の構成］
図２１は、第９の実施の形態としての画像処理装置１００Ｈの構成例を示している。この図２１において、図９、図１７と対応する部分には同一符号を付して示している。この画像処理装置１００Ｈは、非線形フィルタ１０１と、減算器１０２と、加減増幅器１０３と、加算器１０４を有している。また、この画像処理装置１００Ｈは、顔検出部１０５と、顔情報抽出部１１１と、顔情報保持部１１２と、マスク領域作成部１１３と、空間フィルタ１０７と、ゲイン制御部１０８と、シーン変化検出部１１４を有している。また、画像処理装置１００Ｈは、コントラスト補正部１５１と、全画面情報抽出部１５３と、制御部１６１を有している。

この画像処理装置１００Ｈにおいて、非線形フィルタ１０１、減算器１０２、加減増幅器１０３および加算器１０４の部分は、詳細説明は省略するが、上述の図９に示す画像処理装置１００Ａと同様である。また、この画像処理装置１００Ｈにおいて、顔検出部１０５、顔情報抽出部１１１、顔情報保持部１１２、マスク領域作成部１１３、空間フィルタ１０７およびシーン変化検出部１１４の部分も、上述の図９に示す画像処理装置１００Ａと同様である。さらに、この画像処理装置１００Ｈにおいて、コントラスト補正部１５１および全画面情報抽出部１５３の部分は、上述の図１７に示す画像処理装置１００Ｇと同様である。

コントラスト補正部１５１は、非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１に対してコントラスト補正処理を行う。このコントラスト補正部１５１は、制御部１６１で生成される入出力特性カーブ（補正カーブ）ＣＮ９に基づいて、ストラクチャー成分ＳＴ１をストラクチャー成分ＳＴ２に変換することで、コントラスト補正処理を行う。

制御部１６１は、空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ３を生成し、加減増幅器１０３に供給する。この場合、加減増幅器１０３のゲインは、ゲイン制御信号ＣＮ３のレベルに比例した値とされる。

また、制御部１６１は、基本的には、全画面情報抽出部１５３から供給される画面全体の輝度ヒストグラムの情報Ｉahsに基づいて、入出力特性カーブ（補正カーブ）ＣＮ９を作成する。そして、制御部１６１は、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の輝度ヒストグラムを用いて、顔画像領域のコントラストが広がるような入出力特性カーブＣＮ９を修正する。図２１の示す画像処理装置１００Ｈのその他は、図９に示す画像処理装置１００Ａおよび図１７に示す画像処理装置１００Ｇと同様に構成されている。

図２１に示す画像処理装置１００Ｈの動作を説明する。入力画像データＶinを構成する入力輝度データＹinは、非線形フィルタ１０１に供給される。この非線形フィルタ１０１では、入力輝度データＹinがエッジを保存したまま平滑化されて平滑化データとしてのストラクチャー成分ＳＴ１が生成される。

また、入力輝度データＹinは、減算器１０２に供給される。この減算器１０２には、非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１も供給される。この減算器１０２では、入力輝度データＹinからストラクチャー成分ＳＴ１が減算されて、出力データとしてテクスチャー成分ＴＸ１が得られる。

減算器１０２で得られたテクスチャー成分ＴＸ１は、加減増幅器１０３に供給される。この加減増幅器１０３では、テクスチャー成分ＴＸ１が増幅されて、増幅されたテクスチャー成分ＴＸ２が得られる。この加減増幅器１０３の基本的なゲインは、例えば、ユーザの表示モード選択操作に応じて決定される。この加減増幅器１０３で得られたテクスチャー成分ＴＸ２は加算器１０４に供給される。

また、非線形フィルタ１０１で生成されたストラクチャー成分ＳＴ１は、コントラスト補正部１５１に供給される。このコントラスト補正部１５１では、制御部１６１から供給される入出力特性カーブ（補正カーブ）ＣＮ９に基づいて、ストラクチャー成分ＳＴ１に対してコントラスト補正処理が施される。このコントラスト補正部１５１から出力されるストラクチャー成分ＳＴ２は加算器１０４に供給される。

加算器１０４では、ストラクチャー成分ＳＴ２にテクスチャー成分ＴＸ２が加算されて、出力画像データＶoutを構成する出力輝度データＹoutが得られる。なお、入力画像データＶinを構成する入力色データ（赤色差データ、青色差データ）Ｃinは、そのまま、出力画像データＶoutを構成する出力色データＣoutとなる。

また、入力画像データＶinを構成する入力輝度データＹinは、顔検出部１０５に供給される。この顔検出部１０５では、入力輝度データＹinに基づいて、フレーム毎に、顔画像が検出され、この顔画像が存在する顔画像領域の情報Ｉarf、例えば顔検出枠情報（位置情報、サイズ情報）が取得される。この顔画像領域の情報Ｉarfは、顔情報抽出部１１１に供給される。

顔情報抽出部１１１では、フレーム毎に、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、入力輝度データＹinおよび入力色データＣinから、顔画像の画像情報Ｉfaが抽出される。例えば、顔画像抽出部１１１では、顔画像情報Ｉfaとして、顔画像領域の輝度ヒストグラムおよび２次元ＵＶヒストグラムが計測される。このように、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaは、顔情報保持部１１２に供給される。

顔情報保持部１１２では、顔情報抽出部１１１から供給される顔画像の画像情報Ｉfaが保持される。この場合、顔情報保持部１１２では、画像状態に変化がある毎に、シーン変化検出部１１４からのシーン変化検出信号Ｓchdに基づき、シーン変化が検出される毎に、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaにより保持内容が更新される。

マスク領域作成部１１３では、フレーム毎に、入力輝度データＹinおよび入力色データＣinに基づいて、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaに対応した画像が存在する画像領域が再構成画像領域として検出される。そして、マスク領域作成部１１３では、さらに、この再構成画像領域の情報に基づいて、例えば再構成顔画像領域でハイレベルとなり、その他の領域でローレベルとなるマスク領域信号Ｓmskが作成される。

マスク領域作成部１１３で作成されたマスク領域信号Ｓmskは、空間フィルタ１０７に入力されて、水平方向および垂直方向のローパスフィルタ処理が施される。この処理により、マスク領域信号Ｓmskの水平方向および垂直方向における急激なレベル変化部分が緩やかに変化するようにされる。空間フィルタ１０７で得られるフィルタリング後のマスク領域信号Ｓmsk′は、制御部１６１に供給される。

制御部１６１では、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ３が生成され、加減増幅器１０３に供給される。この場合、加減増幅器１０３のゲインは、ゲイン制御信号ＣＮ３のレベルに比例した値とされる。

例えば、制御部１６１では、加減増幅器１０３の基本的なゲインを高めにして質感を改善する表示モードが選択された場合、図２（ａ）に示す対応関係で、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ３が生成される。そのため、この場合には、加減増幅器１０３の基本的なゲインが高めにされるので全体的に質感が上がるが、再構成顔画像領域では、ゲイン制御信号ＣＮ３が小さくなり、加減増幅器１０３のゲインが相対的に抑えられる。そのため、顔画像に関して、質感が強調され過ぎた違和感のある画像となることが防止され、適正な質感を得ることができる。

また、例えば、制御部１６１では、加減増幅器１０３の基本的なゲインを低めにして質感をあまり上げない表示モードが選択された場合、図２（ｂ）に示す対応関係で、マスク領域信号Ｓmsk′に対応したゲイン制御信号ＣＮ３が生成される。そのため、この場合には、加減増幅器１０３の基本的なゲインが低めにされるので全体的に質感はあまり上がらないが、再構成顔画像領域では、ゲイン制御信号ＣＮ３が大きくなり、加減増幅器１０３のゲインが相対的に上げられる。そのため、主要被写体である顔画像に関しては質感が上げられ、適正な質感を得ることができる。

また、入力輝度データＹinは、全画面情報抽出部１５３に供給される。この全画面情報抽出部１５３では、入力輝度データＹinに基づいて、画面全体の輝度ヒストグラムが作成され、その情報Ｉahsが制御部１６１に送られる。また、顔情報抽出部１１１で抽出され、顔情報保持部１１２に保持されている顔画像の画像情報Ｉfaのうち、輝度ヒストグラムの情報が制御部１６１に送られる。

制御部１６１では、基本的には、全画面情報抽出部１５３から供給される画面全体の輝度ヒストグラムの情報Ｉahsに基づいて、入出力特性カーブ（補正カーブ）ＣＮ９が作成される。さらに、制御部１６１では、顔画像の輝度ヒストグラムに基づいて、この入出力特性カーブＣＮ９が、顔画像領域のコントラストが広がるように修正される。そして、このように制御部１６１で生成された入出力特性カーブＣＮ９が、コントラスト補正部１５１に供給される。コントラスト補正部１５１では、このように修正された入出力特性カーブＣＮ９に基づいて、コントラスト補正が行われる。

以上説明したように、図２１に示す画像処理装置１００Ｈにおいては、基本的には、顔検出部１０５で取得される顔画像領域の情報Ｉarfに基づいて、制御部１６１で加減増幅器１０３のゲイン制御信号ＣＮ３が生成さる。そのため、顔画像が存在する顔画像領域において、加減増幅器１０３のゲインが、他の領域に対して相対的に、低くあるいは高く制御される。したがって、加減増幅器１０３の基本的なゲイン設定による全体的な質感の高低によらずに、顔画像に関して適正な質感を得ることができる。

また、図２１に示す画像処理装置１００Ｈにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、マスク領域作成部１１３で、この顔画像の画像情報Ｉfaに対応した画像が存在する画像領域が再構成画像領域として検出され、この再構成画像領域の情報に基づいてマスク領域信号Ｓmskが作成される。

この再構成画像領域には顔検出部１０５で検出されない顔画像が存在する顔画像領域も含まれる。そのため、顔検出部１０５において、横向きの顔画像などで顔画像領域の検出漏れがあった場合であっても、再構成画像領域に、全ての顔画像の領域を含ませることができる。したがって、顔検出部１０５で顔画像領域の検出漏れがあった場合であっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１０３のゲインを適正に制御でき、画像に含まれる全ての顔画像に関して適正な質感を得ることができる。

また、図２１に示す画像処理装置１００Ｈにおいては、マスク領域作成部１１３で、顔情報抽出部１１１で抽出された顔画像の画像情報Ｉfaに基づいて、入力輝度データＹinおよび入力色データＣinから再構成画像領域が検出される。そのため、顔検出部１０５の検出に数フレーム要する場合であっても、再構成画像領域には、入力画像データＶinの現在フレームで顔画像が存在する顔画像領域が含まれる。

したがって、図２１に示す画像処理装置１００Ｈにおいては、入力画像データＶinが動画像データであって、顔画像領域が移動する場合であっても、入力画像に含まれる全ての顔画像の領域に対応して加減増幅器１０３のゲインを適正に制御できる。そのため、入力画像に含まれる全ての顔画像に関して適正な質感を得ることができる。

また、図２１に示す画像処理装置１００Ｈにおいては、顔検出部１０５で取得された顔画像領域の情報Ｉarfに基づいて、顔情報抽出部１１１で顔画像の画像情報Ｉfaが抽出される。そして、この顔画像の画像情報Ｉfaのうち、輝度ヒストグラムに基づいて、制御部１５２で生成される入出力特性カーブＣＮ９が、顔画像領域のコントラストが広がるように修正される。したがって、好ましいコントラスト補正を行うことができる。

また、図２１に示す画像処理装置１００Ｈにおいては、制御部１６１で入出力特性カーブＣＮ９を修正する際に、顔情報保持部１１２に保持されている顔画像の輝度ヒストグラムが用いられる。そのため、顔検出部１０５で顔画像領域が検出されないフレームであっても、制御部１６１では入出力特性カーブＣＮ９が安定して生成され、安定したコントラスト補正が可能となる。

また、図２１に示す画像処理装置１００Ｈにおいては、コントラスト補正部１５１はストラクチャー成分の経路に配されている。そのため、顔画像の質感を変化させることなく、コントラスト補正を行うことができる。また、図２１に示す画像処理装置１００Ｈにおいては、上述の図９に示す画像処理装置１００Ａと同様に、顔情報保持部１１２、空間フィルタ１０７による効果、顔情報保持部１１２の保持情報の更新をシーン変化毎に行うことによる効果等も得ることができる。

この発明は、顔画像の質感、鮮鋭感、輝度、色等の良好な制御が可能となるものであり、例えば、テレビ受信機等のモニタ機器に適用できる。

１００，１００Ａ〜１００Ｈ・・・画像処理装置
１０１・・・非線形フィルタ
１０２・・・減算器
１０３・・・加減算器
１０４・・・加算器
１０５・・・顔検出部
１０６・・・マスク領域作成部
１０７・・・空間フィルタ
１０８・・・ゲイン制御部
１１１・・・顔情報抽出部
１１２・・・顔情報保持部
１１３・・・マスク領域作成部
１１４・・・シーン変化検出部
１２１・・・ハイパスフィルタ
１２２・・・加減算器
１２３・・・加算器
１３１・・・彩度調整器
１３２，１３３・・・彩度制御部
１４１・・・色相調整器
１４２，１４３・・・色相制御部
１５１・・・コントラスト補正部
１５２・・・コントラスト制御部
１５３・・・全画面情報抽出部
１６１・・・制御部

Claims (19)

1. 入力画像データを処理して出力画像データを得るデータ処理部と、
   上記入力画像データに基づいて、顔画像を検出して、該顔画像が存在する顔画像領域の情報を取得する顔検出部と、
   上記顔検出部で取得された顔画像領域の情報に基づいて、上記データ処理部の処理を制御する処理制御部と
   を備える画像処理装置。
2. 上記処理制御部は、
   上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出する顔情報抽出部と、
   上記入力画像データに基づいて、上記顔情報抽出部で抽出された画像情報に対応した画像が存在する画像領域を検出する画像領域検出部を有し、
   上記画像領域検出部で検出された画像領域の情報に基づいて、上記データ処理部の処理を制御する
   請求項１に記載の画像処理装置。
3. 上記顔検出部は、上記入力画像データに基づいて、所定数のフレーム毎に、顔画像を検出して、該顔画像が存在する顔画像領域を取得し、
   上記処理制御部の顔情報抽出部は、フレーム毎に、上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出し、
   上記処理制御部は、上記顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、
   上記処理制御部の画像領域検出部は、上記入力画像データに基づいて、上記顔情報保持部に保持されている画像情報に対応した画像が存在する画像領域を検出する
   請求項２に記載の画像処理装置。
4. 上記入力画像データに基づいて画像状態の変化を検出する画像状態変化検出部をさらに備え、
   上記処理制御部の顔情報保持部は、上記画像状態変化検出部で画像状態の変化が検出される毎に、上記顔情報抽出部で抽出された画像情報により保持内容を更新する
   請求項３に記載の画像処理装置。
5. 上記データ処理部は、
   上記入力画像データをエッジを保存したまま平滑化して平滑化画像データを生成する平滑化部と、
   上記入力画像データから上記平滑化部で生成された平滑化画像データを減算する減算部と、
   上記減算部の出力データを増幅する増幅部と、
   上記増幅部の出力データに上記平滑化部で生成された平滑化画像データを加算して上記出力画像データを得る加算部を有し、
   上記処理制御部は、上記増幅部のゲインを制御する
   請求項１または請求項２に記載の画像処理装置。
6. 上記データ処理部は、
   上記入力画像データから高域成分を抽出する高域成分抽出部と、
   上記高域成分抽出部で抽出された高域成分を増幅する増幅部と、
   上記入力画像データに上記増幅部の出力データを加算して上記出力画像データを得る加算部を有し、
   上記処理制御部は、上記増幅部のゲインを制御する
   請求項２に記載の画像処理装置。
7. 上記データ処理部は、
   上記入力画像データに対して彩度調整処理を行って上記出力画像データを得る彩度調整部を有し、
   上記処理制御部は、
   上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出する顔情報抽出部と、
   上記入力画像データに基づいて、上記顔情報抽出部で抽出された画像情報に対応した画像が存在する画像領域を検出する画像領域検出部を有し、
   上記画像領域検出部で検出された画像領域の情報および上記顔情報抽出部で抽出された画像情報に含まれる彩度情報に基づいて、上記彩度調整部における彩度調整量を制御する
   請求項１に記載の画像処理装置。
8. 上記顔検出部は、上記入力画像データに基づいて、所定数のフレーム毎に、顔画像を検出して、該顔画像が存在する顔画像領域の情報を取得し、
   上記処理制御部の顔情報抽出部は、フレーム毎に、上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出し、
   上記処理制御部は、上記顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、
   上記処理制御部の画像領域検出部は、上記入力画像データに基づいて、上記顔情報保持部に保持されている画像情報に対応した画像が存在する画像領域を検出し、
   上記処理制御部は、上記画像領域検出部で検出された画像領域の情報および上記顔情報保持部で保持されている画像情報に含まれる彩度情報に基づいて、上記彩度調整部における彩度調整量を制御する
   請求項７に記載の画像処理装置。
9. 上記データ処理部は、
   上記入力画像データに対して彩度調整処理を行って上記出力画像データを得る彩度調整部を有し、
   上記処理制御部は、
   上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出する顔情報抽出部を有し、
   上記顔情報抽出部で抽出された画像情報に含まれる彩度情報に基づいて、上記彩度調整部における彩度調整量を制御する
   請求項１に記載の画像処理装置。
10. 上記顔検出部は、上記入力画像データに基づいて、所定数のフレーム毎に、顔画像を検出して、該顔画像が存在する顔画像領域の情報を取得し、
    上記処理制御部の顔情報抽出部は、フレーム毎に、上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出し、
    上記処理制御部は、上記顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、
    上記処理制御部は、上記顔情報保持部で保持されている画像情報に含まれる彩度情報に基づいて、上記彩度調整部における彩度調整量を制御する
    請求項９に記載の画像処理装置。
11. 上記データ処理部は、
    上記入力画像データに対して色相調整処理を行って上記出力画像データを得る色相調整部を有し、
    上記処理制御部は、
    上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出する顔情報抽出部と、
    上記入力画像データに基づいて、上記顔情報抽出部で抽出された画像情報に対応した画像が存在する画像領域を検出する画像領域検出部を有し、
    上記画像領域検出部で検出された画像領域の情報および上記顔情報抽出部で抽出された画像情報に含まれる色相情報に基づいて、上記色相調整部における色相調整量を制御する
    請求項１に記載の画像処理装置。
12. 上記顔検出部は、上記入力画像データに基づいて、所定数のフレーム毎に、顔画像を検出し、該顔画像が存在する顔画像領域の情報を取得し、
    上記処理制御部の顔情報抽出部は、フレーム毎に、上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出し、
    上記処理制御部は、上記顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、
    上記処理制御部の画像領域検出部は、上記入力画像データに基づいて、上記顔情報保持部に保持されている画像情報に対応した画像が存在する画像領域を検出し、
    上記処理制御部は、上記画像領域検出部で検出された画像領域の情報および上記顔情報保持部で保持されている画像情報に含まれる色相情報に基づいて、上記色相調整部における色相調整量を制御する
    請求項１１に記載の画像処理装置。
13. 上記データ処理部は、
    上記入力画像データに対して色相調整処理を行って上記出力画像データを得る色相調整部を有し、
    上記処理制御部は、
    上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出する顔情報抽出部を有し、
    上記顔情報抽出部で抽出された画像情報に含まれる色相情報に基づいて、上記色相調整部における色相調整量を制御する
    請求項１に記載の画像処理装置。
14. 上記顔検出部は、上記入力画像データに基づいて、所定数のフレーム毎に、顔画像を検出して、該顔画像が存在する顔画像領域の情報を取得し、
    上記処理制御部の顔情報抽出部は、フレーム毎に、上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出し、
    上記処理制御部は、上記顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、
    上記処理制御部は、上記顔情報保持部で保持されている画像情報に含まれる色相情報に基づいて、上記色相調整部における色相調整量を制御する
    請求項１３に記載の画像処理装置。
15. 上記データ処理部は、
    上記入力画像データに対してコントラスト補正用の入出力特性カーブに基づいてコントラスト補正を行って上記出力画像データを得るコントラスト補正部を有し、
    上記処理制御部は、
    上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出する顔情報抽出部と、
    上記入力画像データに基づいて、全画面の輝度情報を抽出する輝度情報抽出部を有し、
    上記顔情報抽出部で抽出された画像情報に含まれる輝度情報および上記輝度情報抽出部で抽出された輝度情報に基づいて、上記コントラスト補正部で使用するコントラスト補正用の入出力特性カーブを制御する
    請求項１に記載の画像処理装置。
16. 上記顔検出部は、上記入力画像データに基づいて、所定数のフレーム毎に、顔画像を検出して、該顔画像が存在する顔画像領域の情報を取得し、
    上記処理制御部の顔情報抽出部は、フレーム毎に、上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出し、
    上記処理制御部は、上記顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、
    上記処理制御部は、上記顔情報保持部で保持されている画像情報に含まれる輝度情報および上記輝度情報抽出部で抽出された輝度情報に基づいて、上記コントラスト補正部で使用するコントラスト補正用の入出力特性カーブを制御する
    請求項１５に記載の画像処理装置。
17. 上記データ処理部は、
    上記入力画像データをエッジを保存したまま平滑化して平滑化画像データを生成する平滑化部と、
    上記入力画像データから上記平滑化部で生成された平滑化画像データを減算する減算部と、
    上記減算部の出力データを増幅する増幅部と、
    上記平滑化部で生成された平滑化画像データに対してコントラスト補正用の入出力特性に基づいてコントラスト補正を行うコントラスト補正部と、
    上記増幅部の出力データに上記コントラスト補正部の出力データを加算して上記出力画像データを得る加算部を有し、
    上記処理制御部は、
    上記入力画像データに基づいて、全画面の輝度情報を抽出する輝度情報抽出部をさらに有し、
    上記画像領域検出部で検出された画像領域の情報に基づいて、上記増幅部のゲインを制御し、
    上記顔情報抽出部で抽出された画像情報に含まれる輝度情報および上記輝度情報抽出部で抽出された輝度情報に基づいて、上記コントラスト補正部で使用するコントラスト補正用の入出力特性カーブを制御する
    請求項２に記載の画像処理装置。
18. 上記顔検出部は、上記入力画像データに基づいて、所定数のフレーム毎に、顔画像を検出して、該顔画像が存在する顔画像領域の情報を取得し、
    上記処理制御部の顔情報抽出部は、フレーム毎に、上記顔検出部で取得された顔画像領域の情報に基づいて、上記入力画像データから上記顔画像の画像情報を抽出し、
    上記処理制御部は、上記顔情報抽出部で抽出された画像情報を保持する顔情報保持部をさらに有し、
    上記処理制御部の画像領域検出部は、上記入力画像データに基づいて、上記顔情報保持部に保持されている画像情報に対応した画像が存在する画像領域を検出し、
    上記処理制御部は、上記顔情報保持部で保持されている画像情報に含まれる輝度情報および上記輝度情報抽出部で抽出された輝度情報に基づいて、上記コントラスト補正部で使用するコントラスト補正用の入出力特性カーブを制御する
    請求項１７に記載の画像処理装置。
19. 入力画像データを処理して出力画像データを得るデータ処理部ステップと、
    上記入力画像データに基づいて、顔画像を検出し、該顔画像が存在する顔画像領域の情報を取得する顔検出ステップと、
    上記顔検出ステップで取得された顔画像領域の情報に基づいて、上記データ処理ステップの処理を制御する処理制御ステップと
    を備える画像処理方法。