JP6720845B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、画像の顔領域に対して美肌処理を施す撮像装置が知られている。美肌処理の強度はユーザの好みに応じて任意に設定できるようになっているが、肌の状態に応じて適切な強度は異なり、ユーザが適切な設定を行うことは難しいという問題がある。一方、シミや毛穴といった肌の状態を判定する技術として特許文献１のように、専用の撮像装置を肌に密着させて撮影を行う技術が開示されている。

特開２００７−０８７２３４号公報

しかしながら、上述した特許文献１に開示された技術では、専用の装置や環境を必要とし、一般のユーザが手軽に行えるものではない。

本発明は、このような状況に鑑みてなされたものであり、画像に含まれる肌の状態を容易に評価できるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
画像に含まれる人物の顔領域を、前記顔領域の大きさによらず、前記顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する分割手段と、
前記分割手段により分割された分割領域のうち、顔を構成する部位が含まれない確度の高い肌分割領域を先に特定し、続けてその特定した肌分割領域に隣接する肌分割領域を順次特定する特定手段と、
前記特定手段により特定された肌分割領域毎の輝度値を測定する測定手段と、
前記測定手段により測定された肌分割領域毎に測定された輝度値の分布状況に基づき、前記顔領域内の毛穴及びシミの少なくとも何れかの状態を含む肌の状態を判定する判定手段と、
を備えることを特徴とする。

本発明によれば、画像に含まれる肌の状態を容易に評価することができる。

本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。 評価領域（標準評価領域Ｒ１０及び拡張評価領域Ｒ１１）を説明するための模式図である。 評価領域におけるラベリング結果を示す模式図である。 図１の撮像装置１の機能的構成のうち、追加美肌処理を実行するための機能的構成を示す機能ブロック図である。 図４の機能的構成を有する図１の撮像装置１が実行する追加美肌処理の流れを説明するフローチャートである。 追加美肌処理のうち、肌スコア算出処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力され、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１では、顔の毛穴とシミの肌状態に応じて美肌処理用のパラメータを設定することができる機能を有する。

即ち、本実施形態においては、顔の所定の領域における毛穴とシミの程度を肌状態として評価して、毛穴とシミを除去する美肌処理のためのパラメータに用いる毛穴とシミの程度を算出する。

図２は、後述する評価領域（標準評価領域Ｒ１０及び拡張評価領域Ｒ１１）を説明するための模式図である。
顔の所定の領域は、影等の影響を受けずに肌の状態が把握可能な領域とし、本実施形態においては、目のクマ、鼻の凹凸、メガネ、笑顔のシワ等による明暗の影響を受ける部分を避けて、目の下と口の上の領域のうち、鼻周辺を除いた領域（以下、「標準領域」という。）としている。
即ち、標準領域は、図２（ａ）に示すように、目の下から口の上の領域Ｒ２のうち、鼻周辺の領域Ｒ１を除いた領域Ｒ３である。

画像における顔検出においては、図２（ｂ）に示すように、顔の検出数、顔として特定された領域を囲った枠（以下、「顔枠」という。）Ｆ、目の座標Ｐ１，Ｐ２・鼻の座標Ｐ３，Ｐ４・口の座標Ｐ５，Ｐ６が検出結果として出力される。標準領域Ｒ３は、目の座標、鼻の座標、口の座標に基づいて決定される目の下から口の上までの略台形形状の領域Ｒ２から鼻付近の略三角形状の領域Ｒ２を除いた領域となる。
なお、顔の検出数、顔枠Ｆ、目の座標Ｐ１，Ｐ２・鼻の座標Ｐ３，Ｐ４・口の座標Ｐ５，Ｐ６を検出可能な顔検出は、種々の公知の顔検出技術を用いることができる。

また、評価の対象とする領域は、標準領域Ｒ３の全体ではなく、図２（ｃ）に示すように、標準領域Ｒ３内に配置した所定サイズの矩形の領域（以下、「評価領域」という。）とする。評価領域は、シミが検出可能であり、誤判定が生じにくいサイズとなるように、本実施形態においては、顔枠Ｆを３２分割したサイズの矩形形状の分割領域ＲＳである。
なお、標準領域Ｒ３内を分割領域ＲＳに割り当てるため、標準領域Ｒ３内外の判定を行う。所定の座標が標準領域Ｒ３内に属するか否かの判定は、例えば、点から半直線の交差点個数を求める手法、点と辺のなす角の和を求める手法、領域のベクトルの外積から求める手法等があるが公知の種々の領域の内外判定技術を用いることができる。

また、本実施形態においては、さらに、肌状態の評価結果の精度を高めるために、図２（ｄ）に示すように、標準領域Ｒ３内の評価領域を側方（目の水平方向）に延長して、評価領域を拡張することができる。
以下において、標準領域Ｒ３に属する評価の対象となる分割領域Ｒ１０（ＲＳ）を「標準評価領域」といい、標準評価領域Ｒ１０から拡張した領域に属する評価の対象となる分割領域Ｒ１１（ＲＳ）を「拡張評価領域」という。また、標準評価領域Ｒ１０と拡張評価領域Ｒ１１とを分けて説明する必要がない場合には、単に「評価領域」という。

評価対象となる評価領域（標準評価領域、拡張評価領域）の判定は、標準評価領域の場合には、標準評価領域内の標準偏差が所定の範囲の値となったものを評価対象とする。即ち、標準偏差が小さい場合には、きめ細かい肌となり、標準偏差が大きい場合には、光による明暗差や髪の毛、メガネ等の外的要因によって、毛穴やシミを正しく解析できなくなるため、評価対象から除外する。
なお、標準評価領域内の標準偏差は、標準評価領域内の輝度からヒストグラムを算出し、算出したヒストグラムの最頻値を中心として求める。

また、拡張評価領域の場合には、評価対象となった標準評価領域の標準偏差の平均値＋α（本実施形態においては、例えば、３）を閾値として、閾値を超えない標準偏差となる拡張評価領域を評価対象とする。
さらに、処理負担や処理時間を考慮して、拡張評価領域の場合には、所定数（本実施形態においては、例えば、５０の領域）に達しない場合には、評価対象とするように構成することができる。
なお、本実施形態においては、拡張評価領域を追加するか否かの上述した判定条件を、「拡張追加条件」という。

評価対象となった評価領域（標準評価領域、拡張評価領域）に対しては、各々の評価領域内の輝度のヒストグラムに基づいて設定した閾値を基準にして、２値化する。２値化した画素のそれぞれ連続する領域を割り出して、連続した領域のサイズに応じて、毛穴やシミとして判定する。
なお、閾値は、評価領域のばらつきの差を補正するための値であり、当該閾値を基準にして２値化することで、環境の明るさに影響されることなく暗くなっている部分を毛穴又はシミとされる部分として特定することができる。

連続した領域の抽出は、所定の状態の画素（暗くなっている画素）が連続しているものを同一のラベルに割り振る、いわゆる、ラベリング処理により行う。
なお、ラベリング処理は、種々の公知のラベリング技術を用いることができる。また、本実施形態においては、処理負担を考慮して、画像の縦（上下）、横（左右）の４方向に連続している部分を同一のラベルとする４連結のラベリング処理を採用する。

そして、ラベリング処理によって、抽出された連続した領域のサイズに応じて、毛穴かシミかを分類する。
毛穴やシミとして分類する連続した領域のサイズは、所定の範囲となるようにしており、以下のような関係のサイズとなるように定義される。
毛穴として判定する最小の連続した領域＜毛穴として判定する最大の連続した領域＝シミとして判定する最小の連続した領域＜シミとして判定する最大の連続した領域
具体的には、例えば、毛穴として判定する最小の連続した領域×０．０００３２＋α（本実施形態においては、１）、毛穴として判定する最大の連続した領域×０．０１４１０、シミとして判定する最小の連続した領域×０．０１４１０、シミとして判定する最大の連続した領域×０．２００００として定義することができる。なお、毛穴として判定する最小の連続した領域におけるαの値は、ＩＯＳ感度やノイズの程度に応じて変更することができる。

図３は、評価領域におけるラベリング結果を示す模式図である。
図３（ａ）に示すように、評価対象となった評価領域ＲＡ，ＲＢの画像のＹＵＶ値から輝度（Ｙ）を抜き出し、当該評価領域内の輝度のヒストグラムに基づいて設定した閾値で２値化して、ラベリング処理を行うことで、図３（ｂ）や図３（ｃ）に示すように、連続した領域Ｒａ１，Ｒａ２，Ｒｂ１が抽出され、サイズに応じて、毛穴やシミと分類される。図３（ｂ）及び図３（ｃ）の例では、連続した領域のサイズから、評価領域ＲＡ内の連続した領域Ｒａ１，Ｒａ２が毛穴として分類され、評価領域ＲＢ内の連続した領域Ｒｂ１がシミとして分類される。

評価対象となった評価領域の各々において、毛穴とシミの数を集計して、毛穴スコアとシミスコアである評価領域別スコアを算出する。そして、評価対象となった評価領域の全てにおける毛穴スコアとシミスコアを集計して、顔全体の毛穴スコアとシミスコアである総合スコアを算出する。
算出した毛穴スコアとシミスコアの顔全体の総合スコアに基づいて、美肌処理のパラメータを設定することになる。

図４は、図１の撮像装置１の機能的構成のうち、追加美肌処理を実行するための機能的構成を示す機能ブロック図である。
追加美肌処理とは、美肌処理後に、算出した顔の毛穴とシミのスコア（肌スコア）に応じて、美肌処理用のパラメータを設定し、追加の美肌処理を行う一連の処理をいう。

追加美肌処理を実行する場合には、図４に示すように、ＣＰＵ１１において、顔検出処理部５１と、処理対象設定部５２と、肌スコア算出処理部５３と、画像処理部５４と、が機能する。

また、記憶部１９の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、撮像部１６によって撮影された撮像画像や、美肌処理を施した画像のデータが記憶される。

顔検出処理部５１は、顔検出処理を実行する。具体的には、顔検出処理部５１は、撮像部１６により撮像された処理対象となる画像、又は画像記憶部７１から処理対象となる画像を取得して、顔検出処理を実行する。顔検出処理の実行の結果、顔の検出数、図２（ｂ）に示すような顔枠Ｆ・目の座標Ｐ１，Ｐ２・鼻の座標Ｐ３，Ｐ４・口の座標Ｐ５，Ｐ６等の各種顔の器官の座標が検出される。

処理対象設定部５２は、毛穴やシミの肌状態を評価する処理の対象となる処理対象を設定する。
具体的には、処理対象設定部５２は、所定以上のサイズ（本実施形態においては、６４０×６４０ピクセル）の顔を処理対象とし、所定数以上の顔（本実施形態においては、３つ以上の顔）を処理した場合には、新たな処理対象を設定しない。

肌スコア算出処理部５３は、各顔の肌スコア（毛穴とシミの総合スコア）の算出に係る処理を実行する。
具体的には、肌スコア算出処理部５３は、影等が生じず肌状態を適切に取得可能な標準領域（鼻付近を除く目の下から口の上までの領域）を設定し、当該標準領域内に所定サイズ（本実施形態においては、顔枠の３２分割したサイズ）の分割領域を割り当てる。割り当てた複数の分割領域のうち、評価対象となる領域を標準評価領域として設定する。本実施形態においては、さらに標準評価領域を目の水平方向側に拡張した分割領域サイズの拡張評価領域を設定する。
また、肌スコア算出処理部５３は、評価領域（評価対象となっている基準評価領域及び拡張評価領域）内の輝度を２値化して、ラベリング処理を行って、連続した暗い領域を毛穴又はシミとして分類する。
また、肌スコア算出処理部５３は、領域別に分類した毛穴とシミの数（評価領域別スコア）を集計して、顔における毛穴とシミの数を総合スコア（肌スコア）として算出する。

画像処理部５４は、画像に対して美肌処理を実行する。詳細には、画像処理部５４は、毛穴を消すための美肌処理と、シミを消すための美肌処理が可能であり、それぞれ程度に応じて、複数の強度の設定が可能に構成される。画像処理部５４は、肌状態の程度（毛穴とシミの総合スコア）に応じた強度のパラメータを設定し、美肌処理を実行する。
具体的には、毛穴とシミそれぞれについて３段階の異なる強度の美肌処理が可能に構成され、肌状態の程度（毛穴とシミの総合スコア）に応じていずれかの強度となるパラメータを設定する。

なお、本実施形態においては、画像処理部５４は、事前に美肌処理を行うが、当該美肌処理は、６段階の異なる強度のパラメータが設定可能であり、例えば、シーンやユーザ指定によって指定されたパラメータによって、美肌処理が行われる。美肌処理後にも、個人による違い等の個人の毛穴やシミの違いがあるため、本実施形態においては、追加の美肌処理を行って、毛穴やシミを除去する。これにより、被写体の顔の状態に適した追加の美肌処理を施すことができる。また、事前に美肌処理を行わず、撮像部１６で撮影された撮像画像に対して毛穴やシミを除去する美肌処理を行うようにしてもよい。

図５は、図４の機能的構成を有する図１の撮像装置１が実行する追加美肌処理の流れを説明するフローチャートである。
追加美肌処理は、撮像部１６で撮影された撮像画像に対して美肌処理が実行された後に行われ、美肌処理後の毛穴やシミの肌状態に応じて、再度、毛穴やシミを除去する処理として実行される。なお、追加美肌処理の前段階の美肌処理は、ユーザの入力部１７を介した美肌処理開始操作によって開始される。

ステップＳ１において、顔検出処理部５１は、画像記憶部７１から処理対象となる画像を取得して、顔検出処理を実行する。顔検出処理の実行の結果、顔の検出数、図２（ｂ）に示すような顔枠Ｆ・目の座標Ｐ１，Ｐ２・鼻の座標Ｐ３，Ｐ４・口の座標Ｐ５，Ｐ６が検出される。

ステップＳ２において、処理対象設定部５２は、所定サイズ以上の顔があるか否かを判定する。本実施形態においては、６４０×６４０ピクセル以上のサイズの顔があるか否かを判定する。
所定サイズ以上の顔がない場合には、ステップＳ２においてＮＯと判定されて、処理は終了する。
所定サイズ以上の顔がある場合には、ステップＳ２においてＹＥＳと判定されて、処理はステップＳ３に進む。

ステップＳ３において、処理対象設定部５２は、未処理の顔のうち、最も大きいサイズの顔を処理対象として設定する。

ステップＳ４において、肌スコア算出処理部５３は、肌スコア算出処理を実行する。肌スコア算出処理の実行の結果、処理対象となっている顔における肌スコア（各顔における毛穴・シミのスコア）が算出される。肌スコア算出処理の詳細は後述する。

ステップＳ５において、処理対象設定部５２は、例えば、所定サイズ以上の顔がないか、顔自体がない等の処理対象となる顔があるか否かを判定する。
処理対象となる顔がない場合には、ステップＳ５においてＮＯと判定されて、処理はステップＳ７に進む。
処理対象となる顔がある場合には、ステップＳ５においてＹＥＳと判定されて、処理はステップＳ６に進む。

ステップＳ６において、処理対象設定部５２は、所定数以上の顔を処理（肌スコアを算出）したか否かを判定する。本実施形態においては、所定数とは３人である。
所定数以上の顔を処理していない場合には、ステップＳ６においてＮＯと判定されて、処理はステップＳ３に戻る。
所定数以上の顔を処理した場合には、ステップＳ６においてＹＥＳと判定されて、処理はステップＳ７に進む。

ステップＳ７において、画像処理部５４は、算出された肌スコアに基づいて、美肌処理のパラメータを設定する。例えば、毛穴用のパラメータと、シミ用のパラメータをそれぞれ顔毎に設定する。

ステップＳ８において、画像処理部５４は、設定されたパラメータに基づいて追加の美肌処理を実行する。追加の美肌処理が実行された画像は、画像記憶部７１に記憶されたり、処理結果を出力部１８に表示したりされる。
その後、追加美肌処理は、終了する。

図６は、追加美肌処理のうち、肌スコア算出処理の流れを説明するフローチャートである。

ステップＳ４１において、肌スコア算出処理部５３は、ステップＳ１での処理結果である顔の検出数・顔枠・目の座標・鼻の座標・口の座標等の顔検出結果を取得する。なお、本ステップにおいて、新たに顔検出を行うように構成してもよい。

ステップＳ４２において、肌スコア算出処理部５３は、目の座標・鼻の座標・口の座標に基づいて、目の下から口の上のうち、鼻周辺の領域を除いた標準領域を設定する。具体的には、図２（ｂ）に示すような目の座標Ｐ１，Ｐ２・鼻の座標Ｐ３，Ｐ４・口の座標Ｐ５，Ｐ６から、図２（ａ）に示すように、目の下から口の上の領域と、鼻周辺の領域を設定し、目の下から口の上のうち、鼻周辺の領域を除いた標準領域Ｒ３を設定する。

ステップＳ４３において、肌スコア算出処理部５３は、標準領域内に所定のサイズの分割領域を割り当てる。分割領域は、顔枠を３２分割したサイズの領域である。具体的には、図２（ｃ）に示すように、所定サイズの分割領域ＲＳを標準領域Ｒ３内に複数割り当てる。

ステップＳ４４において、肌スコア算出処理部５３は、標準領域Ｒ３内に割り当てた分割領域ＲＳのうち、評価対象となる標準評価領域Ｒ１０を設定する。具体的には、標準評価領域の各々から輝度のヒストグラムを算出する。そして、ヒストグラムの最頻値を中心とした標準偏差が所定の範囲の値となった標準評価領域を評価対象とする。

ステップＳ４５において、肌スコア算出処理部５３は、拡張追加条件を設定する。拡張追加条件は、評価対象となった標準評価領域の標準偏差の平均値＋α（本実施形態においては、例えば、３）を閾値として、閾値を超えない標準偏差であることや、所定数（本実施形態においては、例えば、５０領域）に達しないことを設定する。

ステップＳ４６において、肌スコア算出処理部５３は、拡張評価領域を追加する。拡張評価領域Ｒ１１の追加は、図２（ｄ）に示すように、標準評価領域Ｒ１０から並行して分割領域を割り当てることにより行う。拡張評価領域は、所定数以内であり、かつ、標準評価領域の標準偏差の平均値＋α（本実施形態においては、例えば、３）を閾値として、閾値を超えない標準偏差である場合に追加される。

ステップＳ４７において、肌スコア算出処理部５３は、拡張評価領域が拡張追加条件を満たしているか否かを判定する。具体的には、拡張評価領域が標準評価領域の標準偏差の平均値＋α（本実施形態においては、例えば、３）を閾値として、閾値を超えない標準偏差であること、拡張評価領域の総数が所定数（本実施形態においては、例えば、５０領域）に達しないことで判定する。
拡張追加条件を満たしていない場合には、ステップＳ４７においてＮＯと判定されて、処理はステップＳ４６に戻る。
拡張追加条件を満たした場合には、ステップＳ４７においてＹＥＳと判定されて、処理はステップＳ４８に進む。

ステップＳ４８において、肌スコア算出処理部５３は、評価対象となる評価領域（標準評価領域及び拡張評価領域）を２値化する。評価領域の２値化は、評価領域内の輝度のヒストグラムに基づいて設定した閾値を基準にして行う。

ステップＳ４９において、肌スコア算出処理部５３は、ラベリング処理を実行する。ラベリング処理の結果、評価領域内における毛穴とシミの領域が分類される。
ラベリング処理では、図３（ａ）及び図３（ｂ）に示すように、２値化によって暗くなっている部分が連続した画素にラベルを割り振り、当該連続した画素で構成される連続した領域Ｒａ１，Ｒａ２，Ｒｂ１のサイズで、予め定義したサイズの毛穴かシミの範囲に属するかで分類する。

ステップＳ５０において、肌スコア算出処理部５３は、評価領域別スコアを算出する。即ち、評価領域において分類された毛穴やシミの数を集計して、毛穴・シミのスコアを算出する。図３（ａ）の評価領域ＲＡでは、毛穴と分類された箇所が２か所あり、図３（ｂ）の評価領域ＲＢでは、シミと分類された箇所が１か所ある。

ステップＳ５１において、肌スコア算出処理部５３は、全ての評価領域別スコアが算出されたか否かを判定する。
全ての評価領域別スコアが算出されていない場合には、ステップＳ５１において、ＮＯと判定されて、処理はステップＳ４８に戻る。
全ての評価領域別スコアが算出された場合には、ステップＳ５１において、ＹＥＳと判定されて、処理はステップＳ５２に進む。

ステップＳ５２において、肌スコア算出処理部５３は、顔枠内の総合スコア（肌スコア）として算出する。即ち、全ての評価領域別のスコアを集計して、顔枠内の総合スコア（肌スコア）を算出する。

以上のように構成される撮像装置１は、肌スコア算出処理部５３を備える。
肌スコア算出処理部５３は、画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する。
また、肌スコア算出処理部５３は、所定の画素数毎の輝度値を測定する。
また、肌スコア算出処理部５３は、分割された分割領域毎の、測定される輝度値の当該分割領域内における分布状況に基づき、顔領域内の毛穴及びシミの少なくとも何れかの状態を判定する。
これにより、撮像装置１においては、画像に含まれる肌の状態（特にシミ、毛穴の状態）を容易に評価することができる。

肌スコア算出処理部５３は、顔領域の大きさによらず、当該顔領域の大きさに対して所定の割合で同じ大きさで、かつ同じ数の複数の分割領域となるように顔領域を分割する。
これにより、撮像装置１においては、画像に含まれる肌の状態（特にシミ、毛穴の状態）を適切に評価することができる。

肌スコア算出処理部５３は、分割された分割領域のうち、顔を構成する部位が含まれない肌分割領域を特定する。
また、肌スコア算出処理部５３は、特定された肌分割領域毎の輝度値を測定する。
また、肌スコア算出処理部５３は、測定された肌分割領域毎に測定された輝度値の分布状況に基づき、顔領域内の肌の状態を判定する。
これにより、撮像装置１においては、肌の状態（特にシミ、毛穴の状態）を適切に評価することができる。

肌スコア算出処理部５３は、顔領域に含まれる目、鼻及び口のうちの少なくとも何れかの位置に基づき、肌分割領域を特定する。
これにより、撮像装置１においては、肌の状態（特にシミ、毛穴の状態）を適切に評価できるようにすることができる。

肌スコア算出処理部５３は、顔を構成する部位が含まれない確度の高い肌分割領域を先に特定し、続けてその特定した肌分割領域に隣接する肌分割領域を順次特定する。
これにより、撮像装置１においては、肌の状態（特にシミ、毛穴の状態）を精度高く評価することができる。

肌スコア算出処理部５３は、輝度値が所定の閾値以下であって、分割領域内で連続する範囲の大きさが当該分割領域に占める割合が、所定の割合である場合に、その範囲を毛穴及びシミの少なくとも何れかと判定する。
これにより、撮像装置１においては、肌の状態（特にシミ、毛穴の状態）を容易に評価することができる。

肌スコア算出処理部５３は、シミと判定する所定の割合を、毛穴と判定する所定の割合より広く、かつ重複しない値で判定する。なお、シミと判定する所定の割合を、毛穴と判定する所定の割合より狭く、かつ重複する値で判定するように構成してもよい。
これにより、撮像装置１においては、画像に含まれる肌の状態（特にシミ、毛穴の状態）を容易に評価することができる。

また、肌スコア算出処理部５３は、分割領域毎の毛穴及びシミの少なくとも何れかの状態の判定を総合して、顔領域内の肌の状態を評価する。
これにより、撮像装置１においては、肌の状態（特にシミ、毛穴の状態）を容易に評価することができる。

また、撮像装置１は、評価手段により評価された顔領域内の肌の状態に応じて、顔領域に対して美肌処理を施す画像処理部５４を、更に備える。
これにより、撮像装置１においては、肌の状態（特にシミ、毛穴の状態）に応じて美肌処理を行うことができる。

肌スコア算出処理部５３は、画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合の大きさの分割領域に分割する。
また、肌スコア算出処理部５３は、所定の画素数毎の輝度値を測定する。
また、肌スコア算出処理部５３は、顔領域内における毛穴及びシミの少なくとも何れかであると判定するための値に応じて、分割する所定の割合の大きさを特定する。
判定するための値は、肌スコア算出処理部５３により測定される輝度値が所定の閾値以下である分割領域内で連続する範囲の大きさが、当該分割領域に占める所定の割合を示す値である。
これにより、撮像装置１においては、画像に含まれる肌の状態（特にシミ、毛穴の状態）を容易に評価することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、分割領域のサイズを、評価する肌状態に応じて増減させるように構成してもよい。例えば、ソバカスやホクロ等の毛穴やシミとは異なる状態を評価する場合には、分割領域のサイズを大きくするように構成してもよい。即ち、輝度が低い連続する領域の一般的な大きさに合わせて分割領域のサイズを増減させる。連続する領域がより大きい場合には、分割数を減らし（分割領域のサイズを大きくし）、より小さい場合には、分割数を増やす（分割領域のサイズを小さくする）。

また、上述の実施形態では、標準評価領域及び拡張評価領域の設定を行ってから、スコアを算出するように構成したが、標準評価領域におけるスコアを算出した後に、スコアの結果や信頼性等を加味して必要に応じて、拡張評価領域の設定やスコアの算出を補助的に行うように構成してもよい。

また、上述の実施形態では、処理対象設定部５２は、未処理の顔のうち、最も大きいサイズの顔を処理対象として設定するように構成したが、処理対象の画像の中心に最も近い顔を処理対象として設定するように構成してもよい。

また、上述の実施形態で、肌スコア算出処理部５３が、顔枠内の総合スコア（肌スコア）を算出するにあたり、ノイズの影響を考慮して、処理対象の顔が暗い場合にはスコアを低減させる処理を加えるように構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、追加美肌処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する分割手段と、
所定の画素数毎の輝度値を測定する測定手段と、
前記分割手段により分割された分割領域毎の、前記測定手段により測定される輝度値の当該分割領域内における分布状況に基づき、顔領域内の毛穴及びシミの少なくとも何れかの状態を判定する判定手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記分割手段は、前記顔領域の大きさによらず、当該顔領域の大きさに対して所定の割合で同じ大きさで、かつ同じ数の複数の分割領域となるように顔領域を分割する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記分割手段により分割された分割領域のうち、顔を構成する部位が含まれない肌分割領域を特定する特定手段を、更に備え、
前記測定手段は、前記特定手段により特定された肌分割領域毎の輝度値を測定し、
前記判定手段は、前記測定手段により測定された肌分割領域毎に測定された輝度値の分布状況に基づき、顔領域内の肌の状態を判定する、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記特定手段は、前記顔領域に含まれる目、鼻及び口のうちの少なくとも何れかの位置に基づき、肌分割領域を特定する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記特定手段は、顔を構成する部位が含まれない確度の高い肌分割領域を先に特定し、続けてその特定した肌分割領域に隣接する肌分割領域を順次特定する、
ことを特徴とする付記３又は４に記載の画像処理装置。
［付記６］
前記判定手段は、輝度値が所定の閾値以下であって、分割領域内で連続する範囲の大きさが当該分割領域に占める割合が、所定の割合である場合に、その範囲を毛穴及びシミの少なくとも何れかと判定する、
ことを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記判定手段は、シミと判定する所定の割合を、毛穴と判定する所定の割合より広く、かつ重複しない値で判定する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記判定手段により判定された分割領域毎の毛穴及びシミの少なくとも何れかの状態の判定を総合して、顔領域内の肌の状態を評価する評価手段を、更に備える、
ことを特徴とする付記１乃至７の何れか１つに記載の画像処理装置。
［付記９］
前記評価手段により評価された顔領域内の肌の状態に応じて、顔領域に対して美肌処理を施す美肌処理手段を、更に備える、
ことを特徴とする付記８に記載の画像処理装置。
［付記１０］
画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合の大きさの分割領域に分割する分割手段と、
所定の画素数毎の輝度値を測定する測定手段と、
顔領域内における毛穴及びシミの少なくとも何れかであると判定するための値に応じて、前記分割手段が分割する所定の割合の大きさを特定する特定手段と、
を備え、
前記判定するための値は、前記測定手段により測定される輝度値が所定の閾値以下である分割領域内で連続する範囲の大きさが、当該分割領域に占める所定の割合を示す値である、
ことを特徴とする画像処理装置。
［付記１１］
画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する分割処理と、
所定の画素数毎の輝度値を測定する測定処理と、
前記分割処理により分割された分割領域毎の、前記測定処理により測定される輝度値の当該分割領域内における分布状況に基づき、顔領域内の毛穴及びシミの少なくとも何れかの状態を判定する判定処理と、
を含むことを特徴とする画像処理方法。
［付記１２］
画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合の大きさの分割領域に分割する分割処理と、
所定の画素数毎の輝度値を測定する測定処理と、
顔領域内における毛穴及びシミの少なくとも何れかであると判定するための値に応じて、前記分割処理が分割する所定の割合の大きさを特定する特定処理と、
を含み、
前記判定するための値は、前記測定処理により測定される輝度値が所定の閾値以下である分割領域内で連続する範囲の大きさが、当該分割領域に占める所定の割合を示す値である、
ことを特徴とする画像処理方法。
［付記１３］
コンピュータに、
画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する分割機能と、
所定の画素数毎の輝度値を測定する測定機能と、
前記分割機能により分割された分割領域毎の、前記測定機能により測定される輝度値の当該分割領域内における分布状況に基づき、顔領域内の毛穴及びシミの少なくとも何れかの状態を判定する判定機能と、
を実現させることを特徴とするプログラム。
［付記１４］
コンピュータに、
画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合の大きさの分割領域に分割する分割機能と、
所定の画素数毎の輝度値を測定する測定機能と、
顔領域内における毛穴及びシミの少なくとも何れかであると判定するための値に応じて、前記分割機能が分割する所定の割合の大きさを特定する特定機能と、
を実現させ、
前記判定するための値は、前記測定機能により測定される輝度値が所定の閾値以下である分割領域内で連続する範囲の大きさが、当該分割領域に占める所定の割合を示す値である、
ことを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・顔検出処理部，５２・・・処理対象設定部，５３・・・肌スコア算出処理部，５４・・・画像処理部，７１・・・画像記憶部

Claims (10)

1. 画像に含まれる人物の顔領域を、前記顔領域の大きさによらず、前記顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する分割手段と、
   前記分割手段により分割された分割領域のうち、顔を構成する部位が含まれない確度の高い肌分割領域を先に特定し、続けてその特定した肌分割領域に隣接する肌分割領域を順次特定する特定手段と、
   前記特定手段により特定された肌分割領域毎の輝度値を測定する測定手段と、
   前記測定手段により測定された肌分割領域毎に測定された輝度値の分布状況に基づき、前記顔領域内の毛穴及びシミの少なくとも何れかの状態を含む肌の状態を判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、輝度値が所定の閾値以下であって、分割領域内で連続する範囲の大きさが当該分割領域に占める割合が、所定の割合である場合に、その範囲を毛穴及びシミの少なくとも何れかと判定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、シミと判定する所定の割合を、毛穴と判定する所定の割合より広く、かつ重複しない値で判定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段により判定された分割領域毎の毛穴及びシミの少なくとも何れかの状態の判定を総合して、顔領域内の肌の状態を評価する評価手段を、更に備える、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記評価手段により評価された顔領域内の肌の状態に応じて、顔領域に対して美肌処理を施す美肌処理手段を、更に備える、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合の大きさの分割領域に分割する分割手段と、
   所定の画素数毎の輝度値を測定する測定手段と、
   顔領域内における毛穴及びシミの少なくとも何れかであると判定するための値に応じて、前記分割手段が分割する所定の割合の大きさを特定する特定手段と、
   を備え、
   前記判定するための値は、前記測定手段により測定される輝度値が所定の閾値以下である分割領域内で連続する範囲の大きさが、当該分割領域に占める所定の割合を示す値である、
   ことを特徴とする画像処理装置。
7. 画像に含まれる人物の顔領域を、前記顔領域の大きさによらず、前記顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する分割処理と、
   前記分割処理により分割された分割領域のうち、顔を構成する部位が含まれない確度の高い肌分割領域を先に特定し、続けてその特定した肌分割領域に隣接する肌分割領域を順次特定する特定処理と、
   前記特定処理により特定された肌分割領域毎の輝度値を測定する測定処理と、
   前記測定処理により測定された肌分割領域毎に測定された輝度値の分布状況に基づき、前記顔領域内の毛穴及びシミの少なくとも何れかの状態を含む肌の状態を判定する判定処理と、
   を含むことを特徴とする画像処理方法。
8. 画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合の大きさの分割領域に分割する分割処理と、
   所定の画素数毎の輝度値を測定する測定処理と、
   顔領域内における毛穴及びシミの少なくとも何れかであると判定するための値に応じて、前記分割処理が分割する所定の割合の大きさを特定する特定処理と、
   を含み、
   前記判定するための値は、前記測定処理により測定される輝度値が所定の閾値以下である分割領域内で連続する範囲の大きさが、当該分割領域に占める所定の割合を示す値である、
   ことを特徴とする画像処理方法。
9. コンピュータに、
   画像に含まれる人物の顔領域を、前記顔領域の大きさによらず、前記顔領域の大きさに対して所定の割合で同じ大きさの複数の分割領域に分割する分割機能、
   前記分割機能により分割された分割領域のうち、顔を構成する部位が含まれない確度の高い肌分割領域を先に特定し、続けてその特定した肌分割領域に隣接する肌分割領域を順次特定する特定機能、
   前記特定機能により特定された肌分割領域毎の輝度値を測定する測定機能、
   前記測定機能により測定された肌分割領域毎に測定された輝度値の分布状況に基づき、前記顔領域内の毛穴及びシミの少なくとも何れかの状態を含む肌の状態を判定する判定機能、
   を実現させることを特徴とするプログラム。
10. コンピュータに、
    画像に含まれる人物の顔領域を、当該顔領域の大きさに対して所定の割合の大きさの分割領域に分割する分割機能、
    所定の画素数毎の輝度値を測定する測定機能、
    顔領域内における毛穴及びシミの少なくとも何れかであると判定するための値に応じて、前記分割機能が分割する所定の割合の大きさを特定する特定機能と、
    を実現させ、
    前記判定するための値は、前記測定機能により測定される輝度値が所定の閾値以下である分割領域内で連続する範囲の大きさが、当該分割領域に占める所定の割合を示す値である、
    ことを特徴とするプログラム。

Images