JP2018049564A - 検出装置、及び検出方法 - Google Patents
検出装置、及び検出方法 Download PDFInfo
- Publication number
- JP2018049564A JP2018049564A JP2016186167A JP2016186167A JP2018049564A JP 2018049564 A JP2018049564 A JP 2018049564A JP 2016186167 A JP2016186167 A JP 2016186167A JP 2016186167 A JP2016186167 A JP 2016186167A JP 2018049564 A JP2018049564 A JP 2018049564A
- Authority
- JP
- Japan
- Prior art keywords
- skin color
- saturation
- image
- skin
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title description 52
- 238000012545 processing Methods 0.000 abstract description 119
- 238000003384 imaging method Methods 0.000 abstract description 42
- 229920006395 saturated elastomer Polymers 0.000 abstract description 22
- 239000000203 mixture Substances 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 70
- 230000008569 process Effects 0.000 description 66
- 238000003860 storage Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/642—Adapting to different types of images, e.g. characters, graphs, black and white image portions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
画像に含まれる肌色領域を検出する肌色領域検出手段と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
を備えることを特徴とする。
撮像装置1は、例えば、デジタルカメラとして構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、YUV色空間のディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ここで、美肌画像の生成について説明する。
図2は、美肌画像の生成について説明するための模式図である。
そして、全体美肌処理元画像に対して、画像全体に美肌処理を施して、全体美肌画像を生成する。また、全体美肌画像の顔における肌色領域を抽出したマップ(以下、「肌マップ」という。)を作成する。
肌マップの作成について説明する。
図3は、肌マップの作成について説明するための模式図である。
そして、画素におけるH,S,Vのそれぞれについて、図3(a)〜(c)に示すように、平均値からの差分に応じて、予め決定しておいた重み付けから、H,S,Vチャンネルの肌色らしさを示す肌色レベル(Lh,Ls,Lv)を算出する。
その後、算出した各H,S,Vチャンネルの肌色レベルを掛け合わせて、画素における肌マップ値を算出して、肌マップ値により構成される肌マップが作成される。肌マップでは、肌色らしい部分とそうでない部分が段階的に表示される。本例の肌マップでは、図2に示すように、白色が最も肌色らしい部分であり、黒色が最も肌色らしくない部分として表示される。
肌マップ生成に際して、顔へ均一に光が当たっている場合は、肌色領域を精度よく抽出することができるが、例えば、濃い影ができたり、色温度の異なる複数の光源が混ざっていたりする種々の光の環境下であるような場合には、適切に肌色領域を抽出することができない。適切に肌色領域を抽出することができないと、肌色領域から外れた領域は、美肌処理の対象とならずに、最終的な画像においてノイズとして残ってしまう。
図4は、種々の光の環境下での影響を説明するための模式図である。ここでは、色相(H)における影響を説明し、図4(a),(b)における肌色レベルは、図3(a)の肌色レベルに対応している。
通常のシーンで撮影された画像では、図4(a)に示すように、色相(H)における頻度の分布が重み付けの既定値内に収まり(算出した肌色レベルに収まり)、適切に肌色領域として抽出することができる。一点鎖線は、平均値より負の方向で頻度が概ね0となる値を示している。
一方、例えば、色温度の異なる複数の光源が混ざっているようなシーンで撮影された画像では、図4(b)に示すように、頻度の山が複数あり、実際の肌色領域でも、色相(H)における頻度の分布(特に、図4(a)の一点鎖線より更に負の方向の矢印の範囲内)が重み付けの既定値内に収まらず(算出した肌色レベルに収まらず)、肌色領域から外れてしまう。
まず、人の顔の計測領域(本実施形態においては、人の鼻付近)で計測される色相(H)の平均値を算出する。
そして、平均値からの差分に応じて、図5(a)に示すようなヒストグラムを作成する。作成したヒストグラムにおいて正の方向と負の方向に閾値以下になる値(Rangep,Rangem)をサーチして行き、ヒストグラムの解析を行う。
ヒストグラムの解析の結果、サーチされたRangep,Rangemの値に応じて、予め決められていた重み付けを再調整して、決定する。即ち、図5(b)に示すように、Rangep,Rangemの値に応じて、予め決定されていた重み付け(従来設定)の幅を新たに決定した重み付け(新規設定)の幅まで広げることにより調整する。
新たに決定した重み付けに基づいて、色相(H)の肌色領域を抽出することで、種々の光の環境下で撮影された画像でも適切な肌色領域を抽出することができる。即ち、HSV色空間の色情報を使用して肌色レベルを算出し、肌色領域を検出する方法において、従来固定であった色相成分の重み付けを、色相成分の分布に応じて調整して肌色レベルを算出することで、色相成分の分布が広い、濃い影となっている場合や色温度の異なる複数の光源が当たっている場合等の種々の光の環境下でも適切に肌色領域を抽出して対応することができるようになる。
また、上述したような肌色領域の抽出の手法では、H,S,Vの各チャンネルで肌色を判定しているために、色相(H)が回転してしまい肌色の色相(H)から外れてしまった領域(以下、「飽和領域」という。)では、肌色領域として抽出されないという問題が生じる。本来肌色であるが飽和していて肌色領域として抽出されなかった飽和領域は、美肌処理の対象とならずに、最終的な画像においてノイズとして残ってしまう。
図6は、肌色の飽和領域の判定について説明するための模式図である。
肌色の飽和領域は、図6(a)及び図6(b)に示すように、高明度領域と、低彩度領域において、予め設定した重み付けの規定値内に収まっているか否かを判定して行う。画素における明度(V)及び彩度(S)の値における重み付けから飽和レベルが算出される。その後、算出した明度(V)及び彩度(S)の飽和レベルを掛け合わせて、一方で算出した肌色レベルとの比較を行って、値の高い方を肌マップ値として採用して、飽和領域の肌マップを作成する。即ち、従来のHSV色空間の色相成分を使用する肌色領域検出方法では検出されなかった肌色が飽和している部分を、色相成分を除いた明度成分と彩度成分とから算出される飽和レベルを使用して補完する。
このような美肌画像生成処理は、肌マップ作成処理を含む。
肌マップ作成処理とは、肌色領域を特定するためのマップであり、肌色らしさを示す指標が段階的に表示された肌マップを作成する一連の処理である。肌マップ作成処理で作成される肌マップは、色相(H)において肌色が飽和してしまった領域や、種々の光の環境下で肌色領域から除外されてしまった領域をカバーされたものとなる。
また、肌マップ作成処理部53は、輝度が高く肌色が飽和してしまい、肌色領域として抽出できない領域についても、高輝度領域と、低彩度領域から飽和レベルを算出して、肌色マップに肌色領域として抽出することができる。
さらに、肌マップ作成処理部53は、例えば、濃い影が生じた場合や色温度の異なる複数の光源が当たった場合等の種々の光の環境下にも対応するため、色相(H)の重み付けを画像に対応するレンジに調整して、肌色レベルを算出することができる。
これにより、人の顔の肌を基準として肌色領域の他に、通常の手法では抽出できない飽和した肌色領域や種々の光の環境下で抽出できない肌色領域を抽出することができ、人の顔の肌の領域のみに適切に美肌処理が施された美肌画像を生成することができる。
美肌画像生成処理は、ユーザによる入力部17への美肌画像生成処理開始の操作により開始される。
その後、美肌画像生成処理は終了する。
Hのヒストグラム解析は、Hの平均値を始点として正の方向と負の方向に対して、閾値以下となる値をサーチすることにより行う(図5(a)を参照)。サーチの結果、閾値以下の値の場所まで、重み付けの幅を広げる(図5(b)を参照)。
飽和領域が所定の割合よりも多い場合には、ステップS34においてNOと判定されて、処理はステップS36に進む。
飽和領域が所定の割合以下の場合には、ステップS34においてYESと判定されて、処理はステップS35に進む。
肌マップ値は、以下の式(1)により算出される。
肌マップ値(MAP)=Lh×Ls×Lv・・・(1)
なお、「Lh」は色相(H)の肌色レベルであり、「Ls」は彩度(S)の肌色レベルであり、「Lv」は明度(V)肌色レベルである。
その後、肌マップ作成処理は終了する。
飽和マップ値は、以下の式(2)により算出される。
飽和マップ値(MAP)=高Lv×低Ls・・・(2)
なお、「高Lv」は高明度領域の肌色レベルであり、「低Ls」は低彩度領域の肌色レベルである。
その結果、本来肌であるが飽和領域であったり、種々の光の環境下で肌色領域として抽出されなかったりした領域を含む肌マップが作成される。
その後、肌マップ作成処理は終了する。
肌マップ作成処理部53は、画像に含まれる肌色領域を検出する。
また、肌マップ作成処理部53は、画像に含まれる高明度かつ低彩度である飽和領域を検出する。
画像合成部54は、肌マップ作成処理部53により検出した飽和領域を使用して、肌マップ作成処理部53により検出した肌色領域を補正する処理を行う。
これにより、撮像装置1においては、色相成分では検出の難しい肌色が飽和している部分も含め、適切に肌色領域が検出でき、光線の状況によらず人物の肌色領域を適切に検出することができる。
また、肌マップ作成処理部53は、HSV色空間のうちの色相成分を除く色情報に基づき、飽和領域を検出する。
これにより、撮像装置1においては、HSV色空間を用いることで、肌色領域及び飽和領域の検出を両立することができる。
また、肌マップ作成処理部53は、HSV色空間のうちの色相成分を除く色情報に基づき、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する。
また、肌マップ作成処理部53は、算出した肌色レベルが所定の閾値以上の領域を肌色領域として検出する。
また、肌マップ作成処理部53は、算出した飽和レベルが所定の閾値以上の領域を飽和領域として検出する。
これにより、撮像装置1においては、通常の光線の状況では肌色領域の検出に適している色相成分で肌色領域を検出し、かつ色相成分では検出の難しい肌色が飽和している部分も含め、適切に肌色領域を簡単に検出することができる。
これにより、撮像装置1においては、検出できなかった一部の肌色領域を、補正することができる。
これにより、撮像装置1においては、簡単な処理で補正の領域を特定することができる。
これにより、撮像装置1においては、色情報だけでは難しい人物の顔の肌色領域以外の領域を除く処理を、処理負担が少なく、かつ、簡単に人物の顔の肌色領域に補正する処理を行うことができる。
これにより、撮像装置1においては、人の肌を美肌にする美肌処理を施した画像を生成することができる。
また、肌マップ作成処理部53と、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する。
また、肌マップ作成処理部53と、算出した肌色レベルと、算出した飽和レベルとから画像に含まれる肌色領域を検出する。
これにより、撮像装置1においては、通常の光線の状況における肌色部分の検出だけでなく、肌色が飽和している部分も含め、適切に肌色領域が検出でき、光線の状況によらず人物の肌色領域を適切に検出することができる。
また、肌マップ作成処理部53は、HSV色空間のうちの色相成分を除く色成分の情報に基づき、画像を構成する画素毎に、飽和レベルを算出する。
これにより、撮像装置1においては、通常の光線の状況では肌色領域の検出に適している色相成分で肌色領域を検出し、かつ色相成分では検出の難しい肌色が飽和している部分も含め、適切に肌色領域を簡単に検出することができる。
これにより、撮像装置1においては、簡単な処理で検出の難しい肌色が飽和している部分も含め、適切に肌色領域を検出することができる。
これにより、撮像装置1においては、色情報だけでは難しい人物の顔の肌色領域以外の領域を除く処理を、処理負担が少なく、かつ、簡単に人物の顔の肌色領域に補正する処理を行うことができる。
また、肌マップ作成処理部53は、調整した色相成分の重み付けで、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、肌色レベルを算出する。
これにより、撮像装置1においては、常の光線の状況では肌色領域の検出に適している色相成分の値の分布に基づき、肌マップ作成処理部53が肌色レベルを算出するための色相成分の重み付けを調整するために、光線の状況によらず人物の肌色領域を適切に検出することができる。
これにより、撮像装置1においては、人の肌を美肌にする美肌処理を施した画像を生成することができる。
また、肌マップ作成処理部53は、画像に含まれる高明度かつ低彩度である飽和の状況を判別する。
また、肌マップ作成処理部53は、判別した肌色の状況と、判別した飽和の状況と、に基づき、画像内の肌色領域を検出する。
これにより、撮像装置1においては、色温度が異なったり、異なる色温度の複数の光源が混ざったりしているような場合であっても、適切に肌色領域が検出でき、光線の状況によらず人物の肌色領域を適切に検出することができる。
また、肌マップ作成処理部53は、画像を構成する画素毎の色相成分の値の分布に基づき、肌マップ作成処理部53が肌色レベルを算出するための色相成分の重み付けを調整する。
また、肌マップ作成処理部53と、調整手段により調整した重み付けで、肌マップ作成処理部53により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する。
これにより、撮像装置1においては、色相成分の値の分布に基づき、肌マップ作成処理部53が肌色レベルを算出するための色相成分の重み付けを調整するために、光線の状況によらず人物の肌色領域を適切に検出することができる。
これにより、撮像装置1においては、人の肌を美肌にする美肌処理を施した画像を生成することができる。
さらに、重み付けの傾きは、幅に係らず固定としてもよいが、幅が広い場合には、なだらかにするように可変にしてもよい。
例えば、本発明は、美肌画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図7の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
画像に含まれる肌色領域を検出する肌色領域検出手段と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
を備えることを特徴とする検出装置。
[付記2]
前記肌色領域検出手段は、HSV色空間のうちの色相成分を含む色情報に基づき、前記肌色領域を検出し、
前記飽和領域検出手段は、HSV色空間のうちの色相成分を除く色情報に基づき、前記飽和領域を検出する、
ことを特徴とする付記1に記載の検出装置。
[付記3]
HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
HSV色空間のうちの色相成分を除く色情報に基づき、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、を更に備え、
前記肌色領域検出手段は、算出した肌色レベルが所定の閾値以上の領域を前記肌色領域として検出し、
前記飽和領域検出手段は、算出した飽和レベルが所定の閾値以上の領域を前記飽和領域として検出する、
ことを特徴とする付記2に記載の検出装置。
[付記4]
前記肌色領域補正手段は、前記肌色領域検出手段では検出できなかった一部の肌色領域を、前記飽和領域検出手段により検出した前記飽和領域を使用して補正する処理を行う、
ことを特徴とする付記1乃至3の何れか1つに記載の検出装置。
[付記5]
前記肌色領域補正手段は、検出した前記肌色領域と検出した前記飽和領域の論理和となる領域に当該肌色領域を補正する処理を行う、
ことを特徴とする付記4に記載の検出装置。
[付記6]
前記肌色領域補正手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、補正した前記肌色領域が人物の顔の肌色領域となるように補正する処理を行う、
ことを特徴とする付記1乃至5の何れか1つに記載の検出装置。
[付記7]
前記肌色領域補正手段により補正した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする付記1乃至5の何れか1つに記載の検出装置。
[付記8]
画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、
前記肌色レベル算出手段により算出した肌色レベルと、前記飽和レベル算出手段により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
[付記9]
前記肌色レベル算出手段は、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出し、
前記飽和レベル算出手段は、HSV色空間のうちの色相成分を除く色成分の情報に基づき、画像を構成する画素毎に、前記飽和レベルを算出する、
ことを特徴とする付記8に記載の検出装置。
[付記10]
前記肌色領域検出手段は、算出した前記肌色レベルと算出した飽和レベルのうちの少なくともいずれか一方が所定の閾値以上である領域を肌色領域として検出する、
ことを特徴とする付記8又は9に記載の検出装置。
[付記11]
前記肌色領域検出手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、画像に含まれる人物の顔の肌色領域を検出する処理を行う、
ことを特徴とする付記8乃至10の何れか1つに記載の検出装置。
[付記12]
画像を構成する画素毎の色相成分の値の分布に基づき、前記肌色レベル算出手段が前記肌色レベルを算出するための色相成分の重み付けを調整する調整手段を、更に備え、
前記肌色レベル算出手段は、調整した色相成分の重み付けで、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出する、
ことを特徴とする付記3,8乃至11の何れか1つに記載の検出装置。
[付記13]
前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする付記8乃至12の何れか1つに記載の検出装置。
[付記14]
画像に含まれる肌色の状況を判別する肌色判別手段と、
画像に含まれる高明度かつ低彩度である飽和の状況を判別する飽和状況判別手段と、
前記肌色判別手段により判別した前記肌色の状況と、前記飽和状況判別手段により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
[付記15]
HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整手段と、
前記調整手段により調整した重み付けで、前記肌色レベル算出手段により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
[付記16]
前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする付記15に記載の検出装置。
[付記17]
画像に含まれる肌色領域を検出する肌色領域検出処理と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出処理と、
前記飽和領域検出処理により検出した飽和領域を使用して、前記肌色領域検出処理により検出した肌色領域を補正する処理を行う肌色領域補正処理と、
を含むことを特徴とする検出方法。
[付記18]
画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出処理と、
前記肌色レベル算出処理により算出した肌色レベルと、前記飽和レベル算出処理により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
[付記19]
画像に含まれる肌色の状況を判別する肌色判別処理と、
画像に含まれる高明度かつ低彩度である飽和の状況判別する飽和状況処理と、
前記肌色判別処理により判別した前記肌色の状況と、前記飽和状況処理により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
[付記20]
HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整処理と、
前記調整処理により調整した重み付けで、前記肌色レベル算出処理により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
Claims (20)
- 画像に含まれる肌色領域を検出する肌色領域検出手段と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
を備えることを特徴とする検出装置。 - 前記肌色領域検出手段は、HSV色空間のうちの色相成分を含む色情報に基づき、前記肌色領域を検出し、
前記飽和領域検出手段は、HSV色空間のうちの色相成分を除く色情報に基づき、前記飽和領域を検出する、
ことを特徴とする請求項1に記載の検出装置。 - HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
HSV色空間のうちの色相成分を除く色情報に基づき、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、を更に備え、
前記肌色領域検出手段は、算出した肌色レベルが所定の閾値以上の領域を前記肌色領域として検出し、
前記飽和領域検出手段は、算出した飽和レベルが所定の閾値以上の領域を前記飽和領域として検出する、
ことを特徴とする請求項2に記載の検出装置。 - 前記肌色領域補正手段は、前記肌色領域検出手段では検出できなかった一部の肌色領域を、前記飽和領域検出手段により検出した前記飽和領域を使用して補正する処理を行う、
ことを特徴とする請求項1乃至3の何れか1項に記載の検出装置。 - 前記肌色領域補正手段は、検出した前記肌色領域と検出した前記飽和領域の論理和となる領域に当該肌色領域を補正する処理を行う、
ことを特徴とする請求項4に記載の検出装置。 - 前記肌色領域補正手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、補正した前記肌色領域が人物の顔の肌色領域となるように補正する処理を行う、
ことを特徴とする請求項1乃至5の何れか1項に記載の検出装置。 - 前記肌色領域補正手段により補正した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする請求項1乃至5の何れか1項に記載の検出装置。 - 画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、
前記肌色レベル算出手段により算出した肌色レベルと、前記飽和レベル算出手段により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。 - 前記肌色レベル算出手段は、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出し、
前記飽和レベル算出手段は、HSV色空間のうちの色相成分を除く色成分の情報に基づき、画像を構成する画素毎に、前記飽和レベルを算出する、
ことを特徴とする請求項8に記載の検出装置。 - 前記肌色領域検出手段は、算出した前記肌色レベルと算出した飽和レベルのうちの少なくともいずれか一方が所定の閾値以上である領域を肌色領域として検出する、
ことを特徴とする請求項8又は9に記載の検出装置。 - 前記肌色領域検出手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、画像に含まれる人物の顔の肌色領域を検出する処理を行う、
ことを特徴とする請求項8乃至10の何れか1項に記載の検出装置。 - 画像を構成する画素毎の色相成分の値の分布に基づき、前記肌色レベル算出手段が前記肌色レベルを算出するための色相成分の重み付けを調整する調整手段を、更に備え、
前記肌色レベル算出手段は、調整した色相成分の重み付けで、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出する、
ことを特徴とする請求項3,8乃至11の何れか1項に記載の検出装置。 - 前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする請求項8乃至12の何れか1項に記載の検出装置。 - 画像に含まれる肌色の状況を判別する肌色判別手段と、
画像に含まれる高明度かつ低彩度である飽和の状況を判別する飽和状況判別手段と、
前記肌色判別手段により判別した前記肌色の状況と、前記飽和状況判別手段により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。 - HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整手段と、
前記調整手段により調整した重み付けで、前記肌色レベル算出手段により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。 - 前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする請求項15に記載の検出装置。 - 画像に含まれる肌色領域を検出する肌色領域検出処理と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出処理と、
前記飽和領域検出処理により検出した飽和領域を使用して、前記肌色領域検出処理により検出した肌色領域を補正する処理を行う肌色領域補正処理と、
を含むことを特徴とする検出方法。 - 画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出処理と、
前記肌色レベル算出処理により算出した肌色レベルと、前記飽和レベル算出処理により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。 - 画像に含まれる肌色の状況を判別する肌色判別処理と、
画像に含まれる高明度かつ低彩度である飽和の状況判別する飽和状況処理と、
前記肌色判別処理により判別した前記肌色の状況と、前記飽和状況処理により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。 - HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整処理と、
前記調整処理により調整した重み付けで、前記肌色レベル算出処理により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016186167A JP2018049564A (ja) | 2016-09-23 | 2016-09-23 | 検出装置、及び検出方法 |
CN201710747358.4A CN107871309B (zh) | 2016-09-23 | 2017-08-25 | 检测方法、检测装置以及记录介质 |
US15/711,629 US10621754B2 (en) | 2016-09-23 | 2017-09-21 | Method of detecting skin color area of human |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016186167A JP2018049564A (ja) | 2016-09-23 | 2016-09-23 | 検出装置、及び検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019130422A Division JP6795062B2 (ja) | 2019-07-12 | 2019-07-12 | 検出装置、検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018049564A true JP2018049564A (ja) | 2018-03-29 |
JP2018049564A5 JP2018049564A5 (ja) | 2018-05-31 |
Family
ID=61686450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016186167A Pending JP2018049564A (ja) | 2016-09-23 | 2016-09-23 | 検出装置、及び検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10621754B2 (ja) |
JP (1) | JP2018049564A (ja) |
CN (1) | CN107871309B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020061009A (ja) * | 2018-10-11 | 2020-04-16 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2020154979A (ja) * | 2019-03-22 | 2020-09-24 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017202702A1 (de) * | 2017-02-20 | 2018-08-23 | Henkel Ag & Co. Kgaa | Verfahren und Einrichtung zum Ermitteln einer Homogenität von Hautfarbe |
JP7003558B2 (ja) * | 2017-10-12 | 2022-01-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US11315298B2 (en) * | 2019-03-25 | 2022-04-26 | Disney Enterprises, Inc. | Personalized stylized avatars |
US11103144B2 (en) * | 2019-11-21 | 2021-08-31 | Gb Soft Inc. | Method of measuring physiological parameter of subject in contactless manner |
JP7315024B2 (ja) * | 2019-11-29 | 2023-07-26 | 日本電気株式会社 | 顔認証環境判定方法、顔認証環境判定システム、顔認証環境判定装置、及び顔認証環境判定プログラム |
CN115116104B (zh) * | 2021-03-17 | 2025-04-04 | 华为技术有限公司 | 皮肤检测的方法和装置 |
CN114710627B (zh) * | 2022-04-06 | 2024-03-29 | Oppo广东移动通信有限公司 | 皮肤检测方法、移动终端、计算机设备和介质 |
CN117221550A (zh) * | 2023-09-19 | 2023-12-12 | 海宁奕斯伟集成电路设计有限公司 | 图像处理装置、方法、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11191156A (ja) * | 1997-12-26 | 1999-07-13 | Fuji Photo Film Co Ltd | 画像修正方法および装置 |
JP2004246424A (ja) * | 2003-02-10 | 2004-09-02 | Masahide Kaneko | 肌色領域の抽出方法 |
JP2011044132A (ja) * | 2009-07-23 | 2011-03-03 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2016051302A (ja) * | 2014-08-29 | 2016-04-11 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0927952B1 (en) * | 1997-12-30 | 2003-05-07 | STMicroelectronics S.r.l. | Digital image color correction device employing fuzzy logic |
JP2000217127A (ja) * | 1999-01-26 | 2000-08-04 | Matsushita Electric Ind Co Ltd | 肌色補正装置 |
JP2000261650A (ja) * | 1999-03-05 | 2000-09-22 | Toshiba Corp | 画像処理装置 |
JP2001331803A (ja) * | 2000-05-19 | 2001-11-30 | Akira Kurematsu | 画像中の文字領域抽出方法 |
JP2007257087A (ja) | 2006-03-20 | 2007-10-04 | Univ Of Electro-Communications | 肌色領域検出装置及び肌色領域検出方法 |
CN101251890B (zh) * | 2008-03-13 | 2010-04-21 | 西安交通大学 | 基于多色域选择性形态学处理的视频图像肤色检测方法 |
CN101251898B (zh) * | 2008-03-25 | 2010-09-15 | 腾讯科技(深圳)有限公司 | 一种肤色检测方法及装置 |
US8055066B2 (en) * | 2008-04-16 | 2011-11-08 | Omnivision Technologies, Inc. | Apparatus, system, and method for skin tone detection in a CMOS image sensor |
JP5355308B2 (ja) | 2009-09-01 | 2013-11-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN103106386A (zh) * | 2011-11-10 | 2013-05-15 | 华为技术有限公司 | 动态自适应肤色分割方法和装置 |
JP5501393B2 (ja) * | 2012-02-13 | 2014-05-21 | キヤノン株式会社 | 画像処理装置 |
US8731248B2 (en) * | 2012-02-16 | 2014-05-20 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method of performing eye circle correction an image and related computing device |
JP2014072751A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | 画像処理装置およびコンピュータプログラム |
-
2016
- 2016-09-23 JP JP2016186167A patent/JP2018049564A/ja active Pending
-
2017
- 2017-08-25 CN CN201710747358.4A patent/CN107871309B/zh active Active
- 2017-09-21 US US15/711,629 patent/US10621754B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11191156A (ja) * | 1997-12-26 | 1999-07-13 | Fuji Photo Film Co Ltd | 画像修正方法および装置 |
JP2004246424A (ja) * | 2003-02-10 | 2004-09-02 | Masahide Kaneko | 肌色領域の抽出方法 |
JP2011044132A (ja) * | 2009-07-23 | 2011-03-03 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2016051302A (ja) * | 2014-08-29 | 2016-04-11 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020061009A (ja) * | 2018-10-11 | 2020-04-16 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2020154979A (ja) * | 2019-03-22 | 2020-09-24 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7318251B2 (ja) | 2019-03-22 | 2023-08-01 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180089856A1 (en) | 2018-03-29 |
CN107871309B (zh) | 2021-12-24 |
US10621754B2 (en) | 2020-04-14 |
CN107871309A (zh) | 2018-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018049564A (ja) | 検出装置、及び検出方法 | |
JP5744437B2 (ja) | 追尾装置、追尾方法及びプログラム | |
JP5791336B2 (ja) | 画像処理装置及びその制御方法 | |
CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP6421794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
US20150163391A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium | |
KR20120016476A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
JP2018049564A5 (ja) | ||
JP2010219573A (ja) | 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム | |
JP6423668B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6720882B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR102562720B1 (ko) | 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법 | |
JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP6795062B2 (ja) | 検出装置、検出方法及びプログラム | |
JP2018045366A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5146223B2 (ja) | プログラム、カメラ、画像処理装置および画像の輪郭抽出方法 | |
JP7318251B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020154640A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP7400196B2 (ja) | 電子機器、画像処理方法、及び画像処理プログラム | |
JP2017069871A (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 | |
JP6361204B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020074100A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016206728A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180412 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180412 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180702 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190118 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190416 |