[go: up one dir, main page]

JP2018049564A - 検出装置、及び検出方法 - Google Patents

検出装置、及び検出方法 Download PDF

Info

Publication number
JP2018049564A
JP2018049564A JP2016186167A JP2016186167A JP2018049564A JP 2018049564 A JP2018049564 A JP 2018049564A JP 2016186167 A JP2016186167 A JP 2016186167A JP 2016186167 A JP2016186167 A JP 2016186167A JP 2018049564 A JP2018049564 A JP 2018049564A
Authority
JP
Japan
Prior art keywords
skin color
saturation
image
skin
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016186167A
Other languages
English (en)
Other versions
JP2018049564A5 (ja
Inventor
武志 佐藤
Takeshi Sato
武志 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016186167A priority Critical patent/JP2018049564A/ja
Priority to CN201710747358.4A priority patent/CN107871309B/zh
Priority to US15/711,629 priority patent/US10621754B2/en
Publication of JP2018049564A publication Critical patent/JP2018049564A/ja
Publication of JP2018049564A5 publication Critical patent/JP2018049564A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/642Adapting to different types of images, e.g. characters, graphs, black and white image portions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】光線の状況によらず人物の肌色領域を適切に検出すること。【解決手段】撮像装置1は、肌マップ作成処理部53と、画像合成部54と、を備える。肌マップ作成処理部53は、画像に含まれる肌色領域を検出する。また、肌マップ作成処理部53は、画像に含まれる高明度かつ低彩度である飽和領域を検出する。画像合成部54は、肌マップ作成処理部53により検出した飽和領域を使用して、肌マップ作成処理部53により検出した肌色領域を補正する処理を行う。【選択図】図7

Description

本発明は、検出装置、及び検出方法に関する。
従来より、従来、画像に含まれる人物の顔の肌色領域を、HSV色空間の色情報を使用して検出する技術が開示されている(特許文献1参照)。
特開2011−44132号公報
しかしながら、光線の状況によっては、例えば、輝度が高く肌色が飽和してしまったり、濃い影ができたりするような場合、或いは色温度の異なる複数の光源が混ざっているような場合等、本来肌色である領域が肌色領域とは判定できず、適切に肌色領域が検出されない場合があった。
本発明は、このような状況に鑑みてなされたものであり、光線の状況によらず人物の肌色領域を適切に検出することを目的とする。
上記目的を達成するため、本発明の一態様の検出装置は、
画像に含まれる肌色領域を検出する肌色領域検出手段と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
を備えることを特徴とする。
本発明によれば、光線の状況によらず人物の肌色領域を適切に検出することができる。
本発明の検出装置の一実施形態に係る撮像装置1のハードウェアの構成を示すブロック図である。 美肌画像の生成について説明するための模式図である。 肌マップの作成について説明するための模式図である。 種々の光の環境下での影響を説明するための模式図である。 色相(H)の重み付けの再決定を説明するための模式図である。 肌色の飽和領域の判定について説明するための模式図である。 図1の撮像装置1の機能的構成のうち、美肌画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図7の機能的構成を有する図1の撮像装置1が実行する美肌画像生成処理の流れを説明するフローチャートである。 美肌画像生成処理のうち、肌マップ作成処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の検出装置の一実施形態に係る撮像装置1のハードウェアの構成を示すブロック図である。
撮像装置1は、例えば、デジタルカメラとして構成される。
撮像装置1は、図1に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、YUV色空間のディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
このように構成される撮像装置1では、例えば、輝度が高く肌色が飽和してしまったり、濃い影ができたり、或いは色温度の異なる複数の光源が混ざっている等の光線の状況であっても、人物の肌色領域を適切に検出し、肌色領域のみに美肌処理を施した画像(以下、「美肌画像」という。)を生成することができる機能を有する。
[美肌画像の生成]
ここで、美肌画像の生成について説明する。
図2は、美肌画像の生成について説明するための模式図である。
美肌画像の生成は、図2に示すように、まず、撮像画像のデータから、背景用の画像(以下、「標準画像」という。)と、美肌処理を施す対象となる画像(以下、「全体美肌処理元画像」という。)と、を取得する。この時点で、「標準画像」と「全体美肌処理元画像」との色空間はYUV色空間である。
そして、全体美肌処理元画像に対して、画像全体に美肌処理を施して、全体美肌画像を生成する。また、全体美肌画像の顔における肌色領域を抽出したマップ(以下、「肌マップ」という。)を作成する。
その後、作成した肌マップを用いて、標準画像と全体美肌画像とをαブレンドする。肌マップを用いて、標準画像と全体美肌画像とをαブレンドした画像は、顔における肌色領域に対して美肌処理を施された画像(以下、「美肌画像」という。)となる。
[肌マップの作成]
肌マップの作成について説明する。
図3は、肌マップの作成について説明するための模式図である。
肌マップは、まず、YUV色空間である全体美肌処理画像を、HSV(色相:Hue,彩度:Saturation・Chroma,明度:Value・Lightness・Brightness)色空間に変換する。HSVに変換した画像からHSVを計測し、各H,S,Vチャンネルの平均値を算出する。
そして、画素におけるH,S,Vのそれぞれについて、図3(a)〜(c)に示すように、平均値からの差分に応じて、予め決定しておいた重み付けから、H,S,Vチャンネルの肌色らしさを示す肌色レベル(Lh,Ls,Lv)を算出する。
その後、算出した各H,S,Vチャンネルの肌色レベルを掛け合わせて、画素における肌マップ値を算出して、肌マップ値により構成される肌マップが作成される。肌マップでは、肌色らしい部分とそうでない部分が段階的に表示される。本例の肌マップでは、図2に示すように、白色が最も肌色らしい部分であり、黒色が最も肌色らしくない部分として表示される。
[種々の光の環境下での影響への対応]
肌マップ生成に際して、顔へ均一に光が当たっている場合は、肌色領域を精度よく抽出することができるが、例えば、濃い影ができたり、色温度の異なる複数の光源が混ざっていたりする種々の光の環境下であるような場合には、適切に肌色領域を抽出することができない。適切に肌色領域を抽出することができないと、肌色領域から外れた領域は、美肌処理の対象とならずに、最終的な画像においてノイズとして残ってしまう。
そこで、本実施形態では、以下のように、種々の光の環境への対応を行う。
図4は、種々の光の環境下での影響を説明するための模式図である。ここでは、色相(H)における影響を説明し、図4(a),(b)における肌色レベルは、図3(a)の肌色レベルに対応している。
通常のシーンで撮影された画像では、図4(a)に示すように、色相(H)における頻度の分布が重み付けの既定値内に収まり(算出した肌色レベルに収まり)、適切に肌色領域として抽出することができる。一点鎖線は、平均値より負の方向で頻度が概ね0となる値を示している。
一方、例えば、色温度の異なる複数の光源が混ざっているようなシーンで撮影された画像では、図4(b)に示すように、頻度の山が複数あり、実際の肌色領域でも、色相(H)における頻度の分布(特に、図4(a)の一点鎖線より更に負の方向の矢印の範囲内)が重み付けの既定値内に収まらず(算出した肌色レベルに収まらず)、肌色領域から外れてしまう。
そこで、本実施形態では、色相(H)の計測結果のヒストグラムを作成し、当該ヒストグラムの解析結果から、色相(H)の重み付けの係数を再決定する。ヒストグラムを解析して画像に応じた重み付けとすることで、種々の光の環境下でも適切に肌色領域を抽出することができるようになる。
図5は、色相(H)の重み付けの再決定を説明するための模式図である。
まず、人の顔の計測領域(本実施形態においては、人の鼻付近)で計測される色相(H)の平均値を算出する。
そして、平均値からの差分に応じて、図5(a)に示すようなヒストグラムを作成する。作成したヒストグラムにおいて正の方向と負の方向に閾値以下になる値(Rangep,Rangem)をサーチして行き、ヒストグラムの解析を行う。
ヒストグラムの解析の結果、サーチされたRangep,Rangemの値に応じて、予め決められていた重み付けを再調整して、決定する。即ち、図5(b)に示すように、Rangep,Rangemの値に応じて、予め決定されていた重み付け(従来設定)の幅を新たに決定した重み付け(新規設定)の幅まで広げることにより調整する。
新たに決定した重み付けに基づいて、色相(H)の肌色領域を抽出することで、種々の光の環境下で撮影された画像でも適切な肌色領域を抽出することができる。即ち、HSV色空間の色情報を使用して肌色レベルを算出し、肌色領域を検出する方法において、従来固定であった色相成分の重み付けを、色相成分の分布に応じて調整して肌色レベルを算出することで、色相成分の分布が広い、濃い影となっている場合や色温度の異なる複数の光源が当たっている場合等の種々の光の環境下でも適切に肌色領域を抽出して対応することができるようになる。
[肌の飽和領域への対応]
また、上述したような肌色領域の抽出の手法では、H,S,Vの各チャンネルで肌色を判定しているために、色相(H)が回転してしまい肌色の色相(H)から外れてしまった領域(以下、「飽和領域」という。)では、肌色領域として抽出されないという問題が生じる。本来肌色であるが飽和していて肌色領域として抽出されなかった飽和領域は、美肌処理の対象とならずに、最終的な画像においてノイズとして残ってしまう。
そこで、本実施形態では、肌色領域の抽出に際して、肌色の飽和領域の判定を行う。
図6は、肌色の飽和領域の判定について説明するための模式図である。
肌色の飽和領域は、図6(a)及び図6(b)に示すように、高明度領域と、低彩度領域において、予め設定した重み付けの規定値内に収まっているか否かを判定して行う。画素における明度(V)及び彩度(S)の値における重み付けから飽和レベルが算出される。その後、算出した明度(V)及び彩度(S)の飽和レベルを掛け合わせて、一方で算出した肌色レベルとの比較を行って、値の高い方を肌マップ値として採用して、飽和領域の肌マップを作成する。即ち、従来のHSV色空間の色相成分を使用する肌色領域検出方法では検出されなかった肌色が飽和している部分を、色相成分を除いた明度成分と彩度成分とから算出される飽和レベルを使用して補完する。
図7は、図1の撮像装置1の機能的構成のうち、美肌画像生成処理を実行するための機能的構成を示す機能ブロック図である。
美肌画像生成処理とは、撮像画像のデータから顔の肌色領域にのみ美肌処理を施した美肌画像を生成する一連の処理をいう。
このような美肌画像生成処理は、肌マップ作成処理を含む。
肌マップ作成処理とは、肌色領域を特定するためのマップであり、肌色らしさを示す指標が段階的に表示された肌マップを作成する一連の処理である。肌マップ作成処理で作成される肌マップは、色相(H)において肌色が飽和してしまった領域や、種々の光の環境下で肌色領域から除外されてしまった領域をカバーされたものとなる。
美肌画像生成処理を実行する場合には、図7に示すように、CPU11において、画像取得部51と、画像処理部52と、肌マップ作成処理部53と、画像合成部54と、が機能する。
また、記憶部19の一領域には、画像記憶部71と、重み付け情報記憶部72と、顔マップ記憶部73と、が設定される。
画像記憶部71には、例えば、撮像部16で撮像された撮像画像のデータや、人の顔の肌のみに美白処理が施された美肌画像等の画像データが記憶される。
重み付け情報記憶部72には、肌色レベルを算出するためのHSVの重み付けの係数、飽和レベルを算出するための高明度(V)の領域及び低彩度(S)の領域の重み付けの係数に関する情報が記憶される。
顔マップ記憶部73には、顔領域のみをαブレンドの対象とするためのマスク画像であり、一般的な顔の形に略一致する楕円形状のマスク画像である顔マップが記憶される。
画像取得部51は、処理対象の画像を取得する。具体的には、画像取得部51は、例えば、撮像部16から出力される撮像画像のデータからαブレンド時に肌色領域以外の背景の領域として用いられる標準画像と、顔用の全体美肌処理元画像を取得する。取得先はこれに限らず、画像記憶部71に記憶されている画像のデータから取得してもよいし、通信部20を介して外部装置に記憶されている画像のデータを取得してもよい。
画像処理部52は、画像に対して画像処理を施す。具体的には、画像処理部52は、例えば、全体美肌処理元画像の画像全体に対して美肌処理を施して、全体美肌処理画像を生成する。美肌処理は、例えば、NR(Noise Reduction)フィルタをかけて平滑化するような、種々の人の肌が美肌になる処理であり、公知の美肌処理技術を用いることができる。
肌マップ作成処理部53は、肌マップ作成処理を実行する。肌マップ作成処理の実行の結果、顔領域における肌色領域で肌色らしさが段階的に特定された肌マップが作成される。
肌マップ作成処理部53は、画像の顔の肌に基づいて、多段的に肌色領域を抽出する。
また、肌マップ作成処理部53は、輝度が高く肌色が飽和してしまい、肌色領域として抽出できない領域についても、高輝度領域と、低彩度領域から飽和レベルを算出して、肌色マップに肌色領域として抽出することができる。
さらに、肌マップ作成処理部53は、例えば、濃い影が生じた場合や色温度の異なる複数の光源が当たった場合等の種々の光の環境下にも対応するため、色相(H)の重み付けを画像に対応するレンジに調整して、肌色レベルを算出することができる。
これにより、人の顔の肌を基準として肌色領域の他に、通常の手法では抽出できない飽和した肌色領域や種々の光の環境下で抽出できない肌色領域を抽出することができ、人の顔の肌の領域のみに適切に美肌処理が施された美肌画像を生成することができる。
画像合成部54は、画像を合成する。具体的には、画像合成部54は、例えば、標準画像と、美肌処理を画像全体に施した全体美肌画像とを肌マップをα値とするマスク画像を使用して、αブレンドする合成を行う。
図8は、図7の機能的構成を有する図1の撮像装置1が実行する美肌画像生成処理の流れを説明するフローチャートである。
美肌画像生成処理は、ユーザによる入力部17への美肌画像生成処理開始の操作により開始される。
ステップS11において、画像取得部51は、撮像部16から出力される撮像画像のデータから、標準画像と、全体美肌処理元画像との2つの画像を取得する。
ステップS12において、画像処理部52は、全体美肌処理元画像の画像全体に対して美肌処理を施して、全体美肌処理画像を生成する。
ステップS13において、肌マップ作成処理部53は、肌マップ作成処理を実行する。肌マップ作成処理の実行の結果、αブレンドに用いる肌マップが作成される。肌マップ作成処理の詳細については後述する。
ステップS14において、画像合成部54は、標準画像と全体美肌画像とを、肌マップを用いてαブレンドする。αブレンドの結果、人の顔の肌のみに美白処理が施された美肌画像が生成される(図2を参照)。生成した美肌画像は、画像記憶部71に記憶される。
その後、美肌画像生成処理は終了する。
図9は、美肌画像生成処理のうち、肌マップ作成処理の流れを説明するフローチャートである。
ステップS31において、肌マップ作成処理部53は、YUV色空間の全体美肌処理画像をHSV変換し、計測したHVSの平均値からの差分でH,S,Vの各チャンネルのヒストグラムを作成する。
ステップS32において、肌マップ作成処理部53は、H,S,Vのヒストグラムに対して、重み付けを決定する。S,Vチャンネルでは、重み付け情報記憶部72に記憶されるS,Vの重み付けとして、S,Vのヒストグラムの重み付けとして決定する(図3(b),3(c)を参照)。Hのチャンネルでは、Hのヒストグラムを解析して、Hを含む領域まで、重み付け情報記憶部72に記憶されるHの重み付けの幅を広げて、重み付けを再決定する。
Hのヒストグラム解析は、Hの平均値を始点として正の方向と負の方向に対して、閾値以下となる値をサーチすることにより行う(図5(a)を参照)。サーチの結果、閾値以下の値の場所まで、重み付けの幅を広げる(図5(b)を参照)。
ステップS33において、肌マップ作成処理部53は、決定したS,Vの重み付けと、再決定したHの重み付けから、各画素における肌色レベルLh,Ls,Lvを算出する。
ステップS34において、肌マップ作成処理部53は、顔領域において飽和領域が所定の割合以下であるか否かの判定を行う。当該判定を行うことで、飽和領域が狭く影響が出ない程度の所定の割合以下の画像については、飽和領域を考慮して処理を行わずに処理負担を軽減する。
飽和領域が所定の割合よりも多い場合には、ステップS34においてNOと判定されて、処理はステップS36に進む。
飽和領域が所定の割合以下の場合には、ステップS34においてYESと判定されて、処理はステップS35に進む。
ステップS35において、肌マップ作成処理部53は、算出された肌色レベルのみに基づいて画素ごとの肌アップ値を算出して、肌マップを作成する。
肌マップ値は、以下の式(1)により算出される。
肌マップ値(MAP)=Lh×Ls×Lv・・・(1)
なお、「Lh」は色相(H)の肌色レベルであり、「Ls」は彩度(S)の肌色レベルであり、「Lv」は明度(V)肌色レベルである。
その後、肌マップ作成処理は終了する。
ステップS36において、肌マップ作成処理部53は、飽和領域が所定の割合よりも多いため、高明度領域及び低彩度領域のヒストグラムを作成し、重み付け情報記憶部72に記憶される高明度領域及び低彩度領域の重み付けから、高明度領域及び低彩度領域の飽和レベルを算出する(図6(a),(b)を参照)。
ステップS37において、肌マップ作成処理部53は、式(1)により画素ごとの肌マップ値を算出するとともに、以下の式(2)により飽和マップ値を算出する。そして、画素ごとに算出した肌マップ値と飽和マップ値を比較して、値の大きい方を最終的な肌マップ値として採用し(論理和して)、肌マップを作成する。
飽和マップ値は、以下の式(2)により算出される。
飽和マップ値(MAP)=高Lv×低Ls・・・(2)
なお、「高Lv」は高明度領域の肌色レベルであり、「低Ls」は低彩度領域の肌色レベルである。
その結果、本来肌であるが飽和領域であったり、種々の光の環境下で肌色領域として抽出されなかったりした領域を含む肌マップが作成される。
ステップS38において、肌マップ作成処理部53は、顔マップ記憶部73に記憶される顔マップを、該当画像に含まれる顔の位置と顔の大きさに調整して顔マップを作成する。
ステップS39において、肌マップ作成処理部53は、ステップS35又はステップS37で作成した肌マップと、顔マップとをαブレンドする。その結果、本来顔以外の領域であるにもかかわらず肌色領域として検出された領域を除いた肌マップが作成される。
その後、肌マップ作成処理は終了する。
以上のように構成される撮像装置1は、肌マップ作成処理部53と、画像合成部54と、を備える。
肌マップ作成処理部53は、画像に含まれる肌色領域を検出する。
また、肌マップ作成処理部53は、画像に含まれる高明度かつ低彩度である飽和領域を検出する。
画像合成部54は、肌マップ作成処理部53により検出した飽和領域を使用して、肌マップ作成処理部53により検出した肌色領域を補正する処理を行う。
これにより、撮像装置1においては、色相成分では検出の難しい肌色が飽和している部分も含め、適切に肌色領域が検出でき、光線の状況によらず人物の肌色領域を適切に検出することができる。
肌マップ作成処理部53は、HSV色空間のうちの色相成分を含む色情報に基づき、肌色領域を検出する。
また、肌マップ作成処理部53は、HSV色空間のうちの色相成分を除く色情報に基づき、飽和領域を検出する。
これにより、撮像装置1においては、HSV色空間を用いることで、肌色領域及び飽和領域の検出を両立することができる。
肌マップ作成処理部53は、HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する。
また、肌マップ作成処理部53は、HSV色空間のうちの色相成分を除く色情報に基づき、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する。
また、肌マップ作成処理部53は、算出した肌色レベルが所定の閾値以上の領域を肌色領域として検出する。
また、肌マップ作成処理部53は、算出した飽和レベルが所定の閾値以上の領域を飽和領域として検出する。
これにより、撮像装置1においては、通常の光線の状況では肌色領域の検出に適している色相成分で肌色領域を検出し、かつ色相成分では検出の難しい肌色が飽和している部分も含め、適切に肌色領域を簡単に検出することができる。
画像合成部54は、肌マップ作成処理部53では検出できなかった一部の肌色領域を、肌マップ作成処理部53により検出した飽和領域を使用して補正する処理を行う。
これにより、撮像装置1においては、検出できなかった一部の肌色領域を、補正することができる。
画像合成部54は、検出した肌色領域と検出した飽和領域の論理和となる領域に当該肌色領域を補正する処理を行う。
これにより、撮像装置1においては、簡単な処理で補正の領域を特定することができる。
肌マップ作成処理部53は、予め用意されている基準となる人物の顔領域情報を更に使用して、補正した肌色領域が人物の顔の肌色領域となるように補正する処理を行う。
これにより、撮像装置1においては、色情報だけでは難しい人物の顔の肌色領域以外の領域を除く処理を、処理負担が少なく、かつ、簡単に人物の顔の肌色領域に補正する処理を行うことができる。
また、撮像装置1は、画像合成部54により補正した肌色領域に対して美肌処理を行う画像処理部52を、更に備える。
これにより、撮像装置1においては、人の肌を美肌にする美肌処理を施した画像を生成することができる。
肌マップ作成処理部53と、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する。
また、肌マップ作成処理部53と、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する。
また、肌マップ作成処理部53と、算出した肌色レベルと、算出した飽和レベルとから画像に含まれる肌色領域を検出する。
これにより、撮像装置1においては、通常の光線の状況における肌色部分の検出だけでなく、肌色が飽和している部分も含め、適切に肌色領域が検出でき、光線の状況によらず人物の肌色領域を適切に検出することができる。
肌マップ作成処理部53は、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、肌色レベルを算出する。
また、肌マップ作成処理部53は、HSV色空間のうちの色相成分を除く色成分の情報に基づき、画像を構成する画素毎に、飽和レベルを算出する。
これにより、撮像装置1においては、通常の光線の状況では肌色領域の検出に適している色相成分で肌色領域を検出し、かつ色相成分では検出の難しい肌色が飽和している部分も含め、適切に肌色領域を簡単に検出することができる。
肌マップ作成処理部53は、算出した肌色レベルと算出した飽和レベルのうちの少なくともいずれか一方が所定の閾値以上である領域を肌色領域として検出する。
これにより、撮像装置1においては、簡単な処理で検出の難しい肌色が飽和している部分も含め、適切に肌色領域を検出することができる。
肌マップ作成処理部53は、予め用意されている基準となる人物の顔領域情報を更に使用して、画像に含まれる人物の顔の肌色領域を検出する処理を行う。
これにより、撮像装置1においては、色情報だけでは難しい人物の顔の肌色領域以外の領域を除く処理を、処理負担が少なく、かつ、簡単に人物の顔の肌色領域に補正する処理を行うことができる。
肌マップ作成処理部53は、画像を構成する画素毎の色相成分の値の分布に基づき、肌マップ作成処理部53が肌色レベルを算出するための色相成分の重み付けを調整する。
また、肌マップ作成処理部53は、調整した色相成分の重み付けで、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、肌色レベルを算出する。
これにより、撮像装置1においては、常の光線の状況では肌色領域の検出に適している色相成分の値の分布に基づき、肌マップ作成処理部53が肌色レベルを算出するための色相成分の重み付けを調整するために、光線の状況によらず人物の肌色領域を適切に検出することができる。
また、撮像装置1は、検出した肌色領域に対して美肌処理を行う画像処理部52を、更に備える。
これにより、撮像装置1においては、人の肌を美肌にする美肌処理を施した画像を生成することができる。
肌マップ作成処理部53は、画像に含まれる肌色の状況を判別する。
また、肌マップ作成処理部53は、画像に含まれる高明度かつ低彩度である飽和の状況を判別する。
また、肌マップ作成処理部53は、判別した肌色の状況と、判別した飽和の状況と、に基づき、画像内の肌色領域を検出する。
これにより、撮像装置1においては、色温度が異なったり、異なる色温度の複数の光源が混ざったりしているような場合であっても、適切に肌色領域が検出でき、光線の状況によらず人物の肌色領域を適切に検出することができる。
肌マップ作成処理部53は、HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する。
また、肌マップ作成処理部53は、画像を構成する画素毎の色相成分の値の分布に基づき、肌マップ作成処理部53が肌色レベルを算出するための色相成分の重み付けを調整する。
また、肌マップ作成処理部53と、調整手段により調整した重み付けで、肌マップ作成処理部53により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する。
これにより、撮像装置1においては、色相成分の値の分布に基づき、肌マップ作成処理部53が肌色レベルを算出するための色相成分の重み付けを調整するために、光線の状況によらず人物の肌色領域を適切に検出することができる。
また、撮像装置1は、検出した肌色領域に対して美肌処理を行う画像処理部52を、更に備える。
これにより、撮像装置1においては、人の肌を美肌にする美肌処理を施した画像を生成することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、飽和した領域でも肌色領域として抽出できたり、例えば、濃い影が生じたり、色温度の異なる複数の光源が当たっていたりする等の種々の光の環境下でも肌色領域が抽出できるようにする処理を併せて行うように構成したが、それぞれ別々に行うように構成したり、いずれか一方のみを実行したりするように構成してもよい。
また、上述の実施形態では、ヒストグラムを生成する際の画像を構成する画素は、記録用の画像サイズの画素数でも、間引いたライブビュー表示用の画素でもよい。
また、上述の実施形態では、色相(H)のヒストグラムに応じて、重み付けの幅を、予め決定された重み付けの幅から広げるように構成したが、狭めるように構成してもよい。また、例えば、画像における顔領域が小さく、美肌を行うことの重みが低い場合には、顔以外への影響を考慮して、重み付けの幅を狭めるように構成してもよい。
さらに、重み付けの傾きは、幅に係らず固定としてもよいが、幅が広い場合には、なだらかにするように可変にしてもよい。
また、上述した実施形態では、色相(H)のヒストグラムの解析は、平均値を始点として正の方向と負の方向に向かってサーチするように構成したが、例えば、端部から中心に向かってサーチするように構成してもよい。
また、上述した実施形態では、顔マップは、顔領域に略一致する楕円形状のマスク画像としたがこれに限られない。例えば、対照形状の楕円形状であるため、1/4部の形状の顔マップとし、使用時に4等倍して楕円形状を構成するようにしてもよい。記憶容量の削減が可能となる。
また、上述した実施形態では、肌色レベルと、飽和レベルの算出の結果、飽和レベルの値が高い場合に飽和領域として抽出し、当該飽和領域が所定割合以下であった場合には、肌色レベルのみで肌マップを作成するように構成したが、飽和レベルが所定の値であったことをもって飽和領域として、該飽和領域が所定割合以下であった場合には、肌色レベルのみで肌マップを作成するように構成してもよい。
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、美肌画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図7の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
画像に含まれる肌色領域を検出する肌色領域検出手段と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
を備えることを特徴とする検出装置。
[付記2]
前記肌色領域検出手段は、HSV色空間のうちの色相成分を含む色情報に基づき、前記肌色領域を検出し、
前記飽和領域検出手段は、HSV色空間のうちの色相成分を除く色情報に基づき、前記飽和領域を検出する、
ことを特徴とする付記1に記載の検出装置。
[付記3]
HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
HSV色空間のうちの色相成分を除く色情報に基づき、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、を更に備え、
前記肌色領域検出手段は、算出した肌色レベルが所定の閾値以上の領域を前記肌色領域として検出し、
前記飽和領域検出手段は、算出した飽和レベルが所定の閾値以上の領域を前記飽和領域として検出する、
ことを特徴とする付記2に記載の検出装置。
[付記4]
前記肌色領域補正手段は、前記肌色領域検出手段では検出できなかった一部の肌色領域を、前記飽和領域検出手段により検出した前記飽和領域を使用して補正する処理を行う、
ことを特徴とする付記1乃至3の何れか1つに記載の検出装置。
[付記5]
前記肌色領域補正手段は、検出した前記肌色領域と検出した前記飽和領域の論理和となる領域に当該肌色領域を補正する処理を行う、
ことを特徴とする付記4に記載の検出装置。
[付記6]
前記肌色領域補正手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、補正した前記肌色領域が人物の顔の肌色領域となるように補正する処理を行う、
ことを特徴とする付記1乃至5の何れか1つに記載の検出装置。
[付記7]
前記肌色領域補正手段により補正した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする付記1乃至5の何れか1つに記載の検出装置。
[付記8]
画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、
前記肌色レベル算出手段により算出した肌色レベルと、前記飽和レベル算出手段により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
[付記9]
前記肌色レベル算出手段は、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出し、
前記飽和レベル算出手段は、HSV色空間のうちの色相成分を除く色成分の情報に基づき、画像を構成する画素毎に、前記飽和レベルを算出する、
ことを特徴とする付記8に記載の検出装置。
[付記10]
前記肌色領域検出手段は、算出した前記肌色レベルと算出した飽和レベルのうちの少なくともいずれか一方が所定の閾値以上である領域を肌色領域として検出する、
ことを特徴とする付記8又は9に記載の検出装置。
[付記11]
前記肌色領域検出手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、画像に含まれる人物の顔の肌色領域を検出する処理を行う、
ことを特徴とする付記8乃至10の何れか1つに記載の検出装置。
[付記12]
画像を構成する画素毎の色相成分の値の分布に基づき、前記肌色レベル算出手段が前記肌色レベルを算出するための色相成分の重み付けを調整する調整手段を、更に備え、
前記肌色レベル算出手段は、調整した色相成分の重み付けで、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出する、
ことを特徴とする付記3,8乃至11の何れか1つに記載の検出装置。
[付記13]
前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする付記8乃至12の何れか1つに記載の検出装置。
[付記14]
画像に含まれる肌色の状況を判別する肌色判別手段と、
画像に含まれる高明度かつ低彩度である飽和の状況を判別する飽和状況判別手段と、
前記肌色判別手段により判別した前記肌色の状況と、前記飽和状況判別手段により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
[付記15]
HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整手段と、
前記調整手段により調整した重み付けで、前記肌色レベル算出手段により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
[付記16]
前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする付記15に記載の検出装置。
[付記17]
画像に含まれる肌色領域を検出する肌色領域検出処理と、
画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出処理と、
前記飽和領域検出処理により検出した飽和領域を使用して、前記肌色領域検出処理により検出した肌色領域を補正する処理を行う肌色領域補正処理と、
を含むことを特徴とする検出方法。
[付記18]
画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出処理と、
前記肌色レベル算出処理により算出した肌色レベルと、前記飽和レベル算出処理により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
[付記19]
画像に含まれる肌色の状況を判別する肌色判別処理と、
画像に含まれる高明度かつ低彩度である飽和の状況判別する飽和状況処理と、
前記肌色判別処理により判別した前記肌色の状況と、前記飽和状況処理により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
[付記20]
HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整処理と、
前記調整処理により調整した重み付けで、前記肌色レベル算出処理により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
1・・・撮像装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,51・・・画像取得部,52・・・画像処理部,53・・・肌マップ作成処理部,54・・・画像合成部,71・・・画像記憶部,72・・・重み付け情報記憶部,73・・・顔マップ記憶部

Claims (20)

  1. 画像に含まれる肌色領域を検出する肌色領域検出手段と、
    画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
    前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
    を備えることを特徴とする検出装置。
  2. 前記肌色領域検出手段は、HSV色空間のうちの色相成分を含む色情報に基づき、前記肌色領域を検出し、
    前記飽和領域検出手段は、HSV色空間のうちの色相成分を除く色情報に基づき、前記飽和領域を検出する、
    ことを特徴とする請求項1に記載の検出装置。
  3. HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
    HSV色空間のうちの色相成分を除く色情報に基づき、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、を更に備え、
    前記肌色領域検出手段は、算出した肌色レベルが所定の閾値以上の領域を前記肌色領域として検出し、
    前記飽和領域検出手段は、算出した飽和レベルが所定の閾値以上の領域を前記飽和領域として検出する、
    ことを特徴とする請求項2に記載の検出装置。
  4. 前記肌色領域補正手段は、前記肌色領域検出手段では検出できなかった一部の肌色領域を、前記飽和領域検出手段により検出した前記飽和領域を使用して補正する処理を行う、
    ことを特徴とする請求項1乃至3の何れか1項に記載の検出装置。
  5. 前記肌色領域補正手段は、検出した前記肌色領域と検出した前記飽和領域の論理和となる領域に当該肌色領域を補正する処理を行う、
    ことを特徴とする請求項4に記載の検出装置。
  6. 前記肌色領域補正手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、補正した前記肌色領域が人物の顔の肌色領域となるように補正する処理を行う、
    ことを特徴とする請求項1乃至5の何れか1項に記載の検出装置。
  7. 前記肌色領域補正手段により補正した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
    ことを特徴とする請求項1乃至5の何れか1項に記載の検出装置。
  8. 画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
    画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、
    前記肌色レベル算出手段により算出した肌色レベルと、前記飽和レベル算出手段により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出手段と、
    を備えることを特徴とする検出装置。
  9. 前記肌色レベル算出手段は、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出し、
    前記飽和レベル算出手段は、HSV色空間のうちの色相成分を除く色成分の情報に基づき、画像を構成する画素毎に、前記飽和レベルを算出する、
    ことを特徴とする請求項8に記載の検出装置。
  10. 前記肌色領域検出手段は、算出した前記肌色レベルと算出した飽和レベルのうちの少なくともいずれか一方が所定の閾値以上である領域を肌色領域として検出する、
    ことを特徴とする請求項8又は9に記載の検出装置。
  11. 前記肌色領域検出手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、画像に含まれる人物の顔の肌色領域を検出する処理を行う、
    ことを特徴とする請求項8乃至10の何れか1項に記載の検出装置。
  12. 画像を構成する画素毎の色相成分の値の分布に基づき、前記肌色レベル算出手段が前記肌色レベルを算出するための色相成分の重み付けを調整する調整手段を、更に備え、
    前記肌色レベル算出手段は、調整した色相成分の重み付けで、HSV色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、前記肌色レベルを算出する、
    ことを特徴とする請求項3,8乃至11の何れか1項に記載の検出装置。
  13. 前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
    ことを特徴とする請求項8乃至12の何れか1項に記載の検出装置。
  14. 画像に含まれる肌色の状況を判別する肌色判別手段と、
    画像に含まれる高明度かつ低彩度である飽和の状況を判別する飽和状況判別手段と、
    前記肌色判別手段により判別した前記肌色の状況と、前記飽和状況判別手段により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出手段と、
    を備えることを特徴とする検出装置。
  15. HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
    画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整手段と、
    前記調整手段により調整した重み付けで、前記肌色レベル算出手段により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出手段と、
    を備えることを特徴とする検出装置。
  16. 前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
    ことを特徴とする請求項15に記載の検出装置。
  17. 画像に含まれる肌色領域を検出する肌色領域検出処理と、
    画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出処理と、
    前記飽和領域検出処理により検出した飽和領域を使用して、前記肌色領域検出処理により検出した肌色領域を補正する処理を行う肌色領域補正処理と、
    を含むことを特徴とする検出方法。
  18. 画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
    画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出処理と、
    前記肌色レベル算出処理により算出した肌色レベルと、前記飽和レベル算出処理により算出した飽和レベルとから画像に含まれる肌色領域を検出する肌色領域検出処理と、
    を含むことを特徴とする検出方法。
  19. 画像に含まれる肌色の状況を判別する肌色判別処理と、
    画像に含まれる高明度かつ低彩度である飽和の状況判別する飽和状況処理と、
    前記肌色判別処理により判別した前記肌色の状況と、前記飽和状況処理により判別した飽和の状況と、に基づき、画像内の肌色領域を検出する肌色領域検出処理と、
    を含むことを特徴とする検出方法。
  20. HSV色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
    画像を構成する画素毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整処理と、
    前記調整処理により調整した重み付けで、前記肌色レベル算出処理により算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する肌色領域検出処理と、
    を含むことを特徴とする検出方法。
JP2016186167A 2016-09-23 2016-09-23 検出装置、及び検出方法 Pending JP2018049564A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016186167A JP2018049564A (ja) 2016-09-23 2016-09-23 検出装置、及び検出方法
CN201710747358.4A CN107871309B (zh) 2016-09-23 2017-08-25 检测方法、检测装置以及记录介质
US15/711,629 US10621754B2 (en) 2016-09-23 2017-09-21 Method of detecting skin color area of human

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016186167A JP2018049564A (ja) 2016-09-23 2016-09-23 検出装置、及び検出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019130422A Division JP6795062B2 (ja) 2019-07-12 2019-07-12 検出装置、検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018049564A true JP2018049564A (ja) 2018-03-29
JP2018049564A5 JP2018049564A5 (ja) 2018-05-31

Family

ID=61686450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016186167A Pending JP2018049564A (ja) 2016-09-23 2016-09-23 検出装置、及び検出方法

Country Status (3)

Country Link
US (1) US10621754B2 (ja)
JP (1) JP2018049564A (ja)
CN (1) CN107871309B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061009A (ja) * 2018-10-11 2020-04-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2020154979A (ja) * 2019-03-22 2020-09-24 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017202702A1 (de) * 2017-02-20 2018-08-23 Henkel Ag & Co. Kgaa Verfahren und Einrichtung zum Ermitteln einer Homogenität von Hautfarbe
JP7003558B2 (ja) * 2017-10-12 2022-01-20 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US11315298B2 (en) * 2019-03-25 2022-04-26 Disney Enterprises, Inc. Personalized stylized avatars
US11103144B2 (en) * 2019-11-21 2021-08-31 Gb Soft Inc. Method of measuring physiological parameter of subject in contactless manner
JP7315024B2 (ja) * 2019-11-29 2023-07-26 日本電気株式会社 顔認証環境判定方法、顔認証環境判定システム、顔認証環境判定装置、及び顔認証環境判定プログラム
CN115116104B (zh) * 2021-03-17 2025-04-04 华为技术有限公司 皮肤检测的方法和装置
CN114710627B (zh) * 2022-04-06 2024-03-29 Oppo广东移动通信有限公司 皮肤检测方法、移动终端、计算机设备和介质
CN117221550A (zh) * 2023-09-19 2023-12-12 海宁奕斯伟集成电路设计有限公司 图像处理装置、方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191156A (ja) * 1997-12-26 1999-07-13 Fuji Photo Film Co Ltd 画像修正方法および装置
JP2004246424A (ja) * 2003-02-10 2004-09-02 Masahide Kaneko 肌色領域の抽出方法
JP2011044132A (ja) * 2009-07-23 2011-03-03 Casio Computer Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2016051302A (ja) * 2014-08-29 2016-04-11 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0927952B1 (en) * 1997-12-30 2003-05-07 STMicroelectronics S.r.l. Digital image color correction device employing fuzzy logic
JP2000217127A (ja) * 1999-01-26 2000-08-04 Matsushita Electric Ind Co Ltd 肌色補正装置
JP2000261650A (ja) * 1999-03-05 2000-09-22 Toshiba Corp 画像処理装置
JP2001331803A (ja) * 2000-05-19 2001-11-30 Akira Kurematsu 画像中の文字領域抽出方法
JP2007257087A (ja) 2006-03-20 2007-10-04 Univ Of Electro-Communications 肌色領域検出装置及び肌色領域検出方法
CN101251890B (zh) * 2008-03-13 2010-04-21 西安交通大学 基于多色域选择性形态学处理的视频图像肤色检测方法
CN101251898B (zh) * 2008-03-25 2010-09-15 腾讯科技(深圳)有限公司 一种肤色检测方法及装置
US8055066B2 (en) * 2008-04-16 2011-11-08 Omnivision Technologies, Inc. Apparatus, system, and method for skin tone detection in a CMOS image sensor
JP5355308B2 (ja) 2009-09-01 2013-11-27 キヤノン株式会社 画像処理装置及び画像処理方法
CN103106386A (zh) * 2011-11-10 2013-05-15 华为技术有限公司 动态自适应肤色分割方法和装置
JP5501393B2 (ja) * 2012-02-13 2014-05-21 キヤノン株式会社 画像処理装置
US8731248B2 (en) * 2012-02-16 2014-05-20 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method of performing eye circle correction an image and related computing device
JP2014072751A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 画像処理装置およびコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191156A (ja) * 1997-12-26 1999-07-13 Fuji Photo Film Co Ltd 画像修正方法および装置
JP2004246424A (ja) * 2003-02-10 2004-09-02 Masahide Kaneko 肌色領域の抽出方法
JP2011044132A (ja) * 2009-07-23 2011-03-03 Casio Computer Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2016051302A (ja) * 2014-08-29 2016-04-11 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061009A (ja) * 2018-10-11 2020-04-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2020154979A (ja) * 2019-03-22 2020-09-24 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7318251B2 (ja) 2019-03-22 2023-08-01 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20180089856A1 (en) 2018-03-29
CN107871309B (zh) 2021-12-24
US10621754B2 (en) 2020-04-14
CN107871309A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
JP2018049564A (ja) 検出装置、及び検出方法
JP5744437B2 (ja) 追尾装置、追尾方法及びプログラム
JP5791336B2 (ja) 画像処理装置及びその制御方法
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
JP6421794B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6720881B2 (ja) 画像処理装置及び画像処理方法
US20150163391A1 (en) Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium
KR20120016476A (ko) 영상 처리 방법 및 영상 처리 장치
JP2018049564A5 (ja)
JP2010219573A (ja) 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム
JP6423668B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6720882B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102562720B1 (ko) 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6795062B2 (ja) 検出装置、検出方法及びプログラム
JP2018045366A (ja) 画像処理装置、画像処理方法及びプログラム
JP5146223B2 (ja) プログラム、カメラ、画像処理装置および画像の輪郭抽出方法
JP7318251B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020154640A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7400196B2 (ja) 電子機器、画像処理方法、及び画像処理プログラム
JP2017069871A (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
JP6361204B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020074100A (ja) 画像処理装置、画像処理方法及びプログラム
JP2016206728A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180412

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180702

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190416