JP2004094917A - Virtual makeup apparatus and method - Google Patents

Abstract

An object of the present invention is to provide a virtual makeup apparatus in which a user can naturally acquire a feeling of wearing by inputting and displaying an image in real time and robustly detecting a feature point or the like.
A virtual makeup apparatus displays an image in which a color contact lens is artificially attached to a pupil region of a person, an image input unit is a video camera, a moving image is input, and a feature detection unit is provided. Then, the pupil position and the outline of the iris area are extracted from the input image, and the data storage unit stores information such as color, texture, transparency, and size for each type of the target color contact lens, and determines a processing method. The section provides an interface that allows the user to select the type of the stored color contact lens. The image processing section provides a color to the subject's pupil iris in the image based on the data of the selected color contact lens. Processing is performed with the contact lens attached, and the processed image is displayed on the display unit.
[Selection diagram] Fig. 1

Description

【００６４】
このように透明度を考慮して２つの輝度を重ねあわせる方式をαブレンディングという。
【００６５】
（７）画像表示部１０６
画像表示部１０６では、画像加工部１０４で作成された画像をディスプレイ等に表示する。
【００６６】
（第２の実施形態）本発明に関わる第２の実施形態の仮想化粧装置５００について、図５から図８に基づいて説明する。
【００６７】
（１）仮想化粧装置５００の構成
本実施形態の仮想化粧装置５００は、ＰＣにビデオカメラを接続し、加工した画像をネットワークで送信し、通信相手のディスプレイに画像を表示する例である。
【００６８】
具体的には人物の顔領域に対して口紅等のメイクアップを施した画像を表示するものである。
【００６９】
図５は本実施形態の構成を表す図である。
【００７０】
画像入力部５０１は、ビデオカメラであり、２Ｄの動画像を入力する。
【００７１】
特徴検出部５０２では、入力された画像から必要とされる特徴点及び特徴領域を検出する。本実施形態では、瞳位置、鼻孔位置、唇領域とする。
【００７２】
データ記憶部５０３では、対象とするメイクアップのアイテム及び種類毎に色、テクスチャー、透明度、サイズ等の情報を記憶しておく。
【００７３】
加工方式決定部５０５では、記憶されたメイクアップアイテム及び種類、濃さ、グラデーションのパラメータ等を選択することができるインターフェースを提供する。
【００７４】
画像加工部５０４においては、選択されたメイクアップのデータに基づき、画像中の対象者における各メイクアップアイテムの対象領域にメイクアップデータを塗布した状態に加工する。
【００７５】
表示画像送信部５０６では、加工された画像を送信すると共に、その加工された画像を表示する。
【００７６】
各構成部について以下で詳細に述べる。なお、特徴検出部５０２、データ記憶部５０３、画像加工部５０４、加工方式決定部５０５、表示画像送信部５０６の各機能は、ＰＣに記録されているプログラムによって実現される。
【００７７】
（２）画像入力部５０１
画像入力部５０１では、カメラからの人物の顔が撮影された画像を入力する。この部分は第１の実施形態と同様である。
【００７８】
（３）特徴検出部５０２
特徴検出部５０２では最初に瞳位置、虹彩半径、鼻孔位置、口端位置を検出する。それらの検出は第１の実施形態と同様である。
【００７９】
それらの特徴点位置、特徴量から以下の塗布領域及び塗布方法を決定する。
【００８０】
データ記憶部５０３には、各メイクアップのアイテム固有の、色、サイズ等の情報の他に、各メイクアップアイテムの種類（アイシャドウ、チーク等）に対応する、必要な特徴点／領域、及びそれらの特徴点／領域からのメイクアップアイテム塗布位置／領域までの相対座標／距離を与える定数値もしくは関数が記録されている。
【００８１】
本実施形態においては、チークでは必要な特徴点／領域は両瞳中心位置及び鼻孔位置であり、これらの特徴点からチーク塗布領域（楕円で表現される）の中心座標と長径／短径／回転角を算出する関数が記録される。
【００８２】
（３−１）アイシャドウ塗布
アイシャドウ塗布の例を示す。
【００８３】
アイシャドウ領域は図６に示すように検出された瞳位置及び虹彩半径を元に算出された領域（斜線部分）について塗布を行う。この領域は、上側は眉で下側はまぶたの下端で規定され、左右においても眉もしくはまぶたの存在領域に規定される。但し、この存在範囲の抽出はそれほど厳密でなくてよい。
【００８４】
なぜなら、これらのアイシャドウの塗布は通常、塗布されない領域に対してぼかしを入れるため、塗布領域の端部においては、多少位置がずれても表示上はあまり問題にならないためである。
【００８５】
さらに、塗布領域においては、その塗布領域内での元画像の輝度や色の情報を利用して塗布を行うか行わないかを決めることが可能である。例えば、ある一定以上輝度の低いところには塗らないとすればまつげの上等に誤って塗布してしまうことを防ぐことができる。もちろん、直接塗布領域を詳細に抽出しても差し支えない。
【００８６】
（３−２）チーク塗布
次に、チーク塗布の例を示す。
【００８７】
チーク領域は図７に示すように、瞳の位置及び虹彩半径及び鼻孔位置を元に算出された領域について塗布を行う。チークの場合もアイシャドウの場合と同様に、ぼかしを入れたり、元画像の輝度や色の情報によって塗り分けたりすることが可能である。
【００８８】
画素値を決める方法としては、例えば図の中心が（ｘ０，ｙ０）の短径、長径がそれぞれａ，ｂで表される楕円を基準として、中心からの距離をそれらで正規化した距離ｒを（ｘ，ｙ）の点について（２）式で表されるように規定する。
【００８９】
【数２】

【００９０】
このｒを（１）式に当てはめたものを利用する。但し、この場合、Ｃ（ｒ）を（３）式で表されるものとする。
【００９１】
【数３】

【００９２】
（３−３）口紅塗布
次に、口紅塗布の例を示す。
【００９３】
口紅領域は図８に示すように、口端位置、あるいはそれに加えて鼻孔や瞳位置等の情報を元に、唇の輪郭を抽出し、その輪郭の内部を基本的には塗布する。
【００９４】
但し、その領域内には口を開いた場合には歯や歯茎等が含まれてしまう可能性があるため、内側の輪郭についても抽出するか、もしくは他の輝度や色情報を用いてそれらの領域を無視する必要がある。
【００９５】
唇の輪郭を抽出するには例えば口端の２点を元に、予め取得した一般的な唇輪郭の多数のデータを主成分分析して得られた主成分輪郭を元に初期値を生成し、生成された初期値から輪郭を抽出する。この方式は特願平１０−０６５４３８で開示されている方式である。また、同様に内側の輪郭も抽出し、内側輪郭と外側輪郭の間に対して処理を行ってもよい。
【００９６】
（３−４）その他
加工すべきアイテムは前記の特徴に限らない。例えば特徴としては、肌領域、眉領域、まぶた輪郭等が使用可能である。顔領域を決定すれば、その部分にファンデーションを塗ることが可能である。
【００９７】
また、塗布領域の決定はこれら６個の特徴点位置のみによらなくてもよいし、すべてを使う必要もない。得られた特徴量から必要なもののみを使用してもよいし、入手可能な得られる特徴量の任意の組合せが利用可能である。
【００９８】
さらに、画像を入力して特徴点抽出部５０２において特徴点を抽出した後に、アイシャドウの塗布、チーク塗布、口紅の塗布を順番に行ってメークアップを完了しても良い。
【００９９】
（４）表示画像送信部５０６
表示画像送信部５０６はネットワークを通じて作成された画像を送信し、相手方のディスプレイ上に送信された画像を表示する。
【０１００】
（第３の実施形態）本発明に関わる第３の実施形態の仮想化粧装置９００について、図９から図１２に基づいて説明する。
【０１０１】
（１）仮想化粧装置９００の構成
本実施形態の仮想化粧装置９００は、ペインティングやタトゥー等を施したと同等の画像を表示し、ユーザが表示されたいくつかのアイテムや色、形状、位置等のパラメータを選択し、選択された画像と同等の効果が実世界で実現できる型紙や具材を作成したり、予め対応する型紙や具材を準備しておき、ユーザの選択に合わせて提供したりする仮想化粧装置９００に関するものである。
【０１０２】
本実施形態の構成図を図９に示す。
【０１０３】
加工具材配布部９０７以外の構成は、第１の実施形態と同様である。
【０１０４】
但し、特徴検出部９０２においては、ペインティングを施すために、顔の向きの情報が不可欠であるため、顔向き検出を導入する。
【０１０５】
（２）顔向き検出方法
顔の向きは目鼻等の特徴点の位置関係から簡易的に求めることもできるし、顔領域のパターンを使って求めることも可能である。ペインティングを施した画像の例を図１０に示す。
【０１０６】
文献としては、例えば、特徴点を利用した手法として特開２００１−３３５６６６、パターンを利用した手法として特開２００１−３３５６６３、文献３（山田、中島、福井「因子分解法と部分空間法による顔向き推定」信学技法ＰＲＭＵ２００１−１９４，２００１）があげられる。
【０１０７】
ここでは特開２００１−３３５６６６で提案された特徴点の位置座標から顔の向きを計算する方法について簡単に説明する。
【０１０８】
まず、顔の映っている画像（互いに異なる顔向きの画像が三フレーム以上）から、目鼻口端等の特徴点（四点以上）を検出する。
【０１０９】
その特徴点位置座標から、因子分解法（Ｔｏｍａｓｉ，Ｃ．ａｎｄ　Ｔ．Ｋａｎａｄｅ：Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ　ＣＭＵ−ＣＳ−９１−１７２，ＣＭＵ（１９９１）；Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，９：２，１３７−１５４（１９９２））を用いて特徴点の３次元座標を求める。
【０１１０】
この特徴点の３次元座標を要素にもつ行列を形状行列Ｓとして保持しておく。向きを求めたい顔の映っている画像が入力されたら、その画像から特徴点を検出し、その特徴点の２次元座標を要素にもつ計測行列Ｗｎｅｗに形状行列Ｓの一般化逆行列を掛ければ、顔の向きを表す運動行列Ｍｎｅｗが求まり、ロールピッチヨー等の回転角がわかる。運動行列Ｍｎｅｗを計算する様子を図１１に示す。なお、図１１では、形状行列Ｓの一般化逆行列をＳの上に＋をつけた記号で表示ししている。
【０１１１】
この図では、カメラを固定して顔を動かす様子を相対的に、顔を固定してカメラ向きが変化するとみなしている。特徴点座標は特徴検出部９０２で検出されたものを利用すればよく、向き自体は行列の掛け算を一度するだけで求まるため、非常に高速な手法であり、フレーム毎に独立に計算できるため誤差が蓄積することもない。
【０１１２】
このようにして求まる回転角等を元に、ペインティングアイテムにアフィン変形を施し顔画像にマッピングすれば、顔向きに合致した自然なペインティング画像が得られる。
【０１１３】
（３）加工具材配布部９０７
加工具材配布部９０７では図１０のような画像を実世界で実現するための具材を配布する。
【０１１４】
具材としては、図１２に示すような型紙を生成する。
【０１１５】
型紙にはペイントを行う部分には穴が開いていて、簡単に塗りつぶしを行うことができる。
【０１１６】
また、型紙には図中×で表すような基準点を設定することで誰でも簡単に位置あわせができる。
【０１１７】
また、型紙は１枚である必要はなく、必要に応じて複数枚生成することで、複雑な形状や、何色も色が存在する場合にも対応可能である。
【０１１８】
（第４の実施形態）
本発明に関わる第４の実施形態の仮想化粧装置９００について、図１３から図１４に基づいて説明する。
【０１１９】
本実施形態では、デジタルメイクを行う際の照明環境を考慮した例について述べる。処理の流れを図１３に示す。
【０１２０】
照明環境の記述法は、光源の位置、方向、色、強度等を指定でき、一般のＣＧで取り扱われているような点光源、面光源を複数用意することで、複雑な光源のシミュレートや、屋外での太陽光等をシミュレートする。
【０１２１】
顔の各部分での反射率はＢＲＤＦ（双方向反射関数）等の関数を用いて記述しておき、記述された照明環境に基づいて各画素の輝度値を計算し、表示を行う。
【０１２２】
次に、カメラにて実際の人物の顔を撮影する際の照明環境を取得し、照明環境をコントロールする方法について述べる。図１３のようなフローチャートを用いて行う。
【０１２３】
まず、顔の３次元モデルを、複数のカメラによる取得、もしくは、単一のカメラにてＳｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ技術の手法を用いて作成する。
【０１２４】
また、文献４（牧「Ｇｅｏｔｅｎｓｉｔｙ拘束による３次元形状獲得−複数光源への対応−」電子情報通信学会　パターン認識・メディア理解研究会研究報告、ＰＲＭＵ９９−１２７，１９９９）等の方法を用いてもよい。
【０１２５】
作成した３次元モデルに対して、３次元モデルを構成する複数の面情報について、各面の法線方向等を求めておき、各面についての反射の様子から、光源を推定するために必要な情報を得る。
【０１２６】
光源の推定方法は、文献５（西野、池内、張「疎な画像列からの光源状況と反射特性の解析」、文化財のデジタル保存自動化手法開発プロジェクト平成１３年度成果報告書、ｐｐ．８６−５０１）のように、各面での鏡面反射の情報を用いて、複数の点光源方向を求めるものや、文献６（佐藤いまり、佐藤洋一、池内克史、“物体の陰影に基づく光源環境の推定、”情報処理学会論文誌：コンピュータビジョンとイメージメディア「Ｐｈｙｓｉｃｓ−ｂａｓｅｄ　ＶｉｓｉｏｎとＣＧの接点」特集号，Ｖｏｌ．４１，Ｎｏ．ＳＩＧ　１０（ＣＶＩＭ　１），ｐｐ．３１−４０，Ｄｅｃｅｍｂｅｒ　２０００．）のように影の情報をもちいた光源位置の推定法でもよい。
【０１２７】
図１４（ａ）のように、ある環境で撮影した顔に対して、図１４（ｂ）のように別の環境での照明条件での画像を作成する場合を考える。
【０１２８】
推定した光源の情報を用いて、それらの光源の方向、数、強度等を抑制することによって、３次元モデルに対しての照明環境を変化させ、様々な環境における画像を生成する。
【０１２９】
また、３次元モデルを陽に用いない方法も考えられる。図１４（ａ）における撮影時の照明条件を考慮して、影、鏡面反射等の特徴的な部分を取り除いた画像を作成する。そして、図１４（ｂ）の別の環境での照明条件を考慮し、影、鏡面反射等を画像に付加することで、別の照明条件での画像を得る。
【０１３０】
また、合成したい、これらの照明環境については、予めいくつかの照明パターンを用意しておいてもよい。例として、「屋内（自宅）」「屋内（レストラン）」「屋外（晴れ）」「屋外（くもり）」等、環境、場所、時間等に応じた照明環境を作成し、合成してもよい。
【０１３１】
以上のように撮影した環境と違った照明環境の画像を作成することにより、あたかも別の場所で撮影したかのような顔画像を仮想的に作成することができる。
【０１３２】
（第５の実施形態）以下、図面を参照して本発明の第５の実施形態の仮想化粧装置について説明する。
【０１３３】
人は化粧をする時に、鏡で自分の顔を見ながら行うことが多い。人は化粧をする時、顔を鏡に近づけたり、あるいは、手鏡等、鏡を動かせる場合は鏡を顔に近づけたりして、顔の見たい部分を拡大して見ようとする。
【０１３４】
本実施形態の仮想化粧装置は、カメラで撮影した利用者の顔の画像から検出した複数の特徴点から特定の領域（例えば瞼、唇）を決定し、その領域に対してメイクアップを行う。さらには、顔の動きを検知して当該領域を基準に顔を拡大表示する。
【０１３５】
尚、以下の説明では瞼にアイシャドウを擬似的に塗布する場合を例に説明を行う。
【０１３６】
図２０は本実施形態の仮想化粧装置を実現するためのパーソナルコンピュータ（ＰＣ）の構成の一例を説明する図である。
【０１３７】
このＰＣは、プロセッサ２００１と、メモリ２００２と、磁気ディスクドライブ２００３と、光ディスクドライブ２００４とを備える。
【０１３８】
更に、ＣＲＴやＬＣＤ等の表示装置２００８とのインターフェース部に相当する画像出力部２００５と、キーボードやマウス等の入力装置２００９とのインターフェース部に相当する入力受付部２００６と、外部装置２０１０とのインターフェース部に相当する出入力部２００７とを備える。
【０１３９】
出入力部２００７としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）やＩＥＥＥ１３９４等のインターフェースがある。
【０１４０】
本実施形態の仮想化粧装置では、画像を入力するためのビデオカメラは外部装置２０１０に相当する。
【０１４１】
磁気ディスクドライブ２００３には、入力された画像に対してメイクアップ等の画像処理を行うプログラムが格納されている。プログラムを実行する際に磁気ディスクドライブ２００３からメモリ２００２に読み込まれ、プロセッサ２００１においてプログラムが実行される。
【０１４２】
ビデオカメラで撮像された動画像は出入力部２００７を経由してメモリ２００２にフレーム単位で順次記憶される。プロセッサ２００１は記憶された各フレームに対して画像処理を行うとともに、利用者が本装置を操作するためのＧＵＩの生成も行う。プロセッサ２００１は処理した画像及び生成したＧＵＩを画像出力部２００５を経由して表示装置２００８に出力する。表示装置２００８は画像及びＧＵＩを表示する。
【０１４３】
図２１は、本実施形態の仮想化粧装置の機能ブロックを説明する図である。
【０１４４】
本装置は、動画像を入力するビデオカメラである画像入力部２１０１と、入力された画像から人物の顔の特徴点及び特徴領域を検出する特徴検出部２１０２と、化粧データ及び位置関係データを記憶するデータ記憶部２１０３を備える。
【０１４５】
化粧データとは、化粧のアイテムの一つであるアイシャドウの種類毎の色、テクスチャー、透明度のデータである。位置関係データとは、顔の特徴点及び特徴領域とアイシャドウの塗布領域との位置関係を示すデータである。
【０１４６】
さらに、利用者が予めデータ記憶部２１０３に記憶させてあるアイシャドウの種類を選択するためのＧＵＩを提供する加工方式決定部２１０５と、瞼の部分に選択されたアイシャドウの色を重ねて擬似的に塗布した画像を生成する画像加工部２１０４と、加工された画像を表示するＬＣＤやＣＲＴ等の表示装置である表示部２１０６と、顔の大きさ・位置・傾きを推定し、推定に基づいて表示部２００５を制御して拡大表示させる大きさ・位置情報管理部２１０７を備える。
【０１４７】
以下、各部について説明する。
【０１４８】
（画像入力部２１０１）画像入力部２００１は、ビデオカメラから対象となる人物の顔が映っている動画像を入力する。ビデオカメラとしては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）接続のカメラや、デジタルビデオカメラ等の一般的なカメラを用いればよい。入力された動画像は、特徴検出部２１０２に逐次出力される。
【０１４９】
（特徴検出部２１０２）特徴検出部２１０２は、入力された画像から顔の特徴領域を検出する。例えば、瞼にアイシャドウを塗る場合は、図３に示した瞳の虹彩領域の輪郭３０１を検出する。
【０１５０】
瞳の虹彩領域輪郭検出は第１の実施形態と同様に文献１に示す手法で行う。検出処理の流れは、特徴点を検出して、特徴点周辺の画素情報を部分空間法により照合していくというものである。以下、概要を図２２に基づいて説明する。
【０１５１】
（Ｓ２２０１　分離度マップ生成）
入力画像全体の各画素毎に図２３（Ａ）に示す円形分離度フィルターの出力値を求め、分離度マップを生成する。分離度とは２つの領域の間の画素情報の分離度を表す指標である。本実施形態では、領域２３０１と領域２３０２との間の分離度を次式を用いて求める。
【０１５２】
【数４】

【０１５３】
尚、入力画像全体について分離度マップを求めるのではなく、例えばテンプレートマッチングや背景差分法等の画像中における顔の領域を特定する前処理を行った上で分離度マップを求めても良い。
【０１５４】
（Ｓ２２０２　特徴点候補抽出）
生成した分離度マップにおいて分離度が局所最大値になる点を特徴点候補とする。
【０１５５】
局所最大値を求める前に分離度マップに対して適宜平滑化等の処理を行っておくと、ノイズの影響を抑制できるので良い。
【０１５６】
（Ｓ２２０３　パターン類似度算出）
各特徴点候補の近傍から、分離度フィルタの半径ｒに応じた局所正規化画像を取得する。正規化は半径に応じたアフィン変換で行う。正規化画像と予め瞳周辺の画像から作成しておいた辞書（左の瞳、右の瞳）との類似度を部分空間法により算出する。
【０１５７】
（Ｓ２２０４　特徴点統合）
各特徴点候補の位置、分離度フィルタの半径、類似度の値に基づいて、正しい瞳の位置を検出する。
【０１５８】
左の瞳及び右の瞳それぞれについて、Ｓ２２０３パターン類似度算出で求めた類似度の高い順に所定数の特徴点候補若しくは類似度が所定の閾値の以上となる特徴点候補を抽出する。抽出された左右の瞳の特徴点候補を組み合わせて左右の瞳候補を生成する。
【０１５９】
生成した左右の瞳候補を予め想定した条件と照合して、条件に合致しないものを候補から除外する。条件とは、例えば左右の瞳の間隔（異常に狭い・広い場合は条件外）や、左右の瞳を結ぶ線分の方向（画像中で垂直方向に伸びるような場合は条件外）等である。
【０１６０】
残った左右の瞳候補のうち、左右それぞれの瞳の類似度の和がもっとも高い組み合わせを左右の瞳とする。
【０１６１】
（Ｓ２２０５　詳細検出）
瞳の輪郭をさらに正確に求め、瞳の正確な位置を求める。このステップでは文献６（Ｙｕａｓａ　ｅｔ　ａｌ．　”Ｐｒｅｃｉｓｅ　Ｐｕｐｉｌ　Ｃｏｎｔｏｕｒ　Ｄｅｔｅｃｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　Ｍｉｎｉｍｉｚｉｎｇ　ｔｈｅ　Ｅｎｅｒｇｙ　ｏｆ　Ｐａｔｔｅｒｎ　ａｎｄ　Ｅｄｇｅ”，　Ｐｒｏｃ．ＩＡＰＲ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｍａｃｈｉｎｅ　Ｖｉｓｉｏｎ　Ａｐｐｌｉｃａｔｉｏｎｓ，　ｐｐ．　２３２−２３５，　Ｄｅｃ．　２００２）の手法を利用する。以下では、この手法の概要を説明する。
【０１６２】
Ｓ２２０４特徴点統合で得られた瞳位置とその瞳を検出する際に用いた分離度フィルタの半径とを利用して、瞳の輪郭を円形状と仮定して初期形状を作成する。作成した初期形状は楕円パラメータで表現しておく。
【０１６３】
例えば中心座標が（ｘ_０，ｙ_０）で半径がｒならば、楕円パラメータは、長短径をａ，ｂ、回転角をθとして、（ｘ，ｙ，ａ，ｂ，θ）＝（ｘ_０，ｙ_０，ｒ，ｒ，０）と表すことができる。ｘ、ｙは中心位置、ａ、ｂは楕円の長径、短径、θは目の傾きである。
【０１６４】
まず、これらの楕円パラメータを初期値として、ガイドパターンを用いて楕円パラメータを大まかに求める。図２４はガイドパターンについて説明する図である。
【０１６５】
ここで用いるガイドパターンは、基準となる瞳周辺の画像（正解パターン）に対して、瞳の半径、瞳の中心位置等のパラメータを様々に変えた画像を生成して主成分分析により作成した辞書である。ここでは楕円パラメータ等を様々に変えて作成した図２５に示す１１種類の辞書を用いる。尚、正解パターンは利用者自身のものでなくても良い。
【０１６６】
辞書との照合は部分空間法により行う。複数の辞書の中から最も類似度が高いものを求める。求めた辞書を作成した時のパラメータが、入力した瞳の画像に関するパラメータに近いと推定される。
【０１６７】
ガイドパターンを利用して推定した楕円パラメータと入力画像とを用いて、楕円パラメータの値を変えながらエッジエネルギーとパターンエネルギーとを算出する。
【０１６８】
エッジエネルギーとは、当該楕円パラメータを持つ楕円形状の分離度フィルタ（図２３（Ｂ））を用いて求めた分離度の値の符号を負にしたものである。分離殿値は値の計算には、前述の数４を用いる。
【０１６９】
パターンエネルギーとは、当該楕円パラメータを基準にして瞳近傍の縮小画像と、予め準備した正解画像及び楕円パラメータから作成した辞書との類似度の値の符号を負にしたものである。辞書との類似度は、部分空間法を用いて求める。
【０１７０】
このステップでは、楕円パラメータを変化させて上述の二つのエネルギーの和が局所的に最小となる時の楕円パラメータの組を求めることにより、正確な瞳の輪郭を求める。
【０１７１】
以上のステップにより正確な瞳の輪郭が求まる。瞳の位置は、輪郭の中心として求めることができる。
【０１７２】
（大きさ・位置情報管理部２１０７）大きさ・位置情報管理部２１０７では、特徴検出部２１０２で求めた瞳の位置、瞳の輪郭半径（楕円パラメータ）から、現在の顔の大きさ、位置、傾きを推定する。そして、顔の大きさの変化率から顔を表示する際の拡大率を求める。
【０１７３】
顔の大きさ及び傾きは、例えば両瞳を結ぶ線分の長さや傾きから推定する。さらに、左右の瞳の輪郭半径の比率からは顔の回転（首を中心とした回転）を推定する。
【０１７４】
推定した情報をもとにして、利用者が注目している領域を中心に拡大表示するように、拡大の中心位置と拡大率とを画像加工部２１０４に通知する。顔において仮想的に化粧を行っている部位（目、頬、唇等）のうち、画像の中心位置に最も近い位置にあると推定された部分を含む領域を、利用者が注目している領域とする。
【０１７５】
拡大の際に、例えば、顔全体が大きくなりつつある場合は、実際の顔の大きさの変化率を上回る拡大率で拡大するように通知する。このようにすることで、カメラに接近しすぎることを防ぐことができる。図２８は拡大表示の一例を説明する図である。最初は顔全体が表示されていても、顔の大きさの変化率から利用者の接近を検出し、利用者が接近しすぎる前に、例えば目を拡大表示させている。
【０１７６】
人物がカメラに接近し過ぎた状態になると顔全体を撮影することが困難になる。結果として顔の向きや大きさを推定することが困難になる。
【０１７７】
このような場合は、画面中で注目領域を追跡する。追跡には前述したガイドパターンを応用する。
【０１７８】
前述したガイドパターンは正解パターンから位置及び瞳半径がズレた状態のパターンであるので、これを用いれば現在の位置及び形状におけるパターンがどの「ズレ方」であるかを推定できる。すなわち、前のフレームにおける「ズレ方」と今のフレームにおける「ズレ方」との違いから、追跡対象となる領域がどのように運動しているかを推定することができる。
【０１７９】
例えば左右に位置がずれていれば左右の方向の運動していることが分かる。大きさが大きくなっていれば近づいていることがわかる。さらに変形具合から３次元的な運動の推定も可能である。
【０１８０】
図２９は、人物の顔位置がカメラに対して画面内で時間ｄｔの間にｘ方向に−ｄｘ移動した場合の例を説明する図である。時刻ｔ０における領域２９０１と同じ位置にある、時刻ｔ０＋ｄｔにおける領域は、領域２９０２である。ところが、顔が移動したため、領域２９０２と同じ（最も類似する）パターンを持つ、時刻ｔ０における領域は、領域２９０３になる。
【０１８１】
よって、時刻ｔ０において、ガイドパターンを用いて領域２９０１のパターンの正解パターンからの「ズレ」を調べておく。そして、時刻ｔ０＋ｄｔにおいて、ガイドパターンを用いて領域２９０２のパターンの正解パターンからの「ズレ」を調べる。両時刻における「ズレ」の差から移動量を推測することができる。
【０１８２】
（画像加工部２１０４）画像加工部２１０４においては、特徴検出部２１０２において検出された瞳の位置を利用して画像の加工を行なう。また、大きさ・位置情報管理部２１０７から通知された拡大率及び拡大の中心位置に基づいて画像を拡大する加工を行う。
【０１８３】
以下の説明では、図２６を参照して、右眼の瞼にアイシャドウを仮想的に塗布した画像作成する場合を例に説明する。
【０１８４】
アイシャドウを仮想的に塗布する手法の概略は次のようになる。瞳の検出された領域、両瞳の位置関係、事前知識として得られる瞳の大きさと目頭及び目尻位置等の関係から、大まかな瞼領域として図２６における矩形領域２６０１を推定する。矩形領域２６０１内の輝度情報から、瞼に相当する領域、すなわち本領域中で眉や瞳でなない部分、を決定する。瞼の領域に対して、アイシャドウを塗布する加工を施す。
【０１８５】
矩形領域２６０１は以下のように決定する。
【０１８６】
矩形領域２６０１の下底が、特徴検出部２１０２で検出した瞳の中心２６０２を通るように設定する。矩形領域２６０１の左右の辺は目頭２６０４や目尻２６０３の位置を検出して求めることもできるが、本実施形態では瞳の中心２６０２から目尻寄りに瞳の半径の例えば２．５倍の位置を矩形領域左下端部２６０５と仮定し、瞳の中心２６０２から目頭寄りに瞳の半径の例えば３倍の位置を右下端部２６０６と仮定する。左下端部２６０５を通り先ほど設定した下底と垂直に交わる線と右下端部３６０６を通り下底と垂直に交わる線とを左右の辺とする。
【０１８７】
矩形領域の上底は、下底から瞳の半径の例えば４倍の距離だけ上方に設定する。左右の辺との交点を、左上端部２６０８、右上端部２６０９とする。
【０１８８】
アイシャドウの塗布領域２６１０の決定方法について述べる。
【０１８９】
まずはじめに、矩形領域２６０１全体において、アイシャドウの塗布領域２６１０とその他の領域間の輝度を分ける閾値を決定する。
【０１９０】
矩形領域２６０１における輝度分布は図２７のようなヒストグラムとして表わすことができる。矩形領域２６０１に含まれる領域は輝度の大きさによって大別して３つの領域に分割される。もっとも輝度の低い領域２７０１は主に虹彩（瞳）内部、まつ毛、眉毛等であり、もっとも輝度の高い領域２７０３は白目領域であり、残った中間の領域２７０２が瞼、すなわちアイシャドウを塗布すべき領域となる。
【０１９１】
矩形領域２６０１の輝度分布のヒストグラムに判別分析法を適用して、輝度を３分割する閾値Ｔｈ１及びＴｈ２を決定する（Ｔｈ１＜Ｔｈ２とする）。判別分析法は、判別基準としてクラス間分散σ_Ｂ ^２が最大になるような閾値を決定する方法である。分割による分離度を表わす指標としては、次式で表わされるものを用いることができる。ここではこの値が極大となる時の閾値をＴｈ１およびＴｈ２とする。
【０１９２】
【数５】

【０１９３】
次に、矩形領域２６０１を上下に２等分する線分２６１１を設定する。線分２６１１上の各点から上下方向にそれぞれ塗布領域２６１０の探索を行う（図中、中抜きの矢印で表わされた方向）。
【０１９４】
探索は次の手順で行なう。上半分については眉との境界が問題であるから、先に求めた２つの閾値のうち低い方、すなわち閾値Ｔｈ１を使用する。線分２６１１上の各点から上方向に移動し、その輝度値がＴｈ１より高ければさらに上へ移動する。輝度値がＴｈ１より低ければ眉領域に達したと判断して探索をやめる。本処理を各点について行なうと、塗布領域２６１０の上側境界が求まることになる。
【０１９５】
下半分についても同様である。下半分には輝度の高い部分である白目が存在するので、輝度値が閾値Ｔｈ２を超えないことを条件とする。また、虹彩領域に入ることも妥当でないので、輝度値が閾値Ｔｈ１より大きいことも条件とする。
【０１９６】
さらに、目頭２６０３と目尻２６０４の位置を検出するために、白目のラインと矩形領域２６０１の下底との交点を求める。矩形領域２６０１の右下端部２６０６から左に向かって輝度値を調べる。輝度値が閾値Ｔｈ２を超える点を目頭２６０４とする。同様に矩形領域２６０１の左下端部２６０５から右に向かって輝度値を調べる。輝度値が閾値Ｔｈ２を超える点を目尻２６０３とする。
【０１９７】
矩形領域２６０１の左の辺と線分２６１１との交点２６１２を求める。矩形領域２６１０のうち交点２６１２と目尻２６０３とを結ぶ線分より下にある領域は塗布領域２６１０には含めない。同様に、矩形領域２６０１の右の辺と線分２６１１との交点２６１３を求める。矩形領域２６１０のうち交点２６１３と目頭２６０４とを結ぶ線分より下にある領域は塗布領域２６１０には含めない。
【０１９８】
このようにして、塗布領域２６１０を求めることができる。画像にノイズがある場合、境界線が不連続になることが考えられる。そこで、あらかじめ矩形領域２６０１内の輝度を平滑化するか、求められた境界を平滑化するか、或いは、隣接する境界点間に拘束条件を設ける等の処理でそのような状態を避けると良い。本実施形態では、メディアンフィルタを用いて平滑化する。
【０１９９】
上述のようにして設定した塗布領域２６１０に対してアイシャドウを仮想的に塗布する加工を施す。第１の実施形態と同様にαブレンディングを用いて加工する。本実施形態では次式を用いる。
【０２００】
【数６】

【０２０１】
上式の（ｘ，ｙ）は瞳の中心２６０２からの相対的な位置である。Ｄ１は瞳の半径の３倍で、Ｄ２は瞳の半径の４倍の値とする。
【０２０２】
尚、顔が傾いている場合は、人物の顔向きを検出し、それに従って前述の矩形領域２６０１をアフィン変換等で変換して処理を行い、最後に逆変換すればよい。
【０２０３】
（データ記憶部２１０３、加工方式決定部２１０５、表示部２１０６）データ記憶部２１０３、加工方式決定部２１０５及び表示部２１０６は第１の実施形態と同様である。
【０２０４】
（第５の実施形態の効果）以上に説明したように、本実施形態の仮想化粧装置ならば、利用者がカメラに近づいたのを検出し、利用者が見ようとしていると推定される部位を拡大表示させることができる。
【０２０５】
（第６の実施形態）本実施形態の仮想化粧装置は、カメラで複数の人物の顔が撮像された場合に、各々の人物に対して異なる加工を行えるようにしたものである。以下、第５の実施形態と異なる部分を中心に説明する。
【０２０６】
図３０は本実施形態の仮想化粧装置の構成を説明する図である。本装置は、動画像を入力するビデオカメラである画像入力部２１０１と、入力された画像から人物の顔の特徴点及び特徴領域を検出する特徴検出部２１０２と、入力された画像中から人物の顔に相当する領域を検出する顔領域検出部３００１と、検出された顔画像情報から顔認識用の辞書を生成して記憶しておく顔辞書生成記憶部３００２と、化粧データ及び位置関係データを記憶するデータ記憶部２１０３を備える。
【０２０７】
化粧データとは、化粧のアイテムの一つであるアイシャドウの種類毎の色、テクスチャー、透明度のデータである。位置関係データとは、顔の特徴点及び特徴領域とアイシャドウの塗布領域との位置関係を示すデータである。
【０２０８】
さらに、利用者が予めデータ記憶部２１０３に記憶させてあるアイシャドウの種類を選択するためのＧＵＩを提供する加工方式決定部２１０５と、瞼の部分に選択されたアイシャドウの色を重ねて擬似的に塗布した画像を生成する画像加工部２１０４と、加工された画像を表示するＬＣＤやＣＲＴ等の表示装置である表示部２１０６と、顔の大きさ・位置・傾きを推定し、推定に基づいて表示部２００５を制御して拡大表示させる大きさ・位置情報管理部２１０７を備える。
【０２０９】
本装置では、入力された画像から顔領域検出部３００１が顔の領域を検出する。検出された顔の領域と特徴検出部２１０２で得られる情報とを用いて、大きさ・位置情報管理部２１０７は人物の顔が画像中のどの位置にどの大きさで何個あるかを推定する。
【０２１０】
そして、時間的・空間的に連続した位置にある顔については同一人物と推定し、大きさ・位置の情報に識別子を割り当てて記憶する。画像加工部２１０４は識別子を利用して人物毎に異なる加工を行うとともに、行った加工の内容を識別子とともにデータ記憶部２１０３に記憶させておく。
【０２１１】
大きさ・位置情報管理部２１０７は、一定数以上同一人物の画像が得られた場合、顔領域検出部３００１に対して顔認識を行うように通知を行い、識別子と顔の位置とを出力する。
【０２１２】
顔領域検出部３００１は通知を受けて、顔辞書生成記憶部３００２に、識別子と顔辞書の生成を行うのに必要な顔領域の画素情報を出力する。また、顔領域検出部３００１は顔認識を行って識別子による人物特定を行う。
【０２１３】
本実施形態では、顔認識は文献７（山口他、「動画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、１９９７）で提案されている相互部分空間法を利用する。そのため、顔辞書の生成は、顔領域の画素情報から特徴ベクトルを求め、特徴ベクトルを主成分分析した結果の上位の固有ベクトルで張られる部分空間を求めることに対応する。
【０２１４】
顔領域検出部３００１における顔認識では、顔辞書生成と同様にして入力画像の顔領域から特徴ベクトル若しくは部分空間を求め、顔辞書生成期億部３００２に記憶されている顔辞書との類似度を算出する。
【０２１５】
顔認識を行うことによって、画像中に複数人の顔が同時に映っていても正確に人物を識別して各個人に対して加工を行うことができる。
【０２１６】
尚、人物が一度画像から消えてから再び画像中に出現した場合等でも、顔領域検出部３００１で顔辞書と照合を行えば同一人物かを識別することができる。そして、顔辞書に登録された人であれば、以前に割り当てられた識別子を用いてデータ記憶部２１０３に格納された加工情報を検索し、以前に行った加工を再現することが可能である。従って、本実施形態ならば、追跡中に一度見失っても再び追跡が可能となる。
【０２１７】
（変形例）
（１）変形例１
第２の実施形態において、このように化粧等の変形を施した場合、受信する側において、送信側の人物の顔が変わりすぎて、送信側人物を特定できなくなるといった問題が起こる可能性がある。
【０２１８】
そこで、受信側のセキュリティを保つために、化粧等の変形を施す前の画像で顔による個人認証を行い、その結果を同時に送信する。そうすることで、確かに送信側人物がその人であるとわかるので、受信側人物が安心して会話できる。化粧等の変形を施す前の画像で認識するので、認識率が低下したりしない。もちろん顔認識以外の方法で個人認証を行っても差し支えない。顔認識による個人認証には、特開平９−２５１５３４で開示されている方法を利用する。
【０２１９】
（２）変形例２
第２の実施形態において、個々のユーザ特有の３Ｄモデル、動きのモデル装着、塗布の嗜好性、色や具材の選択等をユーザパラメータと呼ぶ。こういったユーザパラメータをユーザ毎に保存することもできる。ログインユーザ情報もしくはカメラからの画像を利用した個人認証、もしくはその他の指紋やパスワード等による個人認証によってこれらのユーザパラメータを呼び出すことができる。
【０２２０】
（３）変形例３
メイクアップデータ保持やメイクアップアイテムの付加を行うのはサーバであってもよいし、自分または相手のローカルの装置でもかまわない。
【０２２１】
また、互いに通信を行う場合にあっては、その間に仲介するサーバがあってもなくてもよい。
【０２２２】
さらに、表示部１０６、９０６においても、通信を行う例においては自分の表示装置及び送信される側の表示装置のいずれかもしくは双方に元の画像及び加工済み画像の双方もしくはいずれかをどのような組合せで表示を行っても差し支えない。
【０２２３】
なお、通常は加工済みデータのみを表示するのが望ましい。
【０２２４】
（４）変形例４
第１の実施形態においては、カラーコンタクトレンズ装着のシミュレーションをする場合について述べたが、メイクアップアイテムはカラーコンタクトレンズに限らない。
【０２２５】
第２の実施形態で述べた一般的なメイクアップアイテムのいずれでも実施可能である。
【０２２６】
また、第２の実施形態においてカラーコンタクトレンズを装着してもよい。
【０２２７】
第３、４の実施形態についても同様である。
【０２２８】
さらに、それ以外にも頭髪やアクセサリ等であってもよい。
【０２２９】
（５）変形例５
第１〜４の実施形態において１台のカメラから２Ｄ動画像を入力する例について述べたが、カメラは一台に限る必要はない。
【０２３０】
すなわち、複数のカメラを用いて一般的なステレオ手法により、３Ｄのデータを取得してもよい。その場合には２Ｄによって得られた場合よりもより多くの特徴が得られる可能性がある。
【０２３１】
例えば、チークを塗布する際に、頬骨の出ている位置等を基準位置として使用することができる。
【０２３２】
さらに、３Ｄデータは複数台のカメラでなく、一台であっても、モーションステレオを用いれば取得可能であり、そのようなデータを利用してもよい。
【０２３３】
なお、カメラ以外のデバイスによって３Ｄデータを取得しても差し支えない。
【０２３４】
（６）変形例６
第１、２の実施形態では顔領域の特徴のみを用いたが、第３の実施形態のように顔の向きを検出し、その向きの変化を加工方式に加味してもよい。
【０２３５】
例えば、顔向きに応じて塗布位置をアフィン変換することにより、変化させるといったことが考えれる。この変換は単純なアフィン変換のみならず、予め一般的な顔の形状モデルを準備しておき、顔向きが何度の時に塗布位置や範囲がどのように変化するかを予め計算しておいたり、その場で計算したりしてもよい。
【０２３６】
また、顔の形状モデルは１つだけでなく、複数個準備しておき、ユーザの形状に合ったものを選択してもよい。
【０２３７】
このように、ユーザまたは一般的な３次元形状モデルが何らかの方法で得られる場合には、２次元画像に対して加工を施した加工済画像をそれらの形状モデルにテクスチャとしてマッピングを行なうことで、良好な３次元表示が得られることになる。
【０２３８】
（７）変形例７
第１〜４の実施形態においては、ＰＣを使用する例について述べたが、画像入力装置と画像表示装置を備えていれば、上記処理を行う部分はＰＣである必要はない。
【０２３９】
例えば、半導体チップやそれらの組み合わせたボード等の処理ハードウエア、組み込みコンピュータ、ゲーム機等でも差し支えない。
【０２４０】
（８）変形例８
第１〜４の実施形態においては、リアルタイムで入力画像に対して即時に表示を行う例について述べたが、これもその用途に限られるものではなく、画像を予め取得しておいて随時処理や表示を行ったり、処理結果を記憶メディアに保存したりしても差し支えない。
【０２４１】
（９）変形例９
第１〜４の実施形態については、予めメイクアップアイテムに対するデータセットが用意されている例について述べたが、これについても必ずしもはじめから用意されている必要はなく、ユーザが自由に実際のデータを入力できるシステムであってもよい。
【０２４２】
例えば、口紅の例について述べる。
【０２４３】
ユーザは、画像入力装置であるカメラで口紅を塗る前の画像と塗った後の画像の双方を同じ条件で撮影し、それらの双方から特徴（すなわち、この場合においては唇の輪郭）の抽出を行い、唇領域における画像特徴、すなわち、色やテクスチャーの差を抽出し、それらのデータを所定の方式によって加工することにより、メイクアップデータを作成する。
【０２４４】
加工の方法としては、以下の方法が考えられる。
【０２４５】
まず、抽出された唇領域の色、例えばＲＧＢそれぞれの平均値を口紅塗布前後で算出し、それらの差をメイクアップデータとする。
【０２４６】
また、元から存在せず、ユーザが入力する場合でもなく、予めインターネットやＣＤ−ＲＯＭ等のメディアを介してメイクアップアイテムやそのデータを配布してもよい。
【０２４７】
さらに、先に述べたメイクアップアイテムデータの入力装置はユーザの端末には必ずしも必要ではなく、これらの配布サイトに対してのみその機能があってよい。
【０２４８】
（１０）変形例１０
第１〜４の実施形態において、メイクアップデータの持ち方は、背景のない状態で元となる具材をカメラで撮像した画像、元となる具材を対象物に対して装着もしくは塗布した状態、及び、装着もしくは塗布する以前の状態における対象物の画像をカメラで撮像し、その差分情報を記録したものでもよい。また、それらの撮像を異なる対象物に対して行った情報の平均値もしくはなんらかの統計操作を施したもの等がある。
【０２４９】
また、それらの撮像は同じ対象物の異なる大きさや向きに対して行い、それらを大きさや向きのパラメータで正規化を行うかもしくはそれらのパラメータに対して分類して保持するとさらによい。
【０２５０】
さらに、それ以外にもデータは撮影条件等にかかわらず同じ画像を一部そのまま貼り付けたり、部分的にパールやグロスによるつや等の効果を与えたりすることもできる。
【０２５１】
例えば、付けひげ等は前者の例である。
【０２５２】
（１１）変形例１１
第１〜４の実施形態においては、メガネをかけていない場合について述べたが、最終的な状態としてメガネをかけた状態でもかまわない場合には問題がないが、最終状態としてメガネをはずした状態にしたい場合には、メガネの領域を検出してメガネを取り除いた画像を作成してもよい。
【０２５３】
（１２）変形例１２
第３の実施形態において、表示部９０６で表示された画像と同等のものを実世界において作成する具材をメイクアップデータから作成する例を述べたが、これについては第１、２の実施形態において、カラーコンタクトレンズや化粧具材を実施に作成してもよいし、具材ではなく、その補助となる型紙のようなものを作成あるいは、予め準備しておいても差し支えない。
【０２５４】
（１３）変形例１３
第１〜４の実施形態において、顔特徴等の検出に失敗した場合には、そのフレームの画像を表示せず、検出されている以前のフレームの画像にそのフレームにおいて検出された特徴により加工を施した画像を表示することもできる。
【０２５５】
こうすることで、特徴の検出に失敗した場合でも、不自然にならない表示が可能である。
【０２５６】
（１４）変形例１４
第１〜４の実施形態において、表示は一画面のみの場合について述べたが、これは２つ以上の画像を含んでも差し支えない。
【０２５７】
例えば、図１５のように時刻の異なる画像を並べて表示したり、図１６のように方向の異なる画像を並べて表示したり、図１７のように異なる具材によって加工された画像を並べて表示したりしてもかまわない。
【０２５８】
また、その場合、具材は同じ具材でかつ、色のみ違うパターンを表示すればより選択の際にユーザの補助として有効である。
【０２５９】
さらに、図１８のように、画像中の一部のみを拡大して表示する機能があればより好ましい。
【０２６０】
（１５）変形例１５
第１〜４の実施形態において、画像の加工をαブレンディングによって行う例をあげたが、他の方法でも差し支えない。
【０２６１】
例えば、当該範囲の色情報のうち色相のみを入れ替えるといった方法も考えられる。
【０２６２】
（１６）変形例１６
第１〜４の実施形態において、２Ｄの画像を表示する例について述べたが、これには限らない。
【０２６３】
例えば、３Ｄデータを作成した場合には、これを３Ｄのビューアで表示してもよい。
【０２６４】
（１７）変形例１７
第１、３、４の実施形態において、表示部１０６、９０６はディスプレイ等の装置に表示する場合について述べたが、例えばユーザの顔にプロジェクタ等で直接照射してもかまわない。
【０２６５】
（１８）変形例１８
メイクは、例えば、チークを頬の筋肉の流れに沿って塗布したり、眉墨を眉近辺の骨格に沿って目尻の位置の延長まで塗布したりする等、個人の顔の形状に合わせて行われると自然な仕上がりになる。
【０２６６】
従って、入力画像を元に作成された顔の３次元形状を見てメイクアップアーティスト等がその形状に合ったメイクを施すことができれば、個人の形状に合ったより自然なメイクを提案できる。そのような場合に３Ｄエディタが有効である。
【０２６７】
また、予め用意されているメイクアイテムの中から選択されたものが自動的にメイクが塗布されるのではなく、自由にメイクやペインティングを創作したい場合にも、３Ｄエディタが有効である。
【０２６８】
３Ｄエディタとしては、例えば図１９に示すような、３次元形状データを読み込み、その形状を３Ｄ表示する表示部１０６と、色パレットや、ブラシ、ペンシル、パフ、消しゴム等のメイクツールパレットや、ぼかし効果、つや効果、テクスチャ等の効果ツールパレット等をもつ。メイクツールや効果ツール等を使って、データから読み込まれた３Ｄオブジェクトの上にメイクやペインティング等を好きな形や色で書き込み、作成した書き込みオブジェクトは、オブジェクト毎に或いはグルーピングされたオブジェクトをまとめてメイクアイテムとして保存しておくこともできる。
【０２６９】
メイクエディタは、メイクを施される対象者本人が使ってもよいし、メイクアップアーティスト等が使っても良い。
【０２７０】
また、メイクを専門に学ぶためのツールとしても利用できる。
【０２７１】
従って、自分の好きなメイクを編み出すために顔画像を撮影しエディタを使うこともあれば、顔画像を撮影しエディタを使ってメイクを施した画像あるいはデータを専門家に送信し、コメントや修正を加えて送り返すこともあれば、顔画像を撮影しメイクを施さずに顔画像を送信し、送信された顔画像を受信側が受け取り、受信側でエディタを使って３Ｄオブジェクトにメイクを施し、メイクを施した画像や３Ｄデータを送り返すこともある。
【０２７２】
ここでいう「メイク」は、通常のメイクに限ったものではなく、舞台用メイク（例えば、宝塚メイク、動物メイク、歌舞伎メイク等）やペインティングを含んでもかまわない。この舞台用メイクでは、俳優の顔を予め撮影しておき、メイクアップアーティストが舞台に合わせたメイクを編み出すために利用することもできる。ペインティングも自分の好みのデザインを作ることができる。
【０２７３】
以上、３次元メイクエディタについて述べたが、画像に直接書き込むことのできる２次元エディタでもかまわない。このようなエディタ機能により、自由にメイクアイテムを作成、編集できる。
【０２７４】
実際にメイクを物理的に施す際、メイクを初めてする者にとってはメイクの仕方が全くわからないためメイクの仕方を知りたいという要求や、初心者でなくてもプロのテクニックを知りたいという要求等がある。このような要求に応え、メイクを物理的に施すための支援ツールとして、ファンデーション、眉墨、チーク等の塗り方を順に表示する機能をメイクエディタに組み込むこともできる。
【０２７５】
表示は２次元でも３次元でもかまわないし、必ずしもメイクエディタに組み込まれている必要はなく、支援ツールが独立していてもよい。このような支援ツールは、子供等を対象に歌舞伎メイク等がどのように施されるかを見せる等、後世に無形文化を伝えていくためのツールとしても利用できる。
【０２７６】
（１９）変形例１９
第１、３の実施形態では、メイクアップ等の変形の結果はディスプレイ等の表示装置に表示していたが、直接ユーザの顔等にメイクアップ等の結果を反映してもかまわない。
【０２７７】
これは、装置が機械的に行ってもよいし、人間が行ってもよい。例えば、ブラシ等を用いてユーザの顔にペインティングを施すといったことが考えられる。
【０２７８】
（２０）変形例２０
第１、３の実施形態において、加工方式決定部１０５，５０５はブラシやタブレット等の入力装置を用いて、ユーザの顔や模型の顔やディスプレイ上の顔等に直接塗布してもよい。
【０２７９】
例えば、ユーザの顔にブラシを用いて塗る場合は、ユーザにブラシ用のセンサをつけた面を装着する等して塗る場所を判別するといったことが考えられる。
【０２８０】
（２１）変形例２１
第２の実施形態において、表示部５０６がネットワークを経由して接続されている例を示したが、加工方式決定部５０５もネットワークを経由して一つまたは複数存在してもよい。
【０２８１】
例えば、離れた場所にいるメイクアップアーティスト等がユーザをメイクアップしたり、ユーザのメイクアップを修正したり、アドバイスを与えるといったことが考えられる。
【０２８２】
また、ネットワークの相手側の加工方式決定部５０５を操作するのは人間だけでなく、計算機等によって操作されてもよい。
【０２８３】
さらに、ネットワークの相手側を操作するのは複数でもよい。その場合は、操作するのは人間だけでなく計算機も組み合わせてもよく、それぞれが同時に操作をしてもかまわない。
【０２８４】
（２２）変形例２２
仮想化粧装置において仮想的に施された化粧についてユーザが興味を持った場合、そのような化粧を実際に行うための方法や必要となる製品についての情報を入手したいという欲求が生じることが考えられる。
【０２８５】
本変形例においては上述のユーザ欲求を満足するための方法として、仮想メイクを実際に行いたいと考えるユーザをサポートする機能について詳述する。
【０２８６】
ユーザが施された化粧を実際にそのまま自分の顔に行いたいと考えた場合、まず必要な化粧用製品の情報を入手する必要がある。そこで予め施されるメイクの種類毎にそれぞれ必要とされる化粧用製品のリストを用意しておき、ユーザがそのリストを画面上で閲覧できるようにしておく。
【０２８７】
このリストは化粧用製品のメーカ、販売価格、含有成分等の情報を含んでおり、ユーザがその製品を購入しようとする際に重要な参考情報となる。閲覧するタイミングとしては、ユーザが自分で製品リスト表示ボタンを押す「自発的閲覧」や、ユーザが同じ化粧を一定時間表示させているとシステムが自動的に製品リストを表示する「自動表示」等が考えられる。
【０２８８】
ユーザが実際にリストの中から選んだ製品を購入する方法として、ユーザが直接販売店に足を運ぶこと無くネット上で購入処理を行う方法が考えられる。この方法はいわゆる「ネット通販」と呼ばれるものと類似した購入システムであり、ユーザは欲しい製品をリストから選択し、購入ボタンを押せば自動的にその情報が契約している販売店へ送信され、製品が送られてくるシステムである。
【０２８９】
（２３）変形例２３
第２の実施形態において、通信を相互で行っている場合、相手画像からメイクアップデータを抽出し、そのデータに基づいてメイクアップシミュレーションを行ってもよい。
【０２９０】
（２４）変形例２４
第１〜４の実施形態において、メイクアップデータの組み合わせは通信を行う場合には通信の相手によって予め準備しておいてもよい。
【０２９１】
また、その組み合わせは有名人に似せたもの等を予め準備しておいてもよい。
【０２９２】
メイクアップデータを作成する場合に雑誌等の写真をスキャナで取り込み、その画像からメイクアップデータを抽出し、同じメイクを再現する機能があってもよい。
【０２９３】
また、選択されたメイクアップデータの組み合わせに基づいて必要なアイテムのリスト出力してもよい。
【０２９４】
また、メイクアップのイメージやパラメータを選択する際に、画面中に表示されたダイアログをマウスで選択する例については述べたが、これらの選択は音声を用いても差し支えない。
【０２９５】
その場合には、仮想化粧装置にマイク等の音声を取り込むデバイスから音声を取り込み、音声認識装置により取り込まれた音声で表されたコマンドを実行する。例えば、「もっとシャープに」等とイメージを伝えたり、「もう少し下に」等と位置を指定したり、「もっと赤く」「アイシャドウはブルーに」等さまざまな指定が可能となる。ユーザはいちいち手を動かさないでいいので、非常に使い勝手がよくなる。
【０２９６】
また、メイクアップデータやその組み合わせは予め定められたメイクアップランゲージとして保存することも可能である。この言語はたとえば口元や目元と言った部位毎あるいは口紅やアイシャドウといったアイテム毎に指定し、それぞれに位置や形状、色や質感をパラメータとして指定する。それらの組み合わせによって顔全体のメイクアップ方式を定めることができる。それらのデータは一般的なデータとして定めることもできるし、メイクアップアイテムを製造するメーカ毎に個々に定めてもよい。一度決められればメイクアップを言語で再現できるため、たとえば通信する際にデータを削減できるし、だれでも同じメイクが再現できる。
【０２９７】
（２５）変形例２５
第５の実施形態では、注目領域を瞳領域として説明したが、これに限らない。例えば、利用者が指定した場所を注目領域としても良いし、画像の中心を固定して注目領域としても良い。また、特開平１１−１７５２４６号公報において提案されている注視位置の検出手法を用いて、利用者の注視位置を注目領域としても良い。
【０２９８】
また、第５の実施形態において瞳の追跡の際にガイドパターンを用いる例を挙げた。顔が動かなくても瞳だけが動くため、拡大する領域が必要以上に揺れ動く可能性がある。この問題を防ぐためには、例えば、ガイドパターン生成の際に目頭及び目尻に対する瞳の相対位置を予め保持しておき追跡時に比較すると良い。
【０２９９】
（２６）変形例２６
図３１（Ａ）及び図３１（Ｂ）は、第５の実施形態の仮想化粧装置における、画像入力部２１０１および表示部２１０６の一例を説明する図である。本変形例では、画像入力部２１０１であるカメラ３１０１と、表示部２１０６であるディスプレイ３１０２とが一体になっており、かつ、利用者が手で持つための持ち手３１０３が付いている。
【０３００】
図３１（Ａ）は利用者がカメラ３１０１から離れた状態で、ディスプレイ３１０２に顔全体が映っている場合である。図３１（Ｂ）は利用者がカメラ３１０１に目を近づけた状態で、ディスプレイ３１０２には目の周辺が表示されている。
【０３０１】
画像入力部２１０１および表示部２１０６を、このような一体構造にすると、利用者は実際に手鏡を使用しているような感覚で使用することができるので良い。
【０３０２】
その他の部分（例えば特徴検出部２１０２、画像加工部２１０４等）との通信は、ケーブルを介して行っても良いし、無線を用いてもよい。
【０３０３】
尚、本変形例は、カメラ付ＰＤＡ、カメラ付携帯電話、カメラ付タブレット型ＰＣ等の、カメラ付携帯端末を用いて実現しても良い。
【０３０４】
【発明の効果】
以上説明したように本発明によれば、リアルタイムで画像の入力表示を行い、特徴点等の検出をロバストに行うことで、ユーザが位置合わせ等にわずらわされることなく、自然に装着感を得られる仮想化粧装置が可能となる。
【図面の簡単な説明】
【図１】第１の実施形態の構成図である。
【図２】第１の実施形態の外観図である。
【図３】瞳虹彩領域の検出例の図である。
【図４】選択ダイアログの例の図である。
【図５】第２の実施形態の構成図である。
【図６】アイシャドウ塗布領域の例の図である。
【図７】チーク塗布領域の例の図である。
【図８】口紅塗布領域の例の図である。
【図９】第３の実施形態の構成図である。
【図１０】ペインティングを施した例の図である。
【図１１】運動行列を計算する様子である。
【図１２】加工具材の例の図である。
【図１３】第４の実施形態の処理の流れである。
【図１４】別環境の照明条件での画像を作成する例の図である。
【図１５】変形例１４における複数画像表示の例におけるその１の図である。
【図１６】変形例１４における複数画像表示の例におけるその２の図である。
【図１７】変形例１４における複数画像表示の例におけるその３の図である。
【図１８】変形例１４における拡大画像表示の例の図である。
【図１９】変形例１８における３Ｄエディタの例の図である。
【図２０】第５の実施形態でプログラムを動作させるコンピュータの例。
【図２１】第５の実施形態の構成図である。
【図２２】第５の実施形態の特徴検出部の処理の流れを説明する図。
【図２３】（Ａ）瞳虹彩領域の検出例。（Ｂ）瞳虹彩領域の検出例。
【図２４】ガイドパターン用の正規化画像の例。
【図２５】ガイドパターンのパラメータ例。
【図２６】アイシャドウ塗布領域の例。
【図２７】輝度ヒストグラムによる閾値決定の説明図。
【図２８】第５の実施形態の表示例。
【図２９】注目領域の追跡手法の説明図。
【図３０】第６の実施形態の構成図。
【図３１】（Ａ）変形例２６において顔全体を表示させた図。（Ｂ）変形例２６において目の周辺を拡大表示させた図。
【符号の説明】
１００　仮想化粧装置
１０１　画像入力部
１０２　特徴検出部
１０３　データ記憶部
１０４　画像加工部
１０５　加工方式決定部
１０６　表示部
２００１　プロセッサ
２００２　メモリ
２００３　磁気ディスクドライブ
２００４　光ディスクドライブ
２００５　画像出力部
２００６　入力受付部
２００７　出入力部
２００８　表示装置
２００９　入力装置
２０１０　外部装置
２１０１　画像入力部
２１０２　特徴検出部
２１０３　データ記憶部
２１０４　画像加工部
２１０５　加工方式決定部
２１０６　表示部
２１０７　大きさ・位置情報管理部
３００１　顔領域検出部
３００２　顔辞書生成部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a virtual makeup apparatus and a method for displaying an image obtained by deforming a face image of a person, such as a makeup, on a display device such as a display, or transmitting the image through a network.
[0002]
[Prior art]
There is a demand from customers that they want to know how cosmetics such as lipstick and eyeshadow, or eyeglasses and colored contact lenses actually look when they are worn. However, those actually mounted on the skin or the like have problems such as troublesome mounting itself, hygiene problems, and difficulty in comparing different products. Therefore, it is very useful to be able to virtually experience the state of wearing these products in an image without actually wearing them.
[0003]
Heretofore, there has been a simple apparatus or software that simulates wearing of makeup, a hairstyle, glasses, color contact lenses, and the like using images (for example, Patent Document 1). However, since it was not possible to move the moving image in accordance with the user's movement, an actual wearing feeling cannot be obtained. In addition, since the detection of feature points and feature regions in a face image from which a virtual image is generated is not robust, it cannot sufficiently cope with changes in illumination, movement, and individual differences.
[0004]
As a method of detecting a feature point and displaying a disguise image by superimposing a predetermined image on the feature point, there is a method disclosed in Patent Document 2, but it is not satisfactory in terms of simulation of a real image.
[0005]
In addition, with the spread of broadband today, communication tools that allow a person to see a face, such as a videophone, are being commonly used. At that time, it is expected that a problem arises when one goes out of his / her face or figure while staying at home. Of course, there is also a method of not showing a face by using an avatar or the like, but this will lose the sense of reality and make the meaning of a broadband with no special meaning. However, there is a problem that it is troublesome to make makeup like going out to answer a videophone call.
[0006]
[Patent Document 1]
JP 2000-285222 A
[Patent Document 2]
JP 2000-322588 A
[0007]
[Problems to be solved by the invention]
The present invention provides a virtual makeup apparatus and a method thereof, in which a user can naturally acquire a feeling of wearing by inputting and displaying an image in real time and performing robust detection of feature points and the like in order to solve the above problem. The purpose is to do.
[0008]
[Means for Solving the Problems]
The invention of claim 1 is a virtual makeup apparatus that performs image processing on a still image including at least a face area of a person or an image of a moving image before makeup to process the image of a face of a makeup-applied person. Feature detection means for detecting a feature point, a feature area, or both of the face from the image before makeup, data on the type of the item related to the item for applying makeup, feature points of the face, feature area, Or, data storage means for storing makeup data including both of them and the positional relationship between the item and the color, shape, or application range of the item, and the type of the stored item. Processing method determining means for determining data relating to the type of item required for makeup, the positional relationship data relating to the determined item type, and the inspection. Image processing means for applying the item to the face based on the feature point, the feature region, or both, and processing the image so as to make up the face based on the applied item with the applied item, Display means for displaying an image of the face on which the makeup is applied.
[0009]
The invention according to claim 2 is the virtual makeup apparatus according to claim 1, further comprising a display image transmitting unit that transmits the face image with the makeup applied thereto through a network.
[0010]
The invention according to claim 3 is the virtual makeup apparatus according to claim 1, wherein the feature detection means receives data on the image before makeup via a network.
[0011]
According to a fourth aspect of the present invention, the image processing apparatus further includes a face direction detecting unit that detects the direction of the face from the image before the makeup, and processes the image according to the face direction detected by the face direction detecting unit. The virtual makeup device according to at least one of claims 1 to 3.
[0012]
The invention according to claim 5 is the virtual makeup apparatus according to at least one of claims 1 to 4, wherein the makeup-applied image is pasted on a three-dimensional model of the face of the person by texture mapping. is there.
[0013]
The invention according to claim 6, wherein in the display means, an image in which makeup is applied at different times, an image in which makeup in a different face direction is applied, an image in which makeup with different resolutions is applied, an image in which makeup is applied in different parts, Alternatively, the virtual makeup device according to at least one of claims 1 to 5, wherein images with different makeups are simultaneously displayed.
[0014]
The invention according to claim 7 is the virtual makeup apparatus according to at least one of claims 1 to 6, wherein the item is a color contact lens, eyeshadow, cheek, lipstick, or tattoo. .
[0015]
The invention according to claim 8, wherein in the virtual makeup method, a still image including at least a face area of a person or an image of a moving image before makeup is processed into an image of a face of a makeup-applied person, A feature detection step of detecting a feature point, a feature region, or both of the face from the image before makeup, data on the type of the item related to the item for applying the makeup, a feature point of the face, a feature region, Or, data storage step of storing makeup data including both of them and the positional relationship between the item and the item, and the color, shape, or application range of the item, and the type of the stored item. A processing method determining step of determining data relating to the type of item required for makeup; and the positional relation data relating to the determined item type. An image in which the item is fitted to the face based on the data and the detected feature points, feature regions, or both, and the fitted item is processed to make up the face based on the makeup data. A virtual makeup method comprising: a processing step; and a display step of displaying an image of the face on which the makeup is applied.
[0016]
According to a ninth aspect of the present invention, a virtual makeup method for processing a still image including at least a face area of a person or an image before makeup of a moving image into a face image of a makeup-applied person by a computer. In the program to be realized, a feature detection function for detecting a feature point, a feature region, or both of the face from the image before makeup, data on the type of the item regarding the item for applying the makeup, A data storage function of storing positional data indicating a positional relationship between a feature point, a feature area, or both, and the item, and a color, a shape, or an application range of the item; A processing method determining function of determining data relating to the type of item required for makeup from the type of the determined item, and the determined item The item is applied to the face based on the positional relationship data regarding the type and the detected feature point, feature area, or both, and the face is applied based on the applied item with the applied item. A program for a virtual makeup method, wherein a computer implements an image processing function for processing an image and a display function for displaying an image of the face with the makeup applied.
[0017]
The invention according to claim 10 is an image input unit for inputting a moving image in which at least a part of the face of a person is reflected, and feature detection for detecting a feature point or a characteristic region of the face of the person in each image of the input moving image. And a face size / position information management unit that calculates the enlargement rate of the face image according to the size of the face of the person reflected in each image, the position of the face, and the rate of change of the face size, An image processing unit that obtains a region to be processed in each image from the detected feature points or characteristic regions, processes the pixel information of this region, and enlarges the image around the position according to the enlargement factor; And an image display unit that displays the displayed image.
[0018]
The invention according to claim 12 is an image input section for inputting a moving image in which at least a part of a face of a person is reflected, and a face area detecting section for detecting a face area of a person present in each image of the input moving image. A face identification unit for identifying a person using the detected face region, a feature detection unit for detecting a feature point or a feature region in the detected face region for each identified person, and a feature detection unit for each identified person. A virtual makeup apparatus including: an image processing unit that obtains a region to be processed in the face region from the obtained feature points or characteristic regions and processes pixel information of the region; and an image display unit that displays the processed image. It is.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail.
[0020]
(First Embodiment) A virtual makeup apparatus 100 according to a first embodiment of the present invention will be described with reference to FIGS.
[0021]
In the present specification, "make-up" refers to decorating a face with so-called cosmetics or the like, not only polishing or decorating the surface so that it looks beautiful, but also applying a tattoo to the surface of the face. Or a state in which a part or all of the face after makeup is different from the face before makeup by painting.
[0022]
(1) Configuration of virtual makeup apparatus 100
FIG. 1 is a diagram illustrating a configuration of the present embodiment, and FIG. 2 is an example of a schematic view of a virtual makeup apparatus 100.
[0023]
The virtual makeup apparatus 100 is an example in which a video camera is connected to a personal computer (hereinafter, referred to as a PC) and an image is displayed on a CRT or a liquid crystal display.
[0024]
Specifically, an image in which a color contact lens is artificially attached to a pupil region of a person is displayed.
[0025]
The image input unit 101 is a video camera, and inputs a moving image.
[0026]
The feature detection unit 102 extracts a pupil position and an outline of an iris region from the input image.
[0027]
The data storage unit 103 stores makeup data such as color, texture, transparency, and size for each type of color contact lens, which is one of the makeup items, as well as facial feature points, feature areas, or both, and the It stores positional relationship data indicating the positional relationship.
[0028]
The processing method determination unit 105 provides an interface from which the type of the stored color contact lens can be selected.
[0029]
The image processing unit 104 processes the color contact lens in a state where the color contact lens is attached to the iris portion of the subject's pupil in the image based on the data of the selected color contact lens.
[0030]
The display unit 106 displays the processed image on a CRT or a liquid crystal display.
[0031]
The components 101 to 106 will be described in detail below. Each function of the feature detection unit 102, the data storage unit 103, the image processing unit 104, and the processing method determination unit 105 is realized by a program recorded on a PC.
[0032]
(2) Image input unit 101
The image input unit 101 inputs a moving image including a face of a target person from a video camera.
[0033]
For example, there is a method of inputting through a general USB camera, digital video, or the like, or a special image input device.
[0034]
The input moving images are sequentially sent to the feature detecting unit 102.
[0035]
(3) Feature detection unit 102
The feature detection unit 102 detects feature points and regions from the input image.
[0036]
In the case of the present embodiment, the contour of the iris region of the pupil as shown in FIG. 3 is detected. The outline detection method for the pupil iris region will be described below.
[0037]
Specifically, Document 1 (Fukui, Yamaguchi: “Face feature point extraction by combination of shape extraction and pattern matching”, IEICE (D-II) vol. J80-D-II, no. 9, pp. 2170) −2177, Aug. 1997).
[0038]
Thereafter, the contour is further detected using the position as an initial value. First, the face area portion may be detected.
[0039]
As a method of extracting the pupil contour, if the contour can be approximated by a circle, reference 2 (Yuasa et al .: “High-precision pupil detection based on minimizing integrated energy of pattern and edge”), IEICE Technical Report, PRMU2000-34, PP. 79-84, Jun. 2000) can be used.
[0040]
With the center position and radius of the pupil detected earlier as initial values, the value by the combination of the pattern energy based on the pattern similarity when changing the position and the radius and the edge energy based on the size of the circular separation filter is minimized. This is a method of obtaining a contour with higher accuracy by obtaining a proper position and radius.
[0041]
At that time, by using the subspace of the pattern cut out based on the position and radius deviated from the correct contour named the moving subspace as an index when minimizing, even if the initial value is far from the correct answer, The convergence time can be shortened.
[0042]
In the document 2 described above, the contour is circular, but in this method, the contour may be arbitrary.
[0043]
For example, an ellipse or a spline curve composed of a set of a plurality of sample points on a contour may be used.
[0044]
In the case of an ellipse, it is represented by 5 parameters of position parameter 2 + shape parameter 3.
[0045]
In the case of a spline curve, it is represented by the number of sample points that can represent an arbitrary shape.
[0046]
However, in the case of an arbitrary shape, the number of parameters may be too large and convergence may be difficult, or even if it can be done, it may take a very long time to be unrealistic.
[0047]
In that case, based on a certain reference point (for example, the center of the pupil), the size of the reference (for example, the average radius of the pupil, in the case of the present embodiment, of the separation filter when the pupil position is obtained first) It is possible to reduce the dimension of the parameter by acquiring data on the contour shape in a large number of real images collected in advance and analyzing the data by principal component analysis. is there.
[0048]
In addition, as a pattern normalization method, in addition to a method of deforming an image by affine transformation or the like based on a position and a shape, a pattern obtained by cutting out an image along a contour can be used.
[0049]
(4) Data storage unit 103
The data storage unit 103 stores necessary information for each selectable color contact lens. The information includes positional relationship data including a relative position of a reference position, a size, and a shape of the application region with respect to a feature point, a feature region, or both the feature point and the feature region required for the item.
[0050]
In the present embodiment, the feature point is the center of the iris region of the pupil, and the feature region is the iris region.
[0051]
The distance between the center point of the color contact lens and the center of the pupil is 0.
[0052]
Further, a reference point calculated based on a reference point, a feature point, and a feature area in the lens data and a reference point of the lens data corresponding to the reference point are recorded as information.
[0053]
Further, the data storage unit 103 simultaneously stores makeup data (color data, texture data, and transparency data) corresponding to the reference points.
[0054]
(5) Processing method determination unit 105
The processing method determination unit 105 selects a data set that is input in advance and recorded in the data storage unit 103.
[0055]
In the present embodiment, the type of the color contact lens, which is a cosmetic item, is selected. FIG. 4 shows an example of the dialog prompting the selection.
[0056]
On the selection screen, images showing possible color contact lenses, colors, character strings, and the like are displayed.
[0057]
(6) Image processing unit 104
The image processing unit 104 performs image processing based on the detected characteristic region, the selected positional relationship data, and makeup data.
[0058]
In the present embodiment, an image of the selected color contact lens is superimposed and displayed on the iris region of the pupil.
[0059]
First, the makeup data of the color contact lens has a color and transparency corresponding to the lens radius and the distance from the center, and second, a case in which the shape, color and texture information of the lens is stored as two-dimensional image data. Can be considered.
[0060]
In the present embodiment, the first case will be described.
[0061]
First, the center of the detected pupil is made to correspond to the center of the lens based on the positional relationship data, each point on the iris contour is made to correspond to the iris corresponding point of the lens, and the corresponding radius is calculated by affine transformation.
[0062]
Next, the value of each pixel is changed according to the color and transparency corresponding to the radius calculated for the pixel in each iris. For example, when the color and the transparency are expressed as C (r) and α (r) as functions of the distance r from the center, respectively, if the original pixel value is Iorg {(r)}, the changed pixel value I (R) is represented by the following equation.
[0063]
(Equation 1)

[0064]
Such a method of superimposing two luminances in consideration of transparency is called α blending.
[0065]
(7) Image display unit 106
The image display unit 106 displays the image created by the image processing unit 104 on a display or the like.
[0066]
(Second Embodiment) A virtual makeup apparatus 500 according to a second embodiment of the present invention will be described with reference to FIGS.
[0067]
(1) Configuration of virtual makeup apparatus 500
The virtual makeup apparatus 500 of this embodiment is an example in which a video camera is connected to a PC, a processed image is transmitted over a network, and an image is displayed on a display of a communication partner.
[0068]
Specifically, an image in which makeup such as lipstick is applied to a face area of a person is displayed.
[0069]
FIG. 5 is a diagram illustrating the configuration of the present embodiment.
[0070]
The image input unit 501 is a video camera, and inputs a 2D moving image.
[0071]
The feature detection unit 502 detects required feature points and feature regions from the input image. In the present embodiment, the positions are a pupil position, a nostril position, and a lip region.
[0072]
The data storage unit 503 stores information such as color, texture, transparency, and size for each target makeup item and type.
[0073]
The processing method determination unit 505 provides an interface that allows the user to select the stored makeup item and type, density, gradation parameters, and the like.
[0074]
In the image processing unit 504, based on the selected makeup data, processing is performed so that makeup data is applied to the target area of each makeup item in the subject in the image.
[0075]
The display image transmission unit 506 transmits the processed image and displays the processed image.
[0076]
Each component is described in detail below. Note that the functions of the feature detection unit 502, the data storage unit 503, the image processing unit 504, the processing method determination unit 505, and the display image transmission unit 506 are realized by a program recorded in a PC.
[0077]
(2) Image input unit 501
The image input unit 501 inputs an image of a person's face taken from a camera. This part is the same as in the first embodiment.
[0078]
(3) Feature detection unit 502
The feature detecting unit 502 first detects a pupil position, an iris radius, a nostril position, and a mouth end position. Their detection is the same as in the first embodiment.
[0079]
The following application area and application method are determined from the characteristic point positions and the characteristic amounts.
[0080]
In the data storage unit 503, in addition to information such as color and size specific to each makeup item, necessary feature points / areas corresponding to the type (eye shadow, cheek, etc.) of each makeup item, and A constant value or function that gives a relative coordinate / distance from the feature point / region to the makeup item application position / region is recorded.
[0081]
In the present embodiment, the necessary feature points / regions in the cheek are the center position of both pupils and the position of the nostril. From these feature points, the center coordinates and the major axis / minor axis / rotation of the cheek application area (expressed as an ellipse) are obtained. The function for calculating the angle is recorded.
[0082]
(3-1) Eye shadow application
The example of eye shadow application is shown.
[0083]
As shown in FIG. 6, the eye shadow area is applied to an area (shaded area) calculated based on the detected pupil position and iris radius. This region is defined by the eyebrows on the upper side and the lower end of the eyelids on the lower side, and is also defined as the region where the eyebrows or eyelids are present on the left and right sides. However, the extraction of the existence range does not have to be so strict.
[0084]
This is because the application of these eye shadows usually blurs the area where no application is made, so even if the position is slightly shifted at the end of the application area, there is not much problem in display.
[0085]
Furthermore, in the application area, it is possible to determine whether or not to perform application using information on the luminance and color of the original image in the application area. For example, if it is not applied to a place where the brightness is lower than a certain level, it is possible to prevent an erroneous application on the eyelashes or the like. Of course, the application area may be directly extracted in detail.
[0086]
(3-2) Teak application
Next, an example of teak application will be described.
[0087]
As shown in FIG. 7, the cheek area is applied to an area calculated based on the position of the pupil, the radius of the iris, and the position of the nostrils. In the case of the cheek, similarly to the case of the eye shadow, it is possible to blur or to paint differently according to the luminance and color information of the original image.
[0088]
As a method of determining the pixel value, for example, a distance r obtained by normalizing the distance from the center with respect to an ellipse whose center is (x0, y0) whose minor axis and major axis are represented by a and b, respectively, is used as a reference. The point (x, y) is defined as expressed by equation (2).
[0089]
(Equation 2)

[0090]
A value obtained by applying r to the expression (1) is used. However, in this case, C (r) is represented by Expression (3).
[0091]
(Equation 3)

[0092]
(3-3) Lipstick application
Next, an example of lipstick application will be described.
[0093]
As shown in FIG. 8, the lip region extracts the contour of the lip based on the information on the mouth end position, or additionally the position of the nostrils and the pupil, and basically applies the inside of the contour.
[0094]
However, if the mouth is opened, teeth and gums may be included in that area.Therefore, the inside contour may be extracted, or those areas may be extracted using other luminance or color information. You need to ignore the region.
[0095]
To extract the contour of the lip, for example, based on two points at the mouth end, an initial value is generated based on the principal component contour obtained by principal component analysis of a large number of data of a general lip contour acquired in advance. The contour is extracted from the generated initial value. This system is a system disclosed in Japanese Patent Application No. 10-65438. Similarly, the inner contour may be extracted, and the process may be performed between the inner contour and the outer contour.
[0096]
(3-4) Other
Items to be processed are not limited to the above features. For example, as a feature, a skin region, an eyebrow region, an eyelid contour, or the like can be used. Once the face area is determined, it is possible to apply a foundation to that part.
[0097]
Further, the determination of the application region does not have to be based only on these six feature point positions, and it is not necessary to use all of them. Only necessary ones of the obtained feature amounts may be used, or any combination of available obtained feature amounts may be used.
[0098]
Furthermore, after inputting an image and extracting a feature point in the feature point extraction unit 502, makeup may be completed by sequentially applying eye shadow, applying blush, and applying lipstick.
[0099]
(4) Display image transmission unit 506
The display image transmission unit 506 transmits the image created through the network, and displays the transmitted image on the display of the other party.
[0100]
Third Embodiment A virtual makeup apparatus 900 according to a third embodiment of the present invention will be described with reference to FIGS.
[0101]
(1) Configuration of virtual makeup apparatus 900
The virtual makeup apparatus 900 of the present embodiment displays an image equivalent to painting or tattooing, and the user selects some displayed items and parameters such as color, shape, and position, and selects and displays the selected items. A virtual makeup apparatus 900 that creates a pattern or material that can achieve the same effect as a real image in the real world, or prepares a corresponding pattern or material in advance and provides it according to a user's selection. It is.
[0102]
FIG. 9 shows a configuration diagram of the present embodiment.
[0103]
The configuration other than the processing tool material distribution unit 907 is the same as that of the first embodiment.
[0104]
However, in the feature detection unit 902, face direction information is indispensable for performing painting, so face direction detection is introduced.
[0105]
(2) Face direction detection method
The direction of the face can be easily obtained from the positional relationship of the feature points such as eyes and nose, or can be obtained using the pattern of the face area. FIG. 10 shows an example of an image subjected to painting.
[0106]
As the literature, for example, Japanese Patent Application Laid-Open No. 2001-335666 as a method using feature points, Japanese Patent Application Laid-Open No. 2001-335666 as a method using patterns, and Reference 3 (Yamada, Nakajima, Fukui "Face orientation by factor decomposition method and subspace method" Estimation "Signal Technology PRMU 2001-194, 2001).
[0107]
Here, a method of calculating the face direction from the position coordinates of the feature points proposed in JP-A-2001-335666 will be briefly described.
[0108]
First, feature points (four or more points) such as the eyes, nose, and mouth edges are detected from an image in which a face is reflected (three or more frames having images of different face directions).
[0109]
From the feature point position coordinates, a factorization method (Tomasi, C. and T. Kanade: Technical Report CMU-CS-91-172, CMU (1991); International Journal of Computer Computer Vision, 9: 2, 137-154 (1992) )) To determine the three-dimensional coordinates of the feature points.
[0110]
A matrix having the three-dimensional coordinates of the feature points as elements is stored as a shape matrix S. When an image including a face whose orientation is to be obtained is input, a feature point is detected from the image, and a measurement matrix Wnew having two-dimensional coordinates of the feature point as an element is multiplied by a generalized inverse matrix of the shape matrix S. , A motion matrix Mnew representing the orientation of the face is obtained, and the rotation angle such as roll pitch yaw is known. FIG. 11 shows how the motion matrix Mnew is calculated. In FIG. 11, the generalized inverse matrix of the shape matrix S is indicated by a symbol with a + on S.
[0111]
In this figure, the appearance of moving the face with the camera fixed is regarded as the relative change of the camera orientation with the face fixed. As the feature point coordinates, those detected by the feature detection unit 902 may be used, and the orientation itself can be obtained by multiplying the matrix only once. This is a very high-speed method, and can be calculated independently for each frame. Does not accumulate.
[0112]
By applying an affine transformation to a painting item based on the rotation angle or the like obtained in this way and mapping it to a face image, a natural painting image matching the face direction can be obtained.
[0113]
(3) Processing tool material distribution unit 907
The processing tool distribution unit 907 distributes tools for realizing the image as shown in FIG. 10 in the real world.
[0114]
As the ingredients, a pattern as shown in FIG. 12 is generated.
[0115]
There is a hole in the part where the paint is applied to the pattern, so it can be painted easily.
[0116]
Also, anyone can easily perform positioning by setting a reference point indicated by x in the drawing.
[0117]
Also, the number of patterns need not be one, but a plurality of sheets may be generated as needed, so that it is possible to cope with a complicated shape or a case where there are many colors.
[0118]
(Fourth embodiment)
A virtual makeup apparatus 900 according to a fourth embodiment of the present invention will be described with reference to FIGS.
[0119]
In the present embodiment, an example in which a lighting environment when performing digital makeup is considered will be described. FIG. 13 shows the flow of the processing.
[0120]
The description method of the lighting environment can specify the position, direction, color, intensity, etc. of the light source, and simulates a complex light source by preparing multiple point light sources and surface light sources as handled by general CG. Simulate outdoor sunlight.
[0121]
The reflectance of each part of the face is described using a function such as BRDF (Bidirectional Reflection Function), and the luminance value of each pixel is calculated based on the described lighting environment, and displayed.
[0122]
Next, a method of acquiring a lighting environment when an actual person's face is photographed by a camera and controlling the lighting environment will be described. This is performed using a flowchart as shown in FIG.
[0123]
First, a three-dimensional model of a face is obtained by a plurality of cameras, or created by a single camera using a technique of Structure \ from \ Motion.
[0124]
Also, a method such as Reference 4 (Maki, "Acquisition of Three-Dimensional Shapes by Geotensity Constraint-Correspondence to Multiple Light Sources-", IEICE Research Report on Pattern Recognition and Media Understanding, PRMU 99-127, 1999) may be used. .
[0125]
For the created three-dimensional model, the normal direction and the like of each surface are determined for a plurality of pieces of surface information constituting the three-dimensional model, and necessary for estimating the light source from the state of reflection on each surface. get information.
[0126]
The method for estimating the light source is described in Document 5 (Nishino, Ikeuchi, Zhang “Analysis of Light Source Condition and Reflection Characteristics from Sparse Image Sequences”, Digital Preservation Method for Digitally Preserving Cultural Properties, 2001 Results Report, pp.86- 501), a plurality of point light source directions are obtained using the information of specular reflection on each surface, and Reference 6 (Imari Sato, Yoichi Sato, Katsushi Ikeuchi, “Light source environment based on shadow of object” Estimation, "Transactions of Information Processing Society of Japan: Special Issue on Computer Vision and Image Media" Contact between Physics-based @Vision and CG ", Vol. 41, No. SIG 10 (CVIM 1), pp. 31-40, Decemmber 2000.) The method of estimating the light source position using shadow information as described above may be used.
[0127]
As shown in FIG. 14A, a case where a face photographed in a certain environment is used to create an image under lighting conditions in another environment as shown in FIG. 14B will be considered.
[0128]
Using the information on the estimated light sources, the direction, number, intensity, and the like of the light sources are suppressed to change the lighting environment for the three-dimensional model and generate images in various environments.
[0129]
A method that does not explicitly use a three-dimensional model is also conceivable. In consideration of the lighting conditions at the time of photographing in FIG. 14A, an image is created in which characteristic portions such as shadows and specular reflection have been removed. Then, an image under another illumination condition is obtained by adding shadows, specular reflection, and the like to the image in consideration of the illumination condition in another environment of FIG. 14B.
[0130]
For these lighting environments to be combined, some lighting patterns may be prepared in advance. For example, a lighting environment such as “indoor (home)”, “indoor (restaurant)”, “outdoor (sunny)”, “outdoor (cloudy)” or the like may be created and combined according to the environment, place, time, and the like.
[0131]
By creating an image in an illumination environment different from the environment in which the image was captured as described above, it is possible to virtually create a face image as if it were captured in another location.
[0132]
(Fifth Embodiment) Hereinafter, a virtual makeup apparatus according to a fifth embodiment of the present invention will be described with reference to the drawings.
[0133]
People often look at their faces in the mirror when doing makeup. When putting on makeup, a person approaches the face to a mirror or, if the mirror can be moved, such as a hand mirror, moves the mirror close to the face to try to magnify the desired part of the face.
[0134]
The virtual makeup apparatus according to the present embodiment determines a specific area (for example, eyelids and lips) from a plurality of feature points detected from an image of a user's face captured by a camera, and performs makeup on the area. Further, the movement of the face is detected, and the face is enlarged and displayed based on the area.
[0135]
In the following description, a case where eye shadow is applied to the eyelid in a simulated manner will be described as an example.
[0136]
FIG. 20 is a diagram illustrating an example of a configuration of a personal computer (PC) for realizing the virtual makeup apparatus according to the present embodiment.
[0137]
This PC includes a processor 2001, a memory 2002, a magnetic disk drive 2003, and an optical disk drive 2004.
[0138]
Further, an image output unit 2005 corresponding to an interface unit with a display device 2008 such as a CRT or an LCD, an input reception unit 2006 corresponding to an interface unit with an input device 2009 such as a keyboard or a mouse, and an interface with an external device 2010 And an input / output unit 2007 corresponding to the unit.
[0139]
The input / output unit 2007 includes, for example, an interface such as USB (Universal Serial Bus) or IEEE1394.
[0140]
In the virtual makeup apparatus of the present embodiment, a video camera for inputting an image corresponds to the external device 2010.
[0141]
The magnetic disk drive 2003 stores a program for performing image processing such as makeup on an input image. When the program is executed, the program is read from the magnetic disk drive 2003 into the memory 2002, and the processor 2001 executes the program.
[0142]
Moving images captured by the video camera are sequentially stored in the memory 2002 via the input / output unit 2007 in frame units. The processor 2001 performs image processing on each of the stored frames, and also generates a GUI for a user to operate the apparatus. The processor 2001 outputs the processed image and the generated GUI to the display device 2008 via the image output unit 2005. The display device 2008 displays an image and a GUI.
[0143]
FIG. 21 is a diagram illustrating functional blocks of the virtual makeup apparatus according to the present embodiment.
[0144]
This apparatus stores an image input unit 2101 which is a video camera for inputting a moving image, a feature detection unit 2102 for detecting a feature point and a feature area of a person's face from the input image, and makeup data and positional relationship data. A data storage unit 2103 for performing the operation.
[0145]
The makeup data is color, texture, and transparency data for each type of eye shadow, which is one of the makeup items. The positional relationship data is data indicating the positional relationship between the feature points and feature regions of the face and the eye shadow application region.
[0146]
Further, a processing method determination unit 2105 that provides a GUI for the user to select the type of eye shadow stored in the data storage unit 2103 in advance and a pseudo eye shadow by overlapping the color of the selected eye shadow on the eyelid portion An image processing unit 2104 that generates an image that has been applied in a localized manner, a display unit 2106 that is a display device such as an LCD or CRT that displays the processed image, and estimates the size, position, and inclination of the face, and based on the estimation. And a size / position information management unit 2107 for controlling the display unit 2005 to perform enlarged display.
[0147]
Hereinafter, each unit will be described.
[0148]
(Image Input Unit 2101) The image input unit 2001 inputs a moving image showing the face of a target person from a video camera. As the video camera, a general camera such as a USB (Universal Serial Bus) connection camera or a digital video camera may be used. The input moving images are sequentially output to the feature detecting unit 2102.
[0149]
(Feature Detecting Unit 2102) The feature detecting unit 2102 detects a feature region of the face from the input image. For example, when applying eye shadow to the eyelid, the contour 301 of the iris region of the pupil shown in FIG. 3 is detected.
[0150]
The detection of the iris region outline of the pupil is performed by the method described in Reference 1 similarly to the first embodiment. The flow of the detection process is to detect a feature point and collate pixel information around the feature point by a subspace method. The outline will be described below with reference to FIG.
[0151]
(S2201 generation of the degree of separation map)
The output value of the circular separation filter shown in FIG. 23A is obtained for each pixel of the entire input image, and a separation map is generated. The degree of separation is an index indicating the degree of separation of pixel information between two regions. In the present embodiment, the degree of separation between the region 2301 and the region 2302 is determined using the following equation.
[0152]
(Equation 4)

[0153]
It should be noted that instead of obtaining the separability map for the entire input image, the separability map may be obtained after performing preprocessing for specifying a face region in the image, such as template matching or background subtraction.
[0154]
(S2202 extraction of feature point candidates)
A point at which the degree of separation becomes a local maximum value in the generated separation degree map is set as a feature point candidate.
[0155]
If processing such as smoothing is appropriately performed on the degree of separation before obtaining the local maximum value, the influence of noise can be suppressed, which is good.
[0156]
(S2203 Pattern similarity calculation)
From the vicinity of each feature point candidate, a local normalized image corresponding to the radius r of the separation filter is obtained. Normalization is performed by affine transformation according to the radius. A similarity between the normalized image and a dictionary (left pupil, right pupil) created in advance from images around the pupil is calculated by a subspace method.
[0157]
(S2204 Feature point integration)
The correct pupil position is detected based on the position of each feature point candidate, the radius of the separation filter, and the value of the similarity.
[0158]
For each of the left pupil and the right pupil, a predetermined number of feature point candidates or feature point candidates whose similarity is equal to or greater than a predetermined threshold are extracted in descending order of similarity obtained by the S2203 pattern similarity calculation. The left and right pupil candidates are generated by combining the extracted left and right pupil feature point candidates.
[0159]
The generated left and right pupil candidates are collated with conditions assumed in advance, and those that do not match the conditions are excluded from the candidates. The condition is, for example, the distance between the left and right pupils (outside the condition if abnormally narrow or wide), the direction of the line connecting the left and right pupils (outside the condition if the image extends vertically in the image), and the like. .
[0160]
Of the remaining left and right pupil candidates, the combination having the highest sum of similarities between the left and right pupils is defined as the left and right pupils.
[0161]
(S2205 @ Detailed detection)
The contour of the pupil is determined more accurately, and the exact position of the pupil is determined. In this step, reference 6 (Yusa @ et @ al. @ "Precise \ Pupil \ Contour \ Detection \ Based \ on \ Minimizing \ the \ Energy \ of \ Pattern \ and \ Edge \ Methods \ Proc. . Hereinafter, an outline of this technique will be described.
[0162]
In step S2204, an initial shape is created on the assumption that the contour of the pupil is circular, using the pupil position obtained by integrating the feature points and the radius of the separation filter used for detecting the pupil. The created initial shape is represented by an ellipse parameter.
[0163]
For example, if the center coordinate is (x₀, Y₀), If the radius is r, the elliptic parameters are (x, y, a, b, θ) = (x, where a and b are the major and minor axes and θ is the rotation angle.₀, Y₀, R, r, 0). x and y are the center positions, a and b are the major axis and minor axis of the ellipse, and θ is the inclination of the eye.
[0164]
First, using these elliptic parameters as initial values, the elliptic parameters are roughly obtained using a guide pattern. FIG. 24 is a diagram illustrating a guide pattern.
[0165]
The guide pattern used here is a dictionary created by principal component analysis by generating images in which parameters such as a pupil radius and a pupil center position are variously changed with respect to a reference image (correct answer pattern) around the pupil. It is. Here, eleven types of dictionaries shown in FIG. 25 created by variously changing ellipse parameters and the like are used. The correct answer pattern does not have to be the user's own.
[0166]
Collation with the dictionary is performed by the subspace method. The dictionary having the highest similarity is obtained from a plurality of dictionaries. It is estimated that the parameters at the time of creating the obtained dictionary are close to the parameters related to the input pupil image.
[0167]
Using the ellipse parameter estimated using the guide pattern and the input image, the edge energy and the pattern energy are calculated while changing the value of the ellipse parameter.
[0168]
The edge energy is a value obtained by making the sign of the value of the separation degree obtained by using the elliptical separation filter having the elliptic parameter (FIG. 23B) negative. The above equation 4 is used for the calculation of the separation threshold.
[0169]
The pattern energy is obtained by making the sign of the value of the similarity between the reduced image near the pupil based on the elliptic parameter and the dictionary prepared from the prepared correct image and the elliptic parameter negative. The similarity with the dictionary is obtained by using the subspace method.
[0170]
In this step, an accurate pupil contour is obtained by changing the elliptic parameter to obtain a set of elliptic parameters when the sum of the above two energies is locally minimum.
[0171]
Through the above steps, an accurate pupil contour is obtained. The position of the pupil can be determined as the center of the contour.
[0172]
(Size / Position Information Management Unit 2107) The size / position information management unit 2107 uses the pupil position and pupil contour radius (ellipse parameter) obtained by the feature detection unit 2102 to determine the current face size, position, Estimate the slope. Then, an enlargement ratio for displaying the face is obtained from the change ratio of the face size.
[0173]
The size and inclination of the face are estimated, for example, from the length and inclination of a line segment connecting both pupils. Furthermore, the face rotation (rotation about the neck) is estimated from the ratio of the contour radii of the left and right pupils.
[0174]
Based on the estimated information, the image processing unit 2104 is notified of the center position of the enlargement and the enlargement ratio so as to enlarge and display the area focused on by the user. A region where the user is paying attention to a region including a portion that is estimated to be closest to the center position of the image among the parts (eyes, cheeks, lips, etc.) virtually making up the face. And
[0175]
At the time of enlargement, for example, if the entire face is getting larger, a notification is made to enlarge the face at an enlargement rate that exceeds the rate of change of the actual face size. By doing so, it is possible to prevent the camera from approaching too far. FIG. 28 is a diagram illustrating an example of an enlarged display. Even if the entire face is initially displayed, the approach of the user is detected from the rate of change in the size of the face, and, for example, the eyes are enlarged before the user approaches too much.
[0176]
When a person comes too close to the camera, it becomes difficult to photograph the entire face. As a result, it becomes difficult to estimate the direction and size of the face.
[0177]
In such a case, the attention area is tracked on the screen. The above-mentioned guide pattern is applied for tracking.
[0178]
Since the above-described guide pattern is a pattern in which the position and the pupil radius deviate from the correct pattern, it is possible to estimate which “deviation” the pattern in the current position and shape is by using this. That is, it is possible to estimate how the area to be tracked is moving from the difference between the “shift” in the previous frame and the “shift” in the current frame.
[0179]
For example, if the position is shifted left and right, it can be understood that the robot is moving in the left and right directions. The larger the size, the closer it is. Further, three-dimensional motion can be estimated from the degree of deformation.
[0180]
FIG. 29 is a diagram illustrating an example of a case where the face position of the person has moved -dx in the x direction within the screen during the time dt with respect to the camera. An area at the time t0 + dt at the same position as the area 2901 at the time t0 is an area 2902. However, since the face has moved, the region at time t0 having the same (most similar) pattern as the region 2902 becomes the region 2903.
[0181]
Therefore, at time t0, the “shift” of the pattern of the area 2901 from the correct answer pattern is checked using the guide pattern. Then, at time t0 + dt, the “shift” of the pattern in the area 2902 from the correct pattern is examined using the guide pattern. The movement amount can be estimated from the difference between the “shifts” at both times.
[0182]
(Image Processing Unit 2104) The image processing unit 2104 performs image processing using the position of the pupil detected by the feature detection unit 2102. In addition, processing for enlarging the image is performed based on the enlargement ratio and the center position of the enlargement notified from the size / position information management unit 2107.
[0183]
In the following description, an example in which an image in which eye shadow is virtually applied to the eyelid of the right eye is created with reference to FIG. 26 will be described.
[0184]
The outline of the technique for virtually applying the eye shadow is as follows. The rectangular area 2601 in FIG. 26 is estimated as a rough eyelid area from the area in which the pupil is detected, the positional relationship between the two pupils, and the relationship between the pupil size obtained as prior knowledge and the positions of the inner and outer eyes. From the luminance information in the rectangular region 2601, a region corresponding to the eyelid, that is, a portion other than the eyebrows and pupils in the present region is determined. A process of applying an eye shadow to the eyelid region is performed.
[0185]
The rectangular area 2601 is determined as follows.
[0186]
The lower base of the rectangular area 2601 is set to pass through the center 2602 of the pupil detected by the feature detecting unit 2102. The left and right sides of the rectangular region 2601 can be obtained by detecting the positions of the inner and outer eyes 2604 and 2603. In the present embodiment, the position of, for example, 2.5 times the radius of the pupil from the center 2602 of the pupil to the outer corner of the eye is rectangular. It is assumed that the area is the lower left end 2605 of the area, and the position of, for example, three times the radius of the pupil from the center 2602 of the pupil to the front of the eye is the lower right end 2606. A line passing through the lower left end 2605 and intersecting perpendicularly with the lower bottom set earlier and a line passing through the lower right end 3606 and intersecting perpendicularly with the lower bottom are defined as left and right sides.
[0187]
The upper base of the rectangular area is set above the lower base by a distance, for example, four times the radius of the pupil. The intersections with the left and right sides are referred to as an upper left end 2608 and an upper right end 2609.
[0188]
A method for determining the eye shadow application area 2610 will be described.
[0189]
First, in the entire rectangular area 2601, a threshold value for dividing the luminance between the eye shadow application area 2610 and other areas is determined.
[0190]
The luminance distribution in the rectangular area 2601 can be represented as a histogram as shown in FIG. The area included in the rectangular area 2601 is roughly divided into three areas according to the magnitude of luminance. The region 2701 with the lowest luminance is mainly the inside of the iris (pupil), eyelashes, eyebrows, etc., the region 2703 with the highest luminance is a white-eye region, and the remaining intermediate region 2702 is to apply eyelids, that is, eye shadow. Area.
[0191]
By applying the discriminant analysis method to the histogram of the luminance distribution of the rectangular area 2601, threshold values Th1 and Th2 for dividing the luminance into three are determined (thickness Th1 <Th2). Discriminant analysis uses the interclass variance σ_B ²Is a method of determining a threshold value that maximizes the threshold value. An index represented by the following equation can be used as an index representing the degree of separation by division. Here, the thresholds when this value becomes maximum are Th1 and Th2.
[0192]
(Equation 5)

[0193]
Next, a line segment 2611 that bisects the rectangular area 2601 vertically is set. The application area 2610 is searched in the vertical direction from each point on the line segment 2611 (the direction indicated by the hollow arrow in the drawing).
[0194]
The search is performed in the following procedure. Since the boundary with the eyebrows is a problem for the upper half, the lower one of the two thresholds obtained earlier, that is, the threshold Th1, is used. It moves upward from each point on the line segment 2611, and moves further upward if its luminance value is higher than Th1. If the luminance value is lower than Th1, it is determined that the eyebrow region has been reached, and the search is stopped. When this processing is performed for each point, the upper boundary of the application region 2610 is determined.
[0195]
The same applies to the lower half. Since the lower half has a white part which is a high luminance part, the condition is that the luminance value does not exceed the threshold value Th2. Further, since it is not appropriate to enter the iris region, the condition is that the luminance value is larger than the threshold value Th1.
[0196]
Further, in order to detect the positions of the inner corner 2603 and the outer corner 2604, the intersection between the white line and the lower base of the rectangular area 2601 is obtained. The luminance value is examined from the lower right end 2606 of the rectangular area 2601 to the left. A point where the luminance value exceeds the threshold value Th2 is defined as an inner corner 2604. Similarly, the luminance value is checked from the lower left end 2605 of the rectangular area 2601 to the right. A point where the luminance value exceeds the threshold value Th2 is defined as the outer corner of the eye 2603.
[0197]
An intersection 2612 between the left side of the rectangular area 2601 and the line segment 2611 is obtained. The area below the line connecting the intersection 2612 and the outer corner 2603 of the rectangular area 2610 is not included in the application area 2610. Similarly, an intersection 2613 between the right side of the rectangular area 2601 and the line segment 2611 is obtained. The area below the line connecting the intersection 2613 and the inner corner 2604 of the rectangular area 2610 is not included in the application area 2610.
[0198]
Thus, the application area 2610 can be obtained. If there is noise in the image, the boundary may be discontinuous. Therefore, such a state may be avoided by smoothing the luminance in the rectangular area 2601 in advance, smoothing the obtained boundary, or providing a constraint condition between adjacent boundary points. In the present embodiment, smoothing is performed using a median filter.
[0199]
A process of virtually applying the eye shadow to the application region 2610 set as described above is performed. Processing is performed using α blending as in the first embodiment. In the present embodiment, the following equation is used.
[0200]
(Equation 6)

[0201]
(X, y) in the above equation is a relative position from the center 2602 of the pupil. D1 is three times the radius of the pupil, and D2 is four times the radius of the pupil.
[0202]
If the face is tilted, the direction of the person's face may be detected, the rectangular area 2601 may be transformed by affine transformation or the like according to the orientation, and the inverse transformation may be performed last.
[0203]
(Data storage unit 2103, processing method determination unit 2105, display unit 2106) Data storage unit 2103, processing method determination unit 2105, and display unit 2106 are the same as those in the first embodiment.
[0204]
(Effect of Fifth Embodiment) As described above, with the virtual makeup apparatus of the present embodiment, it is detected that the user has approached the camera, and the part that is presumed to be viewed by the user is determined. It can be enlarged and displayed.
[0205]
(Sixth Embodiment) The virtual makeup apparatus of the present embodiment is configured to perform different processing on each person when faces of a plurality of persons are imaged by a camera. Hereinafter, a description will be given centering on portions different from the fifth embodiment.
[0206]
FIG. 30 is a diagram illustrating the configuration of the virtual makeup apparatus according to the present embodiment. The apparatus includes an image input unit 2101 which is a video camera for inputting a moving image, a feature detection unit 2102 for detecting a feature point and a feature region of a person's face from the input image, and a feature detection unit A face area detection unit 3001 for detecting an area corresponding to a face; a face dictionary generation storage unit 3002 for generating and storing a dictionary for face recognition from detected face image information; A data storage unit 2103 for storing is provided.
[0207]
The makeup data is color, texture, and transparency data for each type of eye shadow, which is one of the makeup items. The positional relationship data is data indicating the positional relationship between the feature points and feature regions of the face and the eye shadow application region.
[0208]
Further, a processing method determination unit 2105 that provides a GUI for the user to select the type of eye shadow stored in the data storage unit 2103 in advance and a pseudo eye shadow by overlapping the color of the selected eye shadow on the eyelid portion An image processing unit 2104 that generates an image that has been applied in a localized manner, a display unit 2106 that is a display device such as an LCD or CRT that displays the processed image, and estimates the size, position, and inclination of the face, and based on the estimation. And a size / position information management unit 2107 for controlling the display unit 2005 to perform enlarged display.
[0209]
In this device, the face area detection unit 3001 detects a face area from the input image. Using the detected face region and the information obtained by the feature detection unit 2102, the size / position information management unit 2107 estimates the number and size of the person's face at which position in the image, at what size. .
[0210]
Then, faces at temporally and spatially continuous positions are estimated to be the same person, and an identifier is assigned to the information on the size and position and stored. The image processing unit 2104 performs different processing for each person using the identifier, and stores the details of the performed processing together with the identifier in the data storage unit 2103.
[0211]
When a certain number of images of the same person are obtained, the size / position information management unit 2107 notifies the face area detection unit 3001 to perform face recognition, and outputs an identifier and a face position. .
[0212]
Upon receiving the notification, the face area detection unit 3001 outputs the identifier and the pixel information of the face area necessary for generating the face dictionary to the face dictionary generation storage unit 3002. In addition, the face area detection unit 3001 performs face recognition to specify a person by using an identifier.
[0213]
In the present embodiment, the face recognition uses the mutual subspace method proposed in Reference 7 (Yamaguchi et al., “Face Recognition System Using Moving Image”, IEICE PRMU97-50, 1997). Therefore, generation of a face dictionary corresponds to obtaining a feature vector from pixel information of a face area, and obtaining a subspace spanned by higher-order eigenvectors as a result of principal component analysis of the feature vector.
[0214]
In the face recognition in the face area detection unit 3001, a feature vector or a subspace is obtained from the face area of the input image in the same manner as in the face dictionary generation, and the similarity with the face dictionary stored in the face dictionary generation unit 3002 is determined. calculate.
[0215]
By performing face recognition, it is possible to accurately identify a person and perform processing on each individual even if a plurality of faces are simultaneously displayed in the image.
[0216]
Even when a person once disappears from the image and appears again in the image, the same person can be identified by comparing the face dictionary with the face dictionary by the face area detection unit 3001. Then, if the person is registered in the face dictionary, it is possible to search for the processing information stored in the data storage unit 2103 using the previously assigned identifier, and reproduce the previously performed processing. Therefore, according to the present embodiment, even if the user once loses track of the object during the tracking, the tracking can be performed again.
[0219]
(Modification)
(1) Modification 1
In the second embodiment, when the transformation such as makeup is performed in this manner, there is a possibility that a problem may occur such that the face of the person on the transmitting side changes too much on the receiving side, and the person on the transmitting side cannot be identified. .
[0218]
Therefore, in order to maintain the security of the receiving side, personal authentication using a face is performed on an image before applying a deformation such as makeup, and the result is transmitted at the same time. By doing so, the transmitting person can be surely identified as that person, so that the receiving person can talk with confidence. Since the recognition is performed using the image before the makeup or the like is deformed, the recognition rate does not decrease. Of course, personal authentication may be performed by a method other than face recognition. For personal authentication based on face recognition, a method disclosed in Japanese Patent Laid-Open No. 9-251534 is used.
[0219]
(2) Modification 2
In the second embodiment, a 3D model unique to each user, a model wearing of a motion, a preference of application, a selection of a color and a material, and the like are referred to as user parameters. These user parameters can be stored for each user. These user parameters can be called out by personal authentication using login user information or an image from a camera, or other personal authentication using a fingerprint or a password.
[0220]
(3) Modification 3
The server that holds the makeup data and adds the makeup item may be the server or a local device of the user or the partner.
[0221]
When communicating with each other, there is no need for a server to mediate between them.
[0222]
Further, also in the display units 106 and 906, in an example in which communication is performed, either or both of the original image and the processed image are displayed on one or both of the own display device and the display device on the transmission side. Display may be performed in combination.
[0223]
Normally, it is desirable to display only processed data.
[0224]
(4) Modification 4
In the first embodiment, the case of simulating the wearing of a color contact lens has been described, but the makeup item is not limited to the color contact lens.
[0225]
Any of the general makeup items described in the second embodiment can be applied.
[0226]
Further, a color contact lens may be mounted in the second embodiment.
[0227]
The same applies to the third and fourth embodiments.
[0228]
Furthermore, other than that, hair, accessories and the like may be used.
[0229]
(5) Modification 5
In the first to fourth embodiments, an example has been described in which a 2D moving image is input from one camera, but the number of cameras need not be limited to one.
[0230]
That is, 3D data may be acquired by a general stereo technique using a plurality of cameras. In that case, more features may be obtained than those obtained by 2D.
[0231]
For example, when applying teak, the position where the cheekbones are exposed can be used as the reference position.
[0232]
Further, the 3D data can be acquired by using a motion stereo, not by a plurality of cameras but by a single camera, and such data may be used.
[0233]
Note that 3D data may be acquired by a device other than a camera.
[0234]
(6) Modification 6
In the first and second embodiments, only the feature of the face area is used. However, as in the third embodiment, the direction of the face may be detected, and a change in the direction may be added to the processing method.
[0235]
For example, it is conceivable that the application position is changed by affine transformation according to the face direction. This transformation is not only a simple affine transformation, but also prepares a general face shape model in advance, and calculates how the application position and range will change when the face orientation changes. May be calculated on the spot.
[0236]
In addition, not only one face shape model but also a plurality of face shape models may be prepared, and a model matching the shape of the user may be selected.
[0237]
As described above, when a user or a general three-dimensional shape model is obtained by any method, a processed image obtained by processing a two-dimensional image is mapped as a texture on the shape model. Good three-dimensional display can be obtained.
[0238]
(7) Modification 7
In the first to fourth embodiments, an example in which a PC is used has been described. However, if an image input device and an image display device are provided, the portion that performs the above processing need not be a PC.
[0239]
For example, processing hardware such as a semiconductor chip or a board combining them, an embedded computer, a game machine, or the like may be used.
[0240]
(8) Modification 8
In the first to fourth embodiments, an example has been described in which an input image is immediately displayed in real time. However, the present invention is not limited to this use, and an image is acquired in advance and any processing or Display may be performed or the processing result may be stored in a storage medium.
[0241]
(9) Modification 9
In the first to fourth embodiments, an example in which a data set for a makeup item is prepared in advance has been described. However, it is not always necessary to prepare the data set from the beginning, and the user can freely create actual data. The system which can input can be used.
[0242]
For example, an example of lipstick will be described.
[0243]
The user captures both the image before applying the lipstick and the image after applying the lipstick using the camera, which is an image input device, under the same conditions, and extracts features (that is, contours of the lips in this case) from both of them. Then, the image characteristics in the lip region, that is, differences in color and texture are extracted, and the data is processed by a predetermined method to create makeup data.
[0244]
The following method can be considered as a processing method.
[0245]
First, the average value of the extracted color of the lip region, for example, each of RGB is calculated before and after lipstick application, and the difference between them is used as makeup data.
[0246]
In addition, the makeup item and its data may be distributed in advance via a medium such as the Internet or a CD-ROM, which does not exist originally and is not input by the user.
[0247]
Further, the above-described makeup item data input device is not always necessary for a user terminal, and may have a function only for these distribution sites.
[0248]
(10) Modification 10
In the first to fourth embodiments, the manner in which makeup data is held is as follows: an image obtained by capturing an original material with a camera without a background, a state in which the original material is attached or applied to a target, Alternatively, an image of the target object in a state before being mounted or applied may be captured by a camera and difference information thereof may be recorded. In addition, there is an average value of information obtained by performing the imaging for different objects, or an image obtained by performing some statistical operation.
[0249]
Further, it is more preferable that the imaging is performed for different sizes and orientations of the same object, and that the normalization is performed using the parameters of the size and orientation or that the parameters are classified and held.
[0250]
Further, other than that, the same image can be partially pasted irrespective of the photographing conditions and the like, or an effect such as gloss by pearl or gloss can be partially provided.
[0251]
For example, a beard is an example of the former.
[0252]
(11) Modification 11
In the first to fourth embodiments, the case where the glasses are not worn has been described. However, there is no problem in the case where the glasses may be worn as the final state. If it is desired, the image of the glasses may be removed and the image may be created by removing the glasses.
[0253]
(12) Modification 12
In the third embodiment, an example has been described in which an ingredient that creates an image equivalent to the image displayed on the display unit 906 in the real world is created from the makeup data, but this is described in the first and second embodiments. Alternatively, a color contact lens or a cosmetic material may be produced in practice, or a material such as a template may be produced instead of the material, or the material may be prepared in advance.
[0254]
(13) Modification 13
In the first to fourth embodiments, when the detection of the face feature or the like fails, the image of the frame is not displayed, and the processing of the detected image of the previous frame is performed based on the feature detected in the frame. The applied image can also be displayed.
[0255]
By doing so, even if the detection of the feature fails, a display that does not become unnatural is possible.
[0256]
(14) Modification 14
In the first to fourth embodiments, the case where only one screen is displayed has been described. However, this may include two or more images.
[0257]
For example, images with different times are displayed side by side as shown in FIG. 15, images with different directions are displayed side by side as shown in FIG. 16, and images processed with different components are displayed side by side as shown in FIG. 17. It does not matter.
[0258]
Further, in this case, if the ingredients are displayed in the same ingredient and in a pattern different only in color, it is more effective as a user's assistance in selection.
[0259]
Further, as shown in FIG. 18, it is more preferable to have a function of enlarging and displaying only a part of the image.
[0260]
(15) Modification 15
In the first to fourth embodiments, an example has been described in which image processing is performed by α blending, but other methods may be used.
[0261]
For example, a method of replacing only the hue in the color information of the range may be considered.
[0262]
(16) Modification 16
In the first to fourth embodiments, an example in which a 2D image is displayed has been described, but the present invention is not limited to this.
[0263]
For example, when 3D data is created, it may be displayed on a 3D viewer.
[0264]
(17) Modification 17
In the first, third, and fourth embodiments, the case where the display units 106 and 906 display images on a device such as a display has been described. However, for example, the user's face may be directly irradiated with a projector or the like.
[0265]
(18) Modification 18
The makeup is performed according to the shape of the face of the individual, such as applying teak along the flow of the muscles of the cheeks, applying eyebrows to the extension of the position of the outer corner of the eyes along the skeleton near the eyebrows, etc. And the natural finish.
[0266]
Therefore, if a makeup artist or the like can apply makeup that matches the shape by looking at the three-dimensional shape of the face created based on the input image, a more natural makeup that matches the shape of the individual can be proposed. In such a case, the 3D editor is effective.
[0267]
The 3D editor is also effective when a makeup selected from makeup items prepared in advance is not automatically applied and a makeup or a painting is freely created.
[0268]
As a 3D editor, for example, a display unit 106 that reads three-dimensional shape data as shown in FIG. 19 and displays the shape in 3D, a color palette, a makeup tool palette such as a brush, a pencil, a puff, an eraser, and a blur It has an effect tool palette for effects, gloss effects, textures, etc. Using makeup tools, effect tools, etc., write makeup, painting, etc. in any shape and color on the 3D object read from the data, and the created writing objects are grouped objects for each object or grouped You can also save it as a makeup item.
[0269]
The makeup editor may be used by the person who is to make makeup, or may be used by a makeup artist or the like.
[0270]
It can also be used as a tool for learning makeup specially.
[0271]
Therefore, you may take a face image and use an editor to create your favorite make-up, or you may take a face image and use the editor to send the makeup image or data to an expert and comment or correct it In some cases, the face image is taken, the face image is transmitted without makeup, the received face image is received by the receiving side, and the receiving side applies a make-up to the 3D object using an editor. Image and 3D data may be sent back.
[0272]
The “make-up” here is not limited to normal make-up, but may include stage make-up (for example, Takarazuka make-up, animal make-up, kabuki make-up, etc.) and painting. In this stage makeup, the actor's face can be photographed in advance, and the makeup artist can use it to formulate a makeup suitable for the stage. Painting can also make your favorite design.
[0273]
Although the three-dimensional make editor has been described above, a two-dimensional editor that can directly write on an image may be used. With such an editor function, a makeup item can be freely created and edited.
[0274]
When actually applying makeup, there are demands for those who are new to makeup for the first time who do not know how to make at all and want to know how to make, and for those who are not even beginners to want to know professional techniques etc. . In response to such a request, a function of sequentially displaying how to apply foundation, eyebrows, teak, and the like can be incorporated into the makeup editor as a support tool for physically applying makeup.
[0275]
The display may be two-dimensional or three-dimensional, and need not necessarily be incorporated in the make editor, and the support tool may be independent. Such a support tool can also be used as a tool for conveying intangible culture to posterity, such as showing how Kabuki makeup is applied to children and the like.
[0276]
(19) Modification 19
In the first and third embodiments, the result of the deformation such as the makeup is displayed on the display device such as the display, but the result of the makeup or the like may be directly reflected on the face or the like of the user.
[0277]
This may be done mechanically by the device or by a human. For example, painting a user's face using a brush or the like can be considered.
[0278]
(20) Modification 20
In the first and third embodiments, the processing method determination units 105 and 505 may directly apply to a user's face, a model face, a face on a display, or the like using an input device such as a brush or a tablet.
[0279]
For example, when applying the brush to the user's face using a brush, it is conceivable to determine the location to apply by applying a surface with a brush sensor to the user.
[0280]
(21) Modification 21
In the second embodiment, an example in which the display unit 506 is connected via a network has been described. However, one or a plurality of processing method determination units 505 may exist via the network.
[0281]
For example, it is conceivable that a makeup artist or the like at a remote place makes up the user, corrects the makeup of the user, or gives advice.
[0282]
Also, the processing method determining unit 505 on the other side of the network may be operated not only by humans but also by a computer or the like.
[0283]
Further, a plurality of network partners may be operated. In this case, not only humans but also computers may be operated, and each may operate simultaneously.
[0284]
(22) Modification 22
If the user is interested in virtually applying makeup in the virtual makeup apparatus, a desire to obtain information on a method for actually applying such makeup and necessary products may occur. .
[0285]
In this modification, as a method for satisfying the above-mentioned user desire, a function for supporting a user who wants to actually perform virtual makeup will be described in detail.
[0286]
If the user actually wants to apply the applied makeup to his / her face as it is, it is necessary to first obtain information on necessary cosmetic products. Therefore, a list of cosmetic products required for each type of makeup to be applied is prepared in advance, and the user can browse the list on the screen.
[0287]
This list includes information such as a maker, a selling price, and an ingredient contained in the cosmetic product, and is important reference information when a user tries to purchase the product. As for the timing of browsing, "voluntary browsing" in which the user presses the product list display button by himself or "automatic display" in which the system automatically displays the product list when the user has displayed the same makeup for a certain period of time, etc. Can be considered.
[0288]
As a method for the user to actually purchase a product selected from the list, a method in which the user performs a purchase process on the Internet without directly visiting a store is considered. This method is a purchasing system similar to the so-called "online shopping", in which the user selects a desired product from a list and presses a purchase button, and the information is automatically transmitted to the contracted store, This is the system where products are sent.
[0289]
(23) Modification 23
In the second embodiment, when communication is performed mutually, makeup data may be extracted from a partner image, and makeup simulation may be performed based on the data.
[0290]
(24) Modification 24
In the first to fourth embodiments, when performing communication, the combination of makeup data may be prepared in advance by a communication partner.
[0291]
Further, the combination may be prepared in advance so as to resemble a celebrity.
[0292]
When creating makeup data, there may be a function of taking in a photograph of a magazine or the like with a scanner, extracting makeup data from the image, and reproducing the same makeup.
[0293]
Also, a list of necessary items may be output based on a combination of the selected makeup data.
[0294]
Also, an example has been described in which a dialog displayed on the screen is selected with a mouse when selecting a make-up image and parameters, but these selections may be made using voice.
[0295]
In that case, the voice is captured from a device that captures voice, such as a microphone, into the virtual makeup device, and a command represented by the voice captured by the voice recognition device is executed. For example, it is possible to convey an image such as "more sharply", designate a position such as "slightly lower", or specify various positions such as "more red" or "eye shadow is blue". Since the user does not have to move his hand each time, it is very convenient to use.
[0296]
Also, makeup data and a combination thereof can be stored as a predetermined makeup language. This language is specified for each part such as the lips and eyes or for each item such as lipstick and eyeshadow, and the position, shape, color and texture are specified as parameters. A makeup scheme for the entire face can be determined by their combination. These data can be determined as general data, or can be determined individually for each maker that manufactures makeup items. Once determined, the makeup can be reproduced in a language, so that, for example, data can be reduced when communicating, and anyone can reproduce the same makeup.
[0297]
(25) Modification 25
In the fifth embodiment, the attention area is described as the pupil area, but is not limited to this. For example, a place designated by the user may be used as the attention area, or the center of the image may be fixed and used as the attention area. Further, the gaze position of the user may be used as the attention area by using the gaze position detection method proposed in Japanese Patent Application Laid-Open No. H11-175246.
[0298]
In the fifth embodiment, an example has been described in which a guide pattern is used in pursuit of a pupil. Since only the pupil moves even if the face does not move, the area to be enlarged may shake more than necessary. In order to prevent this problem, for example, the relative positions of the pupil with respect to the inner and outer corners of the eye may be held in advance when the guide pattern is generated, and the pupils may be compared during tracking.
[0299]
(26) Modification 26
FIGS. 31A and 31B are diagrams illustrating an example of the image input unit 2101 and the display unit 2106 in the virtual makeup apparatus according to the fifth embodiment. In this modification, a camera 3101 serving as an image input unit 2101 and a display 3102 serving as a display unit 2106 are integrated, and a handle 3103 for a user to hold by hand is attached.
[0300]
FIG. 31A shows a case where the entire face is shown on the display 3102 while the user is away from the camera 3101. FIG. 31B shows a state in which the user approaches the camera 3101 and the display 3102 displays the periphery of the eye.
[0301]
When the image input unit 2101 and the display unit 2106 have such an integrated structure, the user can use the hand mirror as if he / she is actually using the hand mirror.
[0302]
Communication with other parts (for example, the feature detection unit 2102, the image processing unit 2104, and the like) may be performed via a cable or may be performed wirelessly.
[0303]
This modification may be realized using a camera-equipped mobile terminal such as a camera-equipped PDA, a camera-equipped mobile phone, and a camera-equipped tablet PC.
[0304]
【The invention's effect】
As described above, according to the present invention, by inputting and displaying an image in real time and performing robust detection of a feature point or the like, a user can naturally feel comfortable wearing without being bothered by positioning or the like. The virtual makeup device which can obtain is attained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment.
FIG. 2 is an external view of the first embodiment.
FIG. 3 is a diagram illustrating a detection example of a pupil iris region.
FIG. 4 is a diagram illustrating an example of a selection dialog.
FIG. 5 is a configuration diagram of a second embodiment.
FIG. 6 is a diagram illustrating an example of an eye shadow application area.
FIG. 7 is a diagram of an example of a teak application area.
FIG. 8 is a diagram illustrating an example of a lipstick application area.
FIG. 9 is a configuration diagram of a third embodiment.
FIG. 10 is a diagram of an example in which painting is performed.
FIG. 11 shows how a motion matrix is calculated.
FIG. 12 is a diagram of an example of a processing tool material.
FIG. 13 is a flowchart illustrating a process according to a fourth embodiment;
FIG. 14 is a diagram illustrating an example of creating an image under illumination conditions of another environment.
FIG. 15 is a diagram illustrating a first example of a multi-image display according to a modification 14;
FIG. 16 is a second diagram of the example of displaying a plurality of images according to the fourteenth modification.
FIG. 17 is a diagram illustrating a third example of the multiple image display in the modification 14;
FIG. 18 is a diagram illustrating an example of an enlarged image display according to a modification 14;
FIG. 19 is a diagram illustrating an example of a 3D editor according to a modification 18;
FIG. 20 is an example of a computer that operates a program according to the fifth embodiment.
FIG. 21 is a configuration diagram of a fifth embodiment.
FIG. 22 is an exemplary view for explaining the flow of a process performed by a feature detecting unit according to the fifth embodiment;
FIG. 23A shows an example of detection of a pupil iris region. (B) An example of detection of a pupil iris region.
FIG. 24 is an example of a normalized image for a guide pattern.
FIG. 25 is an example of parameters of a guide pattern.
FIG. 26 is an example of an eye shadow application area.
FIG. 27 is an explanatory diagram of threshold value determination based on a luminance histogram.
FIG. 28 is a display example of the fifth embodiment.
FIG. 29 is an explanatory diagram of a tracking method of an attention area.
FIG. 30 is a configuration diagram of a sixth embodiment.
FIG. 31A is a view showing the entire face in Modification Example 26; (B) The figure which expanded and displayed the periphery of the eye in the modification 26.
[Explanation of symbols]
100 virtual makeup device
101 Image input unit
102 feature detector
103 Data storage unit
104 Image processing unit
105 machining method determination unit
106 display
2001 processor
2002 memory
2003 Magnetic Disk Drive
2004 Optical Disk Drive
2005 Image output unit
2006 Input reception unit
2007 Input / output section
2008 display device
2009 Input device
2010 External device
2101 Image input unit
2102 feature detector
2103 Data storage unit
2104 Image processing unit
2105 Processing method determination unit
2106 display
2107 Size / location information management unit
3001 Face region detection unit
3002 face dictionary generation unit

Claims (14)

At least a still image including a face region of a person, or a virtual makeup device that processes an image before makeup of a moving image to process the image of a face of a makeup-applied person,
Feature detection means for detecting a feature point related to the face, a feature area, or both from the image before the makeup,
Data on the type of the item regarding the item for applying the makeup, facial feature points, characteristic regions, or both, and positional relationship data indicating the positional relationship of the item, and the color, shape, or of the item Data storage means for storing makeup data including the application range;
From the stored item type, a processing method determining means for determining data on the type of item required for makeup,
The item is applied to the face based on the positional relationship data and the detected feature point, the feature area, or both of the determined item type, and the applied item is based on the makeup data. Image processing means for processing an image to make up the face,
Display means for displaying an image of the face on which the makeup is applied,
A virtual makeup device comprising: 2. The virtual makeup apparatus according to claim 1, further comprising a display image transmitting unit that transmits the makeup-applied face image via a network. The virtual makeup apparatus according to claim 1, wherein the feature detection unit receives data on the image before makeup via a network. Having a face direction detecting means for detecting the direction of the face from the image before makeup,
The virtual makeup apparatus according to at least one of claims 1 to 3, wherein the image is processed according to the face direction detected by the face direction detection unit. The virtual makeup apparatus according to claim 1, wherein the makeup-applied image is pasted on a three-dimensional model of the face of the person by texture mapping. In the display means, an image in which makeup is applied at different times, an image in which makeup in a different face direction is applied, an image in which makeup is applied in different resolutions, an image in which makeup is applied in different parts, or in which different makeup is applied The virtual makeup apparatus according to at least one of claims 1 to 5, wherein an image is displayed simultaneously. The virtual makeup device according to at least one of claims 1 to 6, wherein the item is a color contact lens, eyeshadow, cheek, lipstick, or tattoo. At least a still image including a person's face region, or a virtual makeup method of processing an image before makeup of a moving image into an image of a face of a makeup-applied person,
A feature detection step for detecting a feature point, a feature region, or both of the face from the image before makeup,
Data on the type of the item regarding the item for applying the makeup, facial feature points, characteristic regions, or both, and positional relationship data indicating the positional relationship of the item, and the color, shape, or of the item A data storage step of storing makeup data including the application range;
From the stored item type, a processing method determining step of determining data on the type of item required for makeup,
The item is applied to the face based on the positional relationship data and the detected feature point, the feature area, or both of the determined item type, and the applied item is based on the makeup data. An image processing step of processing the image to make up the face;
A display step of displaying an image of the face on which the makeup is applied,
A virtual makeup method comprising: At least a still image including a person's face region, or a program that implements a virtual makeup method by processing an image before makeup of a moving image into an image of a face of a makeup-applied person by a computer,
A feature detection function for detecting a feature point related to the face, a feature region, or both from the image before the makeup,
Data on the type of the item regarding the item for applying the makeup, facial feature points, characteristic regions, or both, and positional relationship data indicating the positional relationship of the item, and the color, shape, or of the item A data storage function for storing makeup data including the application range;
From the stored item type, a processing method determining function for determining data on the type of item required for makeup,
The item is applied to the face based on the positional relationship data and the detected feature point, the feature area, or both regarding the determined item type, and the fitted item is applied based on the makeup data. An image processing function that processes images to make up the face,
A display function of displaying an image of the face on which the makeup is applied,
The program of the virtual makeup method, wherein the program is realized by a computer. An image input unit for inputting a moving image in which at least a part of a person's face is reflected,
A feature detection unit that detects a feature point or a feature region of the face of the person in each image of the input moving image,
A face size / position information management unit for determining the size of the face of the person reflected in each image, the position of the face, and the enlargement rate of the face image according to the rate of change of the face size;
An image processing unit that obtains a region to be processed in each image from the detected feature points or characteristic regions, processes the pixel information of this region, and enlarges the image around the position according to the enlargement ratio,
An image display unit for displaying the processed image,
A virtual makeup device provided with. The face size / position information management unit estimates a region of interest of the person, out of the face of the person,
The image processing unit enlarges each image according to the enlargement ratio around the attention area,
The virtual makeup device according to claim 10. An image input unit for inputting a moving image in which at least a part of a person's face is reflected,
A face area detection unit that detects a face area of a person present in each image of the input moving image,
A face identification unit that identifies a person using the detected face region,
For each identified person, a feature detection unit that detects a feature point or a feature region in the detected face region,
For each identified person, an image processing unit that obtains an area to be processed in the face area from the obtained feature points or characteristic areas, and processes pixel information of this area,
An image display unit for displaying the processed image,
A virtual makeup device provided with. The virtual makeup apparatus according to claim 12, wherein
Furthermore, a face size / position information management unit for obtaining a face size, a face position, and an enlargement rate of a face image according to a change rate of the face size for each identified person,
The image processing unit enlarges a face area according to an enlargement factor obtained around the position of the face,
13. The virtual makeup apparatus according to claim 12, wherein: Input a moving image that reflects at least a part of the person's face,
Detecting feature points or feature areas of the face of the person in each image of the input moving image,
The size of the face of the person reflected in each image, the position of the face, and the enlargement rate of the face image according to the rate of change of the face size,
A region to be processed in each image is obtained from the detected feature points or characteristic regions, and pixel information of this region is processed.
Enlarging each image according to the enlargement factor around the position of the face,
Display the processed image,
Virtual makeup method.

Images