JP6596979B2 - 描画装置及び描画装置の描画方法 - Google Patents

Description

本発明は、描画装置及び描画装置の描画方法に関するものである。

従来、人の指の爪に好みのネイルデザインを印刷するネイルプリント装置が知られている（例えば、特許文献１参照）。
このような装置を用いれば、ネイルサロン等を利用することなく、手軽にネイルプリントを楽しむことができる。

特表２００３−５３４０８３号公報

しかしながら、複数色のインクを用いてネイルプリントを行う場合に、ある色インクで描画を行った後、塗布されたインクを乾燥させる工程を複数回繰り返して行うことがある。このような場合に、描画を行うごとに描画対象である爪の位置がずれる可能性がある。
ここで爪の位置がずれたまま補正をせずに描画を行うと、絵柄等の位置がずれたり色が重なって塗られてしまったりする等のおそれがあり、高精細なネイルプリントを行うことが難しいという問題があった。

本発明は以上のような事情に鑑みてなされたものであり、複数回に分けて爪に描画を施す場合に、一つの描画が終わって、次の描画を開始する間に爪の位置が移動してしまった場合でも、描画位置がずれることを防いで、高品質の描画を行うことができる描画装置及び描画装置の描画方法を提供することを目的とするものである。

前記課題を解決するために、本発明の描画装置は、
描画が施されていない爪を有する指を撮影して取得した第１の指画像における、前記指の領域を画する第１の指輪郭内の前記爪を除いた領域における特徴点と、前記爪に第１の描画が施された前記指を撮影して取得した第２の指画像における、前記指の領域を画する第２の指輪郭内における特徴点と、に基づいて、前記第１の指輪郭の位置を前記第２の指輪郭の位置に合せるように補正する位置合せ処理を行う位置合せ処理部と、
前記第２の指画像における前記爪の領域を画する第２の爪輪郭の位置を探索する爪輪郭探索部と、
前記位置合せ処理部によって補正された前記第１の指輪郭の前記位置に応じて、前記爪に第２の描画を施す描画部と、
を備え、
前記爪輪郭探索部は、
前記第１の指画像における前記爪の領域を前記爪の延在方向における上部と下部とに分割し、
前記下部の領域については、前記第１の指画像における前記爪の領域を画する第１の爪輪郭との境界領域における前記第１の爪輪郭の内側領域を除く領域のテクスチャーに基づくテンプレートマッチングを行うことにより、前記第２の爪輪郭を探索し、
前記上部の領域については、前記第２の指画像において前記爪の領域と前記爪の背景となる領域とのエッジを検出することにより、前記第２の爪輪郭を探索することを特徴としている。

本発明によれば、複数回に分けて爪に描画を施す場合に、一つの描画が終わって、次の描画を開始する間に爪の位置が移動してしまった場合でも、描画位置がずれることを防いで、高品質の描画を行うことができる。

（ａ）は、本実施形態における描画装置の正面図であり、（ｂ）は、（ａ）に示された描画装置の内部構成を示す側面図である。 図１におけるII-II断面図である。 （ａ）は、本実施形態における描画ヘッドの上面図であり、（ｂ）は、本実施形態における描画ヘッドの側面図である。 本実施形態に係る描画装置の制御構成を示した要部ブロック図である。 （ａ）は、第１の指画像における特徴点の抽出対象領域を示した図であり、（ｂ）は、第２の指画像における特徴点の抽出対象領域を示した図である。 本実施形態における描画処理の手順を示した説明図である。 本実施形態における描画処理の概略を示すフローチャートである。 本実施形態における爪輪郭の検出処理を示すフローチャートである。 （ａ）は、描画前の初期状態の爪を含む印刷指の平面図であり、（ｂ）は、第１の描画後であって第２の描画前の爪を含む印刷指の平面図であり、（ｃ）は、第２の描画後の爪を含む印刷指の平面図である。

図１から図９（図９（ａ）から図９（ｃ））を参照しつつ、本発明に係るネイルプリント装置（描画装置）及びネイルプリント装置（描画装置）の描画方法の一実施形態について説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、ネイルプリント装置１は手の指の爪の表面を描画対象面として、これに描画するものとして説明するが、本発明の描画対象面は手の指の爪の表面に限るものではなく、例えば足の指の爪の表面を描画対象面としてもよい。

図１（ａ）は、ネイルプリント装置の内部構成を示すネイルプリント装置の正面図であり、図１（ｂ）は、図１（ａ）に示されたネイルプリント装置の内部構成を示す側面図である。図２は、図１（ａ）におけるII-II線に沿う断面図である。
図１（ａ）及び図１（ｂ）に示すように、本実施形態におけるネイルプリント装置１は、描画ヘッド４３が描画用具であるペン４１とインクジェット描画部７１とを備え、プロッタ方式とインクジェット方式とを併用して印刷指Ｕ１の爪Ｔに描画を施す描画装置である。
このネイルプリント装置１は、ケース本体２と、このケース本体２に収容される装置本体１０とを備えている。

ケース本体２の側面上部一端には、後述する描画部４０のペン４１及びインクジェット描画部７１を交換するために開閉可能に構成された蓋部２３が設けられている。蓋部２３は、例えばヒンジ等を介して、図１に示すように閉状態から開状態まで回動自在となっている。

ケース本体２の上面（天板）には操作部２５（図４参照）が設置されている。
操作部２５は、ユーザが各種入力を行う入力部である。
操作部２５には、例えば、ネイルプリント装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、爪Ｔに描画するデザイン画像を選択するデザイン選択釦、描画開始を指示する描画開始釦等、各種の入力を行うための図示しない操作釦が配置されている。

また、ケース本体２の上面（天板）のほぼ中央部には表示部２６が設置されている。
表示部２６は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
本実施形態において、この表示部２６には、例えば、印刷指Ｕ１を撮影して得た指画像（爪Ｔの画像を含む印刷指Ｕ１の画像）、この指画像中に含まれる爪Ｔの輪郭等の画像、爪Ｔに描画すべきデザイン画像を選択するためのデザイン選択画面、デザイン確認用のサムネイル画像、各種の指示を表示させる指示画面等が適宜表示される。
なお、表示部２６の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。

装置本体１０は、ほぼ箱状に形成され、ケース本体２の内部下方に設置された下部機枠１１と、この下部機枠１１の上方で且つケース本体２の内部上方に設置されている上部機枠１２とを備えている。

まず、下部機枠１１について説明する。
下部機枠１１は、背面板１１１、底板１１２、左右一対の側板１１３ａ，１１３ｂ、Ｘ方向移動ステージ収容部１１４、Ｙ方向移動ステージ収容部１１５及び隔壁１１６を有する。
側板１１３ａ，１１３ｂの下端部は、底板１１２の左右両端部にそれぞれ連結され、側板１１３ａ，１１３ｂが底板１１２に対して立てられた状態に設けられている。
背面板１１１の下部は、前方（指挿入方向手前側）に向かって２段に窪むように形成されている。背面板１１１の下端部は底板１１２の前端部に連結されており、背面板１１１は、底板１１２と側板１１３ａ，１１３ｂによって囲われた領域を前後に区切っている。
この窪んだ背面板１１１の後ろ側に形成される空間がＸ方向移動ステージ収容部１１４、Ｙ方向移動ステージ収容部１１５（図１（ｂ）参照）となっている。Ｘ方向移動ステージ収容部１１４内には、描画部４０が前方（指挿入方向手前側）に移動した際に描画部４０のＸ方向移動ステージ４５が収容される。また、Ｙ方向移動ステージ収容部１１５内には、描画部４０のＹ方向移動ステージ４７が配置されている。
また、隔壁１１６は、下部機枠１１の内部前方側の空間（背面板１１１、底板１１２及び側板１１３ａ，１１３ｂによって囲われた指挿入方向手前側の空間）を上下に区切るように下部機枠１１の内側に設けられている。隔壁１１６はほぼ水平に設けられ、隔壁１１６の左右両端部が側板１１３ａ，１１３ｂにそれぞれ連結され、隔壁１１６の後端部が背面板１１１に連結されている。

この下部機枠１１には、指固定部３０（図１（ｂ）参照）が一体的に設けられている。
指固定部３０は、描画を施す爪Ｔに対応する指（以下、これを「印刷指Ｕ１」という。）を受け入れる指受入部３１と、この印刷指Ｕ１以外の指（以下、これを「非印刷指Ｕ２」という。）を退避させる指退避部３２と、から構成されている。
指受入部３１は、隔壁１１６の上側であって下部機枠１１の幅方向のほぼ中央部に配置されている。また、隔壁１１６によって下部機枠１１の下側に区分けられた空間が指退避部３２を構成している。
例えば、薬指の爪Ｔに描画を施す場合には、指受入部３１に印刷指Ｕ１としての薬指を挿入し、非印刷指Ｕ２であるその他の４指（親指、人差し指、中指、小指）を指退避部３２に挿入する。
図１（ｂ）及び図２に示すように、指受入部３１は、下部機枠１１の前面側（印刷指挿入方向の手前側）に開口しており、下側が隔壁１１６の一部を構成する指載置部１１６ａ、両側が仕切り３１ａ，３１ｂ、奥側が仕切り３１ｃによって区画されている。指載置部１１６ａは、描画を施す爪Ｔの指（印刷指Ｕ１）をＸＹ平面上に載置するものである。
なお、本実施形態では、後述するように、指載置部１１６ａを背景として印刷指Ｕ１の撮影が行われ、背景としての指載置部１１６ａとの色や輝度の差等から印刷指Ｕ１の指領域の検出が行われるため、指載置部１１６ａはできるだけ画像処理において印刷指Ｕ１と区別しやすい色であることが望ましく、例えば肌色の反対色である青色や黒色等とすることが好ましい。
また、指受入部３１の上側は天井部３１ｄによって区画されている。天井部３１ｄには、指受入部３１に挿入された印刷指Ｕ１の爪Ｔを露出させるための窓３１ｅが形成されている。

また、隔壁１１６の上面であって下部機枠１１の前面側の両側部には、下部機枠１１の前面側を塞ぐ前壁３１ｆ（図１（ａ）参照）が立設されている。また、隔壁１１６の上面には、この前壁３１ｆの中央部寄りの端部から前記指受入部３１に向けて狭窄し、印刷指Ｕ１を指受入部３１内に案内する一対のガイド壁３１ｇ（図１（ａ）参照）が立設されている。
ユーザは指受入部３１に挿入した印刷指Ｕ１と指退避部３２に挿入した非印刷指Ｕ２との間に隔壁１１６を挟むことができる。そのため、指受入部３１内に挿入された印刷指Ｕ１が安定して固定される。

下部機枠１１の上面であって、指受入部３１の横（ケース本体２の媒体挿出口２４に対応する位置であり、本実施形態では、図１（ａ）及び図２において左側）には、後述する描画ヘッド４３による描画可能範囲内に、後述するペン４１のペン先（先端部）４１３の書き出し時のかすれ等を無くすための慣らし書きを行う慣書部６１が設けられている。
慣書部６１は、平板状の部分であり、前述のケース本体２の媒体挿出口２４から挿入された描画媒体６１ａが載置されるようになっている。
慣書部６１に載置される描画媒体６１ａは、ペン先（先端部）４１３の慣らし書きを行うことができるものであればよく、例えば紙片である。

また、下部機枠１１の上面であって、指受入部３１の横（本実施形態では、図１（ａ）及び図２において右側）には、後述する描画ヘッド４３の移動可能範囲内に、非描画時に、描画ヘッド４３が待機するホームエリア６０が設けられている。
ホームエリア６０には、後述するペンホルダ４２に対応する数（本実施形態では１つ）だけペンキャップ６２が設置されている。
ホームエリア６０内であってペン先４１３がペンキャップ６２に収容されたときにインクジェット描画部７１が配置される位置に対応する位置には、インクジェット保守部６３が設けられている。インクジェット保守部６３は、例えば後述するインクジェット描画部７１のインク吐出部（ノズル面）をクリーニングするためのクリーニング機構やインク吐出部（ノズル面）の保湿状態を保つためのキャップ機構等（いずれも図示せず）で構成されている。
なお、ホームエリア内のペンキャップ６２、インクジェット保守部６３等の配置はここで例示したものに限定されない。

描画部４０は、描画ヘッド４３、描画ヘッド４３を支持するユニット支持部材４４、描画ヘッド４３をＸ方向（図１（ａ）及び図２におけるＸ方向、描画装置１の左右方向）に移動させるためのＸ方向移動ステージ４５、Ｘ方向移動モータ４６、描画ヘッド４３をＹ方向（図１（ｂ）及び図２におけるＹ方向、描画装置１の前後方向）に移動させるためのＹ方向移動ステージ４７、Ｙ方向移動モータ４８等を備えて構成されている。

図３（ａ）は、本実施形態における描画ヘッドの上面図であり、図３（ｂ）は、描画ヘッドの側面図である。
図３（ａ）及び図３（ｂ）に示すように、本実施形態の描画ヘッド４３には、ペン４１を保持するペンホルダ４２とインクジェット描画部７１を保持するインクジェットホルダ７２とが隣り合って配置されている。
インクジェット描画部７１は、例えば、イエロー（Ｙ；YELLOW）、マゼンタ（Ｍ；MAGENTA）、シアン（Ｃ；CYAN）のインクに対応する図示しないインクカートリッジと各インクカートリッジにおける描画対象（爪Ｔ）に対向する面（本実施形態では、図１（ａ）等における下面）に設けられた図示しないインク吐出部とが一体に形成されたインクカートリッジ一体型のヘッドである。インク吐出部は、それぞれの色のインクを噴射する複数のノズルからなるノズルアレイを備えており、インクジェット描画部７１は、インクを微滴化し、インク吐出部から描画対象（爪Ｔ）の被描画面に対して直接にインクを吹き付けて描画を行う。なお、インクジェット描画部７１は、上記３色のインクを吐出させるものに限定されない。その他のインクを貯留するインクカートリッジ及びインク吐出部を備えていてもよい。

本実施形態のペンホルダ４２には、１本のペン４１が装着可能となっている。
ペン４１は、爪Ｔの表面を描画対象面とし、先端部が描画対象面である爪Ｔの表面に接触して描画を施す筆記具である。
図３（ｂ）等に示すように、ペン４１は、棒状のペン軸部４１１の先端側（図３（ｂ）において下側）にペン先４１３が設けられたものである。
ペン軸部４１１の内部は、各種インクを収容するインク収容部となっている。
ペン軸部４１１の内部に収容されるインクとしては、各種のインクが適用可能である。インクの粘度や色材の粒径（粒子の大きさ）等は特に限定されず、例えば、金銀のラメ入りのインクや白色のインク、ＵＶ硬化型のインクやジェルネイル、アンダーコート用インク、トップコート用インクやマニキュア液等も用いることができる。

本実施形態において、ペン４１は、例えばペン先４１３を爪Ｔの表面に押し当てることでペン軸部４１１内に収容されているインクが染み出して描画する、ペン先４１３がボールペンタイプとなったペンである。
なお、ペン４１は、ボールペンタイプのものに限定されない。例えばフェルト状のペン先にインクを染み込ませて描画するサインペンタイプや、束ねた毛にインクを染み込ませて描画する筆ペンタイプのもの等であってもよい。
また、ペン先４１３の太さも各種のものを用意することができる。
ペンホルダ４２に保持されるペン４１は、全て同じタイプのペン先４１３を有するペンでもよいし、異なるタイプのペン先４１３を有するペンであってもよい。
ペン４１はペンホルダ４２に上方から挿通するだけで保持されている。このため、ケース本体２に設けられている蓋部２３を開けて、例えば手やピンセットでペン軸部４１１の上端部を摘み上げ引き出す等により、容易に交換が可能である。
これにより、ユーザは、ペンホルダ４２に装着するペン４１を、描画したいネイルデザインに応じて色やペン先４１３の種類やインクの種類の異なるペン４１に適宜入れ替えることで、幅広いネイルデザインを実現することができる。

ペンホルダ４２は、上下に開口し内部にペン４１が挿通される筒状部材４２１と、筒状部材４２１の下側（図３（ｂ）における下側）の開口を塞ぐように配置されたペン係止部材４２２と、ペン４１とともに上下動する補助軸部材４２３とを備えている。
ペン係止部材４２２には、ペン４１のペン軸部４１１における先端側を係止する係止孔４２２ａが形成されている。ペン４１は、ペン軸部４１１の先端側がペン係止部材４２２の係止孔４２２ａに嵌め込まれることによってペンホルダ４２内に係止される。なお、ペン軸部４１１の先端側の外周面に図示しないねじ溝を形成し、係止孔４２２ａの内周面に軸部のねじ溝と螺合可能な図示しないねじ溝を形成し、係止孔４２２ａ側のねじ溝にペン軸部４１１側のねじ溝を螺着させることでペン４１を係止孔４２２ａに係止させてもよい。
本実施形態において、補助軸部材４２３はペン４１を挟むように２本配置されている。各補助軸部材４２３の下端部はペン係止部材４２２に嵌め込まれており、これにより、補助軸部材４２３はペン４１のペン軸部４１１と平行するように固定されている。
補助軸部材４２３には、ペン４１の軸中心から離れる方向に突出する係止突起４２４が設けられている。
また、補助軸部材４２３の軸周りには、コイルバネ４２５が巻回されている。コイルバネ４２５は、外力が加わらない状態において補助軸部材４２３を上方向に付勢するものであり、非描画状態においてペン４１の位置を、ペン先４１３が爪Ｔに当接しない位置に保持する。

ペンホルダ４２の近傍には、ステッピングモータからなるペン上下用モータ４２６と、ペン上下用モータ４２６の回転軸に取り付けられた歯車４２７に歯合するギア４２８と、このギア４２８の回転に追従して回動する板バネ４２９とが設けられている。本実施形態では、これらペン上下用モータ４２６、歯車４２７、ギア４２８、板バネ４２９等によりペン４１の昇降機構が構成されている。
ここで、板バネ４２９は、補助軸部材４２３に設けられた係止突起４２４に係合して、この係止突起４２４を押し下げることにより、ペン４１を下方へと押し下げることができるようになっている。
すなわち、ペン上下用モータ４２６の回転に伴って板バネ４２９が回動して、板バネ４２９が係止突起４２４に係合し、係止突起４２４を下方へと押し下げると、ペン４１はコイルバネ４２５の付勢力に抗して下方へと押し下げられる。
このように本実施形態では、板バネ４２９で直接ペン４１を押し下げるのではなく、係止突起４２４を押し下げる構成とし、板バネ４２９がペン４１の上方を覆わないため、ペン４１の交換を容易に行うことができとともに、ペン４１の昇降機構の高さを比較的低く抑え、省スペース化を図ることができる。

ここで、ペン４１の昇降機構の動作について具体的に説明する。
まず、非描画時においては、係止突起４２４に対して板バネ４２９が外力を加えない状態となっている。このように外力（板バネ４２９による押圧力）が加わっていない状態では、ペン４１は、コイルバネ４２５の付勢力により、上方向（図１（ａ）及び図３（ｂ）において上方向）の位置に押し上げられ、ペン４１の先端部であるペン先４１３は描画対象面である爪Ｔの表面から離れ、当該表面に当接しない高さに保持されている。
これに対して、描画時には、ペン上下用モータ４２６を所定のステップ数で回転させ、板バネ４２９によって係止突起４２４を押し下げる。これにより、ペン４１が押し下げられる。
ペン上下用モータ４２６を駆動させる際の所定のステップ数は、指受入部３１に挿入された印刷指Ｕ１の爪Ｔの高さ等に応じて適宜設定される。
すなわち、本実施形態のネイルプリント装置１では、後述の爪情報を事前に取得しておく。そして、当該爪情報に基づいて、ペン４１の先端部であるペン先４１３が爪Ｔに当接する当接位置の爪Ｔの高さを認識し、その高さに応じてペン上下用モータ４２６のステップ数を決定する。こうして決定したステップ数でペン上下用モータ４２６を駆動させ、板バネ４２９によってペン４１を押し下げることにより、ペン４１のであるペン先４１３を爪Ｔの表面に近づけて接触させ、適正な筆圧を印加する。
なお、描画の際に、描画に伴って爪Ｔの高さが変化したときは、その都度ペン上下用モータ４２６のステップ数を増減してペン４１の筆圧を調整し、筆圧が概ね一定になるように調整しながら描画を行う。ここで、ペン上下用モータ４２６のステップ数の増減による筆圧の調整は、爪Ｔの高さの変化が所定量（例えば、０．５ｍｍ）だけ変化する毎に行い、爪Ｔの高さの変化が所定量未満であるときには筆圧の調整を行わないが、このときには爪Ｔの形状に応じて板バネ４２９が撓み変形（弾性変形）することによって、ペン４１が自動的に上下動するため、ペン４１が爪Ｔに確実に当接すると同時に筆圧を適度な値に保つことができる。
なお、板バネ４２９のバネ定数はそれ程大きくなく、このバネ定数は、板バネ４２９による押圧力（外力）が爪Ｔにかかったときに爪Ｔに痛みなどを感じることがない程度の値に設定されている。また、描画を行う際には、板バネ４２９が適度に撓むことによりペン４１の上下動による衝撃が吸収されるとともに、ペン先４１３に概ね一定の適度な筆圧がかかった状態を維持したままペン４１が爪Ｔの高さに追従して上下動し、描画対象である爪Ｔの表面に所望のネイルデザインを綺麗に描画することができる。

また、ユニット支持部材４４は、Ｘ方向移動ステージ４５に取り付けられたＸ方向移動部４５１に固定されている。Ｘ方向移動部４５１は、Ｘ方向移動モータ４６の駆動によりＸ方向移動ステージ４５上を図示しないガイドに沿ってＸ方向に移動するようになっており、これにより、ユニット支持部材４４に取り付けられている描画ヘッド４３が、Ｘ方向（図１（ａ）におけるＸ方向、ネイルプリント装置１の左右方向）に移動するようになっている。
また、Ｘ方向移動ステージ４５は、Ｙ方向移動ステージ４７のＹ方向移動部４７１に固定されている。Ｙ方向移動部４７１は、Ｙ方向移動モータ４８の駆動によりＹ方向移動ステージ４７上を図示しないガイドに沿ってＹ方向に移動するようになっており、これにより、ユニット支持部材４４に取り付けられている描画ヘッド４３が、Ｙ方向（図１（ｂ）におけるＹ方向、ネイルプリント装置１の前後方向）に移動するようになっている。
なお、本実施形態において、Ｘ方向移動ステージ４５及びＹ方向移動ステージ４７は、Ｘ方向移動モータ４６、Ｙ方向移動モータ４８と、図示しないボールネジ及びガイドとを組み合わせることで構成されている。
本実施形態では、Ｘ方向移動モータ４６及びＹ方向移動モータ４８等により、ペン４１を備える描画ヘッド４３をＸ方向及びＹ方向に駆動するＸＹ駆動部としてのヘッド移動部４９が構成されている。

描画部４０におけるペン上下用モータ４２６、インクジェット描画部７１、Ｘ方向移動モータ４６、Ｙ方向移動モータ４８は、後述する制御装置８０の描画制御部８１５（図４参照）に接続され、該描画制御部８１５によって制御されるようになっている。

また、撮影部５０は、撮像装置５１と、照明装置５２とを備えている。
この撮影部５０は、指受入部３１内に挿入されて窓３１ｅから見える爪Ｔ（爪Ｔを含む印刷指Ｕ１）を照明装置５２によって照明する。そして、撮像装置５１によってその印刷指Ｕ１を撮影して、印刷指Ｕ１の画像である指画像（爪Ｔの爪画像を含む指の画像）を得るものである。
図１（ａ）及び図１（ｂ）に示すように、本実施形態において、撮像装置５１及び照明装置５２は、上部機枠１２に設けられている。
すなわち、上部機枠１２には基板１３が設置されており、撮影部５０を構成する撮像装置５１及び照明装置５２は、この基板１３の下面に、隔壁１１６に対向するように設けられている。
なお、基板１３に取り付けられている撮像装置５１及び照明装置５２の位置は図示例に限定されない。

撮像装置５１は、例えば、２００万画素程度以上の画素を有する固体撮像素子とレンズ等を備えて構成された小型撮像装置である。
本実施形態では、撮像部５０の撮像装置５１によって、描画を施す前の初期状態の爪Ｔを含む印刷指Ｕ１を撮影した第１の指画像ｇ１と、爪Ｔに第１の描画を施した後であってさらに第２の描画を施す前に爪Ｔを含む印刷指Ｕ１を撮影した第２の指画像ｇ２とが取得される。
また、撮像装置５１は爪Ｔに第１の描画を施した直後にも爪Ｔを含む印刷指Ｕ１を撮影し、これにより描画後の指画像が取得される。
そして、後述する輪郭検出部８１２、位置合せ処理部８１３及び爪輪郭探索部８１４は、これらの第１の指画像ｇ１、第２の指画像ｇ２及び描画後の指画像を用いて、第２の描画前に印刷指Ｕ１及び爪Ｔの輪郭を検出するようになっている。

照明装置５２は、例えば白色ＬＥＤ等の照明装置である。
本実施形態では、撮像装置５１の両側、手前側及び奥側に撮像装置５１を囲むように４つの照明装置５２が配置されている。照明装置５２は、下方に向けて光を照射して、撮像装置５１の下方の撮影範囲を照明する。
なお、照明装置５２を設ける数や、その配置等は図示例に限定されない。

この撮影部５０は、後述する制御装置８０の撮影制御部８１１（図４参照）に接続され、該撮影制御部８１１によって制御されるようになっている。
なお、撮影部５０によって撮影された画像（すなわち、第１の指画像ｇ１、第２の指画像ｇ２及び描画後の指画像）の画像データは、後述する記憶部８２の爪画像記憶領域８２１に記憶される。

制御装置８０は、例えば上部機枠１２に配置された基板１３等に設置されている。
図４は、本実施形態における制御構成を示す要部ブロック図である。
制御装置８０は、図４に示すように、図示しないＣＰＵ（Central Processing Unit）により構成される制御部８１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部８２とを備えるコンピュータである。

記憶部８２には、ネイルプリント装置１を動作させるための各種プログラムや各種データ等が格納されている。
具体的には、記憶部８２のＲＯＭには、印刷指Ｕ１の輪郭や爪Ｔの輪郭の検出を行うための輪郭検出プログラム、位置合せ処理を行うための位置合せ処理プログラム、爪Ｔの領域の探索を行うための爪輪郭探索プログラム、描画位置を補正するための描画位置補正プログラム、描画データを生成するための描画データ生成プログラム、描画処理を行うための描画プログラム等の各種プログラムが格納されており、これらのプログラムが制御装置８０によって実行されることによって、ネイルプリント装置１の各部が統括制御されるようになっている。
また、本実施形態において記憶部８２には、撮影部５０によって取得されたユーザの印刷指Ｕ１の爪Ｔの指画像を記憶する爪画像記憶領域８２１、輪郭検出部８１２によって検出された爪情報（印刷指Ｕ１の輪郭や爪Ｔの輪郭等）が記憶される爪情報記憶領域８２２、及び爪Ｔに描画されるネイルデザインの画像データを記憶するネイルデザイン記憶領域８２３が設けられている。

制御部８１は、機能的に見た場合、撮影制御部８１１、輪郭検出部８１２、位置合せ処理部８１３、爪輪郭探索部８１４、描画位置補正部８１５、描画データ生成部８１６、表示制御部８１７、描画制御部８１８等を備えている。これら撮影制御部８１１、輪郭検出部８１２、位置合せ処理部８１３、爪輪郭探索部８１４、描画位置補正部８１５、描画データ生成部８１６、表示制御部８１７、描画制御部８１８等としての機能は、制御部８１のＣＰＵと記憶部８２のＲＯＭに記憶されたプログラムとの共働によって実現される。

撮影制御部８１１は、撮影部５０の撮像装置５１及び照明装置５２を制御して撮像装置５１により、指受入部３１に挿入された印刷指Ｕ１の画像（爪Ｔの画像を含む印刷指Ｕ１の画像、以下「指画像」という。）を撮影させるものである。
本実施形態では、撮影制御部８１１は、ペン４やインクジェット描画部７１により描画が施される前の初期状態の爪Ｔを含む印刷指Ｕ１を撮影した第１の指画像ｇ１（図６（ｂ）参照）と、爪Ｔに第１の描画を施した後であってさらに第２の描画を施す前に爪Ｔを含む印刷指Ｕ１を撮影した第２の指画像ｇ２（図６（ｂ）参照）を取得する。
また、撮像装置５１は爪Ｔに第１の描画を施した直後にも爪Ｔを含む印刷指Ｕ１を撮影して描画後の指画像（図示せず）を取得する。
撮影部５０により取得された指画像の画像データは、記憶部８２の爪画像記憶領域８２１に記憶される。
なお、以下においては、撮影部５０により取得された指画像（第１の指画像ｇ１、第２の指画像ｇ２）から印刷指Ｕ１や爪Ｔの輪郭等を爪情報として検出する場合について説明するが、指画像から検出される爪情報はこれに限定されず、例えば爪Ｔの曲率等も指画像に基づいて検出されてもよい。

輪郭検出部８１２は、撮影部５０の撮像装置５１によって取得された描画前の爪Ｔを含む印刷指Ｕ１の画像である第１の指画像ｇ１から、印刷指Ｕ１の領域を画する第１の指輪郭ｆ１と爪Ｔの領域を画する第１の爪輪郭ｎ１とを検出する。
また、輪郭検出部８１２は、第１の描画を施した後であってさらに第２の描画を施す前に爪Ｔを含む印刷指Ｕ１を撮像装置５１によって撮影することで取得された第２の指画像ｇ２から印刷指Ｕ１の領域を画する第２の指輪郭ｆ２を検出する。
本実施形態では、例えば、第１の描画としてペン４１により下地（アンダーコート）が塗られた後、一旦爪Ｔを乾燥させ、時間をおいて第２の描画としてペン４１やインクジェット描画部７１により各種の絵柄等が描画される場合を想定している。
なお、本実施形態において、１つの爪Ｔに対して３回以上回数を分けて描画が行われる場合、２回目以降の描画は全て「第２の描画」とする。

輪郭検出部８１２による各検出手法は、例えば以下の通りである。
まず、輪郭検出部８１２による第１の指輪郭ｆ１や第１の爪輪郭ｎ１の検出（すなわち、描画前の初期状態の爪Ｔ及びこれを含む印刷指Ｕ１の輪郭の検出）は、例えば、AdaBoost（Adaptive Boosting）等の学習アルゴリズムを利用して行われる。
具体的には、装置製造段階において、予め一般的な人の指や爪の複数のサンプルを集めて装置側に記憶させ、輪郭検出部８１２が第１の指輪郭ｆ１や第１の爪輪郭ｎ１の検出を行う際には、これらのサンプルとのマッチング等を行う。これにより、比較的ノイズに左右されにくい検出を行うことができる。
なお、ユーザの指や爪Ｔを認識させ、これをサンプルに加える等、検出に用いるデータを事後的に更新可能としてもよい。この場合には、輪郭検出部８１２による第１の指輪郭ｆ１や第１の爪輪郭ｎ１の検出の精度をより高めたり、よりユーザの指や爪Ｔの形状に合った検出をするようにカスタマイズできたりする効果が期待できる。
なお、輪郭検出部８１２が第１の指輪郭ｆ１や第１の爪輪郭ｎ１を検出する手法は特に限定されず、ここに例示した以外の各種手法を用いることができる。

次に、輪郭検出部８１２による第２の指輪郭ｆ２（すなわち、描画後の爪Ｔを含む印刷指Ｕ１の輪郭）の検出は、例えばグラフの最小切断（グラフカット）アルゴリズムを用いて行われる。
具体的には、第１の描画の直後に取得された描画後の指画像（図示せず）において、第１の指画像ｇ１から検出された第１の指輪郭ｆ１の内側領域に対応する部分の色分布を印刷指Ｕ１の色サンプルとして作成し、他方で背景となる指載置部１１６ａの色を背景色のサンプルとして取得する。そして、両サンプル色からそれぞれヒストグラムを作成し、色の変化が大きい部分を印刷指Ｕ１と指載置部１１６ａとの境界、すなわち第２の指輪郭ｆ２として検出する。
なお、輪郭検出部８１２が第２の指輪郭ｆ２を検出する手法は特に限定されず、ここに例示した以外の各種手法を用いることも可能である。

位置合せ処理部８１３は、輪郭検出部８１２によって検出された第１の指輪郭ｆ１を、第２の指輪郭ｆ２の位置に合せる位置合せ処理を行う。
具体的には、第１の指画像ｇ１及び第２の指画像ｇ２のそれぞれから位置合せのための特徴点を抽出する。
このとき、特徴点は、指（すなわち、爪Ｔ部分ではない皮膚の部分）に相当する領域のみから抽出する。
図５（ａ）は、第１の指画像ｇ１における特徴点の抽出対象領域を示した図であり、図５（ｂ）は、第２の指画像ｇ２における特徴点の抽出対象領域を示した図である。
図５（ａ）に示すように、第１の指画像ｇ１における特徴点の抽出対象領域は、第１の指輪郭ｆ１として検出された印刷指Ｕ１の輪郭の内側領域から第１の爪輪郭ｎ１として検出された爪Ｔの輪郭の内側領域を差し引いた領域ｅ１（図５（ａ）において白抜きで示す領域）である。なお、図５（ａ）では、第１の爪輪郭ｎ１のうち、指の皮膚部分と接している個所を破線で示している。
また、図５（ｂ）に示すように、第２の指画像ｇ２における特徴点の抽出対象領域は、第２の指輪郭ｆ２として検出された印刷指Ｕ１の輪郭の内側領域ｅ２（図５（ｂ）において白抜きで示す領域）である。
なお、第２の指画像ｇ２については、輪郭検出部８１２において爪輪郭の検出を行っていないため、爪Ｔ部分の特徴点も含まれているが、爪Ｔ部分の特徴点は第１の指画像ｇ１における特徴点とのマッチングを行う際に排除されるため、事後の検出に影響はない。

第１の指画像ｇ１及び第２の指画像ｇ２についてそれぞれ特徴点が抽出されると、位置合せ処理部８１３は、抽出された特徴点を使って位置合せの変換行列を作成する。
具体的には、第１の指画像ｇ１と第２の指画像ｇ２から抽出した特徴点同士をマッチングし、対応した特徴点の組を使って、式１に示すような変換行列を作成する。

なお、変換行列には、指の２次元での平行移動、２次元における回転、及び拡大・縮小の要素が含まれている。
ここでは、相似変換行列とし、位置合せ処理部８１３は、この変換行列により第１の指輪郭ｆ１を第２の指輪郭ｆ２の位置に合せる位置合せ処理を行う。
なお、位置合せ処理部８１３が位置合せ処理を行う手法は特に限定されず、ここに例示した以外の各種手法を用いることも可能である。
例えば、特徴点のマッチング数が少ない場合や、変換行列が作成できない場合には、位置合せ処理部８１３は、指領域マップを利用して位置合せ処理を行う。
マップによる位置合せ処理を行う場合には、例えば、位相情報によるパターンマッチングである位相限定相関法等を利用する。

爪輪郭探索部８１４は、位置合せ処理部８１３による位置合せ処理後の第１の指輪郭ｆ１に対応させて第１の爪輪郭ｎ１の座標を変換し、第２の指画像ｇ２内から座標変換後の第１の爪輪郭ｎ１に対応する第２の爪輪郭ｎ２の探索を行う。
爪輪郭探索部８１４が第１の爪輪郭ｎ１の座標を変換する手法は特に限定されないが、例えば、位置合せ処理部８１３によって作成された変換行列（上記式１参照）がある場合には、これを用いて第１の爪輪郭ｎ１の座標を変換して位置合せ処理後の第１の指輪郭ｆ１に対応した爪輪郭の座標を得る。
ここで、当該座標変換後の第１の爪輪郭ｎ１は、第２の指画像ｇ２に含まれる爪Ｔの爪輪郭ｎ２とほぼ一致していると考えられる。

次に、爪輪郭探索部８１４は、爪Ｔの領域（すなわち、座標変換後の第１の爪輪郭ｎ１の内側領域）を、爪Ｔの領域を爪Ｔの延在方向（図６（ａ）における縦方向）における上部（爪先端側）と下部（爪根元側）とに分割する。
図６（ａ）は、爪Ｔの領域の分割位置を示す説明図である。
図６（ａ）に示すように、本実施形態では、爪Ｔの上端部（すなわち、爪輪郭の座標のうち、最も爪の先端側にある部分）と爪Ｔの下端部（すなわち、爪輪郭の座標のうち、最も爪の根元側にある部分）との中間部分において分割する例を示す。

爪Ｔの下部領域については、爪輪郭探索部８１４は、位置合せ処理部８１３による位置合せ処理後の第１の指画像ｇ１における座標変換後の第１の爪輪郭ｎ１との境界部分について、指の皮膚部分のテクスチャーを用いたテンプレートマッチングを行うことにより、第２の爪輪郭ｎ２を探索する。
図６（ｂ）は、爪輪郭探索部８１４によるテンプレートマッチングのイメージを模式的に示す説明図である。
爪輪郭探索部８１４によるテンプレートマッチングでは、位置合せ処理後の第１の指画像ｇ１の輝度画像において、第１の爪輪郭ｎ１を構成する点のうち、爪Ｔの下部領域に属する点ｉ（図６（ａ）において黒丸で示す。）の各座標を（x１, y１）〜（xｎ, yｎ）とし、図６（ｂ）に示すように、各点ｉの周囲p×pの領域ｄ１〜ｄｎ（図６（ｂ）において実線四角で示す領域。）の指の皮膚部分のテクスチャーをテンプレートＴｉとする。爪輪郭探索部８１４は、第２の指画像ｇ２の輝度画像において、座標（x１, y１）〜（xｎ, yｎ）の周辺w×wの領域（図６（ｂ）において破線四角で示す領域。）内において点ｉに最も近い点を探索する。
なお、位置合せ処理後の第１の指画像ｇ１において第１の爪輪郭ｎ１を構成する点は、例えば爪Ｔの全周で例えば１００個程度設定される。そして爪Ｔの下部領域に位置する点ｉ（図６（ａ）において黒丸で示す。）は、このうちのほぼ１／２である例えば５０個程度である。
なお、p×pの領域及びw×wの領域をそれぞれどの程度とするかは特に限定されず、画像のサイズ等に応じて適宜設定されるが、w×wの領域はp×pの領域の２倍程度の大きさであることが好ましい。

これに対して、爪Ｔの上部領域については、通常、指の皮膚部分が下部領域より比較的少なく、上記のテンプレートマッチングを行うことが難しいため、爪輪郭探索部８１４は、背景に対して爪Ｔのエッジを検出することにより第２の爪輪郭ｎ２を探索する。
ここで背景とは、第２の指画像ｇ２において爪Ｔを含む印刷指Ｕ１とともに撮影されている指載置部１１６ａである。
前述のように、指載置部１１６ａは、爪Ｔを含む印刷指Ｕ１とのコントラストを高めるために、肌色の反対色や黒色の部材で構成されている。爪輪郭探索部８１４は、指載置部１１６ａと爪Ｔとの色の違いや輝度の違いを見ることにより、位置合せ処理後の第１の指画像ｇ１において第１の爪輪郭ｎ１を構成する点のうち爪Ｔの上部領域に属する点（図６（ａ）において白丸で示す。）において、輪郭に対する法線方向の範囲のうち、最もエッジ強度の高い場所を探す。これにより、爪輪郭探索部８１４は爪Ｔのエッジを検出してエッジ画像を作成する。
なお、爪Ｔが短く、爪Ｔが指の先端部分よりも内側にあるような場合には、指の皮膚部分が「背景」となり、爪輪郭探索部８１４は、指の皮膚部分に対して爪Ｔのエッジを検出する。

さらに、爪輪郭探索部８１４は、各手法によりそれぞれ探索した爪Ｔの下部領域及び爪Ｔの上部領域の輪郭を合せて、スムージング処理を行う。
このスムージング処理を行う手法は特に限定されないが、例えば、Snakes（Active Contour Model）等の手法による。Snakesは、エネルギー最小化原理に基づく手法であり、この手法を用いて得られる輪郭は、式２に示すようにエネルギー関数を最小化するような輪郭となる。
なお、式２において、Econt,iは隣接する輪郭点との距離、Ecurv,iは曲率、Eimage,iはエッジ強度に関する項とする。

描画位置補正部８１５は、第１の爪輪郭ｎ１と爪輪郭探索部８１４によって探索された第２の爪輪郭ｎ２との位置ずれ量に基づいて、第２の描画時における描画位置を補正するための補正値を算出するものである。
描画位置補正部８１５により算出された補正値は、描画データ生成部８１６に送られ、描画データ生成部８１６は当該補正値によって画像データの補正を行う。

描画データ生成部８１６は、輪郭検出部８１２、爪輪郭探索部８１４により検出された爪Ｔの輪郭に基づいて、描画ヘッド４３により印刷指Ｕ１の爪Ｔに施される描画用のデータを生成する。
また、描画データ生成部８１６は、爪Ｔの輪郭に応じて、ネイルデザインの画像データを爪Ｔの形状に合わせ込み、適宜曲面補正等を行う。
さらに、描画位置補正部８１５によって、描画位置について補正値が算出された場合には、当該補正値を画像データに反映させる。
これにより、ペン４１やインクジェット描画部７１によって描画されるネイルデザインの描画用のデータが生成される。

表示制御部８１７は、表示部２６を制御して表示部２６に各種の表示画面を表示させるものである。本実施形態では、表示制御部８１４は、例えばネイルデザインの選択画面やデザイン確認用のサムネイル画像、印刷指Ｕ１を撮影して取得した指画像、各種の指示画面、操作画面等を表示部２６に表示させるようになっている。

描画制御部８１８は、描画データ生成部８１６によって生成された描画データに基づいて描画部４０に制御信号を出力し、爪Ｔに対してこの描画データにしたがった描画を施すように描画部４０のＸ方向移動モータ４６、Ｙ方向移動モータ４８、ペン上下用モータ４２６、インクジェット描画部７１等を制御する制御部である。
具体的には、描画制御部８１８は、ペン４１の非描画時にはペン上下用モータ４２６を制御して、板バネ４２９により係止突起４２４が押し下げられない状態を維持し、描画時にはペン上下用モータ４２６を動作させて、板バネ４２９により係止突起４２４を押し下げ、ペン４１の先端部（ペン先４１３）が爪Ｔの表面に当接するようにペン上下用モータ４２６の動作を制御する。
なお、爪Ｔの高さが大きく変化して板バネ４２９が撓み変形（弾性変形）するのみでは対応できない個所では、描画制御部８１５は適宜ペン上下用モータ４２６のステップ数を増減してペン４１の筆圧を調整し、筆圧が概ね一定になるように調整することが好ましい。

次に、図７から図９を参照しつつ、本実施形態におけるネイルプリント装置１による描画方法について説明する。
なお、図７は本実施形態のネイルプリント装置１による描画処理の概略を示すフローチャートであり、図８は、本実施形態における爪輪郭の検出処理を示すフローチャートであり、図９（ａ）は、描画前の初期状態の爪Ｔを含む印刷指Ｕ１の平面図であり、図９（ｂ）は、第１の描画後であって第２の描画前の爪Ｔを含む印刷指Ｕ１の平面図であり、図９（ｃ）は、第２の描画後の爪Ｔを含む印刷指Ｕ１の平面図である。

このネイルプリント装置１により描画を行う場合、ユーザはまず、電源スイッチを入れて制御装置８０を起動させる。
爪Ｔに描画するネイルデザインが選択され、印刷指Ｕ１が指受入部３１にセットされると、図７に示すように、描画動作を開始する前に、まず撮影制御部８１１が撮影部５０を制御して、照明装置５２により印刷指Ｕ１を照明しながら撮像装置５１により印刷指Ｕ１を撮影させる。これにより、撮影制御部８１１は、図９（ａ）に示すような、爪Ｔへの描画前の初期状態の印刷指Ｕ１の第１の指画像ｇ１を取得する（ステップＳ１）。
その後、描画制御部８１８が描画部４０を動作させて第１の描画が行われる（ステップＳ２）。これにより、例えば、図９（ｂ）に示すように、爪Ｔの全体にインクが塗布された状態となる。

第１の描画が行われると、その直後に撮影制御部８１１が撮像装置５１を動作させて印刷指Ｕ１を撮影させる。これにより、撮影制御部８１１は、爪Ｔに対して第１の描画が施された描画後の指画像を取得する（ステップＳ３）。
その後、爪Ｔに塗布されたインクの乾燥等が行われ（ステップＳ４）、さらに第２の描画が行われる前に、撮影制御部８１１は再度撮像装置５１を動作させて印刷指Ｕ１を撮影させる。これにより、撮影制御部８１１は、爪Ｔに対して第１の描画が施され、第２の描画が施される前の印刷指Ｕ１の画像である第２の指画像ｇ２を取得する（ステップＳ５）。

第２の指画像ｇ２が取得されると、第２の描画が開始される前に、現状（すなわち、第２の描画が開始される直前）における爪Ｔの爪輪郭（第２の爪輪郭ｎ２）の位置検出が行われる（ステップＳ６）。
ここで、図８を参照しつつ、第２の描画開始前における爪Ｔの爪輪郭の位置検出（ステップＳ６）について詳細に説明する。

図８に示すように、まず輪郭検出部８１２が、描画前の爪Ｔを含む印刷指Ｕ１の画像である第１の指画像ｇ１から、第１の指輪郭ｆ１と第１の爪輪郭ｎ１とを検出する（ステップＳ１１）。また、輪郭検出部８１２は、第２の指画像ｇ２から第２の指輪郭ｆ２を検出する（ステップＳ１２）。
次に、位置合せ処理部８１３は、第１の指画像ｇ１及び第２の指画像ｇ２からそれぞれ位置合せのための特徴点を抽出する（ステップＳ１３）。
第１の指画像ｇ１及び第２の指画像ｇ２についてそれぞれ特徴点が抽出されると、位置合せ処理部８１３は、抽出された特徴点を使って位置合せの変換行列の作成を試みる。そして、変換行列が作成できたか否かを判断し（ステップＳ１４）、変換行列が作成できた場合（ステップＳ１４；ＹＥＳ）には、当該変換行列を用いて第１の指輪郭ｆ１を第２の指輪郭ｆ２の位置に合せる位置合せ処理を行う（ステップＳ１５）。
他方、変換行列が作成できなかった場合（ステップＳ１４；ＮＯ）には、位置合せ処理部８１３は、指領域マップを利用して第１の指輪郭ｆ１を第２の指輪郭ｆ２の位置に合せる位置合せ処理を行う（ステップＳ１６）。

位置合せ処理部８１３による位置合せ処理が完了すると、爪輪郭探索部８１４は、位置合せ処理後の第１の指輪郭ｆ１に対応させて第１の爪輪郭ｎ１の座標を変換する（ステップＳ１７）。
次に、爪輪郭探索部８１４は、爪Ｔの領域（すなわち、座標変換後の第１の爪輪郭ｎ１の内側領域）を、爪Ｔの領域を爪Ｔの延在方向における上部（爪先端側）と下部（爪根元側）とに分割する（ステップＳ１８）。
そして、爪Ｔの下部領域については、爪輪郭探索部８１４は、位置合せ処理後の第１の指画像ｇ１における座標変換後の第１の爪輪郭ｎ１との境界部分についてテンプレートマッチングを行うことにより第２の爪輪郭ｎ２を探索する（ステップＳ１９）。
また、爪Ｔの上部領域については、爪輪郭探索部８１４は、背景に対して爪Ｔのエッジを検出することにより第２の爪輪郭ｎ２を探索する（ステップＳ２０）。
爪Ｔの下部領域及び爪Ｔの上部領域についてそれぞれ第２の爪輪郭ｎ２が探索されると、爪輪郭探索部８１４は、さらに、爪Ｔの下部領域及び爪Ｔの上部領域の第２の爪輪郭ｎ２を合せて、スムージング処理を行う（ステップＳ２１）。
これにより、第２の描画が行われる直前の爪Ｔの位置（すなわち、第２の爪輪郭ｎ２の位置）が検出される。

描画が行われる前の初期状態の爪Ｔの位置（すなわち、第１の爪輪郭ｎ１の位置）と第２の描画が行われる直前の爪Ｔの位置（すなわち、第２の爪輪郭ｎ２の位置）とにずれがある場合には、描画位置補正部８１５が補正値を算出する（ステップＳ７）。描画位置補正部８１５により算出された補正値は描画データ生成部８１６において第２の描画における描画データに反映される（ステップＳ８）。
そして描画位置補正後の描画データに基づいて描画制御部８１８が描画部４０を動作させることにより、第２の描画が行われ、図９（ｃ）に示すような絵柄が、爪Ｔ上に位置ずれすることなく描画される（ステップＳ９）。

以上のように、本実施形態によれば、描画前に第１の指画像ｇ１を取得し、第１の描画を施した後、第２の描画を施す前に第２の指画像ｇ２を取得して、第１の指画像ｇ１から第１の指輪郭ｆ１と第１の爪輪郭ｎ１とを検出するとともに、第２の指画像ｇ２から第２の指輪郭ｆ２を検出する。そして、第１の指輪郭ｆ１を第２の指輪郭ｆ２の位置に合せる位置合せ処理を行い、位置合せ処理後の第１の指輪郭ｆ１に対応させて第１の爪輪郭ｎ１の座標を変換し、第２の指画像ｇ２内から座標変換後の第１の爪輪郭ｎ１に対応する第２の爪輪郭ｎ２の探索を行う。
このように、複数回に分けて爪Ｔに描画を施す場合に、２回目以降の描画前に爪Ｔの爪輪郭の位置ずれの有無を判断するため、次の描画を行うまでの間に爪Ｔの位置が移動してしまった場合でも、描画位置のずれを防いで高品質の描画を行うことができる。
そして、第２の描画前に第２の爪輪郭ｎ２を検出する際には、まず、指の輪郭によって爪Ｔのおよその位置を検出し、その後、爪Ｔの輪郭を精緻に探索する。これにより、爪Ｔの輪郭のみを探索するよりも効率よく爪Ｔの位置を検出することができる。
また、爪Ｔは、描画が施されると描画前の初期状態の爪Ｔとは色や輝度が異なってしまうため、単に第１の描画前後の爪Ｔを比較するのでは第１の描画後の爪Ｔの輪郭を検出することが難しい。この点、本実施形態では、少なくとも指の皮膚部分と接している爪Ｔの下部領域については、爪Ｔと隣接する指の皮膚部分のテクスチャーをマッチングさせることで爪Ｔの輪郭を探索する。このように、描画の前後で変化しない部分によって爪Ｔの輪郭を探索することにより、描画されたことにより爪Ｔの色や輝度が変化しても、爪Ｔの位置を正確に把握することができる。
そして、このようにして得た爪Ｔの輪郭に基づいて適宜描画位置の補正を行うため、複数回に分けて爪に描画を施す場合でも描画位置ずれのない高精細なネイルプリントを行うことができる。

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、本実施形態では、爪輪郭探索部８１４が爪領域を分割する際の分割位置を、爪Ｔの上端部と爪Ｔの下端部との中間部分とする例を示したが、爪領域の分割位置はこれに限定されない。
爪Ｔの下部領域については、精度の高いテンプレートマッチングを行うため、下部領域に分類される部分が広いほど、マッチングの精度が向上する。このため、例えば、爪Ｔの上部と下部との割合は、４対６等、下部領域が上部領域よりも広くなるようにしてもよい。
また、下部領域について行われるテンプレートマッチングは爪Ｔに隣接する皮膚部分において行われるため、例えば爪Ｔが短く爪Ｔの外周のほとんどが皮膚部分で囲まれている場合には、爪領域のほとんどの部分を下部領域に分類してより広い範囲でテンプレートマッチングを行い、例えば爪Ｔが長く爪Ｔの下部のわずかな部分しか皮膚部分で囲まれている場合には、皮膚部分で囲まれていない部分ではテンプレートマッチングを行うことができないため、爪領域のほとんどの部分を上部領域に分類するというように、ユーザの指や爪の形状に応じて適宜爪領域の分割位置を変えるようにしてもよい。このようにすれば、よりユーザの爪に適した爪輪郭の探索を行うことができる。

また、本実施形態では、描画ヘッド４３にペンホルダ４２を１つ備えている場合を例示したが、描画ヘッド４３に設けられるペンホルダ４２の数は１つに限定されない。例えば２つ以上のペンホルダ４２を備え、描画用のペン４１が２本以上保持されていてもよい。

また、本実施形態では、ペンホルダ４２に保持させるペン４１を、ユーザが適宜手動で交換する場合を例示したが、例えば、ホームエリア６０等にペン４１を待機させておく待機スペースを設けて、図示しないペン交換機構により必要なペン４１を自動的に待機スペース内から取得してペンホルダ４２に差し替えるようにしてもよい。

また、本実施形態では、ネイルプリント装置１の天井部分等に撮像装置５１及び照明装置５２が固定配置されている場合を例示したが、撮像装置５１や照明装置５２を設ける位置はこれに限定されない。
例えば描画ヘッド４３に撮像装置５１や照明装置５２を搭載し、ヘッド移動部４９により移動可能に構成してもよい。この場合には、異なる角度から爪Ｔを撮影することができ、爪Ｔの曲率等を正確に取得することができるため、精度の高い曲面補正を行うことができる。なお、撮影部５０をこのような構成とした場合でも、第１の指画像ｇ１、第２の指画像ｇ２及び描画後の指画像は全て同じ位置・同じ角度から撮影することが好ましい。

また、本実施形態では、指を１本ずつ装置に挿入して順次描画を行うネイルプリント装置１を例としたが、複数本の指に対して、各指を抜き差しすることなく、連続的に描画やインクの除去を行うことのできる装置に本発明を適用することも可能である。
例えば、ペンの稼動範囲を広げて描画可能範囲を大きくすることにより、複数の印刷指Ｕ１を同時に挿入した状態で、各指の爪に連続的に描画を施すことも可能となる。

以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
描画が施されていない爪を有する指を撮影して取得した第１の指画像における、前記指の領域を画する第１の指輪郭内の前記爪を除いた領域における特徴点と、前記爪に第１の描画が施された前記指を撮影して取得した第２の指画像における、前記指の領域を画する第２の指輪郭内における特徴点と、に基づいて、前記第１の指輪郭の位置を前記第２の指輪郭の位置に合せるように補正する位置合せ処理を行う位置合せ処理部と、
前記位置合せ処理部によって補正された前記第１の指輪郭の前記位置に応じて、前記爪に第２の描画を施す描画部と、
を備えていることを特徴とする描画装置。
＜請求項２＞
前記第１の指画像から前記第１の指輪郭と前記爪の領域を画する第１の爪輪郭とを検出し、前記第２の指画像から前記第２の指輪郭を検出する輪郭検出部を備えることを特徴とする請求項１に記載の描画装置。
＜請求項３＞
前記位置合せ処理部により補正された後の前記第１の指輪郭に対応させて、前記第１の爪輪郭の位置の位置を補正し、
前記補正後の前記第１の爪輪郭の前記位置に基づいて、前記第２の指画像における前記爪の輪郭を画する第２の爪輪郭の位置を探索する爪輪郭探索部を備えることを特徴とする請求項２に記載の描画装置。
＜請求項４＞
前記爪輪郭探索部は、
前記爪の領域を爪の延在方向における上部と下部とに分割し、
前記下部の領域については、前記第１の指画像における前記第１の爪輪郭との境界領域における前記第１の爪輪郭の内側領域を除く領域のテクスチャーに基づくテンプレートマッチングを行うことにより、前記第２の爪輪郭を探索し、
前記上部の領域については、前記第２の指画像において前記爪の領域と前記爪の背景となる領域とのエッジを検出することにより、前記第２の爪輪郭を探索することを特徴とする請求項３に記載の描画装置。
＜請求項５＞
前記爪輪郭探索部によって検出された前記第２の爪輪郭の位置に基づいて、前記描画部が前記爪に前記第２の描画を施す際の描画位置を補正するための補正値を算出する描画位置補正部を備えることを特徴とする請求項３又は請求項４に記載の描画装置。
＜請求項６＞
描画装置の描画方法であって、
描画が施されていない爪を有する指を撮影して取得した第１の指画像における、前記指の領域を画する第１の指輪郭内の前記爪を除いた領域における特徴点と、前記爪に第１の描画が施された前記指を撮影して取得した第２の指画像における、前記指の領域を画する第２の指輪郭内における特徴点と、に基づいて、前記第１の指輪郭の位置を前記第２の指輪郭の位置に合せるように補正する位置合せ処理を行う工程と、
前記位置合せ処理によって補正された前記第１の指輪郭の前記位置に応じて、前記爪に第２の描画を施す工程と、
を含むことを特徴とする描画装置の描画方法。
＜請求項７＞
前記第１の指画像から前記第１の指輪郭と前記爪の領域を画する第１の爪輪郭とを検出する工程と、
前記第２の指画像から前記第２の指輪郭を検出する工程と、
を含むことを特徴とする請求項６に記載の描画装置の描画方法。
＜請求項８＞
前記位置合せ処理により補正された後の前記第１の指輪郭に対応させて、前記第１の爪輪郭の位置を補正する工程と、
前記補正後の前記第１の爪輪郭の前記位置に基づいて、前記第２の指画像における前記爪の輪郭を画する第２の爪輪郭の位置を探索する工程と、
を含むことを特徴とする請求項７に記載の描画装置の描画方法。
＜請求項９＞
前記第２の爪輪郭の位置を探索する工程は、
前記爪の領域を爪の延在方向における上部と下部とに分割する工程と、
前記下部の領域については、前記第１の指画像における前記第１の爪輪郭との境界領域における前記第１の爪輪郭の内側領域を除く領域のテクスチャーに基づくテンプレートマッチングを行うことにより、前記第２の爪輪郭を探索する工程と、
前記上部の領域については、前記第２の指画像において前記爪の領域と前記爪の背景となる領域とのエッジを検出することにより、前記第２の爪輪郭を探索する工程と、
を含むことを特徴とする請求項８に記載の描画装置の描画方法。
＜請求項１０＞
前記探索によって検出された前記第２の爪輪郭の位置に基づいて、前記爪に前記第２の描画を施す際の描画位置を補正するための補正値を算出する工程を含むことを特徴とする請求項８又は請求項９に記載の描画装置の描画方法。

１ ネイルプリント装置
４０ 描画部
４１ ペン
５０ 撮影部
８１ 制御部
８２ 記憶部
４２６ ペン上下用モータ
８１２ 輪郭検出部
８１３ 位置合せ処理部
８１４ 爪輪郭探索部
Ｔ 爪
Ｕ１ 印刷指

Claims (8)

1. 描画が施されていない爪を有する指を撮影して取得した第１の指画像における、前記指の領域を画する第１の指輪郭内の前記爪を除いた領域における特徴点と、前記爪に第１の描画が施された前記指を撮影して取得した第２の指画像における、前記指の領域を画する第２の指輪郭内における特徴点と、に基づいて、前記第１の指輪郭の位置を前記第２の指輪郭の位置に合せるように補正する位置合せ処理を行う位置合せ処理部と、
   前記第２の指画像における前記爪の領域を画する第２の爪輪郭の位置を探索する爪輪郭探索部と、
   前記位置合せ処理部によって補正された前記第１の指輪郭の前記位置に応じて、前記爪に第２の描画を施す描画部と、
   を備え、
   前記爪輪郭探索部は、
   前記第１の指画像における前記爪の領域を前記爪の延在方向における上部と下部とに分割し、
   前記下部の領域については、前記第１の指画像における前記爪の領域を画する第１の爪輪郭との境界領域における前記第１の爪輪郭の内側領域を除く領域のテクスチャーに基づくテンプレートマッチングを行うことにより、前記第２の爪輪郭を探索し、
   前記上部の領域については、前記第２の指画像において前記爪の領域と前記爪の背景となる領域とのエッジを検出することにより、前記第２の爪輪郭を探索することを特徴とする描画装置。
2. 前記第１の指画像から前記第１の指輪郭と前記第１の爪輪郭とを検出し、前記第２の指画像から前記第２の指輪郭を検出する輪郭検出部を備えることを特徴とする請求項１に記載の描画装置。
3. 前記爪輪郭探索部は、
   前記位置合せ処理部により補正された後の前記第１の指輪郭に対応させて、前記第１の爪輪郭の位置の位置を補正し、
   前記補正後の前記第１の爪輪郭の前記位置に基づいて、前記第２の指画像における前記第２の爪輪郭の位置を探索することを特徴とする請求項２に記載の描画装置。
4. 前記爪輪郭探索部によって検出された前記第２の爪輪郭の位置に基づいて、前記描画部が前記爪に前記第２の描画を施す際の描画位置を補正するための補正値を算出する描画位置補正部を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の描画装置。
5. 描画装置の描画方法であって、
   描画が施されていない爪を有する指を撮影して取得した第１の指画像における、前記指の領域を画する第１の指輪郭内の前記爪を除いた領域における特徴点と、前記爪に第１の描画が施された前記指を撮影して取得した第２の指画像における、前記指の領域を画する第２の指輪郭内における特徴点と、に基づいて、前記第１の指輪郭の位置を前記第２の指輪郭の位置に合せるように補正する位置合せ処理を行う工程と、
   前記第２の指画像における前記爪の領域を画する第２の爪輪郭の位置を探索する工程と、
   前記位置合せ処理によって補正された前記第１の指輪郭の前記位置に応じて、前記爪に第２の描画を施す工程と、
   を含み、
   前記第２の爪輪郭の位置を探索する工程は、
   前記第１の指画像における前記爪の領域を前記爪の延在方向における上部と下部とに分割する工程と、
   前記下部の領域については、前記第１の指画像における前記爪の領域を画する第１の爪輪郭との境界領域における前記第１の爪輪郭の内側領域を除く領域のテクスチャーに基づくテンプレートマッチングを行うことにより、前記第２の爪輪郭を探索する工程と、
   前記上部の領域については、前記第２の指画像において前記爪の領域と前記爪の背景となる領域とのエッジを検出することにより、前記第２の爪輪郭を探索する工程と、
   を含むことを特徴とする描画装置の描画方法。
6. 前記第１の指画像から前記第１の指輪郭と前記第１の爪輪郭とを検出する工程と、
   前記第２の指画像から前記第２の指輪郭を検出する工程と、
   を含むことを特徴とする請求項５に記載の描画装置の描画方法。
7. 前記位置合せ処理により補正された後の前記第１の指輪郭に対応させて、前記第１の爪輪郭の位置を補正する工程と、
   前記補正後の前記第１の爪輪郭の前記位置に基づいて、前記第２の指画像における前記第２の爪輪郭の位置を探索する工程と、
   を含むことを特徴とする請求項６に記載の描画装置の描画方法。
8. 前記探索によって検出された前記第２の爪輪郭の位置に基づいて、前記爪に前記第２の描画を施す際の描画位置を補正するための補正値を算出する工程を含むことを特徴とする請求項５から請求項７のいずれか一項に記載の描画装置の描画方法。

Images