WO2014128789A1

WO2014128789A1 - 形状認識装置、形状認識プログラム、および形状認識方法

Info

Publication number: WO2014128789A1
Application number: PCT/JP2013/004486
Authority: WO
Inventors: ヨハネスルンベリ
Original assignee: 株式会社ブリリアントサービス
Priority date: 2013-02-19
Filing date: 2013-07-23
Publication date: 2014-08-28
Also published as: US20160004907A1; JPWO2014128773A1; JP2017199379A; WO2014128773A1; JPWO2014128787A1; JP6393367B2; US20160004320A1; WO2014128749A1; US9778464B2; US9651782B2; WO2014128787A1; JP6074494B2; JPWO2014128749A1; US20150378158A1; JPWO2014128788A1; US10095030B2; WO2014128788A1; JP6095763B2; JPWO2014128789A1; JP6195893B2

Abstract

　対象物の外形を識別するためのより正確な情報を得ることができる形状認識装置、形状認識プログラムおよび形状認識方法を提供する。本発明における形状認識装置は、手の外形を検知する外形検知部と、検知された外形の内部における複数の点を抽出点として設定する、抽出点設定部と、複数の抽出点にそれぞれ対応する手の表面上の点までの空間距離を深度として測定する深度検知部と、計測された深度のばらつきを示す尺度に基づいて、前記手が掌側および背側のいずれを向いているかを判断する向き認識部とを含む。

Description

形状認識装置、形状認識プログラム、および形状認識方法

　本発明は、形状認識装置、形状認識プログラムおよび形状認識方法に関する。特に、本発明は、手のひらまたは手の甲を認識するための形状認識装置、形状認識プログラムおよび形状認識方法に関する。

　日本国特公平８－３１１４０号公報（特許文献１）には、高速で臨場感のある画像をスクリーン上に表示するようなコンピュータグラフィックス、すなわち高速画像生成表示方法が開示されている。
　特許文献１に記載の高速画像生成表示方法においては、立体構造をもつ対象を２次元画面に投影して表示する高速画像生成表示方法であって、対象の構成面は、対象座標系において、領域の大きさを少なくとも１つの要素として階層的に記述され、任意の視点から見た時の該対象の構成面を２次元画面へ投影するに際して、表示基準座標系原点または視点から対象座標系で表される該対象の任意の点までの距離を少なくとも１つのパラメータとして階層度を設定することを特徴とする。

　日本国特開２００４－１２６９０２号公報（特許文献２）には、観測者に負担のない立体視映像を効率よく生成する立体視画像生成方法および立体視画像生成装置が開示されている。
　特許文献２に記載の立体視画像生成方法は、三次元座標を有するポリゴンで構成されるオブジェクトのうち、平面視表示させるオブジェクトデータを基準カメラを原点とする基準カメラ座標系データに、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする右眼用及び左眼用視差カメラ座標系データに変換し、基準カメラ座標系のオブジェクトのデータと、右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、基準カメラ座標系のオブジェクトのデータと、左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。

　日本国特表２０１２－５３３１２０号公報（特許文献３）には、顔認識及びジェスチャ／体位認識技法を使用する方法が開示されている。
　特許文献３に記載の方法は、ユーザの気質を示す属性を視覚表示に適用するための方法であって、ユーザの視覚表示をレンダリングするステップと、物理的な空間のデータを受信するステップであって、データが、物理的な空間内のユーザを代表しているものと、ユーザの気質を推論するために、少なくとも１つの検出可能な特徴を解析するステップと、ユーザの気質を示す属性を視覚表示に適用するステップと、を含む。

　日本国特表２０１２－５２８４０５号公報（特許文献４）においては、空間またはジェスチャ計算システムにマルチモード入力を供給するシステムおよび方法が開示されている。
　特許文献４に記載のシステムは、入力デバイスと、プロセッサに結合され、入力デバイスの方位を検出する検出器と、を備えているシステムであって、入力デバイスが、方位に対応する複数のモード方位を有し、複数のモード方位が、ジェスチャ制御システムの複数の入力モードに対応し、検出器が、ジェスチャ制御システムに結合され、方位に応答して、複数の入力モードからの入力モードの選択を自動的に制御する。

　日本国特表２０１２－５２１０３９号公報（特許文献５）においては、仮想オブジェクトを操作するためのシステム、方法及びコンピューター読み取り可能な媒体が開示されている。特許文献５に記載の方法は、仮想空間において仮想オブジェクトを操作する方法であって、仮想オブジェクトを操作するためにユーザが利用する少なくとも１つのコントローラーを決定するステップと、コントローラーを仮想空間におけるカーソルにマッピングするステップと、ユーザがカーソルによって仮想オブジェクトを操作することを示すコントローラー入力を決定するステップと、操作の結果を表示するステップとを含む方法。

　日本国特開２０１２－１０６００５号公報（特許文献６）においては、画像表示装置の観察者が、実際には存在しない立体像に対してあたかも直接的に操作を行えるかのような感覚を得ることができる画像表示装置、ゲーム方法、ゲーム制御方法が開示されている。特許文献６に記載の画像表示装置は、表示画面に視差画像を表示する画像表示手段と、視差画像の観察者によって表示画面と観察者との間に認識される立体像の仮想的な空間座標を算出する第１座標算出手段と、観察者の操作対象である操作体の空間座標を算出する第２座標算出手段と、第１座標算出手段によって算出された立体像の少なくとも１点の空間座標と、第２座標算出手段によって算出された操作体の少なくとも１点の空間座標との間の距離が所定の閾値以下になったときに、視差画像、または視差画像以外の表示画面上の画像の少なくとも一方の変化を伴う所定のイベントを発生させるイベント発生手段と、を備える。

日本国特公平８－３１１４０号公報日本国特開２００４－１２６９０２号公報日本国特表２０１２－５３３１２０号公報日本国特表２０１２－５２８４０５号公報日本国特表２０１２－５２１０３９号公報日本国特開２０１２－１０６００５号公報

　本発明の目的は、対象物の外形を識別するためのより正確な情報を得ることができる形状認識装置、形状認識プログラムおよび形状認識方法を提供することにある。

（１）
　一局面に従う形状認識装置は、外形検知部と、抽出点設定部と、深度検知部と、向き認識部とを含む。外形検知部は、手の外形を検知する。抽出点設定部は、検知された外形の内部における複数の点を抽出点として設定する。深度検知部は、複数の抽出点にそれぞれ対応する手の表面上の対象点までの空間距離を深度として測定する。向き認識部は、計測された深度のばらつきを示す尺度に基づいて、手が掌側および背側のいずれを向いているかを判断する。

　これによって、外形のデータだけでは掌側および背側のいずれを向いているかの判別が困難であった、少なくともいずれかの指が屈曲させられた手の態様について、掌側および背側のいずれを向いているかの判別が可能となる。より具体的には、計測された深度のばらつきが相対的に大きい場合は掌側、相対的に小さい場合は背側であることに基づいて判別することができる。

　なお、本明細書においては、指先に近い側を遠位（distal）、体幹に近い側を近位（proximal）、手の平の側を掌側（palmer）、手の甲の側を背側（dorsal）、親指の側を撓側（radial）、小指の側を尺側（ulnar）と記載する。

（２）
　第２の発明に従う形状認識装置においては、第１の発明に従う形状認識装置において、基準点抽出部をさらに含む。基準点抽出部においては、検知された外形から、当該外形の最大内接円の中心点を基準点として抽出する。さらに、抽出点設定部は、基準点を通る最大内接円の弦を設定し、設定された弦上に所定の間隔で複数の抽出点を設定する。

　これによって、抽出点が少ない場合であっても、手が掌側および背側のいずれを向いているかの判断を正確に行うことができる。

（３）
　第３の発明に従う形状認識装置においては、第２の発明に従う形状認識装置において、基準点を通る最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する。

（４）
　第４の発明に従う形状認識装置においては、第２または第３の発明に従う形状認識装置において、基準点を通る最大内接円の弦として、手の遠位および近位を結んだ方向を有する弦と、手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する。

（５）
　第５の発明に従う形状認識装置においては、一局面から第４の発明のいずれかに従う形状認識装置において、深度のばらつきを示す尺度が、標準偏差、分散、範囲、四分位数範囲、平均差、および平均絶対偏差の少なくともいずれかである。

　これによって、手が掌側および背側のいずれを向いているかの判断を容易に行うことができる。

（６）
　第６の発明に従う形状認識装置においては、第２から第５の発明のいずれかに従う形状認識装置において、深度の線形回帰分析の結果に基づいて、手が右手および左手のいずれであるかを判断する左右認識部をさらに含む。

　これによって、手が掌側および背側のいずれを向いているかの判断に加えて、右手および左手のいずれであるかの判断もできる。左右の判断は、特に手が背側を向いている場合、尺側ほど深度が大きく撓側ほど深度が小さい傾向があることに基づいてよい。さらに、特に手が少なくとも親指を掌側に屈曲させた状態である場合は、手が掌側を向いている場合にも、尺側ほど深度が大きく撓側ほど深度が小さい傾向があることに基づいてもよい。
　したがって、たとえ手が握りこぶし状態であっても、手の掌側および背側の識別と手の左右の識別との両方を行うことができる。

（７）
　第７の発明に従う形状認識装置においては、一局面から第６の発明のいずれかに従う形状認識装置において、外形検知部および深度検知部が赤外線センサである。
　これによって、赤外線センサが、外形検知部と深度検知部との両方を兼ねることができる。したがって、装置の構成を簡素化することができる。

（８）
　第８の発明に従う形状認識装置においては、一局面から第７の発明のいずれかに従う形状認識装置において、立体視像を表示可能な表示装置をさらに含み、外形検知部が、表示装置により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域において、手の外形を検知する。

　これによって、共有領域中の立体視像の視認と、当該立体視像の視界中に存在する手の形状識別とを同時に行うことができる。すなわち、立体視像を表示させつつ、手の形状識別を行うことができる。

（９）
　他の局面に従う形状認識装置は、一局面から第８の発明のいずれかに従う形状認識装置を有するヘッドマウントディスプレイ装置である。

　この場合、形状認識装置がヘッドマウントディスプレイ装置に設けられるので、装置を身体に装着した状態で、手の形状認識を行うことができる。
　また、装置を頭に装着するため、検知される手の外形とユーザが視認できる手の外形とがほぼ同じとなり、表示オブジェクトの操作を行う場合およびジェスチャの登録を行う場合などに、形状認識装置に検知されやすい態様を意識しながら手を検知させることもできる。

（１０）
　さらに他の局面に従う形状認識プログラムは、外形検知処理と、抽出点設定処理と、深度検知処理と、向き認識処理とを含む。外形検知処理は、手の外形を検知する。抽出点設定処理は、検知された外形の内部における複数の点を抽出点として設定する。深度検知処理は、複数の抽出点にそれぞれ対応する手の表面上の対象点までの空間距離を深度として測定する。向き認識処理は、計測された深度のばらつきを示す尺度に基づいて、手が掌側および背側のいずれを向いているかを判断する。

（１１）
　第１１の発明に従う形状認識プログラムにおいては、さらに他の局面に従う形状認識プログラムにおいて、基準点抽出処理をさらに含む。基準点抽出処理においては、検知された外形から、当該外形の最大内接円の中心点を基準点として抽出する。さらに、抽出点設定処理は、基準点を通る最大内接円の弦を設定し、設定された弦上に所定の間隔で複数の抽出点を設定する。

（１２）
　第１２の発明に従う形状認識プログラムにおいては、第１１の発明に従う形状認識プログラムにおいて、基準点を通る最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する。

（１３）
　第１３の発明に従う形状認識プログラムにおいては、第１１または第１２の発明に従う形状認識プログラムにおいて、基準点を通る最大内接円の弦として、手の遠位および近位を結んだ方向を有する弦と、手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する。

（１４）
　第１４の発明に従う形状認識プログラムにおいては、第１１から第１３の発明のいずれかに従う形状認識プログラムにおいて、深度の線形回帰分析の結果に基づいて、手が右手および左手のいずれであるかを判断する左右認識処理をさらに含む。

（１５）
　さらに他の局面に従う形状認識方法は、外形検知工程と、抽出点設定工程と、深度検知工程と、向き認識工程とを含む。外形検知工程は、手の外形を検知する。抽出点設定工程は、検知された外形の内部における複数の点を抽出点として設定する。深度検知工程は、複数の抽出点にそれぞれ対応する手の表面上の対象点までの空間距離を深度として測定する。向き認識工程は、計測された深度のばらつきを示す尺度に基づいて、手が掌側および背側のいずれを向いているかを判断する。

（１６）
　第１６の発明に従う形状認識方法においては、さらに他の局面に従う形状認識方法において、基準点抽出工程をさらに含む。基準点抽出工程においては、検知された外形から、当該外形の最大内接円の中心点を基準点として抽出する。さらに、抽出点設定工程は、基準点を通る最大内接円の弦を設定し、設定された弦上に所定の間隔で複数の抽出点を設定する。

（１７）
　第１７の発明に従う形状認識方法においては、第１６の発明に従う形状認識方法において、基準点を通る最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する。

（１８）
　第１８の発明に従う形状認識方法においては、第１６または第１７の発明に従う形状認識方法において、基準点を通る最大内接円の弦として、手の遠位および近位を結んだ方向を有する弦と、手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する。

（１９）
　第１９の発明に従う形状認識方法においては、第１６から第１８の発明のいずれかに従う形状認識方法において、深度の線形回帰分析の結果に基づいて、手が右手および左手のいずれであるかを判断する左右認識工程をさらに含む。

　本発明によると、対象物の外形を識別するためのより正確な情報を得ることができる形状認識装置、形状認識プログラムおよび形状認識方法を提供することができる。

眼鏡表示装置１００の基本構成の一例を示す模式的外観正面図である。眼鏡表示装置１００の一例を示す模式的外観斜視図である操作システム４００の制御ユニット４５０の構成の一例を示す模式図である。操作システム４００における処理の流れを示すフローチャートである。図４のフローチャートに応じた概念を示す模式図である。赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域とを説明するための模式的斜視図である。図６の上面図である。図６の側面図である。検知領域と仮想表示領域との他の例を示す模式図である。検知領域と仮想表示領域との他の例を示す模式図である。検知領域と仮想表示領域との他の例を示す模式図である。検知領域における操作領域とジェスチャ領域との一例を示す模式図である。検知領域における操作領域とジェスチャ領域との一例を示す模式図である。キャリブレーション処理の説明を行なうためのフローチャートである。指認識の一例を示す模式図である。指認識の処理の一例を示すフローチャートである。指認識の他の例を示す模式図である。図１７の処理の一例を示すグラフである。指認識のさらなる他の例を示す模式図である。掌認識の一例を示す模式図である。親指認識の一例を示す模式図である。認識対象となる握りこぶしの形状の手を掌側（ａ）および背側（ｂ）から視認した場合の模式的外観図である。図２２（ａ）および図２２（ｂ）の掌側および背側の識別処理の一例を示す、図２２（ａ）および図２２（ｂ）の外形および抽出点設定の模式図である。図２２（ａ）および図２２（ｂ）のそれぞれ図２３（ａ）および図２３（ｂ）を重ね合わせた模式図である。図２４（ａ）および図２４（ｂ）それぞれにおいて、弦Ｃ_ｖを含むｙ－ｚ平面に平行な面による手Ｈ１_Ｐおよび手Ｈ１_Ｄの断面図を示す模式図である。図２４（ａ）および図２４（ｂ）それぞれにおいて、弦Ｃ_ｈを含むｘ－ｚ平面に平行な面による手Ｈ１_Ｐおよび手Ｈ１_Ｄの断面図を示す模式図である。図２２（ａ）および図２２（ｂ）の掌側および背側の識別処理の他の例を示す、図２２（ａ）および図２２（ｂ）の外形および抽出点設定の模式図である。図２６（ａ）および図２６（ｂ）に示した対象点Ｓの深度と、手の尺側と撓側とを結ぶ方向における位置との関係を示すグラフである。ジェスチャデータの登録処理の一例を示すフローチャートである。ジェスチャコマンドの設定処理の一例を示すフローチャートである。ジェスチャコマンドの書換え処理の一例を示すフローチャートである。眼鏡表示装置１００の半透過ディスプレイ２２０の表示の一例を示す模式図である。半透過ディスプレイ２２０の視野の一例（ａ）、および半透明ディスプレイ２２０の表示の一例（ｂ）を示す模式図である。イベント発生の一例を示す模式図である。イベント発生の他の例を示す模式図である。イベント発生の他の例を示す模式図である。眼鏡表示装置の操作の一例を示す模式図である。眼鏡表示装置の操作の他の一例を示す模式図である。ジェスチャ認識の一例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。ジェスチャ認識の他の例を示す模式図である。

　１００　眼鏡表示装置
　２２０　半透過ディスプレイ
　２２０３Ｄ　仮想イメージ表示領域（共有領域）
　４１０　赤外線検知ユニット
　４１０３Ｄ　三次元空間検知領域
　４５０　制御ユニット
　Ｈ１_Ｐ，Ｈ１_Ｄ　手
　ＯＦ_Ｐ，ＯＦ_Ｄ　外形
　Ｃ　最大内接円
　Ｃ０　基準点
　Ｃ_ｈ，Ｃ_ｖ，Ｃ_ｐｄ，Ｃ_ｕｒ　弦
　Ｅ　抽出点
　Ｓ　対象点
　ＤＰ　深度

　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　また、本発明は、
以下に説明する眼鏡表示装置に限定されるものではなく、他のウェアラブル機器、その他入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。

（眼鏡表示装置の構成概略）
　図１は、一実施の形態にかかる眼鏡表示装置１００の基本構成の一例を示す模式的外観正面図であり、図２は、眼鏡表示装置１００の一例を示す模式的外観斜視図である。

　図１または図２に示すように、眼鏡表示装置１００は、眼鏡型の表示装置である。当該眼鏡表示装置１００は、後述するように、ユーザの顔に装着して使用される。

　図１および図２に示すように、眼鏡表示装置１００は、主に、眼鏡ユニット２００、通信システム３００および操作システム４００からなる。

（眼鏡ユニット２００）
　図１および図２に示すように、眼鏡ユニット２００は、眼鏡フレーム２１０および一対の半透過ディスプレイ２２０からなる。眼鏡フレーム２１０は、主にリムユニット２１１、テンプルユニット２１２を含む。
　眼鏡フレーム２１０のリムユニット２１１により一対の半透過ディスプレイ２２０が支持される。

　本実施の形態においては、眼鏡表示装置１００には、リムユニット２１１に一対の半透過ディスプレイ２２０を設けることとしているが、これに限定されず、眼鏡表示装置１００のリムユニット２１１に通常のサングラスレンズ、紫外線カットレンズ、または眼鏡レンズなどのレンズ類を設け、別に１個の半透過ディスプレイ２２０または一対の半透過ディスプレイ２２０を設けてもよい。
　また、当該レンズ類の一部に、半透過ディスプレイ２２０を埋め込んで設けてもよい。

　さらに、本実施の形態は、眼鏡タイプに限定するものではなく、人体に装着し、装着者の視野に配設できるタイプであれば、帽子タイプその他任意のヘッドマウントディスプレイ装置に使用することができる。

（通信システム３００）
　次に、通信システム３００について説明を行なう。
　通信システム３００は、バッテリーユニット３０１、アンテナモジュール３０２、カメラユニット３０３、スピーカユニット３０４、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）ユニット３０７、マイクユニット３０８、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）ユニット３０９およびメインユニット３１０を含む。
　なお、カメラユニットにはＣＣＤセンサが備えられてよい。スピーカユニット３０４は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。ＳＩＭユニット３０９には、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ：近距離無線通信）ユニットおよび他の接触式ＩＣカードユニット、ならびに非接触式ＩＣカードユニットを含む。

　以上のように、本実施の形態にかかる通信システム３００は、少なくとも携帯電話、スマートフォンおよびタブレット端末のいずれかの機能を含むものである。具体的には、電話機能、インターネット機能、ブラウザ機能、メール機能、および撮像機能等を含むものである。
　したがって、ユーザは、眼鏡表示装置１００を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。

（操作システム４００）
　続いて、操作システム４００は、赤外線検知ユニット４１０、ジャイロセンサユニット４２０、加速度検知ユニット４３０および制御ユニット４５０からなる。赤外線検知ユニット４１０は、主に赤外線照射素子４１１および赤外線検知カメラ４１２からなる。

　続いて、操作システム４００の構成、処理の流れおよび概念について説明を行なう。図３は、操作システム４００の制御ユニット４５０の構成の一例を示す模式図である。

　図３に示すように、制御ユニット４５０は、イメージセンサ演算ユニット４５１、デプスマップ演算ユニット４５２、イメージ処理ユニット４５３、解剖学的認識ユニット４５４、ジェスチャデータ記録ユニット４５５、ジェスチャ識別ユニット４５６、キャリブレーションデータ記録ユニット４５７、合成演算ユニット４５８、アプリケーションソフトユニット４５９、イベントサービスユニット４６０、キャリブレーションサービスユニット４６１、表示サービスユニット４６２、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４、および６軸駆動ドライバユニット４６５を含む。

　なお、制御ユニット４５０は、上記の全てを含む必要はなく、適宜必要な１または複数のユニットを含んでもよい。たとえば、ジェスチャデータ記録ユニット４５５およびキャリブレーションデータ記録ユニット４５７は、クラウド上に配置してもよく、合成演算ユニット４５８を特に設けなくてもよい。

　次に、図４は、操作システム４００における処理の流れを示すフローチャートであり、図５は図４のフローチャートに応じた概念を示す模式図である。

　まず、図４に示すように、赤外線検知ユニット４１０から対象のデータを取得し、デプスマップ演算ユニット４５２により深さ演算を行なう（ステップＳ１。次に、イメージ処理ユニット４５３により外形イメージデータを処理する（ステップＳ２）。

　次いで、解剖学的認識ユニット４５４により、標準的な人体の構造に基づき、ステップＳ２において処理された外形イメージデータから、解剖学的特徴を識別する。これにより、外形が認識される（ステップＳ３）。

　さらに、ジェスチャ識別ユニット４５６により、ステップＳ３で得た解剖学的特徴に基づいてジェスチャを識別する（ステップＳ４）。
　ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
　以上により、図５（ａ）に示すように、手のジェスチャを認識する。

　続いて、アプリケーションソフトユニット４５９およびイベントサービスユニット４６０は、ジェスチャ識別ユニット４５６により判定されたジェスチャに応じて所定のイベントを実施する（ステップＳ５）。
　これによって、図５（ｂ）に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット３０３からの撮像データが表示されてよい。

　最後に、表示サービスユニット４６２、キャリブレーションサービスユニット４６１、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４および合成演算ユニット４５８により、半透過ディスプレイ２２０に、イメージの表示、またはイメージの仮想表示が行なわれる（ステップＳ６）これによって、図５（ｃ）に示すようにジェスチャを示す手のスケルトンの表示が行われ、図５（ｄ）に示すように、当該スケルトンの形状および大きさに写真の形状および大きさが合致するように合成されたイメージが表示される。

　なお、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を検知し、ディスプレイ演算ユニット４６４に姿勢状況を伝達する。

　眼鏡表示装置１００を装着したユーザが眼鏡表示装置１００を傾斜させた場合には、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を受信し、イメージの表示の制御を行なう。当該制御においては、イメージの表示を水平に維持させてもよいし、イメージの表示を傾斜にあわせて調整してもよい。

（検知領域と仮想表示領域との一例）
　次に、操作システム４００の赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域との関係について説明を行なう。
　図６は、赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域とを説明するための模式的斜視図であり、図７は図６の上面図であり、図８は、図６の側面図である。

　以下において、説明の便宜上、図６に示すように、ｘ軸、ｙ軸およびｚ軸からなる三次元直交座標系が定義される。以下の図におけるｘ軸の矢印は、水平方向を指す。ｙ軸の矢印は、鉛直方向またはユーザの体の長軸方向を指す。ｚ軸の矢印は、深度方向を指す。ｚ軸正方向は、より大きい深度の方向を指す。それぞれの矢印の向きは、他の図においても同じである。

　図６から図８に示すように、操作システム４００の赤外線検知ユニット４１０により検知可能な三次元空間検知領域（３Ｄスペース）４１０３Ｄを有する。
　三次元空間検知領域４１０３Ｄは、赤外線検知ユニット４１０からの円錐状または角錐状の三次元空間からなる。

　すなわち、赤外線検知ユニット４１０は、赤外線照射素子４１１から、照射された赤外線を、赤外線検知カメラ４１２により検知できるので、三次元空間検知領域４１０３Ｄ内のジェスチャを認識することができる。
　また、本実施の形態においては、赤外線検知ユニット４１０を１個設けることとしているが、これに限定されず、赤外線検知ユニット４１０を複数個設けてもよいし、赤外線照射素子４１１を１個、赤外線検知カメラ４１２を複数個設けてもよい。

　続いて、図６から図８に示すように一対の半透過ディスプレイ２２０は、ユーザに、実際に設けられた眼鏡表示装置１００の部分ではなく、眼鏡表示装置１００から離れた場所となる仮想イメージ表示領域２２０３Ｄに、奥行きを持って仮想表示されたものとして視認させる。当該奥行きは、仮想イメージ表示領域２２０３Ｄが有する仮想立体形状の深度方向（ｚ軸方向）の厚みに対応する。したがって、当該仮想立体形状の深度方向（ｚ軸方向）の厚みに応じて奥行きが設けられる。
　すなわち、実際には眼鏡表示装置１００の半透過ディスプレイ２２０に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ２２０を透過し三次元空間領域２２０３ＤＲで認識し、左目のイメージは左目側の半透過ディスプレイ２２０を透過し三次元空間領域２２０３ＤＬで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域２２０３Ｄで仮想イメージとして認識することができる。

　また、仮想イメージ表示領域２２０３Ｄは、フレーム・シーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップ・アンド・ボトム方式、サイド・バイ・サイド方式、アナグリフ方式、レンチキュラ方式、パララックス・バリア方式、液晶パララックス・バリア方式、２視差方式および３視差以上を利用する多視差方式のいずれかを利用して表示されたものである。

　また、本実施の形態においては、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。特に、図６および図７に示すように、三次元空間検知領域４１０３Ｄの内部に、仮想イメージ表示領域２２０３Ｄが存在するため、仮想イメージ表示領域２２０３Ｄが共有領域となる。

　なお、仮想イメージ表示領域２２０３Ｄの形状およびサイズについては、一対の半透過ディスプレイ２２０への表示方法により任意に調整することができる。
　また、図８に示すように、一対の半透過ディスプレイ２２０よりも赤外線検知ユニット４１０が上方（ｙ軸正方向）に配設されている場合について説明しているが、鉛直方向（ｙ軸方向）に対して、赤外線検知ユニット４１０の配設位置が半透過ディスプレイ２２０よりも下方（ｙ軸負方向）または半透過ディスプレイ２２０と同位置であっても、同様に、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。

（検知領域と仮想表示領域との他の例）
　続いて、図９から図１１は、図６から図８において示した検知領域と仮想表示領域との他の例を示す模式図である。

　例えば、図９から図１１に示すように、眼鏡表示装置１００の半透過ディスプレイ２２０の代わりに、他の入出力装置、表示装置、テレビジョン、モニタ等を用いてもよい。以下、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタを総称して入出力装置９００と略記する。

　図９に示すように、入出力装置９００からｚ軸負方向に仮想イメージ表示領域２２０３Ｄが出力され、入出力装置９００にｚ軸方向で対向する位置に配設された赤外線検知ユニット４１０からｚ軸正方向に三次元空間検知領域４１０３Ｄが形成されてもよい。
　この場合、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。

　また、図１０に示すように、入出力装置９００から仮想イメージ表示領域２２０３Ｄが出力され、入出力装置９００と同方向（ｘｙ平面を基準としていずれもｚ軸正側の方向）に赤外線検知ユニット４１０の三次元空間検知領域４１０３Ｄが形成されてもよい。
　この場合でも、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。

　次に、図１１に示すように、入出力装置９００から鉛直上方向（ｙ軸正方向）に仮想イメージ表示領域２２０３Ｄが出力されてもよい。図１１においても、図９、図１０と同様に、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。

　また、図示していないが、入出力装置９００を三次元空間検知領域４１０３Ｄより上方側（ｙ軸正方向の側）に配置し、鉛直下方向（ｙ軸負方向）に仮想イメージ表示領域２２０３Ｄが出力されてもよく、水平方向（ｘ軸方向）から出力されてもよく、プロジェクタまたは映画館のように、後上方（ｚ軸正方向かつｙ軸正方向）から出力されてもよい。

（操作領域とジェスチャ領域）
　続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図１２および図１３は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。

　まず、図１２に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を水平移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。

　また、図１３に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を鉛直移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。

　すなわち、図１２および図１３に示すように、ユーザは、両手を右肩関節ＲＰおよび左肩関節ＬＰをそれぞれ回転中心とした欠球状（深度方向に凸のアーチ状曲面を有する）の立体空間内で移動させることができる。

　次に、赤外線検知ユニット４１０による三次元空間検知領域４１０３Ｄと、仮想イメージ表示領域が存在しうる領域（図１２では仮想イメージ表示領域２２０３Ｄを例示）と、腕の移動領域Ｌおよび移動領域Ｒを合わせた領域との全てが重なる空間領域を、操作領域４１０ｃとして設定する。
　また、三次元空間検知領域４１０３Ｄ内における操作領域４１０ｃ以外の部分で、かつ腕の移動領域Ｌおよび移動領域Ｒを合わせた領域と重なる部分をジェスチャ領域４１０ｇとして設定する。

　ここで、操作領域４１０ｃが、深度方向に最も遠い面が深度方向（ｚ軸正方向）に凸のアーチ状に湾曲した曲面である立体形状を有することに対し、仮想イメージ表示領域２２０３Ｄは、深度方向に最も遠い面が平面である立体形状を有する。このように両領域の間で当該面の形状が異なることに起因し、ユーザは、当該操作において体感的に違和感を覚える。当該違和感を取り除くためにキャリブレーション処理で調整を行なう。また、キャリブレーション処理の詳細については、後述する。

（キャリブレーションの説明）
　次いで、キャリブレーション処理について説明を行なう。図１４は、キャリブレーション処理の説明を行なうためのフローチャートである。

　図１２および図１３に示したように、ユーザが仮想イメージ表示領域２２０３Ｄに沿って手を動かそうとすると、補助のない平面に沿って動作させる必要がある。したがって、後述する認識処理により仮想イメージ表示領域２２０３Ｄにおいて、操作をし易くするためにキャリブレーション処理を行なう。
　また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。

　以下、図１４を用いて説明を行なう。まず、ユーザが、眼鏡表示装置１００を装着し、両腕を最大限に伸張する。その結果、赤外線検知ユニット４１０が、操作領域４１０ｃの最大領域を認識する（ステップＳ１１）。
　すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域４１０ｃの調整を行なうものである。

　次に、眼鏡表示装置１００においては、仮想イメージ表示領域２２０３Ｄの表示位置を決定する（ステップＳ１２）。すなわち、仮想イメージ表示領域２２０３Ｄを操作領域４１０ｃの外側に配置するとユーザによる操作が不可能となるため、操作領域４１０ｃの内部に配置する。

　続いて、眼鏡表示装置１００の赤外線検知ユニット４１０の三次元空間検知領域４１０３Ｄ内で、かつ仮想イメージ表示領域２２０３Ｄの表示位置と重ならない位置に、ジェスチャ領域４１０ｇの最大領域を設定する（ステップＳ１３）。
　なお、ジェスチャ領域４１０ｇは、仮想イメージ表示領域２２０３Ｄと重ならないように配置しかつ深さ方向（ｚ軸正方向）に厚みを持たせることが好ましい。

　本実施の形態においては、以上の手法により、操作領域４１０ｃ、仮想イメージ表示領域２２０３Ｄ、ジェスチャ領域４１０ｇが設定される。

　続いて、操作領域４１０ｃ内における仮想イメージ表示領域２２０３Ｄのキャリブレーションについて説明する。

　操作領域４１０ｃ内の仮想イメージ表示領域２２０３Ｄの外部周囲にユーザの指、手、または腕が存在すると判定された場合に、あたかも仮想イメージ表示領域２２０３Ｄの内部に存在するように、丸め込みを行なう（ステップＳ１４）。

　図１２および図１３に示すように、半透過ディスプレイ２２０により仮想表示されたイメージの中央部近辺では、両腕を最大限に伸ばした状態にすると、両手先が仮想イメージ表示領域２２０３Ｄ内に留まることなく深さ方向（ｚ軸正方向）の外部へ外れてしまう。また、仮想表示されたイメージの端部においては、両腕を最大限に伸ばさない限り、両手先が仮想イメージ表示領域２２０３Ｄ内に存在すると判定されない。
　そのため、赤外線検知ユニット４１０からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域２２０３Ｄから外れたとしても、そのような状態であることを体感しにくい。

　したがって、本実施の形態におけるステップＳ１４の処理においては、仮想イメージ表示領域２２０３Ｄから外部へ突き出た手先が、仮想イメージ表示領域２２０３Ｄ内にあるものとして補正すべく、赤外線検知ユニット４１０からの信号を処理する。
　その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。

　なお、本実施の形態においては、仮想イメージ表示領域２２０３Ｄを、深度方向に最も遠い面が平面である三次元空間領域からなることとしているが、これに限定されず、深度方向に最も遠い面領域Ｌ，Ｒの深度方向に最も遠い面に沿った形状の曲面である三次元空間領域からなることとしてもよい。その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。

　さらに、半透過ディスプレイ２２０は、仮想イメージ表示領域２２０３Ｄに矩形状の像を表示させる。例えば、図５（ｂ）に示したように、矩形状の像を表示させる（ステップＳ１５）。
　続いて、半透過ディスプレイ２２０に、像の周囲を指で囲んでくださいと、表示を行なう（ステップＳ１６）。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ２２０に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。

　ユーザは、指示に従い図５（ｄ）に示すように、指を像の見える部分にあわせる。そして、仮想イメージ表示領域２２０３Ｄの表示領域と、赤外線検知ユニット４１０との相関関係が自動調整される（ステップＳ１７）。
　なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。

　なお、上記のキャリブレーション処理の説明においては、眼鏡表示装置１００の場合についてのみ説明を行ったが、入出力装置９００の場合には、ステップＳ１１の処理において、像を表示させ、ステップＳ１７の処理の当該像と赤外線検知ユニット４１０との相関関係を調整してもよい。

（形状認識）
　次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図１５は、指認識の一例を示す模式図である。図１５において、（Ａ）は指の先端付近の拡大図であり、（Ｂ）は指の根元付近の拡大図である。図１６は、指認識の処理の一例を示すフローチャートである。

　図１６に示すように、本実施の形態においては、デバイスの初期化を行なう（ステップＳ２１）。次に、赤外線照射素子４１１から照射され、手に反射した赤外線が、赤外線検知カメラ４１２により検出される（ステップＳ２２）。
　次に、赤外線検知ユニット４１０により画像データをピクセル単位で距離に置き換える（ステップＳ２３）。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する（ステップＳ２４）。

　次いで、作成したデプスマップに適切な閾値を設ける。そして、画像データを二値化する（ステップＳ２５）すなわち、デプスマップのノイズを除去する。
　続いて、二値化した画像データから約１００個の頂点を持つポリゴンを作成する（ステップＳ２６）。そして、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）により、より多くの頂点ｐ_ｎを有する新たな多角形を作成することによって、図１５に示す手の外形ＯＦを抽出する（ステップＳ２７）。
　なお、本実施の形態においては、ステップＳ２６において二値化したデータからポリゴンを作成するために抽出する頂点の数を約１００個としているが、これに限定されず、１０００個、その他の任意の個数であってもよい。

（指認識）
　ステップＳ２７で作成した新たな多角形の頂点ｐ_ｎの集合から、Ｃｏｎｖｅｘ　Ｈｕｌｌを用いて、凸包を抽出する（ステップＳ２８）。
　その後、ステップＳ２７で作成された新たな多角形と、ステップＳ２８で作成された凸包との共有の頂点ｐ_０を抽出する（ステップＳ２９）。このように抽出された共有の頂点ｐ_０自体を指の先端点として用いることができる。
　さらに、頂点ｐ_０の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図１５（Ａ）に示すように頂点ｐ_０における外形ＯＦの内接円の中心を先端点Ｐ０として算出することもできる。

　そして、図１５に示すように、頂点ｐ_０に隣接する左右一対の頂点ｐ_１を通る基準線分ＰＰ_１のベクトルを算出する。その後、頂点ｐ_１と、隣接する頂点ｐ_２とを結ぶ辺ｐｐ_２を選択し、そのベクトルを算出する。同様に、外形ＯＦを構成する頂点ｐ_ｎを用い、辺のベクトルを求める処理を外形ＯＦの外周に沿って繰り返す。各辺の向きとステップＳ３０の処理による基準線分ＰＰ_１の向きとを調べ、基準線分ＰＰ_１と平行に近くなる辺ｐｐ_ｋが指の股の位置に存在すると判定する。そして、辺ｐｐ_ｋの位置に基づき、指の根元点Ｐ１を算出する（ステップＳ３０）。指の先端点Ｐ０と指の根元点Ｐ１とを直線で結ぶことで、指のスケルトンが得られる（ステップＳ３１）。指のスケルトンを得ることで、指の延在方向を認識することができる。
　全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。

　続いて、直前に実施した数フレームの画像データと比較して、手のポーズの違いを検知する（ステップＳ３２）。すなわち、直前の数フレームの画像データと比較することにより、手の動きを認識することができる。

　次いで、認識した手の形状を、ジェスチャデータとしてイベントサービスユニット４６０へイベント配送する（ステップＳ３３）。

　次いで、アプリケーションソフトユニット４５９によりイベントに応じた振る舞いを実施する（ステップＳ３４）。

　続いて、表示サービスユニット４６２により、三次元空間に描画を要求する（ステップＳ３５）。
　グラフィック演算ユニット４６３は、キャリブレーションサービスユニット４６１を用いてキャリブレーションデータ記録ユニット４５７を参照し、表示の補正を行なう（ステップＳ３６）。
　最後に、ディスプレイ演算ユニット４６４により半透過ディスプレイ２２０に表示を行なう（ステップＳ３７）。

　なお、本実施の形態においては、ステップＳ３０の処理およびステップＳ３１の処理により指の根元点を検出したが、根元点の検出方法はこれに限定されない。例えば、まず、頂点ｐ_０の一方の側と他方の側において隣接する一対の頂点ｐ_１を結ぶ基準線分ＰＰ_１の長さを算出する。次に、当該一方の側と他方の側における一対の頂点ｐ_２間を結ぶ線分の長さを算出する。同様に、当該一方の側と他方の側における一対の頂点間を結ぶ線分の長さを、頂点ｐ_０により近い位置にある頂点からより遠い位置にある頂点への順で算出していく。このような線分は、外形ＯＦ内で交わることなく、互いにおおよそ平行となる。当該線分の両端の頂点が指の部分にある場合は、線分の長さは指の幅に相当するため、その変化量は小さい。一方、線分の両端の頂点の少なくともいずれかが指の股の部分に達した場合は、当該長さの変化量が大きくなる。したがって、当該長さの変化量が所定量を超えずかつ頂点ｐ_０から最も遠い線分を検知し、検知された線分上の１点を抽出することによって、根元点を決定することができる。

（指認識の他の例）
　図１７は、指認識の他の例を示す模式図であり、図１８は、図１７の処理の一例を示すグラフであり、図１９は、指認識のさらなる他の例を示す模式図である。

　図１６で説明した形態と同様に、本実施の形態においては、赤外線検知カメラ４１２を用いて得られたデプスマップの処理による画像データから、約１００個の頂点を持つポリゴンを作成する（図１６、ステップＳ２６参照）。そして、本実施形態でも、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）処理し、より多くの頂点ａ_ｎを有する新たな多角形を作成することによって、図１７に示す手の外形ＯＦを抽出する（図１６、ステップＳ２７参照）。

　図１７に示すように、手の外形ＯＦの最大内接円Ｃを抽出する。最大内接円Ｃは、後述の図２０で説明するように、掌（または甲）の部分の位置として認識できる。さらに、本実施形態では、最大内接円Ｃの中心Ｃ０を基準点（以下、基準点Ｃ０）として抽出する。

　次に、外形ＯＦを構成する、所定の間隔で設定された頂点ａ_ｎそれぞれと、基準点Ｃ０との距離ｄを計測する。特に図１７に示すように伸びた指の場合、指の先端に近くなるほど、基準点Ｃ０と頂点ａ_ｎとの距離ｄが大きい傾向にあり、指間に近くなるほど、基準点Ｃ０と頂点ａ_ｎとの距離ｄが小さくなる傾向がある。このような傾向に基づいて、指の先端部と指間部を識別することができる。

　具体的には、頂点ａ_ｎを、外形ＯＦに沿って尺側（小指側）から撓側（親指側）への一方向へ走査して縦軸を基準点Ｃ０と頂点ａ_ｎとの距離を計測し、走査点数ｎと距離ｄとの関係を調べる。その関係を示すグラフを、図１８（縦軸：距離ｄ、横軸、走査点数ｎ）に示す。なお、横軸には、走査点数ｎの代わりに走査距離を表してもよい。図１８に示すように、走査点数ｎに対する距離ｄは極値を持つ曲線を呈する。この場合、距離ｄが極値を示す場合の走査点数ｎに相当する頂点ａ_ｎの位置付近を、指の特徴部とすることができる。

　たとえば、図１８において距離ｄが極大値の１つＬを示す場合の走査点数ｉに相当する頂点ａ_ｉの位置（図１７参照）を、指の先端部と判定することができる。他の極大値Ｒ、Ｍ、ＦおよびＴについても、同様である。

　指の先端部の判定に用いられた頂点ａ_ｉは、図１６のステップＳ２９で抽出される共有の頂点ｐ_０（図１５中（Ａ）参照）と同様に、指の先端点として取り扱われることもできる。また、図１５中（Ａ）と同様に、頂点ａ_ｉを、頂点ａ_ｉにおける外形ＯＦの内接円の中心に較正し、当該内接円の中心を先端点Ｐ０として取り扱われることもできる。

　また、図１８において距離ｄが極小値の１つＬＲを示す場合の走査点数ｋに相当する頂点ａ_ｋの位置（図１７参照）を指間部と判定することができる。他の極小値ＲＭ、ＭＦ、ＦＴについても、同様である。

　指間部の判定に用いられた頂点ａ_ｋは、たとえば、親指と人差し指との間（図１８ＦＴ）の距離ｄが、他の指間より小さいことに基づいて、尺側と撓側との判定のために用いることができる。
　また、指間部の判定に用いられた頂点ａ_ｋは、指の根元点を抽出するための図１６のステップＳ３０で、頂点ｐ_ｋ（図１５中（Ｂ）参照）と同様の取扱がされてもよい。
　指間部の判定に用いられた頂点ａ_ｋは、上記例示のように、指の根元点とは別の取扱がされてもよいし、適宜較正を行うことによって、指の根元点に準じる点として取り扱われてもよい。

　図１７においては、全ての指を伸ばし広げた態様について例示したが、たとえば、人差し指と中指のみを伸ばし広げた場合には、図１８のグラフにおいて、ＦおよびＭと同様の極大が表れるが、他については、同様の極大は表れない。また、ＭＦ、またはＭＦおよびＲＭと同様の極小が表れるが、他については、同様の極小は表れない。

　図１７の例では、距離ｄの取得方法として、外形ＯＦを構成する、所定の間隔で設定された頂点ａ_ｎそれぞれと、基準点Ｃ０との距離を計測する態様を示したが、距離ｄの取得方法は、この方法に限定されるものではない。
　例えば図１９に示すように、基準点Ｃ０を中心として所定の角度毎に回転する半直線ＨＬと外形ＯＦとの交点として外形点ｂ_ｎを得て、外形点ｂ_ｎと、基準点Ｃ０との距離ｄを取得してもよい。

　この場合、図１７の場合と同様、指の先端に近くなるほど、基準点Ｃ０と外形点ｂ_ｎとの距離ｄが大きい傾向にあり、指間に近くなるほど、基準点Ｃ０と外形点ｂ_ｎとの距離ｄが小さくなる傾向がある。このような傾向に基づいて、指の先端部と指間部を識別することができる。外形点ｂ_ｎを、外形ＯＦに沿って尺側（小指側）から撓側（親指側）への一方向へ走査した場合の走査点数ｎと距離ｄとの関係も、図１８と特徴が共通する。このため、極大値を示す場合の外形点ｂ_ｊに基づいて指の先端部を、極小値を示す場合の外形点ｂ_ｋに基づいて指間部を判定することができる。

（掌認識）
　次いで、図２０は、掌認識の一例を示す模式図である。

　図２０に示すように、指認識を実施した後、画像データの外形ＯＦに内接する最大内接円Ｃを抽出する。当該最大内接円Ｃの位置が、掌の位置として認識できる。

　次いで、図２１は、親指認識の一例を示す模式図である。

　図２１に示すように、親指は、人差し指、中指、薬指、および小指の他の４指とは異なる特徴を有する。例えば、掌の位置を示す最大内接円Ｃの中心と各指の根元点Ｐ１とを結ぶ直線が相互になす角度θ１，θ２，θ３，θ４のうち、親指が関与するθ１が最も大きい傾向にある。また、各指の先端点Ｐ０と各指の根元点Ｐ１とを結んだ直線が相互になす角度θ１１，θ１２，θ１３，θ１４のうち、親指が関与するθ１１が最も大きい傾向にある。このような傾向に基づき親指の判定を行なう。その結果、右手か左手か、または掌の表か裏かを判定することができる。

（腕認識）
　次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。

　本実施の形態においては、画像データの手の形のポリゴンよりも大きな領域でポリゴンを抽出する。例えば、長さ５ｃｍ以上１００ｃｍ以下の範囲、より好ましくは、１０ｃｍ以上４０ｃｍ以下の範囲で、ステップＳ２１からＳ２７の処理を実施し、外形を抽出する。
　その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
　この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップＳ３２の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。

　なお、上記の説明においては、２次元像から指、掌、親指、腕を検出することとしているが、上記に限定されず、赤外線検知ユニット４１０をさらに増設してもよく、赤外線検知カメラ４１２のみをさらに増設し、２次元像から、３次元像を認識させてもよい。その結果、さらに認識確度を高めることができる。

（手の掌側および背側の認識）
　図２２（ａ）は、認識対象となる握りこぶしの形状の手（右手）を掌側から視認した場合（以下、手Ｈ１_Ｐ）の模式的外観図であり、図２２（ｂ）は、当該手を背側から視認した場合（以下、手Ｈ１_Ｄ）の模式的外観図である。

　図１６で説明した実施の形態と同様に、本実施の形態においては、赤外線検知カメラ４１２を用いて得られたデプスマップの処理による画像データから、約１００個の頂点を持つポリゴンを作成する（図１６、ステップＳ２６参照）。そして、本実施の形態でも、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）処理し、より多くの頂点を有する新たな多角形を作成することによって、図２３（ａ）に示す掌側の握りこぶしの手の外形ＯＦ_Ｐと、図２３（ｂ）に示す背側の握りこぶしの手の外形ＯＦ_Ｄとを抽出する（図１６、ステップＳ２７参照）。

　図２３（ａ）の外形ＯＦ_Ｐと及び図２３（ｂ）の外形ＯＦ_Ｄとは、互いに似ており、判別が難しい。そこで、以下の処理を行うことによって、認識対象が掌側か背側かを判別できるようにする。

　外形ＯＦ_Ｐ，ＯＦ_Ｄ内の複数の点を抽出するために、まず、外形ＯＦ_Ｐ，ＯＦ_Ｄの最大内接円Ｃを抽出する。さらに、最大内接円Ｃの中心Ｃ０を基準点（以下、基準点Ｃ０）として抽出する。

　さらに、基準点Ｃ０を通る最大内接円Ｃの弦を設定する。例えば図２３（ａ）および図２３（ｂ）に示すように、垂直方向（ｙ軸方向）の弦Ｃ_ｖと、水平方向（ｘ軸方向）の弦Ｃ_ｈとを定める。定められた弦Ｃ_ｖ，Ｃ_ｈにおいて、所定の間隔で抽出点Ｅを設定する。この場合、基準点Ｃ０も抽出点Ｅとして設定されることが好ましい。図２３においては、弦１本につき、基準点Ｃ０を含めて５点の抽出点Ｅを設定する。

　さらに、手の外形ＯＦ_Ｐ，ＯＦ_Ｄを手Ｈ１_Ｐ，Ｈ１_Ｄに重ね合わせた場合に抽出点Ｅがｚ軸方向に投影される手Ｈ１_Ｐ，Ｈ１_Ｄ表面上の点を、対象点Ｓとして設定する。
　図２４（ａ）および図２４（ｂ）は、図２３（ａ）の外形ＯＦ_Ｐと及び図２３（ｂ）の外形ＯＦ_Ｄとをそれぞれ手Ｈ１_Ｐ，Ｈ１_Ｄに重ね合わせて表示した模式図を示す。

　設定した対象点Ｓそれぞれについて、赤外線検知ユニット４１０からの距離すなわち深度ＤＰを測定する。測定された深度ＤＰは、統計学的に集計される。具体的には、測定された深度のばらつきの尺度が求められる。ばらつきの尺度としては、たとえば、標準偏差、分散、範囲（すなわち最大値と最小値とをそれぞれ上限および下限に有する範囲）、四分位数範囲、平均差、および平均絶対偏差の少なくともいずれかが用いられてよい。

　ここで、図２５（ａ）は、図２４（ａ）において、弦Ｃ_ｖを含むｙ－ｚ平面に平行な面による手Ｈ１_Ｐの断面図を示す模式図であり、図２５（ｂ）は、図２４（ｂ）において、弦Ｃ_ｖを含むｙ－ｚ平面に平行な面による手Ｈ１_Ｄの断面図を示す模式図である。また、図２６（ａ）は、図２４（ａ）において、弦Ｃ_ｈを含むｘ－ｚ平面に平行な面による手Ｈ１_Ｐの断面図を示す模式図であり、図２６（ｂ）は、図２４（ｂ）において、弦Ｃ_ｈを含むｘ－ｚ平面に平行な面による手Ｈ１_Ｄの断面図を示す模式図である。

　図２５（ａ）及び図２６（ａ）に示されるように、掌側を向いている手Ｈ１_Ｐの場合、掌側表面の凹凸が大きいため、対象点Ｓまでの深度ＤＰのばらつきが大きい。一方、図２５（ｂ）および図２６（ｂ）に示されるように、背側を向いている手Ｈ１_Ｄの場合、背側表面は凹凸がほとんどないため、対象点Ｓまでの深度ＤＰのばらつきが小さい。
　このように、掌側の手Ｈ１_Ｐと背側の手Ｈ１_Ｄとは、当該深度ＤＰのばらつきの尺度が相対的に異なることに基づいて識別することができる。

　たとえばばらつきの尺度として標準偏差を用いる場合、判断基準となる標準偏差の基準値を定め、当該基準値以上である場合には掌側、当該基準値を下回る場合には背側と判断することができる。

（手の掌側および背側の認識の他の例）
　図２７は、図２２（ａ）および図２２（ｂ）の掌側および背側の識別処理の他の例を示す、図２２（ａ）および図２２（ｂ）の外形および抽出点設定の模式図である。図２７においては、基準点Ｃ０を通る弦として、手Ｈ１_Ｐ，Ｈ１_Ｄの近位および遠位を結ぶ方向の弦Ｃ_ｐｄと、当該弦Ｃ_ｐｄに垂直な弦Ｃ_ｕｒとを設定する。なお、弦Ｃ_ｐｄの設定は、腕の延在方向と平行な弦として設定することができる。

　さらに、上述の例と同様、定められた弦Ｃ_ｐｄ，Ｃ_ｕｒにおいて、所定の間隔で複数の抽出点Ｅを設定し、手Ｈ１_Ｐ，Ｈ１_Ｄへｚ軸方向に投影した複数の対象点Ｓを設定し、複数の対象点Ｓについての深度ＤＰのばらつきを調べ、掌側および背側を識別する。掌側および背側の識別においては、図２５および図２６と同様の、深度ＤＰのばらつきの大小と手Ｈ１_Ｐ，Ｈ１_Ｄとの関係に基づくことができる。

（手の掌側および背側の認識のさらに他の例）
　図２３および図２７の例では、基準点Ｃ０を通る弦として、弦Ｃ_ｖと弦Ｃ_ｈとの両方、および弦Ｃ_ｐｄと弦Ｃ_ｕｒとの両方を定めたが、いずれか一方のみ（たとえば弦Ｃ_ｖのみ、または弦Ｃ_ｐｄのみ）を定めてもよい。さらに、基準点Ｃ０を通ると通らないとを問わず、他の任意の弦を任意の数で定めてもよい。

　また、図２３および図２７の例では、抽出点Ｅを定めるために基準点Ｃ０を通る弦を設定したが、例えば、最大内接円Ｃの内部に、基準点Ｃ０を中心とする同心円を設定し、その上に抽出点Ｅを定めてもよいし、基準点Ｃ０を重心とする多角形、その他の任意の図形を設定し、その上に抽出点Ｅを定めてもよい。いずれにしても、複数の抽出点Ｅの１つとしては基準点Ｃ０を選択することが好ましい。

　さらに、図２３および図２７の例では、認識対象が、全ての指を屈曲させた握りこぶしの形状の手Ｈ１_Ｐ，Ｈ１_Ｄを例示したが、手の形状は、この態様に限られない。少なくともいずれかの指を内側（すなわち掌側）に屈曲させた形状であればよい。

（手の左右の識別）
　さらに、手の尺側と撓側とを結ぶ方向（以下、方向ＵＲ）における対象点Ｓの深度の傾向を調べることによって、手の左右の識別を行うことができる。

　手の尺側と撓側とを結ぶ方向ＵＲとしては、好ましくは、図２７における弦Ｃ_ｕｒの方向である。その他、手の尺側と撓側とを結ぶ方向ＵＲとしては、図２３における弦Ｃ_ｈに例示されるような、弦Ｃ_ｕｒの方向と－３０°以上＋３０°以下の角度を有する任意の弦の方向も許容する。

　手の左右の識別においては、得られた対象点Ｓの深度ＤＰのデータを、線形回帰分析する。具体的には、ＵＲ方向の各位置における深度ＤＰの傾向を分析する。図２６（ａ）および図２６（ｂ）に示した深度ＤＰの、ＵＲ方向における位置との関係を、それぞれ、図２８（ａ）および図２８（ｂ）のグラフに示す。図２８のグラフにおいて、横軸は、対象点Ｓの、ＵＲ方向における撓側からの相対距離（Ｕ）を表し、縦軸は、対象点Ｓの深度（ＤＰ）を表す。

　図２８（ａ）に示すように、掌側を向いた握りこぶし形状の手Ｈ１_Ｐの場合、手の尺側に近くなるほど、深度ＤＰが大きくなる傾向にある。この傾向に基づいて手の左右を識別してよい場合としては、たとえば、例示のような握りこぶし形状である場合を含め、少なくとも親指が掌側に屈曲させた形状である場合が挙げられる。

　また、図２８（ｂ）に示すように、背側を向いた握りこぶし形状の手Ｈ１_Ｄの場合も、手の尺側に近くなるほど、深度ＤＰが大きくなる傾向にある。この傾向に基づいて手の左右を識別してよい場合としては特に限定されない。

　なお、上述の全ての実施形態において、手の外形を検知するために赤外線検知ユニット４１０を用いる態様を例示しているが、外形の取得はこれに限定されるものではない。たとえば、深度情報を伴わないイメージセンサによる外形取得を行うこともできる。

（ジェスチャの登録）
　ジェスチャデータ記録ユニット４５５（図３参照）にストックされるジェスチャデータは、ユーザによって登録される。また、ジェスチャデータは、ユーザによってジェスチャコマンドとして設定され、さらに必要に応じて書換えもされる。

（ジェスチャデータ登録）
　図２９は、ジェスチャデータ記録ユニット４５５へジェスチャデータを登録する処理の一例を示すフローチャートである。

　本実施の形態においては、ユーザの操作に従い、アプリケーションソフトユニット４５９がジェスチャ設定アプリを起動する。図２９に示すように、アプリ画面に表示された機能から、ジェスチャデータ登録機能を選択する（ステップＳ４１）。これによって、撮像準備を開始する。撮像準備においては、ユーザが、ジェスチャとして登録を所望する形態を手および腕を使って表す。ジェスチャを表す手の形態がユーザによって決定されるまでの間、撮像は待機される（ステップＳ４２）。撮像待機の時間は、たとえば５秒に設定されることができる。

　その後、ジェスチャを表した手と腕の少なくとも一部とを含む部分を撮影する（ステップＳ４３）。撮影により、検知された一連の外形として外形データを取得する。外形データの取得には、ジェスチャを示している手および腕を一定時間撮影することにより動画を取得する。撮影時間は、たとえば１０秒に設定されることができる。

　撮影時間の間、動作を伴うジェスチャの場合は、当該ジェスチャの動作を反復した様子を撮影することができる。
　動作の遷移が意図されないジェスチャの場合は、当該ジェスチャのサインを示したまま、ユーザ自身が当該ジェスチャとして意識する態様を逸脱しない程度に手および腕を様々に動かした様子を撮影することができる。

　なお、上述の動画撮影の他、静止画を複数回撮影することによって、検知された複数の外形として外形データを取得してもよい。この場合、動作を伴うジェスチャの場合は、ジェスチャを示している間連写を行なうことによって複数フレームを取得できる。動作を伴わないジェスチャの場合は、時および場所を変えて同じジェスチャを撮影することによって複数フレームを取得できる。

　撮影は、例えば赤外線検知ユニット４１０によって行なわれる。撮影において、赤外線検知ユニット４１０は、ジェスチャを示す手および腕の外形を検知する。外形検知は、図１６のステップＳ２２からステップＳ２５と同じ処理によって行なわれる。この外形検知の処理は、複数フレームそれぞれについて行われる。

　撮影結果に基づいて、ジェスチャを示す手および腕の特徴部を分析する（ステップＳ４４）。特徴部の分析は、検知した複数の外形それぞれについて行われる。分析されるべき特徴部としては、所定の形態の指の数および位置等の解剖学的特徴を示す対象の部分が挙げられる。
　さらに、特徴部の位置および／または角度の値を分析する（ステップＳ４５）。特徴部の位置としては、指先および指の根元を表す点など、対象における解剖学的特徴点を座標情報の付加により表すことができる。また、特徴部の角度としては、指の延在方向および腕の延在方向などに基づいた角度情報の付加により表すことができる。

　ステップＳ４４およびステップＳ４５においては、上述の指認識、掌認識、および腕認識と同じ処理が行われる。
　より具体的には、図１６のステップＳ２６からＳ３１と同じ処理が行われる。これによって、全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、指の延在方向、具体的には指の関節を中心とした指の角度を認識することができる。また、指先および指の根元等を示す特徴点の位置を、座標情報を付加することにより認識することができる。さらに、手の形態を認識することができる。たとえば、それぞれの指の形態（具体的には、親指、人差し指、中指、薬指、小指のいずれの指が曲げられ、いずれの指が伸びているか等）を認識することができる。

　また、図２０と同様に掌認識で掌の位置を認識し、図２１と同様に親指認識で、右手か左手か、または掌の表か裏かを判定することができる。これにより、所定の指の位置を認識することができる。
　さらに、腕認識によって、腕の延在方向、具体的には肘の関節を中心とした腕の角度を判定することができる。

　ステップＳ４５では、さらに、複数の外形について抽出された上述の特徴部の情報を総合することによって、ステップＳ４３での撮影対象となったジェスチャを示していた手および腕の可動範囲も導出する。

　具体的には、上述の特徴部の抽出で得られた角度の最大値及び最小値を含む範囲を求めることによって、可動範囲を導出することができる。
　上述のほか、指先等を示す特徴点の座標の軌跡を含む範囲を求めることによって、可動範囲を導出することができる。

　ジェスチャが動作を伴うものである場合、複数の外形について抽出されたそれぞれの特徴部の差異に基づいて、複数の外形を経時的に比較する。これによって、ジェスチャ動作に伴う外形の遷移の認識もできる。

　ユーザは、上記の分析結果を、ジェスチャデータとして記録するかどうかを決定する（ステップＳ４６）。この場合、撮影した動画の再生および分析結果の表示によって撮影した手および腕の形態を確認できるようにしてよい。ジェスチャデータとして記録する場合（ステップＳ４６のＹｅｓ）、ジェスチャデータ記録ユニット４５５に記録する（ステップＳ４７）。ジェスチャデータとして記録しない場合（ステップＳ４６のＮｏ）、ジェスチャデータ記録ユニット４５５に記録することなく、別の動画を撮影するために再び撮影待機（ステップＳ４２）を行なうことができる。

　なお、上述の実施形態においては、一連の外形または複数の外形を取得する態様を挙げたが、この態様に限定されない。たとえば、１つの外形を取得し、当該取得した外形について、特徴点と、その位置およびまたは方向の値の分析を行い、ジェスチャデータ記録ユニット４５５に記録してよい。この場合、得られた当該値に、所定の幅を持たせて所定の範囲とし、当該所定の範囲を、ジェスチャとして許容する範囲としてジェスチャデータ記録ユニット４５５に記録することができる。

（ジェスチャコマンド設定）
　図３０は、ジェスチャデータ記録ユニット４５５において、ジェスチャデータが、当該ジェスチャデータをコマンドとすべきアプリケーションの操作と関連付けられて記録される関連付け処理の一例を示すフローチャートである。

　本実施の形態においては、ユーザの操作に従い、ジェスチャ設定アプリの画面に表示された機能から、ジェスチャコマンド設定機能を選択する（ステップＳ５１）。次に、アプリケーションソフトユニット４５９において、アプリケーション操作コマンドを呼び出し、参照する（ステップＳ５２）。アプリケーション操作には、アプリケーションの起動および終了、アプリケーション内の各機能の選択および決定、ならびに画面の移動など、アプリケーションの利用に際し用いられるいかなる操作も含まれる。

　参照したコマンドデータから、ジェスチャによって発生させたいコマンドを選択する（ステップＳ５３）。さらに、ジェスチャデータ記録ユニット４５５から、ジェスチャデータを呼び出し、参照する（ステップＳ５４）。ステップＳ５３で選択したコマンドに関連付けたいジェスチャを選択する（ステップＳ５５）。ユーザは、選択されたジェスチャで設定するか否かを決定する（ステップＳ５６）。選択されたジェスチャで設定する場合（ステップＳ５６のＹｅｓ）、ジェスチャデータと、当該ジェスチャデータをコマンドとして発生させるべきイベントとが関連付けられた状態でジェスチャデータ記録ユニット４５５に記録される（ステップＳ５７）。選択されたジェスチャをキャンセルする場合（ステップＳ５６のＮｏ）、再びジェスチャデータを選択し（ステップＳ５４）、別のジェスチャを選択することができる（ステップＳ５５）。

　なお、上述の実施形態では、先にアプリケーション操作コマンドを呼び出し選択した後に、選択したアプリケーションコマンドに対してジェスチャデータを関連付けるものとしたが、この態様に限定されない。たとえば、先にジェスチャデータを呼び出し選択した後に、選択したジェスチャデータに対してアプリケーション操作コマンドを関連付けてもよい。
　また、たとえば、アプリケーション操作コマンドを呼び出した後に、ジェスチャデータを直接記録させ、関連付ける態様としてもよい。

（ジェスチャコマンド書換え）
　図３１は、ジェスチャデータ記録ユニット４５５において、ジェスチャコマンドが書換えられる処理の一例を示すフローチャートである。

　本実施の形態においては、ユーザの操作に従い、ジェスチャ設定アプリの画面に表示された機能から、ジェスチャコマンド書換え機能を選択する（ステップＳ６１）。次に、ジェスチャデータ記録ユニット４５５から、ジェスチャデータを呼び出し、参照する（ステップＳ６２）。書き換えたいジェスチャコマンドを選択し（ステップＳ６３）、当該ジェスチャコマンドが関連付けられているアプリケーション操作との関連付けを解除するか否かを決定する（ステップＳ６４）。関連付けを解除する場合（ステップＳ６４のＹｅｓ）、解除が実行され、当該ジェスチャコマンドを構成していたジェスチャデータとアプリケーション操作との間の関連性が無くなる（ステップＳ６５）。関連付けを解除しない場合（ステップＳ６４のＮｏ）、この処理を終了する。

　ステップＳ６５によってジェスチャデータとアプリケーション操作との間の関連性が解除された後、さらに、関連性が解除されたジェスチャデータ自体を削除するか否かを決定する（ステップＳ６６）。ジェスチャデータ自体も削除する場合（ステップＳ６６のＹｅｓ）、当該ジェスチャデータはジェスチャデータ記録ユニット４５５から削除される（ステップＳ６７）。

　ステップＳ６７でジェスチャデータが削除された場合、図２９で説明したジェスチャデータ登録処理がなされる（ステップＳ６８）。その後、図３０で説明したジェスチャコマンド設定処理がなされることにより、新たなジェスチャコマンドが設定される（ステップＳ６９）。

　一方、ジェスチャデータを削除しない場合（ステップＳ６６のＮｏ）、図３０で説明したジェスチャコマンド設定処理が行われ、当該ジェスチャデータを他のアプリケーション操作と関連付けられることにより、新たなジェスチャコマンドが設定される（ステップＳ６９）。

（設定されたジェスチャコマンドの識別によるアプリケーションの操作）
　上述のように記録されたジェスチャデータ記録ユニット４５５内のジェスチャデータを利用してジェスチャの識別を行なう方法は、図４のステップＳ１からステップＳ４で説明した通りである。より具体的には、上述のジェスチャデータ登録時と同様に、ステップＳ２において、対象の外形イメージデータを複数フレーム取得し、それぞれ、ステップＳ３において、外形の特徴部およびその可動範囲の情報を取得する。さらに、ステップＳ４において、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータの外形の特徴部およびその可動範囲と、識別すべきジェスチャの外形の特徴部およびその可動範囲とを比較する。双方のデータの一致性を判断することによって、識別すべきジェスチャが、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータのうちどれに該当するかを判断する。

　引き続いて、ステップＳ５で説明したとおり、アプリケーションソフトユニット４５９が、ジェスチャ識別ユニット４５６により判定されたジェスチャをコマンドとして所定のアプリケーション操作を行なう。

（半透過ディスプレイの表示例）
　次に、図３２は、眼鏡表示装置１００の半透過ディスプレイ２２０の表示の一例を示す模式図である。

　図３２に示すように、眼鏡表示装置１００の半透過ディスプレイ２２０には、一部には広告２２１が表示され、さらに一部には地図２２２が表示され、その他には、眼鏡表示装置１００の半透過ディスプレイ２２０を透過して風景２２３が視認され、その他に天気予報２２４および時刻２２５が表示される。

（視野の説明）
　次に、眼鏡表示装置１００の半透過ディスプレイ２２０に表示される表示の一例について説明を行なう。図３３（ａ）は、半透過ディスプレイ２２０の視野の一例、図３３（ｂ）は、半透明ディスプレイ２２０の表示の一例を説明する図である。

　図３３に示すように、本実施の形態においては、眼鏡表示装置１００が視認させることができる表示は、複数の表示７０１，～，７０７から構成される。複数の表示は、それら全てが一体化した連続像の一部をなすセグメントである。連続像のうち視認部分を遷移させることにより、複数の表示を途切れさせることなくスムーズに遷移させる切換え表示を行なう。
　図３３に示すように、縦方向に表示７０３、７０２、７０１、７０４、７０５の表示が設けられており、表示７０１を中央として、左右に表示７０６，７０７が設けられる。なお、当然のことながら、当該表示７０１，～，７０７は、ユーザによって自由に削除または変更することができ、さらに他の表示を追加することもできる。
　なお、本実施の形態においては、表示７０１，～，７０７はシームレスに連続した画像であるが、切換えされるべき表示は、それぞれが独立した非連続の像であってもよい。

　具体的には、眼鏡表示装置１００の姿勢が水平方向である場合、すなわち、ユーザが眼鏡表示装置１００を装着し、水平前方を向いた場合、表示７０１が表示される。

　続いて、ユーザが眼鏡表示装置１００を装着し、水平面（すなわち水平方向に平行の面）を基準として３０度程度斜め上方を向いた場合、表示７０２が表示される。すなわち、眼鏡表示装置１００におけるジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号に基づいて、ユーザの向く方向を認識する。なお、表示７０２は、例えば顔認識アプリの画面が表示されてよい。

　さらに、水平面を基準として４５度程度斜め上方を向いた場合、表示７０３が表示される。表示７０３には天気予報が示されてよい。また、表示７０３にはその他の天空情報が表示されてもよく、時間帯によっては、例えば星座の像を表示させてもよい。

　同様に、ユーザが眼鏡表示装置１００を装着し、水平面を基準として３０度程度斜め下方を向いた場合、表示７０４（例えば、メール画面）が表示され、水平面を基準として４５度程度斜め下方を向いた場合、表示７０５（例えば、地図）が表示され、鉛直面を基準として３０度程度右方を向いた場合、表示７０６（例えば、インターネットブラウザ）が表示され、鉛直面を基準として３０度程度左方を向いた場合、表示７０７（例えば、通話画面）が表示される。

　また、表示７０１乃至表示７０７の切換えは、上記の説明においては、ジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号に基づいて行なうこととしているが、これに限定されず、上述した指、掌、腕認識により切換えを行なってもよい。

　さらに、ユーザが歩行する場合、表示７０１から表示７０２へ、表示７０１から表示７０４へ、表示７０１から表示７０７へ、および表示７０１から表示７０６への少なくともいずれかの切換えを行なう条件として、ジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号のレベルを高めに設定してもよい。それにより、歩行時に短時間で表示７０１から他の表示に切り替わることを防止できる。また、緊急に振り向く場合には、特に切換えない設定を設けてもよい。
　一方、天空情報の表示７０３および地図情報の表示７０５はパノラマ表示であってよく、この場合、左右方向の動きに伴ってそれら表示７０３，７０５をスクロールさせてよい。

（イベント発生の具体例）
　続いて、指、掌、手、腕が操作領域４１０ｃに存在する場合と、ジェスチャ領域４１０ｇに存在する場合との違いをユーザが認識し易いように、所定のイベントを発生させる。以下、所定のイベントについて説明を行なう。図３４は、所定のイベント発生の一例を示す模式図であり、図３５は、図３４のイベント発生の他の例を示す模式図であり、図３６は、他のイベント発生の一例を示す模式図である。

　まず、図３４に示すように、仮想イメージには、赤外線検知ユニット４１０により検知された手Ｈ１の形状が表示される。さらに、ユーザの手が操作領域４１０ｃから離れている場合には、イベントの一例として、手Ｈ１の形状の陰影Ｈ２を表示する。
　これにより、ユーザは、ジェスチャ領域４１０ｇに手が存在することを容易に認識できる。

　続いて、図３５に示すように、仮想イメージには、赤外線検知ユニット４１０により検知された手Ｈ１の形状が表示され、陰影Ｈ２よりも濃い陰影Ｈ３が、手Ｈ１の形状の周囲に小さな面積で表示される。したがって、ユーザは、図３４の場合よりも手が操作領域４１０ｃに近づいたことを容易に認識することができる。さらに、手が操作領域４１０ｃ内にある場合には、陰影Ｈ２、Ｈ３は、表示されない。

　その結果、ユーザは、試行錯誤または手探りで操作領域４１０ｃを探す必要がなくなる。すなわち、操作領域４１０ｃまでの距離を陰影の濃度、手の形状と陰影とのずれ方により容易に認識することができる。

　また、図３６に示すように、手が操作領域４１０ｃ内にある場合に、指先に円表示Ｈ４を行なってもよい。

　なお、上記の実施の形態においては、陰影Ｈ２、Ｈ３、円表示Ｈ４が表示されるイベント発生態様について説明したが、これに限定されず、操作領域４１０ｃ内にある場合に、表示に波紋を発生させてもよく、眼鏡表示装置１００に振動発生装置を設けて振動を発生させてもよく、音を発生させてもよく、表示の点滅態様および点灯照度の少なくともいずれかによって表示を変化させてもよい。例えば、操作領域４１０ｃまでの距離を点滅間隔により表してもよく、操作領域４１０ｃまでの距離を点灯照度により表してもよい。例えば、操作領域４１０ｃから離れるほど点滅間隔を長く、近づくほど点滅間隔を短くする、または、操作領域４１０ｃから離れるほど点灯照度を低く、近づくほど点灯照度を高くする、または、操作領域４１０ｃから離れるほどより濃い色による点灯（赤、黒、紫など）を行い、近づくほどより淡い色による点灯（青、黄、ピンクなど）を行なうなど、その他、人間の感覚（視覚、聴覚および触覚に代表される）に訴える任意のイベントを発生させてもよい。

（眼鏡表示装置の操作）
　以上の指、掌、腕認識およびイベント発生を伴う眼鏡表示装置１００の使用態様について説明する。

　まず、ユーザが操作領域４１０ｃ内に手を入れることにより、手の認識が行なわれ、仮想イメージ表示を操作することができる。例えば、仮想イメージ表示を拡大させたり、縮小させたり、表示をスクロールさせたり、ポイントを選択したりすることができる。

　例えば、図３７に示すように、広告２２１の表示をタッチすることで、追加表示を行なってもよい。
　例えば、広告２２１には、店舗の、商品、サービス等の情報が表示されている。ユーザがその広告２２１をタッチした場合、当該店舗に関するさらに詳しい情報を追加表示させてもよい。たとえば、飲食店の場合には、当該飲食店の代表メニュ、ユーザからの評価、価格帯等を表示させてもよい。
　なお、広告２２１は、店舗をカメラユニット３０３で撮影された像そのものであってもよいし、カメラユニット３０３による当該店舗の撮像データに基づいて店舗認識を自動で開始し、その結果、店舗認識アプリ画面に表示された認識結果情報であってもよい。

（パロディモードによる表示）
　また、図３８に示すように、半透過ディスプレイ２２０に一の企業（○○社）のロゴマークが表示されている際に、画面中のロゴマークにタッチ等行なうことで、競合又は非競合の他の企業（△△社）に関連する情報を表示させることができる。この場合、例えばパロディモードとして、当該他の企業のロゴを表示させてもよい。

（ジェスチャコマンドによる表示）
　また、ユーザがジェスチャ領域４１０ｇ内で所定の手のポーズを作ることにより、予め設定された動作が実施される。図３９から図４６は、ジェスチャ認識の例を示す模式図である。

　例えば、図３９に示すように、ユーザが握った手Ｈ１の親指と人差し指を９０度に開いて伸ばしたＬ字サインを作った場合、親指と人差し指との間に、メニュ画面Ｖ１が表示されてもよい。

　また、図４０に示すように、握った手Ｈ１の人差し指と中指とを延ばし広げた、いわゆるピースサインの場合には、人差し指と中指との間に、所定の画像Ｖ２を表示させてもよい。

　また、図４１に示すように、挨拶行為により、手Ｈ１を軽く開いて矢印方向に移動させた場合には、顔認識のアプリを自動的に起動させる。カメラユニット３０３で取得した相手の人物の顔データに基づいて顔認識を自動で開始し、顔認識アプリ画面Ｖ３に、氏名、企業名、役職、最後に会った日時および場所等の情報を表示させる。さらに顔認識アプリの認識による同一人物に会うたびにフラグを立て、フラグの数を顔認識アプリ画面Ｖ３に表示させてもよい。この場合、フラグの数によって、顔認識アプリ画面Ｖ３の背景および色等を異ならせてもよい。

　さらに、図４２に示すように、握った手Ｈ１の親指と小指を広げた、いわゆるアロハサインを作り、矢印方向にゆすった場合には、電話のアプリが自動的に起動し、連絡帳のデータＶ４が表示される。ユーザは、電話のアプリを操作して、所定の相手に電話をかけることができる。

　また、図４３に示すように、手Ｈ１の指でアルファベットのＳの文字を描くことにより、ＳＮＳ（ＳＯＣＩＡＬ　ＮＥＴＷＯＲＫＩＮＧ　ＳＥＲＶＩＣＥ）アプリを自動的に起動させ、ＳＮＳアプリ画面Ｖ５を表示させることができる。

　さらに、図４４に示すように、漢字アプリを起動させ、手Ｈ１の人差し指を認識させることにより人差し指の位置に筆の画像をさらに追加表示させ、漢字の練習アプリ画面Ｖ６に漢字を書いて練習できる。

　また、図４５に示すように、手Ｈ１を手刀の形状にした場合、刀アプリを起動させ、手刀上の手の位置に刀の画像をさらに追加表示させ、仮想イメージ表示画面Ｖ７を切ることができる。

　また、図４６に示すように、両方の手Ｈ１の指で、四角を形成した場合、カメラアプリが自動起動され、カメラアプリ画面Ｖ８中で、形成した四角から抽出される撮像用フレーム内の風景等を撮像してもよい。

　以上のように本実施の形態の形状認識装置によると、外形ＯＦ_Ｐ，ＯＦ_Ｄから設定された複数の抽出点Ｅの、手Ｈ１_Ｐ，Ｈ１_Ｄへの投影による対象点Ｓにおける深度ＤＰの標準偏差に基づいて、手が掌側および背側のいずれを向いているかを判断することができる。

　本実施の形態の形状認識装置によると、まず外形ＯＦ_Ｐ，ＯＦ_Ｄの最大内接円Ｃの中心である基準点Ｃ０を通る弦Ｃ_ｈおよび弦Ｃ_ｖまたは弦Ｃ_ｐｄおよび弦Ｃ_ｕｒを設定し、当該弦上に所定の間隔で複数の抽出点Ｅを設定するため、抽出点が弦一本あたり５個と少ないにもかかわらず、手が掌側および背側のいずれを向いているかの判断を正確に行うことができる。

　さらに、本実施の形態の形状認識装置によると、手Ｈ１_Ｐ，Ｈ１_Ｄの尺側と撓側とを結んだ方向（弦Ｃ_ｈ方向または弦Ｃ_ｕｒ方向に相当）における対象点Ｓの位置と深度Ｄとの線形関係を見出すことにより、手Ｈ１_Ｐ，Ｈ１_Ｄが右手であることを判断することができる。

　これによって、手が掌側および背側のいずれを向いているかの判断に加えて、右手および左手のいずれであるかの判断もできる。

　また、本実施の形態の形状認識装置によると、赤外線検知ユニット４１０によって外形ＯＦ_Ｐ，ＯＦ_Ｄの検知と深度ＤＰの計測との両方を兼ねるため、装置の構成を簡素化することができる。

　さらに、本実施の形態の形状認識装置によると、半透過ディスプレイ２２０により生成された立体視像の立体視領域（仮想イメージ表示領域２２０３Ｄ）と赤外線検知ユニット４１０の深度検知領域（三次元空間検知領域４１０３Ｄ）とが共有する共有領域において手Ｈ１_Ｐ，Ｈ１_Ｄの外形ＯＦ_Ｐ，ＯＦ_Ｄを検知することができるため、立体視像を表示させつつ、手Ｈ１_Ｐ，Ｈ１_Ｄの形状認識を行なうことができる。

　さらに本実施の形態の形状認識装置によると、眼鏡表示装置１００に備えられているため、眼鏡表示装置１００をかけた状態で手の形状認識を行うことができる。また、装検知される手Ｈ１_Ｐ，Ｈ１_Ｄの外形ＯＦ_Ｐ，ＯＦ_Ｄとユーザが視認できる手Ｈ１_Ｐ，Ｈ１_Ｄの外形とがほぼ同じとなり、表示オブジェクトの操作を行う場合およびジェスチャの登録を行う場合などに、形状認識装置に検知されやすい態様を意識しながら手Ｈ１_Ｐ，Ｈ１_Ｄを検知させることもできる。

本発明においては、制御ユニット４５０が「形状認識装置」に相当し、手Ｈ１_Ｐ，Ｈ１_Ｄが「手」に相当し、赤外線検知ユニット４１０が「外形検知部」に相当し、外形ＯＦ_Ｐ，ＯＦ_Ｄが「検知された外形」に相当し、抽出点Ｅが「抽出点」に相当し、対象点Ｓが「対象点」に相当し、深度ＤＰが「深度」に相当し、最大内接円Ｃが「最大内接円」に相当し、基準点Ｃ０が「基準点」に相当し、弦Ｃ_ｈが「水平方向の弦」に相当し、弦Ｃ_ｖが「垂直方向の弦」に相当し、弦Ｃ_ｐｄが「遠位および近位を結んだ方向を有する弦」に相当し、弦Ｃ_ｕｒが「撓側および尺側を結んだ方向を有する弦」に相当し、半透過ディスプレイ２２０が「表示装置」に相当し、仮想イメージ表示領域２２０３Ｄが「立体視領域」に相当し、三次元空間検知領域４１０３Ｄが「深度検知領域」に相当し、共有領域（仮想イメージ表示領域２２０３Ｄと一致）が「共有領域」に相当し、眼鏡表示装置１００が「ヘッドマウントディスプレイ装置」に相当する。

　本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。

Claims

　手の外形を検知する外形検知部と、
　検知された前記外形の内部における複数の点を抽出点として設定する、抽出点設定部と、
　前記複数の抽出点にそれぞれ対応する前記手の表面上の対象点までの空間距離を深度として測定する深度検知部と、
　計測された前記深度のばらつきを示す尺度に基づいて、前記手が掌側および背側のいずれを向いているかを判断する向き認識部とを含む、形状認識装置。
　検知された前記外形から、前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出部をさらに含み、
　前記抽出点設定部が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で前記複数の抽出点を設定する、請求項１に記載の形状認識装置。
　前記基準点を通る前記最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する、請求項２に記載の形状認識装置。
　前記基準点を通る前記最大内接円の弦として、前記手の遠位および近位を結んだ方向を有する弦と、前記手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する、請求項２または３に記載の形状認識装置。
　前記深度のばらつきを示す尺度が、標準偏差、分散、範囲、四分位数範囲、平均差、および平均絶対偏差の少なくともいずれかである、請求項１から４のいずれか１項に記載の形状認識装置。
　前記深度の線形回帰分析の結果に基づいて、前記手が右手および左手のいずれであるかを判断する左右認識部をさらに含む、請求項２から５のいずれか１項に記載の形状認識装置。
　前記外形検知部および前記深度検知部が赤外線センサである、請求項１から６のいずれか１項に記載の形状認識装置。
　立体視像を表示可能な表示装置をさらに含み、
　前記外形検知部が、前記表示装置により生成された立体視像の立体視領域と前記深度検知領域とが共有する共有領域において、前記手の外形を検知する、請求項１から７のいずれか１項に記載の形状認識装置。
　請求項１から請求項８のいずれか１項に記載の形状認識装置を有するヘッドマウントディスプレイ装置。
　手の外形を検知する外形検知処理と、
　検知された前記外形の内部における複数の点を抽出点として設定する、抽出点設定処理と、
　前記複数の抽出点にそれぞれ対応する前記手の表面上の対象点までの空間距離を深度として測定する深度検知処理と、
　計測された前記深度のばらつきを示す尺度に基づいて、前記手が掌側および背側のいずれを向いているかを判断する向き認識処理とを含む、形状認識プログラム。
　検知された前記外形から、前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出処理をさらに含み、
　前記抽出点設定処理が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で前記複数の抽出点を設定する、請求項１０に記載の形状認識プログラム。
　前記基準点を通る前記最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する、請求項１１に記載の形状認識プログラム。
　前記基準点を通る前記最大内接円の弦として、前記手の遠位および近位を結んだ方向を有する弦と、前記手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する、請求項１１または１２に記載の形状認識プログラム。
　前記深度の線形回帰分析の結果に基づいて、前記手が右手および左手のいずれであるかを判断する左右認識処理をさらに含む、請求項１１から１３のいずれか１項に記載の形状認識プログラム。
　手の外形を検知する外形検知工程と、
　検知された前記外形の内部における複数の点を抽出点として設定する、抽出点設定工程と、
　前記複数の抽出点にそれぞれ対応する前記手の表面上の対象点までの空間距離を深度として測定する深度検知工程と、
　計測された前記深度のばらつきを示す尺度に基づいて、前記手が掌側および背側のいずれを向いているかを判断する向き認識工程とを含む、形状認識方法。
　検知された前記外形から、前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出工程をさらに含み、
　前記抽出点設定工程が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で前記複数の抽出点を設定する、請求項１５に記載の形状認識方法。
　前記基準点を通る前記最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する、請求項１６に記載の形状認識方法。
　前記基準点を通る前記最大内接円の弦として、前記手の遠位および近位を結んだ方向を有する弦と、前記手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する、請求項１６または１７に記載の形状認識方法。
　前記深度の線形回帰分析の結果に基づいて、前記手が右手および左手のいずれであるかを判断する左右認識工程をさらに含む、請求項１６から１８のいずれか１項に記載の形状認識方法。