JP6237000B2 - 頭部装着型表示装置 - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。こうした拡張現実感の実現手法は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）と称される頭部装着型表示装置にも適用されている他（例えば、特許文献１）、ＨＭＤ以外の既存のディスプレイに画像を表示する画像処理装置にも適用されている（例えば、非特許文献１）。特許文献１のＨＭＤは、拡張現実感による仮想パネルを虚像として視認させ、ユーザーの手の位置や動きをカメラで撮像し、その撮像位置を仮想パネルと関連付けている。このため、ユーザーの手の認識技術が不可欠であり、こうした手認識は、非特許文献１の他、非特許文献２でも提案されている。

特開２０１０−１４６４８１号公報

Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking The international Journal of Virtual Reality, 2009, 8(2): 7-12 Robust Hand Tracking Using a Simple Color Classification Technique

ユーザーの手を例えば特許文献１のようにカメラにて撮像して検出する場合、ユーザーは、過去の経験や映し出された虚像を頼りに、手を動かしているのが実情である。このため、それまでは検出されていた手が、ユーザーによる手の移動により撮像されなくなってしまうという問題点が指摘されるに到った。このため、拡張現実感（ＡＲ）を適用したＨＭＤにおいて、ユーザーの手の検出状態の継続化を図ることが要請されるに到った。この他、ユーザーの手の検出の汎用性の向上や、そのコスト低下等についても望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、ユーザーが虚像を外景に重ねて視認可能な頭部装着型表示装置であって、前記虚像を表示するための画像データーを生成し、該生成した前記画像データーにより、前記虚像がユーザーの視野に表示されるように前記虚像を視認させる拡張現実処理部と、ユーザーの手を検出する所定の検出領域に入り込んだ前記ユーザーの手を検出し、前記検出領域における前記ユーザーの手の挙動を検出する検出部と、該検出部の検出した前記ユーザーの手の挙動に基づいて、前記ユーザーの手が前記検出領域の外周縁をなす外周縁領域に達すると、前記ユーザーに報知する報知部とを備える。

この形態の頭部装着型表示装置では、ユーザーが自身の手を動かして、その手を検出領域に入り込ませれば、その後に、ユーザーの手がこの検出領域から当該領域外へ移動しようとすると、このように手を動かしているユーザーに報知する。この報知を受けたユーザーは、これ以上手を動かせば自身の手が検出領域から外れてしまうことを認知できるので、手の移動を止めたり、手を戻したりして、自身の手を検出領域に留めるようにできる。この結果、この形態の頭部装着型表示装置によれば、一旦検出したユーザーの手の検出状態を継続できる他、検出状態の継続を通して、手の検出確度の向上に寄与できる。

（２）上記形態の頭部装着型表示装置において、前記拡張現実処理部は、前記虚像を前記検出領域に対応した表示域で視認させると共に、前記検出部が前記検出領域に入り込んだ前記ユーザーの手を検出すると、該検出された前記ユーザーの手の少なくとも一部部位に対応する手部位対応画像が組み込まれた前記虚像を表示するための前記画像データーを生成し、前記虚像の表示域において前記手部位対応画像が占める位置を、前記検出領域において前記一部部位が占める位置に応じて更新するようにできる。こうすれば、ユーザーに手部位対応画像を含んだ状態の虚像を視認させるので、ユーザーには、ユーザーの手と虚像における手部位対応画像との対応を認識させることができる。

（３）上記のいずれかの形態の頭部装着型表示装置において、前記拡張現実処理部は、前記検出領域の外周縁をなす前記外周縁領域に対応した枠形状が含まれた前記虚像を表示するための前記画像データーを生成して、前記虚像をユーザーに視認させるようにできる。こうすれば、検出領域に占めるユーザーの手の位置をユーザーにより確実に認知させるので、高い実効性で、ユーザーの手の検出状態の継続と手の検出確度の向上とを図ることができる。

（４）上記のいずれかの形態の頭部装着型表示装置において、前記拡張現実処理部は、前記検出部が前記検出領域に入り込んだ前記ユーザーの手を検出すると、前記ユーザーの手の検出済みの旨を表す検出完了画像を前記虚像として表示するための前記画像データー、或いは、前記検出完了画像が組み込まれた前記虚像を表示するための前記画像データーを生成して、前記虚像をユーザーに視認させるようにできる。こうすれば、自身の手を現在の位置周囲で動かしていればユーザーの手は検出領域に入り込んだままであることをユーザーに認知できるので、一旦検出したユーザーの手の検出状態を継続できる他、検出状態の継続を通して、手の検出確度の向上に寄与できる。

（５）上記のいずれかの形態の頭部装着型表示装置において、前記報知部は、前記ユーザーへの報知の態様を変更可能に構成され、前記検出領域に入り込み済みの前記ユーザーの手が前記外周縁領域の外縁に近づくにつれて報知の態様を変えつつ、前記ユーザーに報知するようにできる。こうすれば、検出領域に入り込んでいたユーザーの手が当該領域の外に移動しようとしていることを、報知の態様変化によりユーザーに確実に認知させて、自身の手を検出領域に留めるようユーザーに促すことができるので、より高い実効性で、ユーザーの手の検出状態の継続と手の検出確度の向上とを図ることができる。

（６）上記形態の頭部装着型表示装置において、前記報知部は、前記検出領域に入り込み済みの前記ユーザーの手が前記外周縁領域の外縁に近づくほど高い周波数の音を発して、或いは前記外縁に近づくほど高音量の音を発して、前記ユーザーに報知するようにできる。こうすれば、検出領域に入り込んでいたユーザーの手が当該領域の外に移動しようとしていることをユーザーに確実に認知させて、自身の手を検出領域に留めるよう音にてユーザーに促すことができるので、より高い実効性で、ユーザーの手の検出状態の継続と手の検出確度の向上とを図ることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。 右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。 ＡＲ処理部１４２にて実行される拡張現実処理により使用者に認識される虚像の一例を示す説明図である。 画像処理部１６０やＡＲ処理部１４２等を含むＣＰＵ１４０にて実行される手認識処理の概要を説明する説明図である。 手認識処理の手順を示すフローチャートである。 撮像データーの入力の状況を説明する説明図である。 撮像領域ＣＲの一部部位の隣接画素の間の差分算出の様子を模式的に示す説明図である。 撮像領域ＣＲの全域において差分算出とそのグループ化を行った結果を概略的に示す説明図である。 記憶部１２０の手輪郭形状記憶部１２２に記憶済みの手輪郭の概略を示す説明図である。 認識したユーザーの手Ｙｈの指先に対応するポインターＰを虚像ＶＩに組み込んだ様子を概略的に示す説明図である。 画像処理部１６０やＡＲ処理部１４２等を含む制御部１０にて実行される報知処理の概要を説明する説明図である。 報知処理の手順を示すフローチャートである。 撮像領域ＣＲに留まっていた手Ｙｈの挙動と外周縁領域ＣＲｆとの関係および発する警告音の発生状況との関係を示す説明図である。 他の実施形態のヘッドマウントディスプレイ１００にて行う手認識処理の様子を概略的に示す説明図である。 別の実施形態のヘッドマウントディスプレイ１００の概略構成を示す説明図である。 画像表示部２０の端部ＥＲに位置するカメラ６１ａの撮像領域ＣＲとユーザーの視野ＶＲとの関係を概略的に示す説明図である。 カメラ６１ａの撮像領域ＣＲがユーザーの視野ＶＲから外れた場合の手の検出手法の概要を示す説明図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、以下、ヘッドマウントディスプレイ１００）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

ヘッドマウントディスプレイ１００は、ユーザーの頭部に装着された状態においてユーザーに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、ユーザーが画像表示部２０を装着した際にユーザーの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、ユーザーの頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、ユーザーが画像表示部２０を装着した際のユーザーの頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光をユーザーの眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（ユーザーの眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザーの眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００を装着した状態におけるユーザーの視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラであって、例えばＣＣＤ（ Charge Coupled Device ）やＣＭＯＳ（ Complementary Metal-Oxide Semiconductor ）等の撮像素子を備える。このカメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラとしてもよい。また、カメラ６１の配設位置は、ユーザーの眉間に限らず、画像表示部２０の端部ＥＬや端部ＥＲであってもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ１００の電源の状態を切り替える。

図２はヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、手輪郭形状記憶部１２２と、周波数マップ１２４とを含んでいる。手輪郭形状記憶部１２２の記憶内容と周波数マップ１２４の記憶内容については、後述する。電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、ＡＲ処理部１４２として機能する。ＡＲ処理部１４２は、ＯＳ１５０や、特定のアプリケーションからの処理開始要求をトリガーとして、拡張現実感を実現させるための処理（以降、「拡張現実処理」とも呼ぶ。）を実行する。詳細は後述する。なお、ＡＲ処理部１４２は、特許請求の範囲における「拡張現実処理部」に相当する。

画像処理部１６０は、インターフェイス１８０を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データーＤａｔａとを生成・送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

画像処理部１６０は、上記した処理の他、後述のユーザーの手認識にも関与すべく、手検出処理部１６２を備える。画像処理部１６０の手検出処理部１６２は、具体的には、カメラ６１の各画素にて得られた撮像データーの入力を受け、その撮像データーで表される色の隣接画素の間の差分算出や、隣接画素の間の色の差分が所定の閾値以内の撮像データーの並びで形成される形状の捕捉、その捕捉した形状がユーザーの手であるかの判定等を、後述する図６の手認識処理の手順に沿って行う。よって、この手検出処理部１６２は、図６の手認識処理と相まって、特許請求の範囲における「検出部」を構築する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６とを備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０がユーザーの頭部に装着されているときには、ユーザーの頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

図３は右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼ＲＥに導く。光学像表示部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明した上記の各部と同様の構成および機能を有するので、その説明は省略する。

図４はＡＲ処理部１４２にて実行される拡張現実処理により使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認することができる。図４に示すように、ヘッドマウントディスプレイ１００の使用者の視野ＶＲ内には虚像ＶＩが表示される。また、使用者の視野ＶＲのうち、虚像ＶＩが表示された部分については、使用者は、光学像表示部の虚像ＶＩと、この虚像ＶＩを透過するようにして外景ＳＣを虚像ＶＩの背後に視認する。使用者の視野ＶＲのうち、虚像ＶＩが表示された部分以外については、使用者は、光学像表示部を透過して、外景ＳＣを直接見ることができる。このように虚像ＶＩを外景ＳＣに重ねて表示するための画像データーは、ヘッドマウントディスプレイ１００のＡＲ処理部１４２にてなされる拡張現実処理により、ユーザーが知覚する外景ＳＣを拡張するための付加提示用の情報を表す画像データーとして生成される。そして、ＡＲ処理部１４２にて生成された画像データーが、右ＬＣＤ制御部２１１等に通信されて、虚像ＶＩは、ユーザーの正面領域に表示される。なお、「外景ＳＣを拡張する」とは、ユーザーが眼にする現実環境、すなわち外景ＳＣに対して情報を付加、削除、強調、減衰させ、ユーザーから見た現実世界たる外景ＳＣを拡張することを意味する。画像データー生成を図る拡張現実処理の際、ＡＲ処理部１４２は、外景ＳＣに付加提示用の情報を融像させるために、異なる右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成する。「外景に付加提示用の情報を融像させる」とは、ユーザーが実際目にする外景ＳＣのうちの、ユーザーから所定の距離だけ離れた位置に対して、付加提示用の情報が存在するかのような感覚をユーザーに対して与える虚像ＶＩを表示することを意味する。例えば、図４においてユーザーに視認される虚像ＶＩがリンゴであるとすると、このリンゴを表す画像データーが、外景ＳＣに含まれる現実の道の上に重なるような画像データーとして拡張現実処理により生成され、この生成された画像データーに基づく画像が、虚像ＶＩとして表示されることになる。これにより、使用者は、あたかも何もない道の上に、リンゴが落ちているような感覚を得ることができるであり、ＡＲ処理部１４２は、図４に示した虚像ＶＩやリンゴの虚像ＶＩを、現実の外景ＳＣにユーザーから所定の距離だけ離れて表示するための右眼用、左眼用の上記データーを拡張現実処理により生成し、これを出力する。

Ａ−２．手認識処理:
図５は画像処理部１６０やＡＲ処理部１４２等を含むＣＰＵ１４０にて実行される手認識処理の概要を説明する説明図である。ヘッドマウントディスプレイ１００は、図１に示すように、カメラ６１を画像表示部２０に備え、当該カメラは眉間に位置することから、図５に示すように、カメラ６１の撮像領域ＣＲは、視野ＶＲのほぼ中央の情報領域を占める。ユーザーは、この撮像領域ＣＲが占める位置をカメラ位置から概ね知覚しているので、自身の手Ｙｈを自らの意志で撮像領域ＣＲに入り込ませる。このようにユーザーの手Ｙｈが撮像領域ＣＲに入り込むと、カメラ６１は、外景ＳＣに手Ｙｈが含まれた画像を撮像し、個々の画素に対応した撮像データーをＣＰＵ１４０に出力する。図５に示す外景ＳＣであれば、ユーザーが視点を変えることで、撮像領域ＣＲには、飛んでいる鳥が入り込んだり、道路を走行する車両なども入り込む。また、例えば、ユーザーが室内でヘッドマウントディスプレイ１００を使用していれば、撮像領域ＣＲには、テーブルや椅子、室内犬や猫、友人等の顔なども入り込むことがあり、カメラ６１は、これらが含まれた画像を撮像し、個々の画素に対応した撮像データーをＣＰＵ１４０に出力する。本実施形態のヘッドマウントディスプレイ１００は、撮像領域ＣＲに入り込んだ物がユーザーの手Ｙｈであるかを、次のようにして認識する。図６は手認識処理の手順を示すフローチャートである。

この手認識処理は、繰り返し実行されており、画像処理部１６０は、まず、カメラ６１が備える画素ごとの撮像データーの入力を受ける（ステップＳ１００）。図７は撮像データーの入力の状況を説明する説明図である。図７に示すように、本実施形態では、撮像領域ＣＲを縦横に４分割した分割領域ＣＲ１１〜ＣＲ２２をデーター入力単位とした。その上で、分割領域ごとのデーター入力は、それぞれの分割領域の左上の画素をデーター入力始点とし、分割領域ごとに横方向に走査しつつ、分割領域の右下の画素をデーター入力終点とした。こうしたデーター走査入力を、分割領域ＣＲ１１→ＣＲ１２→ＣＲ２１→ＣＲ２２の順に実行する。画像処理部１６０は、撮像データーの走査入力を受ける際、９軸センサー６６のセンサー出力に基づいて、ユーザーの頭部の傾きやひねり等の頭部の動きをキャンセルする。画像処理部１６０は、画素の並びに沿った分割領域ごとの撮像データーの走査入力を受けながら、その入力を受けた撮像データーで表される色の隣接画素の間の画素値の差分を算出する（ステップＳ１０２）。図８は撮像領域ＣＲの一部部位の隣接画素の間の画素値の差分算出の様子を模式的に示す説明図である。

こうした隣接画素の間の画素値の差分算出に続き、画像処理部１６０は、算出した画素値の差分が所定の閾値以内の撮像データーの並びをグループ化する（ステップＳ１０４）。図８では、画素列Ｌｉにおいて、ユーザーの手Ｙｈの指が占める範囲において隣接した画素の画素値の算出差分が所定の閾値以内である故にグループ化される。画素列Ｌｉ以外の画素列でも同様のグループ化がなされる。隣接画素の間の色の差分が所定の閾値以内であることは、隣接した画素で撮像した色は閾値範囲で同じ色であることと同義であるので、ステップＳ１０４のグループ化により、同色系統の領域が他の領域と区別されることになる。図８では、ユーザーの手Ｙｈの領域が他の領域と区別され、その輪郭形状が捕捉される。また、図８においてユーザーの手Ｙｈ以外の領域についても隣接画素の間の画素値の差分算出が行われ、算出した差分が所定の閾値以内の撮像データーの並びがグループ化される。図９は撮像領域ＣＲの全域において差分算出とそのグループ化を行った結果を概略的に示す説明図である。この図９に示すように、例えば、手Ｙｈの左右や上方において、仮に同じような色の雲や山並み木々が撮像されていれば、この雲や山並み、木々にあっても、算出した差分が所定の閾値以内の撮像データーの並びでグループ化される。本実施形態では、上記したグループ化により捕捉した輪郭形状が、カメラ６１により撮像され得るユーザーの手Ｙｈの大きさに比して小さい形状であれば、後述の形状対比の対象から除外した。これにより、形状対比に要する演算負荷を軽減できる。

次いで、画像処理部１６０は、前回の手認識処理の際にステップＳ１０４でグループ化して捕捉した輪郭と、今回の手認識処理のステップＳ１０４でグループ化して捕捉した輪郭とを対比し、捕捉済み輪郭が移動したか、或いは輪郭形状に変化があったかを判別する（ステップＳ１０６）。例えば、図８において、ユーザーが図示する指の形のまま手Ｙｈを動かしたり、ユーザーが親指を折り込んだりすると、捕捉済み輪郭の移動や輪郭形状変化があったとして、画像処理部１６０は、記憶部１２０の手輪郭形状記憶部１２２から、対比形状として記憶済みの手輪郭を読み込む（ステップＳ１０８）。その一方、捕捉済み輪郭の移動や輪郭形状変化がないと、捕捉した輪郭は、図８における雲や山並み、木々、或いは室内使用時におけるや室内のテーブルや椅子等である可能性が高いので、ステップＳ１０８以降の手認識が無用であるとして、一旦、本ルーチンを終了する。この場合、ユーザーが撮像領域ＣＲに手Ｙｈを入り込ませた後にその手を動かさない場合も有り得るが、ユーザーの手Ｙｈは撮像領域ＣＲへの入り込み時点で動きがあるので、ステップＳ１０６では肯定判別され、続くステップＳ１０８に移行する。なお、ステップＳ１０６の判別処理を省略し、ステップＳ１０４での輪郭捕捉に続いてステップＳ１０８の対比形状たる記憶済み手輪郭の読込を実行してもよい。

図１０は記憶部１２０の手輪郭形状記憶部１２２に対比形状として記憶済みの手輪郭の概略を示す説明図である。図示するように、手輪郭形状記憶部１２２には、親指を開いて人差し指を伸ばした手Ｙｈの輪郭を表すデーター、人差し指だけを伸ばして他の指を折り曲げた手Ｙｈの輪郭を表すデーター、人差し指と中指を伸ばした手Ｙｈの輪郭を表すデーター等が記憶されている。これら輪郭は、カメラ６１の撮像領域ＣＲに入り込ませる際にユーザーが予め取り得る手Ｙｈの形状を想定して規定されてデーター化され、予め手輪郭形状記憶部１２２に記憶されている。画像処理部１６０は、ステップＳ１０６に続くステップＳ１０８において図１０の手Ｙｈの輪郭データーを読み込み、その後、ステップＳ１０４で捕捉した輪郭を図１０の手Ｙｈの輪郭データーに対応する輪郭と対比し、その一致・不一致を判定する（ステップＳ１１０）。画像処理部１６０は、この判定に、凹凸の状況を対比するいわゆる凹凸対比手法等の手法を用い、輪郭が一致したと判定すると、その判定した輪郭をユーザーの曲げた手Ｙｈと認識し、手認識が完了した旨を表す認識フラグＦｒに値１をセットする（ステップＳ１１２）。この認識フラグＦｒは、初期値が値ゼロであり、ヘッドマウントディスプレイ１００の電源オフの際、および、後述の報知処理の過程で値ゼロにリセットされる。

その後、画像処理部１６０は、ＡＲ処理部１４２等と協働して、ステップＳ１１２で認識したユーザーの手Ｙｈの一部部位、例えば指先に対応するポインターＰが虚像ＶＩに組み込まれるように、虚像ＶＩの生成用の画像データーを修正し、その修正した画像データーによりポインターＰを含む虚像ＶＩをユーザーに視認させる（ステップＳ１１４）。図１１は認識したユーザーの手Ｙｈの指先に対応するポインターＰを虚像ＶＩに組み込んだ様子を概略的に示す説明図である。なお、虚像ＶＩにおけるポインターＰが対応するユーザーの指の部位は、指先に限らず、ステップＳ１１２で認識したユーザーの手Ｙｈの指の付け根や伸びた指の中程としてもよい。

画像処理部１６０は、撮像領域ＣＲに占める手Ｙｈの指先の座標を、カメラ６１から出力される撮像データーに対応した画素の並びから算出し、この撮像領域ＣＲを虚像ＶＩの表示矩形に対応して変形した際の指先座標を、ポインターＰの座標として換算算出する。そして、虚像ＶＩにおけるこの換算座標にポインターＰが表示されるよう、ＡＲ処理部１４２は、虚像ＶＩの生成用の画像データーを再生成（修正）して、図１１に示すようにポインターＰを含む虚像ＶＩをユーザーに視認させる。その後、ユーザーの手Ｙｈが撮像領域ＣＲの範囲内で移動すれば、画像処理部１６０は、その都度の手Ｙｈの指先座標の算出と、虚像ＶＩにおけるポインター座標の換算算出とを行うので、これを受けて、ＡＲ処理部１４２は、手Ｙｈの指先の動きに追従して虚像ＶＩの表示用の画像データーを更新するので、ポインターＰを虚像ＶＩで動かしつつ、その虚像ＶＩをユーザーに視認させる。

また、画像処理部１６０は、ポインターＰを虚像ＶＩに組み込む他、虚像ＶＩの表示矩形の内側周縁に、矩形枠ＶＩｆについても、これを虚像ＶＩに組み込んでユーザーに視認させる。この矩形枠ＶＩｆは、撮像領域ＣＲの外周縁をなす外周縁領域ＣＲｆと対応するよう、ＡＲ処理部１４２にてその画像データーが生成されて表示されるものであり、ユーザーに、撮像領域ＣＲの外周縁と手Ｙｈとの位置関係を認知させる。なお、矩形枠ＶＩｆは、常に表示するようにできるほか、何らかの操作、例えば、ユーザーによるタッチパッド１４のタッチ操作をトリガーに表示するようにしてもよい。

Ａ−３．報知処理:
図１２は画像処理部１６０やＡＲ処理部１４２等を含む制御部１０にて実行される報知処理の概要を説明する説明図である。図１２に示すように、ユーザーは、撮像領域ＣＲに手Ｙｈを入り込ませた後、その手Ｙｈを撮像領域ＣＲの領域内で移動させるほか、この撮像領域ＣＲの内部領域からその外周縁の側に向けて移動させる。こうした手の移動は、ユーザーの何らかの意図を持ってなされるが、ユーザーは、カメラ６１の撮像領域ＣＲを視認できないこともあることから、手Ｙｈを撮像領域ＣＲの領域内で移動させているつもりが、その意図に反して、手Ｙｈの指先が撮像領域ＣＲの外周縁をなす外周縁領域ＣＲｆを通り過ごして、手Ｙｈを撮像領域ＣＲの外側に移動させてしまうことが有り得る。手Ｙｈの指先は、図１１にて説明したようにポインターＰと対応しているので、手Ｙｈの指先が撮像領域ＣＲの外側にまで移動してしまうと、指先に対応したポインターＰを虚像ＶＩに含めてユーザーに認識できないこととなる。ポインターＰをユーザーの手Ｙｈの指の付け根や指の中程に対応させた場合も同様であり、指の付け根や伸びた指の中程が撮像領域ＣＲの外周縁をなす外周縁領域ＣＲｆを通り過ごして、手Ｙｈを撮像領域ＣＲの外側に移動させてしまうことが有り得る。こうした場合に、ユーザーに手Ｙｈを撮像領域ＣＲの領域内で移動させるよう促すべく、本実施形態のヘッドマウントディスプレイ１００は、以下に記す報知処理を実行する。図１３は報知処理の手順を示すフローチャートである。

この手認識処理は、繰り返し実行されており、制御部１０は、まず、既述した認識フラグＦｒに値１がセットされているか否かを判定する（ステップＳ２１０）。ここで、認識フラグＦｒに値１がセットされていないと否定判定した場合は、図６で説明した手Ｙｈの認識がなされておらず、手Ｙｈは、撮像領域ＣＲの領域外にあって、まだこの撮像領域ＣＲには入り込んでいないことになる。こうした場合には、図１２で説明したように、撮像領域ＣＲに一旦入り込んだ手Ｙｈが、その指先が外周縁領域ＣＲｆを通り過ごすように、撮像領域ＣＲの外側に移動してしまうことは有り得ない。よって、ステップＳ２１０にて否定判定した場合には、一旦本ルーチンを終了する。

その一方、制御部１０は、ステップＳ２１０にて認識フラグＦｒに値１がセットされていると肯定判定すると、手Ｙｈは、撮像領域ＣＲに入り込んだまま撮像領域ＣＲに留まっていることになる。よって、以下の処理により、制御部１０は、撮像領域ＣＲに留まっている手Ｙｈのその後の挙動を監視する。つまり、ステップＳ２１０の肯定判定に続き、制御部１０は、撮像領域ＣＲに占める手Ｙｈの指先の座標を、カメラ６１から出力される撮像データーに対応した画素の並びから算出して指先ポジションを把握し、撮像領域ＣＲの最外周縁からの指先ポジションの隔たりを算出する（ステップＳ２２０）。

次いで、制御部１０は、ステップＳ２２０で算出した指先ポジションの隔たりから、指先ポジションが図１１や図１２に示す外周縁領域ＣＲｆの帯状領域内であるか否かを判定する（ステップＳ２３０）。ここで肯定判定すると、撮像領域ＣＲに留まっていた手Ｙｈは、外周縁領域ＣＲｆの側に移動していることになるので、制御部１０は、手Ｙｈが撮像領域ＣＲの領域外に出ようとしていることを報知すべく、警告音を右イヤホン３２と左イヤホン３４から発声する（ステップＳ２４０）。

図１４は撮像領域ＣＲに留まっていた手Ｙｈの挙動と外周縁領域ＣＲｆとの関係および発する警告音の発生状況との関係を示す説明図である。この図１４は、手Ｙｈが外周縁領域ＣＲｆより内側の撮像領域ＣＲに留まっている場合は警告音を発しないこと、手Ｙｈが外周縁領域ＣＲｆに達した以降は、撮像領域ＣＲの最外周縁に近づくほど高周波数域の警告音を発すること、および、手Ｙｈが撮像領域ＣＲの領域外に出てしまえば、それまで高周波数域で発していた警告音を止めることを示している。こうした指先ポジションと外周縁領域ＣＲｆとの関係および発する警告音の周波数との関係は、指先ポジションに対する周波数のマップとして、周波数マップ１２４に記憶されている。よって、制御部１０は、ステップＳ２４０にて警告音を発声するに当たり、周波数マップ１２４の周波数マップを参照して、ステップＳ２２０で算出した指先ポジションの隔たりに応じた周波数にて警告音を発声する。こうして警告音を発声した後は、既述したステップＳ２２０に移行する。

ステップＳ２４０での警告音発声を経て移行したステップＳ２２０では、再度、指先ポジションの隔たり算出がなされ、続くステップＳ２３０にて、指先ポジションが外周縁領域ＣＲｆであるか否かを判定する。つまり、指先ポジションが外周縁領域ＣＲｆの帯状領域内である間に亘っては、ステップＳ２２０〜２４０の処理が繰り返され、指先ポジションの隔たりに応じた周波数での警告音発声が継続される。この場合の警告音は、図１４に示したように、指先ポジションが撮像領域ＣＲの最外周縁、即ち外周縁領域ＣＲｆの外縁に近づくほど高周波数の警告音となり、ユーザーに、指先ポジションが外周縁領域ＣＲｆにある故に、手Ｙｈが撮像領域ＣＲから外れそうであることの報知音となる。

その一方、ステップＳ２３０で、指先ポジションが外周縁領域ＣＲｆの帯状領域内にないと否定判定すると、制御部１０は、指先ポジションが外周縁領域ＣＲｆの領域外に推移したか否かを判定する（ステップＳ２５０）。制御部１０は、ステップＳ２２０にて算出した指先ポジションの隔たりを記憶部１２０或いは指定のメモリアドレスに時系列的に記憶しているので、指先ポジションの隔たりの推移から、指先ポジションが外周縁領域ＣＲｆの領域外に推移したか否かを判定する。ステップＳ２５０で肯定判定すると、指先ポジションは外周縁領域ＣＲｆの領域外に推移したこと、即ち、手Ｙｈは、撮像領域ＣＲの領域外に出てしまったことになるので、制御部１０は、認識フラグＦｒをリセットした後（ステップＳ２７０）、警告音を停止して（ステップＳ２６０）、本ルーチンを終了する。ステップＳ２５０で否定判定した場合は、指先ポジションは外周縁領域ＣＲｆから出て撮像領域ＣＲの内部領域に推移したことになるので、制御部１０は、認識フラグＦｒをリセットすることなくステップＳ２８０に移行して警告音を停止し、本ルーチンを終了する。

以上説明した構成を備える本実施形態のヘッドマウントディスプレイ１００は、図１に示すように、これを頭部に装着したユーザーの正面領域を撮像するカメラ６１の撮像領域ＣＲにユーザーの手Ｙｈが入り込んだことを認識すると（図６：ステップＳ１１２）、撮像領域ＣＲに占める手Ｙｈの指先の挙動をカメラ６１からの出力撮像データーに基づいて監視する（図１３：ステップＳ２２０〜Ｓ２３０）。その上で、本実施形態のヘッドマウントディスプレイ１００は、撮像領域ＣＲに入り込み済みのユーザーの手Ｙｈが撮像領域ＣＲの外周縁をなす外周縁領域ＣＲｆに達すると、ユーザーに警告音を発して報知する（ステップＳ２４０）。よって、次の利点がある。

今、ユーザーは、自身の手Ｙｈを動かして、その手をカメラ６１の撮像領域ＣＲに入り込ませたとする。その後、ユーザーが自身の手Ｙｈを撮像領域ＣＲから当該領域外へ移動させようとすると（図１２参照）、このように手を動かしているユーザーは、撮像領域ＣＲに入り込み済みのユーザーの手Ｙｈが撮像領域ＣＲの外周縁をなす外周縁領域ＣＲｆに達したという報知を、警告音発声にて受ける。この報知を受けたユーザーは、これ以上手を動かせばユーザーの手Ｙｈが撮像領域ＣＲから外れてしまうことを認知できるので、手Ｙｈの移動を止めたり、手Ｙｈを戻したりして、自身の手Ｙｈを撮像領域ＣＲに留めるようにできる。この結果、本実施形態のヘッドマウントディスプレイ１００によれば、一旦検出したユーザーの手Ｙｈの検出状態を継続できる他、検出状態の継続を通して、手Ｙｈの検出確度を高めることができる。

本実施形態のヘッドマウントディスプレイ１００は、ＡＲ処理部１４２にて生成した画像データーに基づいた虚像ＶＩを画像処理部１６０や画像表示部２０を経てユーザーに視認させるに当たり、検出したユーザーの手Ｙｈの指先に対応するポインターＰを、撮像領域ＣＲにおいて指先が占める位置と虚像ＶＩの表示域においてポインターＰが占める位置との対応を採って虚像ＶＩに組み込んで、ユーザーに視認させる（ステップＳ１１４：図１１）。この際、本実施形態のヘッドマウントディスプレイ１００は、認識したユーザーの手Ｙｈの指先が撮像領域ＣＲにおいて占める座標を演算しつつ、その座標を虚像ＶＩにおけるポインターＰの座標に換算することで、手Ｙｈの動きに追従してポインターＰが虚像ＶＩにおいて移動させて、ユーザーには、自身の手Ｙｈの動きをポインターＰの動きに関連付けて認識させる。よって、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーの手Ｙｈを何らかのコマンド動作に適用することが可能となって利便性が高まると共に、ユーザーには、ユーザーの手Ｙｈの挙動と虚像ＶＩにおけるポインターＰの挙動とを対応付けた上で、手Ｙｈが検出されていることを知らしめることができる。

本実施形態のヘッドマウントディスプレイ１００は、ＡＲ処理部１４２にて生成した画像データーに基づいた虚像ＶＩをユーザーに視認させるに当たり、撮像領域ＣＲの外周縁をなす外周縁領域ＣＲｆと対応する矩形枠ＶＩｆを虚像ＶＩに組み込んでユーザーに視認させる（図１１）。よって、本実施形態のヘッドマウントディスプレイ１００によれば、撮像領域ＣＲに占めるユーザーの手Ｙｈの位置をユーザーに確実に認知させるので、高い実効性で、ユーザーの手Ｙｈの検出状態の継続と手Ｙｈの検出確度の向上とを図ることができる。

本実施形態のヘッドマウントディスプレイ１００は、撮像領域ＣＲに入り込んでいたユーザーの手Ｙｈが撮像領域ＣＲの外周縁をなす外周縁領域ＣＲｆの外縁に近づくほど高い周波数の警告音を発する。よって、ユーザーは、手Ｙｈの指先が外周縁領域ＣＲｆにある故に、手Ｙｈが撮像領域ＣＲから外れそうであることや、撮像領域ＣＲに入り込んでいたユーザーの手Ｙｈが当該領域の外に移動しようとしていることの報知を、周波数が高まりながら発せられる警告音にて受ける。この結果、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザー自身の手Ｙｈを撮像領域ＣＲに留めるよう促すことができるので、より高い実効性で、ユーザーの手Ｙｈの検出状態の継続を図ることができる。

本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像領域ＣＲにユーザーの手Ｙｈが入り込んだことを認識するに当たり、予め、手輪郭形状記憶部１２２に、撮像され得る手Ｙｈの輪郭形状を記憶する。その上で、本実施形態のヘッドマウントディスプレイ１００は、カメラ６１が備える画素ごとの撮像データーの入力を受け（ステップＳ１００）、撮像データーで表される色の隣接画素の間の差分算出を行い（ステップＳ１０２）、その算出差分が所定の閾値以内で同色系統の撮像データーの並びをグループ化する（ステップＳ１０４：図８〜図９）。そして、本実施形態のヘッドマウントディスプレイ１００は、グループ化を経て捕捉した輪郭を手輪郭形状記憶部１２２に記憶済みの手Ｙｈの輪郭形状と対比し（ステップＳ１１０）、輪郭が一致していれば、グループ化を経て捕捉した輪郭を撮像領域ＣＲに入り込んだユーザーの手Ｙｈと認識する。

ところで、上記の非特許文献では、カメラで撮像したユーザーの手を認識するに当たり、予め手の色を肌色のモデル色として規定しておき、その規定したモデル色にマッチングする色の領域を抜き出して、その抜き出した領域形状をユーザーの手としている。よって、ユーザーの手の色として規定した肌色のモデル色を増やすことで、或いはマッチングの判断値にある程度の幅を持たせることで、ユーザーの手の認識確度をある程度確保できる。しかしながら、ユーザーの手の撮像状況は、一律であるとは言えず、例えば、野外ではその時々の天気や日光の照射状況の変化、反射光或いは影の映り込み等により、ユーザーの手の周辺の照度が急変することが多々ある。こうした場合には、モデル色とのマッチングに不整合が起き、ユーザーの手の認識確度が低下し得る。屋内であれば、照明条件により同様のことが起き得る。また、ユーザーの手の色は、人種は元より個々人に応じて多種多様であるため、ユーザーの手の認識の基準となるモデル色を、認識不可のユーザーの手の色に合わせて、その都度、新たに規定する必要があり、利便性に化欠ける。しかも、モデル色を新たに規定したとしても、照度急変により認識確度の低下が起き得る。

これに対し、本実施形態のヘッドマウントディスプレイ１００は、既述したように、隣接画素間の色の差分演算に基づくグループ化を経て輪郭を捕捉した上で、捕捉した輪郭と記憶済みの手Ｙｈの輪郭形状との対比によりユーザーの手Ｙｈを認識しているので、次の利点がある。つまり、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーの手の認識の基準となるモデル色を手の色ごとに規定する必要がないことから、ユーザーの手Ｙｈを認識するに当たっての利便性を損なわない。また、隣接画素の間の色の差分を算出する際のそれぞれの画素は、ユーザーの手の周辺の照度が急変しても、ほぼ等分にその影響を受けることから、隣接画素の間の色の差分は、ユーザーの手Ｙｈの周辺の照度の急変にさほど影響されない。よって、本実施形態のヘッドマウントディスプレイ１００によれば、照度急変による手の認識確度の低下を抑制できると共に、認識確度を高めることができる。また、手輪郭形状記憶部１２２に記憶する手の輪郭形状は、撮像領域ＣＲにおいてユーザーが何らかの目的によって採ることが予想される手の輪郭形状であればよいので、記憶しておく手の輪郭形状はある程度制限され、人種や個々のユーザーに応じて設定する必要はない。この点からも、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーの手Ｙｈを認識するに当たっての利便性を損なわない他、ユーザーの手Ｙｈの認識の汎用性が高まると共に、コスト低下も可能となる。

本実施形態のヘッドマウントディスプレイ１００は、グループ化を経て捕捉した輪郭を手輪郭形状記憶部１２２に記憶済みの手Ｙｈの輪郭形状と対比するに当たり、捕捉済み輪郭が所定の形状変化範囲内のまま移動したり、捕捉済み輪郭が形状変化を起こすと（ステップＳ１０６：肯定判定）、捕捉済み輪郭と記憶済みの手の輪郭との対比を実行する。こうすることで、次の利点がある。カメラがユーザーの正面領域を撮像する場合、カメラには、ユーザーの手以外のものも撮像され得る。例えば、ユーザーに正対するカメラがユーザーの正面領域を撮像する際には、ユーザーの手Ｙｈのみならず、ユーザーの顔面や上半身、或いはユーザー後方の室内のテーブルや椅子等のいわゆる静止物も撮像される。この他、画像表示部２０に組み込まれたカメラ６１は、例えば、図８における雲や山並み、木々、或いは室内使用時におけるや室内のテーブルや椅子等の静止物を撮像する。これら静止物は、輪郭の移動や輪郭形状の変化を起こさない。これに対し、ユーザーは、通常、何らかの目的を持って撮像領域ＣＲに手Ｙｈを入り込ませることから、手Ｙｈを、その姿勢をさほど変化させることなく、撮像領域において移動させたり、手Ｙの形を変えたりする。よって、図８における雲や山並み、木々、或いは室内使用時におけるや室内のテーブルや椅子等のいわゆる静止物が捕捉されても、これらについては、輪郭の移動や輪郭形状の変化が起きないので、静止物について補足した輪郭を、記憶済みの手の輪郭との対比から除外できる。よって、本実施形態のヘッドマウントディスプレイ１００によれば、手認識に要する演算処理の負荷を軽減できる。

本実施形態のヘッドマウントディスプレイ１００は、ポインターＰを含む虚像ＶＩが表示された部分については、ユーザーに、虚像ＶＩを透過するようにして外景ＳＣを虚像ＶＩの背後に視認させる。よって、虚像ＶＩについては、これを、カメラ６１の撮像領域ＣＲに入り込んだユーザーの手Ｙｈを透過して表示されるよう、ユーザーに視認させる。この結果、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーには、ユーザーの手Ｙｈを虚像ＶＩに重ねて認識させるので、ユーザーの手Ｙｈの動作に対するポインターＰの認識を高めることができる。

本実施形態のヘッドマウントディスプレイ１００は、撮像データーの走査入力を受ける際、９軸センサー６６のセンサー出力に基づいてユーザーの頭部の動きをキャンセルする。よって、本実施形態のヘッドマウントディスプレイ１００によれば、同色系統としてグループ化した輪郭をユーザーの頭部の動きに左右されずに正確に捕捉できるので、ユーザーの手の認識精度が高まる。

Ａ−４．他の実施形態−１:
ヘッドマウントディスプレイ１００は、次のような実施形態とできる。図１５は他の実施形態のヘッドマウントディスプレイ１００にて行う手認識処理の様子を概略的に示す説明図である。この実施形態では、ステップＳ１００での撮像データーの走査入力とこれに続くステップＳ１０２での差分算出とを、撮像領域ＣＲを予め区画した区画領域ごとに定められた実行順に行う。つまり、図１５に示すように、撮像領域ＣＲを、左端領域ＣＲＬと右端領域ＣＲＲと下端領域ＣＲＤと残余領域ＣＲＵに予め区画し、各分割領域ごとの横方向のデーター走査入力を、右端領域ＣＲＲ→下端領域ＣＲＤ→左端領域ＣＲＬの順に実行する。通常、ユーザーは利き手側の手Ｙｈをユーザーから見たカメラの撮像領域ＣＲに入り込ませるので、右利きであれば右端領域ＣＲＲからか下端領域ＣＲＤから、撮像領域ＣＲに手Ｙｈを入り込ませる。先に説明した実施形態では、指先をポインターＰに合致させるので、左利きのユーザーにあっても、右利きと同様な手の動作を採ると想定される。よって、撮像領域ＣＲを左端領域ＣＲＬと右端領域ＣＲＲと下端領域ＣＲＤと残余領域ＣＲＵに予め区画し、上記の順にデーター走査入力を図るこの形態のヘッドマウントディスプレイ１００によれば、区画領域ごとに定められた実行順を撮像領域ＣＲへの手Ｙｈの入り込み動作に対応付けることで、例えば、右端領域ＣＲＲにユーザーの手Ｙｈが入り込んだ時点でその手Ｙｈを速やかに認識でき、その後は、全領域でのデーター入力により手Ｙｈの挙動をポインターＰの動作に対応させることができる。この実施形態において、データー走査入力を、下端領域ＣＲＤ→右端領域ＣＲＲ→左端領域ＣＲＬの順に実行するようにしてもよい。また、データー走査入力を、左端領域ＣＲＬ→下端領域ＣＲＤ→右端領域ＣＲＲの順に実行するようにしてもよく、左端領域ＣＲＬと下端領域ＣＲＤと右端領域ＣＲＲのいずれかの領域で最先に差分算出を実行するようにしてもよい。

Ａ−５．他の実施形態−２:
ヘッドマウントディスプレイ１００の他の実施形態としては、ステップＳ１００で入力を受けるＲＧＢ系の撮像データーを、色を色相(hue)と彩度(saturation)と明度(value)で表すＨＳＶ表色系に色変換する。そして、続くステップＳ１０２での隣接画素の間の色の差分算出を、色変換により得た明度の隣接画素の間の差分算出に代える。撮像データーを色変換して得た明度は、撮像したユーザーの手Ｙｈの周辺の照度の影響を受ける輝度と、ＨＳＶ表色系への色変換の過程で分離されるので、ＨＳＶ表色系への色変換を経て得た明度を用いる実施形態のヘッドマウントディスプレイ１００によれば、照度急変に伴う認識確度の低下をより高い実効性で抑制でき、手Ｙｈの認識確度をより高めることができる。

Ａ−６．他の実施形態−３:
図１６は別の実施形態のヘッドマウントディスプレイ１００の概略構成を示す説明図である。この実施形態では、既述したカメラ６１については、外景ＳＣの撮像専用のカメラとし、ユーザーの手Ｙｈの認識専用に用いるカメラ６１ａを画像表示部２０の端部ＥＲに備える。図１７は画像表示部２０の端部ＥＲに位置するカメラ６１ａの撮像領域ＣＲとユーザーの視野ＶＲとの関係を概略的に示す説明図である。この図１７に示すように、カメラ６１ａの撮像領域ＣＲは、カメラ配設位置の関係から、ユーザーの視野ＶＲの右端側の領域もしくは視野ＶＲから外れた領域となる。このため、撮像領域ＣＲに入り込んだ手Ｙｈは、視野ＶＲを占める外景ＳＣに殆ど入らないようになり、外景ＳＣはさほど手Ｙｈで遮られないので、ユーザーは、手Ｙｈで邪魔されずに、外景ＳＣを眺めて愉しむことができる。なお、カメラ６１ａを端部ＥＬに備えるようにしてもよく、カメラ６１ａの向きを下向きにして、その撮像領域ＣＲをユーザーの視野ＶＲの下方側にしてもよい。こうした実施形態のヘッドマウントディスプレイ１００は、カメラ６１ａの撮像領域ＣＲにユーザーの手Ｙｈが入り込んだことを、次のように、ユーザーに認知する。図１８はカメラ６１ａの撮像領域ＣＲがユーザーの視野ＶＲから外れた場合の手の検出手法の概要を示す説明図である。

図示するように、この実施形態では、カメラ６１ａの撮像領域ＣＲの外にあった手Ｙｈがこの撮像領域ＣＲに入り込むと、図６で説明した手認識処理により、ユーザーの手Ｙｈが認識される（ステップＳ１１２）。そうすると、ＡＲ処理部１４２は、図１８の下段に図示したように、撮像領域ＣＲに手Ｙｈが入り込んで認識された旨を示す虚像ＶＩを表示するための画像データーを生成し、その画像データーにより、視野ＶＲの右上に、虚像ＶＩを表示する。これにより、ユーザーは、カメラ６１ａの撮像領域ＣＲの外にあった手Ｙｈがこの撮像領域ＣＲに入り込んだことを認知できるので、その後の手の挙動を何らかのコマンド動作とできる。例えば、図１８の下段に示すように虚像ＶＩを表示した後、ユーザーが手Ｙｈを動かせば、この動きを制御部１０が検出することで、図１１に示した虚像ＶＩを、ポインターＰおよび矩形枠ＶＩｆを含んで表示するようにでき、ポインターＰによるコマンドの実行が可能となる。図１８に示す虚像ＶＩは、図１１に示した矩形形状の虚像ＶＩと共に表示したり、矩形形状の虚像ＶＩに含まれるように表示してもよい。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（ユーザーの足により操作するスイッチ）による操作入力を取得してもよい。また、フットスイッチや視線による操作入力を取得可能とすれば、ユーザーが手を離すことが困難である作業においても、入力情報取得部は、ユーザーからの操作入力を取得することができる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、ユーザーがヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

図１９は変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１９（Ａ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点である。右光学像表示部２６ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め上に配置されている。図１９（Ｂ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め下に配置されている。このように、光学像表示部はユーザーの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部がユーザーの眼の一部分のみを覆う態様、換言すれば、光学像表示部がユーザーの眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

例えば、画像処理部、表示制御部、ＡＲ処理部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・他の変形例：
上記した実施形態では、図１４で説明したように、撮像領域ＣＲに入り込み済みの手Ｙｈが外周縁領域ＣＲｆに達した以降においては、撮像領域ＣＲの最外周縁に近づくほど高周波数域の警告音を発するようにしたが、これに限られない。例えば、手Ｙｈが外周縁領域ＣＲｆに達した以降に撮像領域ＣＲの最外周縁に近づくほど高音量の警告音を発するようにしてもよい。また、警告音を音がパルス状に発せられるようにした上で、手Ｙｈが外周縁領域ＣＲｆに達した以降に撮像領域ＣＲの最外周縁に近づくほど短周期のパルスで警告音を発するようにしてもよい。「手が認識範囲から外れそうです」等の音声案内を行うようにしてもよい。この他、音による報知に代えて、光放出、或いは、中耳に振動を伝えて音を認知させる骨伝導にて、報知するようにしてもよい。光放出による報知では、手Ｙｈが撮像領域ＣＲの最外周縁に近づくにつれて、異なる色の光を放出して報知したり、手Ｙｈが外周縁領域ＣＲｆに達した以降に撮像領域ＣＲの最外周縁に近づくほど短周期のパルスで光を発するようにしてもよい。骨伝導による報知では、手Ｙｈが撮像領域ＣＲの最外周縁に近づくほど高周波の音や高音量の音が伝わるようにしてもよい。また、レベルゲージを示す虚像ＶＩをＡＲ処理部１４２等にて表示し、そのレベルを、手Ｙｈが撮像領域ＣＲの最外周縁に近づくにつれて高めるようにしてもよい。手Ｙｈが撮像領域ＣＲの最外周縁に近づくにつれて、虚像ＶＩにおけるポインターＰを点滅させたり、ポインターＰの色や形状を変えるようにしてもよい。この他、ヘッドマウントディスプレイ１００とは別体であってユーザーの取り扱う機器、例えば制御部１０（図１参照）や、図示しない携帯端末等が有する振動誘起部に制御信号を出力して制御部１０や携帯端末等に振動を誘起し、その振動により報知するようにしてもよい。この場合には、手Ｙｈが撮像領域ＣＲに達した以降に撮像領域ＣＲの最外周縁に近づくほど短周期の振動を携帯端末等に振動を誘起するようにしてもよい。頭部に装着される画像表示部２０それ自体に振動を誘起してもよい。

上記した実施形態のヘッドマウントディスプレイ１００において、図６によるユーザーの手Ｙｈの認識が所定の期間に亘ってなされないと、図１１に示す矩形枠ＶＩｆのみの虚像ＶＩ或いは矩形枠ＶＩｆを含む虚像ＶＩを、ＡＲ処理部１４２等にてユーザーに視認させるようにしてもよい。こうすれば、撮像領域ＣＲにユーザーの手Ｙｈが入っていないことをユーザーに確実に認知させて、自身の手Ｙｈを外周縁領域ＣＲｆより内側の撮像領域ＣＲに入り込むようユーザーに促すことができるので、ユーザーの手Ｙｈの検出確度が高まる。なお、図１１に示す矩形枠ＶＩｆのみの虚像ＶＩ或いは矩形枠ＶＩｆを含む虚像ＶＩを、何らかの操作、例えば、ユーザーによるタッチパッド１４のタッチ操作をトリガーに表示するようにしてもよい。

この他、ＡＲ処理部は、カメラによって取得されたユーザーの視界方向の外景画像を、画素視差角によりパターンマッチングさせて、拡張現実処理を実現してもよい。具体的には、画像表示部は、右眼用カメラと、左眼用カメラとを備える構成とする。右眼用カメラは、画像表示部のユーザーの右眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。左眼用カメラは、画像表示部のユーザーの左眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。ＡＲ処理部は、右眼用カメラにより撮像された画像に含まれる対象物体（付加提示用の情報を近傍に表示させる対象となる物体）と、左眼用カメラにより撮像された画像に含まれる対象物体との間のずれ量を求め、当該ずれ量と画素視差角とを用いて、拡張現実処理における虚像ＶＩの表示箇所たる「目標距離」を決定してもよい。

ＡＲ処理部は、上記の拡張現実処理を、所定の条件が満足される場合に限って実行してもよい。例えば、画像表示部に対してユーザーの視線の方向を検出可能な構成を備えたうえで、ＡＲ処理部は、検出された視線の方向が以下の条件のうちの少なくともいずれか１つを満たす場合に限って、上記の拡張現実処理を実行してもよい。
・水平約２００°、垂直約１２５°（例えば、下方向７５°、上方向５０°）の視野角の範囲内であるとき。
・情報受容能力に優れる有効視野である、水平約３０°、垂直約２０°の範囲内であるとき。
・注視点が迅速に安定して見える安定注視野である、水平６０°〜９０°、垂直４５°〜７０°の範囲内であるとき。
・映像に誘発される自己運動感覚（ベクション）の誘発が起こりはじめる水平約２０°から、自己運動感覚が飽和する約１１０°の範囲内であるとき。

また、上記の実施形態では、ユーザーの手Ｙｈの認識に撮像素子を備えるカメラ６１を用いたが、頭部に装着される画像表示部２０に、超音波センサーや赤外線センサー、光センサー等を設けて、これらセンサー出力から、ユーザーの手を認識し、その認識した手がカメラ６１の撮像領域ＣＲを外れそうになると、既述したように報知するようにしてもよい。

また、上記の実施形態のヘッドマウントディスプレイ１００では、撮像領域ＣＲに入り込んだユーザーの手Ｙｈを認識するに当たり、カメラ６１が備える画素ごとに入力を受けた隣接画素の間の画素値の差分算出を行ったが（ステップＳ１０２）、撮像領域ＣＲに入り込んで撮像されるに到った何らかの輪郭捕捉対象物の撮像画像を含む近傍領域について、隣接画素の間の画素値の差分算出を行ったり、この近傍領域を占める画素から得られる色についてのデーターの差分算出を行うようにしてもよい。上記の近傍領域を占める画素についての差分演算とすれば、図８に示すように映り込んだ雲や山並み、木々等の静止物については、差分演算を経た輪郭形状の捕捉対象から除外できるので、その分、演算負荷が軽減する。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２０ａ、２０ｂ…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２６ａ、２６ｂ…右光学像表示部
２８…左光学像表示部
２８ａ、２８ｂ…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
６１、６１ａ…カメラ
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１１０…入力情報取得部
１２０…記憶部
１２２…手輪郭形状記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４２…ＡＲ処理部（拡張現実処理部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＣＲ…撮像領域
ＣＲｆ…外周縁領域
ＣＲ１１〜ＣＲ２２…分割領域
ＣＲＤ…下端領域
ＣＲＬ…左端領域
ＣＲＲ…右端領域
ＣＲＵ…残余領域
Ｐ…ポインター
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＶＩ…虚像
ＶＩｆ…矩形枠
ＥＬ…端部
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
Ｙｈ…手
Ｌｉ…画素列

Claims (5)

1. ユーザーが虚像を外景に重ねて視認可能な頭部装着型表示装置であって、
   前記虚像を表示するための画像データーを生成し、該生成した前記画像データーにより、前記虚像がユーザーの視野に表示されるように前記虚像を視認させる拡張現実処理部と、
   ユーザーの手を検出する所定の検出領域に入り込んだ前記ユーザーの手を検出し、前記検出領域における前記ユーザーの手の挙動を検出する検出部と、
   該検出部の検出した前記ユーザーの手の挙動に基づいて、前記ユーザーの手が前記検出領域の外周縁をなす外周縁領域に達すると、前記ユーザーに報知する報知部とを備え、
   前記拡張現実処理部は、
   前記検出領域の外周縁をなす前記外周縁領域に対応した枠形状が含まれた前記虚像を表示するための前記画像データーを生成して、前記虚像をユーザーに視認させる、頭部装着型表示装置。
2. 前記拡張現実処理部は、
   前記虚像を前記検出領域に対応した表示域で視認させると共に、
   前記検出部が前記検出領域に入り込んだ前記ユーザーの手を検出すると、該検出された前記ユーザーの手の少なくとも一部部位に対応する手部位対応画像が組み込まれた前記虚像を表示するための前記画像データーを生成し、前記虚像の表示域において前記手部位対応画像が占める位置を、前記検出領域において前記一部部位が占める位置に応じて更新する、請求項１記載の頭部装着型表示装置。
3. 前記拡張現実処理部は、
   前記検出部が前記検出領域に入り込んだ前記ユーザーの手を検出すると、前記ユーザーの手の検出済みの旨を表す検出完了画像を前記虚像として表示するための前記画像データー、或いは、前記検出完了画像が組み込まれた前記虚像を表示するための前記画像データーを生成して、前記虚像をユーザーに視認させる請求項１または請求項２に記載の頭部装着型表示装置。
4. 前記報知部は、前記ユーザーへの報知の態様を変更可能に構成され、前記検出領域に入り込み済みの前記ユーザーの手が前記外周縁領域の外縁に近づくにつれて報知の態様を変えつつ、前記ユーザーに報知する請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置。
5. 前記報知部は、前記検出領域に入り込み済みの前記ユーザーの手が前記外周縁領域の外縁に近づくほど高い周波数の音を発して、或いは前記外縁に近づくほど高音量の音を発して、前記ユーザーに報知する請求項４に記載の頭部装着型表示装置。

Images