JP2019164431A - 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】指示体を用いて行うオブジェクト画像に対する操作の操作性を向上する。【解決手段】ＨＭＤ１００は、使用者Ｕの頭部に装着され、外景を透過して視認可能に構成される画像表示部２０と、画像表示部２０を透過して視認される外景を含む範囲を撮像するカメラ６１と、カメラ６１の撮像画像データから指示体を検出し、オブジェクト画像を外景に重ねて画像表示部２０により表示させ、画像表示部２０に表示されたオブジェクト画像のうち、検出された指示体に重なるオブジェクト画像の表示態様を変更させる制御部１０と、を備える。【選択図】図１

Description

本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。

従来、使用者の頭部に装着される表示装置として頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、以下、ＨＭＤとも表記する）が知られている。このＨＭＤでは、操作性を向上させるための技術が種々提案されている（例えば、特許文献１参照）。

特許文献１は、頭部装着型表示装置を用いて視聴者の視界を超える大きさの映像を表示する際に、視聴者の顔の向きに関する情報に基づいて、映像の再生速度を決定する画像処理装置を開示する。

特開２０１７−１２６８９９号公報

ところで、外景と共に画像を視認可能に表示する頭部装着型表示装置では、入力手段の１つとして、頭部装着型表示装置が表示する画像に対する指示体の操作を撮像部により検出して、検出した操作に対応した処理を行う操作方法が知られている。この操作方法では、操作性を改善させる余地があった。例えば、頭部装着型表示装置が検出した操作が、使用者の意図した操作であるか否かを使用者に認識させる必要があった。
本発明は、指示体を用いて行うオブジェクト画像に対する操作の操作性を向上させることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成される表示部と、前記表示部を透過して視認される前記外景を含む範囲を撮像する撮像部と、前記撮像部の撮像画像から指示体を検出する検出部と、オブジェクト画像を前記外景に重ねて前記表示部により表示させ、前記表示部に表示された前記オブジェクト画像のうち、前記検出部により検出された前記指示体に重なる前記オブジェクト画像の表示態様を変更させる表示制御部と、を備える。
この構成によれば、検出部が検出したオブジェクト画像を使用者に認識させることができ、オブジェクト画像に対する操作の操作性を向上させることができる。

また、本発明は、前記表示制御部は、前記指示体と前記オブジェクト画像との重なりが検出された場合に、前記オブジェクト画像の表示態様を変更させる。
この構成によれば、指示体との重なりが検出されたオブジェクト画像を使用者に認識させることができる。

また、本発明は、前記表示制御部は、前記指示体と前記オブジェクト画像との重なりが検出された場合と、前記オブジェクト画像上で前記指示体の動きが検出された場合とで、前記オブジェクト画像の表示態様を変更させる。
この構成によれば、指示体との重なりが検出されたオブジェクト画像を使用者に認識させ、オブジェクト画像に対する操作が検出されていることを使用者に認識させることができる。

また、本発明は、前記表示制御部は、前記オブジェクト画像上での前記指示体の動きに対応して、前記オブジェクト画像の表示態様を変更させる。
この構成によれば、オブジェクト画像上での指示体の操作を使用者に認識させることができる。

また、本発明は、前記表示制御部は、前記オブジェクト画像上での前記指示体の動きに対応して、前記オブジェクト画像の表示態様が変更された場合に、前記オブジェクト画像に対応付けられた処理を実行させる。
この構成によれば、オブジェクト画像上での指示体の動きによりオブジェクト画像の表示態様を変更させることができ、オブジェクト画像の表示態様が変更された場合に、オブジェクト画像に対応付けられた処理を実行させることができる。

また、本発明は、前記オブジェクト画像の各々には、処理コマンドが対応付けられ、前記表示制御部は、前記オブジェクト画像のうち、受け付け可能な処理コマンドが対応付けられた前記オブジェクト画像の輪郭を示す輪郭線を前記表示部に表示させる。
この構成によれば、オブジェクト画像の輪郭を示す輪郭線が表示される。

また、本発明は、前記表示制御部は、前記指示体と、前記オブジェクト画像との重なりが検出された場合に、重なりが検出された前記オブジェクト画像の輪郭線の線種を変更して前記オブジェクト画像の表示態様を変更させる。
この構成によれば、指示体との重なりが検出されたオブジェクト画像を、オブジェクト画像の輪郭線の線種を変更することで使用者に認識させることができる。

また、本発明は、前記表示制御部は、前記オブジェクト画像上での前記指示体の動きに対応して、前記オブジェクト画像の色相、明度、彩度及び透明度の少なくともいずれか１つを変更する。
この構成によれば、オブジェクト画像が表示された領域での指示体の動きを使用者に認識させることができる。

また、本発明は、前記検出部は、前記指示体の色、形状、又は色及び形状に基づいて、前記撮像画像に撮像された前記指示体を検出する。
この構成によれば、指示体の検出精度を高めることができる。

上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成される頭部装着型表示装置の制御方法であって、オブジェクト画像を前記外景に重ねて表示させるステップと、撮像部により撮像された撮像画像から指示体を検出するステップと、表示された前記オブジェクト画像のうち、検出された前記指示体に重なる前記オブジェクト画像の表示態様を変更させるステップと、を有する。

ＨＭＤの外観構成を示す説明図。 ＨＭＤの構成を示すブロック図。 制御装置の機能ブロック図。 画像としての操作画面が表示領域に表示された状態を示す図。 ＨＭＤの動作を示すフローチャート。 表示領域に表示される操作画面を示す図。 拡大表示させたタグを示す図。 表示領域に表示される操作画面を示す図。 表示領域に表示される操作画面を示す図。 表示領域に表示される操作画面を示す図。 表示領域に表示される操作画面を示す図。 表示領域に表示される操作画面を示す図。 表示領域に表示される操作画面を示す図。 表示領域に表示される操作画面を示す図。 表示領域に表示されるサブメニュー画面を示す図。 文字の入力場面を示す図。 文字の入力場面を示す図。 表示領域に表示されるアプリ画面を示す図。 表示領域に表示されるアプリ画面を示す図。 表示領域に表示されるアプリ画面を示す図。 表示領域に表示されるアプリ画面を示す図。 表示領域に表示されるアプリ画面を示す図。

以下、添付図面を参照しながら本発明の実施形態について説明する。

図１は、ＨＭＤ１００の外観構成を示す図である。
ＨＭＤ１００は、使用者Ｕが頭部に装着する画像表示部２０と、画像表示部２０を制御するコントローラー１０とを備える。画像表示部２０は、本発明の「表示部」に対応した動作を行う機能部であり、使用者Ｕの頭部に装着された状態で使用者Ｕに虚像を視認させる。コントローラー１０は、使用者ＵがＨＭＤ１００を操作する制御装置としても機能する。

コントローラー１０は、箱形の本体１１に、使用者Ｕの操作を受け付ける各種のスイッチや操作パッド１４等を備える。画像表示部２０は、本実施形態では眼鏡形状を有し、右保持部２１と、左保持部２３と、前部フレーム２７と、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。画像表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の眼前に位置し、左導光板２８は使用者Ｕの左眼の眼前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者Ｕの左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認できる。

ＨＭＤ１００はシースルー型の表示装置であり、使用者Ｕの右眼ＲＥには、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼ＬＥには、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。

画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光する。
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の撮像範囲及び撮像方向については後述する。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１には、カメラ６１が前部フレーム２７の端部ＥＲ側に配置された場合を示すが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。カメラ６１は、本発明の「撮像部」に相当する。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００を装着した状態における使用者Ｕの視界方向の少なくとも一部の外景（実空間）を撮像し、カメラ６１の画角は、使用者Ｕの正面方向を向き、使用者Ｕが画像表示部２０を透過して視認する外景と重複する。カメラ６１の画角は、使用者Ｕが画像表示部２０を透過して視認する視界の全体を含むことがより好ましい。カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態では、距離センサー６４は、使用者Ｕの前方に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよく、この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。

コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター４６に接続される。右イヤホン３２は、使用者Ｕの右耳に装着され、左イヤホン３４は、使用者Ｕの左耳に装着される。マイク６３は、音声を集音して、音声信号を音声処理部１８０（図２）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。

操作パッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。操作パッド１４への接触（タッチ操作）は、例えば、タッチセンサー（不図示）により検出される。操作パッド１４は、接触が検出された操作面の位置を示す信号を制御部１５０に出力する。

本体１１にはＬＥＤ（Light Emitting Diode）表示部１７が設置される。ＬＥＤ表示部１７は、光を透過可能な透過部（不図示）を有し、透過部の直下に設置されるＬＥＤが点灯することで、透過部に形成された文字、記号、模様等を視認可能な状態とする。ＬＥＤ表示部１７に対する使用者Ｕの手指の接触操作は、タッチセンサー１７２（図２）により検出される。このため、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。また、本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢ（Universal Serial Bus）コネクター１９を備える。

図２は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。

メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコントローラー１９９、センサーハブ１９３及びＦＰＧＡ１９５が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装される。また、外部メモリーインターフェイス１９１、ＵＳＢコントローラー１９９、センサーハブ１９３、ＦＰＧＡ１９５及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。また、コネクター４２、及びＵＳＢコントローラー１９９を、コントローラー基板１２０に実装してもよい。

メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及びメインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５及び電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。

６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。

磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信する受信機である。ＧＰＳ１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出又は算出する。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する構成であってもよい。

通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備える。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等が統合されたデバイスであってもよいし、各種回路が実装された通信モジュール基板であってもよい。

通信部１１７の通信方式には、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＤＥＣＴ（Digital Enhanced Cordless Telecommunications）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ultra Wide Band）等が用いられる。

音声処理部１８０は、オーディオコネクター４６（図１）に接続され、音声信号の入出力及び音声信号のエンコード／デコードを行う。また、音声処理部１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備える。

外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

コントローラー１０は、バイブレーター１７６を搭載する。バイブレーター１７６は、モーター（不図示）、偏心した回転子（不図示）等を備え、メインプロセッサー１２５の制御に従って振動を発生する。例えば、操作部１７０に対する操作や、ＨＭＤ１００の電源のオン／オフに応じて、所定の振動パターンでバイブレーター１７６が振動を発生する。

インターフェイス（Ｉ／Ｆ）１９７は、センサーハブ１９３及びＦＰＧＡ（Field Programmable Gate Array）１９５を、画像表示部２０に接続する。
センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９５は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９７を介した伝送を実行する。

接続ケーブル４０、及び図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、右眼ＲＥ及び左眼ＬＥに入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及び、ＬＥＤインジケーター６７を、コントローラー１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。

照度センサー６５は、受光量（受光強度）に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯及び消灯する。

温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５及び磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を、コントローラー１０に接続する。

６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（inertial measurement unit）であってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。

６軸センサー２３５は、使用者Ｕの頭部の回転量を検出する。具体的には、６軸センサー２３５は、図１に示すＸ軸方向の加速度、Ｙ軸方向の加速度、及びＺ軸方向の加速度を測定する。また、６軸センサー２３５は、内蔵する測定機構（図示略）の測定基準点において、図１に示すＸ軸まわりの回転の角速度、Ｙ軸まわりの回転の角速度、Ｚ軸まわりの回転の角速度を測定する。Ｘ軸、Ｙ軸及びＺ軸は、図１に示すように相互に直交する３軸の方向であり、Ｚ軸方向が鉛直方向に対応し、Ｘ軸方向が使用者Ｕの頭部の左右方向に対応し、Ｙ軸方向が使用者Ｕの頭部の前後方向に対応する。鉛直方向に対応するＺ軸方向は、使用者Ｕの体軸の方向に相当する。６軸センサー２３５から出力されたアナログの電圧値は、Ａ／Ｄ変換器（図示略）によりデジタルの電圧値に変換されて制御部１５０に入力される。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９は、コントローラー１０のセンサーハブ１９３に接続される。

センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２の残容量の検出、及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。

ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。

図３は、ＨＭＤ１００のコントローラー１０の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図３に示す記憶部１４０は、不揮発性記憶部１２１（図２）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８及び不揮発性記憶部１２１により構成される。

記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及びこれらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３、コンテンツデータ１４４及びキャリブレーションデータ１４５を記憶する。

制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１００を制御する。

オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能には、基本制御部１５１、通信制御部１５２、画像処理部１５３、撮像制御部１５４、アプリケーション実行部１５５及び表示制御部１５６を含む。制御部１５０は、本発明の「表示制御部」及び「検出部」として動作する。

アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現する。

設定データ１４３は、ＨＭＤ１００の動作に関する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。

また、設定データ１４３には、アプリケーションプログラム１４２を実行する場合に使用されるデータが含まれる。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部、或いはＨＭＤ１００のセンサー類等を示すデータを含む。

ＨＭＤ１００では、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応した設定データ１４３が生成又は記憶されると、アプリケーション実行部１５５がアプリケーションプログラム１４２を起動できる。

コンテンツデータ１４４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４４は、静止画像データ、映像（動画像）データ、音声データ等を含む。コンテンツデータ１４４は複数のコンテンツのデータを含んでもよい。また、コンテンツデータ１４４は、双方向型のコンテンツのデータであってもよい。

キャリブレーションデータ１４５は、カメラ６１の撮像画像データ上の座標を、表示領域ＶＲ上の座標に変換するデータである。表示領域ＶＲは、画像表示部２０が画像（虚像）を表示可能な領域である。例えば、カメラ６１によりマーカー等を撮像し、撮像した実物体に重なる位置に、画像表示部２０により画像を表示させる場合、撮像画像データ上の座標を、表示領域ＶＲ上の座標に変換するデータであるキャリブレーションデータ１４５が必要となる。このため、ＨＭＤ１００に事前にキャリブレーションを実行させて、撮像画像データ上の座標を、表示領域ＶＲ上の座標に変換するためのキャリブレーションデータ１４５を生成しておく。生成したキャリブレーションデータ１４５は、予め記憶部１４０に記憶させておく。

基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化し、アプリケーション実行部１５５がアプリケーションプログラム１４２を実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１５５を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。

基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１００の各部への電源供給を個別にオフに切り替える。

通信制御部１５２は、通信部１１７を制御して、他の装置との間でデータ通信を行う。
例えば、通信制御部１５２は、パーソナルコンピューター等の画像供給装置（不図示）から供給されるコンテンツデータを通信部１１７により受信し、受信したコンテンツデータをコンテンツデータ１４４として記憶部１４０に記憶させる。

画像処理部１５３は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１５３が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１５３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１５３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。

画像処理部１５３は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Digital Signal Processor）が挙げられる。

撮像制御部１５４は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５４は撮像画像データをカメラ６１から取得して、記憶部１４０に一時的に記憶させる。

アプリケーション実行部１５５は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１５５は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。例えば、記憶部１４０に記憶されたコンテンツデータ１４４のいずれかが操作部１７０の操作により選択されると、コンテンツデータ１４４を再生するアプリケーションプログラム１４２が実行される。これにより制御部１５０は、コンテンツデータ１４４を再生するアプリケーション実行部１５５として動作する。

表示制御部１５６は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５６は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。表示制御部１５６は、画像表示部２０を制御して表示領域ＶＲに画像を表示させる。

図４は、画像としての操作画面３００が表示領域ＶＲに表示された状態を示す図である。操作画面３００は、オペレーティングシステム１４１や、アプリケーションプログラム１４２を実行するメインプロセッサー１２５により表示される画面である。また、操作画面３００は、使用者Ｕが行う操作を受け付け可能な画面であって、ＨＭＤ１００に搭載された機能を表示する画面である。ＨＭＤ１００は、使用者Ｕが行う操作を検出して、検出した操作により選択された機能を実行させる。また、本実施形態では、使用者Ｕの手のひらや指先等の指示体５の動きや位置をカメラ６１の撮像画像データから検出して操作を検出する場合を例に説明するが、ホイール操作部１２や、中央キー１３、操作パッド１４、上下キー１５等の被操作部を操作して操作を行うことも可能である。また、本実施形態では、指示体５が使用者Ｕの手（手のひらや、指、指先等を含む）である場合を例に挙げて説明するが、指示体５は手に限らず、例えば、ペンや指示棒等であってもよい。指示体５としてペンや指示棒等を用いる場合、撮像画像データからペンや指示棒の画像を検出するため、ペンや指示棒の画像を記憶部１４０に予め記憶させておく必要がある。

操作画面３００には、複数のタグ３１１、３１２が表示される。図４には、タグ３１１とタグ３１２の２つのタグを示すが、タグの数は、２つに限定されるものではない。タグ３１１には、カメラ６１やＧＰＳ等、ＨＭＤ１００に搭載された機能を起動させるメニューが対応付けられている。また、タグ３１２には、ＨＭＤ１００の動作環境を設定する設定項目が対応付けられる。また、タグ３１１、３１２は、タグ３１１、３１２の領域を示す輪郭線が破線により示されている。タグ３１１、３１２は、本発明の「オブジェクト画像」に相当する。

図５は、ＨＭＤ１００の動作を示すフローチャートである。図５に示すフローチャートを参照しながら本実施形態のＨＭＤ１００の動作を説明する。
制御部１５０は、カメラ６１の撮像画像データから指示体５の画像の検出を開始する（ステップＳ１）。制御部１５０は、まず、メモリー１１８から撮像画像データを取得する。カメラ６１は、予め設定された撮像間隔で撮像を行い、撮像画像データを生成する。カメラ６１の撮像画像データは、メモリー１１８に一時的に記憶される。制御部１５０は、メモリー１１８から撮像画像データを取得して、取得した撮像画像データに対して地肌抽出処理や、エッジ検出処理等を行い、指示体５である使用者Ｕの指の画像を検出する。撮像画像データに対して地肌抽出処理を行うことで、肌色が撮像された領域が検出される。また、エッジ検出処理を行うことで、撮像画像データに撮像された使用者Ｕの指の輪郭や形状が検出される。

制御部１５０は、撮像画像データから指示体５の画像を検出することができなかった場合（ステップＳ１／ＮＯ）、次の撮像画像データをメモリー１１８から取得して、指示体５の画像の検出を継続する。なお、次の撮像画像データは、指示体５の画像の検出対象とした撮像画像データの次に撮像された撮像画像データである。また、カメラ６１の撮像間隔が短い場合、制御部１５０は、メモリー１１８に記憶されたすべての撮像画像データを対象としなくてもよい。例えば、制御部１５０は、メモリー１１８に記憶された撮像画像データから、所定枚数ごとに撮像データを取得して指示体５の画像を検出してもよい。この場合、１枚とは、カメラ６１が１回の撮像により生成する所定サイズの撮像画像データを指す。

制御部１５０は、撮像画像データから指示体５の画像を検出した場合（ステップＳ１／ＹＥＳ）、検出した指示体５に重なるタグ３１１、３１２があるか否かを判定する（ステップＳ２）。詳細には、制御部１５０は、撮像画像データから指示体５の画像を検出すると、検出した指示体５の画像の撮像画像データにおける位置を示す座標データを、表示領域ＶＲにおける位置を示す座標データに変換する。制御部１５０は、記憶部１４０に記憶されたキャリブレーションデータ１４５を参照して、指示体５の画像の撮像画像データにおける位置を示す座標データを表示領域ＶＲにおける位置を示す座標データに変換する。制御部１５０は、変換した座標データと、タグ３１１、３１２の表示領域ＶＲでの表示位置とに基づいて、指示体５に重なるタグ３１１、３１２があるか否かを判定する。

制御部１５０は、指示体５に重なるタグ３１１、３１２が存在しない場合（ステップＳ２／ＮＯ）、ステップＳ１に戻り、メモリー１１８から次の撮像画像データを取得する。また、制御部１５０は、指示体５に重なるタグ３１１、３１２がある場合（ステップＳ２／ＹＥＳ）、指示体５に重なるタグ３１１、３１２の表示サイズを拡大する（ステップＳ３）。

図６は、表示領域ＶＲに表示される操作画面３００を示す図であり、特に、タグ３１１の表示サイズを拡大した状態を示す図である。制御部１５０は、指示体５に重なるタグ３１１が検出されると、検出されたタグ３１１の形状や領域を示す輪郭線の線種を破線から実線に変更する。さらに、制御部１５０は、指示体５の動きに対応してタグ３１１の表示色を、選択されていないタグ３１２の表示色とは異なる色に変更する（ステップＳ４）。使用者Ｕは、タグ３１１上で指示体５を動かすことで、タグ３１１の表示色を、タグ３１２とは異なる表示色に変更する。

図７は、拡大表示させたタグ３１１を示す図である。
ここで、指示体５の動きに対応してタグ３１１の表示色を変更する動作について図７を参照しながら説明する。まず、制御部１５０は、カメラ６１により連続して撮像される撮像画像データから指示体５が動く方向を特定する。例えば、図７において、タグ３１１の左下に原点、タグ３１１の縦方向にＹ軸、横方向にＸ軸が設定されていると仮定する。制御部１５０は、Ｙ軸正方向への移動を上方向、Ｙ軸負方向への移動を下方向、Ｘ軸正方向への移動を右方向、Ｘ軸負方向への移動を左方向と判定する。図７に示す例の場合、指示体５は、時間の経過とともにＹ軸正方向に移動しているので、制御部１５０は、上方向への移動であると判定する。

次に、制御部１５０は、指示体５の画像が重なるタグ３１１の領域のうち、特定した指示体５が動く方向における先頭位置を求める。図７には、指示体５が上方向に動く場合を例示しているので、制御部１５０は、Ｙ軸で最も座標値が大きい位置を先頭位置として特定する。図７に示す例では、制御部１５０は、Ｙ軸の座標値Ｙ１を先頭位置と判定する。制御部１５０は、Ｙ座標の座標値がＹ１以下の領域の表示色を変更する。図７において、網かけ線で示した領域が、表示色が変更されたタグ３１１の領域を示す。

制御部１５０は、選択されたタグ３１１全体の表示色が変更されたか否かを判定する（ステップＳ５）。制御部１５０は、タグ３１１全体の表示色が変更されていないと判定すると（ステップＳ５／ＮＯ）、他のタグが選択されたか否かを判定する（ステップＳ６）。制御部１５０は、撮像画像データにより指示体５の画像を検出して、指示体５の画像が重なるタグに変更があるか否を判定する。制御部１５０は、他のタグが選択されていないと判定した場合（ステップＳ６／ＮＯ）、ステップＳ５の判定に戻る。また、制御部１５０は、他のタグが選択されたと判定した場合（ステップＳ６／ＹＥＳ）、ステップＳ３の処理に移行し、選択された他のタグの表示サイズを拡大させる（ステップＳ３）。

また、制御部１５０は、タグ３１１全体の表示色が変更されたと判定した場合（ステップＳ５／ＹＥＳ）、操作が確定したと判定し、選択されたタグ３１１に対応したメニューのリストを表示したプルアップメニュー３２１を表示させる（ステップＳ７）。

図８は、表示領域ＶＲに表示される操作画面３００を示す図であり、特に、プルアップメニュー３２１が表示された状態を示す図である。プルアップメニュー３２１は、本発明の「オブジェクト画像」に相当する。
使用者Ｕは、操作画面３００にプルアップメニュー３２１が表示されると、表示されたメニューのうち、選択したいメニューが表示された領域（以下、メニュー表示領域という）３２３に指示体５を重ねる。制御部１５０は、カメラ６１の撮像画像データから指示体５の画像を検出して、指示体５の画像が重なるメニュー表示領域３２３を検出する（ステップＳ８）。制御部１５０は、指示体５の画像が重なるメニュー表示領域３２３が検出できない場合（ステップＳ８／ＮＯ）、ステップＳ６の判定に移行して他のタグが選択されたか否かを判定する。

図８は、カメラ６１をオンさせるメニューである「カメラＯＮ」のメニュー表示領域３２３に指示体５が重なる場合を示す。制御部１５０は、指示体５が重なるメニュー表示領域３２３を検出すると（ステップＳ８／ＹＥＳ）、メニュー表示領域３２３の形状を示す輪郭線の形状を実線から破線に変更する。さらに、制御部１５０は、検出したメニュー表示領域３２３の表示色を、他のメニュー表示領域３２３の表示色とは異なる色に変更する（ステップＳ９）。本実施形態では、オブジェクト画像の表示態様の変更の一例として、表示色を変更する場合を説明するが、表示色の変更は、あくまで表示態様の変更の一例である。

次に、制御部１５０は、選択されたメニュー表示領域３２３に並べて、確認操作を受け付ける表示領域である確認領域３２５を表示させる（ステップＳ１０）。制御部１５０は、確認領域３２５に対する指示体５の操作を検出した場合に、選択されたメニュー表示領域３２３のメニューが選択されたと判定する。確認領域３２５と、選択されたメニュー表示領域３２３とは、表示領域ＶＲの水平方向に並んで表示される。また、確認領域３２５は、選択されたメニュー表示領域３２３の端部に接するように表示される。図８に示す例では、確認領域３２５は、メニュー表示領域３２３の右側に並んで表示され、確認領域３２５の左端部３２５ａが「カメラＯＮ」のメニュー表示領域３２３の右端部３２３ａに接している。また、確認領域３２５には「ＯＫ？」の文字が表示される。確認領域３２５は、本発明の「オブジェクト画像」に相当する。

使用者Ｕは、操作画面３００に確認領域３２５が表示されると、メニューとして「カメラＯＮ」を選択したい場合には、メニュー表示領域３２３に位置していた指示体５を、確認領域３２５の方向、すなわち使用者Ｕから見て左から右に指示体５をスライドさせる。図９は、表示領域ＶＲに表示される操作画面３００を示す図であり、特に、選択されたメニュー表示領域３２３から確認領域３２５に指示体５をスライドさせる様子を示す図である。

制御部１５０は、連続して撮像されるカメラ６１の撮像画像データから指示体５の動きを検出し、検出した指示体５の動きに応じて確認領域３２５の表示色を変更する（ステップＳ１１）。指示体５の動きに対応させて確認領域３２５の表示色を変更する方法は、図７を参照して説明したタグ３１１に対する操作の場合と同様である。

また、使用者Ｕは、操作画面３００に確認領域３２５が表示され、メニューとして「カメラＯＮ」を選択したくない場合、すなわち、メニューの選択操作を誤った場合、指示体５を「カメラＯＮ」のメニュー表示領域３２３から、「拡大・縮小」等の他のメニュー表示領域３２３に移動させる。このとき、「カメラＯＮ」のメニューに対応した確認領域３２５の表示は消去されると共に「拡大・縮小」に対応したメニューが新たに表示さる。

制御部１５０は、確認領域３２５全体の表示色を変更したか否かを判定する（ステップＳ１２）。確認領域３２５の全体の表示色を変更していない場合（ステップＳ１２／ＮＯ）、制御部１５０は、撮像画像データから指示体５の画像を検出して、プルアップメニュー３２１に表示された他のメニューが選択されたか否かを判定する（ステップＳ１３）。制御部１５０は、他のメニューが選択されていない場合（ステップＳ１３／ＮＯ）、ステップＳ１２の判定に戻り、確認領域３２５の全体で表示色を変更したか否かを判定する。また、制御部１５０は、他のメニューが選択されたと判定した場合（ステップＳ１３／ＹＥＳ）、ステップＳ９に戻り、選択された他のメニューを表示したメニュー表示領域３２３の表示色を変更する。さらに、制御部１５０は、表示色を変更したメニュー表示領域３２３の横に、確認操作を受け付ける領域である確認領域３２５を表示させる（ステップＳ１０）。

図１０は、表示領域ＶＲに表示される操作画面３００を示す図である。特に、図１０は、選択されたメニュー表示領域３２３に対応した確認領域３２５の全体の表示色が変更された状態を示す図である。確認領域３２５の全体の表示色が変更された状態が、本発明の「オブジェクト画像上での指示体の動きに対応して、オブジェクト画像の表示態様が変更された場合」に相当する。制御部１５０は、確認領域３２５の全体で表示色を変更した場合（ステップＳ１２／ＹＥＳ）、操作が確定したと判定し、ステップＳ８で選択されたメニュー（処理コマンド）に対応付けられた処理を実行する（ステップＳ１４）。図１０には、カメラ６１をオンさせるメニューが選択された場合を示す。この場合、制御部１５０は、カメラ６１をオンさせる。本実施形態において「カメラ６１をオンさせる」とは、例えば、操作部１７０が受け付けた操作（シャッター操作）によりカメラ６１に撮像を実行させることに対応する。また、カメラ６１をオンする操作が行われる前は、カメラ６１の撮像画像データを揮発性のメモリー１１８に記憶させているが、カメラ６１がオンされると、操作部１７０の操作により撮像した撮像画像データを記憶部１４０に記憶させる。制御部１５０は、選択されたメニューに対応した処理を実行すると、ステップＳ１に戻り、指示体５の検出を再開する。

図６〜図１０の説明では、指示体５の動きを撮像画像データから検出して、確認領域３２５等のオブジェクト画像上での指示体５の動きに応じてオブジェクト画像５の表示色を変更する場合を説明した。この他の操作の確定方法として、例えば、図１１に示すように指示体５としての手のひらを確認領域３２５に重ねて、確認領域３２５の全体又はほぼ全体を手のひらにより隠してもよい。制御部１５０は、確認領域３２５の全体又はほぼ全体に指示体５が重なっていると判定すると、ステップＳ８で選択されたメニュー（処理コマンド）に対応付けられた処理を実行する。

また、操作を確定させる他の方法として、タグ１１１、１１２や確認領域３２５等のオブジェクト画像内又はオブジェクト画像を含む一定範囲内で指示体５が検出された時間や、オブジェクト画像内での指示体５の移動距離、オブジェクト画像内で指示体５の動きが静止していた静止時間により操作の確定を判定してもよい。
また、操作を確定させる他の方法として、オブジェクト画像に重なる指示体５の面積や、位置に基づいて操作の確定を判定してもよい。例えば、制御部１５０は、指示体５と重なるオブジェクト画像の面積が予め設定されたしきい値以上である場合に、操作を確定させる。また、制御部１５０は、指示体５が重なるオブジェクト画像の位置により操作を確定させてもよい。例えば、制御部１５０は、オブジェクト画像の中心を含む領域に指示体５が検出された場合に、操作を確定させる。
また、制御部１５０は、上述した複数の条件のうち、少なくとも２以上の条件を組み合わせて操作の確定を判定してもよい。例えば、制御部１５０は、オブジェクト画像に重なる指示体５の面積と、オブジェクト画像内での指示体５の静止時間とにより操作を確定させてもよい。

図１２〜図１４は、表示領域ＶＲに表示される操作画面３００を示す図である。特に、操作画面３００に画像３０５が表示された状態を示す図である。
次に、画像の表示サイズを拡大又は縮小させるメニューが選択された場合について説明する。制御部１５０は、「拡大・縮小」のメニュー表示領域３２３が選択された場合、「拡大・縮小」のメニューに対応したサブメニュー画面３３０を表示させる。このサブメニュー画面３３０には、表示領域ＶＲに表示されたカーソル３１０を、上下左右に移動させる操作を受け付ける移動操作領域３４０と、画像の表示サイズを拡大又は縮小させる操作を受け付けるサイズ操作領域３５０とが表示される。移動操作領域３４０には、十字キー３４１が表示される。また、サイズ操作領域３５０には、縮小ボタン３５３や、拡大ボタン３５７、倍率表示部３５９等が表示される。サブメニュー画面３３０は、本発明の「オブジェクト画像」に相当する。

移動操作領域３４０に表示された十字キー３４１は、カーソル３１０の表示位置を移動させるキーである。サイズ操作領域３５０に表示された縮小ボタン３５３や拡大ボタン３５７は、操作画面３００に表示された画像３０５の表示サイズを縮小させたり、拡大させたりするボタンである。倍率表示部３５９には、画像の表示倍率を示す数字や画像が表示される。
サブメニュー画面３３０に対する操作として、例えば、使用者Ｕは、十字キー３４１を操作して、拡大又は縮小させたい画像３０５の中心にカーソル３１０を移動させる。カーソル３１０を画像３０５の中心に移動させると、縮小ボタン３５３や拡大ボタン３５７を操作して、縮小倍率又は拡大倍率の指定を入力する。制御部１５０は、縮小倍率又は拡大倍率が入力されると、入力された倍率で画像３０５を縮小又は拡大させる。このとき、制御部１５０は、カーソル３１０の表示位置を中心として画像３０５の表示サイズを縮小又は拡大させる。

図１２には、サイズ操作領域３５０に対する操作が有効であり、移動操作領域３４０に対する操作は無効である場合を示す。サイズ操作領域３５０に表示された縮小ボタン３５３の周囲には、縮小ボタン３５３の有効な操作範囲を示す輪郭線３５１が破線で表示される。また、拡大ボタン３５７の周囲には、拡大ボタン３５７の有効な操作範囲を示す輪郭線３５５が破線で表示される。縮小ボタン３５３の有効な操作範囲を縮小操作範囲３５１ａといい、拡大ボタン３５７の有効な操作範囲を拡大操作範囲３５５ａという。移動操作領域３４０や、十字キー３４１、縮小操作範囲３５１ａ、拡大操作範囲３５５ａは、本発明の「オブジェクト画像」に相当する。
操作を受け付け可能なボタンである縮小ボタン３５３や拡大ボタン３５７の周囲に輪郭線３５１、３５５を表示させることで、縮小ボタン３５３や拡大ボタン３５７が操作可能な有効なボタンであることを使用者Ｕに認識させることができる。

使用者Ｕは、画像３０５の表示サイズを拡大させる場合、拡大操作範囲３５５ａ内に指示体５を移動させる。制御部１５０は、カメラ６１の撮像画像データにより指示体５の画像を検出し、縮小操作範囲３５１ａ内で指示体５を検出した場合、縮小操作が検出されたと判定し、輪郭線３５１の線種を破線から実線に変更する。同様に、制御部１５０は、拡大操作範囲３５５ａ内で指示体５を検出した場合、拡大操作が検出されたと判定し、輪郭線３５５の線種を破線から実線に変更する。図１３は、拡大操作が検出され、輪郭線３５５の線種が破線から実線に変更された状態を示す。

使用者Ｕは、輪郭線３５５の線種が破線から実線に変更されると、拡大操作範囲３５５ａ内で指示体５を動かす。例えば、使用者Ｕから見て、指示体５を、拡大操作範囲３５５ａの左辺側から拡大操作範囲３５５ａ内に移動させた場合、拡大操作範囲３５５ａ内で指示体５を左から右に動かす。また、使用者Ｕから見て、指示体５を、拡大操作範囲３５５ａの下側から拡大操作範囲３５５ａ内に移動させた場合、使用者Ｕは、拡大操作範囲３５５ａ内で指示体５を下から上に動かす。制御部１５０は、上述のフローチャートのステップＳ４の説明と同様に、カメラ６１の撮像画像データから指示体５の動きを検出し、検出した指示体５の動きに対応させて拡大操作範囲３５５ａの表示色を変更する（図１３参照）。

図１４は、画像３０５の表示サイズが拡大された状態を示す図である。
制御部１５０は、上述したフローチャートのステップＳ８で説明したように、拡大操作範囲３５５ａの全体で表示色が変更された場合に、操作画面３００に表示された画像の表示サイズを拡大させる。また、制御部１５０は、倍率表示部３５９に、変更後の倍率に対応した表示倍率を表示させる。画像の表示サイズを拡大させる拡大率は、図１２〜図１４で説明した操作を１回の操作とし、１回の操作ごとに予め設定された倍率（例えば、５％）ずつ画像の表示倍率を変更してもよい。また、倍率表示部３５９に表示された表示倍率を指示体５の操作により所望の表示倍率に変更してもよい。例えば、使用者Ｕは、倍率表示部３５９の上で指示体５を右方向に動かす。制御部１５０は、指示体５の右方向への動きを検出して表示倍率を高い値に変更する。逆に、制御部１５０は、倍率表示部３５９の上で指示体５の左方向への動きが検出された場合、表示倍率を低い値に変更する。制御部１５０は、変更された倍率表示部３５９の表示倍率に対応した倍率で画像の表示サイズを拡大させる。画像の表示サイズを縮小させる場合の動作は、画像の表示サイズを拡大させる場合と同様である。

また、サイズ操作領域３５０に対する操作が終了した後は、移動操作領域３４０に対する操作が有効になる。使用者Ｕは、移動操作領域３４０に表示された十字キー３４１を操作することで、操作画面３００内で画像３０５の表示位置を移動させることができる。十字キー３４１の周囲には、十字キー３４１の有効な操作範囲を示す輪郭線が破線で表示される。十字キー３４１には、上方向に移動させる操作を受け付ける上キー３４２、下方向に移動させる操作を受け付ける下キー３４４、左方向に移動させる操作を受け付ける左キー３４６、右方向に移動させる操作を受け付ける右キー３４８が含まれる。また、上キー３４２の周囲には、上キー３４２の有効な操作範囲を示す輪郭線３４３が破線で表示され、下キー３４４の周囲には、下キー３４４の有効な操作範囲を示す輪郭線３４５が破線で表示される。また、左キー３４６の周囲には、左キー３４６の有効な操作範囲を示す輪郭線３４７が破線で表示され、右キー３４８の周囲には、右キー３４８の有効な操作範囲を示す輪郭線３４９が破線で表示される。

使用者Ｕは、「拡大・縮小」のメニューを選択した場合と同様に、画像３０５又はカーソル３１０を移動させたい方向に対応したキーの操作範囲に指示体５を重ねる。制御部１５０は、撮像画像データにより指示体５と操作範囲との重なりを検出すると、重なりを検出した操作範囲の表示色を、指示体５の動きに対応して変更させる。制御部１５０は、操作範囲の全体で表示色が変更されると、表示色が変更された操作範囲に対応するキーの操作を有効に設定する。

また、十字キー３４１による操作モードには、第１モード〜第３モードの３つのモードがある。これら３つのモードの切り替えは、例えば、操作部１７０により行うことができる。
第１モードは、画像３０５の表示位置を移動させるモードである。このとき、カーソル３１０は、十字キー３４１が操作されても移動しない。
第２モードは、カーソル３１０の表示位置を移動させるモードである。このとき、画像３０５は、十字キー３４１が操作されても移動しない。

第３モードは、カーソル３１０及び画像３０５の両方の表示位置を移動させるモードであり、カーソル３１０及び画像３０５が交互に操作対象となるモードである。例えば、カーソル３１０が操作対象である場合、十字キー３４１の操作に応じてカーソル３１０の表示位置を移動させる。カーソル３１０が操作画面３００の端（上下左右のいずれかの端）まで移動すると、カーソル３１０の代わりに画像３０５が十字キー３４１の操作対象となる。また、十字キー３４１の操作に応じて画像３０５が操作画面３００の端（上下左右のいずれかの端）まで移動すると、画像３０５の代わりにカーソル３１０が十字キー３４１の操作対象となる。
また、第３モードにより十字キー３４１を操作して操作画面３００内で画像３０５を移動させる場合に、例えば、十字キー３４１の操作によりカーソル３１０の表示位置を移動させて、画像３０５の上にカーソル３１０を重ねてもよい。カーソル３１０が画像３０５に重なると、十字キー３４１の操作によってカーソル３１０及び画像３０５を共に移動させることができるようにしてもよい。

図１５は、プルアップメニュー３２１に含まれる文字入力のメニューが選択された場合に、操作画面３００に表示されるサブメニュー画面３６０を示す図である。
制御部１５０は、プルアップメニュー３２１の中から文字入力のメニューが選択された場合、選択された文字種別に対応した文字をサブメニュー画面３６０に表示させる。サブメニュー画面３６０は、本発明の「オブジェクト画像」に相当する。
図１５には、文字種別としてアルファベットの大文字が選択された場合を示すが、文字の種別は、アルファベットの小文字であってもよいし、ひらがなやカタカナであってもよい。図１５に示すサブメニュー画面３６０には、アルファベットの各文字３６３がアルファベット順に並べて表示され、さらに操作キーとして「ＢＳ」キーと「ＤＥＬ」キーとが表示された場合を示す。また、このサブメニュー画面３６０は、サブメニュー画面３６０の端に近い文字ほど使用者Ｕから見て近い位置に表示され、サブメニュー画面３６０の中央にいくほど、操作画面３００の奥行き方向において使用者Ｕから離れた位置に表示される。例えば、図１５に示す例では、サブメニュー画面３６０の両端に位置する「Ａ」や「Ｂ」、「ＤＥＬ」、「ＢＳ］の文字は、近い表示位置に表示されているように使用者Ｕに視認させるため、大きな文字サイズで表示される。また、「Ｍ」や「Ｎ」等の文字は、遠い表示位置に表示されているように使用者Ｕに視認させるため、小さな文字サイズで表示される。

図１６及び図１７は、サブメニュー画面３６０に表示された文字３６３の入力場面を示す図である。
制御部１５０は、指示体５の画像と、文字３６３の表示領域との重なりが検出されると、重なりが検出された文字３６３の表示領域を示す輪郭線を破線から実線に変更する。重なりが検出された文字３６３を、以下では、選択された文字３６３という。また、制御部１５０は、選択された文字３６３の表示領域の表示サイズを拡大して、他の文字３６３の表示領域の表示サイズよりも大きくする。このとき、制御部１５０は、選択された文字３６３の表示領域と、他の文字３６３の表示領域とが重なる場合、選択された文字３６３の表示領域が、他の文字３６３の表示領域よりも前に表示されるように操作画面３００の表示を制御する。

次に、制御部１５０は、カメラ６１の撮像画像データから指示体５の動きを検出し、検出した指示体５の動きに対応させて、選択された文字３６３の表示領域の表示色を変更する。選択された文字３６３の表示領域の全体の表示色が変更されると、制御部１５０は、選択された文字３６３の表示領域に対応させて確認領域３６５を表示させる（図１６参照）。確認領域３６５には、「ＯＫ？」の文字が表示される。また、制御部１５０は、撮像画像データから指示体５の画像を検出し、指示体５の画像が確認領域３６５に重なる場合、確認領域３６５の領域を示す輪郭線を破線から実線に変更する。さらに、制御部１５０は、カメラ６１の撮像画像データから指示体５の動きを検出し、検出した指示体５の動きに対応させて確認領域３６５の表示色を変更する。確認領域３６５の全体の表示色が変更されると（図１７参照）、制御部１５０は、選択された文字３６３を文字入力欄（不図示）に入力する。確認領域３６５は、本発明の「オブジェクト画像」に相当する。

図１８は、表示領域ＶＲに表示されるアプリ画面４００を示す図である。特に、図１８は、動画再生用のアプリケーションプログラム１４２が選択され、選択されたアプリケーションプログラム１４２を制御部１５０が実行することで表示されるアプリ画面４００を示す図である。
アプリ画面４００には、コンテンツデータ１４４に基づくコンテンツが表示される再生領域４０５と、第１アイコン領域４１０及び第２アイコン領域４３０とが表示される。第１アイコン領域４１０は、使用者Ｕの操作対象となる操作アイコンが表示される領域である。操作アイコンには、巻き戻しアイコン４１１、再生アイコン４１３、コマ送り再生アイコン４１５、早送りアイコン４１７及びしおりアイコン４１９が含まれる。これらのアイコンは、本発明の「オブジェクト画像」に相当する。

巻き戻しアイコン４１１は、操作を受け付け可能な状態の場合に、有効な操作範囲を示す輪郭線４１２が破線で表示される。
同様に、再生アイコン４１３は、操作を受け付け可能な状態の場合に、有効な操作範囲を示す輪郭線４１４が破線で表示される。
コマ送り再生アイコン４１５は、操作を受け付け可能な状態の場合に、有効な操作範囲を示す輪郭線４１６が破線で表示される。
早送りアイコン４１７は、操作を受け付け可能な状態の場合に、有効な操作範囲を示す輪郭線４１８が破線で表示される。
しおりアイコン４１９は、操作を受け付け可能な状態の場合に、有効な操作範囲を示す輪郭線４２０が破線で表示される。

また、第２アイコン領域４３０には、コンテンツデータ１４４の再生状況を示すアイコンが表示される。具体的には、コンテンツデータ１４４の再生中である場合、再生中であることを示すアイコンが表示され、一時停止中である場合には一時停止を示すアイコンが表示され、停止状態である場合には停止状態であることを示すアイコンが表示される。図１８には、一時停止を示す一時停止アイコン４３１が表示された状態を示す。第２アイコン領域４３０に表示されるアイコンは、本発明の「オブジェクト画像」に相当する。

図１９は、表示領域ＶＲに表示されるアプリ画面４００を示す図である。特に、図１９は、使用者Ｕが再生アイコン４１３を操作した場合を示す図である。
使用者Ｕは、一時停止中のコンテンツデータ１４４の再生を再開させる場合、指示体５を、再生アイコン４１３の有効な操作範囲を示す輪郭線４１４内に移動させる。輪郭線４１４で囲まれた範囲内を有効操作範囲４１４ａという。制御部１５０は、カメラ６１の撮像画像データから指示体５の画像を検出し、検出した指示体５の画像が有効操作範囲４１４ａ内にあると判定すると、再生操作が検出されたと判定し、輪郭線４１４の線種を破線から実線に変更する。再生アイコン４１３及びその有効な操作範囲を示す輪郭線４１４は、本発明の「オブジェクト画像」に相当する。

使用者Ｕは、輪郭線４１４の線種が破線から実線に変更されると、有効操作範囲４１４ａ内で指示体５を動かす。制御部１５０は、カメラ６１の撮像画像データから指示体５の動きを検出し、検出した指示体５の動きに対応させて有効操作範囲４１４ａの表示色を変更する。制御部１５０は、有効操作範囲４１４ａの全体で表示色を変更したか否かを判定する。制御部１５０は、有効操作範囲４１４ａの全体の表示色を変更したと判定した場合、コンテンツデータ１４４の再生を再開させる。また、制御部１５０は、第２アイコン領域４３０に表示された一時停止アイコン４３１を、コンテンツデータ１４４を再生中であることを示す再生中アイコン４３３に変更する。

図２０〜図２２は、表示領域ＶＲに表示されるアプリ画面４００を示す図である。特に、図２０は、しおりアイコン４１９が操作された場合を示す図である。また、図２１は、指示体５の動きに合わせて、しおりアイコン４１９の表示位置を変更する様子を示す図である。また、図２２は、しおりアイコン４１９の操作を完了後のアプリ画面４００を示す図である。

まず、使用者Ｕは、例えば、操作部１７０を操作してコンテンツデータ１４４の再生を一時停止させる。一時停止に伴い、しおりアイコンは操作を受け付け可能な状態となり、有効な操作範囲を示す輪郭線４２０が破線で表示される。次に、使用者Ｕは、しおりアイコン４１９に指示体５を重ねる。制御部１５０は、カメラ６１の撮像画像データから指示体５がしおりアイコン４１９の有効操作範囲４２０ａに重なっていることを検出すると、しおりアイコン４１９の有効操作範囲４２０ａの表示色を変更する。しおりアイコン４１９及びその有効操作範囲４２０ａを示す輪郭線４２０は、本発明の「オブジェクト画像」に相当する。

その後、制御部１５０は、連続的に撮像されるカメラ６１の撮像画像データの各々から指示体５の画像を検出し、しおりアイコン４１９の有効操作範囲４２０ａの表示色を指示体５の動きに対応させて変更する。制御部１５０は、しおりアイコン４１９の有効操作範囲４２０ａの全体で表示色が変更されると、しおりアイコン４１９の操作が確定したと判定する。

制御部１５０は、しおりアイコン４１９の操作が確定した場合、再生領域４０５に、上下左右方向の矢印アイコンと、破線の輪郭線４２０とが表示されたしおりアイコン４１９を表示させる（図２１参照）。このとき、第１アイコン領域４１０のアイコンのうち、巻き戻しアイコン４１１、再生アイコン４１３、コマ送り再生アイコン４１５、早送りアイコン４１７の輪郭線４１２、４１４、４１６、４１８の表示は消去（消灯）され、矢印アイコンが表示されたしおりアイコン４１９のみが入力可能な状態となる。

制御部１５０は、カメラ６１の撮像画像データの各々から指示体５の画像を検出し、検出した指示体５である指の先端の位置が輪郭線４２０の有効操作範囲内にあると判定した場合、上下左右方向の矢印アイコンが表示されたしおりアイコン４１９が検出されたと判定する。制御部１５０は、しおりアイコン４１９の輪郭線の線種を破線から実線に変更し、かつ輪郭線４２０内の表示色が変更された状態である確定状態を維持する。この後、使用者Ｕは、指示体５である指の先端の動きに合わせて、しおりアイコン４１９の表示位置を変更することが可能となる。図２１には、指の動きに合わせて、しおりアイコン４１９の表示位置を変更する様子を示す。

使用者Ｕは、表示させたい位置にしおりアイコン４１９を表示させると、指示体５の動きを、しおりアイコン４１９の表示位置を変更したときの動きよりも早めて、指示体５を表示領域ＶＲの外側に移動させる。すなわち、カメラ６１の撮像画像データに指示体５が撮像されないようにする。制御部１５０は、指示体５の動きの速度が急激に変化し、撮像画像データから指示体５が検出されなくなると、しおりアイコン４１９の表示位置の変更を停止する。

また、制御部１５０は、再生領域４０５にしおりアイコン４１９が表示されると、一時停止中のコンテンツデータ１４４の再生時間を記憶部１４０に記憶させる。また、制御部１５０は、再生領域４０５の外側にジャンプアイコン４５０を表示させる（図２２参照）。ジャンプアイコン４５０も、第１アイコン領域４１０に表示されたアイコンと同様に、有効な操作範囲が表示される。ジャンプアイコン４５０は、コンテンツデータ１４４の再生中に、ジャンプアイコン４５０の周囲に、ジャンプアイコン４５０が有効なアイコンであることを示す輪郭線が破線で表示される。以上によりしおりアイコン４１９に対する操作が完了する。制御部１５０は、しおりアイコン４１９に対する操作が完了すると、第１アイコン領域４１０に表示されたアイコンのうち、操作可能なアイコンの輪郭線を破線で表示させる。

制御部１５０は、ジャンプアイコン４５０の操作を検出した場合、コンテンツデータ１４４の再生をジャンプさせる。より詳細には、制御部１５０は、ジャンプアイコン４５０に指示体５が重なったことを検出すると、しおりアイコン４１９が対応付けられたコンテンツデータ１４４の再生時間に、コンテンツデータ１４４の再生をジャンプさせる。

上述した説明では、指示体５の操作に対応させて、確認領域３２５の表示色（色相）を変更する場合を示したが、使用者Ｕに、指示体５の移動範囲を認識可能なように確認領域３２５の表示態様を変化させるとよい。例えば、指示体５に対応させて、確認領域３２５の明るさ（明度）、鮮やかさ（彩度）、透明度のいずれか少なくとも１つを変更してもよい。

以上説明したように本実施形態のＨＭＤ１００は、表示部として動作する画像表示部２０、撮像部として動作するカメラ６１、検出部及び表示制御部として動作する制御部１５０を備える。
画像表示部２０は、使用者Ｕの頭部に装着され、外景を透過して視認可能に構成される。
カメラ６１は、画像表示部２０を透過して視認される外景を含む範囲を撮像する。
制御部１５０は、カメラ６１の撮像画像データから指示体５を検出する。
また、制御部１５０は、オブジェクト画像を外景に重ねて画像表示部２０により表示させ、画像表示部２０に表示されたオブジェクト画像のうち、検出された指示体５に重なるオブジェクト画像の表示態様を変更させる。
従って、検出されたオブジェクト画像を使用者Ｕに認識させることができ、オブジェクト画像に対する操作の操作性を向上させることができる。

また、制御部１５０は、指示体５とオブジェクト画像との重なりが検出された場合に、オブジェクト画像の表示態様を変更させる。
従って、指示体５との重なりが検出されたオブジェクト画像を使用者Ｕに認識させることができる。

また、制御部１５０は、指示体５とオブジェクト画像との重なりが検出された場合と、オブジェクト画像上で指示体５の動きが検出された場合とで、オブジェクト画像の表示態様を変更させる。
従って、指示体５との重なりが検出されたオブジェクト画像を使用者Ｕに認識させ、オブジェクト画像に対する操作が検出されていることを使用者Ｕに認識させることができる。

また、制御部１５０は、オブジェクト画像上での指示体５の動きに対応して、オブジェクト画像の表示態様を変更させる。
この構成によれば、オブジェクト画像上での指示体５の操作を使用者Ｕに認識させることができる。

また、制御部１５０は、指示体５の動きに対応してオブジェクト画像全体の表示態様が、指示体５とオブジェクト画像との重なりが検出された場合のオブジェクト画像の表示態様から変更された場合に、オブジェクト画像に対応付けられた処理を実行させる。
従って、指示体５をオブジェクト画像上で動かしてブジェクト画像全体の表示態様を変更することで、オブジェクト画像に対応付けられた処理を実行させることができる。

また、オブジェクト画像の各々には、処理コマンドが対応付けられる。制御部１５０は、オブジェクト画像のうち、受け付け可能な処理コマンドが対応付けられたオブジェクト画像の輪郭を示す輪郭線を画像表示部２０により表示させる。
従って、オブジェクト画像の輪郭を示す輪郭線が表示される。

また、制御部１５０は、指示体５と、オブジェクト画像との重なりが検出された場合に、重なりが検出されたオブジェクト画像の輪郭線の線種を変更してオブジェクト画像の表示態様を変更させる。
従って、指示体５との重なりが検出されたオブジェクト画像を、オブジェクト画像の輪郭線の線種を変更することで使用者Ｕに認識させることができる。

また、制御部１５０は、オブジェクト画像上での指示体５の動きに対応して、オブジェクト画像の色相、明度、彩度及び透明度の少なくともいずれか１つを変更する。
従って、オブジェクト画像が表示された領域での指示体５の動きを使用者Ｕに認識させることができる。

また、制御部１５０は、指示体５の色、形状、又は色及び形状に基づいて、撮像画像に撮像された指示体５を検出する。
従って、指示体５の検出精度を高めることができる。

本発明は、上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態では、指示体５の動きに対応してタグ３１１や、確認領域３２５の表示色を変更する場合について説明した。これ以外の動作として、指示体５の位置がタグ３１１や確認領域３２５に重なる時間に応じてタグ３１１や確認領域３２５の表示色を変更してもよい。使用者は、選択するタグ３１１、３１２や、確認領域３２５の上に指示体５を移動させ、選択したタグ３１１、３１２や確認領域３２５の上に一定時間、指示体５を重ねる。制御部１５０は、指示体５の位置がタグ３１１、３１２や確認領域３２５に重なっている時間に対応してタグ３１１や確認領域３２５の表示色を変更する。

また、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。

また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１９１などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、本発明の頭部装着型表示装置の制御方法を、表示装置を備えたコンピューターを用いて実現する場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラムの態様で構成することも可能である。また、このプログラムをコンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃが挙げられる。また、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ等の不揮発性記憶装置であってもよい。

５…指示体、１０…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…カメラ、６３…マイク、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、６９…温度センサー、１００…ＨＭＤ、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…記憶部、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…コンテンツデータ、１４５…キャリブレーションデータ、１５０…制御部、１５１…基本制御部、１５２…通信制御部、１５３…画像処理部、１５４…撮像制御部、１５５…アプリケーション実行部、１５６…表示制御部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１７６…バイブレーター、１８０…音声処理部、１９１…外部メモリーインターフェイス、１９３…センサーハブ、１９５…ＦＰＧＡ、１９７、２１１、２３１…インターフェイス、１９９…ＵＳＢコントローラー、２１３、２３３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、３００…操作画面、３１１、３１２…タグ、３２１…プルアップメニュー、３２３…メニュー表示領域、３２３ａ…右端部、３２５…確認領域、３２５ａ…左端部、３３０…サブメニュー画面、３４０…移動操作領域、３４１…十字キー、３５０…サイズ操作領域、３５１…輪郭線、３５１ａ…縮小操作範囲、３５３…縮小ボタン、３５５…輪郭線、３５５ａ…拡大操作範囲、３５７…拡大ボタン、３５９…倍率表示部、３６０…サブメニュー画面、３６３…文字、３６５…確認領域、４００…アプリ画面、４０５…再生領域、４１０…第１アイコン領域、４１１…巻き戻しアイコン、４１２…輪郭線、４１３…再生アイコン、４１４…輪郭線、４１４ａ…有効操作範囲、４１５…一時停止アイコン、４１６…輪郭線、４１７…早送りアイコン、４１８…輪郭線、４１９…しおりアイコン、４２０…輪郭線、４２０ａ…有効操作範囲、４３０…第２アイコン領域、４３１…一時停止アイコン、４３３…再生中アイコン、４５０…ジャンプアイコン、ＥＬ…端部、ＥＲ…端部、ＬＥ…左眼、ＲＥ…右眼。

Claims (10)

1. 使用者の頭部に装着され、外景を透過して視認可能に構成される表示部と、
   前記表示部を透過して視認される前記外景を含む範囲を撮像する撮像部と、
   前記撮像部の撮像画像から指示体を検出する検出部と、
   オブジェクト画像を前記外景に重ねて前記表示部により表示させ、前記表示部に表示された前記オブジェクト画像のうち、前記検出部により検出された前記指示体に重なる前記オブジェクト画像の表示態様を変更させる表示制御部と、
   を備える頭部装着型表示装置。
2. 前記表示制御部は、前記指示体と前記オブジェクト画像との重なりが検出された場合に、前記オブジェクト画像の表示態様を変更させる、請求項１記載の頭部装着型表示装置。
3. 前記表示制御部は、前記指示体と前記オブジェクト画像との重なりが検出された場合と、前記オブジェクト画像上で前記指示体の動きが検出された場合とで、前記オブジェクト画像の表示態様を変更させる、請求項２記載の頭部装着型表示装置。
4. 前記表示制御部は、前記オブジェクト画像上での前記指示体の動きに対応して、前記オブジェクト画像の表示態様を変更させる、請求項２又は３記載の頭部装着型表示装置。
5. 前記表示制御部は、前記オブジェクト画像上での前記指示体の動きに対応して、前記オブジェクト画像の表示態様が変更された場合に、前記オブジェクト画像に対応付けられた処理を実行させる、請求項４記載の頭部装着型表示装置。
6. 前記オブジェクト画像の各々には、処理コマンドが対応付けられ、
   前記表示制御部は、前記オブジェクト画像のうち、受け付け可能な処理コマンドが対応付けられた前記オブジェクト画像の輪郭を示す輪郭線を前記表示部に表示させる、請求項１から５のいずれか１項に記載の頭部装着型表示装置。
7. 前記表示制御部は、前記指示体と、前記オブジェクト画像との重なりが検出された場合に、重なりが検出された前記オブジェクト画像の輪郭線の線種を変更して前記オブジェクト画像の表示態様を変更させる、請求項６記載の頭部装着型表示装置。
8. 前記表示制御部は、前記オブジェクト画像上での前記指示体の動きに対応して、前記オブジェクト画像の色相、明度、彩度及び透明度の少なくともいずれか１つを変更する、請求項４又は５に記載の頭部装着型表示装置。
9. 前記検出部は、前記指示体の色、形状、又は色及び形状に基づいて、前記撮像画像に撮像された前記指示体を検出する、請求項１から８のいずれか１項に記載の頭部装着型表示装置。
10. 使用者の頭部に装着され、外景を透過して視認可能に構成される頭部装着型表示装置の制御方法であって、
    オブジェクト画像を前記外景に重ねて表示させるステップと、
    撮像部により撮像された撮像画像から指示体を検出するステップと、
    表示された前記オブジェクト画像のうち、検出された前記指示体に重なる前記オブジェクト画像の表示態様を変更させるステップと、
    を有する頭部装着型表示装置の制御方法。

Images