JP2016091348A - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

Abstract

【課題】外界における実際の物体に対して、所定の画像を適切な遮蔽関係で表示する。
【解決手段】頭部装着型表示装置は、表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる重畳画像表示制御部と、二次元空間における対象物の位置を示す位置情報を取得する位置情報取得部と、外界における各部の奥行きを示す奥行き情報を取得する奥行き情報取得部と、を備える。重畳画像表示制御部は、位置情報と奥行き情報とに基づいて、三次元空間における対象物の位置を算出し、対象物の位置に基づいて、所定の画像についての三次元空間における表示領域を定め、表示領域を表す情報と奥行き情報とに基づいて、三次元空間において表示領域と表示部との間に物体が存在すると判定された場合に、奥行きの方向において表示領域に対して物体が重なる領域を少なくとも含む所定範囲を表示領域から除いて、所定の画像の表示を行う。
【選択図】図９

Description

本発明は、外界を透過視認可能な表示部を備えた頭部装着型表示装置およびその制御方法、並びにコンピュータープログラムに関する。

近年、拡張現実（ＡＲ、Augmented Reality）と呼ばれる技術が注目されている。拡張現実は、現実空間にコンピューターの生成する仮想的な物体を重ね合わせて表示を行う技術である。拡張現実装置は、現実空間と拡張現実情報の合成方法によって、ビデオシースルー方式と、光学シースルー方式とに分類される。ビデオシースルー方式は、カメラで現実空間を撮影し、その撮像画像に対して拡張現実情報を合成する方式である。光学シースルー方式は、ハーフミラーなどを用いることにより光学的に現実空間の中に仮想物体を写し込む方式である。

ビデオシースルー方式の表示装置では、例えば特許文献１に記載されているように、撮像部が出力する画像データと、距離センサー部が出力するデプスマップ情報とに基づいて、現実空間における光源の位置と、該光源から発せられる光の色および強度と、実物体で反射して仮想物体に届く光である物体反射光を示す情報とを推定し、それらを仮想物体に適用することで、現実空間における光源や物体を反射してきた光の影響を仮想物体に対して反映させる技術が提案されている。この技術によれば、現実空間を撮像した画像に対して仮想物体が実在するように配置した画像の表示を行うことができる。

特開２０１３−３８４８号公報

上記従来の技術は、ビデオシースルー方式の表示装置用のものである。これに対して、光学シースルー方式の表示装置では、現実空間の中に仮想物体を写し込むだけであり、現実空間の物体が仮想物体に対して、位置的な遮蔽関係においてどのような影響を与えるかという点について、十分に検討されていないという課題があった。この課題は、光学シースルー方式の頭部装着型表示装置でも発生する課題であった。そのほか、従来の頭部装着型表示装置においては、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態は、外界を透過視認可能な表示部を備えた頭部装着型表示装置である。この頭部装着型表示装置は、前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる重畳画像表示制御部と、二次元空間における前記対象物の位置を示す位置情報を取得する位置情報取得部と、外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する奥行き情報取得部と、を備えていてもよい。前記重畳画像表示制御部は、前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記所定の画像についての前記三次元空間における表示領域を定め、前記表示領域を表す情報と前記奥行き情報とに基づいて、前記三次元空間において前記表示領域と前記表示部との間に物体が存在するか否かを判定し、前記物体が存在すると判定された場合に、前記奥行きの方向において前記表示領域に対して前記物体が重なる領域を少なくとも含む所定範囲を前記表示領域から除いて、前記所定の画像の表示を行うようにしてもよい。この形態の頭部装着型表示装置によれば、三次元空間において所定の画像の表示領域と表示部との間に物体が存在すると判定された場合に、奥行きの方向において表示領域に対して物体が重なる領域を少なくとも含む所定範囲が表示領域から除かれて所定の画像が表示される。したがって、表示領域よりも手前側（表示部側）に物体が存在する場合に、表示領域における、奥行きの方向においてその物体と重なる範囲に対して、前記所定の画像の表示がなされることがない。したがって、外界における実際の物体に対して、所定の画像を適切な遮蔽関係（すなわち前後関係）で表示することができるという効果を奏する。

（２）前記形態の頭部装着型表示装置において、前記所定の画像は、前記対象物に付与する拡張現実としての拡張情報であってもよい。この形態の頭部装着型表示装置によれば、対象物と、対象物に付与する拡張現実としての拡張情報との間において、適切な遮蔽関係で表示することができるという効果を奏する。

（３）前記形態の頭部装着型表示装置において、前記位置情報取得部は、前記対象物を撮像するカメラを含むようにしてもよい。この形態の頭部装着型表示装置によれば、二次元空間における対象物の位置を示す位置情報を、簡単な構成によって取得することができる。

（４）前記形態の頭部装着型表示装置において、前記奥行き情報取得部は、外界の奥行きを示す信号を出力するデプスセンサーを含むようにしてもよい。この形態の頭部装着型表示装置によれば、外界における少なくとも対象物の周辺の各部の奥行きを示す奥行き情報を、簡単な構成によって取得することができる。

（５）前記形態の頭部装着型表示装置において、前記重畳画像表示制御部は、前記位置情報取得部によって取得した位置情報、および前記奥行き情報取得部によって取得した奥行き情報を、前記表示部を透過して見た座標系で表現する値に変換し、変換後の位置情報および奥行き情報に基づいて、前記表示領域を定めることを行うようにしてもよい。この形態の頭部装着型表示装置によれば、位置情報と奥行き情報とが、表示部を透過して見た座標系とは異なる座業系の値として取得された場合に、これら位置情報と奥行き情報とを表示部を透過して見た座標系で表現する値に統一することができる。したがって、拡張現実の表示精度を高めることができる。

（６）本発明の他の形態は、外界を透過視認可能な表示部を備えた頭部装着型表示装置である。この頭部装着型表示装置は、前記表示部に、透過して視認される外界の対象物の位置に対応づけて第１の画像を表示させる重畳画像表示制御部と、二次元空間における前記対象物の位置を示す位置情報を取得する位置情報取得部と、外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する奥行き情報取得部と、を備えていてもよい。前記重畳画像表示制御部は、前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記第１の画像についての前記三次元空間における表示領域を、第１表示領域として定め、前記第１の画像とは異なる第２の画像についての前記三次元空間における表示領域を、第２表示領域として取得し、前記第１表示領域を表す情報と前記第２表示領域を表す情報とに基づいて、前記三次元空間において前記第１表示領域と前記表示部との間に、前記第２表示領域が存在するか否かを判定し、前記第２表示領域が存在すると判定された場合に、前記奥行きの方向において前記第１表示領域に対して前記第２表示領域が重なる領域を少なくとも含む所定範囲を前記第１表示領域から除いて、前記第１の画像の表示を行うようにしてもよい。この形態の頭部装着型表示装置によれば、三次元空間において所定の画像の表示領域と表示部との間に他の画像が存在すると判定された場合に、奥行きの方向において表示領域に対して他の画像が重なる領域を少なくとも含む所定範囲が表示領域から除かれて所定の画像が表示される。したがって、表示領域よりも手前側（表示部側）に他の画像が存在する場合に、表示領域における、奥行きの方向においてその物体と重なる範囲に対して、前記所定の画像の表示がなされることがない。したがって、他の画像に対して、所定の画像を適切な遮蔽関係（すなわち前後関係）で表示することができるという効果を奏する。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、表示部と、重畳画像表示制御部と、位置情報取得部と、奥行き情報取得部と、の４つの要素の内の一つ以上の要素を備えた装置として実現可能である。すなわち、この装置は、表示部を有していてもよく、有していなくてもよい。また、装置は、重畳画像表示制御部を有していてもよく、有していなくてもよい。また、装置は、位置情報取得部を有していてもよく、有していなくてもよい。また、装置は、奥行き情報取得部を有していてもよく、有していなくてもよい。表示部は、例えば、外界を透過視認可能なものとしてもよい。重畳画像表示制御部は、例えば、表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させるようにしてもよい。位置情報取得部は、例えば、二次元空間における対象物の位置を示す位置情報を取得してもよい。奥行き情報取得部は、例えば、外界における少なくとも対象物の周辺の各部の奥行きを示す奥行き情報を取得してもよい。さらに、重畳画像表示制御部は、例えば、位置情報と奥行き情報とに基づいて、三次元空間における対象物の位置を算出し、対象物の位置に基づいて、所定の画像についての三次元空間における表示領域を定め、表示領域を表す情報と奥行き情報とに基づいて、三次元空間において表示領域と表示部との間に物体が存在するか否かを判定し、物体が存在すると判定された場合に、奥行きの方向において表示領域に対して物体が重なる領域を少なくとも含む所定範囲を表示領域から除いて、所定の画像の表示を行うようにしてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本発明の第１実施形態における頭部装着型表示装置（ＨＭＤ）の概略構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤによる拡張現実表示の一例を示す説明図である。 ＨＭＤの使用形態の一例を示す説明図である。 拡張現実表示制御処理を示すフローチャートである。 デプスセンサーによって得られたデプスマップの一例を示す説明図である。 マーカーの一例を示す説明図である。 拡張情報データベースのデータ構造の一例を示す説明図である。 ＡＲ画像の表示の一例を示す説明図である。 表示領域に対するＡＲ画像の表示の形態を例示する説明図である。 変形例３を示す説明図である。 変形例４を示す説明図である。 その他の変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の基本構成：
図１は、本発明の第１実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型の頭部装着型表示装置である。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を区別せず「保持部」として説明する。同様に、右表示駆動部２２および左表示駆動部２４を区別せず「表示駆動部」として説明し、右光学像表示部２６および左光学像表示部２８を区別せず「光学像表示部」として説明する。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６と反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、ｉＢｅａｃｏｎ（登録商標）といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、表示制御部１６２、重畳画像表示制御部１６４、および音声処理部１７０として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデータの画像データＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。

一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データＤａｔａに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データＤａｔａ１」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１６２は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１６２は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１６２は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。同様に、表示制御部１６２は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

重畳画像表示制御部１６４は、表示制御部１６２に、透過して視認される外界の対象物の位置に対応づけて拡張現実としての画像を表示させる。重畳画像表示制御部１６４については、後ほど詳述する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１（図１も参照）と、デプス（Ｄｅｐｔｈ）センサー６２と、９軸センサー６６とを備えている。

カメラ６１は、ＲＧＢカメラであり、使用者が画像表示部２０を装着した際の使用者の鼻根部に対応する位置に配置されている。そのため、カメラ６１は、ＨＭＤ１００の所定の向き、すなわち、使用者が画像表示部２０を頭部に装着した状態において使用者が向いている方向の外界をカラー撮像する。なお、カメラ６１は、ＲＧＢカメラに換えて、白黒カメラとすることができる。

デプスセンサー６２は、奥行き（距離）センサーの一種であり、カメラ６１と並んで配置されている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーであり、本実施形態では使用者の眉間に対応する位置に配置されている。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、ＨＭＤ１００が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右ＬＣＤ２４１と同様に、左ＬＣＤ２４２は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左ＬＣＤ２４２を透過する光の透過率を変化させることにより、左バックライト２２２から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

Ａ−２．拡張現実表示について：
図３は、ＨＭＤ１００による拡張現実表示の一例を示す説明図である。図３では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実（ＡＲ）としての画像ＶＩを視認する。図３の例では、画像ＶＩは、ＨＭＤ１００のＯＳの待ち受け画面である。また、光学像表示部２６、２８が外界ＳＣからの光を透過することで、使用者は外界ＳＣを視認する。このように、本実施形態のＨＭＤの使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、画像ＶＩと、画像ＶＩの背後に外界ＳＣと、を見ることができる。また、視界ＶＲ１のうち画像ＶＩが表示されていない部分については、外界ＳＣだけを見ることができる。

図４は、ＨＭＤ１００の使用形態の一例を示す説明図である。図４では、使用者Ｕは、ＨＭＤ１００の光学像表示部２６、２８を通して、外界に存在する壁ＷＬを視認している。壁ＷＬは、例えば歴史的に重要な建造物であり、使用者ＵＬは、壁ＷＬをＨＭＤ１００を使用して視認することで、壁ＷＬの壁面に、例えば壁ＷＬが設立された当時の景観を示す画像ＰＩを拡張現実として視認することができる。こうした拡張現実の付与を行うのが、図２の重畳画像表示制御部１６４である。なお、壁ＷＬに拡張現実を付与することは、あくまでもＨＭＤ１００の使用形態の一例であり、例えば、白色の自動車に各種の色を拡張現実として付与したり、白色の広告塔に広告画像を付与したり等、種々の使用形態とすることができる。すなわち、拡張現実を付与する対象物の前面に関わる所定の表示領域に拡張現実としての画像が表示される。重畳画像表示制御部１６４は、記憶部１２０に記憶されている所定のプログラムをＣＰＵ１４０が実行することで、機能的に実現される。所定のプログラムの詳細について、以下に説明する。

図５は、拡張現実表示制御処理を示すフローチャートである。この拡張現実表示制御処理は、上記所定のプログラムに対応するもので、ＣＰＵ１４０によって所定時間ごとに繰り返し実行される。処理が開始されると、ＣＰＵ１４０は、まず、カメラ６１からＲＧＢ画像を取得し（ステップＳ１１０）、デプスセンサー６２の出力信号から、外界を二次元の画像として捉え、その画像の各画素での奥行きを画素の濃淡によって示すデプスマップ（距離画像）を生成する（ステップＳ１２０）。

図６は、デプスマップの一例を示す説明図である。図示するように、デプスマップＤＰは、濃淡画像であり、濃淡によって各画素での奥行き（距離）を表す。なお、デプスセンサー６２と、ＣＰＵ１４０によって実行されるステップＳ１２０の処理とによって、［発明の概要］の欄に記載された「奥行き情報取得部」が実現される。

図５のステップＳ１２０の実行後、ＣＰＵ１４０は、ステップＳ１１０によって取得したＲＧＢ画像内からマーカーを認識し、マーカーの二次元位置座標を取得する（ステップＳ１３０）。本実施形態では、図４に示すように、拡張現実を付与する対象物である壁ＷＬの片隅にマーカーＭＫが予め貼り付けられており、ＲＧＢ画像内からマーカーＭＫを認識することで、対象物の認識を可能としている。

図７は、マーカーＭＫの一例を示す説明図である。図示するように、マーカーＭＫは、二次元マーカーであり、拡張現実を付与する対象物を指定するための標識となる、予め定められたパターンの画像が印刷されている。このパターンの画像によって、対象物が識別可能となる。図５のステップＳ１３０では、ＲＧＢ画像内からマーカーＭＫを認識し、二次元空間におけるマーカーＭＫの位置を示す座標値を、二次元位置座標として取得する。カメラ６１と、ＣＰＵ１４０によって実行されるステップＳ１１０およびＳ１３０の処理とによって、［発明の概要］の欄に記載された「位置情報取得部」が実現される。

なお、本実施形態では、対象物に対してマーカーを予め貼り付けることによって対象物の認識を可能としていたが、これに替えて、対象物である「壁」の形状パターンを予め記憶しておき、ＲＧＢ画像におけるパターン認識によって対象物を認識するようにしてもよい。

ステップＳ１３０の実行後、ＣＰＵ１４０は、ステップＳ１２０によって取得したデプスマップ内からマーカーＭＫを認識し、マーカーＭＫの奥行きを取得する（ステップＳ１４０）。なお、マーカーＭＫに替えて、対象物である「壁」の形状パターンを予め記憶しておき、デプスマップ（距離画像）におけるパターン認識によって対象物を認識するようにしてもよい。

次いで、ＣＰＵ１４０は、ステップＳ１３０によって取得したマーカーの二次元位置座標と、ステップＳ１２０によって取得したデプスマップとを、光学像表示部２６、２８を透過して見た座標系で表現する値に変換する視野変換を行う（ステップＳ１５０）。カメラ６１およびデプスセンサー６２は、光学像表示部２６、２８とは異なった位置に設けられており、ステップＳ１３０によって取得したマーカーの二次元位置座標はカメラ６１から見た二次元座標系で表現されたものであり、ステップＳ１３０によって取得したデプスマップはデプスセンサー６２から見た二次元座標系で表現されたものである。このため、ステップＳ１６０では、二次元位置座標とデプスマップとを、光学像表示部２６、２８を透過して見た二次元座標系で表現する値に変換する視野変換を行う。

ステップＳ１５０の実行後、ＣＰＵ１４０は、ステップＳ１３０によって認識したマーカーの画像パターンをマーカー識別番号に変換し、拡張情報データベースからマーカー識別番号に対応する拡張情報を読み出す（ステップＳ１６０）。拡張情報データベースは、記憶部１２０に予め格納されたものである。なお、拡張情報データベースは、記憶部１２０に換えて、ネットワーク、特にインターネット上の記憶装置に予め格納されたものとしてもよい。

図８は、拡張情報データベースＤＢのデータ構造の一例を示す説明図である。拡張情報データベースＤＢは、「マーカー識別番号」、「表示画像」、「表示領域」の３つの項目Ｃ１、Ｃ２、Ｃ３によって構成されるレコードを複数、備える。一種類のマーカー毎に一つのレコードが対応している。「マーカー識別番号」の項目Ｃ１には、マーカーを識別するための１以上の整数が記録されている。「表示画像」の項目Ｃ２には、拡張現実として付与する画像（以下、「ＡＲ画像」と呼ぶ）を表す画像データのファイル名が記録されている。画像データは、静止画データであり、記憶部１２０に予め格納されている。ＡＲ画像の一つとしては、例えば、壁ＷＬが設立された当時の景観を示す画像である。

「表示領域」の項目Ｃ３には、ＡＲ画像を表示するための表示領域を表す表示領域情報が記録されている。表示領域情報は、表示領域を矩形とし、矩形の２つの対頂点の内の一組の対頂点の位置によって、表示領域の位置とサイズを示すデータである。上記対頂点の位置は、前述した光学像表示部２６、２８を透過して見た座標系における、ステップＳ１５０で視野変換後のマーカーの二次元位置座標に対する相対的な距離によって示される。

ステップＳ１６０（図５）では、詳しくは、マーカー識別番号をキーとして、拡張情報データベースＤＢを検索する。「マーカー識別番号」の項目Ｃ１とキーが一致するレコードを選択し、そのレコードに含まれる拡張情報、すなわち、「表示画像」、「表示領域」の各項目Ｃ２、Ｃ３の情報を拡張情報データベースＤＢから読み出す。

続いて、ＣＰＵ１４０は、ステップＳ１６０によって読み出した「表示領域」の項目Ｃ３の表示領域情報と、ステップＳ１４０によって取得したマーカーの奥行きとに基づいて、三次元空間における表示領域の位置およびサイズを設定する（ステップＳ１７０）。ここでいう「三次元空間」は、Ｘ軸およびＹ軸を、前述した、光学像表示部２６、２８を透過して見た二次元座標系の２つの座標軸とし、Ｚ軸を光学像表示部２６、２８の向きとする座標系（すなわち、視点座標系）によって表現される空間である。ステップＳ１７０によれば、Ｘ軸−Ｙ軸空間における位置は「表示領域」の項目Ｃ３の表示領域情報によって定められるものとし、Ｚ軸方向の位置は、マーカーの奥行きと一致する位置とみなすことで、三次元空間における表示領域の位置およびサイズが定まる。

その後、ＣＰＵ１４０は、ステップＳ１７０によって設定した表示領域の位置およびサイズと、ステップＳ１５０で視野変換後のデプスマップとを比較して、上述した三次元空間において、表示領域の手前側（Ｚ軸方向における光学像表示部２６、２８側）、すなわち表示領域と光学像表示部２６、２８との間に、デプスマップの情報によって表現されるなんらかの物体が存在するか否かを判定する（ステップＳ１８０）。ここでいう「物体」は、デプスマップの情報によって示される現実世界の物体である。詳しくは、デプスマップから表示領域に相当する位置の奥行き情報を検索して、それら奥行き情報が表示領域の手前側の値を示したときに、物体が存在すると判定する。なお、この判定の際に、手前側の値を示す画素が１画素とか２画素という小さい集合体を形成する場合には、ノイズあるいは微小物体であるとして、物体と判定しないようにしてもよい。また、小さい集合体に限らず、電線のような線状形状、等の特定の形状の集合体について物体と判定しない構成としてもよい。

ステップＳ１８０で、物体が存在すると判定された場合には、Ｚ軸方向において表示領域に対して前記存在するとした物体が重なる領域を求め、この重なる領域を含む所定範囲を表示領域から除く（ステップＳ１９０）。所定範囲は、重なる領域を内接する予め定められた形状、例えば矩形状の範囲とした。なお、矩形に換えて、３角形、５角形、６六角形、楕円形状、その他、種々の形状とすることもできる。さらには、重なる領域そのものを所定範囲とすることもできる。

続いて、ＣＰＵ１４０は、ステップＳ１６０によって読み出した「表示画像」の項目Ｃ２のファイル名のＡＲ画像を記憶部１２０から読み出して、そのＡＲ画像を表示領域に表示する（ステップＳ２００）。一方、ステップＳ１８０で、表示領域と光学像表示部２６、２８との間に物体が存在しないと判定された場合には、ＣＰＵ１４０は、ステップＳ１９０の処理を実行することなく、ステップＳ２００に処理を進める。ステップＳ２００の実行後、拡張画像表示制御処理を終了する。なお、ステップＳ１５０からステップＳ２００までの処理によって、図２の重畳画像表示制御部１６４が実現されている。

Ａ−３．実施形態の効果について：
図９は、ＡＲ画像の表示の一例を示す説明図である。この例示は、図４に示した使用形態のときの表示であり、使用者の視界ＶＲ１を例示している。図示するように、視界ＶＲ１には、壁ＷＬと、壁ＷＬの前に停められた車ＣＲとが含まれている。また、壁ＷＬに重畳して、ＡＲ画像が表示される。図５のステップＳ１７０によって設定されるＡＲ画像の表示領域ＰＡは、図中のＰ１とＰ２とを対頂点とする矩形で、かつ壁ＷＬの前面の位置を奥行きとする領域である。このために、表示領域ＰＡの手前側には物体である車ＣＲが存在することになる。図５のステップＳ１８０では肯定判定されて、ステップＳ１９０によって、奥行き方向（Ｚ軸方向）において表示領域ＰＡに対して車ＣＲが重なる領域を求め、この重なる領域を含む所定範囲、例えば、図中のＰ３とＰ２とを対頂点とする矩形部分が表示領域ＰＡから除かれる。新たな表示領域ＰＡ＊は、図中のハッチで示した部分であり、この表示領域ＰＡ＊にＡＲ画像が表示される。

図１０は、表示領域ＰＡ＊に対するＡＲ画像ＰＩの表示の形態を例示する説明図である。図１０（ａ）は元のＡＲ画像の一例であり、図１０（ｂ）は第１の表示形態であり、図１０（ｃ）は第２の表示形態である。本実施形態では、第１の表示形態が採用されている。図１０（ｂ）に示すように、第１の表示形態では、ＡＲ画像ＰＩを所定範囲が除かれる前の表示領域ＰＡいっぱいまでアスペクト比を維持しながら拡大した上で、前記所定範囲に対応する部分をカットして、そのカット後のＡＲ画像ＰＩ１を、所定範囲が除かれた後の表示領域ＰＡ＊に表示させる。

図１０（ｃ）に示すように、第２の表示形態では、ＡＲ画像ＰＩをアスペクト比を維持しながら所定範囲が除かれた後の表示領域ＰＡ＊に表示可能な最大限に拡大し、その拡大後のＡＲ画像ＰＩ２を表示領域ＰＡ＊に表示させる。本実施形態の変形例として、第２の表示形態を採用するようにしてもよい。

このために、本実施形態のＨＭＤ１００によれば、表示領域よりも手前側（表示部側）に物体が存在する場合に、表示領域における、奥行きの方向においてその物体と重なる範囲に対して、ＡＲ画像の表示がなされることがない。したがって、現実空間における実際の物体に対して、ＡＲ画像を適切な遮蔽関係（すなわち前後関係）で表示することができるという効果を奏する。従来技術の場合、所定範囲が除かれる前の表示領域ＰＡ（図９のＰ１−Ｐ２の矩形）全体にＡＲ画像が重ね合わせて表示されることから、車ＣＲにもＡＲ画像の一部が重なり、使用者の視界の視認性を低下させることになるが、本実施形態のＨＭＤ１００によれば、上記の視認性の低下を防止することができる。

また、第１実施形態のＨＭＤ１００によれば、図５のステップＳ１５０によって視野変換を行っていることから、カメラ６１およびデプスセンサー６２が、光学像表示部２６、２８とは異なった位置に設けられているにも拘わらず、マーカーの二次元位置座標とデプスマップとを、光学像表示部２６、２８を透過して見た座標系で表現する値に統一することができる。したがって、拡張現実の表示精度を高めることができる。

Ｂ．変形例：
なお、この発明は前記第１実施形態およびその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ−１．変形例１：
第１実施形態およびその変形例では、外界における少なくとも前記対象物の周辺の各部の奥行きをデプスセンサー６２によって検出していたが、デプスセンサーに換えて、ステレオカメラにより検出する構成としてもよい。また、外界における各部の奥行きがＣＡＤ情報として予め示される構成とし、ＣＡＤ情報から対象物周辺の奥行きを取得する構成としてもよい。

Ｂ−２．変形例２：
第１実施形態では、対象物に拡張現実として付与する拡張情報を、静止画データとしたが、これに換えて、文字データ、図形データ、あるいは動画データ等とすることができる。また、画像は３Ｄ画像としてもよい。さらに、これら各種のデータの組合せとすることもできる。

Ｂ−３．変形例３：
第１実施形態では、拡張現実を付与する対象物の前面に関わる所定の表示領域にＡＲ画像が表示される構成としていた。これに対して、所定の表示領域は対象物の前面に限る必要はなく、対象物の位置に基づいて定まる位置であればどの位置であってもよい。例えば、図１１（ａ）に示すように、対象物２００の前面２００ａと奥行きが同一であり対象物２００の上側となる位置に、所定の表示領域２１０が位置する構成としてもよいし、図１１（ｂ）に示すように、対象物２００の前面２００ａより奥行きが遠く側にあって対象物２００の上面２１０ａの上側の位置に、所定の表示領域２２０が位置する構成としてもよい。なお、図１１（ｂ）の場合には、拡張情報データベースＤＢにおける「表示領域」の項目Ｃ３を、奥行きの情報を含むようにして、マーカーに対する３次元方向への相対的な距離によって表示領域を定めるようにすればよい。

Ｂ−４．変形例４：
第１実施形態では、図９に示すように、ＡＲ画像の表示領域ＰＡの手前側に物体である車ＣＲが存在する場合に、表示領域ＰＡを変形する構成とした。これに対して、物体を、他の対象物に対して付与されるＡＲ画像の表示領域に換えることもできる。すなわち、図１２に示すように、ＡＲ画像である第１の画像の表示領域３１０の手前側に、他の対象物３２０についてのＡＲ画像（第２の画像）の表示領域３３０が存在する場合に、奥行きの方向において表示領域３１０に対して表示領域３３０が重なる領域を除いて第１の画像の表示を行うようにしてもよい。したがって、他の対象物についてのＡＲ画像に対して、ＡＲ画像を適切な遮蔽関係（すなわち前後関係）で表示することができるという効果を奏する。なお、この変形例４において、第２の画像は必ずしも対象物に対して付与されるＡＲ画像である必要はなく、ＡＲ画像であれば、対象物とは無関係に表示されるものとすることもできる。要は、対象物に対して付与されるＡＲ画像の表示領域の手前側に、他のＡＲ画像の表示領域が存在する場合に、その対象物のＡＲ画像の表示領域を、他のＡＲ画像の表示領域が重なる領域を少なくとも含む所定範囲を除くものであれば、いずれの構成とすることもできる。

Ｂ−５．その他の変形例：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（ｉ）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。

図１３は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１３（Ａ）の例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図１３（Ｂ）の例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤとして実現することもできる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

例えば、画像処理部、表示制御部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていてもよい。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としてもよい。例えば、表示駆動部は、ＬＣＤに代えてＤＭＤ（デジタル・マイクロミラー・デバイス）等を用いることもできる。例えば、表示駆動部は、ＲＧＢの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、ＭＥＭＳミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ＥＬやＤＭＤやＭＥＭＳミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス（表示駆動部）における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する１つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー（表示駆動部）におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ
６２…デプスセンサー
１００…頭部装着型表示装置（ＨＭＤ）
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１６０…画像処理部
１６２…表示制御部
１６４…重畳画像表示制御部
１７０…音声処理部
１８０…インターフェイス
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板

Claims (10)

1. 外界を透過視認可能な表示部を備えた頭部装着型表示装置であって、
   前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる重畳画像表示制御部と、
   二次元空間における前記対象物の位置を示す位置情報を取得する位置情報取得部と、
   外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する奥行き情報取得部と、
   を備え、
   前記重畳画像表示制御部は、
   前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記所定の画像についての前記三次元空間における表示領域を定め、
   前記表示領域を表す情報と前記奥行き情報とに基づいて、前記三次元空間において前記表示領域と前記表示部との間に物体が存在するか否かを判定し、
   前記物体が存在すると判定された場合に、前記奥行きの方向において前記表示領域に対して前記物体が重なる領域を少なくとも含む所定範囲を前記表示領域から除いて、前記所定の画像の表示を行う、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記所定の画像は、前記対象物に付与する拡張現実としての拡張情報である、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記位置情報取得部は、前記対象物を撮像するカメラを含む、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記奥行き情報取得部は、外界の奥行きを示す信号を出力するデプスセンサーを含む、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記重畳画像表示制御部は、
   前記位置情報取得部によって取得した位置情報、および前記奥行き情報取得部によって取得した奥行き情報を、前記表示部を透過して見た座標系で表現する値に変換し、変換後の位置情報および奥行き情報に基づいて、前記表示領域を定めることを行う、頭部装着型表示装置。
6. 外界を透過視認可能な表示部を備えた頭部装着型表示装置であって、
   前記表示部に、透過して視認される外界の対象物の位置に対応づけて第１の画像を表示させる重畳画像表示制御部と、
   二次元空間における前記対象物の位置を示す位置情報を取得する位置情報取得部と、
   外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する奥行き情報取得部と、
   を備え、
   前記重畳画像表示制御部は、
   前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記第１の画像についての前記三次元空間における表示領域を、第１表示領域として定め、
   前記第１の画像とは異なる第２の画像についての前記三次元空間における表示領域を、第２表示領域として取得し、
   前記第１表示領域を表す情報と前記第２表示領域を表す情報とに基づいて、前記三次元空間において前記第１表示領域と前記表示部との間に、前記第２表示領域が存在するか否かを判定し、
   前記第２表示領域が存在すると判定された場合に、前記奥行きの方向において前記第１表示領域に対して前記第２表示領域が重なる領域を少なくとも含む所定範囲を前記第１表示領域から除いて、前記第１の画像の表示を行う、頭部装着型表示装置。
7. 外界を透過視認可能な表示部を備えた頭部装着型表示装置の制御方法であって、
   前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる工程と、
   二次元空間における前記対象物の位置を示す位置情報を取得する工程と、
   外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する工程と、
   を備え、
   前記所定の画像を表示させる工程は、
   前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記所定の画像についての前記三次元空間における表示領域を定め、
   前記表示領域を表す情報と前記奥行き情報とに基づいて、前記三次元空間において前記表示領域と前記表示部との間に物体が存在するか否かを判定し、
   前記物体が存在すると判定された場合に、前記奥行きの方向において前記表示領域に対して前記物体が重なる領域を少なくとも含む所定範囲を前記表示領域から除いて、前記所定の画像の表示を行う、頭部装着型表示装置の制御方法。
8. 外界を透過視認可能な表示部を備えた頭部装着型表示装置の制御方法であって、
   前記表示部に、透過して視認される外界の対象物の位置に対応づけて第１の画像を表示させる工程と、
   二次元空間における前記対象物の位置を示す位置情報を取得する工程と、
   外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する工程と、
   を備え、
   前記第１の画像を表示させる工程は、
   前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記第１の画像についての前記三次元空間における表示領域を、第１表示領域として定め、
   前記第１の画像とは異なる第２の画像についての前記三次元空間における表示領域を、第２表示領域として取得し、
   前記第１表示領域を表す情報と前記第２表示領域を表す情報とに基づいて、前記三次元空間において前記第１表示領域と前記表示部との間に、前記第２表示領域が存在するか否かを判定し、
   前記第２表示領域が存在すると判定された場合に、前記奥行きの方向において前記第１表示領域に対して前記第２表示領域が重なる領域を少なくとも含む所定範囲を前記第１表示領域から除いて、前記第１の画像の表示を行う、頭部装着型表示装置の制御方法。
9. 外界を透過視認可能な表示部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
   前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる機能と、
   二次元空間における前記対象物の位置を示す位置情報を取得する機能と、
   外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する機能と、
   をコンピューターに実現させ、
   前記所定の画像を表示させる機能は、
   前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記所定の画像についての前記三次元空間における表示領域を定め、
   前記表示領域を表す情報と前記奥行き情報とに基づいて、前記三次元空間において前記表示領域と前記表示部との間に物体が存在するか否かを判定し、
   前記物体が存在すると判定された場合に、前記奥行きの方向において前記表示領域に対して前記物体が重なる領域を少なくとも含む所定範囲を前記表示領域から除いて、前記所定の画像の表示を行う、コンピュータープログラム。
10. 外界を透過視認可能な表示部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記表示部に、透過して視認される外界の対象物の位置に対応づけて第１の画像を表示させる機能と、
    二次元空間における前記対象物の位置を示す位置情報を取得する機能と、
    外界における少なくとも前記対象物の周辺の各部の奥行きを示す奥行き情報を取得する機能と、
    をコンピューターに実現させ、
    前記第１の画像を表示させる機能は、
    前記位置情報と前記奥行き情報とに基づいて、三次元空間における前記対象物の位置を算出し、前記対象物の位置に基づいて、前記第１の画像についての前記三次元空間における表示領域を、第１表示領域として定め、
    前記第１の画像とは異なる第２の画像についての前記三次元空間における表示領域を、第２表示領域として取得し、
    前記第１表示領域を表す情報と前記第２表示領域を表す情報とに基づいて、前記三次元空間において前記第１表示領域と前記表示部との間に、前記第２表示領域が存在するか否かを判定し、
    前記第２表示領域が存在すると判定された場合に、前記奥行きの方向において前記第１表示領域に対して前記第２表示領域が重なる領域を少なくとも含む所定範囲を前記第１表示領域から除いて、前記第１の画像の表示を行う、コンピュータープログラム。

Images