JP6492419B2 - 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置 - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。このような頭部装着型表示装置は、例えばＭｉｃｒｏＵＳＢ（Universal Serial Bus）等の有線インターフェイスによってスマートフォン等の外部装置と接続されて、ＭＨＬ（Mobile High definition Link）等の規格に準拠して外部装置からの映像信号を受信する。同様に、頭部装着型表示装置は、例えば無線ＬＡＮ等の無線インターフェイスによって外部装置と接続されて、Ｍｉｒａｃａｓｔ等の規格に準拠して外部装置からの映像信号を受信する。頭部装着型表示装置は、このようにして受信した映像信号に基づいて、外部装置の表示画面に表示される画像（表示画像）と同じ虚像を頭部装着型表示装置の使用者に視認させることができる。

特許文献１には、携帯情報端末に搭載された所定の機能を、携帯情報端末の表示画面と、頭部装着型表示装置の表示画面との一方に表示させる際に、携帯情報端末の開閉状態に応じて表示先を決定する構成が記載されている。特許文献２には、頭部装着型表示装置に対して時間場所を問わない片手でのテキスト入力を可能とするために、各指の動作を検出する手段と、検出された動作を解析して文字コード等のコードを生成する手段とを備えるテキスト入力システムが記載されている。特許文献３には、頭部装着型表示装置に対して直感性と視認性に優れた入力手段を提供するための仮想マウスが記載されている。特許文献４には、複数の電子装置の間で、Ｗｉ−Ｆｉインフラストラクチャモードの無線通信方式により電子データーを送受信する簡易操作型無線データー送受信システムが記載されている。

特開２０１３−９２７８１号公報 特開２０００−２８４８８６号公報 特開２０００−２９６１９号公報 特許第５０３７７１８号公報

特許文献１に記載された技術では、携帯情報端末に搭載された所定の機能のみが考慮されており、頭部装着型表示装置に搭載された機能の表示については考慮されていないという課題があった。また、特許文献２〜４に記載された技術では、頭部装着型表示装置において、他の装置の表示画像を表示させることについては考慮されていないという課題があった。

このため、頭部装着型表示装置の表示画像と、頭部装着型表示装置に接続されている外部装置の表示画像と、の両方を使用者に視認可能とする頭部装着型表示装置が望まれていた。そのほか、頭部装着型表示装置には、ユーザビリティーの向上、汎用性の向上、利便性の向上、信頼性の向上、製造コストの低減といった、種々の要望があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、使用者が虚像と外景を視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と；前記生成された一覧画像を表す前記虚像を形成する画像表示部と、を備える。この形態の頭部装着型表示装置によれば、画像表示部は、頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、頭部装着型表示装置が有する画像である第２の画像とが含まれる一覧画像を表す虚像を形成し、使用者に視認させることができる。このため、頭部装着型表示装置の表示画像と外部装置の表示画像との両方を使用者に視認可能とする頭部装着型表示装置を提供することができる。

（２）上記形態の頭部装着型表示装置では、さらに；前記外部装置から前記第１の画像を取得する取得部を備え；前記生成部は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、第１の領域に対して外部装置から取得された第１の画像を配置し、第２の領域に対して頭部装着型表示装置の第２の画像を配置することによって、簡便に、一覧画像を生成することができる。

（３）上記形態の頭部装着型表示装置において；前記生成部は、前記頭部装着型表示装置における現在の表示画像を前記第２の画像としてもよい。この形態の頭部装着型表示装置によれば、生成部は、頭部装着型表示装置の表示画像をそのまま第２の画像として使用して、一覧画像を生成することができる。このため、生成部における処理内容を簡潔にすることができる。

（４）上記形態の頭部装着型表示装置において；前記生成部は、前記頭部装着型表示装置が有するアイコン画像の配置を変更することで前記第２の画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、頭部装着型表示装置が有するアイコン画像の配置を変更することで、縦横比を自在に変化させた第２の画像を生成し、生成した第２の画像を用いて一覧画像を生成することができる。

（５）上記形態の頭部装着型表示装置において；前記生成部は、前記第２の画像を生成する際に、さらに、前記アイコン画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施してもよい。この形態の頭部装着型表示装置によれば、生成部は、第２の画像を生成する際に、頭部装着型表示装置のアイコン画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施する。この結果、使用者は、一覧画像において、頭部装着型表示装置のアイコン画像を識別しやすくなる。

（６）上記形態の頭部装着型表示装置において；前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像の大きさを変更し、前記変更後の前記画像を用いて前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、第１の画像の大きさを第１の領域の大きさに合わせて変更することができる。また、生成部は、第２の画像の大きさを第２の領域の大きさに合わせて変更することができる。

（７）上記形態の頭部装着型表示装置において；前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施し、前記実施後の前記画像を用いて前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、一覧画像を生成する際に、第１の画像と第２の画像との少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施することができる。この結果、使用者は、一覧画像において、第１の画像と、第２の画像とを相互に識別しやすくなる。

（８）上記形態の頭部装着型表示装置では、さらに；前記一覧画像に対する前記使用者の操作を取得する操作取得部と；前記取得された操作が、前記第１の画像に対する操作であった場合に、前記外部装置に対して前記操作を通知する第１の通知部を備えてもよい。この形態の頭部装着型表示装置によれば、第１の通知部は、一覧画像の第１の画像に対する使用者の操作を外部装置に対して通知する。このため、使用者は、頭部装着型表示装置の入力インターフェイスを介して外部装置を操作することができるため、頭部装着型表示装置におけるユーザビリティーを向上させることができる。

（９）上記形態の頭部装着型表示装置において；前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し；前記生成部は、前記第１の画像に重畳される前記ポインター画像と、前記第２の画像に重畳させる前記ポインター画像と、を異なる画像とさせてもよい。この形態の頭部装着型表示装置によれば、画像表示部は、第１の画像に重畳されるポインター画像と、第２の画像に重畳されるポインター画像とを、異なる画像（虚像）として使用者に視認させることができる。この結果、使用者は、一覧画像において自身が操作しているのが、第１の画像が表す外部装置であるか、第２の画像が表す頭部装着型表示装置であるかを識別しやすくなる。

（１０）上記形態の頭部装着型表示装置において；前記生成部は、さらに、前記第１の画像の重畳される前記ポインター画像と、前記第２の画像に重畳される前記ポインター画像と、のうちの少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施させることで、各前記ポインター画像を異なる画像とさせてもよい。この形態の頭部装着型表示装置によれば、生成部は、第１の画像に重畳されるポインター画像と、第２の画像に重畳されるポインター画像と、のうちの少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施させる。この結果、使用者は、一覧画像においてポインター画像を識別しやすくなる。

（１１）上記形態の頭部装着型表示装置において；前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し；前記ポインター画像が前記第１の画像に重畳されている場合に、前記外部装置の表示画像において、前記ポインター画像が重畳されている位置に対応する位置に前記外部装置用のポインター画像を重畳させるための位置情報を、前記外部装置に対して通知する第２の通知部を備えていてもよい。この形態の頭部装着型表示装置によれば、第２の通知部は、ポインター画像が第１の画像に重畳されている場合に、外部装置の表示画像において、ポインター画像が重畳されている位置に対応する位置に外部装置用のポインター画像を重畳させるための位置情報を、外部装置に対して通知する。このため、外部装置は、取得した位置情報に基づいて外部装置用のポインター画像を表示することができる。この結果、外部装置の使用者は、頭部装着型表示装置の第１の画像上におけるポインター画像を、外部装置において視認することが可能となる。換言すれば、頭部装着型表示装置におけるポインターの表示を外部装置と共有することができる。

（１２）上記形態の頭部装着型表示装置において；前記画像表示部は、前記頭部装着型表示装置の入力デバイスにおける指示体の動きと、前記使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて決定された位置に前記ポインター画像が重畳された前記虚像を形成してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置は、入力デバイスにおける指示体の動きと、使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて、ポインター画像の位置を決定することができる。

（１３）上記形態の頭部装着型表示装置において；前記取得部は、一の前記外部装置から前記第１の画像を取得すると共に、他の前記外部装置から、前記他の外部装置の表示画像である第３の画像を取得し；前記生成部は、前記第１の領域および前記第２の領域とは異なる第３の領域に対して、前記第３の画像が配置された前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、外部装置として複数の装置が接続された場合であっても、頭部装着型表示装置の表示画像と外部装置の表示画像との両方を使用者に視認可能とする頭部装着型表示装置を提供することができる。

（１４）本発明の一形態によれば、画像表示システムが提供される。この画像表示システムは；使用者が虚像と外景を視認可能な頭部装着型表示装置と；前記頭部装着型表示装置に接続されている外部装置と、を備え；前記外部装置は；前記外部装置の表示画像である第１の画像を取得すると共に、前記取得された第１の画像を前記頭部装着型表示装置へ送信する送信部を備え；前記頭部装着型表示装置は；前記第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と；前記生成された一覧画像を表す前記虚像を形成する画像表示部と、を備える。

（１５）本発明の一形態によれば、頭部装着型表示装置に接続され、前記頭部装着型表示装置に表示させるための画像を生成する情報処理装置が提供される。この情報処理装置は、前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を取得する取得部と；前記取得された第１の画像と、前記取得された第２の画像と、を含む一覧画像を生成する一覧画像生成部と；前記生成された一覧画像を前記頭部装着型表示装置へ送信する一覧画像送信部と、を備える。この形態の情報処理装置によれば、頭部装着型表示装置に接続されている情報処理装置を利用して上記形態と同様の効果を得ることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、生成部と、画像表示部と、の２つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、生成部を有していてもよく、有していなくてもよい。また、この装置は、画像表示部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を用いた画像表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における画像表示システム１０００の概略構成を示す説明図である。 ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。 領域情報記憶部１２２に記憶されている領域情報の一例を示す説明図である。 使用者に視認される虚像の一例を示す説明図である。 配置処理の手順を示すシーケンス図である。 ヘッドマウントディスプレイ１００において一覧画像が表示されている様子を示す説明図である。 一覧画像におけるポインター画像の変化を説明するための説明図である。 通知処理の手順を示すシーケンス図である。 通知処理のステップＳ２０２について説明するための説明図である。 第２実施形態におけるヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。 フレーム情報１２４に記憶されているフレームの一例を示す説明図である。 第２実施形態における配置処理の手順を示すシーケンス図である。 ヘッドマウントディスプレイ１００ａにおいて一覧画像が表示されている様子を示す説明図である。 第３実施形態における画像表示システムの概略構成を示す説明図である。 第３実施形態におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。 第３実施形態において領域情報記憶部に記憶されている領域情報の一例を示す説明図である。 第３実施形態における配置処理の手順を示すシーケンス図である。 ヘッドマウントディスプレイにおいて一覧画像が表示されている様子を示す説明図である。 第３実施形態におけるポインター通知処理の手順を示すシーケンス図である。 ヘッドマウントディスプレイにおいて一覧画像にポインター画像が重畳されて表示されている様子を示す説明図である。 外部装置としてのヘッドマウントディスプレイにおいて一覧画像にポインター画像が重畳されて表示されている様子を示す説明図である。 第３実施形態における通知処理の手順を示すシーケンス図である。 第３実施形態における通知処理のステップＳ６００〜Ｓ６０６について説明するための説明図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．画像表示システムの構成：
図１は、本発明の一実施形態における画像表示システム１０００の概略構成を示す説明図である。画像表示システム１０００は、頭部装着型表示装置１００と、外部装置としての携帯情報端末３００とを備えている。画像表示システム１０００は、携帯情報端末３００の表示画像と、頭部装着型表示装置１００が有する画像と、を含む一覧画像を頭部装着型表示装置１００に表示させるシステムである。ここで、「スマートフォン３００の表示画像」とは、スマートフォン３００の表示画面に表示されている画像を意味する。なお、スマートフォン３００の表示画像には、表示画面に表示されるべき画像であるものの外部出力の結果として表示されない画像も含む。また、「頭部装着型表示装置１００が有する画像」とは、頭部装着型表示装置１００の表示画面に現在表示されている画像を意味する。なお、頭部装着型表示装置１００の表示画像には、表示画面に表示されるべき画像であるものの外部出力の結果として表示されない画像も含む。

頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。携帯情報端末３００は、携帯可能な情報通信端末である。本実施形態では、携帯情報端末として、スマートフォン（smartphone）を例示する。ヘッドマウントディスプレイ１００と、スマートフォン３００とは、無線通信または有線通信可能に接続されている。

Ａ−２．頭部装着型表示装置の構成：
図２は、ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。図１、２に示すように、ヘッドマウントディスプレイ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。画像表示部２０と制御部１０とは、接続部４０によって接続され、接続部４０を介して各種信号の伝送を行う。接続部４０には、金属ケーブルや光ファイバーを採用することができる。

Ａ−２−１．制御部の構成：
制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている（図２）。

入力情報取得部１１０は、例えば、タッチパッド、十字キー、フットスイッチ（使用者の足により操作するスイッチ）、ジェスチャー検出（カメラ等を用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得する）、視線検出（赤外線センサー等を用いて使用者の視線を検出し、視線の動きに対応付けられたコマンドによる操作入力を取得する）、マイクロホン等の入力デバイスに対する操作入力に応じた信号を取得する。なお、ジェスチャー検出の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者が手に持つ道具等を動き検出のための目印にしてもよい。フットスイッチ、視線検出、マイクロホンによる操作入力を取得することとすれば、使用者が手を用いて操作することが困難な現場（例えば、医療現場、建設業や製造業などの手元作業を必要とする現場など）において、ヘッドマウントディスプレイ１００が使用される場合の、使用者の利便性を大きく向上させることができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、領域情報記憶部１２２を含んでいる。領域情報記憶部１２２は、少なくとも１つの領域情報を記憶している。領域情報は、配置処理（図５）において生成される一覧画像の領域を規定する情報である。換言すれば、領域情報は、ヘッドマウントディスプレイ１００が有する画像と、スマートフォン３００の表示画像とを配置するための枠として使用される。

図３は、領域情報記憶部１２２に記憶されている領域情報の一例を示す説明図である。図３に示す領域情報ＡＩは、長方形状の領域（以降、「領域ＡＩ」とも呼ぶ。）を有している。領域ＡＩは、ヘッドマウントディスプレイ１００の表示素子（図２：右ＬＣＤ２４１、左ＬＣＤ２４２）の縦横比と同じ縦横比を有することが好ましい。

領域ＡＩは、第１の領域ＡＲ１と、第２の領域ＡＲ２との２つの領域を含んでいる。第１の領域ＡＲ１は、配置処理（図５）においてスマートフォン３００の表示画像が配置される領域である。第２の領域ＡＲ２は、配置処理においてヘッドマウントディスプレイ１００が有する画像が配置される領域である。図３の例では、第１の領域ＡＲ１は、領域ＡＩを水平方向に等分した一方に配置され、第２の領域ＡＲ２は領域ＡＩを水平方向に等分した他方に配置されている。すなわち、第１の領域ＡＲ１と、第２の領域ＡＲ２とは、同じ大きさの領域である。

なお、図３に示した第１の領域ＡＲ１と、第２の領域ＡＲ２との配置および大きさは一例であり、任意に定めることができる。例えば、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩを水平方向にｎ等分（ｎは３以上の整数）した大きさとしてもよい。この場合、領域情報ＡＩを用いて生成された一覧画像がヘッドマウントディスプレイ１００に表示された際、使用者の視界を妨げないという観点から、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩの端部（左右の端部）に配置されることが好ましい。また、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩを鉛直方向にｍ等分（ｍは２以上の整数）した大きさとしてもよい。ここで、ｍが３以上の場合、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩの端部（上下の端部）に配置されることが好ましい。また、第１の領域ＡＲ１と第２の領域ＡＲ２とは、異なる大きさとしてもよい。また、第１の領域ＡＲ１と、第２の領域ＡＲ２とは、領域の少なくとも一部が重なっていてもよい。

電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、所定の無線通信規格（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。外部装置とは、ヘッドマウントディスプレイ１００以外の他の機器を意味し、図１に示したスマートフォン３００のほか、タブレット、パーソナルコンピューター、ゲーム端末、ＡＶ（Audio Video）端末、家電製品等がある。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ヘッドマウントディスプレイ１００の使用者の現在位置を検出し、使用者の現在位置情報を表す現在位置情報を生成する。なお、現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、生成部１４２、通知部１４４、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。

生成部１４２は、配置処理（図４）において、ヘッドマウントディスプレイ１００が有する画像と、スマートフォン３００の表示画像とを用いて一覧画像を生成する。通知部１４４は、通知処理（図８）において、一覧画像のうちの、スマートフォン３００の表示画像に対する操作が行われた場合に、スマートフォン３００に対して操作内容を通知する。

画像処理部１６０は、生成部１４２や、インターフェイス１８０や、無線通信部１３２等からＯＳ１５０を介して入力される映像信号に基づいて信号を生成する。画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０における表示を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。

例えば、ディジタル形式の場合、ディジタルＲ信号と、ディジタルＧ信号と、ディジタルＢ信号と、クロック信号ＰＣＬＫとが同期した状態の映像信号が入力される。画像処理部１６０は、ディジタルＲ信号、ディジタルＧ信号、ディジタルＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の解像度変換処理、輝度彩度の調整などの種々の色調補正処理、キーストーン補正処理等の画像処理を実行する。その後、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを、送信部５１、５２を介して送信する。

アナログ形式の場合、アナログＲ信号と、アナログＧ信号と、アナログＢ信号と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとからなる映像信号が入力される。画像処理部１６０は、入力された信号から垂直同期信号ＶＳｙｎｃと水平同期信号ＨＳｙｎｃを分離し、それらの周期に応じて、図示しないＰＬＬ回路等を用いてクロック信号ＰＣＬＫを生成する。また、画像処理部１６０は、アナログＲ信号と、アナログＧ信号と、アナログＢ信号とを、Ａ／Ｄ変換回路等を用いてディジタル信号に変換する。画像処理部１６０は、変換後のディジタルＲ信号、ディジタルＧ信号、ディジタルＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の画像処理を実行した後、クロック信号ＰＣＬＫと、画像データーＤａｔａと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとを、送信部５１、５２を介して送信する。なお、以降では、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。

表示制御部１９０は、画像表示部２０が有する右表示駆動部２２と左表示駆動部２４とを制御する制御信号を生成する。制御信号とは、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に切り替えるための信号である。表示制御部１９０は、これらの制御信号によって、右表示駆動部２２と左表示駆動部２４とにおける画像光の生成および射出を制御する。表示制御部１９０は、生成した制御信号を、送信部５１、５２を介して送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。

インターフェイス１８０は、所定の有線通信規格（例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。外部装置とは、ヘッドマウントディスプレイ１００以外の他の機器を意味し、図１に示したスマートフォン３００のほか、タブレット、パーソナルコンピューター、ゲーム端末、ＡＶ端末、家電製品等がある。

Ａ−２−２．画像表示部の構成：
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６（図１）と、左光学像表示部２８（図１）と、９軸センサー６６とを含んでいる。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者のこめかみに対向する位置に配置されている。本実施形態における右表示駆動部２２と左表示駆動部２４とは、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）や投写光学系を用いて、画像を表す画像光を生成し射出する。右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。

受信部５３は、送信部５１から送信されるデーターを受信する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、入力されたクロック信号ＰＣＬＫと右眼用画像データーＤａｔａ１と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。

左表示駆動部２４は、右表示駆動部２２とほぼ同様の構成を有し、右表示駆動部２２と同様に動作する。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

右光学像表示部２６と左光学像表示部２８とは、使用者が画像表示部２０を装着した際に使用者の左右の眼前にそれぞれ位置するように配置されている（図１参照）。右光学像表示部２６は、右導光板２６１と、図示しない調光板を含んでいる。右導光板２６１は、光透過性の樹脂材料等によって形成されている。右導光板２６１は、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥへ導く。右導光板２６１には、回折格子を用いても良いし半透過反射膜を用いても良い。調光板は、薄板状の光学素子であり、画像表示部２０の表側を覆うように配置されている。調光板は、右導光板２６１を保護し、右導光板２６１の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

左光学像表示部２８は、右光学像表示部２６とほぼ同様の構成を有し、右光学像表示部２６と同様に動作する。すなわち、左光学像表示部２８は、左導光板２６２と、図示しない調光板を含み、左表示駆動部２４から出力された画像光を、使用者の左眼ＬＥへ導く。詳細な説明は省略する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００の使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

図４は、使用者に視認される虚像の一例を示す説明図である。図４では、使用者の視野ＶＲを例示している。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認することができる。図４の例では、虚像ＶＩは、ヘッドマウントディスプレイ１００のＯＳの待ち受け画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のヘッドマウントディスプレイ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後の外景ＳＣとを見ることができる。また、使用者は、視野ＶＲのうち虚像ＶＩが表示されていない部分については、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを直接見ることができる。なお、本明細書において、「ヘッドマウントディスプレイ１００が画像を表示する」ことには、ヘッドマウントディスプレイ１００の使用者に対して虚像を視認させることも含む。

Ａ−３．配置処理：
図５は、配置処理の手順を示すシーケンス図である。配置処理は、ヘッドマウントディスプレイ１００が有する画像と、スマートフォン３００の表示画像とが並べて配置された一覧画像を生成し、生成された一覧画像をヘッドマウントディスプレイ１００に表示させる処理である。配置処理は、主として生成部１４２により実行される。

ステップＳ１００において、配置処理を行うためのアプリケーションが起動される。ステップＳ１００のアプリケーションの起動は、入力情報取得部１１０が使用者による起動操作を検出したことをトリガーとしてもよく、他のアプリケーションからの起動命令の検出をトリガーとしてもよい。ステップＳ１００のアプリケーションの起動によって、ＣＰＵ１４０に対して、生成部１４２および通知部１４４の機能が実現される。

ステップＳ１０２において無線通信部１３２またはインターフェイス１８０は、スマートフォン３００が接続されたことを検出する。なお、以降では、ヘッドマウントディスプレイ１００とスマートフォン３００とがＩＥＥＥ８０２．１１に準拠した無線ＬＡＮを用いて通信する場合を例示する。ステップＳ１０４において生成部１４２は、無線通信部１３２を介して接続されているスマートフォン３００の認証を行う。この認証は、種々の認証技術を利用して実施することが可能である。例えば、生成部１４２は、スマートフォン３００のＭＡＣ（Media Access Control）アドレスを用いてスマートフォン３００を認証してもよく、ユーザ名とパスワードを用いてスマートフォン３００を認証してもよい。また、生成部１４２は、認証局が発行するディジタル証明書を用いてスマートフォン３００を認証してもよく、使用者の身体的特徴（顔、指紋、声紋）を認識してスマートフォン３００を認証してもよい。ステップＳ１０４における認証が成功した後、ステップＳ１０６において生成部１４２は、スマートフォン３００との間でコネクションを確立する。

ステップＳ１０８においてスマートフォン３００は、スマートフォン３００の表示画像を取得する。具体的には、スマートフォン３００は、スマートフォン３００において再生中のコンテンツや、アプリケーションＧＵＩ（Graphical User Interface）等、スマートフォン３００において表示されている画面を所定の規格に従ってレンダリングし、フレーム画像を取得する。ステップＳ１０８において取得されたフレーム画像は、スマートフォン３００の表示画像であり、以降「第１の画像」とも呼ぶ。

ステップＳ１１０においてスマートフォン３００は、取得した第１の画像をヘッドマウントディスプレイ１００へ送信する。ヘッドマウントディスプレイ１００の生成部１４２は、無線通信部１３２を介して第１の画像を取得する。このとき、生成部１４２と無線通信部１３２とは「取得部」として機能する。

ステップＳ１１２において生成部１４２は、ヘッドマウントディスプレイ１００が有する画像として、ヘッドマウントディスプレイ１００の表示画面に現在表示されている画像を取得する。具体的には、生成部１４２は、ステップＳ１０８と同様の方法用いて、フレーム画像を取得する。なお、生成部１４２は、画像処理部１６０またはビデオメモリーから直接フレーム画像を取得してもよい。ステップＳ１１２において取得されたフレーム画像は、ヘッドマウントディスプレイ１００が有する画像であり、以降「第２の画像」とも呼ぶ。

ステップＳ１１４において生成部１４２は、第１の画像と第２の画像とを拡大、縮小する。具体的には、生成部１４２は、ステップＳ１１０で取得した第１の画像を、領域情報ＡＩ（図３）の第１の領域ＡＲ１の大きさに合うように、拡大または縮小する。同様に、生成部１４２は、ステップＳ１１２で取得した第２の画像を、領域情報ＡＩの第２の領域ＡＲ２の大きさに合うように、拡大または縮小する。なお、生成部１４２は、第１の画像および第２の画像の縦横比をそれぞれ維持したまま、拡大または縮小することが好ましい。そうすれば、生成部１４２は、スマートフォン３００の表示画像と、ヘッドマウントディスプレイ１００が有する画像（表示画像）を忠実に再現した一覧画像を生成することができる。

ステップＳ１１６において生成部１４２は、第１の画像を領域情報ＡＩの第１の領域ＡＲ１に配置し、第２の画像を領域情報ＡＩの第２の領域ＡＲ２に配置して、一覧画像を生成する。この際、生成部１４２は、第１の画像と第２の画像との少なくとも一方に対して、以下のａ１〜ａ５に例示するような加工を施してもよい。なお、加工ａ１〜ａ５は、単独で採用されてもよく、組み合わせて採用されてもよい。

（ａ１）生成部１４２は、第１、２の画像の形状を変更する。例えば、生成部１４２は、四角形状の第１、２の画像を、円形状や台形状に変更することができる。
（ａ２）生成部１４２は、第１、２の画像の透過率を変更する。第１、２の画像の透過率を変更すれば、虚像として表示されている一覧画像を視認した際に、使用者の視界が一覧画像によって妨げられることを抑制することができる。
（ａ３）生成部１４２は、第１、２の画像の色変換処理を施す。例えば、画像表示部２０に対して、使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得するカメラを備える構成とする。そして、生成部１４２は、第１、２の画像に対して外景画像の補色を強める、または、弱める色変換処理を施す。このようにすれば、生成部１４２は、第１、２の画像を外景と比して目立たせることができる。

（ａ４）生成部１４２は、第１、２の画像の大きさを変更する。例えば、生成部１４２は、第１、２の画像を、領域情報ＡＩの第１、２の領域の大きさとは無関係に拡大または縮小する。
（ａ５）生成部１４２は、第１、２の画像に対して、文字、図形、記号等の装飾を付加する。例えば、生成部１４２は、第１、２の画像に対して、画像を説明するための文字を付加することができる。また、例えば、生成部１４２は、第１、２の画像に対して、画像の周囲を縁取る枠を追加することもできる。

このようにして、第１の画像と、第２の画像との一方に対して上記ａ１〜ａ５のような加工を施すこととすれば、一覧画像を視認した使用者は、一覧画像において、第１の画像と、第２の画像とを相互に識別しやすくなる。また、第１の画像と、第２の画像との両方に対して、異なる態様を用いて上記ａ１〜ａ５のような加工を施しても、同様に使用者における識別性を向上させることができる。

ステップＳ１１８において生成部１４２は、ヘッドマウントディスプレイ１００に一覧画像を表示させる。具体的には、生成部１４２は、ステップＳ１１６で生成した一覧画像を、画像処理部１６０へ送信する。一覧画像を受信した画像処理部１６０では、上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００の使用者は、視野に一覧画像の虚像を視認することができる。換言すれば、ヘッドマウントディスプレイ１００は、一覧画像を表示することができる。

図６は、ヘッドマウントディスプレイ１００において、一覧画像が表示されている様子を示す説明図である。図６に示すように、ヘッドマウントディスプレイ１００の使用者は、視野ＶＲにおいて、領域情報ＡＩ（図３）の第１の領域ＡＲ１に第１の画像ＩＭ１が配置され、第２の領域ＡＲ２に第２の画像ＩＭ２が配置された一覧画像を、虚像ＶＩとして視認することができる。また、第２の画像ＩＭ２には、太枠ＢＣを用いた装飾が付加されている。このため、使用者は、第１の画像と、第２の画像とを容易に識別することができる。

なお、動画像に対して図５の配置処理を適用する場合、上記ステップＳ１０８〜Ｓ１１８を繰り返し実行する。また、動画像を圧縮する規格が使用される場合は、ステップＳ１０８において、原画像やフレーム画像から変化した部分を表す差分画像（フレーム間差分）が送信されることがある。この場合、生成部１４２は、ステップＳ１１０とＳ１１２との間で、前回のフレーム画像と、取得したフレーム間差分とを用いてフレーム画像を合成する処理を行えばよい。

図７は、一覧画像におけるポインター画像の変化を説明するための説明図である。図７（Ａ）は、第１の画像ＩＭ１に重畳されるポインター画像ＰＯ１を表している。図の例では、ポインター画像ＰＯ１は二重丸を表す図形である。図７（Ｂ）は、第２の画像ＩＭ２に重畳されるポインター画像ＰＯ２を表している。図の例では、ポインター画像ＰＯ２は円形に笑顔の描かれた図形である。上述したように、配置処理（図５）のステップＳ１１８において生成部１４２は、一覧画像をＯＳ１５０経由で画像処理部１６０へ送信する。この際、ＯＳ１５０は、入力情報取得部１１０から取得した使用者の操作に応じて、一覧画像に対してポインター画像を重畳して描画する。生成部１４２は、ＯＳ１５０に対して、一覧画像の第１の画像ＩＭ１に重畳して描画されるポインター画像と、第２の画像ＩＭ２に重畳して描画されるポインター画像とを異なる画像とするように指示する。

この結果、図７（Ａ）、（Ｂ）に示すように、画像表示部は、一覧画像の第１の画像ＩＭ１に重畳されるポインター画像ＰＯ１と、第２の画像ＩＭ２に重畳されるポインター画像ＰＯ２とを、異なる虚像ＶＩとして使用者に視認させることができる。このようにすれば、ヘッドマウントディスプレイ１００の使用者は、一覧画像において自身が操作しているのが、第１の画像ＩＭ１が表すスマートフォン３００（外部装置）であるか、第２の画像ＩＭ２が表すヘッドマウントディスプレイ１００（頭部装着型表示装置）であるかを識別しやすくなる。

なお、生成部１４２は、図７で説明した指示に変えて、または、図７で説明した指示と共に、ポインター画像ＰＯ１とＰＯ２とのうちの少なくとも一方の形状を変更させる旨の指示をＯＳ１５０へ送信することで、一覧画像の第１の画像ＩＭ１に重畳して描画されるポインター画像ＰＯ１と、第２の画像ＩＭ２に重畳して描画されるポインター画像ＰＯ２と、を異なる画像とさせてもよい。また、生成部１４２は、上述した「形状の変更」に代えて、透過率の変更、色変換処理の実施、大きさの変更、文字図形記号等の装飾の付加、等を指示してもよい。このようにすれば、ヘッドマウントディスプレイ１００の使用者は、一覧画像に表示されるポインターＰＯ１、２を識別しやすくなる。

以上のように、第１実施形態の配置処理によれば、画像表示部２０は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）に接続されているスマートフォン３００（外部装置）の表示画像である第１の画像と、ヘッドマウントディスプレイ１００が有する画像である第２の画像とが含まれる一覧画像（図６）を表す虚像ＶＩを形成し、使用者に視認させることができる。このため、ヘッドマウントディスプレイ１００の表示画像とスマートフォン３００の表示画像との両方を使用者に視認可能とするヘッドマウントディスプレイ１００を提供することができる。

さらに、第１実施形態の配置処理によれば、生成部１４２は、領域情報ＡＩ（図３）に基づいて、第１の領域ＡＲ１に対してスマートフォン３００（外部装置）から取得された第１の画像を配置し、第２の領域ＡＲ２に対してヘッドマウントディスプレイ１００（頭部装着型表示装置）の第２の画像を配置することによって、簡便に、一覧画像を生成することができる。

さらに、第１実施形態の配置処理によれば、生成部１４２は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）が有する画像として、ヘッドマウントディスプレイ１００の表示画面に現在表示されているフレーム画像（表示画像）を取得し、取得された表示画像をそのまま第２の画像として使用して、一覧画像を生成することができる。このため、生成部における配置処理の処理内容を簡潔にすることができる。

Ａ−４．通知処理：
図８は、通知処理の手順を示すシーケンス図である。通知処理は、一覧画像のうちの第１、２の画像に対する操作が行われた場合、スマートフォン３００またはヘッドマウントディスプレイ１００に対して操作内容を通知する処理である。通知処理は、主として通知部１４４により実行される。なお、このとき通知部１４４は「第１の通知部」として機能する。

ステップＳ２００において入力情報取得部１１０は、一覧画像に対する使用者の操作（例えば、クリック、ダブルクリック、ドラッグ、オンフォーカス、タップ、ダブルタップ、フリック等）を検出し、操作の座標（ｘ、ｙ）を取得する。この時、入力情報取得部１１０は「操作取得部」として機能する。

ステップＳ２０２において通知部１４４は、入力情報取得部１１０から座標（ｘ、ｙ）を受信し、以下の手順ｉ、ｉｉを実行する。
（ｉ）受信した座標に基づいて、操作が行われた画像が第１の画像であるか、第２の画像であるかを特定する。
（ｉｉ）受信した座標に基づいて、配置処理（図５）のステップＳ１１４の拡大、縮小前の画像における座標を求める。

図９は、通知処理のステップＳ２０２について説明するための説明図である。図９（Ａ）は、上記手順ｉについて説明するための説明図である。通知処理のステップＳ２０２において通知部１４４は、入力情報取得部１１０から座標ＣＯ１（ｘ１、ｙ１）を受信する。座標ＣＯ１は、一覧画像の左上端部の座標を（０、０）とした場合の、ｘ方向の変化量と、ｙ方向の変化量とを表す数値である。通知部１４４は、配置処理（図５）のステップＳ１１６における処理内容に基づき、座標ＣＯ１（ｘ１、ｙ１）が第１の画像ＩＭ１上に位置するか、第２の画像ＩＭ２上に位置するかを特定する。図９（Ａ）の例では、座標ＣＯ１（ｘ１、ｙ１）は、第１の画像ＩＭ１、すなわち、スマートフォン３００の表示画像上に位置している。

図９（Ｂ）は、上記手順ｉｉについて説明するための説明図である。通知部１４４は、配置処理（図５）のステップＳ１１４で用いた拡大、縮小率を用いて、一覧画像に対して、ステップＳ１１４で行った変換とは逆の変換を施す。すなわち、ステップＳ１１４で縮小した場合は一覧画像を拡大し、ステップＳ１１４で拡大した場合は一覧画像を縮小する。その後、通知部１４４は、図９（Ａ）で特定された画像（すなわち、第１の画像ＩＭ１または第２の画像ＩＭ２）の左上端部の座標を（０、０）とした場合の、座標ＣＯ１（ｘ１、ｙ１）と同じ位置に相当する座標ＣＯ２（ｘ２、ｙ２）を求める。

ステップＳ２０４において通知部１４４は、ステップＳ２０２で特定された画像が第２の画像、すなわち、ヘッドマウントディスプレイ１００が有する画像（表示画像）であるか判定する。第２の画像である場合、通知部１４４は、ＯＳ１５０に対して、座標ＣＯ２（ｘ２、ｙ２）と、操作内容（例えば、クリック、ダブルクリック、ドラッグ、オンフォーカス、タップ、ダブルタップ、フリック等）を送信する。ＯＳ１５０では、受信した座標と操作内容に応じて、アプリケーションの起動等の処理が行われる。

ステップＳ２０６において通知部１４４は、ステップＳ２０２で特定された画像が第１の画像、すなわち、スマートフォン３００の表示画像であるか判定する。第１の画像である場合、通知部１４４は、スマートフォン３００に対して座標ＣＯ２（ｘ２、ｙ２）と、操作内容を送信する。スマートフォン３００では、受信した座標と操作内容に応じて、アプリケーションの起動等の処理が行われる（ステップＳ２０８）。

以上のように、第１実施形態の通知処理によれば、通知部１４４（第１の通知部）は、一覧画像の第２の画像ＩＭ２（図９）に対する使用者の操作をＯＳ１５０に通知するだけでなく、第１の画像ＩＭ１（図９）に対する使用者の操作をスマートフォン３００（外部装置）に対して通知することができる。このため、使用者は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の入力インターフェイスを介してヘッドマウントディスプレイ１００を操作するだけでなく、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の入力インターフェイスを介してスマートフォン３００をも遠隔操作することができる。この結果、利用者は、例えば、ヘッドマウントディスプレイ１００に接続されている外部装置（本実施形態ではスマートフォン３００）をカバンやポケットに入れたまま、当該外部装置を操作することが可能となり、ヘッドマウントディスプレイ１００におけるユーザビリティーを向上させることができる。

Ｂ．第２実施形態：
本発明の第２実施形態では、「頭部装着型表示装置が有する画像」として、アイコン画像から生成された第２の画像を用いる構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

Ｂ−１．画像表示システムの構成：
第２実施形態における画像表示システムの概略構成は、図１に示す第１実施形態と同様である。

Ｂ−２．頭部装着型表示装置の構成：
図１０は、第２実施形態におけるヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点である。制御部１０ａは、生成部１４２に代えて生成部１４２ａを備え、通知部１４４に代えて通知部１４４ａを備え、記憶部１２０に代えて記憶部１２０ａを備える。

生成部１４２ａは、配置処理の処理内容が図５で説明した第１実施形態と異なる。通知部１４４ａは、通知処理の処理内容が図８で説明した第１実施形態と異なる。記憶部１２０ａは、領域情報記憶部１２２に加えて、さらにフレーム情報１２４を備える。フレーム情報１２４には、少なくとも１つのフレームが記憶されている。フレーム情報１２４に記憶されているフレームは、第２実施形態の配置処理（図１２）において、第２の画像（すなわち、ヘッドマウントディスプレイ１００ａが有するアイコン画像の配置を変更して生成される画像）を生成する際に、アイコン画像を配置するための枠として使用される。

本実施形態において、「アイコン画像」とは、プログラムやデバイスの内容を図、絵、文字、記号等を用いて分かり易く表現した画像を意味する。本実施形態の「アイコン画像」は、ヘッドマウントディスプレイ１００ａにインストールされているアプリケーションの起動用の画像を意味する。なお、「アイコン画像」には、このほか、ヘッドマウントディスプレイ１００ａにインストールされているアプリケーション（いわゆるウィジェットやガジェット）によって描画されている画像や、ヘッドマウントディスプレイ１００ａに記憶されているデーター（各種のファイル）の起動用の画像、ヘッドマウントディスプレイ１００ａに含まれるデバイスの存在を表す画像等を含んでもよい。を含んでもよい。アイコン画像は、換言すれば、アプリケーション（プログラム）やデーターやデバイスを抽象化したシンボルとも言える。

図１１は、フレーム情報１２４に記憶されているフレームの一例を示す説明図である。図１１に示すフレームＦＭ１は、長方形状の領域（以降、「フレームＦＭ１の領域」とも呼ぶ。）の内側に、画像リストＬＴ１と、画像リストＬＴ２と、これらを区切るための区切り線ＢＡとが配置された構成を有する。フレームＦＭ１の領域は、領域情報ＡＩの第２の領域ＡＲ２と同じ縦横比を有することが好ましい。

画像リストＬＴ１、ＬＴ２は、第２実施形態の配置処理において、アイコン画像が実際に配置される領域である。図３の例では、画像リストＬＴ１、ＬＴ２は、フレームＦＭ１の領域の下端の全体にわたって２段に配置されている。なお、画像リストＬＴ１、ＬＴ２は、フレームＦＭ１の任意の場所に配置することができる。例えば、画像リストＬＴ１、ＬＴ２は、フレームＦＭ１の領域の下端の一部に配置されてもよく、フレームＦＭ１の領域の上端の一部または全体に配置されてもよく、フレームＦＭ１の領域の右端の一部または全体に配置されてもよく、フレームＦＭ１の領域の左端の一部または全体に配置されてもよく、フレームＦＭ１の全ての領域に配置されてもよい。

画像リストＬＴ１は、複数（図の例では５個）長方形状の画像枠Ｂ１〜Ｂ５を含んでいる。画像枠Ｂ１〜Ｂ５は、画像リストＬＴ１内において、長方形状の長辺が互いに隣接するように配置されている。画像リストＬＴ２は、複数の長方形状の画像枠Ｂ６〜Ｂ１０を含んでいる。画像枠Ｂ６〜Ｂ１０は、画像リストＬＴ２内において、長方形状の長辺が互いに隣接するように配置されている。画像枠Ｂ１〜Ｂ１０は、第２実施形態の配置処理（図１２）において、ヘッドマウントディスプレイ１００ａが有するアイコン画像を配置するための領域である。

Ｂ−３．配置処理：
図１２は、第２実施形態における配置処理の手順を示すシーケンス図である。図５に示した第１実施形態との違いは、ステップＳ１１２に代えてステップＳ３００とステップＳ３０２とを備える点のみであり、他の処理内容は第１実施形態と同じである。

ステップＳ３００において生成部１４２ａは、ヘッドマウントディスプレイ１００ａが有するアイコン画像を収集する。具体的には、生成部１４２ａは、記憶部１２０の所定の領域に記憶されている複数のアイコン画像のうち、ヘッドマウントディスプレイ１００ａの待ち受け画面に表示されるべき複数のアイコン画像を収集する。アイコン画像の一例としては、例えば、カメラやスピーカー等の各種デバイス、ＳＮＳサービス、メールサービス等の各種サービスの起動用アイコンがある。

ステップＳ３０２において生成部１４２ａは、ステップＳ３００で収集した複数のアイコン画像の配置を変更することで、第２の画像を生成する。具体的には、生成部１４２ａは、フレーム情報１２４に記憶されているフレームＦＭ１（図１１）を取得する。生成部１４２ａは、フレームＦＭ１の画像リストＬＴ１の画像枠Ｂ１〜Ｂ５と、画像リストＬＴ２の画像枠Ｂ６〜Ｂ１０に対して、取得した複数のアイコン画像を順次配置する。

なお、生成部１４２ａは、ステップＳ３００とＳ３０２との間に、以下のような処理ｂ１〜ｂを行ってもよい。

（ｂ１）アイコン画像のフィルタリング処理。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いて重複したアイコン画像を求めて、重複したアイコン画像の一方を破棄してもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いてアイコン画像が表すアプリケーションを特定し、所定のアプリケーションに関するアイコン画像を破棄してもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像に付随する情報を参照して、アイコン画像が表すアプリケーションの使用頻度を求めて、使用頻度が低いアイコン画像を破棄してもよい。

（ｂ２）アイコン画像のグルーピングおよびソート処理。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いてアイコン画像の種類（アプリケーション起動用の画像か、アプリケーションによって描画されている画像か、データー起動用の画像か）を特定し、特定したアイコン画像の種類に応じてアイコン画像をグルーピングまたはソートしてもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いてアイコン画像が表すアプリケーションの種類や名前を特定し、特定したアプリケーションの種類や名前に応じてアイコン画像をグルーピングまたはソートしてもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像に付随する情報を参照して、アイコン画像が表すアプリケーションの使用頻度を求めて、使用頻度に応じてアイコン画像をグルーピングまたはソートしてもよい。

（ｂ３）アイコン画像の加工処理。
・例えば、生成部１４２ａは、アイコン画像の形状、透過率、大きさを任意に変更してもよい。
・例えば、生成部１４２ａは、アイコン画像に対して色変換処理を施してもよい。この場合、画像表示部２０に対して、使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得するカメラを備える構成とする。そして、生成部１４２ａは、アイコン画像に対して外景画像の補色を強める色変換処理を施す。このようにすれば、生成部１４２ａは、アイコン画像を外景と比して目立たせることができる。
・例えば、生成部１４２ａは、アイコン画像に文字、図形、記号等の装飾を付加する。具体的には、生成部１４２ａは、アイコン画像に対して、アイコン画像を説明するための文字を追加することができる。このようにすれば、虚像として表示されている第２の画像を視認した際に、使用者は、第２の画像に含まれる各アイコン画像が何であるかを識別しやすくなる。また、生成部１４２ａは、アイコン画像に対して、アイコン画像の周囲を縁取る枠を追加することもできる。このようにすれば、生成部１４２ａは、アイコン画像を外景と比して目立たせることができる。

図１３は、ヘッドマウントディスプレイ１００ａにおいて、一覧画像が表示されている様子を示す説明図である。図１２に示すように、第２実施形態のヘッドマウントディスプレイ１００ａの使用者は、視野ＶＲにおいて、領域情報ＡＩ（図３）の第１の領域ＡＲ１に第１の画像ＩＭ１が配置されると共に、第２の領域ＡＲ２には、ヘッドマウントディスプレイ１００ａのアイコン画像を用いて生成された第２の画像ＩＭ２が配置された一覧画像を、虚像ＶＩとして視認することができる。

なお、動画像に対して図１２の配置処理を適用する場合、第１実施形態と同様に、上記ステップＳ１０８〜Ｓ１１８を繰り返し実行する。また、一覧画像におけるポインター画像の変化についても、第１実施形態と同様である。

以上のように、第２実施形態の配置処理によれば、生成部１４２ａは、ヘッドマウントディスプレイ１００（頭部装着型表示装置）が有するアイコン画像の配置を変更することで、フレームＦＭ１に従って縦横比を自在に変化させた第２の画像ＩＭ２を生成し、生成した第２の画像ＩＭ２を用いて一覧画像を生成することができる。この結果、生成部１４２ａは、領域情報ＡＩ（図３）の第２の領域ＡＲ２の大きさに応じて、最適な第２の画像を生成し、画像表示部２０に表示させることができる。

Ｂ−４．通知処理：
第２実施形態における通知処理は、図８で説明した第１実施形態とほぼ同様である。ただし、ステップＳ２０２の手順ｉにおいて特定された画像が第２の画像である場合、上記手順ｉｉは以下のｉｉｉに読み替える。
（ｉｉｉ）通知部１４４ａは、配置処理（図１２）のステップＳ３０２における処理内容（すなわち、アイコン画像の配置）に基づいて、入力情報取得部１１０から取得された座標ＣＯ１（ｘ１、ｙ１）に相当する座標ＣＯ２（ｘ２、ｙ２）を求める。

Ｃ．第３実施形態：
本発明の第３実施形態では、一のヘッドマウントディスプレイに対して、外部装置として複数の他のヘッドマウントディスプレイが接続されると共に、一のヘッドマウントディスプレイにおけるポインターの表示を外部装置と共有する構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

Ｃ−１．画像表示システムの構成：
図１４は、第３実施形態における画像表示システム１０００ｂの概略構成を示す説明図である。図１に示した第１実施形態との違いは、ヘッドマウントディスプレイ１００に代えてヘッドマウントディスプレイ１００ｂを備える点と、スマートフォン３００に代えてヘッドマウントディスプレイ１００ｘおよびヘッドマウントディスプレイ１００ｙを備える点である。

ヘッドマウントディスプレイ１００ｂと、１００ｘとは、無線通信または有線通信可能に接続されている。同様に、ヘッドマウントディスプレイ１００ｂと、１００ｙとは、無線通信または有線通信可能に接続されている。ヘッドマウントディスプレイ１００ｘと、１００ｙとの構成は、ヘッドマウントディスプレイ１００ｂと同様であるため、説明を省略する。

Ｃ−２．頭部装着型表示装置の構成：
図１５は、第３実施形態におけるヘッドマウントディスプレイ１００ｂの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ｂを備える点と、画像表示部２０に代えて画像表示部２０ｂを備える点である。

制御部１０ｂは、生成部１４２に代えて生成部１４２ｂを備え、通知部１４４に代えて通知部１４４ｂを備えている。生成部１４２ｂは、配置処理の処理内容が図５で説明した第１実施形態と異なる。通知部１４４ｂは、通知処理の処理内容が図８で説明した第１実施形態と異なる。また、通知部１４４ｂは、後述のポインター通知処理を実行する。

画像表示部２０ｂは、第１実施形態で説明した各部に加えてさらに、視線検出部６２を備えている。視線検出部６２は、使用者が画像表示部２０ｂを装着した際の右側の目じりに対応する位置に配置されている（図１４）。視線検出部６２は、可視光カメラを備えている。視線検出部６２は、可視光カメラを用いてヘッドマウントディスプレイ１００ｂを装着した状態における使用者の左右の眼を撮像し、得られた眼の画像を解析することによって使用者の視線の方向を検出する。なお、視線検出部６２は、可視光カメラに代えて赤外線センサーを用いて、使用者の視線の方向を検出してもよい。

図１６は、第３実施形態において、領域情報記憶部１２２に記憶されている領域情報の一例を示す説明図である。図３に示した第１実施形態との違いは、長方形状の領域ＡＩｂが、第１の領域ＡＲ１と、第２の領域ＡＲ２とに加えて、第３の領域ＡＲ３を備える点、および、各領域の配置である。第１の領域ＡＲ１は、配置処理（図１７）においてヘッドマウントディスプレイ１００ｘの表示画像が配置される領域である。第２の領域ＡＲ２は、配置処理においてヘッドマウントディスプレイ１００ｂの表示画像が配置される領域である。第３の領域ＡＲ３は、配置処理においてヘッドマウントディスプレイ１００ｙの表示画像が配置される領域である。

第２の領域ＡＲ１は、領域ＡＩｂの全面に亘って配置されている。第１の領域ＡＲ２と、第３の領域ＡＲ３とは、領域ＡＩｂを水平方向に等分した左右それぞれの略中央部に配置されている。第１、３の領域ＡＲ１、ＡＲ３の鉛直方向における長さは、第２の領域ＡＲ２の鉛直方向における長さよりも短い。第１、３の領域ＡＲ１、ＡＲ３の水平方向における長さは、第２の領域ＡＲ２の水平方向における長さを２で除したものよりも短い。また、第１、３の領域ＡＲ１、ＡＲ３は、第２の領域ＡＲ２の上にレイヤーとして重畳されている。

Ｃ−３．配置処理：
図１７は、第３実施形態における配置処理の手順を示すシーケンス図である。図５に示した第１実施形態との違いは、ステップＳ１０２〜Ｓ１１６に代えて、ステップＳ４０２〜Ｓ４２０を備える点である。

ステップＳ４０２において、ヘッドマウントディスプレイ１００ｂの無線通信部１３２は、ヘッドマウントディスプレイ１００ｘが接続されたことを検出し、ヘッドマウントディスプレイ１００ｙが接続されたことを検出する。詳細は図５のステップＳ１０２と同様である。ステップＳ４０４においてヘッドマウントディスプレイ１００ｂの生成部１４２ｂは、接続されているヘッドマウントディスプレイ１００ｘの認証を実施し、ヘッドマウントディスプレイ１００ｙの認証を実施する。詳細は図５のステップＳ１０４と同様である。認証成功後、ステップＳ４０６において生成部１４２ｂは、ヘッドマウントディスプレイ１００ｂと１００ｘとの間にコネクションを確立し、ヘッドマウントディスプレイ１００ｂと１００ｙとの間にコネクションを確立する。

ステップＳ４０８においてヘッドマウントディスプレイ１００ｘは、ヘッドマウントディスプレイ１００ｘの表示画像を取得する。詳細は図５のステップＳ１０８と同様である。ステップＳ４０８において取得されたフレーム画像は、外部装置としてのヘッドマウントディスプレイ１００ｘの表示画像であり、以降「第１の画像」とも呼ぶ。ステップＳ４１０においてヘッドマウントディスプレイ１００ｘは、取得した第１の画像をヘッドマウントディスプレイ１００ｂへ送信する。詳細は図５のステップＳ１１０と同様である。

ステップＳ４１２においてヘッドマウントディスプレイ１００ｙは、ヘッドマウントディスプレイ１００ｙの表示画像を取得する。詳細は図５のステップＳ１０８と同様である。ステップＳ４１２において取得されたフレーム画像は、外部装置としてのヘッドマウントディスプレイ１００ｙの表示画像であり、以降「第３の画像」とも呼ぶ。ステップＳ４１４においてヘッドマウントディスプレイ１００ｙは、取得した第３の画像をヘッドマウントディスプレイ１００ｂへ送信する。詳細は図５のステップＳ１１０と同様である。

ステップＳ４１６においてヘッドマウントディスプレイ１００ｂの生成部１４２ｂは、ヘッドマウントディスプレイ１００ｂの表示画面に現在表示されている画像を取得する。詳細は図５のステップＳ１１２と同様である。

ステップＳ４１８において生成部１４２ｂは、第１の画像と、第２の画像と、第３の画像と、を拡大縮小する。具体的には、生成部１４２ｂは、ステップＳ４１０で取得した第１の画像を、領域情報ＡＩｂ（図１６）の第１の領域ＡＲ１の大きさに合うように、拡大または縮小する。同様に、生成部１４２ｂは、ステップＳ４１６で取得した第２の画像を、領域情報ＡＩｂの第２の領域ＡＲ２の大きさに合うように拡大または縮小し、ステップＳ４１４で取得した第３の画像を、領域情報ＡＩｂの第３の領域ＡＲ３の大きさに合うように拡大または縮小する。なお、ステップＳ４１８において生成部１４２ｂは、拡大縮小に代えて、取得した第１〜３の画像ＩＭ１〜３の一部を、第１〜３の領域ＡＲ１〜３に合う大きさに切り出してもよい。

ステップＳ４２０において生成部１４２ｂは、第１の画像を領域情報ＡＩｂの第１の領域ＡＲ１に配置し、第２の画像を領域情報ＡＩｂの第２の領域ＡＲ２に配置し、第３の画像を領域情報ＡＩｂの第３の領域ＡＲ３に配置して、一覧画像を生成する。詳細は図５のステップＳ１１６と同様である。

図１８は、ヘッドマウントディスプレイ１００ｂにおいて、一覧画像が表示されている様子を示す説明図である。図１８では、図示の便宜上、使用者が左右の光学像表示部２６、２８を透過して視認する外景ＳＣ（図４）については、図示を省略している。図示のように、ヘッドマウントディスプレイ１００ｂの使用者は、視野ＶＲにおいて、領域情報ＡＩｂ（図１６）の第１の領域ＡＲ１に第１の画像ＩＭ１が配置され、第２の領域ＡＲ２に第２の画像ＩＭ２が配置され、第３の領域ＡＲ３に第３の画像ＩＭ３が配置された一覧画像を、虚像ＶＩとして視認することができる。なお、図の例では、第１の画像ＩＭ１は、ヘッドマウントディスプレイ１００ｂのＯＳの待ち受け画面の画像、第２の画像ＩＭ２は、ヘッドマウントディスプレイ１００ｘのＯＳの待ち受け画面の画像、第３の画像ＩＭ３は、ヘッドマウントディスプレイ１００ｙのカメラによって撮影された画像である。

なお、第３実施形態の配置処理（図１７）においても、第１実施形態と同様に、以下のような変形が可能である。各変形の詳細は、第１実施形態で説明した通りである。
・第１〜３の画像ＩＭ１〜３に異なる装飾（枠等）を付与する。
・動画像に対して第３実施形態の配置処理を適用する。
・第１〜３の画像ＩＭ１〜３に重畳されるポインター画像を、それぞれ異なる画像とする。

以上のように、第３実施形態の配置処理によれば、外部装置として複数の装置が接続された場合であっても、第１実施形態の配置処理と同様の効果を得ることができる。

Ｃ−４．通知処理：
第３実施形態において、通知部１４４ｂは、ポインター通知処理と、通知処理と、を並列して実行する。ここで、ポインター通知処理は、一のヘッドマウントディスプレイにおけるポインターの表示を、外部装置と共有するための処理である。通知処理は、一覧画像に対する操作が行われた場合に、画像の取得元である装置に対して操作内容を通知する処理である。

Ｃ−４−１．ポインター通知処理：
図１９は、第３実施形態におけるポインター通知処理の手順を示すシーケンス図である。ポインター通知処理は、主として通知部１４４ｂにより実行される。なお、このとき通知部１４４ｂは「第２の通知部」として機能する。本実施形態では、一のヘッドマウントディスプレイとしてヘッドマウントディスプレイ１００ｂを、外部装置としてヘッドマウントディスプレイ１００ｘ、１００ｙを例示する。

ステップＳ５００において、ヘッドマウントディスプレイ１００ｂの入力情報取得部１１０は、ヘッドマウントディスプレイ１００ｂの入力デバイスを介して与えられる指示体の動きを検出し、入力デバイス上における指示体の座標（ｘ、ｙ）を取得する。ここで「指示体」とは、例えば、使用者の指やタッチペンである。また、入力デバイスとは、例えば、タッチパッド、十字キー、フットスイッチ等である。この時、入力情報取得部１１０は「位置取得部」として機能する。ステップＳ５０２において、ヘッドマウントディスプレイ１００ｂの通知部１４４ｂは、入力情報取得部１１０から指示体の座標を受信し、受信した指示体の座標をＯＳ１５０へ送信する。ＯＳ１５０では、一覧画像のうち、受信した指示体の座標の位置にポインター画像を重畳させて描画する描画処理が実行される。

図２０は、ヘッドマウントディスプレイ１００ｂにおいて、一覧画像にポインター画像が重畳されて表示されている様子を示す説明図である。図２０においても、図１８と同様に、外景ＳＣ（図４）については図示を省略している。図示のように、ヘッドマウントディスプレイ１００ｂの使用者は、視野ＶＲにおいて、第１〜３の画像ＩＭ１〜３に対して、自身の指の動きに対応した位置にポインター画像ＰＯ１が重畳された画像を、虚像ＶＩとして視認することができる。図の例では、ポインター画像ＰＯ１は二重丸を表す図形である。

図１９のステップＳ５０４において、ヘッドマウントディスプレイ１００ｂの通知部１４４ｂは、ステップＳ５０２で取得した指示体の座標が第１の画像上に位置する場合に、第１の画像の取得元である外部装置、すなわち、ヘッドマウントディスプレイ１００ｘに対して、指示体の座標を送信する。なお、指示体の座標が第１の画像上に位置するか否かの判定方法は、図８のステップＳ２０２の手順ｉと同様である。また、図１９のステップＳ５０４において、通知部１４４ｂは、図８のステップＳ２０２の手順ｉｉに準じた変換後の座標ＣＯ２（ｘ２、ｙ２）を送信する。ステップＳ５０６において、ヘッドマウントディスプレイ１００ｘのＯＳは、ステップＳ５０４で受信した指示体の座標の位置にポインター画像を重畳させて描画する描画処理を実行する。

図２１は、外部装置としてのヘッドマウントディスプレイ１００ｘにおいて、一覧画像にポインター画像が重畳されて表示されている様子を示す説明図である。図２１においても、図１８と同様に、外景ＳＣ（図４）については図示を省略している。図示のように、ヘッドマウントディスプレイ１００ｘの使用者は、視野ＶＲにおいて、ヘッドマウントディスプレイ１００ｘの表示画面に現在表示されている画像ＩＭｘに対して、ヘッドマウントディスプレイ１００ｂの使用者の指の動きに対応した位置にポインター画像ＰＯ２が重畳された画像を、虚像ＶＩとして視認することができる。図の例では、ポインター画像ＰＯ２は円形に笑顔の描かれた図形である。

図１９のステップＳ５０８において、ヘッドマウントディスプレイ１００ｂの通知部１４４ｂは、ステップＳ５０２で取得した指示体の座標が第３の画像上に位置する場合に、第３の画像の取得元である外部装置、すなわち、ヘッドマウントディスプレイ１００ｙに対して、指示体の座標を送信する。詳細はステップＳ５０４と同様である。ステップＳ５１０において、ヘッドマウントディスプレイ１００ｙのＯＳは、ステップＳ５０８で受信した指示体の座標の位置にポインター画像を重畳させて描画する描画処理を実行する。この結果、図２１と同様に、ヘッドマウントディスプレイ１００ｙの使用者は、ヘッドマウントディスプレイ１００ｙの表示画面に現在表示されている画像に対して、ヘッドマウントディスプレイ１００ｂの使用者の指の動きに対応した位置にポインター画像が重畳された画像を虚像として視認することができる。

なお、ポインター通知処理では「指示体の動き」に代えて、または、「指示体の動き」と共に、使用者の「視線の動き」に基づくポインターを表示させてもよい。「視線の動き」を用いる場合、ステップＳ５００においてヘッドマウントディスプレイ１００ｂの視線検出部６２は、使用者の視線の動きを取得し、通知部１４４ｂへ送信する。それ以降のステップにおいては、「指示体の動き」と記載した部分を「使用者の視線の動き」に読み替えればよい。なお、指示体の動きと視線の動きとの両方に基づくポインターを表示させる場合、指示体の動きと視線の動きの両方を検出した場合に、どちらを優先させるかが予め設定されていることが好ましい。このようにすれば、ヘッドマウントディスプレイ１００ｂ（頭部装着型表示装置）のＯＳ１５０は、ヘッドマウントディスプレイ１００ｂの入力デバイスにおける指示体の動きと、使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて、ポインター画像ＰＯ１の位置を決定することができる。

以上のように、第３実施形態のポインター通知処理によれば、通知部１４４ｂ（第２の通知部）は、ポインター画像ＰＯ１が一覧画像のうちの第１の画像ＩＭ１に重畳されている場合に、ヘッドマウントディスプレイ１００ｘ（外部装置）の表示画像ＩＭｘにおいて、ポインター画像ＰＯ１が重畳されている位置に対応する位置に外部装置用のポインター画像ＰＯ２を重畳させるための座標ＣＯ２（位置情報）を、ヘッドマウントディスプレイ１００ｘに対して通知する。このため、ヘッドマウントディスプレイ１００ｘは、取得した座標ＣＯ２に基づいて外部装置用のポインター画像ＰＯ２を表示することができる。この結果、ヘッドマウントディスプレイ１００ｘの使用者は、ヘッドマウントディスプレイ１００ｂ（頭部装着型表示装置）の第１の画像ＩＭ１上におけるポインター画像ＰＯ１を、ヘッドマウントディスプレイ１００ｘにおいて視認することが可能となる（図２１）。換言すれば、ヘッドマウントディスプレイ１００ｂにおけるポインターの表示を、外部装置としてのヘッドマウントディスプレイ１００ｘと共有することができる。

Ｃ−４−２．通知処理：
図２２は、第３実施形態における通知処理の手順を示すシーケンス図である。図８に示した第１実施形態との違いは、ステップＳ２０６、Ｓ２０８に代えて、ステップＳ６００〜Ｓ６０６を備える点である。なお、このとき通知部１４４ｂは「第１の通知部」として機能する。

ステップＳ６００において通知部１４４ｂは、ステップＳ２０２で特定された画像が第１の画像、すなわち、ヘッドマウントディスプレイ１００ｘの表示画像であるか判定する。第１の画像である場合、通知部１４４ｂは、ヘッドマウントディスプレイ１００ｘに対して、ステップＳ２０２の手順ｉｉに準じた変換後の座標ＣＯ２（ｘ２、ｙ２）と、操作内容とを送信する。ヘッドマウントディスプレイ１００ｘでは、受信した座標と操作内容に応じて、アプリケーションの起動や、起動中のアプリケーションに対する操作等の処理が行われる（ステップＳ６０２）。

ステップＳ６０４において通知部１４４ｂは、ステップＳ２０２で特定された画像が第３の画像、すなわち、ヘッドマウントディスプレイ１００ｙの表示画像であるか判定する。第３の画像である場合、通知部１４４ｂは、ヘッドマウントディスプレイ１００ｙに対して、ステップＳ２０２の手順ｉｉに準じた変換後の座標ＣＯ２（ｘ２、ｙ２）と、操作内容とを送信する。ヘッドマウントディスプレイ１００ｙでは、受信した座標と操作内容に応じて、アプリケーションの起動や、起動中のアプリケーションに対する操作等の処理が行われる（ステップＳ６０６）。

図２３は、第３実施形態における通知処理のステップＳ６００〜Ｓ６０６について説明するための説明図である。図２３は、ヘッドマウントディスプレイ１００ｂにおいて、一覧画像が表示されている様子を示している。

例えば、ヘッドマウントディスプレイ１００ｂの使用者が、画像ＩＭ１として表示されている文書アプリケーション上において、何らかの操作（例えば、文字入力や文字削除等の編集操作、文書の承認操作、保存操作等）を実施する。このとき、通知処理（図２２）のステップＳ６００が実行されることにより、操作の座標と操作内容とがヘッドマウントディスプレイ１００ｘに送信される。そして、通知処理のステップＳ６０２が実行されることにより、ヘッドマウントディスプレイ１００ｘの文書アプリケーション上においても、ヘッドマウントディスプレイ１００ｂの利用者の操作内容が反映される。

また、例えば、ヘッドマウントディスプレイ１００ｂの使用者が、画像ＩＭ３として表示されているカメラアプリケーション上において、何らかの操作（例えば、ズームイン／アウト操作、シャッター押下操作、設定操作等）を実施する。この場合も同様に、通知処理のステップＳ６０４、Ｓ６０６が実行されることにより、ヘッドマウントディスプレイ１００ｙのカメラアプリケーション上において、ヘッドマウントディスプレイ１００ｂの利用者の操作内容が反映される。

以上のように、第３実施形態の通知処理によれば、外部装置として複数の装置が接続された場合であっても、第１実施形態の通知処理と同様の効果を得ることができる。

Ｄ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、画像表示システムを構成する各装置の追加・削除・変換等を行うことができる。また、画像表示システムを構成する装置のネットワーク構成の変更を行うことができる。

例えば、ヘッドマウントディスプレイには、複数の外部装置（例えば、スマートフォンとＰＤＡ）が接続されてもよい。この場合、第１、２実施形態と同様にして、生成部は、第１の外部装置の表示画像と、第２の外部装置の表示画像と、第ｍ（ｍは３以上の整数）の外部装置の表示画像と、の全てが並べて配置された一覧画像を生成してもよい。このようにすれば、画像表示部は、ヘッドマウントディスプレイが有する画像と、ヘッドマウントディスプレイに接続されている複数の外部装置の表示画像と、が並べて配置された一覧画像を虚像として使用者に視認させることができる。このため、ヘッドマウントディスプレイにおける使用者の利便性をより一層向上させることができる。

例えば、上記実施形態におけるスマートフォンの代わりに、インターネットＩＮＴを介したクラウドサーバーが使用されてもよい。また、ヘッドマウントディスプレイに複数の外部装置が接続される場合において、外部装置のうちの少なくとも１つとして、インターネットＩＮＴを介したクラウドサーバーが使用されてもよい。この場合であっても、生成部は、上記第１、２実施形態と同様の処理を行うことにより、上記第１実施形態および第２実施形態と同様の効果を得ることができる。

例えば、上記実施形態のヘッドマウントディスプレイの生成部の機能は、ヘッドマウントディスプレイとは異なる情報処理装置によって提供されてもよい。情報処理装置として、例えば、インターネットＩＮＴを介したクラウドサーバーが使用されてもよい。この場合、情報処理装置は、ヘッドマウントディスプレイ（頭部装着型表示装置）に接続されている外部装置の表示画像である第１の画像と、ヘッドマウントディスプレイが有する第２の画像と、を取得する取得部と、取得された第１の画像と、取得された第２の画像と、を含む一覧画像を生成する一覧画像生成部と、生成された一覧画像をヘッドマウントディスプレイへ送信する一覧画像送信部と、を備える。一覧画像生成部は、上記実施形態で説明したヘッドマウントディスプレイの生成部と同様の処理を行うことで、ヘッドマウントディスプレイへ送信する一覧画像を生成する。

・変形例２：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における制御部と、画像表示部とに対する構成要素の割り振りはあくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。（ｖｉ）制御部からタッチパッドを廃し、画像表示部にタッチパッドを設けた態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図５に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部は、上述した各種の入力デバイス（タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、マイクロホン）のほか、種々の入力デバイス（例えば、操作用スティック、キーボード、マウス等）を備えることができる。また、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

図２４は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図２４（Ａ）の例では、画像表示部２０ｃが、右光学像表示部２６に代えて右光学像表示部２６ｃを備え、左光学像表示部２８に代えて左光学像表示部２８ｃを備えている。右光学像表示部２６ｃおよび左光学像表示部２８ｃは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め上に配置されている。図２４（Ｂ）の例では、画像表示部２０ｄが、右光学像表示部２６に代えて右光学像表示部２６ｄを備え、左光学像表示部２８に代えて左光学像表示部２８ｄを備えている。右光学像表示部２６ｄおよび左光学像表示部２８ｄは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。なお、図２４のような構成とした場合においても、使用者における視認性を向上させつつヘッドマウントディスプレイに適した態様となるように、一覧画像における第１の画像と第２の画像の配置を適宜調整することができる。この場合、上記実施形態に例示した配置の例には限られない。

例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

例えば、生成部、通知部、画像処理部、表示制御部、音声処理部等の各機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

・変形例３：
上記実施形態では、配置処理の一例を示した。しかし、配置処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、生成部は、領域情報を使用せずに一覧画像を生成してもよい。具体的には、ステップＳ１１６において生成部は、領域情報に代えて、予め定められた座標位置に第１の画像と、第２の画像とを配置することで一覧画像を生成してもよい。他の例として、ステップＳ１１６において生成部は、取得した第１の画像および第２の画像の大きさから動的に計算した座標位置に第１の画像と、第２の画像とを配置することで一覧画像を生成してもよい。このようにすれば、領域情報を必要とせずに一覧画像を生成することができる。

例えば、ステップＳ１１４における第１、２の画像の拡大、縮小の処理は省略してもよい。また、例えば、ステップＳ１０４のスマートフォンの認証と、Ｓ１０６のコネクションの確立と、はいずれか一方を省略してもよく、実行順序を入れ替えてもよい。

例えば、上記実施形態で説明した一覧画像は、２次元的に表現された画像を想定した。しかし、画像処理部は、右眼用画像データーと左眼用画像データーとを異なるデーターとすることで、一覧画像を３次元的に表現してもよい。

例えば、生成部は、一覧画像の第１、２の画像に重畳して描画されるポインター画像をそれぞれ異なる画像にするとした。しかし、生成部は、一覧画像の第１の領域に重畳して描画されるポインター画像と、第２の領域に重畳して描画されるポインター画像とを、それぞれ異なる画像とするように、ＯＳに指示してもよい。

例えば、一覧画像の第１の画像に重畳して描画されるポインター画像と、第２の画像に重畳して描画されるポインター画像としては、同一の形状で、色や装飾に変化を持たせた画像を用いてもよい。

例えば、一覧画像の第１の画像に重畳して描画されるポインター画像と、第２の画像に重畳して描画されるポインター画像と、を異なる画像とすることに代えて、他の方法を用いて、使用者が操作している画像を視認可能な構成とすることもできる。具体的には、使用者の操作している一方の画像の透過率を下げ、他方の画像の透過率を上げてもよい。また、使用者の操作している一方の画像に対して、外景と比して画像を強調するような色変換処理を施し、他方の画像に対して、外景と画像を同化させるような色変換処理を施してもよい。また、使用者の操作している一方の画像に装飾を施し、他方の画像は未装飾のままとしてもよい。このように、第１の画像と第２の画像の透過率や、色や、装飾の有無を用いて、使用者が操作している画像を視認可能な構成とすることもできる。

例えば、上記第２実施形態において、生成部は、フレームを使用せずに第２の画像を生成してもよい。具体的には、生成部は、予め定められた座標位置にアイコン画像を配置することで第２の画像を生成してもよい。他の例として、生成部は、取得したアイコン画像の大きさから動的に計算した座標位置にアイコン画像を配置することで第２の画像を生成してもよい。このようにすれば、フレーム情報を必要とせずに第２の画像を生成することができる。

例えば、上記第２実施形態において、生成部は、使用者の視線方向を避けるように、動的に第２の画像を生成してもよい。具体的には、上記ヘッドマウントディスプレイにおいて、使用者の眼を撮像するカメラや赤外線センサー等、使用者の視線方向を検出する構成（「視線方向検出部」とも呼ぶ。）を追加する。生成部は、フレーム備える複数の画像リストのうち、検出された視線方向に遠い画像リストを優先的に選択し、アイコン画像の配置を行うこともできる。このようにすれば、第２の画像において、使用者の視線方向を避けた動的なアイコン画像の配置が可能となる。

・変形例４：
上記実施形態では、通知処理の一例を示した。しかし、通知処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

・変形例５：
上記実施形態（図３）では、領域情報記憶部に記憶されている領域情報の例を示した。しかし、上記領域情報の詳細はあくまで一例であり、種々の変更が可能である。例えば、構成要素の追加、削除、変更を行うことができる。

例えば、領域情報記憶部には、複数の領域情報が記憶されていてもよい。また、ヘッドマウントディスプレイの使用者の好み（設定）、使用者の視線の動き、使用者の頭の動き、周囲の明るさ等、任意の条件によって、一覧画像を生成する際に使用されるフレームが選択されてもよい。

・変形例６：
上記第２実施形態（図１１）では、フレーム情報に記憶されているフレームの例を示した。しかし、上記フレームの詳細はあくまで一例であり、種々の変更が可能である。例えば、構成要素の追加、削除、変更を行うことができる。

例えば、フレーム情報には、複数のフレームが記憶されていてもよい。また、ヘッドマウントディスプレイの使用者の好み（設定）、使用者の視線の動き、使用者の頭の動き、周囲の明るさ等、任意の条件によって、第２の画像を生成する際に使用されるフレームが選択されてもよい。

例えば、フレームは、２つの画像リストＬＴ１、ＬＴ２を有するものとした。しかし、フレームが有する画像リストは１つでもよいし、３つ以上でもよい。また、画像リスト内の画像枠の形状、大きさ、個数は任意に定めることができる。さらに、フレームの領域の大きさ（縦横比）は、領域情報の第２の領域と同じ大きさ（縦横比）でなくともよい。

・変形例７：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
５１…送信部
５２…送信部
５３…受信部
１００、１００ａ、１００ｂ…ヘッドマウントディスプレイ（頭部装着型表示装置）
１００ｘ…ヘッドマウントディスプレイ（外部装置）
１００ｙ…ヘッドマウントディスプレイ（外部装置）
１１０…入力情報取得部（操作取得部）
１２０…記憶部
１２２…領域情報記憶部
１２４…フレーム情報
１３０…電源
１３２…無線通信部（取得部）
１４０…ＣＰＵ
１４２、１４２ａ、１４２ｂ…生成部（取得部、生成部）
１４４、１４４ａ…通知部（第１の通知部）
１４４ｂ…通知部（第１の通知部、第２の通知部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…スマートフォン（外部装置）
１０００、１０００ａ、１０００ｂ…画像表示システム
Ｄａｔａ…画像データー
Ｂ１〜Ｂ１０…画像枠
ＢＣ…太枠
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＡＩ、ＡＩｂ…領域情報
ＶＩ…虚像
ＶＲ…視野
ＦＭ１…フレーム
ＩＭ１…第１の画像
ＩＭ２…第２の画像
ＩＭ３…第３の画像
ＰＯ１…ポインター画像
ＰＯ２…ポインター画像
ＡＲ１…第１の領域
ＡＲ２…第２の領域
ＡＲ３…第３の領域
ＬＴ１…画像リスト
ＬＴ２…画像リスト
ＩＮＴ…インターネット

Claims (15)

1. 使用者が虚像と外景を視認可能な頭部装着型表示装置であって、
   前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と、
   前記生成された一覧画像を表す前記虚像を形成する画像表示部と、
   前記画像表示部を制御する制御部と、
   前記外部装置から前記第１の画像を取得する取得部と、
   を備え、
   前記生成部は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成し、
   前記制御部には、前記外部装置が用いられ、
   前記外部装置は、前記外部装置の入力デバイスに対する操作入力に応じた信号を取得する入力情報取得部を備える、
   頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記生成部は、前記頭部装着型表示装置における現在の表示画像を前記第２の画像とする、頭部装着型表示装置。
3. 請求項１に記載の頭部装着型表示装置であって、
   前記生成部は、前記頭部装着型表示装置が有するアイコン画像の配置を変更することで前記第２の画像を生成する、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、
   前記生成部は、前記第２の画像を生成する際に、さらに、前記アイコン画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施する、頭部装着型表示装置。
5. 請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置であって、
   前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像の大きさを変更し、前記変更後の前記画像を用いて前記一覧画像を生成する、頭部装着型表示装置。
6. 請求項１から請求項５のいずれか一項記載の頭部装着型表示装置であって、
   前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施し、前記実施後の前記画像を用いて前記一覧画像を生成する、頭部装着型表示装置。
7. 請求項１から請求項６のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記一覧画像に対する前記使用者の操作を取得する操作取得部と、
   前記取得された操作が、前記第１の画像に対する操作であった場合に、前記外部装置に対して前記操作を通知する第１の通知部を備える、頭部装着型表示装置。
8. 請求項１から請求項７のいずれか一項に記載の頭部装着型表示装置であって、
   前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し、
   前記生成部は、前記第１の画像に重畳される前記ポインター画像と、前記第２の画像に重畳される前記ポインター画像と、を異なる画像とさせる、頭部装着型表示装置。
9. 請求項８に記載の頭部装着型表示装置であって、
   前記生成部は、さらに、前記第１の画像の重畳される前記ポインター画像と、前記第２の画像に重畳される前記ポインター画像と、のうちの少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施させることで、各前記ポインター画像を異なる画像とさせる、頭部装着型表示装置。
10. 請求項１から請求項９のいずれか一項に記載の頭部装着型表示装置であって、
    前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し、
    前記ポインター画像が前記第１の画像に重畳されている場合に、前記外部装置の表示画像において、前記ポインター画像が重畳されている位置に対応する位置に前記外部装置用のポインター画像を重畳させるための位置情報を、前記外部装置に対して通知する第２の通知部を備える、頭部装着型表示装置。
11. 請求項８から請求項１０のいずれか一項に記載の頭部装着型表示装置であって、
    前記画像表示部は、前記頭部装着型表示装置の入力デバイスにおける指示体の動きと、前記使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて決定された位置に前記ポインター画像が重畳された前記虚像を形成する、頭部装着型表示装置。
12. 請求項１から請求項１１のいずれか一項に記載の頭部装着型表示装置であって、
    前記取得部は、一の前記外部装置から前記第１の画像を取得すると共に、他の前記外部装置から、前記他の外部装置の表示画像である第３の画像を取得し、
    前記生成部は、前記第１の領域および前記第２の領域とは異なる第３の領域に対して、前記第３の画像が配置された前記一覧画像を生成する、頭部装着型表示装置。
13. 頭部装着型表示装置を制御する方法であって、
    （ａ）前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する工程と、
    （ｂ）前記生成された一覧画像を表す虚像を形成する工程と、
    （ｃ）入力デバイスに対する操作入力に応じた信号を取得する前記外部装置が前記虚像の形成を制御する工程と、
    （ｄ）前記外部装置から前記第１の画像を取得する取得する工程と、
    を備え、
    前記（ａ）工程では、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像が生成される、方法。
14. コンピュータープログラムであって、
    頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する機能と、
    前記生成された一覧画像を表す虚像を、前記頭部装着型表示装置に形成させる機能と、
    入力デバイスに対する操作入力に応じた信号を取得する前記外部装置に前記虚像の形成を制御させる機能と、
    前記外部装置から前記第１の画像を取得する機能と、
    をコンピューターに実現させ、
    前記一覧画像を生成する機能は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成する機能を含む、コンピュータープログラム。
15. 画像表示システムであって、
    使用者が虚像と外景を視認可能な頭部装着型表示装置と、
    前記頭部装着型表示装置に接続されている外部装置と、
    を備え、
    前記外部装置は、
    前記外部装置の表示画像である第１の画像を取得すると共に、前記取得された第１の画像を前記頭部装着型表示装置へ送信する送信部を備え、
    前記頭部装着型表示装置は、
    前記第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と、
    前記生成された一覧画像を表す前記虚像を形成する画像表示部と、
    前記外部装置から前記第１の画像を取得する取得部と、
    を備え、
    前記生成部は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成し、
    前記外部装置は、前記画像表示部を制御する制御部として用いられ、
    前記外部装置は、前記外部装置の入力デバイスに対する操作入力に応じた信号を取得する入力情報取得部を備える、画像表示システム。

Images