JP2019114236A

JP2019114236A - 表示システム、電子機器、及び、表示方法

Info

Publication number: JP2019114236A
Application number: JP2018172773A
Authority: JP
Inventors: 佑一國友; Yuichi Kunitomo; 一馬北谷; Kazuma Kitatani
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2017-12-22
Filing date: 2018-09-14
Publication date: 2019-07-11

Abstract

【課題】表示装置による表示を外部装置に合わせて制御する。【解決手段】表示システム１は、ＰＣ３００と、ＨＭＤ１００とを備える。ＰＣは、映像データを出力するＩ／Ｆ部３４１を備える。ＨＭＤは、ＰＣが出力する映像データを取得するＩ／Ｆ部１１０と、ＨＭＤが装着された状態で視認される外景に重ねて画像を表示する画像表示部２０と、Ｉ／Ｆ部により取得された映像データを画像表示部により表示させる表示制御部１２２と、を備える。表示制御部は、外景として視認されるＰＣの位置に対応させて映像データを画像表示部に表示する。【選択図】図５

Description

本発明は、表示システム、電子機器、及び、表示方法に関する。

従来、表示装置において、外部装置の表示画像を受信して表示するものが知られている（例えば、特許文献１参照）。特許文献１には、頭部装着型表示装置（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ：ＨＭＤ）が、複数の装置の表示画面を統合するため、外部装置が送信する表示画像を受信して、表示部に表示する例が記載されている。

特開２０１５−２２７９１９公報

特許文献１に開示された構成は、ＨＭＤにより全てを表示することを前提として、外部装置の表示画像をＨＭＤの表示において統合することを可能としている。これに対し、表示装置の表示を、表示装置とは異なる外部装置に合わせて制御する手法について、従来、提案された例はない。
本発明は上記事情に鑑みてなされたものであり、表示装置による表示を外部装置に合わせて制御することを目的とする。

上記課題を解決するため、本発明の表示システムは、第１表示部を有する電子機器と、前記電子機器に接続される頭部装着型の表示装置と、を備え、前記電子機器は、画像を出力する出力部を備え、前記表示装置は、前記電子機器が出力する前記画像を取得する取得部と、前記表示装置が装着された状態で視認される外景に重ねて画像を表示する第２表示部と、前記取得部により取得された前記画像を前記第２表示部により表示させる表示制御部と、を備え、前記表示制御部は、外景として視認される前記電子機器の位置に対応させて前記画像を前記第２表示部に表示する。
本発明によれば、電子機器が出力する画像を頭部装着型の表示装置により表示する場合に、外景としての電子機器の位置に対応するように表示する。例えば、外景として見える第１表示部の位置に合わせて、表示装置により、画像を表示できる。このように、外景に重ねて画像を表示する表示装置により、外景として視認される電子機器の位置に合わせた表示を行うことができる。

また、本発明は、前記電子機器は、前記第１表示部よりも広い仮想表示領域に対応する画像を生成し、生成した前記画像の一部を前記第１表示部に表示させ、生成した前記画像の少なくとも一部を前記出力部により出力させる電子機器制御部を備え、前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の少なくとも一部を、前記電子機器の位置に合わせて前記第２表示部に表示する。
この構成によれば、表示装置の第２表示部に、電子機器の第１表示部よりも広い仮想表示領域に対応する表示を行うことができる。このため、第１表示部より大きい表示領域を、電子機器の位置に合わせて表示でき、表示装置によって、第１表示部を仮想的に拡大できる。

また、本発明は、前記電子機器制御部は、前記仮想表示領域に対応させて生成した前記画像のうち、前記第１表示部に表示させた部分を除く前記画像を、前記出力部により出力させ、前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像を前記第２表示部に表示する。
この構成によれば、表示装置が、電子機器の第１表示部よりも広い仮想表示領域に対応する表示を行う場合に、第１表示部に画像の一部が表示され、第２表示部には、第１表示部に表示される部分を除いた部分が表示される。このため、電子機器の表示と、表示装置の表示とを組み合わせた表示を実現できる。例えば、表示装置により、電子機器の周囲に、第２表示部によって画像を表示し、第１表示部を仮想的に拡張する表示態様を実現できる。

また、本発明は、前記表示装置が備える前記表示制御部は、前記電子機器により出力された前記画像を、外景として視認される前記第１表示部の周囲に表示する。
この構成によれば、表示装置の第２表示部により、電子機器の第１表示部の周囲に画像を表示することにより、第１表示部を仮想的に拡張した表示態様を実現できる。

また、本発明は、前記電子機器制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記仮想表示領域に対応させて生成した前記画像の一部を前記第１表示部に表示し、前記第１表示部に表示させた部分を除く前記画像を前記出力部により出力させる。
この構成によれば、電子機器が、第２表示部に対する第１表示部の相対位置に対応するように、表示装置が表示する画像を出力する。このため、表示装置によって電子機器の第１表示部の位置に対応した表示を行う動作を、容易に実現できる。

また、本発明は、前記電子機器制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記仮想表示領域に対応させて生成した前記画像のうち前記第１表示部に表示させた部分をマスクした画像を前記出力部により出力させる。
この構成によれば、第２表示部に、電子機器の第１表示部に表示される部分が表示されないため、電子機器が表示する画像と、表示装置が表示する画像とを協調させることができる。

また、本発明は、前記電子機器制御部は、前記仮想表示領域に対応させて生成した前記画像を前記出力部により出力させ、前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の一部を切り出した画像を前記第２表示部に表示する。
この構成によれば、表示装置の処理により、電子機器が表示する画像の一部を第２表示部に拡大して表示できる。

また、本発明は、前記表示制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記取得部により取得された前記画像の一部を抽出して前記第２表示部に表示させる。
この構成によれば、表示装置が、表示部に対する第１表示部の相対位置を求めて、この相対位置に対応するように表示用の画像を生成するので、電子機器の負荷を増大させることなく、第１表示部の位置に対応した表示を実現できる。

また、本発明は、前記表示制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記取得部により取得された前記画像のうち前記第１表示部に重なる部分をマスクした画像を前記第２表示部に表示させる。
この構成によれば、表示装置の処理により、第２表示部に表示される画像において、第１表示部に表示される部分がマスクされるため、電子機器の負荷を増大させることなく、電子機器が表示する画像と表示装置が表示する画像とを協調させることができる。

また、本発明は、前記電子機器制御部は、実空間における前記電子機器の位置に基づき前記仮想表示領域の位置を決定し、前記仮想表示領域と前記第２表示部との相対位置に基づいて、前記第２表示部の表示態様を調整する。
この構成によれば、表示装置によって、実空間における電子機器の位置に合わせて画像を表示できる。この画像により、電子機器の第１表示部が表示する画像を補完したり、拡張したりする効果を得ることができる。

また、本発明は、前記電子機器制御部は、前記第１表示部が前記第２表示部を透過して視認される範囲に含まれることを検出した場合に、前記第１表示部の位置を基準として、前記画像の表示態様を初期化する。
この構成によれば、表示装置において電子機器の第１表示部が外景として視認できるか否かに対応して、表示態様を調整できる。

また、本発明は、前記第２表示部は、前記表示装置を装着した使用者の左眼に向けて画像光を発する左眼用表示部、及び、前記使用者の右眼に向けて画像光を発する右眼用表示部を備え、前記第２表示部により外景として視認される前記第１表示部の位置に対応して、前記左眼用表示部による表示位置、及び前記右眼用表示部による表示位置が制御され、前記第２表示部に表示される画像の輻輳角が調整される。
この構成によれば、表示装置が表示する画像の輻輳角を調整することによって、表示装置の表示画像が視認される距離を、電子機器の第１表示部の位置に対応させることができる。これにより、表示装置による表示と電子機器の表示とを、より適切に協調させることができる。

また、本発明は、前記第２表示部は、前記第２表示部により表示される画像を前記使用者が知覚する視認距離を調整可能な光学系を有し、前記第２表示部に表示される画像の輻輳角に対応して前記光学系が制御される。
この構成によれば、表示装置の表示画像が視認される距離を、電子機器の第１表示部の位置に対応させるので、表示装置による表示と電子機器の表示とを、より適切に協調させることができる。

また、上記課題を解決するため、本発明の電子機器は、外景に重ねて画像を表示する頭部装着型の表示装置に接続される電子機器であって、第１表示部と、前記表示装置に画像を出力する出力部と、前記表示装置が有する第２表示部に対する前記第１表示部の相対位置に基づいて、前記表示装置によって外景として視認される前記第１表示部の位置に対応する画像を前記第２表示部に表示するための画像を、前記出力部により出力させる制御部と、を備える。
この構成によれば、表示装置に接続される電子機器が、表示装置に画像を出力することによって、表示装置が、外景としての電子機器の第１表示部の位置に対応するように表示を行うことができる。

また、上記課題を解決するため、本発明の表示方法は、第１表示部を有する電子機器と、外景に重ねて画像を表示する第２表示部を有する頭部装着型の表示装置と、による表示方法であって、前記電子機器により画像を出力し、前記表示装置により、前記電子機器が出力する前記画像を取得し、取得した画像を前記第２表示部により表示させ、前記第２表示部において外景として視認される前記電子機器の位置に対応させて、前記第２表示部に前記画像を表示する。
本発明によれば、電子機器が出力する画像を表示装置により表示する場合に、外景としての電子機器の位置に対応するように表示する。例えば、外景として見える電子機器の位置に合わせて、表示装置により画像を表示できるので、表示装置によって、電子機器の表示に合わせた表示を行うことができる。

本発明は、上述した表示システム、電子機器、及び、表示方法以外の種々の形態で実現することも可能である。例えば、上記の表示方法をコンピューターにより実行するためのプログラム、上記プログラムを記録した記録媒体、上記プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。

表示システムを構成するＨＭＤ及びＰＣの外観図。ＨＭＤの光学系の構成を示す図。画像表示部を使用者の頭部側から見た要部斜視図。ＨＭＤの表示部と撮像範囲との対応を示す説明図。表示システムを構成する各部のブロック図。画像表示部に対するＰＣの相対位置を求める処理を示す説明図。表示システムの動作を示すフローチャート。表示システムの表示態様の例を示す図。表示システムの表示態様の例を示す図。表示システムの表示態様の例を示す図。表示システムの動作を示すフローチャート。第２実施形態における表示システムの表示態様の例を示す図。第３実施形態における表示システムの動作を示すフローチャート。第３実施形態における表示システムの動作を示すフローチャート。第４実施形態における表示システムを構成する各部のブロック図。

［１．第１実施形態］
［１−１．表示システムの構成］
図１は、本発明を適用した第１実施形態に係る表示システム１の構成を示す図である。
表示システム１は、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ：頭部装着型表示装置）１００と、ＨＭＤ１００の外部装置としてのＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）３００と、を備える。

ＨＭＤ１００は、使用者（ユーザー）の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（第２表示部）と、画像表示部２０を制御する接続装置１０と、を備える表示装置である。接続装置１０は、箱形のケース（筐体、あるいは本体ともいえる）に、複数のコネクター１１を備える。画像表示部２０と接続装置１０とは、接続ケーブル４０により接続される。

図１の例で、接続装置１０は３つのコネクター１１Ａ、１１Ｂ、１１Ｃを備える。以下の説明において、コネクター１１Ａ、１１Ｂ、１１Ｃを区別しない場合はコネクター１１と総称する。コネクター１１は、通信ケーブルを接続する有線インターフェイスであり、この通信ケーブルにより、接続装置１０は外部の装置と接続される。コネクター１１Ａ、１１Ｂ、１１Ｃは、例えば、公知の通信インターフェイス規格に準拠するコネクターであり、同一形状のコネクターであってもよく、異なる種類のコネクターであってもよい。本実施形態では、一例として、コネクター１１Ａを、ＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）規格に準拠したコネクターとする。また、コネクター１１Ｂを、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）−ＴｙｐｅＣコネクターとする。また、コネクター１１Ｃを、ＭｉｃｒｏＵＳＢコネクターとする。

図１の例では、接続装置１０とＰＣ３００とがケーブル２により接続される。ケーブル２は、ＰＣ３００とコネクター１１Ａとを接続するＨＤＭＩケーブル２Ａ、及び、ＰＣ３００とコネクター１１Ｂとを接続するＵＳＢケーブル２Ｂで構成される。この例では、ＰＣ３００は、映像伝送用のＨＤＭＩインターフェイス、及び、データ通信用のＵＳＢインターフェイスにより、接続装置１０に接続される。

ＰＣ３００は、画像を表示する表示部３３０を備えるコンピューターであり、本発明の電子機器に相当する。ＰＣ３００は、好ましくは可搬型のコンピューターであり、タブレット型コンピューター、ノート型コンピューター、スマートフォン等が挙げられる。図１のＰＣ３００は、平板状の本体の表面に、第１表示部としての表示部３３０を備える。表示部３３０は、液晶表示パネル、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｔ）表示パネル等の表示パネル３３１（図５）を備え、表示パネル３３１の表面に、ユーザーの接触操作を検出するタッチセンサー３３２（図５）が設けられる。
ＰＣ３００は、ＨＭＤ１００に対しては外部機器として機能する。外部機器は、表示画面を備え、表示画面に画像を表示する機能を有する電子デバイスであればよく、本実施形態ではあくまで一例としてＰＣ３００を示す。

画像表示部２０は、使用者の頭部に装着される装着体であり、いわゆる頭部装着型ディスプレイ（ＨＭＤ）である。つまり、ＨＭＤ１００は、ＨＭＤ本体としての画像表示部２０に、ＰＣ３００等の外部装置を接続するための接続装置１０を繋げた構成である。画像表示部２０は、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２（右眼用表示部）、左表示ユニット２４（左眼用表示部）、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２及び左表示ユニット２４は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。
右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。

右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することによって、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、或いは、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、接続装置１０に接続される。ＨＭＤ１００では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが接続装置１０に接続される。

カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。外景は、実空間と言い換えることができる。

別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。

ＨＭＤ１００は、距離センサー６４を備える。距離センサー６４は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。
距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態の距離センサー６４の測定方向は、ＨＭＤ１００の表側方向であり、カメラ６１の撮像方向と重複する。

図２は、ＨＭＤ１００の光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。

ＯＬＥＤ駆動回路２２５は、接続装置１０から入力される画像データに基づき、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、接続装置１０から入力される画像データに基づき、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部と呼ぶこともできる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３は、画像表示部２０を使用者の頭部側から見た要部斜視図であり、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

図４は、ＨＭＤ１００の画像表示部２０と撮像範囲との対応を示す説明図である。
カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。

図４には、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。カメラ６１の画角（撮像範囲）をＣで示す。なお、図４には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

カメラ６１の光軸は、右眼ＲＥの視線方向ＲＤ及び左眼ＬＥの視線方向ＬＤを含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図４に示すように、使用者が両眼で対象物ＯＢを注視すると、使用者の視線ＲＤ、ＬＤは対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。

また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図４の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：ＦｉｅｌｄＯｆＶｉｅｗ）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

また、上述のように、本実施形態のカメラ６１は、画像表示部２０の前部フレーム２７において端部ＥＲ側に配置されるが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。この場合、カメラ６１の左右方向における位置は図４の位置とは異なり、画角Ｃは、カメラ６１の位置に応じて適宜に設定される。具体的には、カメラ６１が端部ＥＬ側にある場合、画角Ｃは図４中の右斜め前を向く。まや、例えばカメラ６１が右導光板２６と左導光板２８との連結部に配置される場合、画角Ｃは画像表示部２０の正面を向く。

使用者が右眼ＲＥ及び左眼ＬＥで物体を見る場合、右眼ＲＥの視線方向と左眼ＬＥの視線方向とがなす角度により、物体までの距離を知覚し、認識する。この角度は輻輳角と呼ばれ、例えば図４に示す対象物ＯＢを見る場合の輻輳角はＰＡである。
使用者がハーフミラー２６１、２８１に表示される画像を見る場合の輻輳角は、右眼ＲＥでハーフミラー２６１の画像を見る場合の視線方向と、左眼ＬＥでハーフミラー２８１の画像を見る場合の視線方向との角度である。この場合の輻輳角の大きさは、ハーフミラー２６１、２８１における画像の表示位置により決まる。従って、右表示ユニット２２及び左表示ユニット２４が画像を表示する表示位置を調整することによって、輻輳角を制御して、使用者が視覚により認識する距離感を制御できる。例えば、右表示ユニット２２及び左表示ユニット２４により表示される画像について、使用者が認識する距離感（視認距離）を調整できる。

また、距離センサー６４は、右光学像表示部２６と左光学像表示部２８との中央において、前方を向いて配置される。

［１−２．表示システムの制御系］
図５は、表示システム１を構成するＨＭＤ１００及びＰＣ３００の構成を示すブロック図である。
上述のように、ＨＭＤ１００は、接続装置１０と、画像表示部２０とを接続ケーブル４０により接続して構成される。

画像表示部２０は、上述したように右表示ユニット２２及び左表示ユニット２４を備える。右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、接続ケーブル４０に接続される接続部２１１、接続部２１１を介して接続装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
接続部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、距離センサー６４、照度センサー６５、及びＬＥＤインジケーター６７を、接続装置１０に接続する。

ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。ＥＥＰＲＯＭ２１５が記憶するデータは、制御部１２０により読取り可能である。

カメラ６１は、接続部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、接続部２１１に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

距離センサー６４は、距離検出を実行し、検出結果を示す信号を、接続部２１１を介して接続装置１０に出力する。距離センサー６４は、例えば、赤外線式深度（Ｄｅｐｔｈ）センサー、超音波式距離センサー、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）式距離センサー、画像検出と音声検出とを組み合わせた距離検出ユニット等を用いることができる。また、ステレオカメラや単眼カメラによるステレオ撮影で得られる画像を処理して距離を検出する構成であってもよい。
図５には１つの距離センサー６４を図示するが、図４に示す一対の距離センサー６４、６４が同時に動作してもよい。また、一対の距離センサー６４、６４のそれぞれが、接続部２１１に接続され、独立して動作する構成であってもよい。

受信部２１３は、接続部２１１を介して接続装置１０から伝送される表示用の画像データを受信し、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、接続ケーブル４０に接続される接続部２３１、接続部２３１を介して接続装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
接続部２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、接続装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）を採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

画像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。画像表示部２０は、接続ケーブル４０により供給される電力の電圧変換や分配をするための電源回路（図示略）を備えてもよい。

接続装置１０は、Ｉ／Ｆ（インターフェイス）部１１０、制御部１２０、表示制御部１２２、センサー制御部１２４、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、及び、接続部１４５を備える。取得部としてのＩ／Ｆ部１１０は、コネクター１１Ａ、１１Ｂ、１１Ｃを備える。また、Ｉ／Ｆ部１１０は、コネクター１１Ａ、１１Ｂ、１１Ｃに接続されて、各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路（図示略）を備えてもよい。また、Ｉ／Ｆ部１１０は、コネクター１１Ａ、１１Ｂ、１１Ｃを介して給電を受ける構成であってもよい。

Ｉ／Ｆ部１１０は、例えば、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。Ｉ／Ｆ部１１０は、例えば、コネクター１１Ａ、１１Ｂ、１１Ｃ及びインターフェイス回路を実装したインターフェイス基板であってもよい。また、接続装置１０の制御部１２０や表示制御部１２２、センサー制御部１２４、電源制御部１２６が接続装置メイン基板（図示略）に実装される構成としてもよい。この場合、接続装置メイン基板にＩ／Ｆ部１１０のコネクター１１Ａ、１１Ｂ、１１Ｃ及びインターフェイス回路を実装してもよい。

制御部１２０は、接続装置１０の各部を制御する。制御部１２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やマイコン等のプロセッサー（図示略）を備える。制御部１２０は、プロセッサーによりプログラムを実行することによって、ソフトウェアとハードウェアとの協働によりＨＭＤ１００の各部を制御する。また、制御部１２０は、プログラムされたハードウェアにより構成されてもよい。制御部１２０は、プロセッサーとともに、ワークエリアを形成するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、制御プログラムを記憶するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）を備えてもよい。また、プロセッサー、ＲＡＭ、及びＲＯＭを統合した半導体デバイスであってもよい。
制御部１２０には、不揮発性記憶部１３０、操作部１４０、及び、接続部１４５が接続される。

表示制御部１２２は、Ｉ／Ｆ部１１０に入力される画像データや映像データに基づく画像を画像表示部２０により表示するための各種処理を実行する。例えば、表示制御部１２２は、フレームの切り出し、解像度変換（スケーリング）、中間フレーム生成、フレームレート変換等の各種処理を実行する。表示制御部１２２は、右表示ユニット２２のＯＬＥＤユニット２２１、及び、左表示ユニット２４のＯＬＥＤユニット２４１の各々に対応する画像データを接続部１４５に出力する。接続部１４５に入力された画像データは、接続ケーブル４０を介して接続部２１１、２３１に伝送される。
フレームの「切り出し」の具体的な例で、表示制御部１２２は、画像表示部２０が画像を表示する表示領域のサイズよりも大きな画像全体をワークエリアに展開する。表示領域は、例えば、ＯＬＥＤユニット２２１、２４１において画像が形成される領域である。また、画像のサイズは、画素数または解像度で示される。表示制御部１２２は、展開した画像のうち、切り出す領域のデータだけを右表示ユニット２２及び左表示ユニット２４に転送する。

また、表示制御部１２２は、画像表示部２０の表示領域よりも大きな画像データを取得し、取得した画像データから、画像表示部２０により表示するサイズの画像データだけを抜き出した画像データを生成して、右表示ユニット２２及び左表示ユニット２４に転送してもよい。

表示制御部１２２は、例えば、Ｉ／Ｆ部１１０に入力された映像データが３Ｄ（立体）映像データである場合に、３Ｄ映像デコードを実行する。３Ｄ映像デコードの処理において、表示制御部１２２は、３Ｄ映像データから右眼用のフレームと左眼用のフレームとを生成する。Ｉ／Ｆ部１１０に入力される３Ｄ映像データの形式は、例えば、サイドバイサイド形式、トップアンドボトム形式、フレームパッキング形式等が挙げられるが、３Ｄモデルデータであってもよい。

表示制御部１２２は、Ｉ／Ｆ部１１０が備えるコネクター１１Ａ、及び、コネクター１１Ｂに接続される。表示制御部１２２は、コネクター１１Ａに入力される映像データ、及び、コネクター１１Ｂに入力される映像データを対象として、処理を実行する。また、表示制御部１２２は、コネクター１１Ａ、またはコネクター１１Ｂに接続された装置との間で、映像データの伝送に関する各種制御データを送受信する機能を有していてもよい。

センサー制御部１２４は、カメラ６１、距離センサー６４、照度センサー６５、温度センサー２１７、６軸センサー２３５、磁気センサー２３７、及び、温度センサー２３９を制御する。具体的には、センサー制御部１２４は、制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。

また、センサー制御部１２４は、Ｉ／Ｆ部１１０のコネクター１１Ｂに接続され、予め設定されたタイミングで、各センサーから取得した検出値に関するデータをコネクター１１Ｂに出力する。これにより、コネクター１１Ｂに接続された装置は、ＨＭＤ１００の各センサーの検出値や、カメラ６１の撮像画像データを取得できる。センサー制御部１２４が出力するデータは、検出値を含むデジタルデータであってもよい。また、センサー制御部１２４は、各センサーの検出値をもとに演算処理した結果のデータを出力してもよい。例えば、センサー制御部１２４は、複数のセンサーの検出値を統合的に処理し、いわゆるセンサーフュージョン処理部として機能する。センサーフュージョンを実行することにより、センサー制御部１２４は、センサーの検出値から求めたデータ、例えば、画像表示部２０の動きの軌跡データや、画像表示部２０の相対座標データ等を出力する。センサー制御部１２４は、コネクター１１Ｂに接続された装置との間で、データの伝送に関する各種制御データを送受信する機能を有していてもよい。

表示制御部１２２、及び／またはセンサー制御部１２４は、ＣＰＵ等のプロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、表示制御部１２２及びセンサー制御部１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、表示制御部１２２及びセンサー制御部１２４は、制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、制御部１２０、表示制御部１２２、及びセンサー制御部１２４として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。

また、表示制御部１２２、及び、センサー制御部１２４は、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等、プログラムされたハードウェアにより構成されてもよい。また、表示制御部１２２及びセンサー制御部１２４を統合して、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）−ＦＰＧＡとして構成してもよい。

電源制御部１２６は、Ｉ／Ｆ部１１０が備えるコネクター１１Ｂ及びコネクター１１Ｃに接続される。電源制御部１２６は、コネクター１１Ｂ、１１Ｃから供給される電力に基づき、接続装置１０の各部および画像表示部２０に対する電源供給を行う。また、電源制御部１２６は、電圧変換回路（図示略）を内蔵し、異なる電圧を接続装置１０及び画像表示部２０の各部に供給可能な構成であってもよい。電源制御部１２６は、ロジック回路や、ＦＰＧＡ等のプログラムされた半導体デバイスで構成されてもよい。また、電源制御部１２６を表示制御部１２２、及び／またはセンサー制御部１２４と共通のハードウェア（プロセッサーを含む）で構成してもよい。
表示制御部１２２、センサー制御部１２４及び電源制御部１２６は、データ処理を行うためのワークメモリーを具備してもよく、制御部１２０が備えるＲＡＭ（図示略）のワークエリアを利用して処理を行ってもよい。

制御部１２０は、右表示ユニット２２が備えるＥＥＰＲＯＭ２１５からデータを読み出し、読み出したデータに基づいて、表示制御部１２２及びセンサー制御部１２４の動作を設定する。また、制御部１２０は、操作部１４０における操作に従って、表示制御部１２２、センサー制御部１２４、及び、電源制御部１２６を含む各部を動作させる。また、制御部１２０は、表示制御部１２２、センサー制御部１２４及び電源制御部１２６がＩ／Ｆ部１１０を介して接続された装置を識別し、各装置に適した動作を実行するように、表示制御部１２２、センサー制御部１２４及び電源制御部１２６を制御する。

また、制御部１２０は、ＬＥＤインジケーター６７への通電開始及び停止を制御する。例えば、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

不揮発性記憶部１３０は、制御部１２０が処理するデータ等を不揮発的に記憶する記憶装置である。不揮発性記憶部１３０は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の磁気的記録装置、或いは、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

また、接続装置１０は充電可能なバッテリー（図示略）を備え、このバッテリーから接続装置１０及び画像表示部２０の各部に電力を供給する構成であってもよい。

ＰＣ３００は、制御部３１０、不揮発性記憶部３２０、表示部３３０、Ｉ／Ｆ（インターフェイス）部３４１、及び、通信部３４５を備える。制御部３１０（電子機器制御部）は、ＣＰＵやマイコン等のプロセッサー（図示略）を備え、このプロセッサーによりプログラムを実行することにより、ＰＣ３００の各部を制御する。制御部３１０は、プロセッサー（いわゆるコンピューター）が実行する制御プログラムを不揮発的に記憶するＲＯＭ、及び、プロセッサーのワークエリアを構成するＲＡＭを備えてもよい。

不揮発性記憶部３２０は、制御部３１０により実行されるプログラムや、制御部３１０が処理するデータを不揮発的に記憶する。不揮発性記憶部１３０は、例えば、ＨＤＤ等の磁気的記録装置、或いは、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

不揮発性記憶部３２０は、例えば、映像を含むコンテンツのコンテンツデータ３２１を記憶する。コンテンツデータ３２１は、制御部３１０により処理可能なフォーマットのファイルであり、映像データを含み、音声データを含んでもよい。
また、不揮発性記憶部３２０は、制御部３１０が実行する基本制御プログラムとしてのオペレーティングシステム（ＯＳ）、ＯＳをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部３２０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。

表示部３３０が備える表示パネル３３１、及び、タッチセンサー３３２は、制御部３１０に接続される。表示パネル３３１は、制御部３１０の制御に基づき各種画像を表示する。タッチセンサー３３２は、タッチ操作を検出し、検出した操作を示すデータを制御部３１０に出力する。タッチセンサー３３２が出力するデータは、タッチセンサー３３２における操作位置を示す座標データ等である。

Ｉ／Ｆ部３４１は、外部の装置に接続されるインターフェイスであり、本発明の出力部に相当する。Ｉ／Ｆ部３４１は、例えば、ＨＤＭＩインターフェイス、ＵＳＢインターフェイス等の規格に準拠した通信を実行する。Ｉ／Ｆ部３４１は、ケーブル（例えば、ケーブル２）を接続するコネクター（図示略）、及び、コネクターを伝送される信号を処理するインターフェイス回路（図示略）を備える。Ｉ／Ｆ部３４１は、コネクター及びインターフェイス回路を有するインターフェイス基板であり、制御部３１０のプロセッサー等が実装されるメイン基板に接続される。或いは、Ｉ／Ｆ部３４１を構成するコネクター及びインターフェイス回路が、ＰＣ３００のメイン基板に実装される。本実施形態で、Ｉ／Ｆ部３４１は、ＨＤＭＩインターフェイス、及び、ＵＳＢインターフェイスを備え、ＨＤＭＩケーブル２Ａ及びＵＳＢケーブル２Ｂにより、コネクター１１Ａ、１１Ｂに接続される。制御部３１０は、例えば、ＨＤＭＩケーブル２Ａにより映像データを出力し、ＵＳＢケーブル２Ｂにより接続装置１０からセンサーの出力値に関するデータ等を受信する。Ｉ／Ｆ部３４１は、ＨＤＭＩケーブル２Ａによる通信とＵＳＢケーブル２Ｂによる通信とを独立して実行できる。また、Ｉ／Ｆ部３４１は、無線通信インターフェイスであってもよい。この場合、Ｉ／Ｆ部３４１は、ＲＦ部を含む通信回路を実装したインターフェイス基板、或いは、メイン基板に実装される回路とすることができる。

通信部３４５は、外部の装置とデータ通信を実行する通信インターフェイスである。通信部３４５は、ケーブルを接続可能な有線通信インターフェイスであってもよいし、無線通信インターフェイスであってもよい。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）に対応する有線ＬＡＮインターフェイスや、ＩＥＥＥ８０２．１１規格に対応する無線ＬＡＮインターフェイスであってもよい。

制御部３１０は、上記のようにプログラムを実行することにより、入出力制御部３１１、検出値取得部３１２、位置検出部３１３、及び、画像調整部３１５として機能する。
入出力制御部３１１は、タッチセンサー３３２から入力されるデータに基づき、ユーザーによる入力を検出する。また、入出力制御部３１１は、Ｉ／Ｆ部３４１及び通信部３４５によるデータの入出力を制御する。

検出値取得部３１２は、Ｉ／Ｆ部３４１により接続された接続装置１０から、ＨＭＤ１００が備える各センサーの検出値に関するデータを取得する。検出値取得部３１２は、カメラ６１の撮像画像データや、距離センサー６４、照度センサー６５、ＥＥＰＲＯＭ２１５、６軸センサー２３５、磁気センサー２３７、温度センサー２３９等の検出値に関するデータを、接続装置１０から取得する。検出値取得部３１２が取得するデータは、センサー制御部１２４により処理されたデータであり、各センサーの検出値を含むデータや、センサー制御部１２４により統計的に処理されたデータであってもよい。

位置検出部３１３は、検出値取得部３１２により取得されたデータに基づき、ＨＭＤ１００の位置を検出する。より詳細には、位置検出部３１３は、ＰＣ３００と画像表示部２０との相対位置を検出する。ここで、位置検出部３１３が検出する相対位置は、画像表示部２０とＰＣ３００が存在する空間における位置であってもよいし、画像表示部２０と表示部３３０の相対的な向きを含んでもよい。例えば、画像表示部２０を基準とした場合の表示部３３０の位置および／または方向を示す情報であってもよい。また、例えば、ＰＣ３００を基準とした場合の画像表示部２０の位置および／または方向を示す情報であってもよい。また、例えば、画像表示部２０及びＰＣ３００が存在する空間に設定された三次元座標系における座標を含んでいてもよい。
位置検出部３１３による位置検出については後述する。

ＰＣ３００が接続装置１０に出力する映像データは、コンテンツデータ３２１を再生した映像データのほか、ＰＣ３００が表示部３３０により表示している画面の映像データとすることができる。この場合、接続装置１０は、表示部３３０と同じ画面を表示し、いわゆるミラーリング表示を行う。

また、画像調整部３１５は、表示部３３０に、接続装置１０が表示している画像およびＰＣ３００に表示されていない画像を含む、より大きな画像を表示する構成であってもよい。また、例えば、接続装置１０が、ＰＣ３００が表示する画像の一部を拡大して表示する構成であってもよい。ＰＣ３００における表示態様については後述する。

［１−３．表示システムの動作］
図６は、画像表示部２０に対するＰＣ３００の相対位置を求める処理を示す説明図であり、特に、キャリブレーション処理を示す。図７は、表示システム１の動作を示すフローチャートであり、特に、キャリブレーション処理におけるＰＣ３００の動作を示す。

図６において、画像表示部２０を透過して使用者が視認する視野を符号ＶＲで示し、カメラ６１の撮像範囲を符号ＶＣで示す。この例では、撮像範囲ＶＣは視野ＶＲと重複するが、一致していない。撮像範囲ＶＣと視野ＶＲとは、一致してもよいし、撮像範囲ＶＣが視野ＶＲに含まれてもよい。

表示システム１を使用して、図６に示すように、カメラ６１の撮像範囲ＶＣにＰＣ３００が存在する状態で、キャリブレーションが実行される。
本実施形態では、表示部３３０に基準点Ｐ１が設定され、画像表示部２０に基準位置Ｐ２が設定される。基準点Ｐ１は、使用者が視覚的にまたは認識可能な表示であり、いわゆるマーカーである。ＰＣ３００は、カメラ６１の撮像画像データから基準点Ｐ１を画像処理により検出できる。基準位置Ｐ２は、画像表示部２０において位置の基準として設定され、仮想的な位置であってもよく、基準位置Ｐ２を示す表示や物体がなくてもよい。
基準点Ｐ１は、明示的に視認される物体や位置であればよく、基準点Ｐ１となる表示や物を新たに設ける必要はない。例えば、表示部３３０の４隅のうちの１点を基準点Ｐ１とするなど、表示部３３０の模様や形状の特定位置を基準点Ｐ１としてもよい。

図７は、表示システム１の動作を示すフローチャートであり、キャリブレーションを行うＰＣ３００の動作を示す。
キャリブレーションでは、使用者の視野ＶＲにおいて予め設定された位置に基準点Ｐ１が位置するように、使用者が、頭部または画像表示部２０を動かす（ステップＳ１１）。視野ＶＲにおける設定された位置と基準点Ｐ１とが重なったときに、使用者は、位置を確定させるための操作を、画像表示部２０またはＰＣ３００に対して行う（ステップＳ１２）。例えば、使用者は、画像表示部２０の前部フレーム２７を叩く操作を行う。この操作は、６軸センサー２３５により加速度として検出できる。また、画像表示部２０がノックセンサー（図示略）を搭載している場合、当該操作をノックセンサーの検出値に基づき検出できる。ステップＳ１２の操作は、タッチセンサー３３２で検出される操作であってもよい。また、ステップＳ１２では、音声による操作をＰＣ３００が検出してもよい。すなわち、ＰＣ３００がマイクを搭載し、マイクにより集音された音声を制御部３１０が処理可能な構成において、制御部３１０は、音声をテキストに変換する音声認識処理、或いは、予め登録されたパターンの音声を検出する音声コマンド検出処理を実行できる。この構成で、制御部３１０は、ステップＳ１２で、使用者が発する音声を入力操作として検出してもよい。

制御部３１０は、ステップＳ１２の操作を検出したときのカメラ６１の撮像画像データを取得して、カメラ６１の撮像画像データにおける基準点Ｐ１の位置を求める（ステップＳ１３）。これにより、カメラ６１の撮像画像データにおける位置と、画像表示部２０を装着した使用者の視野ＶＲにおける位置とが、対応付けられる。従って、カメラ６１の撮像画像データにＰＣ３００が写っている場合に、この撮像画像データから、視野ＶＲに対するＰＣ３００の相対位置を特定できる。

制御部３１０は、６軸センサー２３５および磁気センサー２３７の出力値に関するデータを取得する（ステップＳ１４）。ステップＳ１４で取得されるセンサーの出力値は、基準点Ｐ１が視野ＶＲの設定位置に重なる状態における画像表示部２０の基準の位置を示す。例えば、６軸センサー２３５の出力値を積算することにより、画像表示部２０が、基準の位置から移動した方向および移動量を求めることができる。また、磁気センサー２３７の出力値に基づき、画像表示部２０の基準の位置に対する画像表示部２０の相対的な方向を求めることができる。従って、画像表示部２０とＰＣ３００との相対位置を求めることができる。

制御部３１０は、ステップＳ１４で取得した出力値を含むキャリブレーションデータを生成し、不揮発性記憶部３２０に記憶し（ステップＳ１５）、本処理を終了する。
例えば、ステップＳ１３及びＳ１５は位置検出部３１３が実行し、ステップＳ１４は検出値取得部３１２が実行する。

図７に示すキャリブレーションの処理では、ＰＣ３００の基準点Ｐ１と視野ＶＲにおける設定された位置とを合わせて、画像表示部の基準の位置に対する画像表示部の相対的な位置関係を対応づける。この処理で生成されるキャリブレーションデータは、例えば、基準点Ｐ１と視野ＶＲとの相対的な位置の基準を示すデータである。このキャリブレーションで、視野ＶＲにおける所定位置と基準点Ｐ１とを重ねるだけでなく、ステップＳ１１で、ＰＣ３００を、画像表示部２０から予め設定された距離に配置する手法を採用してもよい。例えば、ステップＳ１１で、ＰＣ３００を画像表示部２０から所定距離だけ離れた位置に置くことをガイドする画像を、画像表示部２０により表示してもよい。この画像は、所定距離だけ離れた位置のＰＣ３００が視認されるサイズを示す直線、矩形、点などのマーカーとすることができる。使用者は、画像表示部２０のマーカーにＰＣ３００が重なって見えるようにＰＣ３００を自分との相対位置を調整し、その後、基準点Ｐ１を所定位置に合わせて、ステップＳ１２の操作を行えばよい。

図８、図９、及び図１０は、それぞれ、本実施形態における表示システム１の表示態様の例を示す図である。図８、図９及び図１０には、画像表示部２０を装着する使用者が画像表示部２０を透過して視認できる視野を視野ＶＲで示す。また、これらの図に示す例では、画像表示部２０が、使用者が視認可能なように画像を表示する表示領域は、視野ＶＲと同じ大きさ及び位置であり、重複する。本発明は、画像表示部２０の表示領域が視野ＶＲより小さい構成にも適用可能である。

図８には、ＰＣ３００が生成する仮想画像ＶＤを示す。仮想画像ＶＤは、ＰＣ３００が表示部３３０に表示する画像と同じ画像を含む領域ＶＤ１と、領域ＶＤ１に隣接する領域ＶＤ２、ＶＤ３、ＶＤ４とを含む。つまり、仮想画像ＶＤは、表示部３３０に表示される画像よりサイズが大きい画像である。
ＰＣ３００は、表示パネル３３１の表示領域よりも大きい仮想の表示領域を設定し、この表示領域に表示される画像として仮想画像ＶＤを生成する。仮想の表示領域と仮想画像ＶＤとは、解像度やサイズが異なっていてもよいが、本実施形態では一致するものとして説明する。

以下の説明では、表示部３３０が表示する画像、仮想画像ＶＤ、及び、領域ＶＤ１、ＶＤ２、ＶＤ３、ＶＤ４のサイズを、表示解像度で示す。例えば、表示部３３０の表示解像度を横１９２０ドット×縦１０８０ドット、仮想画像ＶＤおよび仮想の表示領域の解像度を、３８４０ドット×２１６０ドットとすれば、仮想画像ＶＤのサイズは表示部３３０の表示画像の４倍となる。

表示部３３０が表示する画像と仮想画像ＶＤのアスペクト比は、異なっていてもよいが、アスペクト比が一致している場合、表示部３３０の表示画像を含む仮想画像ＶＤを生成する際の処理が速やかに実行できるという利点がある。また、使用者が、表示部３３０の表示画像と仮想画像ＶＤとの両方を視認した場合に、違和感がないという利点があるため、好ましい。同様の理由から、仮想画像ＶＤを構成する領域ＶＤ１〜ＶＤ４のそれぞれのアスペクト比や解像度は、表示部３３０と一致していなくてもよいが、一致していることが好ましい。また、仮想画像ＶＤの解像度が、表示部３３０の表示解像度の整数倍でなくてもよいが、整数倍であることが好ましい。

仮想画像ＶＤのサイズは、画像表示部２０が表示可能な画像と同じか、それより大きいことが好ましい。すなわち、仮想画像ＶＤの解像度は、画像表示部２０の表示領域の表示解像度以上であることが好ましい。一例として、表示部３３０の表示解像度が横１９２０ドット×縦１０８０ドットであり、画像表示部２０の表示解像度が３８４０ドット×１０８０ドットであり、仮想画像ＶＤの解像度を３８４０ドット×２１６０ドットとする構成が挙げられる。また、仮想画像ＶＤと画像表示部２０の表示領域のアスペクト比が異なっていてもよいし、領域ＶＤ１〜ＶＤ４のそれぞれのアスペクト比や解像度が、画像表示部２０の表示領域と一致していなくてもよい。また、仮想画像ＶＤの解像度が、画像表示部２０の表示領域の解像度の整数倍でなくてもよい。

仮想画像ＶＤは、ＰＣ３００が、表示部３３０に表示する画像を拡張した拡張表示領域ということができる。例えば、ＰＣ３００が実行するオペレーティングシステムやアプリケーションプログラムのユーザーインターフェイスとして、表示部３３０に操作用の画面を表示する場合、制御部３１０は、表示部３３０の表示解像度に合わせて操作用の画面を構成する。仮想画像ＶＤを利用する場合、制御部３１０は、仮想画像ＶＤの解像度に合わせてユーザーインターフェイスとしての画面を構成し、その一部を表示部３３０に表示させる。ＰＣ３００がコンテンツデータ３２１を再生する場合や、その他の画像等を表示する場合も同様である。このように、仮想画像ＶＤは、表示部３３０に表示される画像を含み、換言すれば、表示部３３０は仮想画像ＶＤの一部を表示する。

また、仮想画像ＶＤ、表示部３３０の表示画像、及び、画像表示部２０が表示する画像のサイズを、画像表示部２０を装着する使用者が視認する大きさとして定義してもよい。
画像の大きさは、画素の大きさと、解像度とによって決まる。表示部３３０の画素の大きさは、使用者が表示部３３０を画像表示部２０越しに視認する場合の画素として考えることが適切である。また、仮想画像ＶＤは、画像表示部２０が表示しない限り視認されないので、仮想画像ＶＤの画素の大きさは、画像表示部２０が表示する画像の画素を使用者が視認する場合の大きさとして考えることが適切である。そして、画像表示部２０を装着した使用者が視認するサイズを基準として、仮想画像ＶＤは、表示部３３０より大きければよい。この場合、仮想画像ＶＤの解像度は、表示部３３０の表示解像度以下であってもよい。さらに、仮想画像ＶＤから切り出されて画像表示部２０に出力される映像データの解像度が、表示部３３０の表示解像度以下の解像度であってもよい。制御部３１０は、表示部３３０の表示画像を含む仮想画像ＶＤを生成する処理で、表示部３３０の表示画像を、より低解像度の画像に変換する解像度変換を行い、変換後の画像の周囲に別の画像を付加して仮想画像ＶＤを生成する。

図１１は、表示システム１の表示に係る動作を示すフローチャートであり、特に、ＰＣ３００の動作を示す。本実施形態で、ＨＭＤ１００は、ＰＣ３００がＨＤＭＩケーブル２Ａを経由して出力する映像データに基づき画像を表示し、画像表示部２０とＰＣ３００との相対位置に基づく表示制御をＰＣ３００が行う。
以下、図８〜図１０とともに図１１を参照して、表示システム１の動作を説明する。

図１１に示す動作は、制御部３１０が仮想画像ＶＤを利用した表示を行う動作である。制御部３１０は、タッチセンサー３３２で検出した操作によって、ＨＭＤ１００への映像出力の開始が指示され、仮想画像ＶＤを使用する表示モードが指定された場合に、図１１の動作を実行する。

以下の説明で、画像表示部２０の視界に表示部３３０が含まれる場合とは、ＨＭＤ１００を装着する使用者が、画像表示部２０を透過して、外景としてＰＣ３００の表示部３３０を視認可能である場合を指す。画像表示部２０を透過する右眼ＲＥ及び左眼ＬＥの視野、すなわち使用者に見える外景の範囲は、画像表示部２０の方向から求めることができる。また、図４に示したように、カメラ６１の画角と、画像表示部２０を透過して外景を見る場合の右眼ＲＥ及び左眼ＬＥの視野との関係が既知である場合、制御部３１０は、カメラ６１の撮像画像データから、表示部３３０が視野に入っているか否かを判定できる。

制御部３１０は、ＵＳＢケーブル２Ｂを介して接続装置１０からカメラ６１の撮像画像データおよび各センサーの出力値を取得する（ステップＳ２１）。ステップＳ２１で、制御部３１０は、少なくとも、撮像画像データと、距離センサー６４の出力値を取得する。ステップＳ２１は、例えば検出値取得部３１２が実行する。
制御部３１０は、カメラ６１の撮像画像データに表示部３３０が含まれるか否かを判定する（ステップＳ２２）。ステップＳ２２で、制御部３１０は、例えば、撮像画像データからパターンマッチングにより表示部３３０の画像を検出する。
表示部３３０が撮像画像データに含まれないと判定した場合（ステップＳ２２；ＮＯ）、制御部３１０はステップＳ２１に戻る。

表示部３３０が撮像画像データに含まれると判定した場合（ステップＳ２２；ＹＥＳ）、制御部３１０は、ステップＳ２１で取得したセンサーの出力値に基づいて、表示部３３０の位置および姿勢を検出する（ステップＳ２３）。ステップＳ２３で、制御部３１０は、例えば、ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）の実行や、距離センサー６４の検出値に基づき、画像表示部２０と表示部３３０との相対的な位置を求める。また、制御部３１０は、撮像画像データで表示部３３０の基準点Ｐ１を検出し、検出した基準点Ｐ１の位置から、画像表示部２０に対する表示部３３０の相対位置を求めてもよい。

制御部３１０は、ステップＳ２３で求めた位置および姿勢に従って、３次元空間における表示部３３０の位置と姿勢をマッピングする（ステップＳ２４）。表示部３３０の位置および姿勢は、基準位置Ｐ２を原点または基準点とする３次元座標で表される。

制御部３１０は、表示部３３０の位置および方向に合わせて仮想画像ＶＤを３次元空間に配置する（ステップＳ２５）。仮想画像ＶＤのサイズは、予め設定されている。例えば、不揮発性記憶部３２０に、設定データ（図示略）として、仮想画像ＶＤの解像度や表示部３３０に対して設定すべき仮想画像ＶＤの位置を規定するデータが記憶される。

制御部３１０は、仮想画像ＶＤを、表示部３３０と平行で、表示部３３０と重なる面となるように、配置する。換言すれば、仮想画像ＶＤは表示部３３０を含み、表示部３３０よりも大きい仮想の平面である。制御部３１０は、仮想画像ＶＤの四隅の位置や中心の位置など、仮想画像ＶＤの位置を特定可能な基準位置について、基準位置Ｐ２を原点または基準点とする３次元座標を求める。

制御部３１０は、仮想画像ＶＤの画像データを生成する（ステップＳ２６）。仮想画像ＶＤは、上述したように表示部３３０を仮想的に拡大した画面であり、例えば、オペレーティングシステムのユーザーインターフェイスを構成する画面である。

制御部３１０は、仮想画像ＶＤにおいて、画像表示部２０によって表示する範囲を決定する（ステップＳ２７）。図８に示すように、画像表示部２０は仮想画像ＶＤの一部を表示する。制御部３１０は、仮想画像ＶＤにおいて画像表示部２０が表示する範囲を、画像表示部２０の向きと、仮想画像ＶＤとの相対的な位置により求める。

制御部３１０は、画像表示部２０が画像を表示する範囲における表示部３３０の位置を特定する（ステップＳ２８）。画像表示部２０は、ハーフミラー２６１、２８１に画像を表示し、画像が視認される範囲は、図８〜図１０の例では視野ＶＲと重なる。制御部３１０は、画像表示部２０を装着する使用者の視野ＶＲにおいて、画像表示部２０を透過して表示部３３０が視認される場合に、視野ＶＲにおいて表示部３３０が見える位置を特定する。この位置は、ステップＳ２３で特定されたＰＣ３００の位置および姿勢から求めることができる。

制御部３１０は、仮想画像ＶＤから、画像表示部２０に表示する範囲の画像を切り出し、あるいは抽出する処理を行い（ステップＳ２９）、切り出した画像にマスク処理を施す（ステップＳ３０）。ステップＳ３０でマスク処理を施す範囲は、画像表示部２０が表示する画像に表示部３３０が重なる範囲、または、表示部３３０に重なる部分を含む範囲である。

図８に示す例では、仮想画像ＶＤのうち領域ＶＤ１、ＶＤ２が、画像表示部２０が表示する範囲として切り出される。表示部３３０は、領域ＶＤ１が表示される位置において視認される。この場合、制御部３１０は、領域ＶＤ１全体をマスクしてもよいし、領域ＶＤ１のうち表示部３３０に重なる範囲のみにマスク処理を施してもよい。

使用者は、仮想画像ＶＤを画像表示部２０が表示している状態で、画像表示部２０を透過する外景を視認可能である。ここで、画像表示部２０が外景として視認する視野ＶＲに表示部３３０が含まれる場合、使用者には、表示部３３０が表示する画像と、画像表示部２０が表示する画像とが重なって見える。このような状態で、使用者により良い視体験を提供するため、本実施形態では、画像表示部２０の表示態様を調整することで、表示部３３０の視認性を高める処理を行う。この処理を、マスク処理と呼ぶ。

図９は、制御部３１０がマスク処理を施した状態を示す。図９の例では、表示部３３０に重なる範囲である領域ＶＤ１の全体にマスク処理が施されている。マスク処理は、例えば、画素の色データ（いわゆる画素データ、画素値）を黒色または暗色にする処理である。画像表示部２０は、ＯＬＥＤユニット２２１、２４１が発する光を右眼ＲＥ及び左眼ＬＥに入射することで画像を表示するので、画素値を黒または暗色にすると、右眼ＲＥ及び左眼ＬＥに入射する光量が減る。画像表示部２０が発する光量が減ると、画像表示部２０を透過する外光ＯＬの光量が相対的に増えるため、外景の視認性が高まる。従って、使用者は、マスク処理が施された範囲で外景を良好に視認でき、外景としての表示部３３０の視認性がマスク処理により高められる。
このように、制御部３１０が行うマスク処理は、画像表示部２０に表示させるために接続装置１０に出力する映像データの画素値を、光量が減るように、黒色（Ｒ，Ｇ，Ｂ＝０，０，０）または予め設定された暗色に設定する処理である。

マスク処理により、ＰＣ３００が接続装置１０に出力する映像データにおいて、表示部３３０が表示する画像を含む範囲の画素値が黒または暗色に変更されるので、実質的に、表示部３３０が表示する画像が除かれる。このように、制御部３１０は、画像表示部２０が画像を表示する範囲が表示部３３０と重なる場合に、表示部３３０が表示する画像を除いた映像データを接続装置１０に出力する。
マスク処理された映像データにおいては、表示部３３０に重なる領域である領域ＶＤ１の画像がマスクにより除かれ、その周囲に位置する領域（図１０では領域ＶＤ２）の画像が画像表示部２０により表示される。

制御部３１０は、マスク処理を施した画像の輻輳角を設定する（ステップＳ３１）。ステップＳ３１で、制御部３１０は、画像表示部２０が表示する仮想画像ＶＤの一部が、表示部３３０を含む平面として視認されるように、画像の輻輳角を設定する。ＰＣ３００は、画像表示部２０の右表示ユニット２２により表示される画像の画像データと、左表示ユニット２４により表示される画像の画像データとを含む映像データを出力する。制御部３１０は、右表示ユニット２２用の画像における仮想画像ＶＤの位置と、左表示ユニット２４用の画像における仮想画像ＶＤの位置とを調整することで、使用者の左眼ＬＥと右眼ＲＥの輻輳角を調整する。

制御部３１０は、接続装置１０への映像データの出力を開始する（ステップＳ３２）。接続装置１０は、Ｉ／Ｆ部１１０に入力される映像データを、表示制御部１２２によりデコードし、右表示ユニット２２及び左表示ユニット２４によって表示する処理を開始する。
ステップＳ２４〜Ｓ３２は、例えば、画像調整部３１５が実行する。

表示開始後、制御部３１０は、視野ＶＲが移動したか否かを判定する（ステップＳ３３）。ここで、視野ＶＲの移動とは、仮想画像ＶＤに対する視野ＶＲの相対的な位置の移動を意味する。ステップＳ３３では、画像調整部３１５が、位置検出部３１３の検出値に基づき判定を行う。また、以下のステップＳ３４〜Ｓ３９は画像調整部３１５が実行する。

図１０は、視野ＶＲが移動した例を示す。図１０の例では、視野ＶＲが、図９の状態に比べて上方に移動している。この移動により、視野ＶＲは、領域ＶＤ１、ＶＤ２、ＶＤ３、ＶＤ４に跨がるように重なっている。

制御部３１０は、視野ＶＲが移動したと判定した場合（ステップＳ３３；ＹＥＳ）、ＰＣ３００の位置、より具体的には表示部３３０の位置が、画像表示部２０が画像を表示する範囲外であるか否かを判定する（ステップＳ３４）。ステップＳ３４で、制御部３１０は、画像表示部２０と表示部３３０との相対的な位置および方向に基づく判定を行う。

表示部３３０の位置が画像表示部２０の表示範囲外であると判定した場合（ステップＳ３４；ＹＥＳ）、制御部３１０は、ステップＳ３０で施したマスク処理を解除する（ステップＳ３５）。制御部３１０は、移動後の視野ＶＲに合わせて、仮想画像ＶＤから切り出す範囲を変更し（ステップＳ３６）、ステップＳ３３に戻る。
図１０に示す例で、制御部３１０は、仮想画像ＶＤから領域ＶＤ１、ＶＤ２、ＶＤ３、ＶＤ４に跨がる範囲を切り出し、切り出した画像に対応する映像データを生成して接続装置１０に出力する。これにより、画像表示部２０は、視野ＶＲが重なる範囲の仮想画像ＶＤを表示する。

また、制御部３１０が、表示部３３０の位置が画像表示部２０の表示範囲外でないと判定した場合（ステップＳ３４；ＮＯ）、表示部３３０は、画像表示部２０の表示範囲内にある。この場合、制御部３１０は、表示部３３０が画像表示部２０の表示範囲の外から範囲内に移動したのか否かを判定する（ステップＳ３７）。
視野ＶＲの移動により、表示部３３０が画像表示部２０の表示範囲外にある状態から、表示範囲内に入った場合（ステップＳ３７；ＹＥＳ）、制御部３１０は、接続装置１０に出力する映像データの状態を初期化する（ステップＳ３８）。初期化において、制御部３１０は、接続装置１０に出力していた映像データにおけるマスク処理の有無、仮想画像ＶＤから切り出す範囲等を、初期状態に戻す。制御部３１０は、ステップＳ２３に戻り、映像データの出力を開始するための処理を再度実行する。

ステップＳ３８における初期化の処理は、具体的には、以下の例が挙げられる。第１の例として、ステップＳ３７において表示部３３０の全体が視野ＶＲに入ったと判定した場合に、以前に実行したステップＳ２５で配置及び処理された仮想画像ＶＤを利用して表示画像を生成する処理が挙げられる。また、第２の処理として、表示部３３０の位置に合わせて、ステップＳ２３以後の処理を実行し、新たに仮想画像ＶＤの位置（奥行きを含む）を再設定する処理が挙げられる。これらの他、制御部３１０が行う処理の具体例は任意である。

また、表示部３３０が画像表示部２０の表示範囲の外から範囲内に移動していない場合（ステップＳ３７；ＮＯ）、すなわち、表示部３３０が画像表示部２０の表示範囲内にある状態が継続している場合、制御部３１０は、ステップＳ３６に移動する。

また、制御部３１０は、視野ＶＲが移動していないと判定した場合（ステップＳ３３；ＮＯ）、表示を終了するか否かを判定する（ステップＳ３９）。例えば、表示部３３０に対する操作等により表示終了が指示された場合（ステップＳ３９；ＹＥＳ）、制御部３１０は接続装置１０への映像データの出力を停止して本処理を終了する。一方、表示を継続する場合（ステップＳ３９；ＮＯ）、制御部３１０はステップＳ３３に戻る。

ステップＳ３３では、画像表示部２０が移動した場合、例えば画像表示部２０を装着した使用者が頭部を動かした場合に、制御部３１０が、視野ＶＲが移動したと判定する。また、画像表示部２０が動かない状態で、ＰＣ３００が移動したことにより、画像表示部２０とＰＣ３００との相対位置が変化した場合も、同様に、視野ＶＲが移動したと判定してもよい。つまり、ステップＳ３３で検出される視野ＶＲの移動は、画像表示部２０とＰＣ３００との相対位置の変化であり、画像表示部２０が移動する場合、ＰＣ３００が移動する場合、および、画像表示部２０とＰＣ３００の両方が移動する場合を含む。

従って、使用者が頭部を移動した場合、及び、使用者や他の人物がＰＣ３００を移動させた場合のいずれも、ＰＣ３００の位置が画像表示部２０の表示範囲内か否かに応じて、ステップＳ３４以後の処理が実行される。

図７及び図１１に示す処理において、表示システム１は、距離センサー６４の代わりに、カメラ６１の撮像画像データを用いて、距離を検出してもよい。例えば、表示システム１は、不揮発性記憶部１３０または不揮発性記憶部３２０に、予め、画像表示部２０から被写体までの距離と、カメラ６１の撮像画像データに写る被写体の画像の大きさとを対応付けるデータを、参照用データとして記憶する。この場合、制御部３１０は、カメラ６１の撮像画像データにおけるＰＣ３００または表示部３３０の画像の大きさと、参照用データとをもとに、画像表示部２０からＰＣ３００または表示部３３０までの距離を算出することができる。

以上説明したように、第１実施形態の表示システム１は、表示部３３０を有するＰＣ３００と、ＰＣ３００に接続されるＨＭＤ１００と、を備える。ＰＣ３００は、画像を出力するＩ／Ｆ部３４１を備える。ＨＭＤ１００は、ＰＣ３００が出力する映像データを取得する取得部Ｉ／Ｆ部１１０を備える。また、ＨＭＤ１００は、外景を視認可能に構成され、ＨＭＤ１００が装着された状態で視認される外景に重ねて画像を表示する画像表示部２０と、取得部により取得された画像を画像表示部２０により表示させる表示制御部１２２と、を備える。表示制御部１２２は、外景として視認されるＰＣ３００の位置に対応させて画像を画像表示部２０に表示する。

また、ＰＣ３００は、ＨＭＤ１００に接続される本発明の電子機器に相当する。ＰＣ３００は、表示部３３０と、ＨＭＤ１００に映像データを出力するＩ／Ｆ部３４１と、を備える。また、ＰＣ３００は、ＨＭＤ１００の画像表示部２０に対する表示部３３０の相対位置を求める制御部３１０を備える。制御部３１０は、画像表示部２０に対する表示部３３０の相対位置に基づき、画像表示部２０に、外景として視認される表示部３３０の位置に対応する画像を表示するための映像データを生成してＩ／Ｆ部３４１から出力する。

本発明を適用した表示システム１、及び、ＰＣ３００によれば、ＰＣ３００が出力する画像を、ＨＭＤ１００によって、外景としてのＰＣ３００の表示部３３０の位置に対応するように表示できる。例えば、外景として見えるＰＣ３００の表示部３３０の位置に合わせて、ＨＭＤ１００により画像を表示できる。このように、外景に重ねて画像を表示するＨＭＤ１００により、外景として視認されるＰＣ３００の表示部３３０に合わせた表示を行うことができる。

また、制御部３１０は、表示部３３０よりも広い仮想表示領域に対応する仮想画像ＶＤを生成する。制御部３１０は、仮想表示領域に対応させて生成した仮想画像ＶＤの一部を表示部３３０に表示させ、仮想画像ＶＤの少なくとも一部を含む表示用の画像をＩ／Ｆ部３４１により出力させる。例えば、制御部３１０は、仮想画像ＶＤの一部を表示部３３０に表示させ、仮想画像ＶＤのうち表示部３３０が表示した部分を除く画像をＩ／Ｆ部３４１により出力させる。また、表示システム１は、ＨＭＤ１００が備える画像表示部２０において、制御部３１０の制御により出力された映像データに基づく画像を、外景として視認される表示部３３０の位置に合わせて表示する。具体的には、画像表示部２０において表示部３３０と重なる位置に対応する領域をマスクした映像データを、ＰＣ３００から接続装置１０に出力する。このため、ＨＭＤ１００の画像表示部２０に、ＰＣ３００の表示部３３０よりも広い仮想画像ＶＤに対応する表示を行うことができる。このため、ＨＭＤ１００によって、ＰＣ３００の表示部３３０を仮想的に拡大できる。

また、制御部３１０は、仮想画像ＶＤから表示部３３０に表示させた領域を除く映像データを生成してＩ／Ｆ部３４１により出力させる。制御部３１０は、ＨＭＤ１００が備える画像表示部２０において、制御部３１０の制御により出力された表示用の画像を、外景として視認される表示部３３０の周囲に表示する。つまり、ＨＭＤ１００により、ＰＣ３００の表示部３３０よりも広い仮想表示領域に対応する仮想画像ＶＤを表示する場合に、表示部３３０に表示される領域を除いて表示する。このため、表示部３３０の表示と、ＨＭＤ１００による表示とを、重複しないように組み合わせることができる。例えば、ＨＭＤ１００により、ＰＣ３００の表示部３３０の周囲に画像を表示することで、表示部３３０を仮想的に拡張する表示態様を実現できる。

また、制御部３１０は、ＨＭＤ１００の画像表示部２０に対する表示部３３０の相対位置を求め、求めた相対位置に基づき、マスク処理を行い、映像データを生成してＩ／Ｆ部３４１により出力させる。このように、画像表示部２０に対する表示部３３０の相対位置に対応するように映像データを生成するので、ＨＭＤ１００によって、ＰＣ３００の表示部３３０の位置に対応した表示を、容易に実現できる。

また、制御部３１０は、仮想画像ＶＤを生成し、実空間におけるＰＣ３００の位置に基づき仮想画像ＶＤの位置を決定する。制御部３１０は、仮想画像ＶＤと画像表示部２０との相対位置に対応するように、画像表示部２０により表示される仮想画像ＶＤの表示態様を調整する。これにより、ＨＭＤ１００によって、ＰＣ３００の表示部３３０の実空間における位置に合わせて仮想画像ＶＤを表示できる。この仮想画像ＶＤにより、表示部３３０を補完したり、拡張したりする効果を得ることができる。

また、制御部３１０は、画像表示部２０において外景として視認される範囲に表示部３３０が含まれることを検出した場合に、検出した表示部３３０の位置を基準として、仮想画像ＶＤの表示態様を初期化する。これにより、ＨＭＤ１００においてＰＣ３００の表示部３３０が外景として視認できるか否かに対応して、表示態様を調整できる。また、ＨＭＤ１００が画像を表示中に、ＰＣ３００の表示部３３０の視認状態が変化しても、適切に対応できる。

また、画像表示部２０は、使用者の頭部に装着され、使用者の左眼ＬＥに向けて画像光を発する左表示ユニット２４、及び、使用者の右眼ＲＥに向けて画像光を発する右表示ユニット２２を備える。そして、制御部３１０は、画像表示部２０の外景として視認される表示部３３０の位置に対応して、左表示ユニット２４による表示位置、及び右表示ユニット２２による表示位置が制御され、画像表示部２０に表示される画像の輻輳角を調整する。この場合、ＨＭＤ１００が表示する画像の輻輳角を調整することにより、ＨＭＤ１００の表示画像が視認される距離を、ＰＣ３００の表示部３３０の位置に対応させることができる。これにより、ＨＭＤ１００による表示とＰＣ３００の表示部３３０の表示とを、より適切に協調させることができる。

なお、図１１の処理において、表示部３３０が、画像表示部２０を透過する視界を遮るほどに画像表示部２０に極端に近接することがある。例えば、ステップＳ２３で検出された表示部３３０の位置が、予め設定された範囲よりも画像表示部２０に近い場合が挙げられる。この場合、制御部３１０は、接続装置１０に対する映像出力を停止して、ステップＳ２１に戻ってもよい。

上記実施形態では、制御部３１０が、右眼ＲＥ用の画像と左眼ＬＥ用の画像とにおける画像の表示位置を調整することで、輻輳角を制御して、画像表示部２０の表示画像に対し使用者が知覚する視認距離を制御する構成とした。
画像表示部２０が、右表示ユニット２２及び左表示ユニット２４が備える光学系により、使用者が画像表示部２０の表示画像について知覚する視認距離を調整可能である場合、この光学系の制御による調整を、輻輳角の制御に代えて行ってもよい。つまり、使用者が、仮想画像ＶＤの一部である画像表示部２０の表示画像を、表示部３３０と同じ位置の画像として知覚するように、光学系を制御してもよい。この場合、画像表示部２０の表示画像が視認される距離を、ＰＣ３００の表示部３３０の位置に対応させることができ、ＨＭＤ１００による表示とＰＣ３００の表示とを、より適切に協調させることができる。

上記の光学系としては、右眼ＲＥ及び左眼ＬＥを結ぶ左右方向に移動可能なレンズを備える構成が挙げられる。この構成では、右表示ユニット２２及び左表示ユニット２４の各々に、左右方向に移動可能なレンズが配置される。レンズは、例えば、右光学系２５１とハーフミラー２６１との間、及び、左光学系２５２とハーフミラー２８１との間に配置してもよい。また、右光学系２５１、左光学系２５２の内部にレンズを配置してもよい。レンズの位置に対応して、右眼ＲＥ及び左眼ＬＥの各々に入射する画像光の位置が左右方向に移動することで、輻輳角を変化させることが可能である。この例では、レンズの移動を制御部１２０が制御する構成とし、制御部３１０が、映像データと、レンズ位置を指定する制御データとを接続装置１０に出力することで、制御部３１０が算出した輻輳角を実現できる。

また、画像表示部２０が画像光を出力する光学系として、ホログラフィー表示装置を備えてもよい。この場合、画像表示部２０は、例えば、光源と、光源からの光を変調する空間光変調器（ＳＬＭ：ＳｐａｔｉａｌＬｉｇｈｔＭｏｄｕｌａｔｏｒ）と、を備える。ＳＬＭは、例えば、液晶を利用した反射型空間光位相変調器（ＬＣＯＳ（ＬｉｑｕｉｄＣｒｙｓｔａｌＯｎＳｉｌｉｃｏｎ）−ＳＬＭ）を用いることができる。この構成では、接続装置１０がＳＬＭに表示データを出力することにより、光源から発せられる参照光がＳＬＭにより変調され、立体像を結像する。この場合、ＰＣ３００から接続装置１０に出力される映像データ、または、ＰＣ３００が出力する映像データから表示制御部１２２が生成する表示データを調整することで、画像表示部２０が結像する立体像の焦点距離を調整可能である。このため、本実施形態で輻輳角を調整する制御に代えて、ホログラフィー表示装置として構成される画像表示部２０において立体像の焦点距離を制御することで、画像表示部２０が表示する像を使用者が視認する距離を、調整することができる。

また、画像表示部２０の外側に調光シェードを設けた構成であってもよい。調光シェードは、液晶パネル等を備え、制御部３１０の制御により光の透過率が変化する板状の電子デバイスである。画像表示部２０に調光シェードを設けた場合、画像表示部２０を装着する使用者の右眼ＲＥ及び左眼ＬＥには、調光シェードを透過し、さらに右導光板２６、左導光板２８を透過した外光ＯＬが入射する。使用者は、調光シェードと画像表示部２０とを透過した外光により外景を視認する。従って、調光シェードの透過率（透光率）により、使用者が外景を視認する視認性が変化する。
制御部３１０は、マスク処理を実行する際に、マスク処理する領域の視認性を高めるため、調光シェードにおける当該領域の透過率を高める制御を行ってもよい。

上記第１実施形態では、画像表示部２０の表示範囲における表示部３３０の位置を特定し、表示部３３０の位置に合わせて画像表示部２０に画像を表示する構成を説明した。つまり、画像表示部２０と表示部３３０との相対位置に合わせて画像を表示していた。本発明はこれに限定されず、例えば、画像表示部２０の表示範囲におけるＰＣ３００の位置を、ＰＣ３００の外観の一部または全部を基準として検出、あるいは特定してもよい。

すなわち、制御部３１０は、ステップＳ２２で、カメラ６１の撮像画像データにＰＣ３００の外観の少なくとも一部が含まれるか否かを判定する。ステップＳ２２で、制御部３１０は、例えば、撮像画像データからパターンマッチングにより、ＰＣ３００の画像を検出する。ここで、制御部３１０は、ＰＣ３００の筐体の隅の形状、ＰＣ３００における表示部３３０と筐体との境界部分の形状、ＰＣ３００の背面側の形状、ＰＣ３００の背面の塗装色等を、パターンマッチングにより、カメラ６１の撮像画像から検出してもよい。また、制御部３１０は、ＰＣ３００の筐体に貼付または固定されたマーカーを、カメラ６１の撮像画像から検出してもよい。マーカーは、例えば、バーコードや二次元コード等の画像コード、文字、その他の画像を用いることができる。また、ＰＣ３００の外装の模様や形状がマーカーとして機能する模様や形状となっていてもよい。例えば、ＰＣ３００は、図１に示す平板形状に限らず、突起や凹部を有する形状であってもよく、これらの突起や凹部を制御部３１０が検出する構成であってもよい。この場合、制御部３１０は、撮像画像データからＰＣ３００の位置や姿勢を特定し、画像表示部２０に対するＰＣ３００の相対位置を求めてもよい。また、制御部３１０は、画像表示部２０に対するＰＣ３００の相対位置を求め、求めた相対位置に基づいて、画像表示部２０と表示部３３０との相対位置を求める処理を行ってもよい。

［２．第２実施形態］
図１２は、本発明を適用した第２実施形態における表示態様の例を示す図である。
第２実施形態は、第１実施形態と共通の構成を有する表示システム１により、第１実施形態とは異なる仮想画像ＶＤを形成する例である。

図１２に示す仮想画像ＶＤは、図８に示した仮想画像ＶＤと同様に、表示部３３０に表示される画像よりサイズが大きい画像である。第２実施形態で、制御部３１０は、表示部３３０に表示される画像の全体を、仮想の表示領域に配置して、仮想画像ＶＤを生成する。

図１２に示すように、仮想画像ＶＤの全体に表示される画像は、表示部３３０が表示する画像の全体と同じ内容である。制御部３１０は、仮想表示領域の解像度と、表示部３３０が表示する画像の解像度または表示部３３０の表示解像度とが一致しない場合、解像度変換を行って、仮想画像ＶＤを生成する。

仮想画像ＶＤは、領域ＶＤ１、ＶＤ２、ＶＤ３、ＶＤ４に分割される。領域ＶＤ１〜ＶＤ４のそれぞれには、表示部３３０の表示画像を分割した一部が割り当てられる。図１２の仮想画像ＶＤは、表示部３３０の表示画像を４分割し、分割された領域が、領域ＶＤ１、ＶＤ２、ＶＤ３、ＶＤ４に表示される。

制御部３１０は、仮想画像ＶＤから、画像表示部２０により表示する範囲を切り出す（抽出する）処理（図１１のステップＳ２９、及び、ステップＳ３６）において、領域ＶＤ１〜ＶＤ４のいずれかを単位として切り出す。つまり、接続装置１０には、領域ＶＤ１〜ＶＤ４のいずれかの領域の映像データが出力される。

そして、視野ＶＲが移動したか否かを判定する処理（ステップＳ３３）で、制御部３１０は、視野ＶＲが、領域ＶＤ１〜ＶＤ４の境界を越えた場合に、視野ＶＲが移動したと判定する。この判定で、制御部３１０は、視野ＶＲの中心が領域ＶＤ１〜ＶＤ４の境界を越えて移動した場合、すなわち領域ＶＤ１〜ＶＤ４のいずれかの領域から、隣接する領域に移動した場合に、肯定判定する。

第２実施形態で、ＰＣ３００は、表示部３３０に対応する画像を表示部３３０に表示させ、表示部３３０の表示画像に対応する仮想画像ＶＤを生成し、仮想画像ＶＤの少なくとも一部を含む画像の映像データを出力させる。表示システム１は、ＨＭＤ１００が備える画像表示部２０において、制御部３１０の制御により出力された映像データに基づく画像を、外景として視認される表示部３３０の位置に合わせて表示させる。これにより、ＰＣ３００の表示部３３０に表示される画像の少なくとも一部を、画像表示部２０において外景として視認される表示部３３０の位置に合わせて、画像表示部２０に表示できる。このため、表示部３３０の表示画像と、ＨＭＤ１００が表示する画像とを協調させることができる。

また、制御部３１０は、仮想画像ＶＤの一部を切り出した画像をＩ／Ｆ部３４１により出力させるので、表示部３３０の表示画像の一部を画像表示部２０に拡大して表示できる。

また、制御部３１０は、ＨＭＤ１００の画像表示部２０に対する表示部３３０の相対位置を求め、求めた相対位置に基づき、映像データを生成する。これにより、画像表示部２０を備えるＨＭＤ１００によって、ＰＣ３００の表示部３３０の位置に対応した表示を、容易に実現できる。

［３．第３実施形態］
図１３及び図１４は、本発明を適用した第３実施形態における表示システム１の動作を示すフローチャートである。図１３はＰＣ３００の動作を示し、図１４はＨＭＤ１００の動作を示す。
第３実施形態は、第１実施形態と共通の構成を有する表示システム１により、第１実施形態とは異なる動作を実行する例である。

第３実施形態では、画像表示部２０に対するＰＣ３００の相対位置を検出する処理をＰＣ３００が実行する一方、ＰＣ３００が生成する仮想画像ＶＤの一部を切り出す処理を、ＨＭＤ１００が実行する。

図１３に示すフローチャートにおいて、図１１と共通の処理は、同じステップ番号を付して説明を省略する。
制御部３１０は、ステップＳ２１〜Ｓ２８の処理を実行する。制御部３１０は、ステップＳ２８で、画像表示部２０が画像を表示する範囲における表示部３３０の位置を特定する（ステップＳ２８）。ここで、制御部３１０は、ステップＳ２８で特定した表示部３３０の位置を示す位置データを、仮想画像ＶＤの映像データとともにＨＭＤ１００に出力する処理を開始する（ステップＳ５１）。ステップＳ５１で制御部３１０が出力する位置データは、仮想画像ＶＤから、画像表示部２０に表示する範囲の画像を切り出すためのデータである。

制御部３１０は、ステップＳ３２（図１１）と同様に、視野ＶＲが移動したか否かを判定する（ステップＳ５２）。ステップＳ５２では、画像調整部３１５が、位置検出部３１３の検出値に基づき判定を行う。また、以下で説明するステップＳ５３〜Ｓ５７は画像調整部３１５が実行する。

制御部３１０は、視野ＶＲが移動したと判定した場合（ステップＳ５２；ＹＥＳ）、ＰＣ３００の位置が、画像表示部２０が画像を表示する範囲外であるか否かを判定する（ステップＳ５３）。ステップＳ５３で、制御部３１０は、表示部３３０の位置が、画像表示部２０が画像を表示する範囲外であるか否かを判定してもよい。ステップＳ５３で、制御部３１０は、画像表示部２０と表示部３３０との相対的な位置および方向に基づく判定を行う。

ＰＣ３００の位置が画像表示部２０の表示範囲外であると判定した場合（ステップＳ５３；ＹＥＳ）、移動後の視野ＶＲに合わせて、ＨＭＤ１００に出力する位置データを変更し（ステップＳ５４）、ステップＳ５２に戻る。

制御部３１０がＰＣ３００の位置が画像表示部２０の表示範囲外でないと判定した場合（ステップＳ５３；ＮＯ）、制御部３１０は、ＰＣ３００が画像表示部２０の表示範囲の外から範囲内に移動したのか否かを判定する（ステップＳ５５）。
視野ＶＲの移動により、表示部３３０が画像表示部２０の表示範囲外にある状態から、表示範囲内に入った場合（ステップＳ５５；ＹＥＳ）、制御部３１０は、ＨＭＤ１００の表示を初期化する必要があると判定する（ステップＳ５６）。制御部３１０は、ステップＳ２３に戻り、映像データの出力を開始するための処理を再度実行する。この初期化の処理は、ステップＳ３８で説明した処理と同様であり、図１３及び図１４に示す動作例では画像表示部２０により初期化が行われる。

ＰＣ３００が画像表示部２０の表示範囲の外から範囲内に移動したのではないと判定した場合（ステップＳ５５；ＮＯ）、制御部３１０は、ステップＳ５４に移行して位置データを変更する。

ステップＳ５２では、ステップＳ３３と同様に、画像表示部２０が移動した場合、及び、ＰＣ３００が移動した場合のどちらであっても、画像表示部２０とＰＣ３００との相対位置が変化していれば、視野ＶＲが移動したと判定される。

制御部３１０は、視野ＶＲが移動していないと判定した場合（ステップＳ５２；ＮＯ）、表示を終了するか否かを判定する（ステップＳ５７）。例えば、表示部３３０に対する操作等により表示終了が指示された場合（ステップＳ５７；ＹＥＳ）、制御部３１０は接続装置１０への映像データの出力を停止して本処理を終了する。一方、表示を継続する場合（ステップＳ５７；ＮＯ）、制御部３１０はステップＳ５２に戻る。

図１４に示す動作において、ＨＭＤ１００の制御部１２０は、ＰＣ３００が出力する仮想画像ＶＤのデータと、位置データとを取得する処理を開始する（ステップＳ６１）。制御部１２０は、取得した位置データに基づいて、画像表示部２０が画像を表示する範囲における表示部３３０の位置を特定する（ステップＳ６２）。

制御部１２０は、仮想画像ＶＤから、画像表示部２０に表示する範囲の画像を切り出す処理を実行する（ステップＳ６３）。制御部１２０は、切り出した画像にマスク処理を施す（ステップＳ６４）。ステップＳ６４でマスク処理を施す範囲は、ステップＳ３０（図１１）と同様であり、画像表示部２０が表示する画像に表示部３３０が重なる範囲、または、表示部３３０に重なる部分を含む範囲である。

制御部１２０は、マスク処理を施した画像の輻輳角を設定する（ステップＳ６５）。ステップＳ６５で、制御部１２０は、ステップＳ３１（図１１）で制御部３１０が実行する処理と同様に、画像表示部２０が表示する仮想画像ＶＤの一部が、表示部３３０を含む平面として視認されるように、画像の輻輳角を設定する。制御部１２０は、画像表示部２０の右表示ユニット２２により表示される画像の画像データと、左表示ユニット２４により表示される画像の画像データとを含む映像データを生成して、表示を開始する（ステップＳ６６）。ここで、制御部１２０は、右表示ユニット２２用の画像における仮想画像ＶＤの位置と、左表示ユニット２４用の画像における仮想画像ＶＤの位置とを調整することで、使用者の左眼ＬＥと右眼ＲＥの輻輳角を調整することができる。

制御部１２０は、ＰＣ３００が出力する位置データが変更されたか否かを判定する（ステップＳ６７）。制御部１２０は、位置データが変更されたと判定した場合（ステップＳ６７；ＹＥＳ）、ＰＣ３００の位置が、画像表示部２０が画像を表示する範囲外であるか否かを判定する（ステップＳ６８）。ステップＳ６８の処理は、例えば、ステップＳ３４（図１１）で制御部３１０が実行する処理と同様である。

ＰＣ３００の位置が画像表示部２０の表示範囲外であると判定した場合（ステップＳ６８；ＹＥＳ）、制御部１２０は、ステップＳ６４で施したマスク処理を解除する（ステップＳ６９）。制御部１２０は、変更後の位置データに合わせて、仮想画像ＶＤから切り出す範囲を変更し（ステップＳ７０）、ステップＳ６７に戻る。

制御部１２０は、ＰＣ３００の位置が画像表示部２０の表示範囲外でないと判定した場合（ステップＳ６８；ＮＯ）、ＰＣ３００が画像表示部２０の表示範囲の外から範囲内に移動したのか否かを判定する（ステップＳ７１）。ＰＣ３００が画像表示部２０の表示範囲外にある状態から、表示範囲内に入った場合（ステップＳ７１；ＹＥＳ）、制御部１２０は、画像表示部２０の表示を初期化する（ステップＳ７２）。ステップＳ７２の初期化は、例えば、ステップＳ３８（図１１）と同様であり、制御部１２０は、マスク処理の有無、仮想画像ＶＤから切り出す範囲等を、初期状態に戻す。制御部１２０は、ステップＳ６１に戻り、表示を開始するための処理を再度実行する。

ＰＣ３００が画像表示部２０の表示範囲の外から範囲内に移動していない場合（ステップＳ７１；ＮＯ）、制御部１２０はステップＳ７０に移動する。

また、位置データが変更されていないと判定した場合（ステップＳ６７；ＮＯ）、制御部１２０は、表示を終了するか否かを判定する（ステップＳ７３）。例えば、ＰＣ３００から入力されるコマンドや、操作部１４０に対する操作等により表示終了が指示された場合（ステップＳ７３；ＹＥＳ）、制御部１２０は画像表示部２０による表示を停止して本処理を終了する。一方、表示を継続する場合（ステップＳ７３；ＮＯ）、制御部１２０はステップＳ６７に戻る。

この第３実施形態によれば、ＰＣ３００が、画像表示部２０に対するＰＣ３００の相対位置を特定し、画像表示部２０の表示範囲におけるＰＣ３００の位置を求める処理を行い、ＨＭＤ１００が仮想画像ＶＤから画像を切り出して画像表示部２０に表示する。このように、ＰＣ３００とＨＭＤ１００とが相互に処理を分担して実行する構成とすることで、ＨＭＤ１００の構成を単純化することでＨＭＤ１００の軽量化および小型化を実行することができる。また、画像表示部２０が仮想画像ＶＤから画像を切り出す処理を実行することで、例えば輻輳角の設定等の処理を、画像表示部２０において高速に実行できる。

第３実施形態で説明した動作において、ステップＳ３３〜Ｓ３８（図１１）と同様の処理を実行してもよい。この場合、ステップＳ３３、Ｓ３４、Ｓ３７の処理は制御部３１０が実行することが好ましい。また、制御部１２０は、制御部３１０が実行したステップＳ３３、Ｓ３４、Ｓ３７の処理結果を取得して、ステップＳ３５、Ｓ３６、Ｓ３８の処理を実行することが好ましい。

［４．第４実施形態］
図１５は、第４実施形態に係る表示システム１Ａを構成する各部のブロック図である。
表示システム１Ａは、第１実施形態で説明した表示システム１において、ＨＭＤ１００が、接続装置１０に代えて、制御装置１０Ａを備える構成となっている。制御装置１０Ａは、制御部１２１を備え、制御部１２１が、ＰＣ３００から入力される映像データを処理する。制御部１２１及び関連する各部の構成を除き、表示システム１Ａは、表示システム１と同様の構成部を備える。表示システム１と共通する構成部には同符号を付して説明を省略する。

制御部１２１は、制御部１２０（図５）と同様に、ＣＰＵやマイコン等のプロセッサー（図示略）を備え、このプロセッサーによりプログラムを実行することによって、ソフトウェアとハードウェアとの協働によりＨＭＤ１００の各部を制御する。また、制御部１２１は、プログラムされたハードウェアにより構成されてもよい。

制御部１２１には、不揮発性記憶部１３０、操作部１４０、及び、接続部１４５が接続される。また、制御部１２１は、位置検出部１２３、及び、画像調整部１２５を備える。位置検出部１２３は、位置検出部３１３と同様に、ＨＭＤ１００の位置を検出する。より詳細には、位置検出部１２３は、画像表示部２０が備えるセンサーの出力値に基づき、ＰＣ３００と画像表示部２０との相対位置を検出する。また、例えば、第１実施形態で説明したように、制御部３１０がカメラ６１の撮像画像データから被写体までの距離を求める処理を、制御部１２１が実行することもできる。

位置検出部１２３が検出する相対位置は、画像表示部２０とＰＣ３００が存在する空間における位置であってもよい。また、画像表示部２０と表示部３３０の相対的な向きを含んでもよい。例えば、画像表示部２０を基準とした場合の表示部３３０の位置および／または方向を示す情報であってもよい。また、例えば、ＰＣ３００を基準とした場合の画像表示部２０の位置および／または方向を示す情報であってもよい。また、例えば、画像表示部２０及びＰＣ３００が存在する空間に設定された三次元座標系における座標を含んでいてもよい。

画像調整部１２５は、Ｉ／Ｆ部１１０に入力され映像データの画像処理を行う。画像調整部１２５が実行する画像処理は、第１実施形態および第２実施形態で説明した画像調整部３１５の処理と同様である。
例えば、画像調整部１２５は、Ｉ／Ｆ部１１０に入力される映像データを、ＨＭＤ１００の仕様に合わせて解像度変換（スケーリング）、フレームレート変換、色調補正、データフォーマットの変更等を行う処理である。

表示システム１Ａは、表示システム１と同様に、図７に示したキャリブレーション処理、及び、図１１に示した動作を実行する。
表示システム１Ａが図７の動作を実行する場合、ステップＳ１３〜Ｓ１５は位置検出部１２３が実行する。また、表示システム１Ａが図１１の動作を実行する場合、位置検出部１２３は、ステップＳ２１、Ｓ２３を実行し、画像調整部１２５は、ステップＳ２２、Ｓ２４〜Ｓ３９を実行する。

第４実施形態では、画像調整部１２５が仮想画像ＶＤに相当する仮想の表示領域を設定し、ＰＣ３００が出力する映像データを仮想の表示領域に配置して仮想画像ＶＤを生成する。画像調整部１２５は、仮想画像ＶＤから、画像表示部２０によって表示する範囲を切り出して、必要に応じてマスク処理を施し、画像表示部２０によって画像を表示させる。

すなわち、ＨＭＤ１００Ａが、画像表示部２０に対する表示部３３０の相対位置を求め、求めた相対位置に基づき映像データを処理して、外景の表示部３３０の位置に対応する画像を画像表示部２０に表示させる制御部１２１を備える。

これにより、ＨＭＤ１００Ａが、画像表示部２０に対する表示部３３０の相対位置を求めて、この相対位置に対応するように表示用の画像を生成するので、ＰＣ３００の負荷を増大させることなく、表示部３３０の位置に対応した表示を実現できる。

また、ＰＣ３００が、表示部３３０が表示する画像と同じ画像を、ＨＤＭＩケーブル２Ａによりミラーリングして出力する構成において、ＨＭＤ１００Ａが、画像表示部２０の表示画像を調整する。すなわち、ＨＭＤ１００Ａが、画像表示部２０の方向や画像表示部２０とＰＣ３００との相対位置に対応して、画像表示部２０が表示する画像の表示態様を変化させる。

従って、表示システム１Ａは、第１実施形態で説明した表示システム１の効果を実現できる。さらに、ＨＭＤ１００Ａにおいて映像データを処理可能であることから、ＰＣ３００に代えて、映像データを出力する汎用機器を接続した場合に、画像表示部２０の位置や方向に対応して表示態様を変更できるという利点がある。

なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６１及び左導光板２８１が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、外景撮影用カメラ６１の撮影画像、この撮影画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮影した実空間の画像と仮想画像とを組み合わせるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）表示を用いてもよい。或いは、仮想画像を表示するＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、第４実施形態のＨＭＤ１００Ａは、制御装置１０Ａと画像表示部２０とが一体に構成され、使用者の頭部に装着される構成であってもよい。また、制御装置１０Ａとして、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、上記実施形態では、接続装置１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、表示システム１においてＨＭＤ１００、１００Ａに接続される機器は、ＰＣ３００に限定されない。例えば、据え置き型のテレビ受像器、据え置き型のパーソナルコンピューターのモニターであってもよい。また、ＰＣ３００に代えて、表示面に画像を投射するプロジェクターを用いてもよく、この場合、プロジェクターが画像を投射する投射面が第１表示部に相当する。また、これらの機器以外に、ＰＣ３００に代えて、可搬型または据え置き型の電子機器を用いることができる。ＰＣ３００またはＰＣ３００に代えて利用される各種の電子機器は、ＨＭＤ１００、１００Ａに無線接続されてもよい。例えば、コネクター１１Ａに代えて、Ｍｉｒａｃａｓｔ（登録商標）やＷｉｒｅｌｅｓｓＨＤ（登録商標）などの無線映像通信インターフェイスを利用してもよい。また、コネクター１１Ｂに代えて、無線ＬＡＮ（ＷｉＦｉ（登録商標）を含む）を用いてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）を利用してもよい。

また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。

２…ケーブル、２Ａ…ＨＤＭＩケーブル、２Ｂ…ＵＳＢケーブル、１０…接続装置、１０Ａ…制御装置、１１、１１Ａ、１１Ｂ、１１Ｃ…コネクター、２０…画像表示部（第２表示部）、２２…右表示ユニット（右眼用表示部）、２４…左表示ユニット（左眼用表示部）、６１…カメラ、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、１００、１００Ａ…ＨＭＤ（表示装置）、１１０…Ｉ／Ｆ部（取得部）、１２０…制御部、１２１…制御部、１２３…位置検出部、１２４…センサー制御部、１２５…画像調整部、１２６…電源制御部、１３０…不揮発性記憶部、１４０…操作部、１４５…接続部、２１７…温度センサー、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２６１…ハーフミラー、２８１…ハーフミラー、３００…ＰＣ（電子機器）、３１０…制御部（電子機器制御部）、３１１…入出力制御部、３１２…検出値取得部、３１３…位置検出部、３１５…画像調整部、３２０…不揮発性記憶部、３２１…コンテンツデータ、３３０…表示部（第１表示部）、３３１…表示パネル、３３２…タッチセンサー、３４１…Ｉ／Ｆ部（出力部）、３４５…通信部、ＶＤ…仮想画像、ＶＤ１〜ＶＤ４…領域、ＶＲ…視野。

Claims

第１表示部を有する電子機器と、前記電子機器に接続される頭部装着型の表示装置と、を備え、
前記電子機器は、
画像を出力する出力部を備え、
前記表示装置は、
前記電子機器が出力する前記画像を取得する取得部と、
前記表示装置が装着された状態で視認される外景に重ねて画像を表示する第２表示部と、
前記取得部により取得された前記画像を前記第２表示部により表示させる表示制御部と、を備え、
前記表示制御部は、外景として視認される前記電子機器の位置に対応させて前記画像を前記第２表示部に表示する、表示システム。
前記電子機器は、前記第１表示部よりも広い仮想表示領域に対応する画像を生成し、生成した前記画像の一部を前記第１表示部に表示させ、生成した前記画像の少なくとも一部を前記出力部により出力させる電子機器制御部を備え、
前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の少なくとも一部を、前記電子機器の位置に合わせて前記第２表示部に表示する、請求項１記載の表示システム。
前記電子機器制御部は、前記仮想表示領域に対応させて生成した前記画像のうち、前記第１表示部に表示させた部分を除く前記画像を、前記出力部により出力させ、
前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像を前記第２表示部に表示する、請求項２記載の表示システム。
前記表示装置が備える前記表示制御部は、前記電子機器により出力された前記画像を、外景として視認される前記第１表示部の周囲に表示する、請求項３記載の表示システム。
前記電子機器制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記仮想表示領域に対応させて生成した前記画像の一部を前記第１表示部に表示し、前記第１表示部に表示させた部分を除く前記画像を前記出力部により出力させる、請求項３または４に記載の表示システム。
前記電子機器制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記仮想表示領域に対応させて生成した前記画像のうち前記第１表示部に表示させた部分をマスクした画像を前記出力部により出力させる、請求項５記載の表示システム。
前記電子機器制御部は、前記仮想表示領域に対応させて生成した前記画像を前記出力部により出力させ、
前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の一部を切り出した画像を前記第２表示部に表示する、請求項２記載の表示システム。
前記表示制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記取得部により取得された前記画像の一部を抽出して前記第２表示部に表示させる、請求項７記載の表示システム。
前記表示制御部は、前記第２表示部に対する前記第１表示部の相対位置に基づいて、前記取得部により取得された前記画像のうち前記第１表示部に重なる部分をマスクした画像を前記第２表示部に表示させる、請求項７または８に記載の表示システム。
前記電子機器制御部は、実空間における前記電子機器の位置に基づき前記仮想表示領域の位置を決定し、前記仮想表示領域と前記第２表示部との相対位置に基づいて、前記第２表示部の表示態様を調整する、請求項２から６のいずれか１項に記載の表示システム。
前記電子機器制御部は、前記第１表示部が前記第２表示部を透過して視認される範囲に含まれることを検出した場合に、前記第１表示部の位置を基準として、前記画像の表示態様を初期化する、請求項２から１０のいずれか１項に記載の表示システム。
前記第２表示部は、前記表示装置を装着した使用者の左眼に向けて画像光を発する左眼用表示部、及び、前記使用者の右眼に向けて画像光を発する右眼用表示部を備え、
前記第２表示部により外景として視認される前記第１表示部の位置に対応して、前記左眼用表示部による表示位置、及び前記右眼用表示部による表示位置が制御され、前記第２表示部に表示される画像の輻輳角が調整される、請求項１から１１のいずれか１項に記載の表示システム。
前記第２表示部は、前記第２表示部により表示される画像を前記使用者が知覚する視認距離を調整可能な光学系を有し、
前記第２表示部に表示される画像の輻輳角に対応して前記光学系が制御される、請求項１２記載の表示システム。
外景に重ねて画像を表示する頭部装着型の表示装置に接続される電子機器であって、
第１表示部と、
前記表示装置に画像を出力する出力部と、
前記表示装置が有する第２表示部に対する前記第１表示部の相対位置に基づいて、前記表示装置によって外景として視認される前記第１表示部の位置に対応する画像を前記第２表示部に表示するための画像を、前記出力部により出力させる制御部と、を備える、電子機器。
第１表示部を有する電子機器と、外景に重ねて画像を表示する第２表示部を有する頭部装着型の表示装置と、による表示方法であって、
前記電子機器により画像を出力し、
前記表示装置により、
前記電子機器が出力する前記画像を取得し、
取得した画像を前記第２表示部により表示させ、
前記第２表示部において外景として視認される前記電子機器の位置に対応させて、前記第２表示部に前記画像を表示する、表示方法。