JP6340301B2 - ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム - Google Patents

Description

本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイ、表示制御プログラム、表示制御方法、及び表示システムに関する。

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、よりユーザフレンドリーな入力技術が必要であると認識した。

上記課題を解決するために、本発明のある態様のヘッドマウントディスプレイは、ユーザの頭部に装着可能なヘッドマウントディスプレイであって、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える。

本発明の別の態様は、表示制御方法である。この方法は、取得部が、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得するステップと、表示制御部が、取得部が取得した画像のデータを、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示するステップと、を備える。

本発明のさらに別の態様は、表示システムである。この表示システムは、ユーザの頭部に装着可能なヘッドマウントディスプレイと、ヘッドマウントディスプレイに表示させる画像を生成する画像処理装置と、を備える。ヘッドマウントディスプレイは、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを画像処理装置から取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える。画像処理装置は、入力情報を取得し、入力情報に基づいて、画像のデータを生成する画像生成部を備える。

本発明のさらに別の態様は、ヘッドマウントディスプレイである。このヘッドマウントディスプレイは、ユーザの頭部に装着可能なヘッドマウントディスプレイであって、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に装着される、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成された画像のデータを取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える。

本発明のさらに別の態様は、携帯情報端末である。この携帯情報端末は、ユーザが携帯可能な携帯情報端末であって、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときにヘッドマウントディスプレイの外側となる面に携帯情報端末が装着されたときに、入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を、入力情報に基づいてヘッドマウントディスプレイに表示する画像を生成する装置に送信する通信部と、を備える。

本発明のさらに別の態様は、画像処理装置である。この装置は、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときにヘッドマウントディスプレイの外側となる面に装着された、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を受信する受信部と、受信部により受信された入力情報に基づいて、ヘッドマウントディスプレイがユーザの頭部に装着されたときにヘッドマウントディスプレイの内側となる面に設けられた表示装置に表示すべき画像のデータを生成する生成部と、生成部により生成された画像のデータをヘッドマウントディスプレイに送信する送信部と、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。

実施の形態に係るゲームシステムの使用環境を示す図である。 実施の形態に係るヘッドマウントディスプレイの外観図である。 ゲーム装置の機能構成図である。 ヘッドマウントディスプレイの機能構成図である。 ヘッドマウントディスプレイの制御部の機能構成図である。 携帯情報端末の機能構成図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 携帯情報端末のタッチパネルを示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 携帯情報端末のタッチパネルを示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 携帯情報端末のタッチパネルを示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 携帯情報端末のタッチパネルを示す図である。 携帯情報端末のタッチパネルを示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 携帯情報端末のタッチパネルを示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 携帯情報端末のタッチパネルに表示される画像の例を示す図である。 携帯情報端末のタッチパネルに表示される画像の例を示す図である。 携帯情報端末のタッチパネルに表示される画像の例を示す図である。 携帯情報端末のタッチパネルに表示される画像の例を示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 ヘッドマウントディスプレイの表示装置の表示領域と、タッチパネル及びタッチパッドの入力領域との対応関係を示す図である。 ヘッドマウントディスプレイの表示装置に表示される画像の例を示す図である。 実施の形態に係る表示制御方法の手順を示すシーケンス図である。

ヘッドマウントディスプレイ（ＨＭＤ）を用いた表示システムについて説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。

図１は、実施の形態に係るゲームシステム１の使用環境を示す。ゲームシステム１は、ゲームプログラムを実行するゲーム装置１０と、ユーザの指示をゲーム装置１０に入力するための入力デバイス２０と、ユーザの周囲の実空間を撮像する撮像装置１４と、ゲーム装置１０により生成されるゲーム画像を表示するヘッドマウントディスプレイ１００とを備える。

本実施の形態では、ヘッドマウントディスプレイ１００を装着したときにユーザの外側となる面に、ユーザによるタッチ入力を受け付けるための入力装置が設けられる。この入力装置に対する入力のみにより操作可能なゲームを実行する場合は、入力デバイス２０は用いられなくてもよい。ヘッドマウントディスプレイ１００を装着したとき、ユーザは周囲の状況を視認することができなくなるため、ヘッドマウントディスプレイ１００を装着した後に入力デバイス２０などの入力機器を探すことが困難である。また、入力デバイス２０などの入力機器を大きく動かしたりすると周囲の障害物などにぶつかってしまうこともありうる。しかし、本実施の形態では、タッチ入力を受付可能な入力装置のみで入力を受け付けることもできるので、入力デバイス２０を探す必要も振り回す必要もない。また、後述するように、タッチ入力を用いた直感的な入力インタフェースにより操作を行うことができるので、ゲームに慣れていないユーザでも使いやすいユーザフレンドリーな入力インタフェースを提供することができる。

この入力装置と入力デバイス２０の双方により操作指示を受け付けるゲームを実行する場合は、例えば図１に示すように、右手で入力デバイス２０を把持して操作しつつ、左手でヘッドマウントディスプレイ１００の外面に設けられた入力装置に対する入力を行ってもよい。

ゲーム装置１０は、入力デバイス２０又はヘッドマウントディスプレイ１００の外面に設けられた入力装置に対する指示入力に基づいてゲームプログラムを実行して、ゲームプログラムの処理結果を示す画像信号を生成し、生成した画像信号をヘッドマウントディスプレイ１００に伝送する。

ヘッドマウントディスプレイ１００は、ゲーム装置１０において生成された画像信号を受けて、ゲーム画像を表示する。また、ヘッドマウントディスプレイ１００の外面に設けられた入力装置に対するユーザのタッチ入力に関する情報をゲーム装置１０へ伝送する。ヘッドマウントディスプレイ１００は、ゲーム装置１０に有線ケーブルで接続されてもよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。

ゲーム画像は、表示装置１２に出力されてもよい。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。

入力デバイス２０は、ユーザによる指示入力をゲーム装置１０に伝送する機能をもち、本実施例ではゲーム装置１０との間で無線通信可能な無線コントローラとして構成される。入力デバイス２０とゲーム装置１０は、Bluetooth（登録商標）（ブルートゥース）プロトコルを用いて無線接続を確立してもよい。なお入力デバイス２０は、無線コントローラに限らず、ゲーム装置１０とケーブルを介して接続される有線コントローラであってもよい。

入力デバイス２０はバッテリにより駆動され、ゲームを進行させる操作指示を行うための複数のボタンを有して構成される。ユーザが入力デバイス２０のボタンを操作すると、その操作指示が無線通信によりゲーム装置１０に送信される。

撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介してゲーム装置１０と接続する。撮像装置１４により撮像された画像は、ゲーム装置１０において、入力デバイス２０及びヘッドマウントディスプレイ１００の位置及び姿勢を導出するために用いられる。撮像装置１４は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置１４により、撮像装置１４と入力デバイス２０又はヘッドマウントディスプレイ１００などとの間の距離を取得することができる。

本実施例のゲームシステム１において、入力デバイス２０は複数色で発光可能に構成された発光体を有する。ゲーム中、発光体はゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される。撮像装置１４は入力デバイス２０を撮像し、フレーム画像を生成してゲーム装置１０に供給する。ゲーム装置１０はフレーム画像を取得して、フレーム画像における発光体の画像の位置および大きさから、実空間における発光体の位置情報を導出する。ゲーム装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーキャラクタの動作を制御するなど、ゲームの処理に反映させる。本実施例のゲーム装置１０は、入力デバイス２０のボタンなどの操作入力だけでなく、取得した発光体画像の位置情報も用いてゲームアプリケーションを処理する機能をもつ。

また、入力デバイス２０は加速度センサおよびジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置１０に送信され、ゲーム装置１０は、センサの検出値を取得して、実空間における入力デバイス２０の姿勢情報を取得する。ゲーム装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、頭部接触部１２０、タッチパッド１４０、及び端末装着部１５０を含む。

ヘッドマウントディスプレイ１００に内蔵または外付けされたＧＰＳ（Global Positioning System）などの位置センサによりユーザの位置情報を計測することができる。また、ヘッドマウントディスプレイ１００に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ１００を装着したユーザの頭部の向きや傾きといった姿勢情報を計測することができる。

本体部１１０には、ディスプレイ、位置情報取得センサ、姿勢センサ、通信装置などが含まれる。頭部接触部１２０には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが含まれる。

ヘッドマウントディスプレイ１００の外面には、ユーザによるタッチ入力を受け付けるための入力装置が設けられる。入力装置は、ヘッドマウントディスプレイ１００に予め備え付けられた、表示装置が併設されないタッチパッドであってもよいし、表示装置が併設されたタッチパネルであってもよい。また、入力装置として機能するタッチパッド又はタッチパネルを備えたスマートフォンなどの外部装置がヘッドマウントディスプレイ１００に着脱自在に接続されてもよい。本実施の形態においては、本体部１１０の上面及び側面にタッチパッド１４０が設けられ、本体部１１０の前面に設けられた端末装着部１５０に携帯情報端末２００が着脱自在に接続される。

側頭部に設けられたタッチパッド１４０は、マトリクス・スイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式など、任意の方式のタッチパッドであってもよい。タッチパッド１４０は、ユーザの指などが表面に接触したときに入力を検知する接触式のタッチパッドであってもよいし、ユーザの指などが表面に近接したときにも入力を検知可能な非接触式のタッチパッドであってもよい。タッチパッド１４０は、表面に対する押圧の圧力を検知可能な感圧センサを備えてもよいし、入力を検知した領域の面積、電圧値、静電容量などに基づいて入力の強度を算出してもよい。タッチパッド１４０は、入力を検知した位置の座標を出力する。

前頭部には、携帯情報端末２００を着脱自在に装着するための端末装着部１５０が設けられており、ユーザの携帯情報端末２００を装着可能である。携帯情報端末２００が装着される場合は、携帯情報端末２００が入力装置として機能する。また、携帯情報端末２００の表示装置にヘッドマウントディスプレイ１００が生成した画像又はヘッドマウントディスプレイ１００に関する情報などを表示可能である。

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。

本実施の形態においては、ヘッドマウントディスプレイ１００について説明するが、本実施の形態の表示制御方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

図３は、ゲーム装置１０の機能構成図である。ゲーム装置１０は、通信部３０２、制御部３１０、及びデータ保持部３６０を備える。制御部３１０は、入力情報受信部３１１、入力位置調整部３１２、ＨＭＤ画像データ生成部３１３、ＨＭＤ画像データ送信部３１４、タッチパネル表示情報生成部３１５、タッチパネル表示情報送信部３１６、ＨＭＤ表示情報受信部３１７、撮像画像解析部３１８、及びゲーム制御部３１９を備える。

通信部３０２は、ヘッドマウントディスプレイ１００、携帯情報端末２００、入力デバイス２０、撮像装置１４、表示装置１２などとの間の通信を制御する。データ保持部３６０は、ゲーム装置１０において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。

入力情報受信部３１１は、ヘッドマウントディスプレイ１００及び携帯情報端末２００が受け付けたユーザによるタッチ入力の情報をヘッドマウントディスプレイ１００及び携帯情報端末２００からそれぞれ受信する。入力情報受信部３１１は、更に、ヘッドマウントディスプレイ１００の位置及び姿勢に関する情報をヘッドマウントディスプレイ１００から受信する。入力デバイス２０が用いられる場合は、入力情報受信部３１１は、入力デバイス２０が受け付けたボタンなどの入力の情報を入力デバイス２０から受信する。

入力位置調整部３１２は、入力情報受信部３１１が受信した入力情報におけるタッチ入力の位置を、ヘッドマウントディスプレイ１００に表示される画像の位置に対応付ける。本実施の形態では、異なる位置に配置された複数のタッチパッド１４０及び携帯情報端末２００のタッチパネルによりユーザのタッチ入力を受け付けるので、それぞれのタッチ領域を表示される画像の領域に対応付ける必要がある。入力位置調整部３１２の機能の詳細については後述する。

ゲーム制御部３１９は、ゲームプログラムを実行し、入力情報受信部３１１が受信したユーザによる指示入力に基づいてゲームを進行させる。

ＨＭＤ画像データ生成部３１３は、ゲーム制御部３１９により制御されるゲームの画像を生成する。ＨＭＤ画像データ送信部３１４は、ＨＭＤ画像データ生成部３１３が生成した画像データをヘッドマウントディスプレイ１００に送信する。

タッチパネル表示情報生成部３１５は、ゲーム制御部３１９により制御されるゲームに関する情報で、携帯情報端末２００のタッチパネルに表示すべき情報を生成する。携帯情報端末２００のタッチパネルは、ゲーム中に、ヘッドマウントディスプレイ１００を装着しているユーザは見ることができないが、ユーザの周囲にいる他の人に向けた情報を表示することができる。タッチパネル表示情報送信部３１６は、タッチパネル表示情報生成部３１５が生成した表示情報を携帯情報端末２００に送信する。

ＨＭＤ表示情報受信部３１７は、携帯情報端末２００から、ヘッドマウントディスプレイ１００の表示装置に表示すべき情報を受信する。ＨＭＤ表示情報受信部３１７が受信した表示情報は、ＨＭＤ画像データ生成部３１３により、ヘッドマウントディスプレイ１００に表示される画像に含められる。これにより、ゲーム中であっても、携帯情報端末２００から送信される表示情報をヘッドマウントディスプレイ１００の表示装置に表示し、ユーザに視認させることができる。

撮像画像解析部３１８は、撮像装置１４が撮像した画像を取得し、取得した画像を解析して、ヘッドマウントディスプレイ１００及び入力デバイス２０の位置及び姿勢を算出する。ゲーム制御部３１９は、入力デバイス２０の位置及び姿勢をユーザによる指示として取得し、ゲームの進行に反映させる。ＨＭＤ画像データ生成部３１３は、ヘッドマウントディスプレイ１００の位置及び姿勢に基づいて、ゲームの画像を生成するときに使用する視点位置及び視線方向を制御する。

図４は、ヘッドマウントディスプレイ１００の機能構成図である。ヘッドマウントディスプレイ１００は、入力インタフェース２２、出力インタフェース３０、バックライト３２、通信制御部４０、ネットワークアダプタ４２、アンテナ４４、記憶部５０、ＧＰＳユニット６０、無線ユニット６２、姿勢センサ６４、外部入出力端子インタフェース７０、外部メモリ７２、時計部８０、表示装置９０、タッチパッド１４０、及び制御部１６０を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。

制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２２は、タッチパッド１４０及びタッチパッドコントローラから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース３０は、制御部１６０から画像信号を受け取り、表示装置９０に表示させる。バックライト３２は、表示装置９０を構成する液晶ディスプレイにバックライトを供給する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。

記憶部５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

ＧＰＳユニット６０は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。

姿勢センサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

時計部８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。

図５は、ヘッドマウントディスプレイ１００の制御部１６０の機能構成図である。制御部１６０は、タッチ入力受付部１６１、入力位置調整部１６２、入力情報送信部１６３、ＨＭＤ画像データ受信部１６４、及びＨＭＤ表示制御部１６５を備える。

タッチ入力受付部１６１は、タッチパッド１４０から入力信号を受け付ける。入力位置調整部１６２は、タッチ入力受付部１６１が受け付けた入力の位置を、表示装置９０に表示される画像のうちタッチパッド１４０の入力領域が割り当てられた領域の位置に対応付ける。入力情報送信部１６３は、入力位置調整部１６２により調整されたタッチ入力の位置を示す情報をゲーム装置１０に送信する。

ＨＭＤ画像データ受信部１６４は、表示装置９０に表示すべき画像のデータをゲーム装置１０から受信する。ＨＭＤ表示制御部１６５は、ＨＭＤ画像データ受信部１６４が受信した画像データを表示装置９０に表示する。

図６は、携帯情報端末２００の機能構成図である。携帯情報端末２００は、ボタン２６１、通信部２０２、制御部２１０、データ保持部２６０、及びタッチパネル２６２を備える。制御部２１０は、タッチ入力受付部２１１、入力位置調整部２１２、入力情報送信部２１３、タッチパネル表示情報受信部２１４、タッチパネル表示制御部２１５、ＨＭＤ表示情報生成部２１６、及びＨＭＤ表示情報送信部２１７を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。

通信部２０２は、ゲーム装置１０との間の通信を制御する。データ保持部２６０は、携帯情報端末２００において実行されるアプリケーションのプログラムデータやアプリケーションが使用するデータなどを格納する。タッチパネル２６２は、制御部２１０により生成された画像を表示するとともに、ユーザによるタッチ入力を検知する。

制御部２１０は、タッチパネル２６２に対するタッチ入力を、ゲーム装置１０により実行され、ヘッドマウントディスプレイ１００に画像が表示されるゲームに対する入力として受け付けるための連携アプリケーションを実行する。

タッチ入力受付部２１１は、タッチパネル２６２から入力信号を受け付ける。入力位置調整部２１２は、タッチ入力受付部２１１が受け付けた入力の位置を、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像のうちタッチパネル２６２の入力領域が割り当てられた領域の位置に対応付ける。タッチパネル２６２の入力領域が割り当てられた領域に関する情報は、連携アプリケーションの起動時などに、ヘッドマウントディスプレイ１００又はゲーム装置１０から予め取得される。入力情報送信部２１３は、入力位置調整部２１２により調整されたタッチ入力の位置を示す情報をゲーム装置１０に送信する。

タッチパネル表示情報受信部２１４は、タッチパネル２６２に表示すべき情報をゲーム装置１０から受信する。タッチパネル表示制御部２１５は、タッチパネル表示情報受信部２１４が受信した情報をタッチパネル２６２に表示する。

ＨＭＤ表示情報生成部２１６は、ヘッドマウントディスプレイ１００の表示装置に表示すべき情報を生成する。ＨＭＤ表示情報生成部２１６は、携帯情報端末２００において実行される他のアプリケーションから各種の通知情報を取得して、所定の条件にしたがって通知情報から表示情報を生成する。例えば、携帯情報端末２００のメール送受信アプリケーションがメールを受信したときに、メールのタイトル、本文の冒頭の所定数の文字列、送信者などの情報を抽出し、表示情報を生成してもよい。ＨＭＤ表示情報送信部２１７は、ＨＭＤ表示情報生成部２１６が生成した表示情報をゲーム装置１０に送信する。なお、本実施の形態では、ヘッドマウントディスプレイ１００の表示装置に表示すべき情報は、いったんゲーム装置１０に送信され、ゲーム装置１０により画像データが生成されるが、別の例では、ヘッドマウントディスプレイ１００の表示装置に表示すべき情報は、直接ヘッドマウントディスプレイ１００に送信され、ヘッドマウントディスプレイ１００のＨＭＤ表示制御部１６５により表示装置９０に表示されてもよい。

図７は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。ヘッドマウントディスプレイ１００の表示装置９０には、ゲーム装置１０により制御されるゲームの画像が表示される。

図８は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。図７に示したゲームの状況において、突然周囲が暗転し、暗闇に包まれてしまったとする。ゲーム装置１０のＨＭＤ画像データ生成部３１３は、真っ暗なゲーム画像を生成し、ヘッドマウントディスプレイ１００の表示装置９０には、真っ暗なゲーム画像が表示される。

図９は、携帯情報端末２００のタッチパネル２６２を示す。図９の例では、ゲーム装置１０のタッチパネル表示情報生成部３１５は、ヘッドマウントディスプレイ１００の表示装置９０に表示する画像と同じ画像をタッチパネル２６２に表示するための情報を生成し、携帯情報端末２００のタッチパネル表示制御部２１５は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像と同じ画像をタッチパネル２６２に表示する。ここで、タッチパネル２６２の任意の位置において下方向のフリック入力を行うことにより暗視ゴーグルを装着し、上方向にフリック入力を行うことにより暗視ゴーグルを外す機能が設けられているとする。タッチパネル２６２においてユーザが下方向にフリック入力を行うと、入力情報送信部２１３は、下方向にフリック入力が行われたことを示す情報をゲーム装置１０に送信する。

図１０は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。図９に示したように、ユーザがタッチパネル２６２に対して下方向にフリック入力を行ったとき、ゲーム装置１０のゲーム制御部３１９は、タッチパネル２６２において下方向にフリック入力が行われたことを示す情報を取得すると、暗視ゴーグルが装着されたものとして、ＨＭＤ画像データ生成部３１３に暗視画像の生成を指示する。ＨＭＤ画像データ生成部３１３は暗視画像を生成し、図１０に示すように、ヘッドマウントディスプレイ１００の表示装置９０には暗視画像が表示される。このように、ユーザが実際にゴーグルを上下に脱着する動きと、タッチパネル２６２に対して上下にフリック入力を行う動きが対応しているので、直感的に分かりやすいユーザフレンドリーな操作体系を提供することができる。

図１１は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。ヘッドマウントディスプレイ１００の表示装置９０には、視界に曇り４０２が生じているゲームの画像が表示されている。

図１２は、携帯情報端末２００のタッチパネル２６２を示す。タッチパネル２６２の任意の位置において任意の方向にスワイプ入力を行うことにより、スワイプした位置に表示されている曇り４０２を除去する機能が設けられているとする。タッチパネル２６２においてユーザがスワイプ入力を行うと、入力情報送信部２１３は、スワイプされた位置を示す情報をゲーム装置１０に送信する。

図１３は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。図１２に示したように、ユーザがタッチパネル２６２に対してスワイプ入力を行ったとき、ゲーム装置１０のゲーム制御部３１９は、スワイプ入力が行われた位置に表示されている曇り４０２を除去する。ＨＭＤ画像データ生成部３１３は、図１３に示すように、除去された曇り４０２をゲーム画像から消去する。なお、図１２において、ユーザはタッチパネル２６２に表示されたゲーム画像の右側の領域においてスワイプ入力を行っているが、ユーザから見ると画面の左側の領域に対応するので、ゲーム制御部３１９は、ゲーム画像の左側の領域に表示されていた曇り４０２を消去している。また、ヘッドマウントディスプレイ１００に表示されるゲーム画像と同じ画像をタッチパネル２６２に表示すると、タッチパネル２６２を見ている人からすれば、ユーザがゲーム画像の右側の領域においてスワイプ入力を行ったのに、ゲーム画像の左側の領域に表示されていた曇り４０２が消去されることになって違和感を与えてしまうので、タッチパネル２６２には、ヘッドマウントディスプレイ１００に表示されるゲーム画像を左右反転させた鏡像画像を表示している。

図１４は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。ヘッドマウントディスプレイ１００の表示装置９０には、視界にクモ４０４が張り付いているゲームの画像が表示されている。

図１５は、携帯情報端末２００のタッチパネル２６２を示す。タッチパネル２６２の任意の位置において任意の方向に繰り返しスワイプ入力を行うことにより、スワイプした位置に表示されているクモ４０４を取り払う機能が設けられているとする。タッチパネル２６２においてユーザが所定回数以上スワイプ入力が行われると、入力情報送信部２１３は、スワイプされた位置と回数を示す情報をゲーム装置１０に送信する。別の例では、入力情報送信部２１３は、スワイプ入力を受け付けるたびにスワイプされた位置を示す情報をゲーム装置１０に送信し、ゲーム装置１０のゲーム制御部３１９が、ユーザが所定回数以上スワイプ入力を行ったか否かを判定してもよい。

図１６は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。図１５に示したように、ユーザがタッチパネル２６２に対して所定回数以上スワイプ入力を行ったとき、ゲーム装置１０のゲーム制御部３１９は、スワイプ入力が所定回数以上行われた位置に表示されているクモ４０４を除去する。ＨＭＤ画像データ生成部３１３は、図１６に示すように、除去されたクモ４０４をゲーム画像から消去する。

図１７は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。ヘッドマウントディスプレイ１００の表示装置９０には、ゲームフィールドにフラッシュバン（閃光音響手榴弾）４０６が配置されたゲームの画像が表示されている。

図１８は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。図１７に示したゲームの状況において、フラッシュバン４０６が爆発するための所定の条件が満たされると、ゲーム制御部３１９は、フラッシュバン４０６を爆発させる。ＨＭＤ画像データ生成部３１３は、フラッシュバン４０６の爆発により閃光が発生したゲーム画像を生成し、ヘッドマウントディスプレイ１００の表示装置９０には、閃光４０８が表示される。

ここで、閃光４０８が発生したときに、ユーザが両眼を手で覆うようにしてタッチパネル２６２にタッチすると、閃光４０８の消失とともに再び周囲のゲームフィールドが表示されるが、ユーザが両眼を手で覆うようにしてタッチパネル２６２にタッチしないと、閃光４０８により目がくらんで、閃光４０８が消失しても所定時間は真っ白なゲーム画像が表示され、周囲のゲームフィールドが表示されないものとする。

図１９は、携帯情報端末２００のタッチパネル２６２を示す。タッチパネル２６２の右半分の領域と左半分の領域のそれぞれにおいて、手の平をタッチパネル２６２に接触させることにより、両眼を覆い隠して閃光４０８から守る機能が設けられる。タッチパネル２６２に対してタッチ入力が行われると、入力情報送信部２１３は、タッチされた複数の位置を示す情報をゲーム装置１０に送信する。ゲーム制御部３１９は、爆発の瞬間に、タッチパネル２６２の右半分の領域と左半分の領域のそれぞれにおいて、手の平がタッチされたことを示す所定の条件に合致したタッチ入力が行われたか否かを判定し、行われていた場合は、ＨＭＤ画像データ生成部３１３に、閃光４０８の消失とともに再び周囲のゲームフィールドを表示させ、行われていなかった場合は、閃光４０８が消失しても所定時間は真っ白なゲーム画像が表示させる。

図２０は、携帯情報端末２００のタッチパネル２６２を示す。図２０に示すように、ユーザが左右のいずれかの目の目元付近において、指でピースサインを作り、人差し指と中指でタッチパネル２６２にタッチすると、ユーザが操作するプレイヤーズキャラクタ又は一人称視点のゲームにおける仮想的なユーザ自身の目からビームが発射されるものとする。

図２１は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。タッチパネル２６２の所定の範囲の領域内において、２点で同時にタッチ入力を行うことにより、ビームを発射する機能が設けられる。タッチパネル２６２に対してタッチ入力が行われると、入力情報送信部２１３は、タッチされた複数の位置を示す情報をゲーム装置１０に送信する。ゲーム制御部３１９は、所定の範囲内において同時に２点のタッチ入力が行われたか否かを判定し、行われていた場合は、ＨＭＤ画像データ生成部３１３に、ビーム４１０が発射される様子を表示させ、行われていなかった場合は、ビーム４１０を発射させない。ビーム４１０が発射された場合、ゲーム制御部３１９は、ビーム４１０の経路を算出し、経路上にオブジェクトが存在する場合は、オブジェクトにビーム４１０が当たった場合の処理を実行する。

図２２は、携帯情報端末２００のタッチパネル２６２を示す。図２２に示すように、ユーザがタッチパネル２６２の任意の位置において、指で所定時間以上タッチ入力を行うと、ヘッドマウントディスプレイ１００の表示装置９０に表示されるゲーム画像の対応する位置に、指の画像が表示されるものとする。

図２３は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。タッチパネル２６２の任意の位置において、所定時間以上又は所定値以上の圧力でタッチ入力を行うことにより、ヘッドマウントディスプレイ１００の表示装置９０に表示される仮想世界の画像にユーザの指が奥から入り込んでくるような映像効果を表示する機能が設けられる。タッチパネル２６２に対してタッチ入力が行われると、入力情報送信部２１３は、タッチされた複数の位置と時間又は圧力を示す情報をゲーム装置１０に送信する。ゲーム制御部３１９は、所定時間以上又は所定値以上の圧力でタッチ入力が行われたか否かを判定し、行われていた場合は、ＨＭＤ画像データ生成部３１３に、タッチ入力が行われた位置にユーザの指４１２を表示させ、行われていなかった場合は、指４１２を表示させない。タッチ入力が行われた時間が長いほど、又は、圧力が大きいほど、指がより手前に入り込んでくる様子を表示してもよい。

このように、現実世界においてユーザが頭部付近で手を使って行うアクションに対応する入力をタッチパネル２６２に対して行ったときに、そのアクションにより現実世界において発生すべき結果を表示に反映させるので、直感的に分かりやすく、操作しやすいユーザインタフェースを提供することができる。

上記の例では、携帯情報端末２００のタッチパネル２６２に、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像と同じ画像が表示される。これにより、周囲の人もユーザが実行しているゲームを見て楽しむことができる。例えば子が実行しているゲームを親が把握したい場合などにも有効である。また、表示装置１２にゲームの画像を表示しなくても周囲の人がゲームの画像を見ることができるので、表示装置１２を他の用途に用いることができる。

タッチパネル２６２には表示装置９０に表示される画像とは異なる画像が表示されてもよい。タッチパネル２６２に表示される内容は、ヘッドマウントディスプレイ１００、携帯情報端末２００、又はゲーム装置１０を介してユーザによる指示を受け付けることにより決定されてもよいし、ヘッドマウントディスプレイ１００、携帯情報端末２００、又はゲーム装置１０により自動的に決定されてもよい。

図２４は、携帯情報端末２００のタッチパネル２６２に表示される画像の例を示す。図２４の例では、ゲーム制御部３１９により制御されるゲームの状況を示す情報がタッチパネル２６２に表示される。ゲーム装置１０のタッチパネル表示情報生成部３１５は、ゲーム制御部３１９により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル２６２には、ゲームの状況が「ボスと対戦中」である旨と、ゲームの状況をより詳細に示す敵キャラクタの残りの体力値と、周囲の人に対するユーザからのメッセージとが表示されている。

図２５は、携帯情報端末２００のタッチパネル２６２に表示される画像の例を示す。図２５の例でも、ゲーム制御部３１９により制御されるゲームの状況を示す情報がタッチパネル２６２に表示される。ゲーム装置１０のタッチパネル表示情報生成部３１５は、ゲーム制御部３１９により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル２６２には、ゲームの状況が「ムービー鑑賞中」である旨と、ゲームの状況をより詳細に示すムービーシーンの残りの秒数と、周囲の人に対するユーザからのメッセージとが表示されている。

図２６は、携帯情報端末２００のタッチパネル２６２に表示される画像の例を示す。図２５の例でも、ゲーム制御部３１９により制御されるゲームの状況を示す情報がタッチパネル２６２に表示される。ゲーム装置１０のタッチパネル表示情報生成部３１５は、ゲーム制御部３１９により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル２６２には、ゲームのプレイ時間と、次のセーブポイントまでに要する時間の目安とが表示されている。例えば、親が子のゲームのプレイ時間を制限したい場合などにも有効である。

このように、ヘッドマウントディスプレイ１００のユーザが実行しているゲームや視聴している動画像などの状況を示す情報をタッチパネル２６２に表示することにより、周囲の人がユーザの状況を把握することができるので、ユーザに話しかける場合などには、話しかけても問題のない状況を選んで話しかけることができる。したがって、ユーザが中断されたくない状況で中断させられる事態を低減することができ、ユーザはより効果的に没入感を得ることができる。

図２７は、携帯情報端末２００のタッチパネル２６２に表示される画像の例を示す。図２７の例では、撮像画像解析部３１８がヘッドマウントディスプレイ１００の位置及び姿勢を解析するためのマーカとなる画像がタッチパネル２６２に表示される。これにより、ヘッドマウントディスプレイ１００の位置及び姿勢を解析する際の精度を向上させることができる。複数の位置に設けられた複数のタッチパネルに異なるマーカを表示させると更に効果的である。なお、タッチパネル２６２に表示させるマーカとなる画像は、バーコードなどの任意の図形であってもよいし、キャラクタなどの画像であってもよい。また、人物やキャラクタなどの顔の目の周囲の部分を表示させ、ユーザがキャラクタのお面をかぶっているようにしてもよい。これにより、周囲の人も楽しませることができる。

図２８は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。ゲーム中に、携帯情報端末２００のメールアプリケーションがメールを受信したとき、ＨＭＤ表示情報生成部２１６は、受信したメールに関する情報を取得して、ヘッドマウントディスプレイ１００の表示装置９０に表示すべき情報を生成する。ゲーム装置１０のＨＭＤ表示情報受信部３１７が、携帯情報端末２００からヘッドマウントディスプレイ１００の表示装置９０に表示すべき情報を受信すると、ＨＭＤ画像データ生成部３１３は、受信した情報を含む画像データを生成する。図２８の例では、ヘッドマウントディスプレイ１００の表示装置９０に、携帯情報端末２００が受信したメールの送信者と、タイトルと、本文の冒頭の内容とが、画面下部の表示領域５０２に表示される。

ヘッドマウントディスプレイ１００の表示装置９０に表示すべき情報の設定は、携帯情報端末２００のタッチパネル２６２を介して事前にユーザから受け付けてもよい。これにより、ユーザは、ヘッドマウントディスプレイ１００の使用中も、携帯情報端末２００に関する必要な情報を見ることができ、必要であればヘッドマウントディスプレイ１００の視聴を中断して携帯情報端末２００を使用することができる。このとき、携帯情報端末２００のタッチパネル２６２にはヘッドマウントディスプレイ１００の表示装置９０に表示した情報を表示しなくてもよい。これにより、周囲の人にユーザの情報が見られてしまうことを防ぐことができる。

携帯情報端末２００から受信した情報を表示する表示領域５０２は、ゲームの状況に応じて位置や大きさなどが決定されてもよいし、ユーザから設定を受け付けてもよい。表示すべき画像の縦横比と表示装置９０の表示領域の縦横比が一致していないために、画面の上下又は左右に画像が表示されない領域が残っている場合、その領域を表示領域５０２としてもよい。

ヘッドマウントディスプレイ１００の表示装置９０を視聴しながら、携帯情報端末２００を操作可能としてもよい。入力デバイス２０など、ゲーム装置１０の入力機能を用いて操作を行う場合、ゲーム装置１０は、入力デバイス２０などから受け付けた指示入力を携帯情報端末２００に送信し、携帯情報端末２００の連携アプリケーションが操作対象となるアプリケーション、例えばメールアプリケーションに受信した指示入力を伝達する。タッチパッド１４０など、ヘッドマウントディスプレイ１００の入力機能を用いて操作を行う場合、ヘッドマウントディスプレイ１００は、タッチパッド１４０などから受け付けた指示入力を直接、又はゲーム装置１０を介して、携帯情報端末２００に送信する。携帯情報端末２００のタッチパネル２６２を用いて操作を行う場合、操作対象となるアプリケーションが直接、又は、連携アプリケーションを介して、指示入力を受け付ける。

図２９は、ヘッドマウントディスプレイ１００の表示装置９０の表示領域と、タッチパネル２６２及びタッチパッド１４０の入力領域との対応関係を示す。前述したように、本実施の形態では、複数のタッチパネル２６２及びタッチパッド１４０が設けられているので、ゲーム装置１０の入力位置調整部３１２は、それぞれのタッチパネル２６２及びタッチパッド１４０に対する入力の位置を、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像における位置に対応付ける。図２９の例では、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像のうち、領域ａは携帯情報端末２００のタッチパネル２６２に、領域ｂはヘッドマウントディスプレイ１００の上面に設けられたタッチパッド１４０に、領域ｃはヘッドマウントディスプレイ１００の左側頭部に設けられたタッチパッド１４０に、領域ｄはヘッドマウントディスプレイ１００の右側頭部に設けられたタッチパッド１４０に対応付けられる。このとき、ユーザの視界と実際のタッチパネル２６２及びタッチパッド１４０の設置位置とができる限り同じになるようにすることが望ましい。これにより、ユーザが身体感覚と視覚との間の矛盾を感じることなく操作することが可能なユーザインタフェースを提供することができる。

それぞれの表示領域とタッチパネル２６２又はタッチパッド１４０の入力領域との大きさや形状などが異なる場合、タッチパネル２６２の場合は携帯情報端末２００の入力位置調整部２１２が、タッチパッド１４０の場合はヘッドマウントディスプレイ１００の入力位置調整部１６２が、それぞれ、実際の入力位置を、割り当てられた入力領域における入力位置に対応付ける。

図３０は、ヘッドマウントディスプレイ１００の表示装置９０に表示される画像の例を示す。ゲーム装置１０の入力位置調整部３１２は、入力情報受信部３１１が入力情報を受信したとき、調整した位置に入力位置を示すマーカ５０４を表示するとともに、入力を受け付けたタッチパネル２６２又はタッチパッド１４０に対応する領域の枠５０６を表示する。これにより、タッチパネル２６２及びタッチパッド１４０が複数設けられる場合であっても、ユーザが所望の位置に対して入力するためにはいずれのタッチパネル２６２又はタッチパッド１４０をタッチすればよいのかを分かりやすく示すことができる。また、そのタッチパネル２６２又はタッチパッド１４０のうちどの辺りをタッチすればよいのかを分かりやすく示すことができる。

図３１は、実施の形態に係る表示制御方法の手順を示すシーケンス図である。ゲーム装置１０のゲーム制御部３１９がゲームを制御し（Ｓ１００）、ＨＭＤ画像データ生成部３１３がヘッドマウントディスプレイ１００に表示させる画像データを生成する（Ｓ１０２）。ＨＭＤ画像データ送信部３１４が画像データをヘッドマウントディスプレイ１００に送信し（Ｓ１０４）、ヘッドマウントディスプレイ１００のＨＭＤ表示制御部１６５が画像データを表示装置９０に表示する（Ｓ１０６）。

ゲーム装置１０のタッチパネル表示情報生成部３１５は、ゲームの状況などを携帯情報端末２００のタッチパネル２６２に表示させるための情報を生成し（Ｓ１０８）、タッチパネル表示情報送信部３１６が表示情報を携帯情報端末２００に送信する（Ｓ１１０）。携帯情報端末２００のタッチパネル表示制御部２１５は、表示情報をタッチパネル２６２に表示する（Ｓ１１２）。

携帯情報端末２００のタッチパネル２６２に対してユーザがタッチ入力を行うと、タッチ入力受付部２１１が入力を受け付け（Ｓ１２０）、入力位置調整部２１２がタッチ入力の位置を調整し、入力情報送信部２１３が入力情報をゲーム装置１０に送信する（Ｓ１２４）。ヘッドマウントディスプレイ１００のタッチパッド１４０に対してユーザがタッチ入力を行うと、タッチ入力受付部１６１が入力を受け付け（Ｓ１２２）、入力位置調整部１６２がタッチ入力の位置を調整し、入力情報送信部１６３が入力情報をゲーム装置１０に送信する（Ｓ１２６）。ゲーム装置１０の入力情報受信部３１１が携帯情報端末２００又はヘッドマウントディスプレイ１００から入力情報を受信すると、入力位置調整部３１２がタッチ入力の位置を調整し、ゲーム制御部３１９がタッチ入力をゲーム制御に反映させ（Ｓ１２８）、Ｓ１００に戻る。

携帯情報端末２００がメールを受信するなどして、ＨＭＤ表示情報生成部２１６がヘッドマウントディスプレイ１００に表示すべき情報を生成すると（Ｓ１４０）、ＨＭＤ表示情報送信部２１７が表示情報をゲーム装置１０に送信する（Ｓ１４２）。ゲーム装置１０のＨＭＤ表示情報受信部３１７が携帯情報端末２００から表示情報を受信すると、ＨＭＤ画像データ生成部３１３が表示情報を表示に反映させ（Ｓ１４４）、Ｓ１０２に戻る。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の例では、ヘッドマウントディスプレイ１００の表示装置９０に単眼視用の画像が表示されたが、別の例では、両眼立体視用の画像が表示されてもよい。この場合、携帯情報端末２００のタッチパネル２６２にも両眼立体視用の画像が表示されてもよいし、タッチパネル２６２には単眼視用の画像が表示されてもよい。

上記の例では、ゲーム装置１０がゲームを制御し、ヘッドマウントディスプレイ１００の表示装置９０に表示する画像データを生成したが、別の例では、ゲームを制御し、画像データを生成するための構成がヘッドマウントディスプレイ１００に設けられてもよい。この場合、ゲーム装置１０は設けられなくてもよく、携帯情報端末２００とヘッドマウントディスプレイ１００はゲーム装置１０を介さずに直接通信してもよい。

上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ１００が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。ゲームコントローラなどの専用の入力装置を持たない表示システムにおいても、実施の形態に係るヘッドマウントディスプレイ１００によれば、タッチパッドや携帯情報端末のタッチパネルなどを介して、容易にユーザの指示を入力することができる。

１０ ゲーム装置、９０ 表示装置、１００ ヘッドマウントディスプレイ、１４０ タッチパッド、１６１ タッチ入力受付部、１６２ 入力位置調整部、１６３ 入力情報送信部、１６４ ＨＭＤ画像データ受信部、１６５ ＨＭＤ表示制御部、２００ 携帯情報端末、２１１ タッチ入力受付部、２１２ 入力位置調整部、２１３ 入力情報送信部、２１４ タッチパネル表示情報受信部、２１５ タッチパネル表示制御部、２１６ ＨＭＤ表示情報生成部、２１７ ＨＭＤ表示情報送信部、２６２ タッチパネル、３１１ 入力情報受信部、３１２ 入力位置調整部、３１３ ＨＭＤ画像データ生成部、３１４ ＨＭＤ画像データ送信部、３１５ タッチパネル表示情報生成部、３１６ タッチパネル表示情報送信部、３１７ ＨＭＤ表示情報受信部、３１９ ゲーム制御部。

Claims (17)

1. ユーザの頭部に装着可能なヘッドマウントディスプレイであって、
   前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
   前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な複数の入力装置と、
   前記入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
   を備え、
   少なくとも１つの前記入力装置の入力領域に、前記画像を複数に分割した領域のいずれかが対応付けられることを特徴とするヘッドマウントディスプレイ。
2. ユーザの頭部に装着可能なヘッドマウントディスプレイであって、
   前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
   前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、
   前記入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
   を備え、
   前記画像は、現実世界においてユーザが頭部付近で手を用いて行うアクションに対応する入力を前記入力装置に対して行ったときに、そのアクションにより現実世界において発生すべき結果を反映させて生成されることを特徴とするヘッドマウントディスプレイ。
3. 前記入力装置は、ユーザの体の一部が接触又は近接したことを検知可能なタッチパッドと、前記タッチパッドに併設された表示パネルとを含むタッチパネルであり、
   前記表示パネルに、前記表示装置に表示される画像に関連する画像が表示されることを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
4. 前記入力装置は、ユーザの体の一部が接触又は近接したことを検知可能なタッチパッドと、前記タッチパッドに併設された表示パネルとを含むタッチパネルと、処理装置とを備えた携帯情報端末であり、
   前記処理装置により実行されるアプリケーションに関する情報を前記表示装置に表示可能であることを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
5. コンピュータを、
   ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な複数の入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得する取得部、
   前記取得部が取得した画像のデータを、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示する表示制御部、
   として機能させ、
   少なくとも１つの前記入力装置の入力領域に、前記画像を複数に分割した領域のいずれかが対応付けられることを特徴とする表示制御プログラム。
6. コンピュータを、
   ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得する取得部、
   前記取得部が取得した画像のデータを、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示する表示制御部、
   として機能させ、
   前記画像は、現実世界においてユーザが頭部付近で手を用いて行うアクションに対応する入力を前記入力装置に対して行ったときに、そのアクションにより現実世界において発生すべき結果を反映させて生成されることを特徴とする表示制御プログラム。
7. 取得部が、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な複数の入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得するステップと、
   表示制御部が、前記取得部が取得した画像のデータを、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示するステップと、
   を備え、
   少なくとも１つの前記入力装置の入力領域に、前記画像を複数に分割した領域のいずれかが対応付けられることを特徴とする表示制御方法。
8. 取得部が、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得するステップと、
   表示制御部が、前記取得部が取得した画像のデータを、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示するステップと、
   を備え、
   前記画像は、現実世界においてユーザが頭部付近で手を用いて行うアクションに対応する入力を前記入力装置に対して行ったときに、そのアクションにより現実世界において発生すべき結果を反映させて生成されることを特徴とする表示制御方法。
9. 請求項５又は６に記載の表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. ユーザの頭部に装着可能なヘッドマウントディスプレイと、
    前記ヘッドマウントディスプレイに表示させる画像を生成する画像処理装置と、
    を備え、
    前記ヘッドマウントディスプレイは、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な複数の入力装置と、
    前記入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを前記画像処理装置から取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
    を備え、
    前記画像処理装置は、
    前記入力情報を取得し、前記入力情報に基づいて、前記画像のデータを生成する画像生成部を備え、
    少なくとも１つの前記入力装置の入力領域に、前記画像を複数に分割した領域のいずれかが対応付けられることを特徴とする表示システム。
11. ユーザの頭部に装着可能なヘッドマウントディスプレイと、
    前記ヘッドマウントディスプレイに表示させる画像を生成する画像処理装置と、
    を備え、
    前記ヘッドマウントディスプレイは、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、
    前記入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを前記画像処理装置から取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
    を備え、
    前記画像処理装置は、
    前記入力情報を取得し、前記入力情報に基づいて、前記画像のデータを生成する画像生成部を備え、
    前記画像は、現実世界においてユーザが頭部付近で手を用いて行うアクションに対応する入力を前記入力装置に対して行ったときに、そのアクションにより現実世界において発生すべき結果を反映させて生成されることを特徴とする表示システム。
12. ユーザの頭部に装着可能なヘッドマウントディスプレイであって、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に装着される、ユーザの体の一部が接触又は近接したことを検知可能な複数の入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成された画像のデータを取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
    を備え、
    少なくとも１つの前記入力装置の入力領域に、前記画像を複数に分割した領域のいずれかが対応付けられることを特徴とするヘッドマウントディスプレイ。
13. ユーザの頭部に装着可能なヘッドマウントディスプレイであって、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
    前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に装着される、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成された画像のデータを取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
    を備え、
    前記画像は、現実世界においてユーザが頭部付近で手を用いて行うアクションに対応する入力を前記入力装置に対して行ったときに、そのアクションにより現実世界において発生すべき結果を反映させて生成されることを特徴とするヘッドマウントディスプレイ。
14. ユーザが携帯可能な携帯情報端末であって、
    ユーザの体の一部が接触又は近接したことを検知可能な複数の入力装置と、
    ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに前記ヘッドマウントディスプレイの外側となる面に前記携帯情報端末が装着されたときに、前記入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を、前記入力情報に基づいて前記ヘッドマウントディスプレイに表示する画像を生成する装置に送信する通信部と、
    を備え、
    少なくとも１つの前記入力装置の入力領域に、前記画像を複数に分割した領域のいずれかが対応付けられることを特徴とする携帯情報端末。
15. ユーザが携帯可能な携帯情報端末であって、
    ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、
    ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに前記ヘッドマウントディスプレイの外側となる面に前記携帯情報端末が装着されたときに、前記入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を、前記入力情報に基づいて前記ヘッドマウントディスプレイに表示する画像を生成する装置に送信する通信部と、
    を備え、
    前記画像は、現実世界においてユーザが頭部付近で手を用いて行うアクションに対応する入力を前記入力装置に対して行ったときに、そのアクションにより現実世界において発生すべき結果を反映させて生成されることを特徴とする携帯情報端末。
16. ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに前記ヘッドマウントディスプレイの外側となる面に装着された、ユーザの体の一部が接触又は近接したことを検知可能な複数の入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を受信する受信部と、
    前記受信部により受信された前記入力情報に基づいて、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに前記ヘッドマウントディスプレイの内側となる面に設けられた表示装置に表示すべき画像のデータを生成する生成部と、
    前記生成部により生成された画像のデータを前記ヘッドマウントディスプレイに送信する送信部と、
    を備え、
    少なくとも１つの前記入力装置の入力領域に、前記画像を複数に分割した領域のいずれかが対応付けられることを特徴とする画像処理装置。
17. ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに前記ヘッドマウントディスプレイの外側となる面に装着された、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を受信する受信部と、
    前記受信部により受信された前記入力情報に基づいて、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに前記ヘッドマウントディスプレイの内側となる面に設けられた表示装置に表示すべき画像のデータを生成する生成部と、
    前記生成部により生成された画像のデータを前記ヘッドマウントディスプレイに送信する送信部と、
    を備え、
    前記画像は、現実世界においてユーザが頭部付近で手を用いて行うアクションに対応する入力を前記入力装置に対して行ったときに、そのアクションにより現実世界において発生すべき結果を反映させて生成されることを特徴とする画像処理装置。

Images