JP2009037487A - システム、頭部装着型表示装置、その制御方法 - Google Patents

Abstract

【課題】 ＨＭＤを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、ＨＭＤに対する無線での画像送信を円滑に行うための技術を提供すること。
【解決手段】 ＨＭＤ１０ａは、ＨＭＤ１０ａの位置と無線Ｉ／Ｆ１０５ａの位置とを通る直線を軸とする領域を示す領域情報を生成する。他の画像処理装置１１ｂ、１１ｃが有する無線Ｉ／Ｆの位置情報を取得する。取得した位置情報が示す位置が、上記領域情報が示す領域内に含まれているか否かを判断する。そして係る判断の結果に応じて、無線Ｉ／Ｆ１０５ａ、若しくは他の無線Ｉ／Ｆの何れかを無線通信相手として選択し、選択した無線Ｉ／Ｆとの無線通信により、画像を受信する。
【選択図】 図１

Description

本発明は、複合現実感を提供するための技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として複合現実感技術、所謂ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の一つに、次のような技術が知られている。即ち、ビデオシースルー型ＨＭＤを利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像する。そして、その撮像画像にコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：以下ＣＧ）を重畳表示した画像をＨＭＤ装着者に提示する。

図１１は、ビデオシースルー型ＨＭＤを利用した一般的な複合現実感システム（以下ではＭＲシステムと呼称する）の機能構成を示すブロック図である。以下、図１１を用いて、一般的なＭＲシステムの概要について説明する。

１１０１は、ビデオシースルー型のＨＭＤである。ＨＭＤ１１０１は、撮像部１１０３、表示部１１０４、３次元位置姿勢センサ１１０５、Ｉ／Ｆ（インターフェース）１１０６を有する。

１１０２は、ＨＭＤ１１０１から受け取った撮像画像情報、センサ情報から生成した３次元位置姿勢情報、に基づいて仮想空間画像（ＣＧ）を生成し、ＨＭＤ１１０１から受け取った撮像画像との合成処理を行う画像処理装置である。画像処理装置１１０２は、一般にはＰＣ（パーソナルコンピュータ）やワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成されている。画像処理装置１１０２は、Ｉ／Ｆ１１０７、位置姿勢情報生成部１１０８、ＣＧ描画合成部１１１０、コンテンツＤＢ（データベース）１１０９を有する。

先ず、ＨＭＤ１１０１を構成する各部の動作について説明する。

撮像部１１０３は、ＨＭＤ１１０１を頭部に装着したユーザの視点と略一致する位置姿勢における外界の画像を撮像する。撮像部１１０３は、ステレオ画像を撮像すべく、右目用の撮像素子、左目用の撮像素子、光学系、そして後段の画像処理のためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）により構成されている。

表示部１１０４は、画像処理装置１１０２から送出される右目用のＭＲ画像、左目用のＭＲ画像を表示するためのものである。従って、表示部１１０４は、右目用の表示デバイス、左目用の表示デバイス、光学系により構成されている。それぞれの表示デバイスとしては、小型の液晶ディスプレイやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）による網膜スキャンタイプのデバイスが用いられる。

３次元位置姿勢センサ１１０５は、自身の位置姿勢を計測するためのものである。３次元位置姿勢センサ１１０５には、磁気センサやジャイロセンサ（加速度、角速度）が使用される。

Ｉ／Ｆ１１０６は、画像処理装置１１０２とのデータ通信を行うために用いられるものである。撮像部１１０３により撮像された撮像画像、３次元位置姿勢センサ１１０５により計測された位置姿勢情報は、このＩ／Ｆ１１０６を介して画像処理装置１１０２に送信される。また、画像処理装置１１０２から送信されたＭＲ画像は、このＩ／Ｆ１１０６を介して受信する。Ｉ／Ｆ１１０６には、リアルタイム性が求められかつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ等の光ファイバが用いられる。

次に、画像処理装置１１０２を構成する各部の動作について説明する。

Ｉ／Ｆ１１０７は、ＨＭＤ１１０１とのデータ通信を行うために用いられるものであり、画像処理装置１１０２が生成したＭＲ画像は、このＩ／Ｆ１１０７を介してＨＭＤ１１０１に送信される。また、ＨＭＤ１１０１から送信された撮像画像、位置姿勢情報は、このＩ／Ｆ１１０７を介して受信する。

位置姿勢情報生成部１１０８は、ＨＭＤ１１０１から送信された撮像画像情報、位置姿勢情報に基づいて、ＨＭＤ１１０１を装着したユーザの目の位置姿勢を示す位置姿勢情報を生成する。ユーザの目の位置姿勢を示す位置姿勢情報を生成する方法としては、このほかにも、例えば、撮像部１１０３が撮像した画像を用いる方法もある。

コンテンツＤＢ１１０９には、仮想空間を構成する各仮想物体に係るデータが保存されている。

ＣＧ描画合成部１１１０は、コンテンツＤＢ１１０９に保存されているデータを用いて仮想空間を構築し、構築した仮想空間を、位置姿勢情報生成部１１０８が生成した位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、Ｉ／Ｆ１１０７を介してＨＭＤ１１０１から受信した撮像画像上に合成したＭＲ画像を生成する。生成したＭＲ画像は、Ｉ／Ｆ１１０７を介してＨＭＤ１１０１に送信する。

以上説明した構成による処理によって、ＨＭＤ１１０１を頭部に装着したユーザに対して、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を提供することができる。

次に、画像処理装置とＨＭＤとの間の通信をワイヤレスにした一般的なシステム（ワイヤレスＭＲシステム）について説明する。ワイヤレスＭＲシステムは、図１１に示した構成において、Ｉ／Ｆ１１０６とＩ／Ｆ１１０７との間の通信を無線化することにより、その他の機能ブロックの構成を変更することなく実現することも可能である。しかし、無線による通信方式は一般的に、有線通信方式と比べて大幅に伝送帯域が狭いという問題がある。従って、ワイヤレスＭＲシステムを実現するためには、例えば、図９に示すような構成にすることが好ましい。

図９は、一般的なワイヤレスＭＲシステムの機能構成を示すブロック図である。図９において図１１と同じものについては同じ参照番号を付けており、その説明は省略する。以下、図９を用いて、一般的なワイヤレスＭＲシステムの概略について説明する。

Ｉ／Ｆ１２０６は、位置姿勢情報生成部１１０８が求めた位置姿勢情報を、無線通信により画像処理装置１２０２に送信する。

Ｉ／Ｆ１２０７は、ＨＭＤ１２０１から無線通信により送信された位置姿勢情報を受信し、これをＣＧ描画部１２１０に送出する。

ＣＧ描画部１２１０は、コンテンツＤＢ１１０９に保存されているデータを用いて仮想空間を構築し、構築した仮想空間を、Ｉ／Ｆ１２０７から受けた位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、Ｉ／Ｆ１２０７を介してＨＭＤ１２０１に送信する。

即ち、ＨＭＤ１２０１から画像処理装置１２０２に対しては撮像画像は送信せず、位置姿勢情報のみを送信する。また、画像処理装置１２０２からＨＭＤ１２０１に対しては、係る位置姿勢情報に基づいて生成した仮想空間画像を送信する。これにより、ＨＭＤ１２０１と画像処理装置１２０２との間で送受信されるデータの伝送量を削減することができる。

Ｉ／Ｆ１２０６は、画像処理装置１２０２から送信された仮想空間画像を受信すると、これを画像合成部１２１１に送出する。

画像合成部１２１１は、撮像部１１０３からの撮像画像上に、Ｉ／Ｆ１２０６から受けた仮想空間画像を重畳させた合成画像を生成し、これを表示部１１０４に送出する。

ビデオシースルー型ＨＭＤを用いる上記ＭＲシステムでは、ＨＭＤ装着者の視界を確保することが重要である。特に、画像の伝送に無線通信方式を採用したワイヤレスＭＲシステムでは、使用環境や装置間の距離によっては、エラーの発生頻度が大きくなる。加えて、ＨＭＤ装着者の移動に伴い、通信する画像処理装置の切り替えが頻繁に発生したり、通信中の画像処理装置との見通しがＭＲ空間を体験中の他のユーザによって遮蔽された際に、ＣＧ画像を受信できなくなることがある。

他のユーザ、及び装置によって通信状態が不安定になった際の処理方法として、電波強度に基づいて、通信を行う無線基地局を切り替える手法が特許文献１に開示されている。特許文献１によれば、移動局において所定値以上の電波強度で干渉情報を検出した場合には、通信中の無線基地局に通話チャネルの切り替え要求を送り、無線基地局は移動局に新通話チャネルの指示を送る。通信中の無線基地局で新通話チャネルを確保できないときは、交換機を介して近くの無線基地局で新通話チャネルを確保する。切り替え要求、新通話チャネルの指示を送るチャネルとして、通話チャネルとは別の周波数の情報チャネルを利用する。

また、移動局の移動方向や移動速度を検出して、チャネル接続、切り替え制御等を行う手法が特許文献２に開示されている。

特許文献２によれば、移動局の移動方向を求め、移動方向が移動体通信サービスエリア外である場合、移動局が移動通信サービスエリア外に移動する前に、基地局から移動局へ、移動方向には通信エリアがないことを通知する。

また、特許文献３によれば、移動局が使用しているチャネルの中心周波数変動を、各無線基地局設備の無線機に設置するドップラーシフト検出回路により検出し、移動局の進行方向、速度を検出し、チャネル接続、切断制御を自動的に行う。
特開平６−６９８６２号公報 特開平６−８６３５３号公報 特開２００４−１５５１８号公報

しかしながら上述した従来の技術には、以下のような問題があった。

特許文献１に開示されている技術、即ち、電波強度測定によって干渉情報を検出し、切り替えを行う手法は、移動局側で常に電波強度の測定を行わなければならないため、移動局側での電力消費が大きく、バッテリーの連続駆動時間を低下させてしまう。さらに、干渉を検出してから制御を行うため、切り替えが完了するまでの時間は、干渉の影響を受けることになる。更に、ワイヤレスＭＲシステムを複数のユーザが共有する場合、各ユーザにはそれぞれ異なる画像を送信する必要があり、限られた空間内で複数の無線装置を使用するため、各ＨＭＤで使用する周波数帯は、干渉が発生しないように割り当てることが前提となる。従って、干渉情報の検出を前提とする特許文献１に開示されている技術は、ワイヤレスＭＲシステムには適用することができない。

また、特許文献２及び特許文献３に開示されている技術、即ち、移動局の移動方向に基づいて、通信エリア外の通知や、基地局の切り替えを行う手法は、他のユーザ、及び装置の動きを考慮していない。そのため、通信中の基地局との見通しが遮蔽されて通信の遮断が発生することを検出することができない。

本発明は以上の問題に鑑みてなされたものであり、ＨＭＤを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、ＨＭＤに対する無線での画像送信を円滑に行うための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。

即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムであって、
それぞれの画像処理装置は、
自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、前記自画像処理装置以外の他画像処理装置に対して送信すると共に、前記他画像処理装置から送信された、前記他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する手段と、
前記受信した他頭部装着型表示装置の位置情報を、前記自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する送信手段と
を備え、
それぞれの頭部装着型表示装置は、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記送信手段が送信した位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の頭部装着型表示装置は以下の構成を備える。

即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の頭部装着型表示装置の制御方法は以下の構成を備える。

即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置の制御方法であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成工程と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得工程と、
前記取得工程で取得した位置情報が示す位置が、前記生成工程で生成した領域情報が示す領域内に含まれているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御工程と
を備えることを特徴とする。

本発明の構成によれば、ＨＭＤを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、ＨＭＤに対する無線での画像送信を円滑に行うための技術を提供すること。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
本実施形態では、ユーザの頭部に装着するＨＭＤと、このＨＭＤに対して画像を送信する画像処理装置との間の通信を無線で行うシステムにおいて、この無線での通信を円滑に行うための技術について説明する。

先ず、一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムについて説明する。

図２は、一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムの外観例を示す図である。

ＨＭＤ２０１は、ビデオシースルー型のＨＭＤであり、ＨＭＤ２０１を頭部に装着したユーザの右目、左目に対して提示する現実空間画像を撮像するための撮像部と、右目、左目に対して画像を表示する表示部と、自身の位置姿勢を計測する計測部と、を有する。更に、ＨＭＤ２０１には、中継器２０２が有線接続されており、係る中継器２０２には、送受信アンテナ２０５ａが設けられている。係る構成において、ＨＭＤ２０１は、中継器２０２、送受信アンテナ２０５を介して画像処理装置２０４との無線通信を行う。本システムで使用する無線通信方式は、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような、小規模ネットワークを構成する方式を想定している。中継器２０２は、ＨＭＤ２０１と同様に、ユーザの身体の一部に装着して使用することができ、ＨＭＤ２０１および中継器２０２はバッテリーで駆動可能である。

ＨＭＤ２０１は、計測部による計測結果、撮像部による撮像画像に基づいて生成した位置姿勢情報を中継器２０２、送受信アンテナ２０５ａを介して画像処理装置２０４に対して送信する。

一方、画像処理装置２０４は、一般のＰＣ（パーソナルコンピュータ）等のコンピュータにより構成されている。画像処理装置２０４にはコントローラ２０３が有線接続されており、係るコントローラ２０３には、送受信アンテナ２０５ｂが設けられている。係る構成において、画像処理装置２０４は、係るコントローラ２０３、送受信アンテナ２０５ｂを介してＨＭＤ２０１との無線通信を行う。

画像処理装置２０４は、ＨＭＤ２０１から送信された位置姿勢情報を、送受信アンテナ２０５ｂ、コントローラ２０３を介して受信すると、受信した位置姿勢情報に基づいて、仮想空間画像を生成する。そして生成した仮想空間画像に加え、後述する様々な情報をコントローラ２０３、送受信アンテナ２０５ｂを介してＨＭＤ２０１に対して送信する。この「様々な情報」については後に詳しく説明するので、ここでは係る情報の送信については省略して説明する。

ＨＭＤ２０１は係る仮想空間画像を、送受信アンテナ２０５ａ、中継器２０２を介して受信すると、受信した仮想空間画像を、撮像部により撮像した現実空間画像上に合成することで、合成画像を生成する。そして生成した合成画像を、表示部に表示する。

なお、図２では、中継器２０２、送受信アンテナ２０５ａは、ＨＭＤ２０１の外部に設けられている別個の装置として示している。しかし、以下では説明を簡単にするために、中継器２０２、送受信アンテナ２０５ａは、無線Ｉ／Ｆ（通信器）という１つの機能部としてＨＭＤ２０１内に含められているものとして説明する。しかし、図２に示すように、中継器２０２、送受信アンテナ２０５ａがＨＭＤ２０１の外部に設けられていても、以下の説明の本質は同じである。

同様に、図２では、コントローラ２０３、送受信アンテナ２０５ｂは、画像処理装置２０４の外部に設けられている別個の装置として示されている。しかし、以下では説明を簡単にするために、コントローラ２０３、送受信アンテナ２０５ｂは、無線Ｉ／Ｆという１つの機能部として画像処理装置２０４内に含められているものとして説明する。しかし、図２に示すように、コントローラ２０３、送受信アンテナ２０５ｂが画像処理装置２０４の外部に設けられていても、以下の説明の本質は同じである。

図１は、複数人のユーザに対して複合現実空間を提供する事が可能なＭＲシステムの機能構成例を示すブロック図である。即ち、図１に示したシステムは、図２に示したシステムをユーザの人数分含むものであり、更に、それぞれの画像処理装置間を有線接続した構成を有する。

以下、本実施形態に係るシステムについて説明する。

ＨＭＤ１０ａは、頭部装着型表示装置の一例としての、ビデオシースルー型のＨＭＤであり、周知の如く、複合現実空間を観察するユーザの頭部に装着するものである。ＨＭＤ１０ａは、３次元位置姿勢センサ１０４、撮像部１０１、表示部１１０、位置姿勢情報生成部１０２、画像合成部１０９、無線Ｉ／Ｆ１０３ａ、切り替え制御部１１１により構成されている。

３次元位置姿勢センサ１０４は、自身の位置姿勢を計測するものであり、計測した結果としての位置姿勢情報は、後段の位置姿勢情報生成部１０２に送出される。３次元位置姿勢センサ１０４としては様々なものが考えられるが、例えば、磁気センサを用いることができる。３次元位置姿勢センサ１０４が磁気センサの場合、現実空間中の所定の位置には、磁気の発信源としてのトランスミッタが設置されることになる。係るトランスミッタは、自身の周囲に磁界を発生させる。３次元位置姿勢センサ１０４は、係る磁界中における自身の位置姿勢に応じた磁界の変化を検知し、検知した結果を示す信号を、トランスミッタを制御するためのコントローラに送出する。係るコントローラは、係る信号に基づいて、センサ座標系における３次元位置姿勢センサ１０４の位置姿勢を計測する。ここで、センサ座標系とは、トランスミッタの位置を原点として定義し、係る原点で互いに直交する３軸をそれぞれ、ｘ軸、ｙ軸、ｚ軸とする座標系である。本実施形態では説明を簡単にするために、センサ座標系と世界座標系とは原点、軸が一致しているものとして説明する。しかし、一致していなくても、それぞれの座標系間の位置姿勢関係が既知であれば、周知の座標変換技術を用いれば、センサ座標系における座標値を世界座標系における座標値に変換することができる。ここで、世界座標系とは、現実空間中の所定の１点を原点として定義し、係る原点で互いに直交する３軸をそれぞれ、ｘ軸、ｙ軸、ｚ軸とする座標系である。

なお、３次元位置姿勢センサ１０４に適用可能なセンサは、これ以外のセンサでも良く、例えば、超音波センサや光学式センサなどが挙げられる。

位置姿勢情報生成部１０２は、３次元位置姿勢センサ１０４から受けた位置姿勢情報と、撮像部１０１から受けた現実空間画像とを用いて、撮像部１０１の位置姿勢情報を求める。

しかし、撮像部１０１の位置姿勢情報を求める方法については様々な方法が考えられ、本実施形態は何れの方法を用いても良い。

ここで、撮像部１０１の位置姿勢情報を得るための方法について、幾つかの例を説明する。

例えば、３次元位置姿勢センサ１０４から受けた位置姿勢情報に、予め測定した「３次元位置姿勢センサ１０４と撮像部１０１との位置姿勢関係を示す情報」を加えることで、撮像部１０１の位置姿勢情報を求めても良い。

次に、撮像部１０１による撮像画像を用いて撮像部１０１の位置姿勢情報を求める方法について説明する。先に説明しておくが、係る方法は周知の技術であるので、その詳細については省略する。撮像部１０１による撮像画像を用いて撮像部１０１の位置姿勢情報を求める場合、３次元位置姿勢センサ１０４は省略することができる。

図３は、マーカを配した現実空間を撮像部１０１により撮像した場合に得られる撮像画像の一例を示す図である。図３において３０２はマーカで、様々な情報がコード化された２次元バーコードが記されており、その周囲には枠が記されている。係るマーカ３０２は、図３では現実物体としてのテーブル３０１の上に配されており、世界座標系におけるマーカ３０２の位置（３次元座標位置）、若しくは何らかの基準位置からの相対位置が既知であるものとする。そして３０は、このような現実空間を撮像部１０１によって撮像することで得られる現実空間画像を示す。

撮像部１０１が係る現実空間画像３０を撮像し、撮像した係る現実空間画像３０を位置姿勢情報生成部１０２に送出すると、位置姿勢情報生成部１０２は先ず、現実空間画像３０中におけるマーカ３０２を検出する。そして検出したマーカ３０２に記されている２次元バーコードを解析し、係る２次元バーコードの識別情報を認識する。識別情報に対応するマーカの３次元座標位置は予め記憶されているので、位置姿勢情報生成部１０２は、係る処理によって識別情報が認識されると、対応する３次元座標位置を、予め記憶されている情報群の中から特定する。そして、現実空間画像３０上のマーカ３０２の座標位置と、対応する３次元座標位置とを用いれば、後は写真測量などの分野で周知の技術を用いれば、撮像部１０１の位置姿勢情報を生成することができる。なお、マーカ３０２は複数個用いても良い。また、マーカ３０２の代わりに、例えば、画像中のエッジ３０４を用いても良い。また、マーカ３０２として用いることができるものは、２次元バーコードが記されたものに限定するものではなく、例えば、カラーマーカや、ＬＥＤ等の発光素子のような方向性のないマーカを用いても良い。このようにマーカ３０２の代わりに用いることができるものについては様々なものが考え得る。また、これら列挙したものを適宜組み合わせて用いても良い。なお、位置姿勢情報生成部１０２が行う上記処理については周知の技術であるので、これ以上の説明は省略する。また、客観カメラ（外部イメージセンサ）等の、ＨＭＤ以外に取り付けて使用するタイプのデバイスを用いて、撮像部１０１の位置姿勢情報を求める方法もある。この場合、撮像部１０１にマーカを貼り付ける必要がある。係る方法も周知の技術である。

なお、これらのセンシングデバイスは一種類のみで使用することも、複数の種類のデバイスを組み合わせて使用することも可能である。また、ＨＭＤに内蔵された主観カメラで撮像した画像情報と、センシングデバイスで取得したセンシング情報を組み合わせて三次元位置姿勢情報の生成を行うことによって、より精度の高い三次元位置姿勢情報を得ることができる。また、主観カメラでマーカが見えていない状態でも位置姿勢情報を取得することが可能となる。

このように、撮像部１０１の位置姿勢情報を生成する方法には様々なものがあり、本実施形態は、何れかの方法に限定するものではない。従って、用いる方法に応じて、適宜ＨＭＤ１０ａの構成を変更することになるが、係る変更については当業者であれば容易に相当し得るものであるので、これについての説明は省略する。

位置姿勢情報生成部１０２は、求めた「撮像部１０１の位置姿勢情報」を無線Ｉ／Ｆ１０３ａを介して画像処理装置２０４に送信する。係る送信は上述のように、無線通信で行われる。

一方、撮像部１０１は、現実空間の動画像を撮像し、撮像した各フレームの画像（現実空間画像、撮像画像）は、後段の位置姿勢情報生成部１０２、画像合成部１０９に送出する。

画像合成部１０９は、画像処理装置１１ａから無線Ｉ／Ｆ１０３ａを介して受信した仮想空間画像と、撮像部１０１から受けた現実空間画像との合成画像を生成し、生成した合成画像を表示部１１０に送出する。

表示部１１０は、ＨＭＤ１０ａを頭部に装着したユーザの眼前に位置するようにＨＭＤ１０ａに取り付けられたものであり、画像合成部１０９から受けた合成画像を表示する。これにより、ＨＭＤ１０ａを頭部に装着したユーザの眼前には、画像合成部１０９が生成した合成画像が提示されることになる。

切り替え制御部１１１は、無線Ｉ／Ｆ１０３ａを介して画像処理装置１１ａから送信された後述の位置姿勢情報、接続情報を受けると、これらを用いて、無線通信相手を画像処理装置１１ａ〜１１ｃから選択、決定する処理を行う。切り替え制御部１１１の動作の詳細については後述する。

次に、画像処理装置１１ａについて説明する。画像処理装置１１ａは、ＰＣ等のコンピュータにより構成されるものであり、無線Ｉ／Ｆ１０５ａ、有線Ｉ／Ｆ１０８ａ、ＣＧ画像描画部１０６ａ、コンテンツＤＢ１０７ａ、により構成されている。

無線Ｉ／Ｆ１０５ａは、ＨＭＤ１０ａが有する無線Ｉ／Ｆ１０３ａから送信された位置姿勢情報を受信し、受信した位置姿勢情報を有線Ｉ／Ｆ１０８ａ、ＣＧ画像描画部１０６ａに送出する。

有線Ｉ／Ｆ１０８ａは、無線Ｉ／Ｆ１０５ａから受けた位置姿勢情報を、ＬＡＮ等のネットワーク１９９に接続されている他の画像処理装置１１ｂ、１１ｃに対して送信する。更に有線Ｉ／Ｆ１０８ａは、画像処理装置１１ａが現在、無線通信中であるか否か示す接続情報（例えば画像処理装置１１ａに固有のＩＤと、無線通信中であるか否かを示すフラグ情報とのセット）を、画像処理装置１１ｂ、１１ｃに送信する。

画像処理装置１１ｂ、１１ｃは少なくとも、画像処理装置１１ａの機能を有する装置であり、画像処理装置１１ａと同様に動作している。そして、それぞれの画像処理装置１１ｂ、１１ｃにはそれぞれ、ＨＭＤ１０ｂ、１０ｃが無線接続されている。即ち、図１に示したシステムは、画像処理装置１１ａとＨＭＤ１０ａのセットと同様のセットが他にも２セット（画像処理装置１１ｂとＨＭＤ１０ｂのセットと、画像処理装置１１ｃとＨＭＤ１０ｃのセット）含まれていることになる。

また、有線Ｉ／Ｆ１０８ａは、画像処理装置１１ｂ、１１ｃから送信された位置姿勢情報、接続情報を受信し、受信した位置姿勢情報、接続情報を無線Ｉ／Ｆ１０５ａに送出する。無線Ｉ／Ｆ１０５ａは、有線Ｉ／Ｆ１０８ａから受けた位置姿勢情報と接続情報（画像処理装置１１ｂから送信された位置姿勢情報と接続情報、画像処理装置１１ｃから送信された位置姿勢情報と接続情報）を、ＨＭＤ１０ａに対して送信する。

ＣＧ画像描画部１０６ａは、コンテンツＤＢ１０７ａが保持する仮想空間のデータに基づいて仮想空間を構築する。そして、係る仮想空間を、無線Ｉ／Ｆ１０５ａから受けた位置姿勢情報が示す位置姿勢を有する視点から見た仮想を、仮想空間画像として生成する。ここで、コンテンツＤＢ１０７ａが保持する仮想空間のデータには、仮想空間を構成する各仮想物体に係るデータや、仮想空間中に配する光源に係るデータなどが含まれている。ＣＧ画像描画部１０６ａは生成した仮想空間画像を無線Ｉ／Ｆ１０５ａに送出するので、無線Ｉ／Ｆ１０５ａはこの仮想空間画像をＨＭＤ１０ａに対して送信する。

即ち、画像処理装置１１ａ（無線Ｉ／Ｆ１０５ａ）からＨＭＤ１０ａには、仮想空間画像に加え、画像処理装置１１ｂ、１１ｃから受信した位置姿勢情報、接続情報が送信されることになる。

以上説明した構成により、ＨＭＤ１０ａを頭部に装着したユーザの眼前には、画像処理装置１１ａが生成した合成画像が提示されることになる。これについては、ＨＭＤ１０ｂを頭部に装着したユーザ、ＨＭＤ１０ｃを頭部に装着したユーザについても同様である。

なお、図１では、画像処理装置、ＨＭＤは共に３つしか示していないので、図１に示したシステムは、３人のユーザに対して複合現実空間を提示するシステムとなる。しかし、画像処理装置、ＨＭＤの数はこれに限定するものではなく、撮像から表示までのリアルタイム性が維持できる範囲であれば、これらの数を増やすことが可能である。ただし、ＨＭＤの数の上限は、画像処理装置の数以下とする。画像処理装置の数を増やすことにより、対応可能なＨＭＤの数が増加し、また、複合現実空間を広域に拡大することが可能となる。

次に、ＨＭＤと画像処理装置との無線通信中に、このＨＭＤ以外のＨＭＤを頭部に装着したユーザの立ち位置によって、係る無線通信に障害が出る場合について説明する。

図４は、２人のユーザが自身の頭部にＨＭＤを装着して複合現実空間を体感している様子を示す俯瞰図である。図４において４０３ａ〜４０３ｄはそれぞれ、画像処理装置内の無線Ｉ／Ｆであり、４０１，４０２はユーザの立ち位置を示している。そして図４では、位置４０１に位置するユーザ（第１のユーザ）が頭部に装着しているＨＭＤ（第１のＨＭＤ）は無線Ｉ／Ｆ４０３ａと無線通信中である。また、位置４０２に位置するユーザ（第２のユーザ）が頭部に装着しているＨＭＤ（第２のＨＭＤ）は無線Ｉ／Ｆ４０３ｂと無線通信中である。

このような状態において、第２のユーザが４０５で示す位置、即ち、第１のＨＭＤと無線Ｉ／Ｆ４０３ａとの間の直接の見通し位置に移動したとする。この場合、第１のＨＭＤは無線Ｉ／Ｆ４０３ａからの直接波を受信することができないため、受信電波強度が著しく悪化し、仮想空間画像の伝送エラーやフレーム落ちが発生する。その結果、第１のＨＭＤには、エラーを含む仮想空間画像が合成された合成画像が表示されたり、仮想空間画像が突然消えてしまうような違和感のある合成画像が表示されることになる。

本実施形態に係るシステムは係る問題を解消すべく構成されたものである。

図５は、本実施形態に係るシステムが、ＨＭＤと画像処理装置との間の通信障害を解消すべく行う動作について説明する図である。図５において図４と同じものについては同じ参照番号を付けており、その説明は省略する。

本実施形態では、第１のＨＭＤの位置と、第１のＨＭＤが現在無線通信中の無線Ｉ／Ｆ４０３ａの位置と、を通る直線を軸とする領域を設定する。係る領域としては、図５に５０４，５０５で示す如く、サイズの異なる２つの領域を設定する。図５では、係る直線を軸とする領域５０５（第１の領域）と、領域５０５を包含する領域５０４（第２の領域）とを設定している。それぞれの領域５０４，５０５は、第１のＨＭＤの位置や姿勢などが変化したりする毎に変わるので、例えば、決まった時間間隔で再設定する。また、それぞれの領域５０４、５０５の形状やサイズは適宜決めればよい。

ここで、第２のユーザが位置４０２から位置５０１０に移動したとする。この場合、位置５０１０は領域５０５の外（第１の領域外）且つ領域５０４内（第２の領域内）となっている。上述の通り、第１のＨＭＤは、第１のＨＭＤと無線通信している画像処理装置から第２のＨＭＤの位置姿勢情報を取得するので、第１のＨＭＤが、係る位置姿勢情報が示す位置が領域５０５の外且つ領域５０４内であることを検知すると、次のように動作する。即ち、第１のＨＭＤと無線通信中の画像処理装置から受信した接続情報を参照し、現在どのＨＭＤとも無線通信を行っていない無線Ｉ／Ｆを、無線Ｉ／Ｆ４０３ｂ〜４０３ｄから特定する。そして、特定したうちの１つの無線Ｉ／Ｆとリンクを確立する。ここではリンクを確立するだけである。現在どのＨＭＤとも無線通信を行っていない無線Ｉ／Ｆのうちの１つを選択する方法としては、例えば、第１のＨＭＤに最も近い位置に設定されている無線Ｉ／Ｆを選択する方法がある。係る方法は、予め測定されている各無線Ｉ／Ｆの位置情報と、第１のＨＭＤの位置情報とを用いれば実現可能である。図５では、無線Ｉ／Ｆ４０３ｃとのリンク５０６を確立することになる。

ここで、第２のユーザが更に位置５０１０から位置５０２０に移動したとする。この場合、位置５０２０は領域５０５内となっている。上述の通り、第１のＨＭＤは、第１のＨＭＤと無線通信している画像処理装置から第２のＨＭＤの位置姿勢情報を取得するので、第１のＨＭＤが、係る位置姿勢情報が示す位置が領域５０５内であることを検知すると、次のように動作する。即ち、第１のＨＭＤは、現在リンクを確立している無線Ｉ／Ｆ（図５では無線Ｉ／Ｆ４０３ｃ）との無線通信を開始すべくチャネルを切り替え、更に、直前まで無線通信を行っていた無線Ｉ／Ｆ（図５では無線Ｉ／Ｆ４０３ａ）との無線通信を切断する。

ここで、第２のユーザが位置５０１０から領域５０４の外に移動した場合には、リンクを確立した無線Ｉ／Ｆとのリンクを解除する。

図７は、切り替え制御部１１１が行う処理のフローチャートである。図７のフローチャートに従った処理は、仮想空間画像と現実空間画像との合成画像を表示部１１０に表示するための処理と並行して行われるものである。

画像処理装置１１ａから送信された、位置姿勢情報、及び接続情報は、無線Ｉ／Ｆ１０３ａを介して切り替え制御部１１１に入力される。更に、位置姿勢情報生成部１０２が求めた位置姿勢情報も切り替え制御部１１１に入力される。

従って、ステップＳ７０１では、切り替え制御部１１１は先ず、位置姿勢情報生成部１０２から受けた位置姿勢情報中の位置情報と、ＨＭＤ１０ａ内の不図示のメモリに登録されている「画像処理装置１１ａ（無線Ｉ／Ｆ１０５ａ）の位置情報」とを参照する。そして、撮像部１０１の位置と、画像処理装置１１ａ（無線Ｉ／Ｆ１０５ａ）の位置と、を通る直線を軸とする領域を求め、設定する。例えば、係る軸が、円形の上面、下面のそれぞれの中心位置を通るような円柱領域を求めても良い。

図６は、ステップＳ７０１において設定する領域の一例を示す図である。図６において６０２は、位置姿勢情報生成部１０２が生成した位置姿勢情報中の位置情報が示す位置であり、６０１は、予め測定された画像処理装置１１ａ（無線Ｉ／Ｆ１０５ａ）の位置である。６０４は、位置６０１と位置６０２とを通る直線である。６０３は、係る直線６０４を軸とする領域である。

ここで設定した領域を「切り替えエリア」と呼称する。更に、ステップＳ７０１では、切り替えエリアを包含する領域を「警戒エリア」として求め、設定する。警戒エリアの形状やサイズについては特に限定するものではないが、例えば、形状は切り替えエリアと同じで、図６に示す底面（上面、下面）の半径ｒのみを大きくしたものを警戒エリアとして求めても良い。

ここで、警戒エリア、切り替えエリアを設定する、とは、それぞれのエリアの形状やその位置、姿勢を示す情報（第１の領域情報、第２の領域情報）を求めることに相当する。

次に、無線Ｉ／Ｆ１０３ａを介して受信した位置姿勢情報、即ちＨＭＤ１０ｂの位置姿勢情報、ＨＭＤ１０ｃの位置姿勢情報を参照し、ＨＭＤ１０ｂの位置が警戒エリア内に位置しているのか、ＨＭＤ１０ｃの位置が警戒エリア内に位置しているのかを判断する。即ち、警戒エリアに対する内外判定処理を行う。

係る判断の結果、ＨＭＤ１０ｂ、１０ｃの何れの位置も警戒エリア内に位置していない場合には、ステップＳ７０２を介して本処理を終了する。一方、係る判断の結果、ＨＭＤ１０ｂ、１０ｃのうち少なくとも１つの位置が警戒エリア内に位置している場合には、処理をステップＳ７０２を介してステップＳ７０４に進める。

ステップＳ７０４では、無線Ｉ／Ｆ１０３ａを介して受信した接続情報を参照する。上述の通り、この接続情報は、画像処理装置１１ｂが無線通信中か否か、画像処理装置１１ｃが無線通信中か否かを示すものであるので、係る接続情報を参照すれば、現在無線通信を行っていない画像処理装置を特定することができる。

そこで、ステップＳ７０５では、接続情報に基づいて、現在無線通信を行っていない画像処理装置を特定する。

ステップＳ７０６では、切り替え制御部１１１は、無線Ｉ／Ｆ１０３ａを制御し、ステップＳ７０５で特定した画像処理装置が有する無線Ｉ／Ｆとのリンクを確立する。

次にステップＳ７０７では、無線Ｉ／Ｆ１０３ａを介して受信した位置姿勢情報、即ち、ＨＭＤ１０ｂの位置姿勢情報、ＨＭＤ１０ｃの位置姿勢情報を参照する。そして、ＨＭＤ１０ｂの位置が切り替えエリア内に位置しているのか、ＨＭＤ１０ｃの位置が切り替えエリア内に位置しているのかを判断する。

係る判断の結果、ＨＭＤ１０ｂの位置が切り替えエリア内に位置している、若しくはＨＭＤ１０ｃの位置が切り替えエリア内に位置している場合には、処理をステップＳ７０８を介してステップＳ７０９に進める。

ステップＳ７０９では、切り替え制御部１１１は無線Ｉ／Ｆ１０３ａを制御し、従前に無線通信相手としていた無線Ｉ／Ｆ、即ち無線Ｉ／Ｆ１０５ａとの通信を切断し、ステップＳ７０６でリンクを確立した無線Ｉ／Ｆとの通信を開始する。

一方、ＨＭＤ１０ｂ、１０ｃの何れの位置も切り替えエリア内に位置していない場合には、処理をステップＳ７０８を介してステップＳ７１０に進める。

ステップＳ７１０では、ＨＭＤ１０ｂの位置、ＨＭＤ１０ｃの位置、が共に警戒エリアの外側に位置しているのか否かを判断する。即ち、ステップＳ７０２における処理以降で、ＨＭＤ１０ｂの位置やＨＭＤ１０ｃの位置が変化し、何れの位置も警戒エリアの外側に移動してしまった可能性がある。ステップＳ７１０では、係る可能性を考慮し、再度、係る判断処理を行う。

係る判断の処理の結果、何れの位置も警戒エリアの外側である場合には処理をステップＳ７１１に進める。ステップＳ７１１では、ステップＳ７０６で確立したリンクを解除し、それまで無線通信の相手としていた無線Ｉ／Ｆ１０５ａとの無線通信を継続する。一方、ＨＭＤ１０ｂ、１０ｃの何れかの位置が未だ警戒エリアの内側である場合には、本処理を終了する。

なお、以上の処理は、３台の画像処理装置と、３台のＨＭＤとを有するシステムにおける処理について説明したが、それぞれの数はこれに限定するものではなく、如何なる数であっても、その処理の本質は同じである。

次に、画像処理装置の数と同じ数のユーザが複合現実空間を体感するような場合について説明する。

図８は、４人のユーザが自身の頭部にＨＭＤを装着して複合現実空間を体感している様子を示す俯瞰図である。図８において図４と同じものについては同じ参照番号を付けており、その説明は省略する。

図８では、８０１，８０２ａ、８０３，８０４は、４人のユーザのそれぞれの立ち位置を示している。８０２ｂは位置８０２ａにおけるユーザの移動後の位置を示している。そして図８では、位置８０１に位置するユーザ（第１のユーザ）が頭部に装着しているＨＭＤ（第１のＨＭＤ）は無線Ｉ／Ｆ４０３ａと無線通信中である。また、位置８０２ａに位置するユーザ（第２のユーザ）が頭部に装着しているＨＭＤ（第２のＨＭＤ）は無線Ｉ／Ｆ４０３ｂと無線通信中である。また、位置８０３に位置するユーザ（第３のユーザ）が頭部に装着しているＨＭＤ（第３のＨＭＤ）は無線Ｉ／Ｆ４０３ｃと無線通信中である。また、位置８０４に位置するユーザ（第４のユーザ）が頭部に装着しているＨＭＤ（第４のＨＭＤ）は無線Ｉ／Ｆ４０３ｄと無線通信中である。

このような状態において、第２のユーザが位置８０２ａから位置８０２ｂに移動したとする。即ち、第２のユーザが位置８０２ｂに移動したことにより、第１のＨＭＤは無線Ｉ／Ｆ４０３ａからの直接波を受けることができなくなってしまったとする。そして、第２のＨＭＤの位置が、第１のＨＭＤが生成した警戒エリアの内側となった場合、第１のＨＭＤは、他の無線Ｉ／Ｆ４０３ｂ〜４０３ｄを有する画像処理装置から受信した接続情報を参照し、現在無線通信していない無線Ｉ／Ｆを特定する。しかし、図８の場合、どの無線Ｉ／Ｆ４０３ｂ〜４０３ｄも無線通信中であり、無線通信していない無線Ｉ／Ｆは存在しない。このような場合、第１のＨＭＤは、第２のＨＭＤが無線通信中の無線Ｉ／Ｆ４０３ｂとのリンクを確立する。また、第２のＨＭＤは、第１のＨＭＤが無線通信中の無線Ｉ／Ｆ４０３ａとのリンクを確立する。もちろん、第１のＨＭＤは、無線Ｉ／Ｆ４０３ｂとのリンクを確立すると、その旨を第２のＨＭＤに通知するので、第２のＨＭＤは係る通知を検知すると、第１のＨＭＤが無線通信中の無線Ｉ／Ｆ４０３ａとのリンクを確立する。

そして第２のＨＭＤの位置が更に、第１のＨＭＤが生成した切り替えエリアの内側となった場合、第１のＨＭＤは、無線Ｉ／Ｆ４０３ｂとの無線通信を開始すると共に、その旨を第２のＨＭＤに通知する。第２のＨＭＤは係る通知を検知すると、無線Ｉ／Ｆ４０３ａとの無線通信を開始する。

なお、以上説明したシステムで用いたＨＭＤはビデオシースルー型のものであったが、光学シースルー型ものものを用いても良い。

また、本実施形態では、画像処理装置の位置（無線Ｉ／Ｆの位置）は固定されているものとして説明したが、任意に移動しても良い。その場合、例えば、画像処理装置（無線Ｉ／Ｆ）の位置を計測するためのセンサを画像処理装置（無線Ｉ／Ｆ）に取り付け、係るセンサにより計測した結果（位置情報）を順次、ＨＭＤに送出する。もちろん、画像処理装置（無線Ｉ／Ｆ）の位置情報を得るための構成についてはこれに限定するものではなく、何れの方法を用いても良い。

ここで、本実施形態に係るシステムとして説明した構成は、その一例に過ぎず、本質的な構成は次のような構成となる。即ち本質的な構成は、頭部装着型表示装置と、この頭部装着型表示装置と無線通信を行う通信器と、この通信器を介して頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムである。

係る構成におけるシステムが有するそれぞれの画像処理装置は、次のような構成を備えることを特徴とする。即ち、自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、自画像処理装置以外の他画像処理装置に対して送信する。更に、他画像処理装置から送信された、他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する。

そして、受信した他頭部装着型表示装置の位置情報を、自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する。

また、係る構成におけるシステムが有するそれぞれの頭部装着型表示装置は、次のような構成を備えることを特徴とする。即ち、自頭部装着型表示装置の位置と、自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する。そして頭部装着型表示装置から送信された位置情報を取得する。そして、この取得した位置情報が示す位置が、上記生成された領域情報が示す領域内に含まれているか否かを判断する。そして係る判断の結果に応じて、注目通信器、若しくは注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する（受信制御）。

なお、上記注目通信器は、自画像処理装置内に含められている。

更に、本実施形態で説明したＨＭＤは上述の通り、頭部装着型表示装置の一例として説明したもので、その本質的な構成は、次のようなものとなる。

先ず、係る頭部装着型表示装置は、上記システムにおいて動作するものであり、次のような構成を有する。即ち、自頭部装着型表示装置の位置と、自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する。そして、自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する。そして、この取得した位置情報が示す位置が、上記生成した領域情報が示す領域内に含まれているか否かを判断する。そして、係る判断の結果に応じて、注目通信器、若しくは注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する。

［第２の実施形態］
第１の実施形態では、ＨＭＤ側で、どの無線Ｉ／Ｆとの無線通信を行うのかの判断処理を行っていた。しかし、各画像処理装置が接続されているネットワーク上にサーバ装置を設け、係るサーバ装置が係る判断処理を行い、その判断結果を、各画像処理装置を介してＨＭＤに送信するようにしても良い。この場合、ＨＭＤ側では、係る判断結果を参照し、無線通信相手を選択する。即ち、本実施形態では、第１の実施形態におけるＨＭＤが行っていた処理の一部を、外部の装置であるサーバ装置に行わせる。

図１０は、本実施形態に係るシステムの機能構成を示すブロック図である。図１０において、図１と同じものについては同じ参照番号を付けており、その説明は省略する。即ち、以下では、第１の実施形態と同じ動作については説明を省略し、異なる動作のみについて説明する。

各画像処理装置１１ａ〜１１ｃは、接続情報と、無線通信中のＨＭＤ１０ａ〜１０ｃから受信した位置姿勢情報と、を、ネットワーク１９９上に接続されている切り替え制御用サーバ１２に送信する。

切り替え制御用サーバ１２が有する位置姿勢／接続情報管理部１００２は、切り替え制御部１１１が行うものとして説明した、図７のフローチャートに従った処理を実行する。しかし、実際にリンクの確立や無線通信相手の切り替え制御を位置姿勢／接続情報管理部１００２が行うのではない。即ち、図７のフローチャートに従った処理の結果を切り替え制御部１１１に実行させるべく、図７のフローチャートに従った処理の結果を示す「切り替え情報」を生成する。これは、各画像処理装置１１ａ〜１１ｃについて行う。

そして、画像処理装置１１ａについて生成した切り替え情報は画像処理装置１１ａに返信するし、画像処理装置１１ｂについて生成した切り替え情報は画像処理装置１１ｂに返信する。また、画像処理装置１１ｃについて生成した切り替え情報は画像処理装置１１ｃに返信する。

各画像処理装置１１ａ〜１１ｃは、切り替え制御用サーバ１２から受信した切り替え情報を、無線通信中のＨＭＤ１０ａ〜１０ｃに対して送信する。

ＨＭＤ１０ａの場合、切り替え制御部１１１は、画像処理装置１１ａから受信した切り替え情報を参照し、無線通信相手を選択したり、リンクを確立したりする。即ち、画像処理装置１１ａについて位置姿勢／接続情報管理部１００２が図７のフローチャートに従った処理を実行した結果、切り替え制御部１１１が行うべき処理として決定した内容を、切り替え制御部１１１が実行する。

なお、本実施形態においても、ビデオシースルー型のＨＭＤの代わりに、光学シースルー型のＨＭＤを用いても良い。

また、本実施形態では、切り替え制御用サーバ１２を別個の装置として説明したが、切り替え制御用サーバ１２の機能を有するハードウェアを、画像処理装置１１ａ〜１１ｃの何れかの装置内に組み込むようにしても良い。その場合、各画像処理装置（係るハードウェアを組み込んだ画像処理装置は省く）は、係るハードウェアを組み込んだ画像処理装置に対して、位置姿勢情報、接続情報を送信することになる。

以上説明したように、本実施形態によれば、第１の実施形態よりも、ＨＭＤに行わせる処理が軽減されるので、ＨＭＤにおける消費電力を軽減させることができる。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

複数人のユーザに対して複合現実空間を提供する事が可能なＭＲシステムの機能構成例を示すブロック図である。 一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムの外観例を示す図である。 マーカを配した現実空間を撮像部１０１により撮像した場合に得られる撮像画像の一例を示す図である。 ２人のユーザが自身の頭部にＨＭＤを装着して複合現実空間を体感している様子を示す俯瞰図である。 本発明の第１の実施形態に係るシステムが、ＨＭＤと画像処理装置との間の通信障害を解消すべく行う動作について説明する図である。 ステップＳ７０１において設定する領域の一例を示す図である。 切り替え制御部１１１が行う処理のフローチャートである。 ４人のユーザが自身の頭部にＨＭＤを装着して複合現実空間を体感している様子を示す俯瞰図である。 一般的なワイヤレスＭＲシステムの機能構成を示すブロック図である。 本発明の第２の実施形態に係るシステムの機能構成を示すブロック図である。 ビデオシースルー型ＨＭＤを利用した一般的な複合現実感システム（以下ではＭＲシステムと呼称する）の機能構成を示すブロック図である。

Claims (11)

1. 頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムであって、
   それぞれの画像処理装置は、
   自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、前記自画像処理装置以外の他画像処理装置に対して送信すると共に、前記他画像処理装置から送信された、前記他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する手段と、
   前記受信した他頭部装着型表示装置の位置情報を、前記自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する送信手段と
   を備え、
   それぞれの頭部装着型表示装置は、
   自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
   前記送信手段が送信した位置情報を取得する取得手段と、
   前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
   前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
   を備えることを特徴とするシステム。
2. 前記生成手段は、前記直線を軸とする第１の領域を示す第１の領域情報と、当該第１の領域を包含する第２の領域を示す第２の領域情報と、を生成することを特徴とする請求項１に記載のシステム。
3. 前記判断手段は、
   前記取得手段が取得した位置情報が示す位置と前記第１の領域情報が示す第１の領域との内外判定処理、前記取得手段が取得した位置情報が示す位置と前記第２の領域情報が示す第２の領域との内外判定処理、を行うことを特徴とする請求項２に記載のシステム。
4. 前記受信制御手段は、
   前記取得手段が取得した位置情報が示す位置が、前記第１の領域の外側で且つ第２の領域の内側であると前記判断手段が判断した場合には、前記注目通信器以外の何れか１つの通信器とリンクを確立すると共に、前記注目通信器との無線通信により画像を受信することを特徴とする請求項２に記載のシステム。
5. 前記受信制御手段は、
   前記リンクが確立している状態で、前記取得手段が取得した位置情報が示す位置が、前記第２の領域の外側であると前記判断手段が判断した場合には、前記リンクを解除することを特徴とする請求項４に記載のシステム。
6. 前記受信制御手段は、
   前記取得手段が取得した位置情報が示す位置が、前記第１の領域の内側であると前記判断手段が判断した場合には、既にリンクが確立している通信器との無線通信により画像を受信することを特徴とする請求項２に記載のシステム。
7. 前記注目通信器は、前記自画像処理装置内に含められていることを特徴とする請求項１に記載のシステム。
8. 頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置であって、
   自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
   前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得手段と、
   前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
   前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
   を備えることを特徴とする頭部装着型表示装置。
9. 頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置の制御方法であって、
   自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成工程と、
   前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得工程と、
   前記取得工程で取得した位置情報が示す位置が、前記生成工程で生成した領域情報が示す領域内に含まれているか否かを判断する判断工程と、
   前記判断工程での判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御工程と
   を備えることを特徴とする頭部装着型表示装置の制御方法。
10. コンピュータに請求項９に記載の制御方法を実行させるためのプログラム。
11. 請求項１０に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images