JP3413127B2 - 複合現実感装置及び複合現実感提示方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数操作者が複合
現実空間を共有しながら所定の動作を行う際、操作者が
他の操作者の状態を容易に把握可能な複合現実感装置及
び複合現実感提示方法に関する。

【０００２】

【０００３】

【従来の技術】近年、現実空間と仮想空間の継ぎ目のな
い結合を目的とした複合現実感（Mixed Reality、Ｍ
Ｒ）に関する研究が盛んになっている。ＭＲは従来、現
実空間と切り離された状況でのみ体験可能であったバー
チャルリアリティ（ＶＲ）の世界と現実空間との共存を
目的とし、ＶＲを増強する技術として注目されている。

【０００４】複合現実感を実現する装置として代表的な
ものは、ヘッドマウントディスプレイ（ＨＭＤ）であ
る。すなわち、現実空間と仮想空間をＨＭＤに合成して
表示することにより、複合現実感を実現するものであ
る。また、ＨＭＤを用いたＭＲの方式としては、半透過
型（シースルー型）のヘッドマウントディスプレイ（Ｈ
ＭＤ）にＣＧ等の画像を重畳する光学シースルー方式
と、ＨＭＤに装着したビデオカメラで撮影した画像デー
タにＣＧ等の画像を合成した後、ＨＭＤに表示するビデ
オシースルー方式がある。

【０００５】ＭＲの用途としては、患者の体内の様子を
透過しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのＶＲとは質的に全く異
なった新たな分野が期待されている。

【０００６】（ゲームアプリケーション）一方、ＭＲを
用いて複数人が同じ空間を共有し、協調して動作を行う
例として、例えば特開平１１−８４３０７号公報に示さ
れるようなゲームがある。特開平１１−８４３０７号公
報には、ＭＲを利用したゲーム装置として、図１５に示
すようなエアホッケー装置が開示されている。

【０００７】エアホッケーゲームはテーブルを挟んで通
常二人が対峙し、テーブル盤面に設けられた微細な穴か
ら供給される圧縮空気によって浮上したパックを、プレ
ーヤが手で操作するマレットで打ち返し、相手のゴール
にパックを入れあうゲームである。

【０００８】ＭＲを適用したエアホッケーゲームは、パ
ックを仮想物体として現実空間に重畳してプレーヤーの
ＨＭＤに表示して、エアホッケーゲームを行うものであ
る。

【０００９】（ゲーム装置の構成）図１５は、ＭＲエア
ホッケーゲーム装置を側面から見た図である。複合現実
感のエアホッケーゲームは、テープル１０００を挟ん
で、二人の対戦者２０００，３０００が手にマレットと
して用いるコントロールボックス（２６０Ｌ，２６０
Ｒ）を持って向かい合う。二人の対戦者２０００，３０
００は頭部にヘッドマウントデイスプレイ（以下ＨＭＤ
と略す）２１０Ｌ，２１０Ｒを装着する。

【００１０】コントロールボックス（２６０Ｌ、２６０
Ｒ）はその先端に赤外線発光器を有しており、テーブル
上部に設けられた赤外線を検出するＣＣＤカメラ２３０
によって取得した画像を処理することにより、その二次
元平面位置を知ることができる。コントロールボックス
の形状や色に特徴があるのであれば、それらの特徴を用
いたパターン認識による検出も可能である。

【００１１】ＨＭＤ２１０は、例えばシースルー型であ
る。両対戦者２０００，３０００は、ＨＭＤ２１０Ｌ，
２１０Ｒを装着していても、テープル１０００の表面を
直接観察することができる。ＨＭＤ２１０には図示しな
い画像処理システムから二次元仮想画像が入力される。
従って、対戦者２０００，３０００は、ＨＭＤ２１０の
光学系（図１５には不図示）を通して観察される現実空
間に重ねて、ＨＭＤ２１０の表示画面に表示された二次
元画像を見ることとなる。

【００１２】図１６は、左側プレーヤ２０００が自身の
ＨＭＤ２１０Ｌを通して観察する複合現実空間を示す。
図１６において、現実空間として認識されるのは対戦す
るプレーヤ３０００及びテーブル１０００と、視野に入
る自分の体、特にコントロールボックスを持った手であ
る。一方、相手ゴール１２００Ｒ、パック１５００は仮
想空間に表示される。

【００１３】そして、二人のプレーヤは、各自が手に持
った現実のコントロールボックスを、画像処理システム
が表示する仮想のパック１５００に当たるように移動
し、仮想のパックを打ち合う。仮想のパックの位置は画
像処理システムが演算し、両プレイヤーのＨＭＤにおい
てテーブル上でパックがマレット及び周囲の壁面にはじ
かれて移動するように観察されるよう表示を行う。

【００１４】プレーヤが装着するＨＭＤ２１０は、例え
ば特開平７−３３３５５１号に開示されるＨＭＤの本体
に、磁気センサ２２０を支柱２２１を介して取り付けた
ものである。ＨＭＤに磁気センサ及び（又は）カメラを
取り付ける構成は、ビデオシースルー方式のＨＭＤに限
られず、光学シースルー方式のＨＭＤであっても、頭部
位置及び姿勢を正確に検出する目的で採用することがで
きる。

【００１５】夫々のＨＭＤ２１０はバンド（不図示）に
よってプレーヤの頭部に固定される。プレーヤの夫々の
頭部には、磁気センサ（２２０Ｌ，２２０Ｒ）及びＣＣ
Ｄカメラ２４０（２４０Ｌ，２４０Ｒ）が、それぞれ固
定されている。カメラ２４０の視界はプレーヤの前方に
設定されている。エアホッケーゲームの場合には、それ
ぞれテープル１０００の上面を見ることとなるので、カ
メラ２４０もテーブル１０００の表面の画像を撮像す
る。磁気センサ２２０（２２０Ｌ， ２２０Ｒ）は、交
流磁界発生源２５０が発する交流磁界の変化をセンスす
る。

【００１６】プレーヤがテープル１０００の表面を見る
ために斜め下方を向くと、ＨＭＤ２１０を通した視界に
は、テーブル１０００の表面と、前述の仮想のパック１
５００、現実のマレット（コントロールボックス２６
０）、仮想のゴール１２００（１２００Ｌ，１２００
Ｒ）が見える。また、プレーヤが、頭部を、水平二次元
平面内において水平移動させ、あるいはティルティング
運動、ヨー運動、ローリング運動を行わせると、その変
化は先ず磁気センサ２２０によって検出され、併せて、
頭部の姿勢変化に伴ってＣＣＤカメラ２４０が撮像する
画像の変化として観測される。

【００１７】そして、検出された頭部の姿勢変化を用い
て、ＨＭＤに表示する仮想空間の画像データの表示位置
を変化させる。マーカをテーブル上に配置し、カメラ２
４０が撮影したマーカ画像から姿勢変化を示す信号を補
正することも可能である。

【００１８】（指示表示）一方、複合現実空間において
所定の位置、あるいは物体等を指し示したい場合には、
現実空間において用いられているような指示棒や単なる
棒を模した３次元画像など、面を組み合わせて構成され
た画像を複合現実空間における指示棒として用いてい
た。

【００１９】

【発明が解決しようとする課題】上述のＭＲエアホッケ
ーゲームにおいては、プレーヤーがいずれもＨＭＤを装
着しており、相手プレーヤーの視線の方向がわからな
い。また、装着している機器がそのまま見えるため、臨
場感に乏しい。

【００２０】また、表示される仮想空間画像もマレット
とパック、ゴールのみであり、その表示内容（表示効
果）や画像がほとんど変化しない。

【００２１】さらに、相手プレーヤーの名前や、これま
での成績、現在の得点状況といったような、情報表示が
行われていなかったため、ゲームの状況や相手プレーヤ
ーのレベルなどを把握することが困難であった。

【００２２】加えて、３人以上のプレーヤーで同じ仮想
現実感空間を共有する場合の処理については何ら示唆さ
れていない。

【００２３】

【００２４】本発明の目的は、上述の課題を解決し、複
数プレーヤにより共通の複合現実空間を共有する場合で
も、臨場感を損なわない仮想現実感装置及び仮想現実感
空間画像表示方法を提供することにある。

【００２５】また、本発明の別の目的は、他プレーヤー
の視線方向が容易に識別できる仮想現実感装置及び仮想
現実感空間画像表示方法を提供することにある。

【００２６】また、本発明の別の目的はプレーヤーの状
態やコマンドの入力等によって、表示する内容が変化す
る仮想現実感装置及び仮想現実感空間画像表示方法を提
供することにある。

【００２７】

【００２８】

【００２９】

【課題を解決するための手段】すなわち、本発明の要旨
は、第１のプレーヤのカメラで撮影された撮影画像を入
力する撮影画像入力手段と、第１のプレーヤの複数の部
位の位置・姿勢を示す第１の位置・姿勢情報を取得する
第１の取得手段と、第２のプレーヤの複数の部位の位置
・姿勢を示す第２の位置・姿勢情報を取得する第２の取
得手段と、第１および第２の位置・姿勢情報とプレーヤ
モデルを用いて、撮影画像における第２のプレーヤの画
像に重畳する仮想画像を生成する画像生成手段と、仮想
画像と撮影画像とを合成し、第１のプレーヤに提示する
複合現実感を示す画像を生成する画像合成手段とを有す
ることを特徴とする複合現実感装置に存する。

【００３０】また、本発明の別の要旨は、第１のプレー
ヤのカメラで撮影された撮影画像を入力する撮影画像入
力ステップと、第１のプレーヤの複数の部位の位置・姿
勢を示す第１の位置・姿勢情報を取得する第１の取得ス
テップと、第２のプレーヤの複数の部位の位置・姿勢を
示す第２の位置・姿勢情報を取得する第２の取得ステッ
プと、第１および第２の位置・姿勢情報とプレーヤモデ
ルを用いて、撮影画像における第２のプレーヤの画像に
重畳する仮想画像を生成する画像生成ステップと、仮想
画像と撮影画像とを合成し、第１のプレーヤに提示する
複合現実感を示す画像を生成する画像合成ステップとを
有することを特徴とする複合現実感提示方法に存する。

【００３１】

【００３２】

【００３３】また、本発明の別の要旨は、本発明による
複合現実感提示方法をコンピュータ装置が実行可能なプ
ログラムとして格納した記憶媒体に存する。

【００３４】

【００３５】

【発明の実施の形態】以下、図面を参照して本発明の好
ましい実施形態について説明する。本実施形態は、３人
のプレーヤーが同一仮想空間を共有して行うゲームであ
るが、本発明による複合現実感装置は、その他任意の用
途に適用することができる。

【００３６】図１は、本発明の複合現実感装置の構成を
示す図である。図１は、プレーヤが３人の場合の構成を
示している。複合現実感装置は、各プレーヤごとに設け
られたプレーヤ処理部１００〜３００と、各プレーヤ処
理部に接続された制御部４００とから構成されており、
プレーヤの増減によって制御部４００に接続されるプレ
ーヤ処理部も増減する。

【００３７】プレーヤ処理部１００〜３００はそれぞれ
同一の構成を有しており、プレーヤの体に装着されたセ
ンサや表示装置などの入出力部分（１０２、１０３、１
０５、１０１１、１０２１、１０２２）と、センサから
収集した信号処理及びこの信号処理結果と制御部から供
給される他プレーヤの情報を元にして表示装置に表示す
べき画像を生成する回路部分（１０１、１０４、１０
６、１０７）とから構成される。

【００３８】以下、図１と本実施形態において各プレー
ヤが装着する入出力機器の種類と装着場所を示す図２を
参照して、プレーヤ処理部の構成を説明する。図２に示
すように、本実施形態において各プレーヤは、頭部に現
実空間と仮想空間とを合成して表示するための表示装置
である頭部装着型画像表示装置（以下ＨＭＤと言う）１
０５を装着する。本発明においてＨＭＤはビデオシース
ルー型でも光学シースルー型でもよいが、以下の説明で
はビデオシースルー型ＨＭＤを用いた場合を例にして説
明する。

【００３９】ＨＭＤ１０５の目に近い部分には、２つの
小型ビデオカメラ１０３が設けられている。このビデオ
カメラ１０３で撮影された、プレーヤの視点とほぼ同一
の視点による映像は、画像入力部１０４を介して後述す
る画像合成部１０６に供給され、仮想空間画像と重畳さ
れてプレーヤのＨＭＤ１０５に表示される。

【００４０】また、プレーヤの頭部にはさらに、例えば
磁気センサからなる頭部位置姿勢センサ１０１１が装着
されている。頭部位置センサ１０１１は、例えばＨＭＤ
１０５を利用して装着することができる。頭部位置セン
サ１０１１の出力信号は頭部位置姿勢計測部１０１が処
理し、プレーヤの頭部位置及び姿勢（傾き方向及び量）
の情報を得る。

【００４１】一方、プレーヤの腕には、対話操作入力装
置１０２が装着されている。対話操作入力装置１０２
は、装着された部位の位置、姿勢を検出する位置姿勢セ
ンサ１０２１と、プレーヤがオン・オフ可能なスイッチ
（トリガ）１０２２とを有し、プレーヤが所定の動作を
行うことによってコマンド入力を行うための装置であ
る。

【００４２】以下の説明においては、複数のプレーヤ
（本実施形態では３人）が同一の複合現実空間を共有
し、複合現実空間上に出現する敵からの攻撃を避けなが
ら、敵を撃破し、時間あるいは敵の攻撃によるダメージ
が所定量に達するまでに撃破した敵の数あるいは点数を
競うゲームであって、対話操作入力装置１０２を用いて
以下のようなコマンド入力が可能な場合を例にして説明
する。

【００４３】・コマンド１（照準コマンド） 照準位置を仮想空間上で指し示す照準線を表示するコマ
ンド。手の甲を上にした状態で、肘よりも手首を上方に
位置させることにより入力する。 ・コマンド２（射撃コマンド） 照準線が示す照準位置を射撃するコマンド。照準コマン
ドにより照準線が表示された状態で、一定の加速度以上
で腕（肘から手のひらにかけて）を前後に往復移動させ
ることにより入力する。 ・コマンド３（防御コマンド） 相手方の攻撃を防御するコマンド。手の甲を相手方に向
けた状態で、指先を上方に向けることにより入力する。 ・コマンド４（リセットコマンド） 射撃コマンドを入力した後、再度照準コマンドを入力す
る際に入力するコマンド。腕を下に垂らした状態にする
ことで入力する。

【００４４】すなわち、本実施形態のゲームにおけるプ
レーヤの動作としては通常、照準コマンド→射撃コマン
ド→リセットコマンド→照準コマンドというサイクルで
コマンドの入力を繰り返し、このサイクルの中で必要に
応じて防御コマンドを入力することになる。

【００４５】対話操作入力装置１０２によって入力され
たコマンドは、画像生成部１０７に供給される。

【００４６】画像生成部１０７は、頭部位置姿勢計測部
１０１から供給されるプレーヤの頭部位置及び姿勢情報
と対話操作入力装置１０２から供給されるコマンド情報
を制御部４００へ転送する。また、プレーヤの頭部位置
・姿勢情報及びコマンド情報と、制御部４００から受信
した他プレーヤの頭部位置・姿勢情報並びにコマンド情
報とモデル情報、敵キャラクタの位置、移動方向、状態
情報、空間内に配置された障害物の位置、形状などの情
報を用いて、対応するプレーヤのＨＭＤ１０５に表示す
べき仮想空間画像を作成し、画像合成部１０６へ出力す
る。

【００４７】画像合成部１０６は、プレーヤの視点に近
い位置に取り付けられたビデオカメラ１０３の画像（実
空間画像）と、画像生成部１０７が作成した仮想空間画
像とを合成し、プレーヤのＨＭＤ１０５に供給する。

【００４８】制御部４００は、上述のようなプレーヤ処
理部１００〜３００が接続された複合現実空間管理部１
と、現実物体位置計測部２とから構成されている。複合
現実空間管理部１は、各プレーヤ処理部１００〜３００
から受信したプレーヤの頭部位置、姿勢に関する情報
と、対話操作入力装置１０２の位置、姿勢及びコマンド
情報とを配信するとともに、仮想空間上に表示する敵キ
ャラクタの生成、消滅、制御及び射撃コマンドによる射
撃の当たり判定等のゲーム処理を行う。敵キャラクタの
モデルや位置、移動方向及び、状態（撃破されたか等）
の情報も各プレーヤの情報とともに接続される全てのユ
ーザに配信される。

【００４９】また、図３に示すように、ゲームの難易度
を調整するために射撃の障害となるような現実物体３１
〜３３を配置する様な場合には、この現実物体３１〜３
３の形状及び位置に関する情報も複合現実空間管理部１
が管理する。

【００５０】図３（ａ）はあるプレーヤから見たゲーム
フィールド（複合現実空間）の斜視図、図３（ｂ）はそ
の上面図をそれぞれ示す。図３においては、（現実空間
の）テーブル３０の上に、３つの現実空間物体３１〜３
３を障害物として配置した場合を示す。本実施形態にお
いては、上述のように対話操作入力装置１０２を用いた
照準コマンドの入力動作が、肘より手首を高くする動作
であるため、一般的な体型において腰の高さ程度の高さ
を有するテーブル３０の上に現実空間物体を配置してい
るが、対話操作入力装置によるコマンド入力動作によっ
てはテーブルが不要であることは言うまでもない。

【００５１】図３において、現実空間物体３１、３２は
固定、３３は可動とされている。可動の現実空間物体が
あると、ゲームの難易度を動的に変化させることができ
る。例えば、可動現実物体３３がランダムなスピードで
左右に移動すれば、標的である敵キャラクタの射撃は静
的な現実物体３１、３２のみが配置されている場合より
も更に難しくなる。可動現実物体の移動制御は、複合現
実空間管理部１が行っても、他の制御回路によって行っ
てもよい。この場合、可動物体のモデルは複合現実空間
管理部１が管理し、またその位置は可動物体３３に設け
た物体位置センサ３３１を現実物体位置計測部２によっ
て計測することになる。

【００５２】以上説明したような複合現実感装置は、制
御部４００をサーバー、プレーヤ処理部１００〜３００
（の回路部分）をクライアントとするクライアント＝サ
ーバーシステムによって実現することができる。個々の
プレーヤに関する処理をクライアントで分散して処理す
ることにより、プレーヤの増減に柔軟に対処可能であ
る。より具体的に述べれば、プレーヤ処理部はビデオ入
出力機能及び各種センサからの信号受信機能を有する汎
用コンピュータ装置により、制御部４００も各プレーヤ
処理部と通信可能なインタフェースと、物体位置計測部
２からの計測信号受信機能を有する汎用コンピュータ装
置により実現できる。

【００５３】ただし、３次元の画像表示に関する演算を
実時間で行う必要があるため、この様な演算に特化した
アクセラレータ（いわゆる３Ｄアクセラレータ）等を有
する比較的高速なコンピュータ装置を用いることが好ま
しい。また、制御部４００とプレーヤ処理部１００〜３
００との通信も１００ＢＡＳＥ−Ｔなど容量の大きな回
線による接続が好ましい。通信回線の容量が小さいとプ
レーヤ数の増加に伴い処理速度の低下が大きくなる。

【００５４】（コマンド入力による表示）次に、対話操
作入力部のコマンド入力による表示動作について図４を
用いて説明する。図４は、射撃コマンドの入力時に行わ
れる表示処理を示すフローチャートである。まず、射撃
コマンドの入力を判定し（ステップＳ１０１）、射撃コ
マンドが入力された場合には射撃表示を開始する（ステ
ップＳ１０３）。

【００５５】また、射撃方向に物体が存在するかを調べ
（ステップＳ１０４）、何もない場合にはあらかじめ定
めた射程距離に達するまで表示を行い（ステップＳ１０
６）、所定時間後に表示を消去して射撃表示を終了する
（ステップＳ１０７）。一方、射程距離内に物体が存在
する場合には、標的であるかどうかを検出し（ステップ
Ｓ１０５）、標的である場合には射撃表示を終了して
（ステップＳ１０８）、標的表示を爆発表示等射撃が当
たったことがプレーヤに認識できるような表示に変更あ
るいは変形する（ステップＳ１０９）。一方、標的以外
の物体が射程距離内に存在する場合には、そこで射撃が
遮られるため、射撃表示を終了する（ステップＳ１０
７）。標的以外の物体を射撃した場合には、「ｍｉｓ
ｓ」等、ゲーム演出上の表示を行っても良い。

【００５６】射撃の弾道上に物体が存在するか否か、存
在する場合には位置及びその種類等の検出は、射撃表示
を行う前に行い、その結果に基づき表示を行うようにし
ても良い。

【００５７】（プレーヤに重畳した表示）本発明におけ
る複合現実感装置は、プレーヤに重畳して仮想空間画像
を表示し、またその表示内容を条件に応じて動的に変更
可能としたことを特徴とする。

【００５８】複合現実感装置にはプレーヤに仮想空間と
現実空間とを合成して視認させるため、ＨＭＤなどの表
示装置の装着が不可欠である。さらに、複合現実空間に
おいて何らかの動作を行うためには、プレーヤの動作を
検出するためのセンサや、スイッチなどの装着も行われ
る。たとえば、本実施形態のゲームにおいては、プレー
ヤの頭部にはＨＭＤ等、腕には対話操作入力装置がそれ
ぞれ装着されている。このようなプレーヤに装着する装
置（装着デバイス）は、プレーヤが１人であれば余り意
識することはないが、プレーヤーが複数存在する場合に
は他のプレーヤの装着デバイスが見えることになる。そ
のため、特にゲームのようなアプリケーションにおいて
は、臨場感に欠け、プレーヤのゲームに対する感情移入
の妨げになる場合がある。

【００５９】そのため、本発明では各プレーヤの少なく
とも装着デバイスを仮想空間画像によって覆い隠すこと
で、よりエンタテイメント性の高いアプリケーションを
可能としたものである。そして、表示する仮想空間画像
をアプリケーションによってふさわしい内容とすること
で、プレーヤの感情移入が促進される上、表示画像を動
的に変化させることによって新たな演出効果を付加する
ことが可能となる。

【００６０】図５は、プレーヤの全身に仮想空間画像を
重畳した場合の表示例を示す図である。プレーヤの頭部
には仮想ヘルメット４１が、両腕、両足、胴部にはそれ
ぞれ仮想のパーツ４２〜４６がそれぞれ重畳されてい
る。このような重畳表示を行う場合には、プレーヤを図
に示すような円柱や直方体など単純な形状で近似したモ
デルで管理するとプレーヤ処理部及び複合現実空間管理
部の処理負荷が軽減できる上、体型の異なるプレーヤに
も共通して使用することができる。プレーヤの装着デバ
イスを隠せばよい場合には、対応する部分のみに仮想画
像を重畳するようにすればよい。すなわち、本実施形態
の場合であればＨＭＤを隠すための仮想ヘルメット４１
と、左右いずれかの腕に装着された対話操作入力装置を
隠すための仮想パーツ４２あるいは４３のみでよい。

【００６１】このような表示制御は、例えば他のプレー
ヤの頭部位置姿勢センサ１０１１や対話操作入力装置に
設けられた位置姿勢センサ１０２１により検出された位
置、姿勢情報と、前述のプレーヤモデルとを用い、重畳
する仮想物体を描画して画像生成を行うことにより実現
できる。

【００６２】対話操作入力装置が装着された腕に重畳す
る仮想物体としては、単に腕部分を覆う物体とすること
もできるが、ゲームにおける機能を表す物体とすること
により、装着デバイスを隠す以上の効果を得ることがで
きる。すなわち、対話操作入力装置を隠す仮想物体にゲ
ーム中で使用する武器などの物体を含ませる（あるいは
武器などの物体で装着デバイスを隠す）ことにより、特
に複数種の武器を選択して使用できる場合など、プレー
ヤは自分の腕を見ることにより現在使用中の武器を容易
に確認する事が可能になる上、他のプレーヤがどのよう
な武器を選択しているかが判別できる。

【００６３】また、対話操作入力装置によって入力され
るコマンドに応じて表示する仮想物体を変化させたり、
変形することもできる。図６は、上述の防御コマンドが
入力された際に仮想物体を武器から楯に変化させる例を
示す図である。すなわち、リセットコマンド入力動作で
ある図６（ａ）の状態において、敵からの攻撃あるいは
敵の接近に備え、手の甲を外側にして指先を上方に向け
る防御コマンド入力動作をとると（図６（ｂ））、武器
４７の表示がなくなり、かわりに楯４７’を含む仮想物
体が表示される（図６（ｃ））。

【００６４】図６は防御コマンドを入力したプレーヤを
他のプレーヤから見た場合を示すものであるが、防御コ
マンドを入力したプレーヤ自身も楯’４７の仮想物体を
裏から見ることになり、実際に楯を用いて防御している
ような感覚を味わうことができる。図７は、選択された
武器の種類（剣と銃）によって表示する仮想物体を変化
させた場合の表示例を示す。

【００６５】表示内容を変化させる条件としてはコマン
ドの入力というプレーヤの能動的なゲーム操作だけでは
なく、プレーヤの移動などによる位置変化入力部の位置
情報なども用いることができる。図８は、プレーヤの視
線方向情報を用いて表示を変化させる場合の例を示す図
である。

【００６６】図８の例では仮想ヘルメット中に表示する
仮想の目の位置及び大きさ、それに付随する表示上の効
果などを変化させている。 具体的には、プレーヤの視
線方向にしたがって仮想の目を移動させる（図８
（ａ），（ｂ））ことが考えられる。このような表示変
化を採用することにより、他のプレーヤが注視している
方向をプレーヤが認知することが可能となる。また、プ
レーヤの視線方向が他のプレーヤの方向に近づくに連れ
て仮想の目の表示を大きくしたり（図８（ｃ））、視線
方向と他のプレーヤの方向が一致した場合には仮想の目
の表示輝度を上げる、あるいは点滅させる（図８
（ｄ））などが考えられる。このような表示変化を採用
することにより、他のプレーヤが自分を見ているプレー
ヤを認知する事が可能となり、本実施形態のように照準
を定めるようなゲームでは、視線方向と照準方向は通常
接近しているため、ゲームの戦略を立てる上で有用な情
報となる。

【００６７】このような表示変化を行うには、例えば図
９に示すように、表示を変化させる対象であるプレーヤ
１の、プレーヤ２に対する方向と視線方向とのずれ角ａ
の大きさを、各プレーヤの位置情報及びプレーヤ１の視
線情報から求め、角ａの変化に応じて表示を変化させる
ことで実現できる。

【００６８】また、一般にプレーヤは照準方向を見るた
め、視線方向を検出しなくても、対話操作入力装置で照
準を定めている方向の情報に基づいて図８に示したよう
な表示制御を行うように構成することもできる。

【００６９】具体的な表示制御について、図１０を参照
して説明する。図１０は、視線情報及び位置情報を用い
て図９に示した条件に基づいて、図８の（ａ）→（ｃ）
→（ｄ）という表示を行う場合の処理を示すフローチャ
ートである。まず、他プレーヤ（図９におけるプレーヤ
１）並びに自分（図９におけるプレーヤ２）の頭部位置
姿勢情報及び視点位置情報を取得する（ステップＳ２０
１、Ｓ２０２）。次に、他プレーヤとの距離が最短とな
る方向を検出する（ステップＳ２０３）。

【００７０】そして、他プレーヤの視線方向を求め（ス
テップＳ２０４）、ステップＳ２０３で求めた方向との
角度差（図９における角度ａ）を得る（ステップＳ２０
５）。この角度差とあらかじめ画像生成部１０７に記憶
してある、角度差と仮想の目の大きさとのテーブルとを
比較し、仮想の目の大きさを取得する（ステップＳ２０
６）。

【００７１】仮想の目の大きさを取得したら、重畳表示
している仮想の目の大きさを更新し、再度表示を行う
（ステップＳ２０７）。そして、角度差が所定の値以下
かどうかを調べ（ステップＳ２０８）、所定角度以下で
あった場合には、図８（ｄ）の効果を追加表示する（ス
テップＳ２０９）。

【００７２】重畳表示される仮想物体やプレーヤのモデ
ルは、複合現実空間管理部１が管理する。仮想物体のモ
デルは３次元モデルであり、視点位置によって見え方が
変化する。すなわち、横を向いているプレーヤを見た場
合には仮想ヘルメットの側面が見えることになる。

【００７３】（指示表示）図１１は、本実施形態におい
て、照準を定めるための指示表示の例を示す図である。
複数プレーヤで共有する空間上の１点を指し示す必要が
ある場合、どこを指しているかが指している本人はもち
ろんのこと、他のプレーヤからも明確に認識されること
が必要である。さらに、指示表示が大きかったり太かっ
たりすると、視界が非常に煩雑になり、ゲームの進行が
妨げられる可能性がある。また、空間上の一点を指示す
るため、距離感がつかみにくい。

【００７４】本発明において、指示表示は互いに等間隔
となるように配置した複数本の平行線を用いて行う。図
１１（ａ）には、プレーヤが装着する対話操作入力装置
を覆って表示される仮想パーツ４３のほぼ先端部分を視
点にした所定長さの３本の平行線９１〜９３を指示表示
として用いた場合を示す。平行線９１〜９３は、図１１
（ｂ）に示すように、正面から見ると正三角形の頂点を
通るように配置されている。平行線９１〜９３の間隔ｄ
は、指示しうる空間の広さによって適宜定めればよい
が、後述するように指示方向が明確になるよう、数セン
チメートル程度（３〜５ｃｍ程度）の間隔は必要であ
る。

【００７５】このような指示表示を行うことにより、指
示表示と重なった部分（仮想空間、現実空間を問わず）
も指示表示に隠されることがない上、距離感や指示方向
が認識しやすくなる。すなわち、図１２（ａ）〜（ｃ）
に示すように、指示を行うプレーヤからは図１２（ａ）
の様に見え、空間のどの一点を指しているかがわかりや
すい。また、逆に指示をしているプレーヤの正面近傍に
いる他のプレーヤからは図１２（ｂ）の様に見えるた
め、手前に向かって指示がなされていることが認識でき
る。さらに、真正面からは図１２（ｃ）の様に見えるた
め、たとえば指示表示によって対戦するプレーヤに照準
を定めるようなゲームアプリケーションにおいては、ね
らわれたプレーヤがそれを認識することが可能となる。

【００７６】指示表示は空間中の一点を指すだけでな
く、物体の存在をより明確にするためにも用いることが
できる。図１３は、指示表示の線を物体１１（仮想物体
でも実空間に配置された物体でもよい）に接する位置ま
でのみ表示することにより、そこに物体があることがよ
り明確にプレーヤに認識される。

【００７７】また、図１４に示すように、所定の間隔で
指示表示の線に目盛り１２１、１２２を加えれば、より
明確に距離を把握することができる。この場合、目盛り
の間隔は等間隔である必要はなく、対数目盛などであっ
てもよい。

【００７８】

【他の実施形態】上述の実施形態においては、プレーヤ
に対する物理的なフィードバックを与える手段を有して
いないが、例えばＨＭＤを固定するためのバンドや、対
話操作入力装置に振動子などの物理的な刺激を与えるデ
バイスを内蔵させ、ゲームの状況に応じてプレーヤにフ
ィードバックを与えることも可能である。たとえば、敵
の攻撃を防御した場合やプレーヤの近傍で敵が撃破され
た場合に、衝撃としての振動をプレーヤに与えることに
より、よりリアルな演出効果を与えることができる。

【００７９】また、制御部は全てのデータを全プレーヤ
処理部に配信しても、そのプレーヤ処理部に必要なデー
タのみを配信するようにしてもよい。全てのデータを配
信する場合には、プレーヤ処理部において必要なものの
みを選択して使用する。

【００８０】また、実施形態の構成においてはビデオカ
メラ１０３の出力が画像入力部１０４にのみ入力されて
いるが、頭部位置姿勢センサ１０１１の情報補正用とし
て頭部位置姿勢計測部１０１へも供給することができ
る。この場合、テーブルや障害物として配置された現実
空間物体など、絶対座標が変化しない物体に、画像処理
により検出しやすい色でマーキングしておくと、補正が
容易である。

【００８１】また、指示表示に用いる平行線の数は３つ
に限定されず、任意の数から選択することができる。但
し、遠近感を認識しやすくするため、３本以上の線を用
いることが好ましい。一方、線の数を多くしすぎると指
示表示と重なった部分が見づらくなったり、プレーヤの
数が多くなると煩雑さが増すので、空間の大きさやプレ
ーヤの人数によって適宜定めればよい。

【００８２】また、上述の実施形態においては、トリガ
１０２２を使用せず、対話操作入力装置の動きを検出し
てコマンドを入力したが、プレーヤがトリガ１０２２を
用いて各種コマンドを入力するようにしても、動作検出
とトリガのオン・オフとを組み合わせても良い。さら
に、対話操作入力装置に、プレーヤの動作に応じてオン
・オフするようなスイッチを組み込んでトリガとして用
いることもできる。

【００８３】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００８４】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００８５】

【発明の効果】以上説明したように、本発明によれば、
各プレーヤの複数の部位の位置・姿勢情報とプレーヤモ
デルを用いて、各プレーヤに提示する他のプレーヤの画
像に重畳する仮想画像を生成することにより、高精度か
つ柔軟に仮想画像を生成することが可能となる。

【００８６】

【００８７】

【図面の簡単な説明】

【図１】本発明による複合現実感装置の構成例を示すブ
ロック図である。

【図２】プレーヤが装着する装置の種類と装着部位を説
明する図である。

【図３】本発明の実施形態におけるゲームを説明する図
である。

【図４】コマンド入力による射撃表示処理を説明するフ
ローチャートである。

【図５】プレーヤの全身に仮想物体を重畳した場合の例
を示す図である。

【図６】対話操作入力装置によるコマンド入力により表
示画像を変化させる場合の例を説明する図である。

【図７】プレーヤの選択に応じて表示画像を変化させる
場合の例を示す図である。

【図８】他プレーヤの視線方向に応じて表示画像を変化
させる場合の例を示す図である。

【図９】図８の表示変化を実現する際の条件の例を説明
する図である。

【図１０】図９に示す条件に従った表示処理を示すフロ
ーチャートである。

【図１１】本発明における指示表示方法を説明する図で
ある。

【図１２】本発明における指示表示方法を用いた際の、
表示開始点に応じた見え方の変化を説明する図である。

【図１３】本発明における指示表示方法を用いて物体の
存在をより明確に認識させる例を示す図である。

【図１４】本発明における指示表示方法の別の例を示す
図である。

【図１５】従来の複合現実感を利用したホッケーゲーム
を説明する図である。

【図１６】従来の複合現実感を利用したホッケーゲーム
を説明する図である。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 17/00 - 17/50 A63F 13/00 - 13/12 H04N 5/262

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 第１のプレーヤのカメラで撮影された撮
   影画像を入力する撮影画像入力手段と、 前記第１のプレーヤの複数の部位の位置・姿勢を示す第
   １の位置・姿勢情報を取得する第１の取得手段と、 第２のプレーヤの複数の部位の位置・姿勢を示す第２の
   位置・姿勢情報を取得する第２の取得手段と、 前記第１および前記第２の位置・姿勢情報とプレーヤモ
   デルを用いて、前記撮影画像における前記第２のプレー
   ヤの画像に重畳する仮想画像を生成する画像生成手段
   と、 前記仮想画像と前記撮影画像とを合成し、前記第１のプ
   レーヤに提示する複合現実感を示す画像を生成する画像
   合成手段とを有することを特徴とする複合現実感装置。
2. 【請求項２】 前記複数の部位には、前記第１及び前記
   第２のプレーヤが複合現実感を体感するための表示装置
   を装着する頭部が含まれていることを特徴とする請求項
   １記載の複合現実感装置。
3. 【請求項３】 前記第２の取得手段は、さらに、コマン
   ド情報を取得し、 前記画像生成手段は、前記コマンド情報に応じて前記仮
   想画像を変化させることを特徴とする請求項１記載の複
   合現実感装置。
4. 【請求項４】 前記プレーヤモデルは、プレーヤを単純
   な形状で近似したモデルであることを特徴とする請求項
   １記載の複合現実感装置。
5. 【請求項５】 前記第１のプレーヤと前記第２のプレー
   ヤの相互の位置情報と視線方向との関係に応じて、前記
   仮想画像を変化させることを特徴とする請求項１記載の
   複合現実感装置。
6. 【請求項６】 第１のプレーヤのカメラで撮影された撮
   影画像を入力する撮影画像入力ステップと、 前記第１のプレーヤの複数の部位の位置・姿勢を示す第
   １の位置・姿勢情報を取得する第１の取得ステップと、 第２のプレーヤの複数の部位の位置・姿勢を示す第２の
   位置・姿勢情報を取得 する第２の取得ステップと、 前記第１および前記第２の位置・姿勢情報とプレーヤモ
   デルを用いて、前記撮影画像における前記第２のプレー
   ヤの画像に重畳する仮想画像を生成する画像生成ステッ
   プと、 前記仮想画像と前記撮影画像とを合成し、前記第１のプ
   レーヤに提示する複合現実感を示す画像を生成する画像
   合成ステップとを有することを特徴とする複合現実感提
   示方法。
7. 【請求項７】 前記第１のプレーヤと前記第２のプレー
   ヤの相互の位置情報と視線方向との関係に応じて、前記
   仮想画像を変化させることを特徴とする請求項６記載の
   複合現実感提示方法。
8. 【請求項８】 請求項６記載の複合現実感呈示方法をコ
   ンピュータ装置に実行させるコンピュータプログラムを
   格納したコンピュータ読み取り可能な記憶媒体。