JP2017010387A - システム、複合現実表示装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】仮想物体と現実物体との干渉状態を、臨場感を伴って共有できるようにすることを目的とする。【解決手段】複合現実表示装置で表示されている複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を複合現実表示装置と情報端末とで共有するシステムであって、現実空間における複合現実表示装置の利用者のオブジェクトと仮想物体との干渉があったか否かを判定する判定手段と、判定手段によりオブジェクトと仮想物体との干渉があったと判定された場合、情報端末の利用者に干渉があったことを通知する通知手段と、を有することによって課題を解決する。【選択図】図４

Description

本発明は、システム、複合現実表示装置、情報処理方法及びプログラムに関する。

製造業分野における設計工程の期間短縮、費用削減を目的として、現実空間と仮想空間とを継ぎ目なく合成した複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムによる設計ツールが導入されている。複合現実システムでは、映像表示手段のひとつとして、ビデオカメラ等の撮像装置とディスプレイとが一体化された頭部装着型ディスプレイ（以下、ＨＭＤ：ヘッドマウントディスプレイと表記）が用いられる。複合現実システムによれば、開発途中の製品をＣＧ（コンピュータグラフィックス）で表現し、ＣＧと現実世界の映像とを重畳して、ＨＭＤに表示する。その結果、任意の視点から状態を確認することで、実寸大の模型を作製せずにデザイン等の検討を行うことができる。
製造業の設計工程では多人数が参加したレビューがしばしば開催される。複合現実を用いたレビューでは多人数が複合現実空間を体験するために、ＨＭＤに加えて、タブレット端末等の手持ち型情報端末を組み合わせてシステムが構成される。このシステムは、ＨＭＤの利用者が見ている複合現実映像を、複数のタブレット端末画面にも同時に配信・表示する。これにより、ＨＭＤの利用者の視界を複数人が同時に共有し、設計・検討に参加できる。
複合現実システムによれば、工場での作業工程を事前に確認できる。例えば、組み立て中の製品を仮想物体として表現し、電動ドライバー等の工具の模型を複合現実システムの体験者が保持する。そして、複合現実システムが仮想物体と模型との干渉を複合現実空間中で判定することにより、作業工程に問題が無いかを確認する。干渉判定結果の出力例として、干渉箇所を強調表示したり、模型に内蔵した振動デバイスを振動させたりする方法がある。
特許文献１には、複合現実システムを用いた共同作業の例が開示されている。特許文献１の複合現実システムでは、作業者の複合現実空間を複数人の参加者が遠隔から共有し、視点を変更しながら実物体と仮想物体とを継ぎ目のない状態で知覚して共同作業を可能にしている。

特開２００６−２９３６０４号公報

複合現実システムにおいて、ＨＭＤの利用者が実際の工具を用いて作業工程を確認し、また、ＨＭＤ映像を複数のタブレット端末で共有するケースを考える。工具は模型であってもよい。工具の位置姿勢は複合現実空間上に再現され、仮想物体との干渉状態が判定される。干渉状態は、例えば干渉箇所の強調表示と工具に付属された振動デバイスとによって、出力される。干渉箇所がＨＭＤの視野外にある場合、及び、仮想物体に隠れており直接視認できない場合、タブレット端末の利用者は干渉状態を知ることができない。
本発明は、仮想物体と現実物体との干渉状態を、臨場感を伴って共有できるようにすることを目的とする。

そこで、本発明は、複合現実表示装置で表示されている前記複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を前記複合現実表示装置と情報端末とで共有するシステムであって、前記現実空間における前記複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉があったか否かを判定する判定手段と、前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記情報端末の利用者に前記干渉があったことを通知する通知手段と、を有する。

本発明によれば、仮想物体と現実物体との干渉状態を、臨場感を伴って共有できるようにすることができる。

複合現実システムのシステム構成の一例を示す図である。 ハードウェア構成の共通部分の一例を示す図である。 実施形態１の複合現実システムのより具体的な一例を示した図である。 タブレット端末に係る振動共有を説明する図である。 実施形態１に係るソフトウェア構成等の一例を示す図である。 実施形態１の情報処理の一例を示すフローチャートである。 実施形態２の複合現実システムのより具体的な一例を示した図である。 ＨＭＤ映像の一例を示す図である。 実施形態２に係るソフトウェア構成等の一例を示す図である。 実施形態２の情報処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、複合現実を体験するＨＭＤの利用者が工具を操作する例を説明する。そして本実施形態の複合現実システムでは、ＨＭＤの利用者のＨＭＤ映像をタブレット端末に配信し、タブレット端末の利用者にも共有する。ここで、本実施形態の複合現実システムでは、複合現実空間において仮想物体と工具とが干渉すると、ＨＭＤ映像を共有中のタブレット端末に付属する振動デバイスを動作させる。これにより、仮想空間において、干渉箇所が視野外にある場合や、視野内でも仮想物体に隠れている場合であっても、干渉状態を、ＨＭＤの利用者とタブレット端末の利用者との間で直感的に共有できる。

図１は、複合現実システムのシステム構成の一例を示す図である。本実施形態に係る複合現実システムは、頭部装着型ディスプレイ（ＨＭＤ）１５０、１６０、ＨＭＤ制御装置１１０、１２０、振動デバイス付き工具１５１を含む。また、本実施形態に係る複合現実システムは、更に、振動デバイス付きタブレット端末１８０、１９０、シーンデータ管理サーバ１３０を含む。ＨＭＤ１５０、１６０は、複合現実表示デバイスであり、電源供給、制御、通信、表示映像合成等を行うためのＨＭＤ制御装置１１０、１２０が各々接続される。タブレット端末１８０、１９０は、ＨＭＤ１５０、１６０の映像を共有表示する端末である。また、シーンデータ管理サーバ１３０は、仮想空間を構成するためのシーンデータ１３１を記憶・管理する。シーンデータ１３１には、仮想物体のデータ等が含まれる。タブレット端末１８０、１９０、ＨＭＤ制御装置１１０、１２０、シーンデータ管理サーバ１３０は、ネットワーク経由で接続される。
タブレット端末１８０、１９０のネットワーク接続形態は有線・無線を問わず、図１に示したように、無線ＬＡＮアクセスポイント１７０経由でネットワークに接続してもよいし、インターネット経由でネットワークに接続してもよい。ＨＭＤ制御装置１１０、１２０、シーンデータ管理サーバ１３０は、ＰＣ（パーソナル・コンピュータ）を利用可能である。したがって、ＨＭＤ制御装置１１０とシーンデータ管理サーバ１３０とは同一のＰＣを利用することもできる。タブレット端末１８０、１９０は、デスクトップ型やノート型のＰＣを用いることもできる。振動デバイス付き工具１５１に付属の振動デバイスは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によってＨＭＤ制御装置１１０、１２０と接続される。
本実施形態では、ＨＭＤ１５０、１６０は、撮像装置と表示装置を備え、撮像装置で撮像した画像にＣＧを重畳した合成画像を表示装置に表示するビデオシースルー型であるとして説明する。しかしながら、ＣＧを透過型の光学ディスプレイに重畳する光学シースルー型を用いてもよい。

以下、ＨＭＤ制御装置、タブレット端末、シーンデータ管理サーバ等のハードウェア構成の共通部分を、図２を用いて説明する。図２は、複合現実システムを構成する装置のハードウェア構成の共通部分の一例を示す図である。図２に示されるように、複合現実システムを構成する装置は、ハードウェア構成として、少なくとも、ＣＰＵ１１と、メモリ１２と、通信Ｉ／Ｆ１３と、を含む。ＣＰＵ１１は、メモリ１２に記憶されたプログラムに基づき処理を実行することにより、後述する各装置のソフトウェア構成やフローチャートの処理が実現される。メモリ１２は、プログラムやＣＰＵ１１が処理を実行する際に利用する各種データを記憶する。通信Ｉ／Ｆ１３は、装置をネットワーク等に接続し、他の装置との通信を司る。なお、ＣＰＵやメモリ、通信Ｉ／Ｆは一つに限られず、複数有していてもよい。
また、複合現実システムを構成する各装置は図２に示したハードウェア構成を基本とし、装置に応じて他のハードウェア構成を有する。例えば、ＨＭＤの場合、撮影部や表示部等をハードウェア構成として更に有する。また、タブレット端末の場合、表示部や入力部、振動デバイス等をハードウェア構成として更に有する。

図３は、実施形態１の複合現実システムのより具体的な一例を示した図である。複合現実空間２１０には位置合わせのためのマーカー２１１、２１２が壁や床に配置されている。また仮想物体２２０は床面中央に配置される。ＨＭＤの利用者２３０が図３には示していないＨＭＤ１５０を装着し複合現実空間を観察すると、三次元ＣＧモデルによる仮想物体２２０と実写とが合成された複合現実映像がＨＭＤ１５０の表示部に表示される。図３における投影面２３１は、ＨＭＤ１５０を通じて観察者が見ている画像を仮想的に表示したものである。投影面２３１の映像はＨＭＤ１５０に出力され、また、システムに接続されたタブレット端末２４１に配信される。タブレット端末の利用者２４０は、タブレット端末の画面を通じて複合現実空間を共有する。
ＨＭＤの利用者２３０は仮想物体と相互に作用するために工具２３２を把持する。工具２３２の位置姿勢は工具に貼り付けられたマーカーや、光学センサー等を用いて計測される。ＨＭＤの利用者は、工具に重畳されたＣＧ画像が実写と合成される形で工具を観察する。工具２３２と仮想物体とが干渉すると、複合現実システムはこれを検知して、工具２３２に付属の振動デバイスを振動させ、干渉判定結果をＨＭＤの利用者に通知する。
実施形態１の複合現実システムでは、ＨＭＤで表示されているＨＭＤの利用者の視野内の現実空間と仮想物体２２０との複合映像をＨＭＤとタブレット端末２４１とで共有する。複合現実システムは、現実空間におけるＨＭＤの利用者の工具２３２と仮想物体２２０との干渉があったか否かを判定し、干渉があったと判定した場合、タブレット端末２４１の利用者に干渉があったことを通知する。このことにより、タブレット端末２４１の利用者にも仮想物体２２０と現実物体との干渉状態を、臨場感を伴って知ることができるようにすることができる。

図４は、タブレット端末に係る振動共有を説明する図である。ＨＭＤの利用者のスクリーン３１０上に、仮想物体３２０と工具とが視野に入っている。工具と仮想物体３２０とが接触すると、タブレット端末が振動する。ここで、複合現実システムは、工具と仮想物体３２０との接触領域と、ＨＭＤの利用者の視点との位置関係によって、工具を振動させるかどうかを決定する。例えば、複合現実システムは、工具３３１と仮想物体３２０との接触領域が仮想物体の裏側にあり、直接視認できない場合、タブレット端末３４０を振動させる。一方で、工具３３２と接触領域とが視認可能な場合、複合現実システムは、接触領域を強調表示３３３する。その結果、タブレット端末３５０の利用者も強調表示３５１が視認可能であるため、共有振動させなくとも、接触状態を感知できる。

図５は、実施形態１に係る複合現実システムを構成する各装置のソフトウェア構成等の一例を示す図である。複合現実システムは、管理サーバ４１０、複合現実表示装置４２０、情報端末４４０を含む。管理サーバ４１０は、シーンデータ管理サーバ１３０に対応する。複合現実表示装置４２０は、ＨＭＤ１５０及びＨＭＤ制御装置１１０、又はＨＭＤ１６０及びＨＭＤ制御装置１２０、又はＨＭＤ１５０、１６０に対応する。情報端末４４０は、タブレット端末１８０、１９０に対応する。
複合現実表示装置４２０は、ハードウェア構成として、撮影部４２１、表示部４２２を含む。また、複合現実表示装置４２０は、ソフトウェア構成として、撮影位置姿勢計測部４２４、シーンデータ取得部４２６、映像合成部４２５、映像送信部４２７、ツール位置姿勢計測部４２３を含む。また、複合現実表示装置４２０は、ソフトウェア構成として、更に、干渉データ受信部４３０、干渉箇所隠れ状態判断部４３１、振動制御命令送信部４３２を含む。ツールの一例としては、ＨＭＤの利用者の持つ工具がある。

撮影部４２１は、カメラ等の撮影デバイスを用いて現実画像を入力する。撮影位置姿勢計測部４２４は、複合現実表示装置４２０の複合現実空間内における三次元位置・姿勢を取得する。撮影位置姿勢計測部４２４は、例えば、現実空間に存在するマーカーや特徴点の情報から位置姿勢を推定する。また、撮影位置姿勢計測部４２４は、複合現実表示装置４２０に接続された赤外線センサー、磁気センサー、ジャイロセンサー等のセンサー情報を利用して位置姿勢を取得してもよいし、上記方法を組み合わせて用いてもよい。同様に、ツール位置姿勢計測部４２３は、ツールの複合現実空間内における三次元位置・姿勢を取得し、管理サーバ４１０に送信する。
シーンデータ取得部４２６は、管理サーバ４１０から、シーンデータ４１６を取得し、複合現実表示装置４２０内部にシーンデータとして記憶する。映像合成部４２５は、位置姿勢情報に基づいて、シーンデータから仮想物体の見かけ上の画像を生成し、撮影部４２１が取得した実写と重畳した映像を生成する。生成された映像は表示部４２２に表示される。その結果、複合現実表示装置４２０の利用者は現実空間中にあたかも仮想物体が存在するかのような複合現実感を体験できる。映像合成部４２５で生成された映像は、映像送信部４２７を経由して、情報端末４４０に送信される。
干渉データ受信部４３０は、管理サーバ４１０の干渉データ共有部４１５より、干渉データを受信する。続いて、干渉箇所隠れ状態判断部４３１は、干渉箇所の隠れ状態を判断する。干渉箇所隠れ状態判断部４３１は、干渉領域が、ＨＭＤの位置から直接見えるかどうかを判別する。例えば、干渉箇所隠れ状態判断部４３１は、ＨＭＤの位置を起点とし、干渉領域の中心に向かう線分と、仮想物体との最初の交点が、干渉領域か否かによって、干渉領域が、ＨＭＤの位置から直接見えるかどうかを判別する。振動制御命令送信部４３２は、判別の結果に基づいて、情報端末４４０の振動デバイス４４５に対して振動制御命令を送信する。

情報端末４４０は、ハードウェア構成として、表示部４４３、入力部４４６、振動デバイス４４５を含む。また、情報端末４４０は、ソフトウェア構成として、映像受信部４４１、表示画面生成部４４２、振動制御命令受信部４４４を含む。
映像受信部４４１は、管理サーバ４１０よりＨＭＤ映像を受信する。表示画面生成部４４２は、ＨＭＤ映像を基に表示画面を生成し、表示部４４３に映像を表示する。振動制御命令受信部４４４は、複合現実表示装置４２０の振動制御命令送信部４３２から送信された振動制御命令を受信し、振動制御命令に基づき振動デバイス４４５を振動させる。入力部４４６は、情報端末４４０のユーザの入力を受け付ける。

管理サーバ４１０は、シーンデータを管理・配信する。管理サーバ４１０は、ソフトウェア構成として、ツール位置姿勢受信部４１１、干渉判定部４１２、干渉箇所表示変更部４１３、シーンデータ共有部４１４、干渉データ共有部４１５を含む。
ツール位置姿勢受信部４１１は、ＨＭＤの利用者の操作するツール（工具）の位置・姿勢を取得する。干渉判定部４１２は、管理サーバ４１０が管理している仮想物体の情報及びツール位置姿勢受信部４１１が受信したツールの位置・姿勢に基づいて仮想物体と工具との接触・干渉判定を行う。干渉判定部４１２は、三次元空間中で仮想物体の構成部品と工具の構成部品とが同一空間を占めるか否かに基づき干渉判定を行う。干渉判定部４１２は、三次元空間中で仮想物体の構成部品と工具の構成部品とが同一空間を占めると判定した場合、干渉が生じすると判定する。干渉が生じると判定された場合、干渉箇所表示変更部４１３は、干渉箇所を強調表示する。干渉箇所表示変更部４１３は、三次元部品同士の交線からなる閉曲面の線の太さや色を変更して描画し、強調表示したり、干渉した部品全体を構成する面を別の色で塗りつぶす等して強調表示したりする。
シーンデータ共有部４１４は、シーンデータ４１６を複合現実表示装置４２０に送信する。また、シーンデータ共有部４１４は、強調表示されたデータを、複合現実表示装置４２０に送信する。また、干渉データ共有部４１５は、干渉箇所の有無を複合現実表示装置４２０に送信し、共有する。
また、管理サーバ４１０、複合現実表示装置４２０、情報端末４４０は不図示の接続制御部を持つ。これは映像の共有状況を管理サーバ４１０で一括管理するためのものである。

図６は、実施形態１の複合現実システムにおける情報処理の一例を示すフローチャートである。複合現実システムにおける情報処理では、管理サーバ４１０、複合現実表示装置４２０、情報端末４４０が連携して動作する。情報処理の開始にあたって、情報端末４４０がどの複合現実表示装置４２０の映像を共有するかは、使用者の指定によって、既に定まっているものとする。また、図６では本実施形態に必要な部分のみを説明し、起動・初期化・終了等の処理の説明は省略する。
管理サーバ４１０の情報処理をＳ５１１〜Ｓ５１５に示す。情報処理の開始後、Ｓ５１１で、管理サーバ４１０は、複合現実表示装置４２０より、ツールの位置姿勢情報を受信し表示状態を更新する。次にＳ５１２で、管理サーバ４１０は、ツール（以下、工具ともいう）と仮想物体との干渉判定を行う。続いてＳ５１３で、管理サーバ４１０は、工具と仮想物体とが干渉すると判定した場合、シーンデータのうち、干渉した箇所の表示属性を、強調表示がなされるように変更する。また、管理サーバ４１０は、ツールの位置・姿勢計測結果に基づいて、シーンデータを変更する。続いてＳ５１４で、干渉箇所の有無である干渉データを複合現実表示装置４２０に配信する。最後にＳ５１５で、管理サーバ４１０は、更新済みのシーンデータを複合現実表示装置４２０に送信する。

複合現実表示装置４２０の情報処理をＳ５２１〜Ｓ５３３に示す。情報処理の開始後、シーンデータ受信処理Ｓ５３０、並びにＳ５３１〜Ｓ５３３の干渉データ受信処理、Ｓ５２１〜Ｓ５２７の複合現実表示処理が並列して実行される。
複合現実表示処理について、Ｓ５２１で、複合現実表示装置４２０は、撮影部４２１より実写を取得する。続いてＳ５２２で、複合現実表示装置４２０は、ツールの位置・姿勢を取得する。次にＳ５２３で、複合現実表示装置４２０は、ツールの位置姿勢情報を管理サーバ４１０に送信する。更にＳ５２４で、複合現実表示装置４２０は、シーンデータから仮想物体のＣＧ画像を生成する。複合現実表示装置４２０は、シーンデータを、Ｓ５３０のシーンデータ受信処理で、管理サーバ４１０から取得する。
続いてＳ５２５で、複合現実表示装置４２０は、実写とＣＧ映像とを重畳合成する。更にＳ５２６で、複合現実表示装置４２０は、表示部４２２に重畳合成した画像を表示する。そしてＳ５２７で、複合現実表示装置４２０は、表示した画像（又は画面）を情報端末４４０に送信する。複合現実表示装置４２０は、Ｓ５２１に戻って情報処理を続ける。複合現実表示装置４２０は、画像を送信する際には画像をＪＰＥＧやＨ．２６４等で符号化して送信してもよい。また、複合現実表示装置４２０は、ＲＴＰ（リアルタイムトランスポートプロトコル）等のストリーミングプロトコルを用いて画像を送信してもよい。
干渉データ処理では、Ｓ５３１で、複合現実表示装置４２０は、管理サーバ４１０より干渉データを受信する。次に、Ｓ５３２で、複合現実表示装置４２０は、干渉箇所の隠れ状態を判別する。続いてＳ５３３で、複合現実表示装置４２０は、判別の結果、ＨＭＤの位置から直接見えないと判別した場合、振動命令を含む振動制御命令を情報端末４４０に対して送信する。

情報端末４４０の情報処理をＳ５４１〜Ｓ５５５に示す。情報処理は画面共有処理と振動共有処理とからなる。Ｓ５４１で、情報端末４４０は、画面共有処理を開始する。Ｓ５４２で、情報端末４４０は、複合現実表示装置４２０からの合成画像を受信する。画像データが符号化されている場合、情報端末４４０は、復号処理を行う。続いてＳ５４３で、情報端末４４０は、表示画面を生成し、情報端末４４０のディスプレイに表示する。解像度の変換が必要な場合も、情報端末４４０は、Ｓ５４３で解像度の変換を実施する。続いて、Ｓ５４４で、情報端末４４０は、共有処理の停止メッセージの有無を判断し、共有停止メッセージがあった場合（Ｓ５４４においてＹｅｓ）、Ｓ５４５に進む。情報端末４４０は、共有停止メッセージがなかった場合（Ｓ５４４においてＮｏ）、Ｓ５４２に戻る。共有停止メッセージは、情報端末の利用者による情報端末のユーザーインターフェース操作に起因し、画面共有と振動共有との両方の停止要求を含む。Ｓ５４５で、情報端末４４０は、画面共有処理を停止する。
Ｓ５５１で、情報端末４４０は、振動共有処理を開始する。Ｓ５５２で、情報端末４４０は、複合現実表示処理装置５２０からの振動制御命令を受信する。振動制御命令に振動命令が含まれている場合、Ｓ５５３で、情報端末４４０は、振動デバイス４４５を制御し、振動を発生させる。続いてＳ５５４で、情報端末４４０は、共有処理の停止メッセージの有無を判断し、共有停止メッセージがあった場合（Ｓ５５４においてＹｅｓ）、Ｓ５５５に進む。情報端末４４０は、共有停止メッセージがなかった場合（Ｓ５５４においてＮｏ）、Ｓ５５２に戻る。この共有処理の停止メッセージは画面共有停止処理と兼用が可能である。Ｓ５５５で、情報端末４４０は、振動共有処理を停止する。

以上説明したように、本実施形態によれば、ＨＭＤの利用者の複合現実感体験映像を、タブレット端末等の情報端末で共有する複合現実システムにおいて、仮想物体と現実物体との干渉や接触の様子を共有できる。その結果、より現実感を伴う複合現実システムを構築できる。

（変形例１）
本実施形態では、干渉させる物体として実物の工具を例に挙げたが、実物に限定されるものではなく、模型も利用可能である。また、位置姿勢が計測できればよいので、例えば、ＨＭＤの利用者の手や腕等でもよい。手の計測方法としては、複合現実表示装置４２０は、ＨＭＤの左右両眼の対応点を探索して、奥行き画像を作成し、これを手のモデルに適用することによって、手の三次元位置姿勢を求める手法を利用することができる。
（変形例２）
本実施形態では、隠れが生じた場合の干渉出力の例としてタブレット端末の振動を挙げたが、他の出力方法であってもよい。例えば、複合現実システムは、タブレット端末の画面上の干渉箇所等に「干渉中」とアイコン表示するようにしてもよいし、タブレット端末の画面を上下に振動させてもよい。又は、複合現実システムは、タブレット端末で干渉が生じた旨の警告音等を出力するようにしてもよい。
（変形例３）
本実施形態では、管理サーバの機能と複合現実表示装置の機能とを一体化するようにしてもよい。

＜実施形態２＞
実施形態２では、２名のＨＭＤの利用者が複合現実を体験する例を用いて説明する。実施形態２の複合現実システムでは、第１の利用者が持つツール（工具）と仮想物体との間に干渉が生じた場合に、第２の利用者の持つ振動デバイスを振動させる。これにより、第１の利用者の干渉状態が、第２の利用者にも直感的に伝えることができる。以下、第１の実施形態と異なる部分を中心に説明する。

図７は、実施形態２の複合現実システムのより具体的な一例を示した図である。複合現実空間にはマーカー２１１、２１２が貼られており、位置合わせに利用される。仮想物体２２０を２名のＨＭＤの利用者６１０、６２０が観察する。第１のＨＭＤの利用者６１０は手に工具（ツール）６１１を持つ。仮想物体２２０、ツール６１１は第１のＨＭＤの利用者６１０のＨＭＤの投影面６１２に投影される。投影面６１２は第１のＨＭＤの利用者６１０のＨＭＤに装着されたカメラの位置・姿勢、画角、焦点距離等のパラメータによって決定される。同様に、仮想物体２２０、ツール６１１は第２のＨＭＤの利用者６２０のＨＭＤの投影面６２２にも投影される。投影面６２２は第２のＨＭＤの利用者６２０のＨＭＤに装着されたカメラによって決定される。第２の利用者は振動装置６２１を持つ。

実施形態２の複合現実システムでは、現実空間における第１のＨＭＤの利用者のツール６１１と仮想物体２２０との干渉があったか否かを判定し、干渉があったと判定した場合、第２のＨＭＤの利用者６２０に干渉があったことを通知する。このことにより、第２のＨＭＤの利用者６２０にも仮想物体２２０と現実物体との干渉状態を、臨場感を伴って知ることができるようにすることができる。

図８は、ＨＭＤ映像の一例を示す図である。図８において、第１のＨＭＤの利用者の画面７１０には、仮想物体２２０が７１１のように投影され、ツール６１１が接触している様子が７１２のように見える。第２のＨＭＤの利用者の画面７２０にも、仮想物体２２０が７２１のように投影され、ツール６１１が７２２のように視界に入っている。このように、第２のＨＭＤの利用者６２０も、接触箇所をＨＭＤの画面で確認することができる。ここで、干渉状態を複数の利用者間で共有する方法として、仮想物体の色や線の太さ等のＣＧ部品の属性変更を用いた強調表示による方法や、振動装置６２１を振動させる方法がある。
振動装置６２１を振動させる方法では、複合現実システムは、ツール６１１が仮想物体２２０と接触・干渉したと判定すると、ツール内の振動デバイスが振動して干渉を利用者６１０に通知する。このとき、複合現実システムは、干渉領域（干渉した箇所）が、第２のＨＭＤの利用者６２０の視野内に存在する場合には、振動装置６２１を連携して振動させる。

図９は、実施形態２に係る複合現実システムを構成する各装置のソフトウェア構成等の一例を示す図である。管理サーバ４１０は、第１の実施形態と同一の構成であるため説明を省略する。また、第１の複合現実表示装置４２０、第２の複合現実表示装置８３０は、映像送信部４２７が無い他は、第１の実施形態の複合現実表示装置と同一の構成である。但し、図９では説明の簡略化のため第１の複合現実表示装置４２０、第２の複合現実表示装置８３０共に、説明上必要な構成のみを図示している。
振動装置８５０は、ハードウェア構成として、振動デバイス８５３を含む。また、振動装置８５０は、ソフトウェア構成として、振動制御命令受信部８５１、制御部８５２を含む。
振動装置８５０は、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信によって第２の複合現実表示装置８３０と接続されている。振動制御命令受信部８５１は、振動制御命令を第２の複合現実表示装置８３０より受信する。制御部８５２は、振動制御命令に応じて、振動デバイス８５３を制御して、振動を発生させる。

図１０は、実施形態２の複合現実システムにおける情報処理の一例を示すフローチャートである。Ｓ９１１〜Ｓ９１５の処理は、実施形態１のＳ５１１〜Ｓ５１５の処理と同様である。Ｓ９２１〜Ｓ９２６の処理は、実施形態１のＳ５２１〜Ｓ５２６の処理と同様である。また、Ｓ９３０の処理は、実施形態１のＳ５３０の処理と同様である。Ｓ９２１〜Ｓ９２６の処理、Ｓ９３０の処理は、第１の複合現実表示装置４２０、第２の複合現実表示装置８３０各々で行われる。
Ｓ９３１で、第２の複合現実表示装置８３０は、管理サーバ４１０より干渉データを受信する。次に、Ｓ９３２で、第２の複合現実表示装置８３０は、干渉箇所が第２の複合現実表示装置８３０のカメラの視野内にあるかどうかを判別する。Ｓ９３３で、第２の複合現実表示装置８３０は、視野内にあると判別した場合、振動命令を含む振動制御命令を振動装置６２１に送信する。Ｓ９５１〜Ｓ９５５の処理は、実施形態１のＳ５５１〜Ｓ５５５の処理と同様である。但し、Ｓ９５１〜Ｓ９５５の処理は、振動装置６２１が処理の主体となる。また、Ｓ９５５で、振動装置６２１は、振動装置６２１のボタン押下を検知すると、振動共有処理を停止する。
以上述べた処理によれば、複数名で仮想現実空間を体験するケースにおいて、第１のＨＭＤの利用者の干渉判定結果を、第２のＨＭＤの利用者もより現実感を伴って共有できる。

（変形例４）
ＨＭＤの利用者の映像を大画面ディスプレイに表示し、多人数でこれを視聴する方式による複合現実感の共有も可能である。この場合、図７に示すような振動装置６２１を各自が手に持つ。即ち、複合現実表示装置で表示されている複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を表示装置に表示し、複合映像を複数の利用者で共有するシステムである。このシステムでは、管理サーバが、現実空間における複合現実表示装置の利用者のオブジェクトと仮想物体との干渉があったか否かを判定する。そして、複合現実表示処理装置がオブジェクトと仮想物体との干渉があったと判定された場合、複数の利用者の振動装置を振動させることで干渉があったことを通知する。
また、複合現実表示処理装置は、オブジェクトと仮想物体との干渉があったと判定した場合、オブジェクトと仮想物体との干渉の箇所が利用者の視野内か否かを判別するようにしてもよい。そして、複合現実表示処理装置は、干渉の箇所が視野内でないと判別された場合、複数の利用者の振動装置を振動させるようにしてもよい。また、複合現実表示処理装置は、干渉の箇所が視野内であると判別した場合、複合映像の内、干渉の箇所を強調表示し、大画面ディスプレイ等の表示装置に表示するようにしてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した複合現実システムのソフトウェア構成の一部又は全てをハードウェアとして複合現実システムに実装してもよい。また、上述したハードウェア構成は一例であって、複合現実システムを構成する装置は、複数のＣＰＵやメモリ、通信Ｉ／Ｆ等を有していてもよい。
また、上述した実施形態、変形例を任意に組み合わせて実施してもよい。

以上、上述した各実施形態によれば、仮想物体と現実物体との干渉状態を、臨場感を伴って共有できるようにすることができる。

１１ ＣＰＵ
１２ メモリ
１３ 通信Ｉ／Ｆ
４１０ 管理サーバ
４２０ 複合現実表示装置
４４０ 情報端末

Claims (20)

1. 複合現実表示装置で表示されている前記複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を前記複合現実表示装置と情報端末とで共有するシステムであって、
   前記現実空間における前記複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉があったか否かを判定する判定手段と、
   前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記情報端末の利用者に前記干渉があったことを通知する通知手段と、
   を有するシステム。
2. 前記通知手段は、前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記情報端末を振動させることで前記情報端末の利用者に前記干渉があったことを通知する請求項１記載のシステム。
3. 前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記オブジェクトと前記仮想物体との干渉の箇所が前記視野内か否かを判別する判別手段を更に有し、
   前記通知手段は、前記判別手段により前記干渉の箇所が前記視野内でないと判別された場合、前記情報端末の利用者に前記干渉があったことを通知する請求項１又は２記載のシステム。
4. 前記判別手段により前記干渉の箇所が前記視野内であると判別された場合、前記複合映像の内、前記干渉の箇所を強調表示する強調表示手段を更に有する請求項３記載のシステム。
5. 複合現実表示装置で表示されている前記複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を表示装置に表示し、前記複合映像を複数の利用者で共有するシステムであって、
   前記現実空間における前記複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉があったか否かを判定する判定手段と、
   前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記複数の利用者の振動デバイスを振動させることで前記干渉があったことを通知する通知手段と、
   を有するシステム。
6. 前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記オブジェクトと前記仮想物体との干渉の箇所が前記視野内か否かを判別する判別手段を更に有し、
   前記通知手段は、前記判別手段により前記干渉の箇所が前記視野内でないと判別された場合、前記複数の利用者の振動デバイスを振動させることで前記干渉があったことを通知する請求項５記載のシステム。
7. 前記判別手段により前記干渉の箇所が前記視野内であると判別された場合、前記複合映像の内、前記干渉の箇所を強調表示する強調表示手段を更に有する請求項６記載のシステム。
8. 第１の複合現実表示装置で表示されている前記第１の複合現実表示装置の利用者の視野内の現実空間における前記第１の複合現実表示装置の利用者のオブジェクトと仮想物体との干渉があったか否かを判定する判定手段と、
   前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、第２の複合現実表示装置の利用者に前記干渉があったことを通知する通知手段と、
   を有するシステム。
9. 前記通知手段は、前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記第２の複合現実表示装置の利用者の振動デバイスを振動させることで前記第２の複合現実表示装置の利用者に前記干渉があったことを通知する請求項８記載のシステム。
10. 前記判定手段により前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記オブジェクトと前記仮想物体との干渉の箇所が前記第２の複合現実表示装置の利用者の視野内か否かを判別する判別手段を更に有し、
    前記通知手段は、前記判別手段により前記干渉の箇所が前記視野内であると判別された場合、前記第２の複合現実表示装置の利用者に前記干渉があったことを通知する請求項８又は９記載のシステム。
11. 複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を表示する表示手段と、
    前記複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉の箇所が前記視野内か否かを判別する判別手段と、
    前記判別手段により前記干渉の箇所が前記視野内でないと判別された場合、前記複合映像を共有する情報端末の利用者に前記干渉があったことを通知する通知手段と、
    を有する複合現実表示装置。
12. 前記通知手段は、前記判別手段により前記干渉の箇所が前記視野内でないと判別された場合、前記情報端末に振動制御命令を送信することで前記情報端末の利用者に前記干渉があったことを通知する請求項１１記載の複合現実表示装置。
13. 複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を表示する表示手段と、
    他の複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉の箇所が前記視野内か否かを判別する判別手段と、
    前記判別手段により前記干渉の箇所が前記視野内であると判別された場合、前記複合現実表示装置の利用者に前記干渉があったことを通知する通知手段と、
    を有する複合現実表示装置。
14. 前記通知手段は、前記判別手段により前記干渉の箇所が前記視野内であると判別された場合、前記複合現実表示装置の利用者の振動デバイスに振動制御命令を送信することで前記複合現実表示装置の利用者に前記干渉があったことを通知する請求項１３記載の複合現実表示装置。
15. 複合現実表示装置で表示されている前記複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を前記複合現実表示装置と情報端末とで共有するシステムが実行する情報処理方法であって、
    前記現実空間における前記複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉があったか否かを判定する判定ステップと、
    前記判定ステップにより前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記情報端末の利用者に前記干渉があったことを通知する通知ステップと、
    を含む情報処理方法。
16. 複合現実表示装置で表示されている前記複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を表示装置に表示し、前記複合映像を複数の利用者で共有するシステムが実行する情報処理方法であって、
    前記現実空間における前記複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉があったか否かを判定する判定ステップと、
    前記判定ステップにより前記オブジェクトと前記仮想物体との干渉があったと判定された場合、前記複数の利用者の振動デバイスを振動させることで前記干渉があったことを通知する通知ステップと、
    を含む情報処理方法。
17. システムが実行する情報処理方法であって、
    第１の複合現実表示装置で表示されている前記第１の複合現実表示装置の利用者の視野内の現実空間における前記第１の複合現実表示装置の利用者のオブジェクトと仮想物体との干渉があったか否かを判定する判定ステップと、
    前記判定ステップにより前記オブジェクトと前記仮想物体との干渉があったと判定された場合、第２の複合現実表示装置の利用者に前記干渉があったことを通知する通知ステップと、
    を含む情報処理方法。
18. 複合現実表示装置が実行する情報処理方法であって、
    複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を表示する表示ステップと、
    前記複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉の箇所が前記視野内か否かを判別する判別ステップと、
    前記判別ステップにより前記干渉の箇所が前記視野内でないと判別された場合、前記複合映像を共有する情報端末の利用者に前記干渉があったことを通知する通知ステップと、
    を含む情報処理方法。
19. 複合現実表示装置の利用者の視野内の現実空間と仮想物体との複合映像を表示する表示ステップと、
    他の複合現実表示装置の利用者のオブジェクトと前記仮想物体との干渉の箇所が前記視野内か否かを判別する判別ステップと、
    前記判別ステップにより前記干渉の箇所が前記視野内であると判別された場合、前記複合現実表示装置の利用者に前記干渉があったことを通知する通知ステップと、
    を含む情報処理方法。
20. コンピュータを、請求項１１乃至１４何れか１項記載の複合現実表示装置の各手段として機能させるためのプログラム。

Images