JP6585929B2 - システム、システムの制御方法 - Google Patents

Description

本発明は、複合現実感の提示技術に関するものである。

自動車・航空機などの製造業分野において、設計工程の期間短縮、費用削減が求められている。この要求に応える技術として、現実空間と仮想空間とを継ぎ目なく合成する複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムがある。複合現実システムによれば、開発中の製品をＣＧ（コンピュータグラフィックス）映像として現実世界に重畳表示できる。そして、自由な視点から確認、検討することで実寸大の模型を制作せずにデザイン等の検討を行うことができる。

複合現実システムでは、映像表示装置のひとつとして、ビデオカメラ等の撮像装置とディスプレイとが一体化された頭部装着型ディスプレイ（以後、ＨＭＤ：ヘッドマウントディスプレイと表記）が用いられる。ＨＭＤの一形態としてビデオシースルー方式がある。これは、ＨＭＤに搭載された撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳して表示する方式である。仮想空間の画像の例としては、例えば、ＣＧにより描画された仮想物体や文字情報等がある。別の画像表示装置として、光学シースルー方式がある。これは、体験者の頭部に装着された光学透過型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する方式である。

製造業の設計工程では、多人数が参加したレビューがしばしば開催される。複合現実システムを用いたレビューでは、多人数が複合現実空間（仮想空間と現実空間とを合成した空間）を体験するために、ＨＭＤに加えて、タブレットなどの手持ち型情報端末を組み合わせてシステムが構成される。このシステムは、ＨＭＤ装着者が見ている複合現実空間の映像を、複数のタブレット画面にも同時に配信・表示する。これにより、ＨＭＤ装着者の視界を複数人が同時に共有し、設計・検討に参加できる。

特許文献１には、複合現実システムを用いた共同作業の例が開示されている。この例では、作業者が体感している複合現実空間を複数人の参加者が遠隔から共有し、視点を変更しながら現実物体と仮想物体とを継ぎ目のない状態で知覚して共同作業を可能にする。

また、非特許文献１には、ナビゲーションシステムにおいて、拡張現実感（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示モードと仮想現実感表示モード（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）とを切替えて表示する技術が開示されている。これにより、利用者が周囲の状況を適切に把握し、行動を支援することができる。また、商用のグラフィックスライブラリにおいて、スクリーン（表示画像平面）上の任意の点と、仮想空間中の三次元モデルを構成する部品との対応を、逆透視投影変換によって求める機能が提供されている。

特開２００６−２９３６０４号公報

Ｍａｋｉｔａ，ｅｔ，ａｌ． "Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｎａｖｉｇａｔｉｏｎ ｏｎ ａ Ｔａｂｌｅｔ Ｃｏｍｐｕｔｅｒ ｆｏｒ Ｓｕｐｐｏｒｔｉｎｇ Ｍａｃｈｉｎｅ Ｍａｉｎｔｅｎａｎｃｅ ｉｎ Ｗｉｄｅ―ａｒｅａ Ｉｎｄｏｏｒ Ｅｎｖｉｒｏｎｍｅｎｔ"，Ｐｒｏｃ． ｏｆ ＩＣＣＳｅｒｖ２０１４，ｐｐ．４１−４７．，２０１４．

複合現実システムを用いてＨＭＤ利用者の映像をタブレットで共有している状況において、タブレットの画面上に表示された仮想物体の部品を、タブレット使用者が指定するケースを考える。このとき、ＨＭＤ利用者は自らの意志で視点位置・姿勢を変更するため、映像共有中のタブレット利用者は仮想物体に対する視点位置・姿勢を制御することはできない。すなわち、タブレット利用者の意思とは無関係にタブレット表示画面が変化することになり、所望の部品を正確に指定することは難しい。

本発明はこのような問題に鑑みてなされたものであり、ＨＭＤなどの頭部装着型表示装置を装着しているユーザが見ている複合現実空間の映像を、他の機器にも表示して共有する場合に、該共有している映像中の仮想物体を該機器の表示画面上で容易かつ正確に指定することを可能にする技術を提供する。

本発明の一様態は、画像表示装置と、仮想物体のデータを保持する保持装置と、該データに基づく仮想物体の映像を含む複合現実空間の映像を表示する表示装置と、を有するシステムであって、
前記画像表示装置は、
表示手段と、
第１のモードが設定されている場合には第１の処理を行い、該第１のモードから第２のモードに切り替わると第２の処理を行う表示制御手段と、
前記仮想物体を構成するパーツのうち、前記第２のモードにおいて前記表示手段に表示されている仮想物体に対してユーザが指定した箇所に対応するパーツを特定し、該特定したパーツの情報を、前記保持装置に対して送信する送信手段と
を備え、
前記表示制御手段は前記第１の処理では、
前記表示装置において表示されている複合現実空間の映像を取得して前記表示手段に表示し、
前記表示制御手段は前記第２の処理では、
視点の位置姿勢を変更するためのユーザ操作が入力されない限りは、位置姿勢が固定された視点および前記データに基づく仮想物体の画像を前記表示手段に表示し、該ユーザ操作が入力されると、該ユーザ操作に応じて変更した位置姿勢の視点および前記データに基づく仮想物体の画像を前記表示手段に表示し、
前記保持装置は、
前記情報を受信する受信手段と、
前記仮想物体を構成するパーツのうち前記情報に対応するパーツを特定し、該特定したパーツのデータを更新する更新手段と
を備えることを特徴とする。

本発明の構成によれば、ＨＭＤなどの頭部装着型表示装置を装着しているユーザが見ている複合現実空間の映像を、他の機器にも表示して共有する場合に、該共有している映像中の仮想物体を該機器の表示画面上で容易かつ正確に指定することができる。

システムの構成例を示す図。 複合現実空間の映像を共有している様子を示す図。 タブレット端末装置の画面の遷移を示す図。 ステップＳ９１２の処理を説明する図。 システムの機能構成例を示すブロック図。 システムが行う処理のフローチャート。 仮想部品の指定について説明する図。 システムの機能構成例を示すブロック図。 システムが行う処理のフローチャート。 第３の実施形態に係るシステムの機能構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態に係るシステムは、画像表示装置と、仮想物体のデータを保持する保持装置と、該データに基づく仮想物体の映像を含む複合現実空間の映像を表示する表示装置と、を有するシステムである。このような構成を有するシステムにおいて、画像表示装置は、第１のモードが設定されている場合には、表示装置において表示されている複合現実空間の映像を取得して表示し、該第１のモードから第２のモードに切り替わると、該データを用いて仮想物体の画像を生成して表示し（表示制御）、仮想物体を構成するパーツのうち、第２のモードにおいて表示されている仮想物体に対してユーザが指定した箇所に対応するパーツを特定し、該特定したパーツの情報を、保持装置に対して送信する。一方、保持装置は、該情報を受信し、仮想物体を構成するパーツのうち該情報に対応するパーツを特定し、該特定したパーツのデータを更新する。

先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ＨＭＤ１５０，１６０、ＨＭＤ制御装置１１０，１２０、シーンデータ管理サーバ１３０、無線ＬＡＮアクセスポイント１７０、タブレット端末装置１８０，１９０、を有する。

ＨＭＤ１５０，１６０は、頭部装着型表示装置の一例であり、現実空間の映像と仮想空間の映像とを合成した複合現実空間の映像を、ＨＭＤ１５０，１６０を頭部に装着したユーザの眼前に提示する装置である。

ＨＭＤ制御装置１１０，１２０はそれぞれ、ＨＭＤ１５０，１６０の電源管理やＨＭＤ１５０，１６０による通信を含む、ＨＭＤ１５０，１６０の基本動作を制御するための装置であり、ＨＭＤ１５０，１６０とは無線若しくは有線でもってデータ通信を行う。

シーンデータ管理サーバ１３０は、仮想空間（シーン）を構築するために必要なデータ（シーンデータ）１３１を保持する装置である。なお、ＨＭＤ制御装置１１０，１２０及びシーンデータ管理サーバ１３０は、図１のように別個の装置であっても良いし、１つの一体化した装置であっても良い。ＨＭＤ制御装置１１０，１２０及びシーンデータ管理サーバ１３０に適用可能な機器としては、例えば、一般のＰＣ（パーソナルコンピュータ）が挙げられる。

無線ＬＡＮアクセスポイント１７０は、タブレット端末装置１８０，１９０に対する無線ＬＡＮアクセスポイントとして機能するものであり、タブレット端末装置１８０，１９０は、この無線ＬＡＮアクセスポイント１７０を介してシーンデータ管理サーバ１３０やＨＭＤ１５０，１６０（ＨＭＤ制御装置１１０，１２０を介して）との間のデータ通信を行う。

タブレット端末装置１８０，１９０は、タッチパネル画面を有し、該タッチパネル画面に様々な情報を表示すると共に、ユーザによる該タッチパネル画面上の操作を検知する機能を有する装置である。なお、タブレット端末装置１８０，１９０は、ユーザからの様々な指示を受け付ける機能、様々な情報を表示する機能、を有するものであれば、如何なる機器であっても良い。

図１に示す如く、タブレット端末装置１８０，１９０と無線ＬＡＮアクセスポイント１７０との間は無線ＬＡＮでもって接続されており、ＨＭＤ制御装置１１０，１２０、シーンデータ管理サーバ１３０、無線ＬＡＮアクセスポイント１７０、は互いにデータ通信が可能なようにネットワークに接続されている。

本実施形態では、ＨＭＤ１５０（１６０）は、現実空間の映像を撮像し、ＨＭＤ１５０（１６０）の位置姿勢に応じた仮想空間の映像をシーンデータ１３１を用いて生成し、該撮像した現実空間の映像と該生成した仮想空間の映像とを合成した複合現実空間の映像を生成し、該生成した複合現実空間の映像を表示すると共に、該複合現実空間の映像を、タブレット端末装置１８０，１９０のうちＨＭＤ１５０（１６０）に対応づけられている一方若しくは両方に対して送信する。これにより、例えば、タブレット端末装置１８０の表示画面には、該タブレット端末装置１８０に対応づけられているＨＭＤにおいて表示されている複合現実空間の映像が表示されていることになり、結果としてタブレット端末装置１８０は該ＨＭＤと複合現実空間の映像を共有することができる。ＨＭＤとタブレット端末装置との間で複合現実空間の映像を共有している様子を図２を用いて説明する。

ユーザ２３０は頭部にＨＭＤを装着しており、該ＨＭＤの画面には、仮想物体２２０を含む複合現実空間を仮想スクリーン２３１に投影した投影映像が表示される。マーカ２１１，２１２は、ＨＭＤの位置姿勢を求めるために現実空間の壁や床に設けられたもので、ここでは、ＨＭＤが現実空間の映像を撮像し、該映像中に写っているマーカを用いて自身の位置姿勢を求めるものとしている。

ユーザ２３０の頭部に装着されているＨＭＤにおいて表示されている複合現実空間の映像は、該ＨＭＤに対応づけられているタブレット端末装置２５０にも送信され、該タブレット端末装置２５０の表示画面２５１に表示される。これによりユーザ２４０は、ユーザ２３０が観察している複合現実空間の映像を、表示画面２５１において確認（共有）することができる。

次に、シーンデータ管理サーバ１３０、ＨＭＤ１５０（１６０）、タブレット端末装置１８０（１９０）、のそれぞれの機能構成例を、図５に示す。なお、図５では説明を簡単にするために、ＨＭＤ制御装置１１０，１２０の図示を省略し、ＨＭＤ１５０（１６０）は、シーンデータ管理サーバ１３０やタブレット端末装置１８０（１９０）と直接データ通信を行うように示しているが、実際には、図１に示す如く、ＨＭＤ１５０（１６０）はそれぞれ、ＨＭＤ制御装置１１０，１２０を介して、シーンデータ管理サーバ１３０やタブレット端末装置１８０（１９０）とのデータ通信を行う。図５に示した各機能部によって行われる各処理について、図６のフローチャートに従って説明する。

＜ステップＳ６２１＞
ＨＭＤ１５０（１６０）が有する撮影部５２２は、現実空間の映像を撮像する。

＜ステップＳ６２２＞
ＨＭＤ１５０（１６０）が有する取得部５２４は、ＨＭＤ１５０（１６０）の位置姿勢を取得する。ＨＭＤ１５０（１６０）の位置姿勢を取得する方法については様々な方法が考えられ、如何なる方法を採用しても構わない。例えば、図２に示す如く現実空間にマーカを配しておき、このような現実空間をステップＳ６２１において撮像することで取得した映像に映っているマーカ（自然特徴でも良い）を用いて、ＨＭＤ１５０（１６０）の位置姿勢を求めても良い。また、赤外線センサ、磁気センサ、超音波センサ、光学センサ、ジャイロセンサ等のセンサによる計測結果に基づいてＨＭＤ１５０（１６０）の位置姿勢を求めても良い。また、映像中のマーカとセンサによる計測結果とを用いてＨＭＤ１５０（１６０）の位置姿勢を求めても良い。なお、ここでいうところの「ＨＭＤ１５０（１６０）の位置姿勢」とは、「世界座標系（現実空間中の１点を原点とし、該原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系）における撮影部５２２の位置姿勢」であり、以下では「視点の位置姿勢」と呼称する場合がある。

＜ステップＳ６２４＞
映像合成部５２５は先ず、「取得部５２６がステップＳ６３０においてシーンデータ管理サーバ１３０から取得（ダウンロード）したシーンデータ１３１」を用いて仮想空間を構築する。シーンデータ１３１とは、仮想空間を構成する各仮想物体のデータ（形状、テクスチャなど、仮想物体を描画するために必要なデータ）、各仮想物体の位置姿勢データ、仮想空間を照明する光源を規定するデータ等、仮想空間を規定するデータである。次に映像合成部５２５は、ステップＳ６２２で取得した位置姿勢を有する視点から見た仮想空間の映像を生成する。位置姿勢が与えられた視点から見える仮想空間の映像を生成する技術は周知であるため、該技術に関する説明は省略する。

＜ステップＳ６２５＞
映像合成部５２５は、ステップＳ６２１で撮影部５２２が撮影した現実空間の映像に、ステップＳ６２４で生成した仮想空間の映像を重畳することで、複合現実空間の映像を生成する。複合現実空間の映像の生成技術については周知であるため、該生成技術に関する説明は省略する。

＜ステップＳ６２６＞
映像合成部５２５は、ステップＳ６２５で生成した複合現実空間の映像を表示部５２３に対して出力することで、該映像を表示部５２３に表示させる。表示部５２３は、ＨＭＤ１５０（１６０）を頭部に装着したユーザの眼前に位置するように該ＨＭＤ１５０（１６０）に取り付けられたものである。これによりＨＭＤ１５０（１６０）を頭部に装着したユーザの眼前には、ステップＳ６２５において生成した複合現実空間の映像を提示することができる。

＜ステップＳ６２７＞
映像送信部５２８は、ステップＳ６２５で映像合成部５２５が生成した複合現実空間の映像を、タブレット端末装置１８０，１９０のうちＨＭＤ１５０（１６０）に対応づけられた一方若しくは両方に対して送信する。ＨＭＤ１５０（１６０）において生成した複合現実空間の映像をどのタブレット端末装置に対して送信するのかは予め設定しておいても良いし、ＨＭＤ１５０（１６０）側及び／又はタブレット端末装置側で任意のタイミングで設定しても構わない。また、このような設定を、ＨＭＤ制御装置１１０（１２０）に対して行っておき、ＨＭＤ制御装置１１０（１２０）がＨＭＤ１５０（１６０）から受けた複合現実空間の映像を、該設定に応じた送信先に対して送信するようにしても構わない。また、映像送信部５２８は、複合現実空間の映像をＪＰＥＧやＨ．２６４等で符号化してから送信するようにしても構わない。また、複合現実空間の映像をＲＴＰ等のストリーミングプロトコルを用いて送信してもよい。

＜ステップＳ６５１＞
制御部５９０は、タブレット端末装置１８０（１９０）の動作モードとして、ＭＲモード（共有モード）、ＶＲモードの何れが設定されているのかを確認する。タブレット端末装置１８０（１９０）の動作モードを切り替える方法には様々な方法が考えられ、特定の方法に限るものではない。例えば、表示部５３６と入力部５３７とでタッチパネル画面を構成している場合、ＭＲモードに切り替えるためのボタン画像（ＭＲモードボタン画像）とＶＲモードに切り替えるためのボタン画像（ＶＲモードボタン画像）とを表示部５３６に表示する。そして、ユーザがＭＲモードボタン画像をタッチパネル画面上でタップしたことを入力部５３７が検知すると、制御部５９０は、タブレット端末装置１８０（１９０）の動作モードをＭＲモードに切り替える。一方、ユーザがＶＲモードボタン画像をタッチパネル画面上でタップしたことを入力部５３７が検知すると、制御部５９０は、タブレット端末装置１８０（１９０）の動作モードをＶＲモードに切り替える。このようなモード切り替え要求は、ユーザー入力イベントを検出するための不図示の別処理において検出することが可能である。

そして、タブレット端末装置１８０（１９０）の動作モードがＭＲモードである場合には、処理はステップＳ６５２に進み、ＶＲモードである場合には、処理はステップＳ６６０に進む。

＜ステップＳ６５２＞
映像受信部５３４は、映像送信部５２８によって送信された複合現実空間の映像を受信する。なお、受信した複合現実空間の映像が符号化されている場合には、該映像を復号する。

＜ステップＳ６５３＞
生成部５３５は、ステップＳ６５２で受信した複合現実空間の映像を、表示部５３６に適した映像に変換することで表示画面を生成する。例えば、ステップＳ６５２で受信した複合現実空間の映像のサイズを、表示部５３６の解像度に応じて変換する。なお、本ステップではこれ以外にも、複合現実空間の映像を表示するための表示領域と、様々な操作を行うためのボタンなどが配置されている操作領域と、を含むダイアログ画面を、表示画面として生成しても構わない。

＜ステップＳ６５４＞
生成部５３５は、ステップＳ６５３において生成した表示画面を、表示部５３６に表示する。これにより表示部５３６には、ステップＳ６２６においてＨＭＤ側で表示されている複合現実空間の映像と同じ内容の映像が表示されることになり、該ＨＭＤと複合現実空間の映像を共有することができる。

＜ステップＳ６６０＞
映像受信部５３４は、映像送信部５２８から送信された複合現実空間の映像の受信動作を停止する。なお動作モードがVRモードであって、映像共有が既に停止されている場合には、ステップS660の処理をスキップしてもよい。

＜ステップＳ６６１＞
入力部５３７が、ユーザがタブレット端末装置１８０（１９０）側でローカルに制御可能な視点（ローカル視点）の位置姿勢を変更するための操作入力を行ったことを示す入力イベントを検知した場合には、処理はステップＳ６６２に進み、ユーザが表示部５３６に表示されている仮想物体の一部（部品）を指定するための操作入力を行ったことを示す入力イベントを検知した場合には、処理はステップＳ６６５に進み、何等入力イベントを検知していない場合には、処理はステップＳ６６３に進む。

＜ステップＳ６６３＞
生成部５３５は先ず、「取得部５３２がステップＳ６４０においてシーンデータ管理サーバ１３０から取得（ダウンロード）したシーンデータ１３１」を用いて仮想空間を構築する。次に生成部５３５は、ローカル視点から見た仮想空間の映像を生成する。なお、制御部５９０は、ＶＲモードに切り替わった直後におけるローカル視点の位置姿勢には、ＶＲモードに切り替わる直前のＨＭＤ（タブレット端末装置１８０（１９０）に対応づけられているＨＭＤ）の位置姿勢を該ＨＭＤから取得して設定する。なお、該設定では、位置姿勢だけでなく、画角など、他のパラメータをも設定して構わない。また、ＨＭＤ１５０（１６０）の位置姿勢や画角などのパラメータをＨＭＤ制御装置１１０（１２０）が管理するようにしても良く、その場合、制御部５９０は、ＨＭＤ１５０（１６０）の位置姿勢や画角などのパラメータをＨＭＤ制御装置１１０（１２０）から取得することになる。

＜ステップＳ６６４＞
生成部５３５は、ステップＳ６６３で生成した仮想空間の映像を、表示部５３６に表示する。

＜ステップＳ６６２＞
入力部５３７は、ユーザが行ったローカル視点の位置姿勢の変更操作（例えば表示部５３６の画面上のドラッグ、ズームイン・アウト等の操作）に応じて、ローカル視点の位置姿勢を変更する。然るにその後、ステップＳ６６３では、この変更後の位置姿勢に応じた仮想空間の映像が生成され、ステップＳ６６４では、変更後の位置姿勢に応じた仮想空間の映像が表示部５３６に表示されることになる。

例えば、ＭＲモードが設定されているタブレット端末装置において、図３（ａ）に示す如く、表示部５３６に、マーカ３１１を含む現実空間の映像と、仮想物体３１２を含む仮想空間の映像と、を合成した複合現実空間の映像が表示されているとする。このとき、タブレット端末装置の動作モードをＶＲモードに切り替えると、直後のステップＳ６６４では、図３（ｂ）に示す如く、図３（ａ）と同じ視点位置姿勢を有するローカル視点から見た仮想物体３１２の映像が表示部５３６に表示される。ここで、ＶＲモードでは、現実空間の映像が重畳表示されていないことに注意されたい。そして、ＶＲモードが設定されているタブレット端末装置においては、ユーザはローカル視点の位置姿勢の変更操作を行うことができ、ユーザがローカル視点の位置姿勢の変更操作を行うと、該変更操作に応じてローカル視点の位置姿勢が変更され、該変更後の位置姿勢を有するローカル視点に基づく仮想物体の映像が表示部５３６に表示されることになり、対応するＨＭＤの位置姿勢の変化に関係なく、タブレット端末装置側で独自に視点の位置姿勢を変更して仮想物体の映像を表示部５３６上で閲覧することができる。

＜ステップＳ６６５＞
取得部５３８は、ユーザが表示部５３６の表示画面上で指示した位置（例えばタップした位置）に表示されている仮想部品（仮想物体を構成する仮想部品）を特定する。該特定のための処理には様々な処理が考えられ、特定の方法に限るものではない。例えば、仮想スクリーン（ローカル視点の位置からローカル視点の視線方向に規定距離だけ離間した位置に、視線方向を法線方向とした面として設けられるもので、世界座標系におけるその位置姿勢はローカル視点の位置姿勢から求めることができる。また、仮想スクリーンのサイズ（幅、高さ）や、上記の「規定距離」は、表示部５３６の画面サイズ、視野角、等に基づいて設定される。）上の各位置は３次元座標で表され、且つ表示部５３６の表示画面上における各位置と仮想スクリーン上の各位置とは１対１で対応しているため、先ずは、表示部５３６の表示画面上における指示位置に対応する仮想スクリーン上の位置（３次元座標）を特定する。そして、該特定した位置とローカル視点の位置とを通る直線と仮想物体との交点を求める処理を行い、交点がなければ、指示位置には仮想部品は表示されていないことになり、交点があれば、そのうちもっともローカル視点の位置に近い交点を特定し、該特定した交点を含む仮想部品を「ユーザが指定した部品」として特定する。

そして取得部５３８は、「ユーザが指定した部品」として特定した仮想部品に固有の識別情報（例えば、仮想部品に固有のＩＤ）を、ステップＳ６４０において取得部５３２が取得したシーンデータ１３１から取得する。なお、仮想空間中に複数の仮想物体が存在する場合、この識別情報は、「ユーザが指定した部品」として特定した仮想部品及び該仮想部品が属する仮想物体を一意に特定するため情報、となる。

＜ステップＳ６６６＞
送信部５３９は、ステップＳ６６５において取得部５３８がシーンデータ１３１から取得した、「ユーザが指定した部品」である仮想部品の識別情報を、シーンデータ管理サーバ１３０に対して送信する。

＜ステップＳ６６７＞
制御部５９０は、タブレット端末装置１８０（１９０）の動作モードをＶＲモードからＭＲモードに切り替える。タブレット端末装置１８０（１９０）の動作モードがＭＲモードに切り替わったことに応じて、映像受信部５３４は、映像送信部５２８から送信された複合現実空間の映像の受信動作を再開する。

＜ステップＳ６１１＞
受信部５１３は、ステップＳ６６６において送信部５３９が送信した識別情報を受信する。

＜ステップＳ６１４＞
変更部５１４は、ステップＳ６１１で受信部５１３が受信した識別情報に対応する仮想部品が他の仮想部品とは識別可能に視認されるように、シーンデータ１３１において該識別情報に対応する仮想部品のデータを加工する。例えば、識別情報に対応する仮想部品が強調表示されるように、該仮想部品の色を他の仮想部品の色とは異なる色に変更する。

＜ステップＳ６１５＞
共有部５１５は、シーンデータ１３１を、ＨＭＤ１５０（１６０）やタブレット端末装置１８０（１９０）に対して送信する。

例えば、図３（ｂ）に示す如く、タブレット端末装置の表示画面に仮想物体３１２が表示されている状態で、ユーザがヘッドライト部分をタップしたとすると、上記の処理により、このタップした仮想部品であるヘッドライトが他の仮想部品とは識別可能に視認されるように該ヘッドライトのデータが更新されるので、図３（ｃ）に示す如く、ヘッドライト部分３３３が強調表示されている。カーソル３３４はタップ位置に表示されている。そしてＭＲモードに移行後、図３（ｄ）に示す如く、複合現実空間の映像においてヘッドライト部分３３３が強調表示されている。このように、ヘッドライト部分３３３が強調表示されるように、全てのタブレット端末装置で共通に用いるシーンデータ１３１を更新するので、ヘッドライト部分３３３の強調表示は、ＨＭＤ、タブレット端末装置の全てにおいて観察される複合現実空間の映像に反映されることになる。

なお、図６のフローチャートに従った処理では、図３（ｄ）に示す如く、このような強調表示はＭＲモードにおいて行われることになるが、図３（ｃ）のように、ＶＲモードにおいて強調表示を行うようにしても構わない。

なお、本実施形態において用いたＨＭＤの代わりに、タブレット等の情報端末装置を用いても良いし、固定位置に備え付けられたカメラを用いても構わない。

このように、本実施形態によれば、ＨＭＤとタブレット端末装置とで複合現実空間の映像を共有するシステムにおいて、タブレット端末装置側で独自に視点を設定して仮想物体を観察したり、タブレット端末装置側で仮想部品を指定し、該指定した仮想部品を他の複合現実空間の観察者に提示することができ、複数人が参加する上記のシステムを利用した協調作業を促進できる。

なお、ＨＭＤが行うものとして説明した処理の一部、例えば、仮想空間の映像の生成や、複合現実空間の映像の生成は、ＨＭＤ制御装置が行うようにしても構わない。このように、１つの装置が行うものとして説明した処理の一部を、他の装置に行わせるようにしても構わない。一般に、どの処理をどの装置に行わせるのか、どれだけの数の装置を使用するのか、といったシステム設計については、図５に示した構成に限るものではなく、第１の実施形態で説明したような処理と同等以上の処理が実現できるのであれば、様々な構成が考えられる。これは第２以降の実施形態についても同様である。

＜変形例１＞
第１の実施形態では、ＶＲモードではローカル視点の位置姿勢を変更することで、仮想物体を様々な角度から観察可能にしていたが、同様の効果を得るために、ＶＲモードに移行しても視点の位置姿勢は固定して（ＶＲモードに移行する直前のＨＭＤの位置姿勢のまま）、仮想物体そのものを移動、回転させても構わない。このとき、タブレット端末装置は、シーンデータ管理サーバ１３０からダウンロードしたシーンデータを用いて仮想空間を構成した後、該シーンデータによって規定されている仮想物体の位置姿勢を変更することで、仮想物体の移動や回転を実現させても構わない。

＜変形例２＞
［第２の実施形態］
本実施形態では、タブレット端末装置側でＭＲモードからＶＲモードに切り替えると、ＶＲモードに切り替え前にＨＭＤから受信した複合現実空間の映像（静止画像）を用いて、仮想部品を指定する。以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

すなわち、本実施形態に係るシステムは、画像表示装置と、仮想物体のデータを保持する保持装置と、該データに基づく仮想物体の映像を含む複合現実空間の映像を表示する表示装置と、を有するシステムの一例である。このようなシステムにおいては、画像表示装置は、第１のモードが設定されている場合には、表示装置から複合現実空間の映像を取得して表示し、該第１のモードから第２のモードに切り替わると、該切り替えの前に表示装置から取得した複合現実空間の映像を表示し、第２のモードにおいて表示されている複合現実空間の映像上のユーザによる指示位置を取得して保持装置に対して送信する。一方、保持装置は、指示位置を受信し、仮想物体を構成するパーツのうち指示位置に対応するパーツを特定し、該特定したパーツのデータを更新する。

先ず、仮想部品の指定について、図７を用いて説明する。タブレット端末装置は、ＨＭＤから受信した最新フレームの複合現実空間の映像を保持しておき、ＶＲモードに切り替わると、図７（ａ）に示す如く、この時点で保持している複合現実空間の映像（該切り替え前にＨＭＤから受信した複合現実空間の映像）を表示する。本実施形態においても、ＶＲモードでは、ＨＭＤからの複合現実空間の映像の受信は停止する。ユーザは、タブレット端末装置の表示画面上で、該表示画面に表示されている複合現実空間の映像（静止画像）に対する拡大操作、縮小操作、平行移動操作（ドラッグ）を行うことで、表示画面に表示されている複合現実空間の映像を拡大したり、縮小したり、平行移動させたりすることができる。図７（ｂ）では、ＨＭＤから受信した複合現実空間の映像の一部を拡大したものが表示されている。そして図７（ｂ）に示す如く、ユーザが表示画面上で所望の仮想部品７２３をタップすると（タップ位置にはカーソル７２２が表示される）、以降は第１の実施形態と同様に、このタップされた仮想部品７２３が図７（ｃ）に示す如く、強調表示される。

次に、本実施形態に係るシステムの機能構成例を図８に示す。また、このようなシステムの各機能部によって行われる各処理について、図９のフローチャートに従って説明する。

なお、ステップＳ９２１〜Ｓ９３０の各ステップにおける処理はそれぞれ、上記のステップＳ６２１〜Ｓ６３０と同様であるため、これらのステップに係る説明は省略する。また、ステップＳ９５１〜Ｓ９６０、Ｓ９６７の各ステップにおける処理はそれぞれ、上記のステップＳ６５１〜Ｓ６６０、Ｓ６６７と同様であるため、これらのステップに係る説明は省略する。

＜ステップＳ９６１＞
入力部５３７が、ユーザが表示画面に表示されている複合現実空間の映像の拡大、縮小、平行移動などの操作入力（表示画面上のジェスチャー入力、例えばピンチイン・アウト操作）を行ったことを示す入力イベントを検知した場合には、処理はステップＳ９６２に進み、ユーザが表示部５３６に表示されている仮想物体の一部（部品）を指定するための操作入力を行ったことを示す入力イベントを検知した場合には、処理はステップＳ９６５に進み、何等入力イベントを検知していない場合には、処理はステップＳ９６４に進む。

＜ステップＳ９６２＞
生成部５３５は、ユーザが行った、複合現実空間の映像の拡大、縮小、平行移動などの操作（例えば表示部５３６の画面上のドラッグ、ズームイン・アウト等の操作）に応じて、表示部５３６の表示画面上に表示されている複合現実空間の映像の拡大、縮小、平行移動を行う。

＜ステップＳ９６４＞
生成部５３５は、複合現実空間の映像を、表示部５３６に表示する。ＶＲモードに移行直後のステップＳ９６４では、ＶＲモードに移行する直前に映像受信部５３４がＨＭＤから受信した複合現実空間の映像（静止画像）を表示部５３６に表示する。

＜ステップＳ９６５＞
取得部５３８は、ユーザが表示部５３６の表示画面上で指示した位置（例えばタップした位置）を取得する。

＜ステップＳ９６６＞
送信部５３９は、ステップＳ９６５で取得部５３８が取得した指示位置をシーンデータ管理サーバ１３０に対して送信する。

＜ステップＳ９１１＞
受信部５１３は、ステップＳ９６６において送信部５３９が送信した指示位置を受信する。

＜ステップＳ９１２＞
特定部８１７は、ステップＳ９１１で受信部５１３が受信した指示位置に表示されている仮想部品（仮想物体を構成する仮想部品）を特定する。該特定のための処理には様々な処理が考えられ、特定の方法に限るものではない。一例としては、図４に示す方法が考えられる。

例えば、タブレット端末装置の画面４５０上でユーザが仮想物体４５１のヘッドライト部分を指示すべくタップし、その位置４５２がＩ（Ｉｕ、Ｉｖ）であるとする。この位置４５２は、画面４５０の左上隅の位置を原点（０，０）とし、水平方向にｕ軸、垂直方向にｖ軸を規定する座標系Ｉ（ｕ，ｖ）におけるものである。

次に、ユーザ４４０の頭部に装着されたＨＭＤの視点４４１の位置Ｖ（Ｖｘ，Ｖｙ，Ｖｚ）から視点４４１の視線方向θ（α、β、γ）に規定距離だけ離間した位置に、視線方向を法線方向とした面として設けられる仮想スクリーン４３０において、位置４５２に対応する位置４３１を求める。ここで、位置Ｖ（Ｖｘ，Ｖｙ，Ｖｚ）は、世界座標系におけるｘ座標、ｙ座標、ｚ座標を表し、視線方向θ（α、β、γ）は、ｘ軸、ｙ軸、ｚ軸のそれぞれの軸周りの回転角度を表す。なお、視点方向を表現する方法はこれ以外の方法も考え得る。

世界座標系における仮想スクリーン４３０の位置姿勢は視点４４１の位置姿勢Ｖ，θから求めることができる。また、仮想スクリーン４３０のサイズ（幅、高さ）や、上記の「規定距離」は、撮影部５２２による撮像映像サイズ、表示部５３６の画面サイズ、視野角、等に基づいて設定される。

ここで、タブレット端末装置の画面４５０上に表示されている複合現実空間の映像に対して拡大、縮小、平行移動の何れも行っていない状態（例えば、ＶＲモードに切り替え直後の状態）では、例えば仮想スクリーン４３０の縦横サイズがＨ×Ｗ（画素）、画面４５０の縦横サイズがｈ×ｗ（画素）である場合、画面４５０上の位置４５２Ｉ（Ｉｕ、Ｉｖ）に対応する位置４３１Ｉ’（Ｉｕ’、Ｉｖ’）は、Ｉｖ’＝Ｈ／ｈ×Ｉｖ、Ｉｕ’＝Ｗ／ｗ×Ｉｕとして一意に特定することができる。ここで、位置４３１Ｉ’（Ｉｕ’、Ｉｖ’）は、仮想スクリーン座標系（仮想スクリーン４３０の左上隅の位置を原点（０，０）とし、水平方向にｕ’軸、垂直方向にｖ’軸を規定する座標系Ｉ’（ｕ’、ｖ’））におけるものである。

一方、タブレット端末装置の画面４５０上に表示されている複合現実空間の映像に対して拡大、縮小、平行移動を行った場合、画面４５０に表示されるものは、仮想スクリーン４３０において、拡大／縮小に応じたサイズを有し且つ平行移動操作によって平行移動したウィンドウ内の映像（実際にはこの映像に現実空間の映像が重畳されている）であるため、上記のように、位置４５２に対応するウィンドウ内の位置を特定することができる。

例えば、仮想スクリーン４３０の縦横サイズがＨ×Ｗ（画素）、画面４５０の縦横サイズがｈ×ｗ（画素）、画面４５０において、オリジナルの複合現実空間の映像（ＶＲモードに移行時に画面４５０に表示した複合現実空間の映像）に対して行った拡大／縮小の割合（拡大／縮小率）をＲ（０＜Ｒ）、仮想スクリーン４３０上のウィンドウの左上隅の位置を（ａ、ｂ）、画面４５０上の位置４５２を（ｐ、ｑ）とすると、位置４３１（ｘ、ｙ）は以下の式に基づいて求めることができる。

ｘ＝ａ＋Ｗ×ｐ／（ｗ×Ｒ）
ｙ＝ｂ＋Ｈ×ｑ／（ｈ×Ｒ）
このように、複合現実空間の映像に対して拡大、縮小、平行移動操作を行ったとしても、仮想スクリーン４３０上の位置とタブレット端末装置の画面４５０上の位置とは１対１で対応しているため、位置４５２に対応する仮想スクリーン４３０上の位置４３１は一意に求めることができる。すなわち、位置４５２に対応する位置４３１の仮想スクリーン座標系における２次元座標Ｉ’（Ｉｕ’、Ｉｖ’）は一意に求めることができる。

また、仮想スクリーン４３０上の各位置は３次元座標でも表されることから、位置４３１の世界座標系における３次元座標Ｓ（Ｓｘ，Ｓｙ，Ｓｚ）と、視点４４１の位置Ｖ（Ｖｘ，Ｖｙ，Ｖｚ）と、を通る直線と仮想物体４２０との交点を求め、求めた交点のうち視点４４１の位置Ｖ（Ｖｘ，Ｖｙ，Ｖｚ）に最も近い交点４２１の３次元座標Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）を、「ユーザが画面４５０上で指定した位置４５２に対応する、仮想物体４２０上の位置」として特定することができる。

＜ステップＳ９１４＞
変更部５１４は、ステップＳ９１２で特定した仮想部品（特定仮想部品）が他の仮想部品とは識別可能に視認されるように、シーンデータ１３１において該特定仮想部品のデータを加工する。例えば、ステップＳ９１２で特定した仮想部品が強調表示されるように、該仮想部品の色を他の仮想部品の色とは異なる色に変更する。

＜ステップＳ９１５＞
共有部５１５は、シーンデータ１３１を、ＨＭＤ１５０（１６０）に対して送信する。

＜変形例＞
第２の実施形態では、ＶＲモードに移行する直前に映像受信部５３４がＨＭＤから受信した１枚の静止画像（複合現実空間の映像）を表示部５３６に表示していたが、ＶＲモードに移行する時点から規定時間前までの間に（若しくは該時点の前後規定時間内で）映像受信部５３４がＨＭＤから受信した複数枚の静止画像（複合現実空間の映像）、若しくはそのうちユーザが入力部５３７を用いて選択した静止画像を表示部５３６に表示するようにしても構わない。

［第３の実施形態］
第１の実施形態で説明したように、幾つかの装置を統合しても構わない。例えば、図１０に示す如く、ＨＭＤ１５０（１６０）とシーンデータ管理サーバ１３０とを統合して１つのＨＭＤ１５０（１６０）としても構わない。もちろん、図１０においてＨＭＤ１５０（１６０）の構成としたものを、ＨＭＤ１５０（１６０）とＨＭＤ制御装置１１０，１２０とによる構成としても構わない。これは第１の実施形態でも触れたとおりである。

［第４の実施形態］
図５，８，１０に示したそれぞれの機能部は全てハードウェアで構成しても構わないが、一部をソフトウェアで構成しても構わない。例えば、図５のシーンデータ管理サーバ１３０の場合、受信部５１３、共有部５１５、変更部５１４（図８の場合はこれに加えて特定部８１７）をコンピュータプログラムで実装しても構わない。この場合、このコンピュータプログラムはシーンデータ管理サーバ１３０のメモリ内に格納され、シーンデータ管理サーバ１３０のＣＰＵが該コンピュータプログラムを実行することになる。また例えば、図５のＨＭＤ１５０（１６０）の場合、取得部５２６、取得部５２４、映像合成部５２５、映像送信部５２８をコンピュータプログラムで実装しても構わない。この場合、このコンピュータプログラムはＨＭＤ１５０（１６０）のメモリ内に格納され、ＨＭＤ１５０（１６０）のＣＰＵが該コンピュータプログラムを実行することになる。また例えば、図５のタブレット端末装置１８０（１９０）の場合、映像受信部５３４、生成部５３５、取得部５３８、送信部５３９、取得部５３２をコンピュータプログラムで実装しても構わない。この場合、このコンピュータプログラムはタブレット端末装置１８０（１９０）のメモリ内に格納され、タブレット端末装置１８０（１９０）のＣＰＵが該コンピュータプログラムを実行することになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１５０，１６０：ＨＭＤ １３０：シーンデータ管理サーバ １８０，１９０：タブレット端末装置

Claims (11)

1. 画像表示装置と、仮想物体のデータを保持する保持装置と、該データに基づく仮想物体の映像を含む複合現実空間の映像を表示する表示装置と、を有するシステムであって、
   前記画像表示装置は、
   表示手段と、
   第１のモードが設定されている場合には第１の処理を行い、該第１のモードから第２のモードに切り替わると第２の処理を行う表示制御手段と、
   前記仮想物体を構成するパーツのうち、前記第２のモードにおいて前記表示手段に表示されている仮想物体に対してユーザが指定した箇所に対応するパーツを特定し、該特定したパーツの情報を、前記保持装置に対して送信する送信手段と
   を備え、
   前記表示制御手段は前記第１の処理では、
   前記表示装置において表示されている複合現実空間の映像を取得して前記表示手段に表示し、
   前記表示制御手段は前記第２の処理では、
   視点の位置姿勢を変更するためのユーザ操作が入力されない限りは、位置姿勢が固定された視点および前記データに基づく仮想物体の画像を前記表示手段に表示し、該ユーザ操作が入力されると、該ユーザ操作に応じて変更した位置姿勢の視点および前記データに基づく仮想物体の画像を前記表示手段に表示し、
   前記保持装置は、
   前記情報を受信する受信手段と、
   前記仮想物体を構成するパーツのうち前記情報に対応するパーツを特定し、該特定したパーツのデータを更新する更新手段と
   を備えることを特徴とするシステム。
2. 前記画像表示装置は、前記仮想物体のデータを、前記保持装置から取得することを特徴とする請求項１に記載のシステム。
3. 前記表示制御手段は、
   前記第２のモードに切り替わると、前記第２のモードに切り替わる前の前記表示装置の位置姿勢に基づいて前記仮想物体の画像を生成することを特徴とする請求項１又は２に記載のシステム。
4. 画像表示装置と、仮想物体のデータを保持する保持装置と、該データに基づく仮想物体の映像を含む複合現実空間の映像を表示する表示装置と、を有するシステムであって、
   前記画像表示装置は、
   表示手段と、
   第１のモードが設定されている場合には第１の処理を行い、該第１のモードから第２のモードに切り替わると第２の処理を行う表示制御手段と、
   前記第２のモードにおいて前記表示手段に表示されている複合現実空間の映像上のユーザによる指示位置を取得して前記保持装置に対して送信する送信手段と
   を備え、
   前記表示制御手段は前記第１の処理では、
   前記表示装置から複合現実空間の映像を取得して前記表示手段に表示し、
   前記表示制御手段は前記第２の処理では、
   前記切り替えの前に前記表示装置から取得した複合現実空間の静止画像に対するユーザ操作が入力されない限りは該静止画像を前記表示手段に表示し、該ユーザ操作が入力されると、該ユーザ操作に応じて加工した該静止画像を前記表示手段に表示し、
   前記保持装置は、
   前記指示位置を受信する受信手段と、
   前記仮想物体を構成するパーツのうち前記指示位置に対応するパーツを特定し、該特定したパーツのデータを更新する更新手段と
   を備えることを特徴とするシステム。
5. 前記画像表示装置は更に、
   前記第２のモードにおいて前記表示手段に表示されている前記静止画像に対するユーザ操作として拡大操作、縮小操作、平行移動操作、を入力する手段を備えることを特徴とする請求項４に記載のシステム。
6. 前記更新手段は、
   前記表示装置の位置姿勢と、前記指示位置と、を用いて、前記仮想物体を構成するパーツのうち前記指示位置に対応するパーツを特定することを特徴とする請求項４又は５に記載のシステム。
7. 前記更新手段は、
   前記特定したパーツが強調表示されるように、該パーツのデータを更新することを特徴とする請求項１乃至６の何れか１項に記載のシステム。
8. 前記システムは、前記画像表示装置及び前記表示装置のうち少なくとも一方を複数、有していることを特徴とする請求項１乃至７の何れか１項に記載のシステム。
9. 前記表示装置は頭部装着型表示装置であることを特徴とする請求項１乃至８の何れか１項に記載のシステム。
10. 画像表示装置と、仮想物体のデータを保持する保持装置と、該データに基づく仮想物体の映像を含む複合現実空間の映像を表示する表示装置と、を有するシステムの制御方法であって、
    前記画像表示装置が、
    第１のモードが設定されている場合には第１の処理を行い、該第１のモードから第２のモードに切り替わると第２の処理を行い、
    前記仮想物体を構成するパーツのうち、前記第２のモードにおいて前記画像表示装置の表示手段に表示されている仮想物体に対してユーザが指定した箇所に対応するパーツを特定し、該特定したパーツの情報を、前記保持装置に対して送信し、
    前記第１の処理では、
    前記表示装置において表示されている複合現実空間の映像を取得して前記表示手段に表示し、
    前記第２の処理では、
    視点の位置姿勢を変更するためのユーザ操作が入力されない限りは、位置姿勢が固定された視点および前記データに基づく仮想物体の画像を前記表示手段に表示し、該ユーザ操作が入力されると、該ユーザ操作に応じて変更した位置姿勢の視点および前記データに基づく仮想物体の画像を前記表示手段に表示し、
    前記保持装置が、
    前記情報を受信し、
    前記仮想物体を構成するパーツのうち前記情報に対応するパーツを特定し、該特定したパーツのデータを更新する
    ことを特徴とするシステムの制御方法。
11. 画像表示装置と、仮想物体のデータを保持する保持装置と、該データに基づく仮想物体の映像を含む複合現実空間の映像を表示する表示装置と、を有するシステムの制御方法であって、
    前記画像表示装置が、
    第１のモードが設定されている場合には第１の処理を行い、該第１のモードから第２のモードに切り替わると第２の処理を行い、
    前記第２のモードにおいて前記画像表示装置の表示手段に表示されている複合現実空間の映像上のユーザによる指示位置を取得して前記保持装置に対して送信し、
    前記第１の処理では、
    前記表示装置から複合現実空間の映像を取得して前記表示手段に表示し、
    前記第２の処理では、
    前記切り替えの前に前記表示装置から取得した複合現実空間の静止画像に対するユーザ操作が入力されない限りは該静止画像を前記表示手段に表示し、該ユーザ操作が入力されると、該ユーザ操作に応じて加工した該静止画像を前記表示手段に表示し、
    前記保持装置が、
    前記指示位置を受信し、
    前記仮想物体を構成するパーツのうち前記指示位置に対応するパーツを特定し、該特定したパーツのデータを更新する
    ことを特徴とするシステムの制御方法。

Images