JP7616216B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、実世界に付加的な情報として、仮想的なオブジェクトを実空間上に重畳表示してユーザに提示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）や、実空間の情報を仮想空間に反映させる複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されてきている。このような背景から、ＡＲ技術やＭＲ技術の利用を想定したユーザインタフェースについても各種の検討なされてきている。例えば、下記特許文献１では、ユーザが装着するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）で表示される仮想空間上に、ユーザが保持する携帯端末の表示部の表示内容を仮想オブジェクトとして表示する技術が開示されている。そして、上記技術によれば、ユーザは、仮想オブジェクトを視認しながら、携帯端末に対してタッチ操作することにより、携帯端末をコントローラとして使用することができる。

特開２０１８－０３６９７４号公報

さらなるＡＲ技術やＭＲ技術の利用に伴い、上記特許文献１のように、ユーザによって同時に複数の表示装置が用いられることが想定される。しかしながら、従来技術においては、同一の仮想オブジェクトを同時に表示する複数の表示装置の利用において、ユーザ体験の向上や操作性の向上については、十分な検討がなされていなかった。

そこで、本開示では、同一の仮想オブジェクトを同時に表示する複数の表示装置の利用において、ユーザ体験や操作性をより向上させることができる情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部を備える情報処理装置が提供される。

また、本開示によれば、情報処理装置が、同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させることを含む、情報処理方法が提供される。

さらに、本開示によれば、コンピュータを、同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部として機能させる、プログラムが提供される。

本開示の概要を説明するための説明図である。 本開示の第１の実施形態に係る情報処理システム１０の構成の一例を示すブロック図である。 同実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る表示の一例を説明するための説明図（その１）である。 同実施形態に係る表示の一例を説明するための説明図（その２）である。 同実施形態に係る表示の一例を説明するための説明図（その３）である。 同実施形態に係る表示制御の一例を説明するための説明図である。 本開示の第２の実施形態の概要を説明するための説明図である。 同実施形態に係る情報処理方法の一例を説明するフローチャートである。 同実施形態に係る表示制御の一例を説明するための説明図である。 同実施形態に係る表示の一例を説明するための説明図である。 本開示の第３の実施形態の概要を説明するための説明図である。 同実施形態に係る情報処理方法の一例を説明するフローチャート（その１）である。 同実施形態に係る情報処理方法の一例を説明するフローチャート（その２）である。 同実施形態に係る選択デバイスの特定方法の一例を説明するための説明図である。 本開示の第３の実施形態の変形例の概要を説明するための説明図である。 制御ユニット５００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。

以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、以下の説明においては、仮想オブジェクトは、ユーザによって実空間に存在する現実物体のように知覚されることができる仮想物体のことを意味する。具体的には、仮想オブジェクトは、例えば、表示される、又は、投影されるゲームのキャラクタやアイテム等のアニメーションや、ユーザインタフェースとしてのアイコン、テキスト（ボタン等）等であることができる。

また、以下の説明においては、ＡＲ表示とは、実世界を拡張するように、ユーザが視認する実空間に重畳されるように上記仮想オブジェクトを表示することである。また、このようなＡＲ表示により実世界に付加的な情報としてユーザに提示される仮想オブジェクトは、アノテーションとも呼ばれる。さらに、以下の説明においては、非ＡＲ表示とは、実空間に付加的な情報を重畳して実世界を拡張するように表示する以外の表示であり、本実施形態においては、例えば、仮想空間上に仮想オブジェクトを表示することや、単に仮想オブジェクトのみを表示することも含む。

なお、説明は以下の順序で行うものとする。
１． 概要
１．１ 背景
１．２ 本開示の実施形態の概要
２． 第１の実施形態
２．１ 情報処理システム１０の概略的な構成
２．２ 制御ユニット５００の詳細構成
２．３ 情報処理方法
３． 第２の実施形態
３．１ 制御ユニット５００の詳細構成
３．２ 情報処理方法
４． 第３の実施形態
４．１ 制御ユニット５００の詳細構成
４．２ 情報処理方法
４．３ 変形例
５． まとめ
６． ハードウェア構成
７． 補足

＜＜１． 概要＞＞
＜１．１ 背景＞
まず、図１を参照して、本開示の背景について説明する。図１は、本開示の概要を説明するための説明図である。本開示においては、図１に示すように、ユーザ９００が、２つのデバイスを使用して、仮想オブジェクト６００の視認し、仮想オブジェクト６００のコントロールを行うような状況において、使用され得る情報処理システム１０を検討する。

詳細には、上記２つのデバイスのうちの一方は、例えば、図１中に示されるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）のような、ユーザ９００によって実空間に存在する現実物体（実オブジェクト）のように知覚することができるように、仮想オブジェクト６００を実空間に重畳表示することができるＡＲデバイス（第１の表示装置）１００であるものとする。

すなわち、当該ＡＲデバイス１００は、画像の表現方法として上述したＡＲ表示を用いる表示装置であるといえる。また、上記２つのデバイスのうちの一方は、例えば、図１中に示されるスマートフォンのような、ユーザ９００によって実空間に存在する現実物体（実オブジェクト）のように知覚するように表示するものではないが、仮想オブジェクト６００を表示することができる非ＡＲデバイス（第２の表示装置）２００であるものとする。すなわち、当該非ＡＲデバイス２００は、画像の表現方法として上述した非ＡＲ表示を用いる表示装置であるといえる。

そして、本開示においては、ユーザ９００は、ＡＲデバイス１００及び非ＡＲデバイス２００を使用して、同一の仮想オブジェクト６００を視認することができ、且つ、当該仮想オブジェクト６００に対して操作を行うような状況を想定している。より具体的には、本開示においては、例えば、ユーザ９００が、ＡＲデバイス１００を用いて、自身と同一空間上に存在しているように知覚される仮想オブジェクト６００であるキャラクタと交流しつつ、非ＡＲデバイス２００を用いて、上記キャラクタの全体像やプロファイル情報、キャラクタの視点からの映像、マップ等を確認するといった状況を想定している。

そして、本発明者らは、本開示で想定される状況においては、異なる表現方法を用いる２つのデバイスでの仮想オブジェクト６００の表示に対して、ユーザ９００の知覚が異なることから、各デバイスに割り当てられた表現方法に応じた形態を持つように、仮想オブジェクト６００を表示することが好ましいと考えた。

詳細には、本発明者らは、ＡＲデバイス１００においては、ユーザ９００によって実空間に存在する現実物体のように知覚することができるように、実空間上での、ユーザ９００と仮想オブジェクト６００の仮想的な位置との間の距離や、ユーザ９００の視点の位置に応じて、仮想オブジェクト６００の表示が変化するように制御することを選択した。一方、本発明者らは、非ＡＲデバイス２００においては、実空間に存在する現実物体のように知覚することができるようにすることが求められていないことから、上記距離や上記視点の位置に応じて仮想オブジェクト６００の表示が変化しなくてもよいと考えた。すなわち、本発明者らは、非ＡＲデバイス２００においては、仮想オブジェクト６００の表示は、上記距離や上記視点の位置に依存することなく、独立して制御することを選択した。

すなわち、本発明者らは、上記状況では、自然な仮想オブジェクト６００の表示を可能にし、ユーザ体験や操作性をより向上させるためには、異なる表現方法を用いる２つのデバイスでの仮想オブジェクト６００の表示は、互いに、異なる形態、異なる変化、もしくは、ユーザ９００からの操作に対して異なる反応をすることが好ましいと考えた。そして、本発明者らは、このような考えに基づき、本開示の実施形態を創作するに至ったのである。

＜１．２ 本開示の実施形態の概要＞
本発明者らが創作した本開示の実施形態においては、上述したＡＲデバイス１００及び非ＡＲデバイス２００を含む複数の表示装置により、同一の仮想オブジェクト６００を表示させる状況において、各表示装置に割り当てられた表現方法に応じて、仮想オブジェクト６００の表示に関して異なる制御を行う。詳細には、本開示の実施形態においては、実空間上での、ユーザ９００と仮想オブジェクト６００の仮想的な位置との間の距離やユーザ９００の視点の位置に応じて動的に変化するパラメータを用いて、ＡＲデバイス１００での仮想オブジェクト６００の表示を制御する。一方、本開示の実施形態においては、上記距離や上記位置に応じて動的に変化しない、予め定義されたパラメータを用いて、非ＡＲデバイス２００での仮想オブジェクト６００の表示を制御する。

本開示の実施形態においては、このようにすることで、ユーザ９００の知覚が異なる表現方法を用いるＡＲデバイス１００及び非ＡＲデバイス２００での仮想オブジェクト６００の表示は、互いに、異なる形態、異なる変化、もしくは、ユーザ９００からの操作に対して異なる反応をすることとなる。従って、本開示の実施形態においては、より自然な仮想オブジェクト６００の表示が可能になり、ユーザ体験や操作性をより向上させることができる。以下、このような本開示の各実施形態の詳細を順次説明する。

＜＜２． 第１の実施形態＞＞
＜２．１ 情報処理システム１０の概略的な構成＞
まずは、図２を参照して、本開示の第１の実施形態に係る情報処理システム１０の概略的な構成について説明する。図１は、本実施形態に係る情報処理システム１０の構成の一例を示すブロック図である。図１に示すように、本実施形態に係る情報処理システム１０は、例えば、ＡＲデバイス（第１の表示装置）１００と、非ＡＲデバイス（第２の表示装置）２００と、深度測定ユニット（実空間情報取得装置）３００と、視線センサユニット（視線検出装置）４００と、制御ユニット（情報処理装置）５００とを含むことができる。

なお、本実施形態においては、ＡＲデバイス１００は、深度測定ユニット３００、視線センサユニット４００及び制御ユニット５００のうちの１つ、２つ又は全部と一体なった装置であってもよく、すなわち、それぞれ単一の装置によって実現されていなくてもよい。また、情報処理システム１０に含まれるＡＲデバイス１００、非ＡＲデバイス２００、深度測定ユニット３００及び視線センサユニット４００は、図２に図示された数に限定されるものではなく、さらに多くてもよい。

また、ＡＲデバイス１００と、非ＡＲデバイス２００と、深度測定ユニット３００と、視線センサユニット４００と、制御ユニット５００とは、互いに有線又は無線の各種の通信ネットワークを介して通信することができる。なお、上記通信ネットワークの種別は特に限定されない。具体的な例として、当該ネットワークは、移動体通信技術（ＧＳＭ（登録商標）、ＵＭＴＳ、ＬＴＥ、ＬＴＥ－Ａｄｖａｎｃｅｄ、５Ｇもしくはそれ以降の技術も含む）や、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、専用線等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、一部が無線で残りが有線のネットワークとして構成されていてもよい。以下に、本実施形態に係る情報処理システム１０に含まれる各装置の概略について説明する。

（ＡＲデバイス１００）
ＡＲデバイス１００は、実空間上のユーザ９００の視点として定義された第１の視点から視認される、仮想オブジェクト６００が仮想的に配置された実空間の風景をＡＲ表示する表示装置である。詳細には、ＡＲデバイス１００は、実空間上での、ユーザ９００と仮想オブジェクト６００の仮想的な位置との間の距離やユーザ９００の視点の位置に応じて仮想オブジェクト６００の形態等を変化させて表示することができる。具体的には、ＡＲデバイス１００は、ＨＭＤや、ユーザ９００の前方等に設けられ、実空間に対して仮想オブジェクト６００の画像を重畳させて表示するＨＵＤ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）や、実空間に仮想オブジェクト６００の像を投影して表示することができるプロジェクタ等であることができる。すなわち、ＡＲデバイス１００は、仮想的に設定された実空間上の位置に仮想オブジェクト６００があたかも存在するように、実空間に位置する実オブジェクトの光学像に重畳して、仮想オブジェクト６００を表示する表示装置である。

また、ＡＲデバイス１００は、図２に示すように、仮想オブジェクト６００を表示する表示部１０２と、後述する制御ユニット５００からの制御パラメータに従って表示部１０２を制御する制御部１０４とを有する。

以下、本実施形態に係るＡＲデバイス１００が、例えば、ユーザ９００の頭部の少なくとも一部に装着して使用するＨＭＤである場合における、表示部１０２の構成例について説明する。この場合、ＡＲ表示を適用し得る表示部１０２としては、例えば、シースルー型、ビデオシースルー型、及び網膜投射型を挙げることができる。

シースルー型の表示部１０２は、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザ９００の眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型の表示部１０２を持つＨＭＤを装着したユーザ９００は、虚像光学系の内側に表示された画像を視聴している間も、外部の実空間の風景を視野に入れることが可能となる。このような構成により、シースルー型の表示部１０２は、例えば、ＡＲ表示に基づき、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクト６００の画像を重畳させることができる。

ビデオシースルー型の表示部１０２は、ユーザ９００の頭部又は顔部に装着された場合に、ユーザ９００の眼を覆うように装着され、ユーザ９００の眼前に保持されることとなる。また、ビデオシースルー型の表示部１０２を持つＨＭＤは、周囲の風景を撮像するための外向カメラ（図示省略）を有し、当該外向カメラにより撮像されたユーザ９００の前方の風景の画像を表示部１０２に表示させる。このような構成により、ビデオシースルー型の表示部１０２を持つＨＭＤを装着したユーザ９００は、外部の風景を直接視野に入れることは困難ではあるが、ディスプレイに表示された画像により、外部の風景（実空間）を確認することが可能となる。また、このとき当該ＨＭＤは、例えば、ＡＲ表示に基づき、外部の風景の画像に対して仮想オブジェクト６００の画像を重畳させることができる。

網膜投射型の表示部１０２は、ユーザ９００の眼前に保持された投影部（図示省略）を有し、当該投影部は、ユーザ９００の眼に向けて、外部の風景に対して画像が重畳するように画像を投影する。より具体的には、網膜投射型の表示部１０２を有するＨＭＤでは、ユーザ９００の眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザ９００の場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型の表示部１０２を有するＨＭＤを装着したユーザ９００は、投影部から投影される画像を視聴している間も、外部の風景（実空間）を視野に入れることが可能となる。このような構成により、網膜投射型の表示部１０２を有するＨＭＤは、例えば、ＡＲ表示に基づき、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクト６００の画像を重畳させることができる。

さらに、本実施形態においては、ＡＲデバイス１００は、ユーザ９００が保持し、搭載されたカメラ（図示省略）の位置から見た実空間の画像に仮想オブジェクト６００を重畳して表示することができるスマートフォン及びタブレット等であることもできる。このような場合、上述の第１の視点は、実空間上のユーザ９００の視点であることに限定されるものではなく、ユーザ９００が保持するスマートフォンのカメラの位置であることとなる。

また、ＡＲデバイス１００の有する制御部１０４は、後述する制御ユニット５００からのパラメータ等に従って、表示部１０２の動作全般を制御する。当該制御部１０４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といったマイクロプロセッサの電子回路等によって実現することができる。また、当該制御部１０４は、使用するプログラムや演算パラメータ等を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び適宜変化するパラメータ等を一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んでいてもよい。例えば、制御部１０４は、制御ユニット５００からのパラメータに従って、表示部１０２での仮想オブジェクト６００の表示を、実空間上での、ユーザ９００と仮想オブジェクト６００の仮想的な位置との間の距離に応じて、動的に変化させるように制御する。

また、ＡＲデバイス１００は、外部装置と無線通信等により接続することができる通信インタフェースである通信部（図示省略）を有していてもよい。当該通信部は、例えば、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

さらに、本実施形態においては、ＡＲデバイス１００には、ユーザ９００により入力操作を行うためのボタン（図示省略）やスイッチ（図示省略）等（操作入力部の一例）が設けられていてもよい。また、ＡＲデバイス１００に対するユーザ９００の入力操作としては、上述のようなボタン等に対する操作だけでなく、音声による入力、手又は頭部によるジェスチャ入力、視線による入力等の様々な入力方式を選択することができる。なお、これら各種の入力方式による入力操作は、ＡＲデバイス１００に設けられた各種センサ（サウンドセンサ（図示省略）、カメラ（図示省略）、モーションセンサ（図示省略））等により取得することができる。加えて、ＡＲデバイス１００には、ユーザ９００に向けて音声を出力するスピーカ（図示省略）が設けられていてもよい。

さらに、本実施形態においては、ＡＲデバイス１００には、後述するような深度測定ユニット３００、視線センサユニット４００及び制御ユニット５００が設けられていてもよい。

加えて、本実施形態においては、ＡＲデバイス１００には、測位センサ（図示省略）が設けられていてもよい。当該測位センサは、当該ＡＲデバイス１００を装着したユーザ９００の位置を検出するセンサであり、具体的には、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機等であることができる。この場合、測位センサは、ＧＮＳＳ衛星からの信号に基づいて、ユーザ９００の現在地の緯度・経度を示すセンシングデータを生成することができる。また、本実施形態においては、例えば、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉのアクセスポイント、無線基地局の情報等からユーザ９００の相対的な位置関係を検出することが可能なため、このような通信のための通信装置を上記測位センサとして利用することも可能である。さらに、本実施形態においては、上述したモーションセンサ（図示省略）に含まれる加速度センサ、ジャイロセンサ、地磁気センサ等のセンシングデータを処理（累積計算等）することにより、ＡＲデバイス１００を装着したユーザ９００の位置や姿勢を検出してもよい。

（非ＡＲデバイス２００）
非ＡＲデバイス２００は、ユーザ９００に向けて仮想オブジェクト６００の像を非ＡＲ表示することができる表示装置である。詳細には、実空間上の、ユーザ９００の視点として定義された第１の視点とは異なる位置の第２の視点から視認される仮想オブジェクト６００を表示することができる。本実施形態においては、第２の視点は、実空間上に仮想的に設定された位置であってもよく、実空間上における仮想オブジェクト６００又はユーザ９００の位置から、所定の距離だけ離れた位置であってもよく、もしくは、仮想オブジェクト６００上に設定された位置であってもよい。非ＡＲデバイス２００は、例えば、ユーザ９００の携帯するスマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、又は、ユーザ９００の腕に装着されたスマートウォッチ等であることができる。さらに、非ＡＲデバイス２００は、図２に示すように、仮想オブジェクト６００を表示する表示部２０２と、後述する制御ユニット５００からの制御パラメータ等に従って表示部２０２を制御する制御部２０４とを有する。

表示部２０２は、非ＡＲデバイス２００の表面に設けられ、制御部２０４によって制御されることにより、仮想オブジェクト６００をユーザ９００に対して非ＡＲ表示することができる。表示部２０２は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等の表示装置から実現することができる。

また、制御部２０４は、後述する制御ユニット５００からの制御パラメータ等に従って、表示部２０２の動作全般を制御する。制御部２０４は、例えばＣＰＵ、ＧＰＵといったマイクロプロセッサの電子回路によって実現される。また、制御部２０４は、使用するプログラムや演算パラメータ等を格納するＲＯＭ、及び適宜変化するパラメータ等を一時的に格納するＲＡＭ等を含んでいてもよい。

また、非ＡＲデバイス２００は、外部装置と無線通信等により接続することができる通信インタフェースである通信部（図示省略）を有していてもよい。当該通信部は、例えば、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

さらに、本実施形態においては、非ＡＲデバイス２００には、ユーザ９００により入力操作を行うための入力部（図示省略）が設けられていてもよい。当該入力部は、例えば、タッチパネルやボタン等のような入力デバイスにより構成される。本実施形態においては、非ＡＲデバイス２００は、仮想オブジェクト６００の動作や位置等を変更操作することができる、コントローラとして機能することができる。加えて、非ＡＲデバイス２００には、ユーザ９００に向けて音声を出力するスピーカ（図示省略）や、実空間上の実オブジェクトやユーザ９００の姿を撮像可能なカメラ（図示省略）等が設けられていてもよい。

さらに、本実施形態においては、非ＡＲデバイス２００には、後述するような深度測定ユニット３００、視線センサユニット４００及び制御ユニット５００が設けられていてもよい。加えて、本実施形態においては、非ＡＲデバイス２００には、測位センサ（図示省略）が設けられていてもよい。さらに、本実施形態においては、非ＡＲデバイス２００には、加速度センサ、ジャイロセンサ、地磁気センサ等を含むモーションセンサ（図示省略）が設けられていてもよい。

（深度測定ユニット３００）
深度測定ユニット３００は、ユーザ９００の周囲の実空間の３次元情報を取得することができる。詳細には、深度測定ユニット３００は、図２に示すように、３次元情報を取得することができる深度センサ部３０２と、取得した３次元情報を格納する記憶部３０４とを有する。例えば、深度センサ部３０２は、ユーザ９００の周囲の実空間の深度情報を取得するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ（測距装置）、及び、ステレオカメラ、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ センサ等の撮像装置であってもよい。本実施形態においては、深度センサ部３０２で得られたユーザ９００の周囲の実空間の３次元情報は、ユーザ９００の周囲の環境情報として利用されるだけでなく、実空間上での、仮想オブジェクト６００とユーザ９００との間の距離情報及び位置関係情報を含む位置情報を得るために利用することができる。

詳細には、ＴＯＦセンサは、ユーザ９００の周囲の実空間に赤外光等の照射光を照射し、実空間上の実オブジェクト（壁等）の表面で反射された反射光を検知する。そして、ＴＯＦセンサは、照射光と反射光との位相差を算出することにより、ＴＯＦセンサから実オブジェクトまでの距離（深度情報）を取得することができ、従って、実空間の３次元形状データとして、実オブジェクトまでの距離情報（深度情報）を含めた距離画像を得ることができる。なお、上述のように位相差により距離情報を得る方法は、インダイレクトＴＯＦ方式と呼ばれる。また、本実施形態においては、照射光を出射した時点から、当該照射光が実オブジェクトで反射されて反射光として受光されるまでの光の往復時間を検出することにより、ＴＯＦセンサから実オブジェクトまでの距離（深度情報）を取得することが可能なダイレクトＴＯＦ方式を用いることも可能である。

ここで、距離画像とは、例えば、ＴＯＦセンサの画素ごとに取得された距離情報（奥行き情報）を、該当する画素の位置情報に紐づけて生成された情報である。また、ここで３次元情報とは、距離画像における画素の位置情報を、ＴＯＦセンサの実空間上の位置に基づき実空間上の座標に変換し、変換して得た座標に該当する距離情報を紐づけて生成された、実空間における３次元座標情報（詳細には、複数の３次元座標情報の集合体）のことである。本実施形態においては、このような距離画像や３次元情報を用いることにより、実空間上の遮蔽物（壁等）の位置や形状を把握することができる。

さらに、本実施形態においては、ＴＯＦセンサがＡＲデバイス１００に設けられていた場合には、ＴＯＦセンサによって得られた３次元情報と、予め取得しておいた同一実空間（室内等）の３次元情報モデル（壁の位置や形状等）とを比較することにより、実空間上のユーザ９００の位置や姿勢を検出してもよい。また、本実施形態においては、ＴＯＦセンサが実空間（室内等）に設置されていた場合には、ＴＯＦセンサによって得られた３次元情報から人の形状を抽出することにより、実空間上のユーザ９００の位置や姿勢を検出してもよい。本実施形態においては、このように検出したユーザ９００の位置情報は、実空間上での、仮想オブジェクト６００とユーザ９００との間の距離情報及び位置関係情報を含む位置情報を得るために利用することができる。さらに、本実施形態においては、上記３次元情報に基づく実空間の仮想風景（実空間に模したイラスト）を生成し、上述した非ＡＲデバイス２００等に表示させてもよい。

また、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ センサは、ユーザ９００の周囲の実空間に対して赤外線等の光により所定のパターンを照射しそれを撮像することにより、撮像結果から得られる当該所定のパターンの変形に基づき、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ センサから実オブジェクトまでの距離（深度情報）を含めた距離画像を得ることができる。さらに、ステレオカメラは、ユーザ９００の周囲の実空間を２つの異なる方向から２つのカメラで同時に撮影し、これらのカメラの視差を利用して、ステレオカメラから実オブジェクトまでの距離（深度情報）を取得することができる。

さらに、記憶部３０４は、深度センサ部３０２がセンシングを実行するためのプログラム等や、センシングによって得られた３次元情報を格納することができる。当該記憶部３０４は、例えば、ハードディスク（Ｈａｒｄ Ｄｉｓｋ：ＨＤ）などの磁気記録媒体や、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）等の不揮発性メモリ等により実現される。

また、深度測定ユニット３００は、外部装置と無線通信等により接続することができる通信インタフェースである通信部（図示省略）を有していてもよい。当該通信部は、例えば、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

さらに、本実施形態においては、深度測定ユニット３００は、先に説明したように、上述したＡＲデバイス１００や非ＡＲデバイス２００に設けられていてもよい。もしくは、本実施形態においては、深度測定ユニット３００は、ユーザ９００の周囲の実空間（例えば、室内等）に設置されていてもよく、この場合、深度測定ユニット３００の実空間上の位置情報については、既知であるものとする。

（視線センサユニット４００）
視線センサユニット４００は、ユーザ９００の眼球を撮像し、ユーザ９００の視線を検出することができる。なお、視線センサユニット４００は、主に後述する実施形態において使用されることとなる。視線センサユニット４００は、例えば、ＡＲデバイス１００であるＨＭＤに内向カメラ（図示省略）として構成することができる。そして、当該内向カメラにより取得されたユーザ９００の眼の撮影映像を解析して、ユーザ９００の視線方向を検出する。なお、本実施形態においては、視線検出のアルゴリズムは特に限定されないが、例えば、目頭と虹彩の位置関係、又は、角膜反射（プルキニエ像等）と瞳孔の位置関係に基づいて視線検出を実現することができる。また、本実施形態においては、視線センサユニット４００は、上述のような内向カメラに限定されるものではなく、ユーザ９００の眼球を撮像できるカメラや、ユーザ９００の目の周囲に電極を装着して眼電位を測定する眼電位センサであってもよい。さらに、本実施形態においては、機械学習で得られたモデルを利用して、ユーザ９００の視線方向を認識してもよい。なお、視線方向の認識の詳細については、後述する実施形態で説明する。

また、視線センサユニット４００は、外部装置と無線通信等により接続することができる通信インタフェースである通信部（図示省略）を有していてもよい。当該通信部は、例えば、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

さらに、本実施形態においては、視線センサユニット４００は、先に説明したように、上述したＡＲデバイス１００や非ＡＲデバイス２００に設けられていてもよい。もしくは、本実施形態においては、視線センサユニット４００は、ユーザ９００の周囲の実空間（例えば、室内等）に設置されていてもよく、この場合、視線センサユニット４００の実空間上の位置情報については、既知であるものとする。

（制御ユニット５００）
制御ユニット５００は、上述したＡＲデバイス１００及び非ＡＲデバイス２００での表示を制御するための装置である。詳細には、本実施形態においては、ＡＲデバイス１００による仮想オブジェクト６００のＡＲ表示は、制御ユニット５００により、実空間上での、ユーザ９００と仮想オブジェクト６００の仮想的な位置との間の距離やユーザ９００の視点の位置に応じて動的に変化するパラメータを用いて制御される。さらに、本実施形態においては、非ＡＲデバイス２００による仮想オブジェクト６００の表示も、当該制御ユニット５００により、予め定義されたパラメータを用いて制御される。また、制御ユニット５００は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を中心に構成することができる。さらに、制御ユニット５００は、外部装置と無線通信等により接続することができる通信インタフェースである通信部（図示省略）を有していてもよい。当該通信部は、例えば、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

また、本実施形態においては、制御ユニット５００は、先に説明したように、上述したＡＲデバイス１００や非ＡＲデバイス２００に設けられていてもよく（一体のものとして設けられる）、このようにすることで、表示制御の際の遅延を抑えることができる。もしくは、本実施形態においては、制御ユニット５００は、ＡＲデバイス１００や非ＡＲデバイス２００とは別個の装置として設けられていてもよい(例えば、ネットワーク上に存在するサーバ等であってもよい)。なお、制御ユニット５００の詳細構成については、後述する。

＜２．２ 制御ユニット５００の詳細構成＞
次に、本実施形態に係る制御ユニット５００の詳細構成について、図２を参照して説明する。上述したように、制御ユニット５００は、ＡＲデバイス１００及び非ＡＲデバイス２０で表示される仮想オブジェクト６００の表示を制御することができる。詳細には、図２に示すように、制御ユニット５００は、３次元情報取得部（位置情報取得部）５０２と、オブジェクト制御部（制御部）５０４と、ＡＲデバイスレンダリング部５０６と、非ＡＲデバイスレンダリング部５０８と、検出部（選択結果取得部）５１０と、視線評価部５２０とを主に有する。以下に、制御ユニット５００の各機能部の詳細について順次説明する。

（３次元情報取得部５０２）
３次元情報取得部５０２は、上述した深度測定ユニット３００から、ユーザ９００の周囲の実空間の３次元情報を取得し、後述するオブジェクト制御部５０４に出力する。３次元情報取得部５０２は、上記３次元情報から実空間上の実オブジェクトの位置、姿勢、形状等の情報を抽出して、オブジェクト制御部５０４に出力してもよい。また、３次元情報取得部５０２は、仮想オブジェクト６００の表示のために仮想的に割り当てられた実空間上の位置情報を参照して、上記３次元情報に基づき、実空間上での、仮想オブジェクト６００とユーザ９００との間の距離情報及び位置関係情報を含む位置情報を生成し、オブジェクト制御部５０４に出力してもよい。さらに、３次元情報取得部５０２は、深度測定ユニット３００だけでなく、上述した測位センサ（図示省略）からの、実空間上におけるユーザ９００の位置情報を取得してもよい。

（オブジェクト制御部５０４）
オブジェクト制御部５０４は、ＡＲデバイス１００及び非ＡＲデバイス２００のそれぞれに、仮想オブジェクト６００の表示のために割り当てられた表現方法に応じて、ＡＲデバイス１００及び非ＡＲデバイス２００での仮想オブジェクト６００の表示を制御する。詳細には、オブジェクト制御部５０４は、ＡＲデバイス１００及び非ＡＲデバイス２００のそれぞれに、仮想オブジェクト６００の表示のために割り当てられた表現方法に応じて、仮想オブジェクト６００の表示に関する各パラメータ（例えば、仮想オブジェクト６００の、動画表示における表示変化量や、ユーザ９００の入力操作によって変化する表示変化量等）を動的に変化させる。そして、オブジェクト制御部５０４は、このように変化させたパラメータを後述するＡＲデバイスレンダリング部５０６及び非ＡＲデバイスレンダリング部５０８に出力する。出力したパラメータは、ＡＲデバイス１００及び非ＡＲデバイス２００での仮想オブジェクト６００の表示の制御に用いられることとなる。

より詳細には、オブジェクト制御部５０４は、例えば、深度測定ユニット３００から取得した上記３次元情報に基づく、実空間上での仮想オブジェクト６００とユーザ９００との間の距離等を含む位置情報に応じて、ＡＲデバイス１００での仮想オブジェクト６００の表示に関するパラメータを動的に変化させる。

より具体的には、仮想オブジェクト６００とユーザ９００との間の距離が長く（遠く）なるほど、ユーザ９００によって実空間に存在する現実物体のように知覚されるように、ＡＲデバイス１００で表示される仮想オブジェクト６００の大きさが小さくなる。そのため、ユーザ９００の仮想オブジェクト６００の視認性が低下し、例えば、仮想オブジェクト６００がゲームのキャラクタであった場合等には、当該キャラクタの細かな動きが視認難くなる。そこで、本実施形態においては、オブジェクト制御部５０４は、上記距離が長くなるほど、ＡＲデバイス１００に表示させる仮想オブジェクト６００の動画表示における表示変化量（仮想オブジェクト６００の移動（ジャンプ等）の量子化の度合い）が大きくなるようにパラメータを変化させる。また、オブジェクト制御部５０４は、上記距離が長くなるほど、ＡＲデバイス１００に表示させる仮想オブジェクト６００の動画表示における軌跡を平滑化するようにパラメータを変化させる。このようにすることで、本実施形態においては、ユーザ９００によって実空間に存在する現実物体のように知覚されるようにＡＲデバイス１００で表示される仮想オブジェクト６００の大きさが小さくなっても、当該仮想オブジェクト６００の動きの視認性の低下を抑制することができる。

また、本実施形態においては、ユーザ９００によって実空間に存在する現実物体のように知覚され難くなるものの、オブジェクト制御部５０４は、仮想オブジェクト６００とユーザ９００との間の距離が長くなるほど、ＡＲデバイス１００に表示させる仮想オブジェクト６００の表示面積が大きくなるようにパラメータを変化させてもよい。さらに、本実施形態においては、オブジェクト制御部５０４は、仮想オブジェクト６００が、ＡＲデバイス１００で表示されている他の仮想オブジェクトに対して、より近づきやすくなったり、遠ざかりやすくなったり、攻撃等のアクションをしやすくなったりするように、上記パラメータを変化させてもよい。

一方、本実施形態においては、オブジェクト制御部５０４は、非ＡＲデバイス２００での仮想オブジェクト６００の表示に関するパラメータは、予め定義されたパラメータ（例えば、固定値）を用いる。なお、本実施形態においては、上記予め定義されたパラメータは、所定のルールによって処理された後に、非ＡＲデバイス２００での仮想オブジェクト６００の表示のために用いられてもよい。

（ＡＲデバイスレンダリング部５０６）
ＡＲデバイスレンダリング部５０６は、上述したオブジェクト制御部５０４から出力されたパラメータ等を利用して、ＡＲデバイス１００に表示させる画像のレンダリング処理を行い、レンダリング後の画像データをＡＲデバイス１００に対して出力する。

（非ＡＲデバイスレンダリング部５０８）
非ＡＲデバイスレンダリング部５０８は、上述したオブジェクト制御部５０４から出力されたパラメータ等を利用して、非ＡＲデバイス２００に表示させる画像のレンダリング処理を行い、レンダリング後の画像データを非ＡＲデバイス２００に対して出力する。

（検出部５１０）
検出部５１０は、図２に示すように、視線検出部５１２と視線分析部５１４とを主に有する。視線検出部５１２は、ユーザ９００の視線を検出して、ユーザ９００の視線方向を取得し、視線分析部５１４は、ユーザ９００の視線方向に基づいて、ユーザ９００がコントローラ（入力装置）として選択したであろうデバイスを特定する。そして、特定された特定結果（選択結果）は、後述する視線評価部５２０で評価処理去られた後、オブジェクト制御部５０４に出力され、仮想オブジェクト６００の表示に関するパラメータを変化させる際に用いられることとなる。なお、検出部５１０による処理の詳細については、後で説明する本開示の第３の実施形態において述べる。

（視線評価部５２０）
視線評価部５２０は、上述した検出部５１０で特定したユーザ９００がコントローラとして選択したであろうデバイスに対して、機械学習で得られたモデル等を利用して、ユーザ９００がコントローラとして各デバイスを選択する確率を算出することにより、特定した結果を評価することができる。本実施形態においては、視線評価部５２０により、ユーザ９００がコントローラとして各デバイスを選択する確率を算出して、それに基づき、ユーザ９００がコントローラとして選択したデバイスを最終的に特定することにより、ユーザ９００の視線の先が絶えず定まらない場合であっても、ユーザ９００の視線の方向に基づいて、コントローラとして選択されたデバイスを、精度よく特定することができる。なお、視線評価部５２０による処理の詳細については、後で説明する本開示の第３の実施形態において述べる。

＜２．３ 情報処理方法＞
次に、図３から図７を参照して、本開示の第１の実施形態に係る情報処理方法について説明する。図３は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、図４から図６は、本実施形態に係る表示の一例を説明するための説明図であり、図７は、本実施形態に係る表示制御の一例を説明するための説明図である。

詳細には、図３に示すように、本実施形態に係る情報処理方法は、ステップＳ１０１からステップＳ１０５までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。

まずは、制御ユニット５００は、制御する対象の表示装置に、ＡＲ表示を行うＡＲデバイス１００が含まれているかどうかを判定する（ステップＳ１０１）。制御ユニット５００は、ＡＲデバイス１００が含まれている場合（ステップＳ１０１：Ｙｅｓ）には、ステップＳ１０２の処理へ進み、ＡＲデバイス１００が含まれていない場合（ステップＳ１０１：Ｎｏ）には、ステップＳ１０５の処理へ進む。

次に、制御ユニット５００は、実空間上でのユーザ９００の位置や姿勢の情報を含む位置情報を取得する（ステップＳ１０２）。さらに、制御ユニット５００は、取得した位置情報に基づき、実空間上での、仮想オブジェクト６００とユーザ９００との間の距離を算出する。

そして、制御ユニット５００は、上述のステップS１０２で算出した上記距離に応じて、ＡＲデバイス１００で表示される仮想オブジェクト６００の表示を制御する（距離依存制御）（ステップＳ１０３）。詳細には、制御ユニット５００は、実空間上での、仮想オブジェクト６００とユーザ９００との間の距離や位置関係に応じて、ＡＲデバイス１００での仮想オブジェクト６００の表示に関するパラメータを動的に変化させる。

より具体的には、図４に示すように、ＡＲデバイス１００の表示部１０２は、ＡＲデバイス１００を装着したユーザ９００の視点（第１の視点）７００から見た実空間の像（例えば、実オブジェクト８００の像）に重畳して、仮想オブジェクト６００を表示することとなる。この際、制御ユニット５００は、仮想オブジェクト６００が、ユーザ９００によって実空間に存在する現実物体のように知覚されることができるように、ユーザ９００の視点（第１の視点）７００から見た形態を持って表示するように、上記パラメータを動的に変化させる。さらに、制御ユニット５００は、仮想オブジェクト６００が、上述のステップＳ１０２で算出した上記距離に応じた大きさを持つように表示するように、上記パラメータを動的に変化させる。そして、制御ユニット５００は、このようにして得られたパラメータを用いて、ＡＲデバイス１００に表示させる画像のレンダリング処理を行い、レンダリング後の画像データをＡＲデバイス１００に対して出力することにより、ＡＲデバイス１００での仮想オブジェクト６００のＡＲ表示を距離依存制御することができる。なお、本実施形態においては、仮想オブジェクト６００が移動したり、ユーザ９００が移動したり姿勢を変化させたりした場合には、それに応じて、表示する仮想オブジェクト６００に対して距離依存制御がなされることとなる。このようにすることで、ＡＲ表示された仮想オブジェクト６００は、ユーザ９００によって実空間に存在する現実物体のように知覚されることができる。

次に、制御ユニット５００は、制御する対象の表示装置に、非ＡＲ表示を行う非ＡＲデバイス２００が含まれているかどうかを判定する（ステップＳ１０４）。制御ユニット５００は、非ＡＲデバイス２００が含まれている場合（ステップＳ１０４：Ｙｅｓ）には、ステップＳ１０５の処理へ進み、非ＡＲデバイス２００が含まれていない場合（ステップＳ１０４：Ｎｏ）には、処理を終了する。

そして、制御ユニット５００は、事前に定義（設定）されたパラメータによって、非ＡＲデバイス２００で表示される仮想オブジェクト６００の表示を制御する（ステップＳ１０５）。そして、制御ユニット５００は、当該情報処理方法での処理を終了する。

より具体的には、図４に示すように、非ＡＲデバイス２００の表示部２０２は、実空間上に仮想的に固定された視点（第２の視点）７０２から見た仮想オブジェクト６００（詳細には、仮想オブジェクト６００の背面の画像）が表示されることとなる。この際、制御ユニット５００は、事前に定義（設定）されたパラメータを選択し、状況に応じて選択したパラメータを変化させる。さらに、制御ユニット５００は、当該パラメータを用いて、非ＡＲデバイス２００に表示させる画像のレンダリング処理を行い、レンダリング後の画像データを非ＡＲデバイス２００に対して出力することにより、非ＡＲデバイス２００での仮想オブジェクト６００の非ＡＲ表示を制御することができる。

また、本実施形態においては、図５に示すように、上記視点７０２が、実空間上で、仮想オブジェクト６００の仮想的な位置に対して、ユーザ９００側の反対側に位置する場合には、非ＡＲデバイス２００の表示部２０２は、図４とは異なる形態の仮想オブジェクト６００（詳細には、仮想オブジェクト６００の前面）を表示してもよい。

さらに、本実施形態においては、図６に示すように、上記視点７０２が仮想オブジェクト６００上に仮想的に配置された場合には、非ＡＲデバイス２００の表示部２０２は、視点７０２から見たユーザ９００をイメージさせるようなアバター６５０を表示してもよい。このような場合、仮想オブジェクト６００が移動したり、ユーザ９００が移動したり姿勢を変化させたりした場合には、それに応じて、表示するアバター６５０の形態を変化させてもよい。

本実施形態においては、図３に示す情報処理方法は、実空間上での、仮想オブジェクト６００の仮想的な位置が変化したり、ユーザ９００の位置や姿勢が変化したりするごとに、これらをトリガーにして、繰り返し実行されてもよい。このようにすることで、ＡＲデバイス１００によってＡＲ表示された仮想オブジェクト６００は、ユーザ９００によって実空間に存在する現実物体のように知覚されることができる。

本実施形態においては、先に説明したように、実空間上での仮想オブジェクト６００とユーザ９００との間の距離に応じて、ＡＲデバイス１００での仮想オブジェクト６００の表示に関するパラメータを動的に変化させる（距離依存制御）。そこで、本実施形態における、ＡＲデバイス１００によってＡＲ表示された仮想オブジェクト６００の制御の具体的な例について、図７を参照して説明する。

より具体的には、図７に示されるように、仮想オブジェクト６００とユーザ９００との間の距離が遠くなるほど、ユーザ９００によって実空間に存在する現実物体のように知覚されるように、ＡＲデバイス１００で表示される仮想オブジェクト６００の大きさが小さくなる。そのため、ユーザ９００の仮想オブジェクト６００の視認性が低下し、例えば、仮想オブジェクト６００がゲームのキャラクタであった場合等には、当該キャラクタの細かな動きが視認難くなる。そこで、本実施形態においては、制御ユニット５００は、上記距離が遠くなるほど、ＡＲデバイス１００に表示させる仮想オブジェクト６００の動画表示における表示変化量（ジャンプ量、移動量、方向量子化量）が大きくなるようにパラメータを変化させる。また、制御ユニット５００は、上記距離が長くなるほど、ＡＲデバイス１００に表示させる仮想オブジェクト６００の動画表示における軌跡の平滑化を大きくするようにパラメータを変化させる。このようにすることで、本実施形態においては、ユーザ９００によって実空間に存在する現実物体のように知覚されるようにＡＲデバイス１００で表示される仮想オブジェクト６００の大きさが小さくなっても、当該仮想オブジェクト６００の動きの視認性の低下を抑制することができる。

さらに、本実施形態においては、図７に示すように、制御ユニット５００は、実空間上での仮想オブジェクト６００とユーザ９００との間の距離に応じて、仮想オブジェクト６００が、ＡＲデバイス１００で表示されている他の仮想オブジェクト６０２に対して、例えばユーザ９００からの操作をトリガーにして、より近づくように大きく移動したり、遠ざかるように大きく移動したりするように、パラメータを変化させてもよい。また、本実施形態においては、制御ユニット５００は、上記距離に応じて、仮想オブジェクト６００が他の仮想オブジェクト６０２に対して、例えばユーザ９００からの操作をトリガーにして攻撃等のアクションをしやすくなったりするように、パラメータを変化させてもよい。このようにすることで、本実施形態においては、ユーザ９００によって実空間に存在する現実物体のように知覚されるようにＡＲデバイス１００で表示される仮想オブジェクト６００の大きさが小さくなっても、仮想オブジェクト６００の操作性の低下を抑制することができる。

また、本実施形態においては、ユーザ９００によって実空間に存在する現実物体のように知覚され難くなるものの、制御ユニット５００は、仮想オブジェクト６００とユーザ９００との間の距離が遠くなるほど、ＡＲデバイス１００に表示させる仮想オブジェクト６００の表示面積が大きくなるようにパラメータを変化させてもよい。

以上のように、本実施形態によれば、ユーザの知覚の仕方が異なるＡＲデバイス１００及び非ＡＲデバイスにおいて、仮想オブジェクト６００の表示が、異なる形態、異なる変化、もしくは、ユーザ９００からの操作に対して異なる反応をすることから、ユーザ体験や操作性をより向上させることができる。

＜＜３． 第２の実施形態＞＞
まずは、図８を参照して、本開示の第２の実施形態で想定される状況について説明する。図８は、本実施形態の概要を説明するための説明図である。例えば、本実施形態に係る情報処理システム１０を利用して、ユーザ９００がゲームをしている際に、図８に示すように、実空間上において、ユーザ９００と仮想オブジェクト６００との間に、ユーザ９００の視界を遮るような、壁等の遮蔽物８０２が存在する場合がある。このような状況の場合、ユーザ９００は、遮蔽物８０２に遮られて、ＡＲデバイス１００の表示部１０２を用いて仮想オブジェクト６００を視認することができないことから、仮想オブジェクト６００の操作を行うことが難しくなる。

そこで、本実施形態においては、ＡＲデバイス１００での、仮想オブジェクト６００の全体又は一部の表示が遮蔽物８０２により妨げられる状況（オクルージョンの発生）にあるか否かに応じて、仮想オブジェクト６００の表示を動的に変化させる。詳細には、例えば、ＡＲデバイス１００の表示部１０２を用いて、遮蔽物８０２の存在により仮想オブジェクト６００が視認できない状況の場合には、仮想オブジェクト６００の表示位置を、遮蔽物８０２によって視認が妨げられない位置に変更する。このようにすることで、本実施形態においては、実空間上で、ユーザ９００と仮想オブジェクト６００との間にユーザ９００の視界を遮るような遮蔽物８０２が存在する場合であっても、ユーザ９００は、ＡＲデバイス１００の表示部１０２を用いて仮想オブジェクト６００を視認することを容易にすることができる。その結果、本実施形態によれば、ユーザ９００によって仮想オブジェクト６００の操作を行うことが容易となる。

なお、本実施形態においては、遮蔽物８０２の存在により仮想オブジェクト６００が視認できない場合だけでなく、深度測定ユニット３００によって、実空間上での、仮想オブジェクト６００の周囲の深度情報が取得できない場合（例えば、実空間上に、透明な実オブジェクトや黒色の実オブジェクトが存在する場合や、深度センサ部３０２のノイズ等が発生している場合等）にも、ＡＲデバイス１００での仮想オブジェクト６００の表示を動的に変化させてもよい。もしくは、本実施形態においては、ＡＲデバイス１００は、深度情報が取得できない領域に別の仮想オブジェクト６１０（図１１ 参照）を、実空間に重畳表示（ＡＲ表示）させてもよい。以下、本実施形態の詳細を説明する。

＜３．１ 制御ユニット５００の詳細構成＞
本実施形態に係る情報処理システム１０及び制御ユニット５００の構成例は、先に説明した第１の実施形態と同様であるため、ここでは説明を省略する。しかしながら、本実施形態においては、制御ユニット５００のオブジェクト制御部５０４は、以下のような機能も持つ。

詳細には、本実施形態においては、オブジェクト制御部５０４は、上記３次元情報に基づいて、実空間上で仮想オブジェクト６００とユーザ９００との間に位置する、実オブジェクトである遮蔽物（遮蔽オブジェクト）８０２が存在する場合には、遮蔽物８０２が存在する領域をオクルージョン領域として設定する。さらに、オブジェクト制御部５０４は、仮想オブジェクト６００と当該オクルージョン領域とが重畳する領域を小さくするように、ＡＲデバイス１００における、仮想オブジェクト６００の表示位置もしくは表示形態、又は、仮想オブジェクト６００の動画表示における移動量を変化させるため、パラメータを変化させる。

また、本実施形態においては、オブジェクト制御部５０４は、３次元情報が取得できない領域が検出された場合（例えば、実空間上に、透明な実オブジェクトや黒色の実オブジェクトが存在する場合や、深度センサ部３０２のノイズ等が発生している場合等）には、当該領域を不定領域として設定する。さらに、オブジェクト制御部５０４は、仮想オブジェクト６００と当該不定領域とが重畳する領域を小さくするように、ＡＲデバイス１００における、仮想オブジェクト６００の表示位置もしくは表示形態、又は、仮想オブジェクト６００の動画表示における移動量を変化させるため、パラメータを変化させる。さらに、本実施形態においては、オブジェクト制御部５０４は、上記不定領域に、他の仮想オブジェクト（別の仮想オブジェクト）６１０（図１１ 参照）を表示させるためのパラメータを生成してもよい。

＜３．２ 情報処理方法＞
次に、図９から図１１を参照して、本開示の第２の実施形態に係る情報処理方法について説明する。図９は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、図１０は、本実施形態に係る表示制御の一例を説明するための説明図であり、図１１は、本実施形態に係る表示の一例を説明するための説明図である。

詳細には、図９に示すように、本実施形態に係る情報処理方法は、ステップＳ２０１からステップＳ２０９までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。なお、以下の説明においては、上述の第１の実施形態と異なる点のみを説明し、第１の実施形態と共通する点については、その説明を省略する。

ステップＳ２０１及びステップＳ２０２は、図３に示す、第１の実施形態のステップＳ１０１及びステップＳ１０２と同様であるため、ここではその説明を省略する。

まずは、制御ユニット５００は、実空間上の、仮想オブジェクト６００の設定位置の周囲の３次元情報が取得できたか否かを判定する（ステップＳ２０３）。制御ユニット５００は、実空間上の、仮想オブジェクト６００の周囲の３次元情報が取得できた場合（ステップＳ２０３：Ｙｅｓ）には、ステップＳ２０４の処理へ進み、実空間上の、仮想オブジェクト６００の周囲の３次元情報が取得できない場合（ステップＳ２０３：Ｎｏ）には、ステップＳ２０５の処理へ進む。

ステップＳ２０４は、図３に示す、第１の実施形態のステップＳ１０３と同様であるため、ここではその説明を省略する。

次に、制御ユニット５００は、遮蔽物８０２により、仮想オブジェクト６００の周囲の３次元情報が取得できなかったか否かを判定する（ステップＳ２０５）。すなわち、遮蔽物８０２についての３次元情報（位置、姿勢、形状）が取得できるものの、実空間上の、仮想オブジェクト６００の設定位置の周囲の３次元情報が取得できなかった場合（ステップＳ２０５：Ｙｅｓ）には、ステップＳ２０６の処理へ進み、遮蔽物８０２の存在ではなく、例えば、深度センサ部３０２のノイズ等により、仮想オブジェクト６００の周囲の３次元情報が取得できなかった場合（ステップＳ２０５：Ｎｏ）には、ステップＳ２０７の処理へ進む。

次に、制御ユニット５００は、遮蔽物８０２が存在する領域をオクルージョン領域として設定する。そして、制御ユニット５００は、仮想オブジェクト６００と当該オクルージョン領域とが重畳する領域を小さくするように、ＡＲデバイス１００における、仮想オブジェクト６００の表示位置もしくは表示形態、又は、仮想オブジェクト６００の動画表示における移動量を変化させる（オクルージョン領域の距離依存制御）（ステップＳ２０６）。

より具体的には、本実施形態においては、図１０に示すように、仮想オブジェクト６００の全体又は一部が、遮蔽物８０２に隠れるような位置にある場合には、平行方向への移動量を大きくすること（移動速度を早くする又はワープさせる）によって、仮想オブジェクト６００を視認できるように、もしくは、視認できるような状況がすぐに来るように制御する。また、同様の場合、本実施形態においては、図１０に示すように、仮想オブジェクト６００を高くジャンプさせるように制御して、仮想オブジェクト６００を視認できるように制御してもよい。さらに、本実施形態においては、仮想オブジェクト６００を視認できるように、仮想オブジェクト６００の移動可能な方向を制限してもよい（例えば、図１０中の奥行き方向への移動を制限する）。

次に、制御ユニット５００は、ノイズ等により、仮想オブジェクト６００の周囲の３次元情報が取得できなかった領域を不定領域として設定する。そして、上述したステップＳ２０６と同様に、制御ユニット５００は、仮想オブジェクト６００と当該不定領域とが重畳する領域を小さくするように、ＡＲデバイス１００における、仮想オブジェクト６００の表示位置もしくは表示形態、又は、仮想オブジェクト６００の動画表示における移動量を変化させる（不定領域の距離依存制御）（ステップＳ２０７）。

より具体的には、当該ステップＳ２０７においては、上述のステップＳ２０６と同様に、仮想オブジェクト６００の全体又は一部が、上記不定領域に隠れるような位置にある場合には、平行方向への移動量を大きくすること（移動速度を早くする又はワープさせる）によって、仮想オブジェクト６００を視認できるように、もしくは、視認できるような状況がすぐに来るように制御する。また、同様の場合、当該ステップＳ２０７においては、上述のステップＳ２０６と同様に、仮想オブジェクト６００を高くジャンプさせるように制御して、仮想オブジェクト６００を視認できるように制御してもよい。さらに、本実施形態においては、仮想オブジェクト６００を視認できるように、仮想オブジェクト６００の移動可能な方向を制限してもよい。

さらに、当該ステップＳ２０７においては、図１１に示すように、ＡＲデバイス１００は、不定領域に対応するように、他の仮想オブジェクト（別の仮想オブジェクト）６１０を表示してもよい。

ステップＳ２０８及びステップＳ２０９は、図３に示す、第１の実施形態のステップＳ１０４及びステップＳ１０５と同様であるため、ここではその説明を省略する。

本実施形態においても、第１の実施形態と同様に、図９に示す情報処理方法は、実空間上での、仮想オブジェクト６００の仮想的な位置が変化したり、ユーザ９００の位置や姿勢が変化したりするごとに、これらをトリガーにして、繰り返し実行されてもよい。このようにすることで、ＡＲデバイス１００によってＡＲ表示された仮想オブジェクト６００は、ユーザ９００によって実空間に存在する現実物体のように知覚されることができる。

以上のように、本実施形態によれば、実空間上で、ユーザ９００と仮想オブジェクト６００との間にユーザ９００の視界を遮るような遮蔽物８０２が存在する場合であっても、ユーザ９００は、ＡＲデバイス１００の表示部１０２を用いて仮想オブジェクト６００を視認することを容易にすることができる。その結果、本実施形態によれば、ユーザ９００によって仮想オブジェクト６００の操作を行うことが容易となる。

＜＜４． 第３の実施形態＞＞
まずは、図１２を参照して、本開示の第３の実施形態で想定される状況について説明する。図１３は、本実施形態の概要を説明するための説明図である。例えば、本実施形態に係る情報処理システム１０を利用してユーザ９００がゲームをしている際に、図１２に示すように、ユーザ９００は、ＡＲデバイス１００及び非ＡＲデバイス２００の両方を用いて、同一の仮想オブジェクト６００を視認し、且つ、当該仮想オブジェクトに対して操作可能であるものとする。すなわち、ＡＲデバイス１００及び非ＡＲデバイス２００を用いた仮想オブジェクト６００に対しての操作は、排他的でないものとする。

このような状況の場合、ユーザ９００がＡＲデバイス１００及び非ＡＲデバイス２００のうちからコントローラ（操作デバイス）として選択したデバイスに応じて、仮想オブジェクト６００の表示を制御することが求められる。すなわち、このような状況においては、ユーザ９００にとっては仮想オブジェクト６００に対する操作は同じであっても、それぞれに表示される仮想オブジェクト６００の形態（例えば、変化量等）は、コントローラとして選択したデバイスに応じて変えることにより、ユーザ体験や操作性をより向上させることが求められる。

そこで、本実施形態においては、ユーザ９００の視線に基づいて、ユーザ９００がコントローラとして選択したデバイスを特定し、特定した結果に基づいて、仮想オブジェクト６００の表示を動的に変化させる。本実施形態においては、例えば、ユーザ９００がＡＲデバイス１００を選択した場合には、仮想オブジェクト６００の表示において上述したような距離依存の制御を行い、ユーザ９００が非ＡＲデバイス２００を選択した場合には、仮想オブジェクト６００の表示において予め定義されたパラメータで制御する。本実施形態によれば、このように制御を行うことにより、ユーザ９００にとっては仮想オブジェクト６００に対する操作は同じであっても、表示される仮想オブジェクト６００の形態はコントローラとして選択したデバイスに応じて変わることから、ユーザ体験や操作性をより向上させることができる。

さらに、本実施形態においては、ユーザ９００の視線の方向に基づいて、ユーザ９００がコントローラとして選択したデバイスを特定する。しかしながら、上述した状況においては、ユーザ９００は、ＡＲデバイス１００及び非ＡＲデバイス２００の両方を用いることができることから、その視線の先は、１つに定まることはなく、絶えず移動していることが想定される。従って、視線の先が絶えず定まらない場合には、ユーザ９００の視線の方向に基づいてデバイスを特定することが難しく、さらには、精度よくデバイスを特定することが難しい。また、単純に、ユーザの視線に方向に基づいて選択したデバイスを特定し、特定した結果に基づいて、仮想オブジェクト６００の表示を動的に変化させた場合には、仮想オブジェクト６００の動きが、特定されたデバイスが変わるごとに非連続となり、かえって操作性が悪化することも考えられる。

そこで、本実施形態においては、ユーザ９００がコントローラとして各デバイスを選択する確率を算出して、それに基づき、ユーザ９００がコントローラとして選択したデバイスを特定し、特定した結果に基づいて、仮想オブジェクト６００の表示を動的に変化させる。本実施形態によれば、このようにすることで、ユーザ９００の視線の先が絶えず定まらない場合であっても、ユーザ９００の視線の方向に基づいて、コントローラとして選択されたデバイスを、精度よく特定することができる。さらに、本実施形態によれば、このようにすることで、仮想オブジェクト６００の動きが非連続となることを抑えることができ、操作性の悪化を避けることができる。

＜４．１ 制御ユニット５００の詳細構成＞
本実施形態に係る情報処理システム１０及び制御ユニット５００の構成例は、第１の実施形態と同様であるため、ここでは説明を省略する。しかしながら、本実施形態においては、制御ユニット５００は、以下のような機能も持つ。

詳細には、本実施形態においては、オブジェクト制御部５０４は、ユーザ９００がコントローラとして選択したデバイスに応じて、例えばユーザ９００の入力操作によって変化する表示変化量が変化するように、仮想オブジェクト６００の表示に関するパラメータを動的に変化させることができる。

＜４．２ 情報処理方法＞
次に、図１３から図１５を参照して、本開示の第３の実施形態に係る情報処理方法について説明する。図１３及び図１４は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、詳細には、図１４は、図１３に示されるステップＳ３０１のサブフローチャートである。また、図１５は、本実施形態に係る選択デバイスの特定方法の一例を説明するための説明図である。

詳細には、図１３に示すように、本実施形態に係る情報処理方法は、ステップＳ３０１からステップＳ３０５までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。なお、以下の説明においては、上述の第１の実施形態と異なる点のみを説明し、第１の実施形態と共通する点については、その説明を省略する。

まずは、制御ユニット５００は、ユーザ９００の視線に基づいてユーザ９００がコントローラとして選択したデバイスを特定する（ステップＳ３０１）。なお、当該ステップＳ３０１の詳細処理は、図１４を参照して後述する。

次に、制御ユニット５００は、上述のステップＳ３０１で特定されたデバイスが、ＡＲデバイス１００であるかどうかを判定する（ステップＳ３０２）。特定されたデバイスがＡＲデバイス１００である場合（ステップＳ３０２：Ｙｅｓ）には、ステップＳ３０３の処理へ進み、特定されたデバイスが非ＡＲデバイス２００である場合（ステップＳ３０２：Ｎｏ）には、ステップＳ３０５の処理へ進む。

ステップＳ３０３からステップＳ３０５は、図３に示す、第１の実施形態のステップＳ１０２、ステップＳ１０３及びステップＳ１０５と同様であるため、ここではその説明を省略する。

なお、本実施形態においても、第１の実施形態と同様に、図１３に示す情報処理方法は、実空間上での、仮想オブジェクト６００の仮想的な位置が変化したり、ユーザ９００の位置や姿勢が変化したりするごとに、これらをトリガーにして、繰り返し実行されてもよい。このようにすることで、ＡＲデバイス１００によってＡＲ表示された仮想オブジェクト６００は、ユーザ９００によって実空間に存在する現実物体のように知覚されることができる。さらに、本実施形態においては、ユーザ９００の視線に基づいてユーザ９００がコントローラとして選択したデバイスが変化したことをトリガーにして、繰り返し実行されてもよい。

次に、図１４を参照して、図１３のステップＳ３０１の詳細処理を説明する。詳細には、図１４に示すように、本実施形態に係るステップＳ３０１は、ステップＳ４０１からステップＳ４０４までのサブステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。

まずは、制御ユニット５００は、ユーザ９００の眼球の動き検出する視線センサユニット４００からのセンシングデータに基づいて、ユーザ９００の視線の方向を特定する（ステップＳ４０１）。詳細には、制御ユニット５００は、例えば、視線センサユニット４００で得られた、ユーザ９００の眼球の撮像画像を用いて、目頭と虹彩の位置関係等に基づいて、ユーザ９００の視線方向を特定することができる。なお、本実施形態においては、所定の時間内において特定されたユーザ９００の視線方向は、ユーザの眼球の移動が常に起きていることから、複数の結果が得られる場合が生じ得る。また、当該ステップＳ４０１においては、機械学習で得られたモデルを利用して、ユーザ９００の視線方向を特定してもよい。

次に、制御ユニット５００は、上述したステップＳ４０１で特定された視線方向に基づいて、ユーザ９００が注目する仮想オブジェクト６００を特定する（ステップＳ４０２）。例えば、図１５に示すように、ユーザ９００の目９５０から延びる水平線に対する視線方向の角度ａ、角度ｂにより、ユーザ９００が注目する仮想オブジェクト６００が、図１５中の上側に示される、ＡＲデバイス１００に表示された仮想オブジェクト６００ａなのか、図１５中の下側に示される、非ＡＲデバイス２００に表示された仮想オブジェクト６００ｂなのかを特定することができる。なお、本実施形態においては、複数の視線方向の結果が得られている場合には、各視線方向に対応する、ユーザ９００が注目する仮想オブジェクト６００が特定されることとなる。さらに、当該ステップＳ４０２においては、機械学習で得られたモデルを利用して、ユーザ９００の注目する仮想オブジェクト６００を特定してもよい。

次に、制御ユニット５００は、上述したステップＳ４０２で特定された仮想オブジェクト６００に対して、ユーザ９００が注目している確率を算出することにより、各仮想オブジェクト６００を表示するデバイスをユーザ９００がコントローラとして選択する確率を算出することにより、特定した結果を評価する（ステップＳ４０３）。

詳細には、例えば、動く仮想オブジェクト６００の場合には、ユーザ９００から注目される確率は高く、また、例えば、鮮やかな色彩の仮想オブジェクト６００の場合には、ユーザ９００から注目される確率は高い。さらに、例えば、発話しているような音声出力（イフェクト）を伴って表示されている仮想オブジェクト６００も、ユーザ９００から注目される確率は高い。また、仮想オブジェクト６００がゲームのキャラクタであれば、当該キャラクタに割り当てられたプロファイル（役割（主人公、仲間、敵）等）によって、ユーザ９００から注目される確率は異なることとなる。そこで、このような特定された仮想オブジェクト６００に関する情報（動作、大きさ、形状、色彩、プロファイル）等に基づき、各仮想オブジェクト６００がユーザ９００から注目される確率を算出する。なお、この際、制御ユニット５００は、機械学習で得られたモデル等を利用して、上記確率を算出してもよく、加えて、ＡＲデバイス１００に設けられたモーションセンサ（図示省略）によって検出したユーザ９００の動作等や、非ＡＲデバイス２００に設けられたモーションセンサ（図示省略）によって検出した非ＡＲデバイス２００の位置や姿勢等を利用して、上記確率を算出してもよい。さらには、ユーザ９００が本実施形態に係る情報処理システム１０を利用してゲームを行っている場合には、制御ユニット５００は、ゲーム上の状況を利用して、上記確率を算出してもよい。なお、本実施形態においては、算出された確率は、仮想オブジェクト６００の表示に関するパラメータを変化させる際に利用してもよい。

そして、制御ユニット５００は、算出した確率に基づいて、選択したデバイスを特定する（ステップＳ４０４）。本実施形態においては、例えば、算出された確率が、所定の値以上であれば、その確率に対応する仮想オブジェクト６００を表示するデバイスが、ユーザ９００からコントローラとして選択された選択デバイスとして特定される。また、本実施形態においては、例えば、最も高い確率に対応する仮想オブジェクト６００を表示するデバイスが、選択デバイスとして特定される。また、本実施形態においては、算出された確率を用いて外挿等の統計処理することにより、選択デバイスを特定してもよい。本実施形態によれば、このようにすることで、ユーザ９００の視線の先が絶えず定まらない場合であっても、ユーザ９００の視線の方向に基づいて、コントローラとして選択されたデバイスを、精度よく特定することができる。

以上のように、本実施形態においては、ユーザ９００の視線に基づいて、ユーザ９００がコントローラとして選択したデバイスを特定し、特定した結果に基づいて、仮想オブジェクト６００の表示を動的に変化させることができる。本実施形態によれば、このように制御を行うことにより、ユーザ９００にとっては仮想オブジェクト６００に対する操作は同じであっても、表示される仮想オブジェクト６００の形態はコントローラとして選択したデバイスに応じて変わることから、ユーザ体験や操作性をより向上させることができる。

さらに、本実施形態においては、ユーザ９００がコントローラとして各デバイスを選択する確率（詳細には、ユーザ９００が仮想オブジェクト６００を注目する確率）を算出して、それに基づき、ユーザ９００がコントローラとして選択したデバイスを特定し、特定した結果に基づいて、仮想オブジェクト６００の表示を動的に変化させる。本実施形態によれば、このようにすることで、ユーザ９００の視線の先が絶えず定まらない場合であっても、ユーザ９００の視線の方向に基づいて、コントローラとして選択されたデバイスを、精度よく特定することができる。さらに、本実施形態によれば、このようにすることで、仮想オブジェクト６００の動きが非連続となることを抑えることができ、操作性の悪化を避けることができる。

さらに、本実施形態においては、ユーザ９００の視線の移動に起因して、仮想オブジェクト６００の表示に関するパラメータ（制御パラメータ）が頻繁に変化することにより、仮想オブジェクト６００の動きが非連続となることを抑えるために、各デバイスを選択する確率を用いて、直接的に仮想オブジェクト６００の表示に関するパラメータを選択するのではなく、各デバイスを選択する確率を用いて、仮想オブジェクト６００の表示に関するパラメータを調整（内挿）してもよい。例えば、ユーザ９００の視線の方向に基づいて得られたコントローラとしてデバイスが選択された確率が、デバイスａでは０．３、デバイスｂでは０．７であるものとする。そして、コントローラとしてデバイスａが選択された際の制御パラメータはＣａ、デバイスｂが選択された際の制御パラメータがＣｂであるものとする。このような場合、コントローラとしてデバイスが選択された確率が高いデバイスｂに基づいて、最終的な制御パラメータＣをＣｂに設定するのではなく、各デバイスを選択する確率を用いて、最終的な制御パラメータＣを、例えば、Ｃ＝０．３×Ｃａ＋０．７×Ｃｂのような形で内挿することにより得てもよい。このようにすることで、仮想オブジェクト６００の動きが非連続となることを抑えることができる。

なお、本実施形態においては、ユーザ９００の視線の移動に起因して、仮想オブジェクト６００の表示に関するパラメータが頻繁に変化することにより、仮想オブジェクト６００の動きが非連続となることを抑えるために、ユーザ９００が予め設定することにより、パラメータが変化する頻度や変化量を制限してもよい。また、本実施形態においては、例えば、ユーザ９００の操作が連続して行われている間には、仮想オブジェクト６００の表示に関するパラメータを変化させないように制限してもよい。また、本実施形態においては、ユーザ９００が所定の時間以上、特定の仮想オブジェクト６００を注視していることが検出されたことをトリガーにして、仮想オブジェクト６００の表示に関するパラメータを変化させてもよい。さらに、本実施形態においては、ユーザ９００の視線の方向による選択デバイスの特定だけでなく、ユーザ９００が所定の操作を行ったことも併せて検出したことをトリガーにして、仮想オブジェクト６００の表示に関するパラメータを変化させてもよい。

さらに、本実施形態においては、ユーザ９００に対してどちらのデバイスがコントローラとして特定されているかを認識させるために、例えば、ＡＲデバイス１００がコントローラとして特定されている際には、非ＡＲデバイス２００において、仮想オブジェクト６００上に設けられた視点７０２からの画像を表示しないようにしてもよい。また、同様に、例えば、非ＡＲデバイス２００がコントローラとして特定されている際には、ＡＲデバイス１００に、非ＡＲデバイス２００が表示する画像と同じ画像を表示させてもよい。

＜４．３ 変形例＞
さらに、本実施形態においては、ユーザ９００の視線の方向を検出するだけでなく、ユーザ９００のジャスチャを検出することにより、ユーザ９００がコントローラとして選択した選択デバイスを特定してもよい。以下、図１６を参照して、このような本実施形態の変形例を説明する。図１６は、本開示の第３の実施形態の変形例の概要を説明するための説明図である。

詳細には、本変形例においては、制御ユニット５００は、ユーザ９００の手９２０の動きを撮像する撮像装置（ジェスチャ検出装置）（図示省略）の画像から、図１６に示すような所定のジェスチャを検出した場合には、検出したジェスチャに基づいて、ユーザ９００がコントローラとして選択した選択デバイスを特定する。

また、本変形例においては、ＡＲデバイス１００がＨＭＤである場合には、当該ＨＭＤに設けられたモーションセンサ（図示省略）により、上記ＨＭＤを装着したユーザ９００の頭部の動きを検出し、検出した頭部の動きに基づいて、ユーザ９００がコントローラとして選択した選択デバイスを特定してもよい。さらに、本変形例においては、ＡＲデバイス１００や非ＡＲデバイス２００等にサウンドセンサ（図示省略）が設けられていた場合には、ユーザ９００の音声又は当該音声から抽出される所定のフレーズに基づき、ユーザ９００がコントローラとして選択した選択デバイスを特定してもよい。

＜＜５． まとめ＞＞
以上のように、本開示の各実施形態においては、同一の仮想オブジェクト６００を同時に表示する複数の表示装置の利用の際に、ユーザの知覚の仕方が異なるＡＲデバイス１００及び非ＡＲデバイスにおいて、仮想オブジェクト６００の表示が、異なる形態、異なる変化、もしくは、ユーザ９００からの操作に対して異なる反応をすることから、ユーザ体験や操作性をより向上させることができる。

なお、本開示の各実施形態においては、先に説明したように、仮想オブジェクト６００は、ゲームのキャラクタやアイテム等であることに限定されるものではなく、例えば、他の用途（ビジネスツール）でのユーザインタフェースとしての、アイコン、テキスト（ボタン等）、３次元画像等であってもよく、特に限定されるものではない。

＜＜６． ハードウェア構成＞＞
上述してきた各実施形態に係る制御ユニット５００等の情報処理装置は、例えば図１７に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態の制御ユニット５００を例に挙げて説明する。図１７は、制御ユニット５００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス、マイクロフォン（マイク）等の入出力デバイス１６５０からデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が本開示の実施形態に係る制御ユニット５００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００に格納されたプログラムを実行することにより、制御部２００等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理システムとして実現することも可能である。

以上、制御ユニット５００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

＜＜７． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又は情報処理システムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の情報処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部を備える、
情報処理装置。
（２）
前記複数の表示装置は、
実空間上のユーザの視点として定義された第１の視点から視認される、前記仮想オブジェクトが仮想的に配置された前記実空間の風景を表示するように制御される、第１の表示装置と、
前記仮想オブジェクトの像を表示するように制御される、第２の表示装置と、
を含む、
上記（１）に記載の情報処理装置。
（３）
前記制御部は、実空間情報取得装置からの前記ユーザの周囲の前記実空間の３次元情報に応じて、前記第１の表示装置を制御するための前記パラメータを動的に変化させる、
上記（２）に記載の情報処理装置。
（４）
前記実空間情報取得装置は、前記ユーザの周囲の前記実空間を撮像する撮像装置、又は、前記ユーザの周囲の前記実空間の深度情報を取得する測距装置である、
上記（３）に記載の情報処理装置。
（５）
前記制御部は、
前記３次元情報に基づいて、前記実空間上で前記仮想オブジェクトと前記ユーザとの間に位置する遮蔽オブジェクトが存在する領域、又は、前記３次元情報が取得できない領域が検出された場合には、
前記領域をオクルージョン領域として設定し、
前記仮想オブジェクトと前記オクルージョン領域とが重畳する領域を小さくするように、前記第１の表示装置における、前記仮想オブジェクトの表示位置もしくは表示形態、又は、前記仮想オブジェクトの動画表示における移動量を変化させる、
上記（３）又は（４）に記載の情報処理装置。
（６）
前記制御部は、前記３次元情報が取得できない不定領域に別の仮想オブジェクトを表示するように、前記第１の表示装置を制御する、
上記（５）に記載の情報処理装置。
（７）
前記実空間上での、前記仮想オブジェクトと前記ユーザとの間の距離情報及び位置関係情報を含む位置情報を取得する位置情報取得部をさらに備え、
前記制御部は、前記位置情報に応じて、前記第１の表示装置を制御するための前記パラメータを動的に変化させる、
上記（２）～（６）のいずれか１つに記載の情報処理装置。
（８）
前記制御部は、前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの表示面積が大きくなるように制御する、上記（７）に記載の情報処理装置。
（９）
前記制御部は、前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの動画表示における表示変化量が大きくなるように制御する、上記（７）に記載の情報処理装置。
（１０）
前記制御部は、前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの動画表示における軌跡を平滑化するように制御する、上記（７）に記載の情報処理装置。
（１１）
前記制御部は、前記位置情報に応じて、前記第１の表示装置に表示させる前記仮想オブジェクトの、前記ユーザの入力操作によって変化する表示変化量を動的に変化させる、
上記（７）に記載の情報処理装置。
（１２）
前記制御部は、
前記第２の表示装置に対して、前記実空間上の、前記第１の視点とは異なる第２の視点から視認される、前記仮想オブジェクトの像を表示するように制御する、
上記（２）～（１１）のいずれか１つに記載の情報処理装置。
（１３）
前記第２の視点は、前記仮想オブジェクト上に仮想的に配置される、上記（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記第１及び第２の表示装置のそれぞれに前記画像の表示のために割り当てられた前記画像の表現方法に応じて、前記第１及び第２の表示装置のそれぞれに表示させる前記仮想オブジェクトの動画表示における表示変化量を変化させる、
上記（２）に記載の情報処理装置。
（１５）
前記ユーザが、前記第１の表示装置及び前記第２の表示装置のうちのいずれかを入力装置として選択したかの選択結果を取得する選択結果取得部をさらに備え、
前記制御部は、前記選択結果に応じて、前記仮想オブジェクトの、前記ユーザの入力操作によって変化する表示変化量を動的に変化させる、
上記（２）に記載の情報処理装置。
（１６）
前記選択結果取得部は、視線検出装置からの前記ユーザの視線の検出結果に基づいて、前記選択結果を取得する、上記（１５）に記載の情報処理装置。
（１７）
前記選択結果取得部は、ジェスチャ検出装置からの前記ユーザのジェスチャの検出結果に基づいて前記選択結果を取得する、上記（１５）に記載の情報処理装置。
（１８）
前記第１の表示装置は、
前記実空間の画像に前記仮想オブジェクトの像を重畳して表示する、
前記実空間に前記仮想オブジェクトの像を投影して表示する、
又は、
前記ユーザの網膜に前記仮想オブジェクトの像を投影して表示する、
上記（２）～（１７）のいずれか１つに記載の情報処理装置。
（１９）
情報処理装置が、同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる、
ことを含む、情報処理方法。
（２０）
コンピュータを、
同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部として機能させる、
プログラム。

１０ 情報処理システム
１００ ＡＲデバイス
１０２、２０２ 表示部
１０４、２０４ 制御部
２００ 非ＡＲデバイス
３００ 深度測定ユニット
３０２ 深度センサ部
３０４ 記憶部
４００ 視線センサユニット
５００ 制御ユニット
５０２ ３次元情報取得部
５０４ オブジェクト制御部
５０６ ＡＲデバイスレンダリング部
５０８ 非ＡＲデバイスレンダリング部
５１０ 検出部
５１２ 視線検出部
５１４ 視線分析部
５２０ 視線評価部
６００、６００ａ、６００ｂ、６０２、６１０ 仮想オブジェクト
６５０ アバター
７００、７０２ 視点
８００ 実オブジェクト
８０２ 遮蔽物
９００ ユーザ
９２０ 手
９５０ 目
ａ、ｂ 角度

Claims (12)

1. 同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部と、
   実空間上での、前記仮想オブジェクトとユーザとの間の距離情報及び位置関係情報を含む位置情報を取得する位置情報取得部と、
   を備え、
   前記複数の表示装置は、
   前記実空間上の前記ユーザの視点として定義された第１の視点から視認される、前記仮想オブジェクトが仮想的に配置された前記実空間の風景を表示するように制御される、第１の表示装置と、
   前記仮想オブジェクトの像を表示するように制御される、第２の表示装置と、
   を含み、
   前記制御部は、前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの表示面積が大きくなるように、前記第１の表示装置を制御するための前記パラメータを動的に変化させる、
   情報処理装置。
2. 前記制御部は、実空間情報取得装置からの前記ユーザの周囲の前記実空間の３次元情報に応じて、前記第１の表示装置を制御するための前記パラメータを動的に変化させる、
   請求項１に記載の情報処理装置。
3. 前記実空間情報取得装置は、前記ユーザの周囲の前記実空間を撮像する撮像装置、又は、前記ユーザの周囲の前記実空間の深度情報を取得する測距装置である、
   請求項２に記載の情報処理装置。
4. 前記制御部は、
   前記３次元情報に基づいて、前記実空間上で前記仮想オブジェクトと前記ユーザとの間に位置する遮蔽オブジェクトが存在する領域、又は、前記３次元情報が取得できない領域が検出された場合には、
   前記領域をオクルージョン領域として設定し、
   前記仮想オブジェクトと前記オクルージョン領域とが重畳する領域を小さくするように、前記第１の表示装置における、前記仮想オブジェクトの表示位置もしくは表示形態、又は、前記仮想オブジェクトの動画表示における移動量を変化させる、
   請求項２又は３に記載の情報処理装置。
5. 前記制御部は、前記３次元情報が取得できない不定領域に別の仮想オブジェクトを表示するように、前記第１の表示装置を制御する、
   請求項４に記載の情報処理装置。
6. 同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部と、
   実空間上での、前記仮想オブジェクトとユーザとの間の距離情報及び位置関係情報を含む位置情報を取得する位置情報取得部と、
   を備え、
   前記複数の表示装置は、
   前記実空間上の前記ユーザの視点として定義された第１の視点から視認される、前記仮想オブジェクトが仮想的に配置された前記実空間の風景を表示するように制御される、第１の表示装置と、
   前記仮想オブジェクトの像を表示するように制御される、第２の表示装置と、
   を含み、
   前記制御部は、前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの動画表示における表示変化量が大きくなるように、前記第１の表示装置を制御するための前記パラメータを動的に変化させる、
   情報処理装置。
7. 同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部と、
   実空間上での、前記仮想オブジェクトとユーザとの間の距離情報及び位置関係情報を含む位置情報を取得する位置情報取得部と、
   を備え、
   前記複数の表示装置は、
   前記実空間上の前記ユーザの視点として定義された第１の視点から視認される、前記仮想オブジェクトが仮想的に配置された前記実空間の風景を表示するように制御される、第１の表示装置と、
   前記仮想オブジェクトの像を表示するように制御される、第２の表示装置と、
   を含み、
   前記制御部は、前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの動画表示における軌跡を平滑化するように、前記第１の表示装置を制御するための前記パラメータを動的に変化させる、
   情報処理装置。
8. 前記制御部は、
   前記第２の表示装置に対して、前記実空間上の、前記第１の視点とは異なる第２の視点から視認される、前記仮想オブジェクトの像を表示するように制御する、
   請求項１～７のいずれか１項に記載の情報処理装置。
9. 前記第２の視点は、前記仮想オブジェクト上に仮想的に配置される、請求項８に記載の情報処理装置。
10. 前記第１の表示装置は、
    前記実空間の画像に前記仮想オブジェクトの像を重畳して表示する、
    前記実空間に前記仮想オブジェクトの像を投影して表示する、
    又は、
    前記ユーザの網膜に前記仮想オブジェクトの像を投影して表示する、
    請求項１～９のいずれか１項に記載の情報処理装置。
11. 情報処理装置が、同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる、
    ことを含む、情報処理方法であって、
    前記複数の表示装置は、
    実空間上のユーザの視点として定義された第１の視点から視認される、前記仮想オブジェクトが仮想的に配置された前記実空間の風景を表示するように制御される、第１の表示装置と、
    前記仮想オブジェクトの像を表示するように制御される、第２の表示装置と、
    を含み、
    前記情報処理装置が、
    前記実空間上での、前記仮想オブジェクトと前記ユーザとの間の距離情報及び位置関係情報を含む位置情報を取得することと、
    前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの表示面積が大きくなるように、前記第１の表示装置を制御するための前記パラメータを動的に変化させることと、
    さらに含む、
    情報処理方法。
12. コンピュータを、
    同一の仮想オブジェクトに関する画像を表示する複数の表示装置のそれぞれに前記画像の表示のために割り当てられた、前記画像の表現方法に応じて、前記各表示装置での前記仮想オブジェクトの表示を制御する、前記仮想オブジェクトの表示に関する各パラメータを動的に変化させる制御部と、
    実空間上での、前記仮想オブジェクトとユーザとの間の距離情報及び位置関係情報を含む位置情報を取得する位置情報取得部と、
    として機能させる、
    プログラムであって、
    前記複数の表示装置は、
    前記実空間上の前記ユーザの視点として定義された第１の視点から視認される、前記仮想オブジェクトが仮想的に配置された前記実空間の風景を表示するように制御される、第１の表示装置と、
    前記仮想オブジェクトの像を表示するように制御される、第２の表示装置と、
    を含み、
    前記制御部は、前記仮想オブジェクトと前記ユーザとの間の距離が長くなるほど、前記第１の表示装置に表示させる前記仮想オブジェクトの表示面積が大きくなるように、前記第１の表示装置を制御するための前記パラメータを動的に変化させる、
    プログラム。

Images