JP2015536514A - Ｉｍｕを用いた直接ホログラム操作 - Google Patents

Abstract

頭部搭載ディスプレイ装置（head−mounted display device：ＨＭＤ）に関連付けられた拡張現実環境を制御する方法が開示される。幾つかの実施形態では、仮想ポインタは、ＨＭＤのエンドユーザに表示され、２次装置（例えば、携帯電話機）に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御されても良い。仮想ポインタを用いて、エンドユーザは、拡張現実環境内の仮想オブジェクトを選択し操作し、拡張現実環境内の現実世界オブジェクトを選択し、及び／又はＨＭＤのグラフィカルユーザインタフェースを制御できる。幾つかの例では、拡張現実環境内の仮想ポインタの初期位置は、エンドユーザが見つめている特定の方向及び／又はエンドユーザが現在注目している又は最近注目していた特定のオブジェクトに基づき決定されても良い。

Description

拡張現実（Augmented reality：ＡＲ）は、現実世界環境の知覚（又は現実世界環境を表すデータ）がコンピュータの生成した仮想データにより補償され又は変更される拡張現実世界環境を提供することに関連する。例えば、現実世界環境を表すデータは、カメラ又はマイクロフォンのような感覚入力装置を用いてリアルタイムにキャプチャされ、仮想画像及び仮想音響を含むコンピュータの生成した仮想データで補強できる。仮想データは、現実世界環境の中の現実世界オブジェクトに関連付けられたテキスト記述のような、現実世界環境に関連する情報も有しても良い。ＡＲ環境内のオブジェクトは、現実オブジェクト（つまり、特定の現実世界環境の中に存在するオブジェクト）及び仮想オブジェクト（つまり、特定の現実世界環境の中に存在しないオブジェクト）を有しても良い。

仮想オブジェクトをＡＲ環境に写実的に統合するために、ＡＲシステムは、通常、マッピング及びローカリゼーションを含む幾つかのタスクを実行する。マッピングは、現実世界環境のマップを生成する処理に関連する。ローカリゼーションは、現実世界環境のマップに対して特定の視点又は姿勢を定める処理に関連する。幾つかの例では、ＡＲシステムは、現実世界環境の中を動くとき補強される必要のあるモバイル装置に関連付けられた特定のビューを決定するために、現実世界環境の範囲内で移動するモバイル装置の姿勢をリアルタイムに定めても良い。

ヘッドマウントディスプレイ装置（head−mounted display device：ＭＨＤ）に関連付けられた拡張現実環境の制御を実現する技術が記載される。幾つかの実施形態では、仮想ポインタは、ＨＭＤのエンドユーザに表示され、２次装置（例えば、携帯電話機）に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御されても良い。仮想ポインタを用いて、エンドユーザは、拡張現実環境内の仮想オブジェクトを選択し操作し、拡張現実環境内の現実世界オブジェクトを選択し、及び／又はＨＭＤのグラフィカルユーザインタフェースを制御できる。幾つかの例では、拡張現実環境内の仮想ポインタの初期位置は、エンドユーザが見つめている特定の方向及び／又はエンドユーザが現在注目している又は最近注目していた特定のオブジェクトに基づき決定されても良い。

この要約は、詳細な説明で後述する概念の選択を簡単な形式で紹介する。この要約は、請求の範囲の主要な特徴又は基本的特徴を特定するものではなく、請求の範囲の範囲の決定の助けとして用いられるものでもない。

開示の技術が実施され得るネットワーク接続されたコンピューティング環境の一実施形態のブロック図である。 第２のモバイル装置と通信するモバイル装置の一実施形態を示す。 ＨＭＤの一部の一実施形態を示す。 注視点へと延在する注視ベクトルが遠い瞳孔間距離（inter−pupillary distance：ＩＰＤ）を揃えるために用いられる、ＨＭＤの一部の一実施形態を示す。 注視点へと延在する注視ベクトルが近い瞳孔間距離（inter−pupillary distance：ＩＰＤ）を揃えるために用いられる、ＨＭＤの一部の一実施形態を示す。 注視検出要素を含む可動ディスプレイ光学システムを有するＨＭＤの一部の一実施形態を示す。 注視検出要素を含む可動ディスプレイ光学システムを有するＨＭＤの一部の代替の実施形態を示す。 ＨＭＤの一部の側面図の一実施形態を示す。 マイクロディスプレイ組立体の３次元調整のサポートを提供するＨＭＤの一部の側面図の一実施形態を示す。 キャプチャ装置及びコンピューティング環境を含むコンピューティングシステムの一実施形態を示す。 仮想ポインタがＨＭＤのエンドユーザに表示され、２次装置に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御され得る、種々の拡張現実環境の種々の実施形態を示す。 仮想ポインタがＨＭＤのエンドユーザに表示され、２次装置に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御され得る、種々の拡張現実環境の種々の実施形態を示す。 仮想ポインタがＨＭＤのエンドユーザに表示され、２次装置に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御され得る、種々の拡張現実環境の種々の実施形態を示す。 ２次装置を用いて拡張現実環境を制御する方法の一実施形態を示すフローチャートである。 初期仮想ポインタ位置を決定する処理の一実施形態を説明するフローチャートである。 ２次装置の方位がタイムアウト期間内に閾範囲内で変化したか否かを決定する処理の一実施形態を説明するフローチャートである。 ２次装置を用いて拡張現実環境を制御する方法の代替の実施形態を示すフローチャートである。 モバイル装置の一実施形態のブロック図である。

ヘッドマウントディスプレイ装置（head−mounted display device：ＭＨＤ）に関連付けられた拡張現実環境の高精度制御を提供する技術が記載される。幾つかの実施形態では、仮想ポインタは、ＨＭＤのエンドユーザに表示され、２次装置（例えば、携帯電話機、又は動き及び／又は方位情報をＨＭＤに供給する能力を備えた他の装置）に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御されても良い。仮想ポインタを用いて、エンドユーザは、拡張現実環境内の仮想オブジェクトを選択し操作し、拡張現実環境内の現実世界オブジェクトを選択し、及び／又はＨＭＤのグラフィカルユーザインタフェースを制御できる（例えば、エンドユーザは、アプリケーションを選択し、仮想オブジェクトをドラッグアンドドロップし、又は拡張現実環境の部分をズームできる）。仮想ポインタが選択可能な仮想又は現実世界オブジェクトを指す（又はそれにオーバレイする）場合、ＨＭＤは、オブジェクトが選択可能であるというフィードバックをエンドユーザに供給しても良い（例えば、振動、音、又は仮想指示子が、選択可能オブジェクトに関連付けられた追加情報が利用可能であることをユーザに警告するために用いられても良い）。幾つかの例では、拡張現実環境内の仮想ポインタの初期位置は、エンドユーザが見つめている特定の方向及び／又はエンドユーザが現在注目している又は最近注目していた特定のオブジェクトに基づき決定されても良い。

ＨＭＤを用いて拡張現実環境を制御することに伴う１つの問題は、他のコンピューティング装置（例えば、タッチスクリーンインタフェースを含むタブレットコンピュータ）と異なり、ＨＭＤ自体は、手及び／又は指のジェスチャを用いてオブジェクトの操作を可能にするインタフェースを提供しないことである。さらに、オブジェクト（例えば、ＨＭＤの視界の範囲内の小さなオブジェクト）を選択する能力は、エンドユーザにより手及び／又は指の動きを用いて、彼らの頭の方位を調整するよりももっと正確に制御できる。エンドユーザの頭の方位の調整は、エンドユーザの首の疲労をもたらし得る。したがって、腕、手及び／又は指の動きを用いてＨＭＤのエンドユーザにより操作され得る２次装置を用いて、ＨＭＤに関連付けられた拡張現実環境の制御を実現する必要がある。

図１は、開示の技術が実施され得るネットワーク接続されたコンピューティング環境１００の一実施形態のブロック図である。ネットワーク接続されたコンピューティング環境１００は、１又は複数のネットワーク１８０を通じて相互接続される複数のコンピューティング装置を有する。１又は複数のネットワーク１８０は、特定のコンピューティング装置を別のコンピューティング装置に接続させ及びそれと通信させる。図示のコンピューティング装置は、モバイル装置１１、モバイル装置１２、モバイル装置１９、及びサーバ１５を有する。幾つかの実施形態では、複数のコンピューティング装置は、図示しない他のコンピューティング装置を有しても良い。幾つかの実施形態では、複数のコンピューティング装置は、図１に示したよりも多くの又は少ない数のコンピューティング装置を有しても良い。１又は複数のネットワーク１８０は、企業私設網のようなセキュアネットワーク、無線開放型ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、及びインターネットのような非セキュアネットワークを有しても良い。１又は複数のネットワーク１８０のうちの各ネットワークは、ハブ、ブリッジ、ルータ、スイッチ、及び有線ネットワーク又は直接結線接続のような有線伝送媒体を有しても良い。

サーバ１５は、補足情報サーバ又はアプリケーションサーバを有しても良く、クライアントに情報（例えば、テキスト、オーディオ、画像、及びビデオファイル）をサーバからダウンロードさせ、又はサーバに格納された特定の情報に関連する検索クエリを実行することができる。通常、「サーバ」は、クライアント−サーバ関係においてホストとして動作するハードウェア装置、又はリソースを共有する若しくは１又は複数のクライアントのために作業を実行するソフトウェアプロセスを有し得る。クライアント−サーバ関係におけるコンピューティング装置間の通信は、サーバに要求を送信して特定のリースへのアクセスを又は特定の作業が実行されることを要求するクライアントにより開始されても良い。続いて、サーバは、要求された動作を実行し、クライアントへ応答を返送する。

サーバ１５の一実施形態は、ネットワークインタフェース１５５、プロセッサ１５６、メモリ１５７、及びトランスレータ１５８を有し、これら全ては互いに通信する。ネットワークインタフェース１５５は、サーバ１５が１又は複数のネットワーク１８０に接続できるようにする。ネットワークインタフェース１５５は、無線ネットワークインタフェース、モデム、及び／又は有線ネットワークインタフェースを有しても良い。プロセッサ１５６は、本願明細書で議論する処理を実行するために、サーバ１５がメモリ１５７に格納されたコンピュータ可読命令を実行できるようにする。トランスレータ１５８は、第１のファイルフォーマットの第１のファイルを対応する第２のファイルフォーマットの第２のファイルに変換する（つまり、第２のファイルは第１のファイルの変換されたバージョンであっても良い）マッピングロジックを有しても良い。トランスレータ１５８は、第１のファイルフォーマットのファイル（又はその部分）を第２のフォーマットの対応するファイルにマッピングする命令を提供するファイルマッピング命令を用いて構成されても良い。

モバイル装置１９の一実施形態は、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、センサ１４８、及びディスプレイ１５０を有し、これら全ては互いに通信する。ネットワークインタフェース１４５は、モバイル装置１９が１又は複数のネットワーク１８０に接続できるようにする。ネットワークインタフェース１４５は、無線ネットワークインタフェース、モデム、及び／又は有線ネットワークインタフェースを有しても良い。プロセッサ１４６は、本願明細書で議論する処理を実行するために、モバイル装置１９がメモリ１４７に格納されたコンピュータ可読命令を実行できるようにする。カメラ１４８は、カラー画像及び／又は深さ画像をキャプチャできる。センサ１４９は、モバイル装置１９に関連付けられた動き及び／又は方位情報を生成しても良い。幾つかの例では、センサ１４９は、慣性測定装置（inertial measurement unit：ＩＭＵ）を有しても良い。ディスプレイ１５０は、デジタル画像及び／又はビデオを表示しても良い。ディスプレイ１５０は、透視ディスプレイを有しても良い。

幾つかの実施形態では、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、及びセンサ１４９を含むモバイル装置１９の種々のコンポーネントは、単一のチップ基板に統合されても良い。一例では、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、及びセンサ１４９は、システムオンチップ（system on a chip：ＳＯＣ）として統合されても良い。他の例では、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、及びセンサ１４９は、単一パッケージ内に統合されても良い。

幾つかの実施形態では、モバイル装置１９は、カメラ１４８、センサ１４９、及びプロセッサ１４６で動作するジェスチャ認識ソフトウェアを用いることにより、自然なユーザインタフェース（natural user interface：ＮＵＩ）を提供しても良い。自然なユーザインタフェースにより、人の身体部分及び動きが検出され、解釈され、及びコンピューティングアプリケーションの種々の特徴を制御するために用いられても良い。一例では、自然なユーザインタフェースを用いるコンピューティング装置は、コンピューティング装置と相互作用する人の意図（例えば、エンドユーザが、コンピューティング装置を制御するために特定のジェスチャを実行したこと）を推測する。

ネットワーク接続されたコンピューティング環境１００は、１又は複数のコンピューティング装置のためにクラウドコンピューティング環境を提供しても良い。クラウドコンピューティングは、インターネットに基づくコンピューティングを表し、共有リソース、ソフトウェア、及び／又は情報は、１又は複数のコンピューティング装置にオンデマンドでインターネット（又は他のグローバルネットワーク）を介して供給される。用語「クラウド」は、インターネットの例えとして、基本インフラの抽象化としてインターネットを示すためにコンピュータネットワーキング図の中で用いられる雲の図に基づき、用いられる。

一例として、モバイル装置１９は、ヘッドマウントディスプレイ装置（ＨＭＤ）のエンドユーザに拡張現実環境又は混合現実環境を提供するＨＭＤを有する。ＨＭＤは、ビデオ透明及び／又は光学的に透明なシステムを有しても良い。エンドユーザにより装着される光学的に透明なＨＭＤは、（例えば、透過レンズにより）現実世界環境を実際に直接見ることを可能にし、同時に、エンドユーザの視界に仮想オブジェクトの画像を投影しても良く、それにより、エンドユーザにより知覚される現実世界環境を仮想オブジェクトで増強する。

ＨＭＤを用いて、エンドユーザは、ＨＭＤを装着しながら現実世界環境（例えば、リビングルーム）を動き回り、仮想オブジェクトの画像をオーバレイされた現実世界のビューを知覚しても良い。仮想オブジェクトは、現実世界環境とのコヒーレントな空間関係を維持するように見える（つまり、エンドユーザが彼らの頭の向きを変え、又は現実世界環境の中を動くとき、エンドユーザに表示される画像が変化し、エンドユーザにより知覚されるとき、仮想オブジェクトが現実世界環境内に存在するように見えるようにする）。仮想オブジェクトは、エンドユーザの視点に対して固定されて現れても良い（例えば、エンドユーザがどのように彼らの頭の向きを変え又は現実世界環境内を動くかに係わらず、エンドユーザの視点の上部右隅に仮想メニューが現れる）。一実施形態では、現実世界環境の環境マッピングは、サーバ１５により（つまり、サーバ側で）実行されても良く、一方で、カメラローカリゼーションはモバイル装置１９で（つまり、クライアント側で）実行されても良い。仮想オブジェクトは、現実世界オブジェクトに関連付けられたテキスト記述を有しても良い。

幾つかの実施形態では、モバイル装置１９のようなモバイル装置は、サーバ１５のようなクラウド内のサーバと通信しても良く、サーバに、モバイル装置に関連付けられた位置情報（例えば、ＧＰＳ座標によりモバイル装置の位置）及び／又は画像情報（例えば、モバイル装置の視界内で検出されるオブジェクトに関する情報）を提供しても良い。それに応じて、サーバは、モバイル装置に、サーバに提供された位置情報及び／又は画像情報に基づき、１又は複数の仮想オブジェクトを送信しても良い。一実施形態では、モバイル装置１９は、１又は複数の仮想オブジェクトを受信するために特定のファイルフォーマットを指定しても良く、サーバ１５は、モバイル装置１９に、特定のファイルフォーマットのファイルに埋め込まれた１又は複数の仮想オブジェクトを送信しても良い。

幾つかの実施形態では、仮想ポインタは、モバイル装置１９のエンドユーザに表示され、２次装置（例えば、携帯電話機、又は動き及び／又は方位情報をＨＭＤに供給する能力を備えた他の装置）に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御されても良い。仮想ポインタを用いて、エンドユーザは、拡張現実環境内の仮想オブジェクトを選択し操作し、拡張現実環境内の現実世界オブジェクトを選択し、及び／又はＨＭＤのグラフィカルユーザインタフェースを制御できる（例えば、エンドユーザは、アプリケーションを選択し、仮想オブジェクトをドラッグアンドドロップし、又は拡張現実環境の部分をズームできる）。仮想ポインタが選択可能な仮想又は現実世界オブジェクトを指す（又はそれにオーバレイする）場合、ＨＭＤは、オブジェクトが選択可能であるというフィードバックをエンドユーザに供給しても良い（例えば、振動、音、又は仮想指示子が、選択可能オブジェクトに関連付けられた追加情報が利用可能であることをユーザに警告するために用いられても良い）。幾つかの例では、拡張現実環境内の仮想ポインタの初期位置は、エンドユーザが見つめている特定の方向及び／又はエンドユーザが現在注目している又は最近注目していた特定のオブジェクトに基づき決定されても良い。

図２Ａは、第２のモバイル装置５と通信するモバイル装置１９の一実施形態を示す。モバイル装置１９は、透視ＨＭＤを有しても良い。図示のように、モバイル装置１９は、有線接続６を介してモバイル装置５と通信する。しかしながら、モバイル装置１９は、無線接続を介してモバイル装置５と通信しても良い。モバイル装置５は、数値計算処理タスク（例えば、仮想オブジェクトのレンダリング）をオフロードするために、並びにモバイル装置１９で拡張現実環境を提供するために使用され得る仮想オブジェクト及び他のデータ情報を格納するために、モバイル装置１９により用いられても良い。モバイル装置５は、モバイル装置５に関連付けられた動き及び／又は方位情報も、モバイル装置１９に提供しても良い。一例では、動き情報は、モバイル装置５に関連付けられた速度又は加速度を有しても良く、方位情報は、特定の座標系又は参照フレームの周りの回転情報を提供するオイラー角を有しても良い。幾つかの例では、モバイル装置５は、モバイル装置５に関連付けられた動き及び／又は方位情報を取得するために、ＩＭＵ（inertial measurement unit）のような動き及び方位センサを有しても良い。

図２Ｂは、図１のモバイル装置１９のような、ＨＭＤの一部の一実施形態を示す。ＨＭＤ２００の右側のみが示される。ＨＭＤ２００は、右こめかみ２０２、鼻梁２０４、眼鏡２１６、及び眼鏡フレーム２１４を有する。右こめかみ２０２は、処理装置２３６と通信するキャプチャ装置２１３（例えば、前面カメラ及び／又はマイクロフォン）を有する。キャプチャ装置２１３は、デジタル画像及び／又はビデオを記録する１又は複数のカメラを有しても良く、視覚記録を処理装置２３６へ送信しても良い。１又は複数のカメラは、色情報、ＩＲ情報、及び／又は深さ情報をキャプチャしても良い。キャプチャ装置２１３は、音を記録する１又は複数のマイクロフォンを有しても良く、音声記録を処理装置２３６へ送信しても良い。

右こめかみ２０２は、生体センサ２２０、視線追跡システム２２１、イヤフォン２３０、動き及び方位センサ２３８、ＧＰＳ受信機２３２、電源２３９、及び無線インタフェース２３７を有し、これらは全て処理装置２３６と通信する。生体センサ２２０は、ＨＭＤ２００のエンドユーザに関連付けられた脈拍又は心拍を決定する１又は複数の電極と、ＨＭＤ２００のエンドユーザに関連付けられた体温を決定する温度センサと、を有しても良い。一実施形態では、生体センサ２２０は、エンドユーザのこめかみを押圧する脈拍数測定センサを有する。動き及び方位センサ２３８は、３軸磁気計、３軸ジャイロ、及び／又は３軸加速度計を有しても良い。一実施形態では、動き及び方位センサ２３８は、ＩＭＵ（inertial measurement unit）を有しても良い。ＧＰＳ受信機は、ＨＭＤ２００に関連付けられたＧＰＳ位置を決定しても良い。処理装置２３６は、１又は複数のプロセッサと、該１又は複数のプロセッサで実行されるコンピュータ可読命令を格納するメモリと、を有しても良い。メモリは、１又は複数のプロセッサで実行される他の種類のデータも格納しても良い。

一実施形態では、視線追跡システム２２１は、内向きカメラを有しても良い。別の実施形態では、視線追跡システム２２１は、視線追跡光源及び関連する視線追跡ＩＲセンサを有しても良い。一実施形態では、視線追跡光源は、おおよそ所定のＩＲ波長又は波長の範囲を放射する赤外発光ダイオード（light emitting diode：ＬＥＤ）又はレーザ（例えば、ＶＣＳＥＬ）のような１又は複数の赤外（ＩＲ）放射体を有しても良い。幾つかの実施形態では、視線追跡センサは、閃光位置を追跡するＩＲカメラ又はＩＲ位置感応検出器（position sensitive detector：ＰＳＤ）を有しても良い。視線追跡システムに関する更なる情報は、米国特許第７,４０１,９２０号、名称「Head Mounted Eye Tracking and Display System」、２００８年７月２２日発行、及び米国特許出願第１３/２４５,７００号（マイクロソフト代理人管理番号第３３３６０４.０１号）、名称「Integrated Eye Tracking and Display System」、２０１１年９月２６日出願、から分かる。

一実施形態では、眼鏡２１６は、透過ディスプレイを有しても良く、それにより、処理装置２３６により生成された画像は、透過ディスプレイに投影され及び／又は表示されても良い。キャプチャ装置２１３は、キャプチャ装置２１３によりキャプチャされた視界がＨＭＤ２００のエンドユーザにより見える視界と一致するように、較正されても良い。イヤフォン２３０は、仮想オブジェクトの投影画像に関連付けられた音を出力するために用いられても良い。幾つかの実施形態では、ＨＭＤ２００は、前面カメラによりキャプチャされた視界に関連付けられた立体情報から深さを得るために、２以上の前面カメラ（例えば、各こめかみに１つ）を有しても良い。２以上の前面カメラは、３Ｄ、ＩＲ、及び／又はＲＧＢカメラを有しても良い。深さ情報は、動き技術からの深さを利用して単一カメラから取得されても良い。例えば、２つの画像が、異なる時点において空間内の２つの異なる地点に関連付けられた単一のカメラから取得されても良い。次に、空間内の２つの異なる地点に関する位置情報が与えられると、パララックス計算が実行されても良い。

幾つかの実施形態では、ＨＭＤ２００は、角膜中心、眼球回転中心、又は瞳孔中心のような１又は複数の人間の目の要素に関して注視検出要素及び３次元座標系を用いて、エンドユーザの目の各々について注視検出を実行しても良い。注視検出は、エンドユーザが視界内のどこに注目しているかを識別するために用いられても良い。注視検出要素の例は、閃光生成発光体、及び集められた閃光を提示するデータをキャプチャするセンサを有し得る。幾つかの例では、カメラの中心は、平面の幾何学を用いて２つの閃光に基づき決定できる。角膜中心は、瞳孔中心と眼球回転中心とをリンク付け、特定の注視又は視角においてエンドユーザの目の光軸を決定する固定位置として扱われても良い。

図２Ｃは、注視点へと延在する注視ベクトルが離れた瞳孔間距離（inter−pupillary distance：ＩＰＤ）を揃えるために用いられる、ＨＭＤ２の一部の一実施形態を示す。ＨＭＤ２は、図１のモバイル装置１９のようなモバイル装置の一例である。図示のように、注視ベクトル１８０ｌ及び１８０ｒは、エンドユーザから離れた注視点で交わる（つまり、注視ベクトル１８０ｌ及び１８０ｒは、エンドユーザが遠くのオブジェクトを見つめているとき、交わらない）。眼球１６０ｌ及び１６０ｒの眼球モデルは、グルストランドの模型眼に基づき、各目について図示される。各眼球は、回転中心１６６を有する球面としてモデル化され、中心１６４を有する球面としてモデル化された角膜１６８を有する。角膜１６８は眼球と共に回転し、眼球の回転中心１６６は、固定点として扱われる。角膜１６８は、その中心に瞳孔１６２を有する虹彩１７０をカバーする。各角膜の表面１７２に、閃光１７４及び１７６がある。

図２Ｃに示すように、センサ検出領域１３９（つまり、それぞれ１３９ｌ及び１３９ｒ）は、眼鏡フレーム１１５の範囲内の各表示光学系１４の光軸に揃えられる。一例では、検出領域に関連付けられたセンサは、フレーム１１５の左側に発光体１５３ａ及び１５３ｂによりそれぞれ生成された閃光１７４ｌ及び１７６ｌを表す画像データ、及びフレーム１１５の右側に発光体１５３ｃ及び１５３ｄによりそれぞれ生成された閃光１７４ｒ及び１７６ｒを表すデータをキャプチャできる１又は複数のカメラを有しても良い。眼鏡フレーム１１５の中のディスプレイ光学系１４ｌ及び１４ｒを通じてユーザの視界は、現実オブジェクト１９０、１９２及び仮想オブジェクト１８２、１８４の両方を含む。

回転中心１６６から角膜中心１６４を通り瞳孔１６２へと形成される軸１７８は、目の光軸を有する。注視ベクトル１８０は、瞳孔１６２の中心を通り窩から延在する視線又は視軸として表されても良い。幾つかの実施形態では、光軸が決定され、注視ベクトルとして選択される視軸を得るためにユーザ較正を通じて小さな補正が決定される。各エンドユーザについて、仮想オブジェクトは、異なる水平及び垂直位置にある多数の所定位置の各々で、ディスプレイ装置により表示されても良い。光軸は、各位置にあるオブジェクトの表示中に各目のために計算されても良く、光線は、該位置からユーザの目へと延在するとしてモデル化される。水平及び垂直成分を有する注視オフセット角は、モデル化された光線に揃えるために光軸がどれだけ移動されなければならないかに基づき、決定されても良い。異なる位置から、水平又は垂直成分を有する平均注視オフセット角は、各計算した光軸に適用されるべき小さな補正として選択できる。幾つかの実施形態では、水平成分のみが、注視オフセット角補正のために用いられる。

図２Ｃに示すように、注視ベクトル１８０ｌ及び１８０ｒは、それらが眼球から注視点における視界へと延びるとき互いに近付くので、完全に平行ではない。各ディスプレイ光学系１４で、注視ベクトル１８０は、センサ検出領域１３９が中心に置かれる光軸と交差するように見える。この構成では、光軸は、瞳孔間距離（inter−pupillary distance：ＩＰＤ）と揃えられる。エンドユーザが真っ直ぐ前を見ているとき、測定されたＩＰＤは、遠いＩＰＤとしても表される。

図２Ｄは、注視点へと延在する注視ベクトルが近い瞳孔間距離（inter−pupillary distance：ＩＰＤ）を揃えるために用いられる、ＨＭＤ２の一部の一実施形態を示す。ＨＭＤ２は、図１のモバイル装置１９のようなモバイル装置の一例である。図示のように、左目の角膜１６８ｌは右へ又はエンドユーザの鼻に向けて回転され、右目の角膜１６８ｒは左へ又はエンドユーザの鼻へ向けて回転される。両方の瞳孔は、エンドユーザから特定距離の範囲内にある現実オブジェクト１９４を注視している。各目からの注視ベクトル１８０ｌ及び１８０ｒは、現実オブジェクト１９４が位置するパナムの融合領域１９５に入る・パナムの融合領域は、人間の視覚のような双眼視覚システムの中の単一像の領域である。注視ベクトル１８０ｌ及び１８０ｒの交差は、エンドユーザが現実オブジェクト１９４を見ていることを示す。このような距離において、眼球が内向きに回転するので、それらの瞳孔間距離は近いＩＰＤまで減少する。近いＩＰＤは、遠いＩＰＤより短く、標準的に約４ｍｍである。近いＩＰＤ距離基準（例えば、エンドユーザから４フィートより少ない位置の注視点）は、ディスプレイ光学系１４のＩＰＤ配置を近いＩＰＤの配置に切り替える又は調整するために用いられても良い。近いＩＰＤでは、各ディスプレイ光学系１４はエンドユーザの鼻に向けて移動されても良い。したがって、光軸、及び検出領域１３９は、検出領域１３９ｌｎ及び１３９ｒｎにより表されるように、鼻に向けて数ミリメートル移動する。

ＨＭＤのエンドユーザのＩＰＤの決定及びディスプレイ光学系の調整についての更なる情報は、米国特許出願番号第１３／２５０,８７８号（マイクロソフト代理人管理番号第３３４５０５.０１号）、名称「Personal Audio/Visual System」、２０１１年９月３０日出願、から分かる。

図２Ｅは、注視検出要素を含む可動ディスプレイ光学システムを有するＨＭＤ２の一部の一実施形態を示す。各目のレンズとして見えるものは、各目のディスプレイ光学系１４（つまり、１４ｌ及び１４ｒ）を表す。ディスプレイ光学系は、ＨＭＤのレンズを通じて見える実際の直接現実世界ビューに仮想コンテンツをシームレスに融合する透過レンズ及び光学要素（例えば、ミラー、フィルタ）を有する。ディスプレイ光学系１４は、通常、歪みのないビューを提供するために光が通常一直線にされる透過レンズの中心にある光軸を有する。例えば、アイケア専門家がエンドユーザの顔に通常の眼鏡対を掛けるとき、眼鏡は、通常は適合して、各瞳孔がそれぞれのレンズの中心又は光軸に揃う位置でエンドユーザの鼻の上に乗り、結果として、概して、明確な又は歪みの内ビューのために平行になった光がエンドユーザの目に到達する。

図２Ｅに示すように、少なくとも１つのセンサの検出領域１３９ｒ、１３９ｌは、それぞれのディスプレイ光学系１４ｒ、１４ｌの光軸に揃えられる。したがって、検出領域１３９ｒ、１３９ｌの中心は、光軸に沿って光をキャプチャしている。ディスプレイ光学系１４がエンドユーザの瞳孔に揃えられる場合、それぞれのセンサ１３４の各検出領域１３９は、エンドユーザの瞳孔に揃えられる。検出領域１３９の反射光は、１又は複数の光学要素を介して、カメラの実際の画像センサ１３４へ転送される。画像センサ１３４は、図示の実施形態では、フレーム１１５の内側にあるとして破線により示される。

一実施形態では、少なくとも１つのセンサ１３４は、可視光カメラ（例えば、ＲＧＢカメラ）であっても良い。一例では、光学要素又は光誘導要素は、部分的に透過し部分的に反射する可視光反射ミラーを有する。可視光カメラは、エンドユーザの瞳孔の画像データを提供する。一方で、ＩＲ光検出器１５２は、スペクトルのＩＲ部分の反射である閃光をキャプチャする。可視光カメラが使用される場合、仮想画像の反射は、カメラによりキャプチャされる目のデータの中に現れ得る。画像フィルタリング技術は、望ましい場合には、仮想画像反射を除去するために用いられても良い。ＩＲカメラは、目の仮想画像反射に反応しない。

別の実施形態では、少なくとも１つのセンサ１３４（つまり、１３４ｌ及び１３４ｒ）は、ＩＲカメラ又は位置敏感型検出器（position sensitive detector：ＰＳＤ）であり、これらにＩＲ放射が向けられても良い。目から反射されたＩＲ放射は、発光体１５３の入射放射から、他のＩＲ発光体（図示しない）、又は目から反射された周囲ＩＲ放射からであっても良い。幾つかの例では、センサ１３４は、ＲＧＢ及びＩＲカメラの組合せであっても良く、光誘導要素は、可視光反射又は迂回要素、及びＩＲ放射反射又は迂回要素を有しても良い。幾つかの例では、センサ１３４は、システム１３のレンズ内に埋め込まれても良い。追加で、画像フィルタリング技術は、ユーザに対して邪魔なものを減少させるために、カメラをユーザ視界内に混合させるために適用されても良い。

図２Ｅに示すように、発光体１５３の４個のセットは、光検出器１５２と対にされ、バリア１５４により分離されて、発光体１５３により生成される入射光と光検出器１５２で受信される反射光との間の干渉を回避する。図中の不要な混乱を避けるため、図中の番号は、代表の対に関して示される。各発光体は、所定の波長の近くの光の細いビームを生成する赤外線（ＩＲ）発光体であっても良い。各光検出器は、所定の波長の近くの光をキャプチャするよう選択されても良い。赤外線は、近赤外線も有しても良い。発光体又は光検出器の波長ドリフトが存在し得る、又は波長の近くの小さい範囲が許容可能であり得るので、発光体及び光検出器は、生成及び検出のために波長の近くの許容範囲を有しても良い。センサがＩＲカメラ又はＩＲ位置敏感型検出器（ＰＳＤ）である幾つかの実施形態では、光検出器は、追加データキャプチャ装置を有しても良く、発光体の動作、例えば波長ドリフト、ビーム幅変化、等をモニタするために用いられても良い。光検出器は、センサ１３４のような可視光カメラにより閃光データを提供しても良い。

図２Ｅに示すように、各ディスプレイ光学系１４及び該ディスプレイ光学系１４の各目の方を向いている注視検出要素（例えば、カメラ１３４及びその検出領域１３９、発光体１５３、及び光検出器１５２のような）の配置は、可動内側フレーム部分１１７ｌ、１１７ｒに位置する。本例では、ディスプレイ調整機構は、内側フレーム部分１１７に取り付けられるシャフト２０５を有する１又は複数のモータ２０３を有する。内側フレーム部分１１７は、モータ２０３により駆動されるシャフト２０５の誘導及び力の下で、フレーム１１５の範囲内を左から右へ又は逆にスライドする。幾つかの実施形態では、１つのモータ２０３が両方の内側フレームを駆動しても良い。

図２Ｆは、注視検出要素を含む可動ディスプレイ光学システムを有するＨＭＤ２の一部の代替の実施形態を示す。図示のように、各ディスプレイ光学系１４は、別個のフレーム１１５ｌ、１１５ｒの中に封入される。フレーム部分の各々は、モータ２０３により別個に移動されても良い。可動ディスプレイ光学系を備えるＨＭＤについての更なる詳細は、米国特許出願番号第１３/２５０,８７８号（マイクロソフト代理人管理番号第３３４５０５.０１号）、名称「Personal Audio/Visual System」、２０１１年９月３０日出願、から分かる。

図２Ｇは、フレーム１１５の眼鏡テンプル１０２を有するＨＭＤ２の一部の側面図の一実施形態を示す。フレーム１１５の前に、ビデオ及び静止画像をキャプチャできる前面ビデオカメラ１１３がある。幾つかの実施形態では、前面カメラ１１３は、可視光又はＲＧＢカメラと共に深さカメラを有しても良い。一例では、深さカメラは、ＩＲ発光送信機と、可視画像センサの前のホットミラーのような熱反射表面とを有しても良い。熱反射表面は、可視光を通過させ、発光体により送信された波長範囲内の又は所定の波長近くの反射ＩＲ放射をＣＣＤ又は他の種類の深さセンサへ向ける。他の種類の可視光カメラ（例えば、ＲＧＢカメラ又は画像センサ）及び深さカメラも使用できる。深さカメラに関する更なる情報は、米国特許出願番号第１２/８１３,６７５号（マイクロソフト代理人管理番号第３２９５６６.０１号）、２０１０年６月１１日出願、から分かる。カメラからのデータは、画像セグメント化及び／又はエッジ検出技術を通じてオブジェクトを識別する目的で処理するために、制御回路１３６へ送信されても良い。

テンプル１０２の内に、又はテンプル１０２に取り付けられて、イヤフォン１３０、慣性センサ１３２、ＧＰＳ送信機１４４、及び温度センサ１３８がある。一実施形態では、慣性センサ１３２は、３軸磁気計、３軸ジャイロ、及び３軸加速度計を有する。慣性センサは、ＨＭＤ２の位置、方位、及び急加速を検知する。これらの動きから、頭部位置が決定されても良い。

幾つかの例では、ＨＭＤ２は、１又は複数の仮想オブジェクトを有する１又は複数の画像を生成できる画像生成ユニットを有しても良い。幾つかの実施形態では、マイクロディスプレイは、画像生成ユニットとして用いられても良い。図示のように、マイクロディスプレイ組立体１７３は、光処理要素及び可変焦点調整器１３５を有する。光処理要素の一例は、マイクロディスプレイユニット１２０である。他の例は、レンズシステム１２２の１又は複数のレンズ及び表面１２４のような１又は複数の反射要素のような１又は複数の光要素を有する。レンズシステム１２２は、単一レンズ又は複数のレンズを有しても良い。

テンプル１０２に取り付けられ又はその内側に、マイクロディスプレイユニット１２０は、画像ソースを有し、仮想オブジェクトの画像を生成する。マイクロディスプレイユニット１２０は、光学的にレンズシステム１２２及び反射表面１２４に揃えられる。光学的な整列は、光軸１３３又は１又は複数の光軸を含む光経路１３３に沿っても良い。マイクロディスプレイユニット１２０は、レンズシステム１２２を通じて仮想オブジェクトの画像を投影する。レンズシステム１２２は画像光を反射表面１２４に向けても良い。可変焦点調整器１３５は、マイクロディスプレイ組立体の光経路内の１又は複数の光処理要素の間の位置ずれ、又はマイクロディスプレイ組立体の中の要素の光パワーを変更する。レンズの光パワーは、その焦点長の逆数（つまり、１／焦点長）として定められる。したがって、一方の変化は他方に影響を与える。焦点長の変化は、マイクロディスプレイ組立体１７３により生成される画像に焦点の合った視界の領域に変化を生じる。

位置ずれ変化を行うマイクロディスプレイ組立体１７３の一例では、位置ずれ変化は、レンズシステム１２２及びマイクロディスプレイ１２０のような少なくとも１つの光処理要素を支持するアーマチャ１３７の範囲内で誘導される。アーマチャ１３７は、選択された位置ずれ又は光パワーを達成するために、要素の物理的移動中に光経路１３３に沿って整列を一定に保つのを助ける。幾つかの例では、調整器１３５は、レンズシステム１２２のレンズのような１又は複数の光学要素をアーマチャ１３７内で移動させても良い。他の例では、アーマチャは、光処理要素の周辺領域内に溝又は空間を有しても良く、アーマチャは、光処理要素を移動することなく、要素、例えばマイクロディスプレイ１２０の上をスライドする。レンズシステム１２２のようなアーマチャ内の別の要素が取り付けられ、システム１２２又はその中のレンズが移動するアーマチャ１３７と共にスライド又は移動できるようにする。位置ずれ範囲は、標準的に、数ミリメートル（ｍｍ）程度である。一例では、範囲は１〜２ｍｍである。他の例では、アーマチャ１３７は、位置ずれ以外の他の物理パラメータの調整を含む焦点調整技術のためにレンズシステム１２２にサポートを提供しても良い。このようなパラメータの一例は、偏光である。

マイクロディスプレイ組立体の焦点距離の調整に関する更なる情報は、米国特許第１２/９４１,８２５号（マイクロソフト代理人管理番号第３３０４３４.０１号）、名称「Automatic Variable Virtual Focus for Augmented Reality Displays」、２０１０年１１月８日出願、から分かる。

一実施形態では、調整器１３５は、圧電モータのようなアクチュエータであっても良い。アクチュエータの他の技術が用いられても良く、このような技術の幾つかの例は、コイルの形状をしている音声コイル及び永久磁石、磁気歪要素、及び電気歪み要素である。

幾つかの異なる画像生成技術は、マイクロディスプレイ１２０を実施するために用いられても良い。一例では、マイクロディスプレイ１２０は、光源が光学活性材料により調節され及び白色光でバックライトされる透過投影技術を用いて実施できる。これらの技術は、通常、強力なバックライト及び光エネルギ密度を有するＬＣＤ型ディスプレイを用いて実施される。マイクロディスプレイ１２０は、外部光が反射され光学活性材料により調節される反射技術を用いても実施できる。発光は、技術に依存して白色光源又はＲＧＢ光源により前方照明されても良い。ＤＬＰ（Digital light processing）、ＬＣＯＳ（liquid crystal on silicon）及びQualcomm, Inc．のMirasol（登録商標）ディスプレイ技術は、全て、殆どのエネルギが調整済み構造から反射されるので効率的な反射型技術の例であり、本願明細書に記載のシステムで用いることができる。追加で、マイクロディスプレイ１２０は、光がディスプレイにより生成される放射技術を用いて実施できる。例えば、Micro vision, Inc.のPicoP（商標）エンジンは、透過型要素として動作する極小スクリーン上の進路を取る又は目に直接ビームを向ける（例えばレーザ）微細ミラーによりレーザ信号を発する。

図２Ｈは、マイクロディスプレイ組立体の３次元調整のサポートを提供するＨＭＤ２の一部の側面図の一実施形態を示す。上述の図２Ｇに示した番号の幾つかは、本図では混乱を避けるために削除された。ディスプレイシステム１４が３つの次元のうちの任意の次元で移動される幾つかの実施形態では、反射表面１２４により表される光学要素及びマイクロディスプレイ組立体１７３の他の要素は、ディスプレイ光学系への仮想画像の光の光経路１３３を維持するために移動されても良い。本例のＸＹＺ移送機構は、モータ２０３により表される１又は複数のモータと、マイクロディスプレイ組立体１７３の要素の動きを制御する制御回路１３６の制御下にあるシャフト２０５と、を有する。使用できるモータの一例は、圧電モータである。図示の例では、１つのモータがアーマチャ１３７に取り付けられ、可変焦点調整器１３５を移動し、並びに、別の代表モータ２０３は反射要素１２４の動きを制御する。

図３は、キャプチャ装置２０及びコンピューティング環境１２を含むコンピューティングシステム１０の一実施形態を示す。幾つかの実施形態では、キャプチャ装置２０及びコンピューティング環境１２は、単一のモバイルコンピューティング装置の中に統合されても良い。単一の統合されたモバイルコンピューティング装置は、図１のモバイル装置１９のようなモバイル装置を有しても良い。一例では、キャプチャ装置２０及びコンピューティング環境１２は、ＨＭＤに統合されても良い。他の実施形態では、キャプチャ装置２０は、図２Ａのモバイル装置１９のような第１のモバイル装置に統合されても良く、コンピューティング環境１２は図２Ａのモバイル装置５のような、第１のモバイル装置と通信する第２のモバイル装置に統合されても良い。

一実施形態では、キャプチャ装置２０は、画像及びビデオをキャプチャする１又は複数の画像センサを有しても良い。画像センサは、ＣＣＤ画像センサ又はＣＭＯＳ画像センサを有しても良い。幾つかの実施形態では、キャプチャ装置２０は、ＩＲ ＣＭＯＳ画像センサを有しても良い。キャプチャ装置２０は、例えば飛行時間、構造光、立体画像、等を含む任意の適切な技術により深さ値を含み得る深さ画像を有する深さ情報と共にビデオをキャプチャするよう構成される深さセンサ（又は深さ感知カメラ）を有しても良い。

キャプチャ装置２０は、画像カメラコンポーネント３２を有しても良い。一実施形態では、画像カメラコンポーネント３２は、シーンの深さ画像をキャプチャし得る深さカメラを有しても良い。深さ画像は、キャプチャされたシーンの２次元（２Ｄ）ピクセル領域を有しても良い。ここで、３Ｄピクセル領域内の各ピクセルは、例えばセンチメートル、ミリメートル、等で、画像カメラコンポーネント３２からキャプチャされたシーンの中のオブジェクトまでの距離のような深さ値を表しても良い。

画像カメラコンポーネント３２は、ＩＲ光コンポーネント３４、３次元（３Ｄ）カメラ３６、キャプチャ領域の深さ画像をキャプチャするために用いることができるＲＧＢカメラ３８を有しても良い。例えば、飛行時間分析では、キャプチャ装置２０のＩＲ光コンポーネント３４は、キャプチャ領域に赤外光を放射しても良く、次に、例えば３Ｄカメラ３６及び／又はＲＧＢカメラ３８を用いてキャプチャ領域内の１又は複数のオブジェクトの表面からの後方散乱光を検出するためにセンサを用いても良い。幾つかの実施形態では、パルス赤外光が用いられても良く、出射光パルスと対応する入来光パルスとの間の時間が測定されて、キャプチャ装置２０からキャプチャ領域内の１又は複数のオブジェクト上の特定の場所まで物理的距離を決定するために用いられても良い。追加で、出射光波の位相は、位相シフトを決定するために、入来光波の位相と比較されても良い。位相シフトは、次に、キャプチャ装置から１又は複数のオブジェクトに関連する特定の場所までの物理的距離を決定するために用いられても良い。

別の例では、キャプチャ装置２０は、深さ情報をキャプチャするために構造光を用いても良い。このような分析では、パターン光（つまり、グリッドパターン又はストライプパターンのような知られているパターンとして表示される光）は、例えばＩＲ光コンポーネント３４によりキャプチャ領域に投影されても良い。キャプチャ領域内の１又は複数のオブジェクト（又は目標）の表面に当たると、パターンは応答して変形され得る。このようなパターンの変形は、例えば３Ｄカメラ３６及び／又はＲＧＢカメラ３８によりキャプチャされ、キャプチャ装置から１又は複数のオブジェクトの特定の場所までの物理的距離を決定するために分析されても良い。キャプチャ装置２０は、平行光を生成する光学機器を有しても良い。幾つかの実施形態では、レーザプロジェクタは、構造光パターンを生成するために用いられても良い。光プロジェクタは、レーザ、レーザダイオード、及び／又はＬＥＤを有しても良い。

幾つかの実施形態では、２以上の異なるカメラが統合キャプチャ装置に組み込まれても良い。例えば、深さカメラ及びビデオカメラ（例えば、ＲＧＢビデオカメラ）は、共通のキャプチャ装置に組み込まれても良い。幾つかの実施形態では、同じ又は異なる種類の２以上の別個のキャプチャ装置は、協調して使用されても良い。例えば、深さカメラ及び別個のビデオカメラが用いられても良く、２個のビデオカメラが用いられても良く、２個の深さカメラが用いられても良く、２個のＲＧＢカメラが用いられても良く、又は任意の組合せ及び数のカメラが用いられても良い。一実施形態では、キャプチャ装置２０は、深さ情報を生成するために決定され得る視覚立体データを得るために異なる角度からキャプチャ領域を見ることができる２以上の物理的に別個のカメラを有しても良い。深さは、単色、赤外線、ＲＧＢ、又は任意の他の種類の検出器であっても良い複数の検出器を用いて画像をキャプチャすることにより、及びパララックス計算を実行することにより、決定されても良い。他の種類の深さ画像センサも、深さ画像を生成するために使用できる。

図３に示すように、キャプチャ装置２０は、１又は複数のマイクロフォン４０を有しても良い。１又は複数のマイクロフォン４０の各々は、音を受信し電気信号に変換できるトランスデューサ又はセンサを有しても良い。１又は複数のマイクロフォンは、１又は複数のマイクロフォンが所定のレイアウトに配置されても良いマイクロフォンアレイを有しても良い。

キャプチャ装置２０は、画像カメラコンポーネント３２と有効に通信できるプロセッサ４２を有しても良い。プロセッサ４２は、標準的なプロセッサ、専用プロセッサ、マイクロプロセッサ、等を有しても良い。プロセッサ４２は、フィルタ又はプロファイルを格納し、画像を受信し分析し、特定の状況が生じているか否かを決定する命令、又は他の適切な命令を有し得る命令を実行しても良い。理解されるべきことに、少なくとも幾つかの画像分析及び／又は目標分析、並びに追跡動作は、キャプチャ装置２０のような１又は複数のキャプチャ装置の中に含まれるプロセッサにより実行されても良い。

キャプチャ装置２０は、プロセッサ４２により実行され得る命令、３Ｄカメラ又はＲＧＢカメラによりキャプチャされた画像又は画像のフレーム、フィルタ又はプロファイル、又は任意の他の適切な情報、画像、等を格納できるメモリ４４を有しても良い。一例では、メモリ４４は、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）、キャッシュ、フラッシュメモリ、ハードディスク、又は任意の他の適切な記憶コンポーネントを有しても良い。図示のように、メモリ４４は、画像キャプチャコンポーネント３２及びプロセッサ４２と通信する別個のコンポーネントであっても良い。別の実施形態では、メモリ４４は、プロセッサ４２及び／又は画像キャプチャコンポーネント３２に統合されても良い。他の実施形態では、キャプチャ装置２０のコンポーネント３２、３４、３６、３８、４０、４２及び４４のうちの一部又は全部は、単一の筐体に収容されても良い。

キャプチャ装置２０は、通信リンク４６を介してコンピューティング環境１２と通信しても良い。通信リンク４６は、例えばＵＳＢ接続、ＦｉｒｅＷｉｒｅ（登録商標）、Ｅｔｈｒｅｎｅｔ（登録商標）ケーブル接続、等を含む接続有線接続、及び／又は無線８０２．１１ｂ、ｇ、ａ又はｎ接続のような無線接続であっても良い。コンピューティング環境１２は、例えば通信リンク４６を介してシーンをキャプチャするときを決定するために用いることができるキャプチャ装置２０にクロックを供給しても良い。一実施形態では、キャプチャ装置２０は、例えば３Ｄカメラ３６及び／又はＲＧＢカメラ３８によりキャプチャされる画像を、通信リンク４６を介してコンピューティング環境１２に提供しても良い。

図３に示すように、コンピューティング環境１２は、アプリケーション１９６と通信する画像及びオーディオ処理エンジン１９４を有する。アプリケーション１９６は、オペレーティングシステムアプリケーション又はゲームアプリケーションのような他のコンピューティングアプリケーションを有しても良い。画像及びオーディオ処理エンジン１９４は、仮想データエンジン１９７、オブジェクト及びジェスチャ認識エンジン１９０、構造データ１９８、処理ユニット１９１、及びメモリユニット１９２、を有し、これらは全て互いに通信する。画像及びオーディオ処理エンジン１９４は、キャプチャ装置２０から受信したビデオ、画像、及びオーディオデータを処理する。オブジェクトの検出及び／又は追跡を支援するために、画像及びオーディオ処理エンジン１９４は、構造データ１９８と、オブジェクト及びジェスチャ認識エンジン１９０とを利用しても良い。仮想データエンジン１９７は、仮想オブジェクトを処理し、仮想オブジェクトの位置及び方位を、メモリユニット１９２に格納された現実世界環境の種々のマップに関連付けて登録する。

処理ユニット１９１は、オブジェクト、顔、及び音声認識アルゴリズムを実行する１又は複数のプロセッサを有しても良い。一実施形態では、画像及びオーディオ処理エンジン１９４は、画像又はビデオデータにオブジェクト認識及び顔認識技術を適用しても良い。例えば、オブジェクト認識は、特定のオブジェクト（例えば、サッカーボール、車、人々、又はランドマーク）を検出するために用いられても良く、顔認識は、特定の人物の顔を検出するために用いられても良い。画像及びオーディオ処理エンジン１９４は、オーディオデータにオーディオ及び音声認識技術を適用しても良い。例えば、オーディオ認識は、特定の音を検出するために用いられても良い。検出されるべき特定の顔、音声、音、及びオブジェクトは、メモリユニット１９２に含まれる１又は複数のメモリに格納されても良い。処理ユニット１９１は、本願明細書で議論する処理を実行するために、メモリユニット１９２に格納されたコンピュータ可読命令を実行しても良い。

画像及びオーディオ処理エンジン１９４は、オブジェクト認識を実行する間、構造データ１９８を利用しても良い。構造データ１９８は、追跡されるべき目標及び／又はオブジェクトに関する構造情報を有しても良い。例えば、人間の骨格モデルは、身体部分を認識するのを助けるために格納されても良い。別の例では、構造データ１９８は、１又は複数の無生物オブジェクトを認識するのを助けるために、１又は複数の無生物オブジェクトに関する構造情報を有しても良い。

画像及びオーディオ処理エンジン１９４は、ジェスチャ認識を実行する間、オブジェクト及びジェスチャ認識エンジン１９０を利用しても良い。一例では、オブジェクト及びジェスチャ認識エンジン１９０は、それぞれ骨格モデルにより実行され得るジェスチャに関する情報を有するジェスチャフィルタの集合を有しても良い。オブジェクト及びジェスチャ認識エンジン１９０は、骨格モデルの形式のキャプチャ装置２０によりキャプチャされたデータ及びそれに関連する動きを、ジェスチャライブラリの中のジェスチャフィルタと比較して、（該骨格モデルにより表される）ユーザが１又は複数のジェスチャを実行したときを識別しても良い。一例では、画像及びオーディオ処理エンジン１９４は、骨格モデルの動きを解釈すること及び特定のジェスチャのオブジェクト及びジェスチャの実行を検出することを助けるために、認識エンジン１９０を用いても良い。

幾つかの実施形態では、追跡中の１又は複数のオブジェクトは、ＩＲ逆反射マーカのような１又は複数のマーカで補強されて、オブジェクト検出及び／又は追跡を向上しても良い。平面基準画像、符号化ＡＲマーカ、ＱＲコード（登録商標）、及び／又はバーコードは、オブジェクト検出及び／又は追跡を向上するために使用できる。１又は複数のオブジェクト及び／又はジェスチャを検出すると、画像及びオーディオ処理エンジン１９４は、アプリケーション１９６に、検出した各オブジェクト又はジェスチャの識別表示、並びに適切な場合には対応する位置及び／又は方位を報告しても良い。

オブジェクトの検出及び追跡に関する更なる情報は、米国特許出願番号第１２/６４１,７８８号（マイクロソフト代理人管理番号第３２８３２２.０１号）、「Motion Detection Using Depth Images」、２００９年１２月１８日出願、及び米国特許出願番号第１２/４７５,３０８号（マイクロソフト代理人管理番号第３２６７０５.０１号）、「Device for Identifying and Tracking Multiple Humans over Time」、から分かる。これら両方の出願は、参照することによりそれらの全体が本願明細書に組み込まれる。オブジェクト及びジェスチャ認識エンジン１９０に関する更なる情報は、米国特許出願番号第１２/４２２,６６１号（マイクロソフト代理人管理番号第３２５９８７.０２号）、「Gesture Recognizer System Architecture」、２００９年４月１３日出願、から分かる。ジェスチャ認識に関する更なる情報は、米国特許出願番号第１２/３９１,１５０号（マイクロソフト代理人管理番号第３２６０８２.０２号）、「Standard Gestures」、２００９年２月２３日出願、及び米国特許出願番号第１２/４７４,６５５号（マイクロソフト代理人管理番号第３２７１６０.０１号）、「Gesture Tool」、２００９年５月２９日出願、から分かる。

図４〜６は、仮想ポインタがＨＭＤのエンドユーザに表示され、２次装置に関連付けられた動き及び／又は方位情報を用いてエンドユーザにより制御され得る、種々の拡張現実環境の種々の実施形態を示す。仮想ポインタを用いて、エンドユーザは、拡張現実環境内の仮想オブジェクトを選択し操作し、拡張現実環境内の現実世界オブジェクトを選択し、及び／又はＨＭＤのグラフィカルユーザインタフェースを制御できる（例えば、エンドユーザは、アプリケーションを選択し、仮想オブジェクトをドラッグアンドドロップし、又は拡張現実環境の部分をズームできる）。

図４は、図１のモバイル装置１９のようなＨＭＤを装着しているエンドユーザに見えるような拡張現実環境４１０の一実施形態を示す。図示のように、拡張現実環境４１０は、仮想ポインタ３２、仮想ボール２５、及び仮想モンスター２７により拡張されている。拡張現実環境４１０は、椅子１６を有する現実世界オブジェクトも含む。仮想ポインタ３２を用いて、エンドユーザは、仮想ボール２５及び仮想モンスター２７のような仮想オブジェクトを選択し操作でき、椅子１６のような現実世界オブジェクトを選択できる。幾つかの例では、エンドユーザは、オブジェクトに関連する追加情報を取得し表示するために、拡張現実環境４１０内のオブジェクト（現実の又は仮想の）を選択しても良い。エンドユーザは、拡張現実環境４１０内で仮想オブジェクトを動かし、再配置し、及び／又はドラッグアンドドロップしても良い。幾つかの実施形態では、仮想ポインタが選択可能な仮想又は現実世界オブジェクトを指す（又はそれにオーバレイする）場合、ＨＭＤは、オブジェクトが選択可能であるというフィードバックをエンドユーザに供給しても良い（例えば、振動、音、又は仮想指示子が、選択可能オブジェクトに関連付けられた追加情報が利用可能であることをユーザに警告するために用いられても良い）。一実施形態では、拡張現実環境４１０内の仮想ポインタ３２の初期位置は、エンドユーザが注視している特定の方向に基づき決定されても良い。

図５は、図１のモバイル装置１９のようなＨＭＤを装着しているエンドユーザに見えるような拡張現実環境４１０の一実施形態を示す。図示のように、拡張現実環境４１０は、仮想ポインタ３２、仮想ボール２５、及び仮想モンスター２７により拡張されている。拡張現実環境４１０は、椅子１６を有する現実世界オブジェクトも含む。一実施形態では、拡張現実環境内の仮想ポインタの初期位置は、エンドユーザが見つめている特定の方向及び／又はエンドユーザが現在注目している又は最近注目していた特定のオブジェクトに基づき決定されても良い。幾つかの例では、仮想ポインタ３２の初期位置は、エンドユーザの注視方向に最も近い仮想オブジェクトに関連付けられても良い。他の例では、仮想ポインタ３２の初期位置は、所与の時間期間内（例えば、最近３０秒以内）に最も注目されていた、拡張現実環境４１０内の特定のオブジェクト（現実又は仮想）に関連付けられても良い。

図６は、図１のモバイル装置１９のようなＨＭＤを装着しているエンドユーザに見えるような拡張現実環境４１０の一実施形態を示す。図示のように、拡張現実環境４１０は、仮想ポインタ３２、仮想ボール２５、及び仮想モンスター２７により拡張されている。拡張現実環境４１０は、椅子１６を有する現実世界オブジェクトも含む。一実施形態では、拡張現実環境４１０の一部２６は、仮想ポインタ３２の位置に基づき、拡大（又はズームイン）されても良い。拡張現実環境４１０のズームイン部分２６は、拡張現実環境４１０内の現実及び／又は仮想オブジェクトの選択を向上するために、仮想ポインタ３２と組み合わせて用いられても良い。幾つかの実施形態では、仮想ポインタ３２の制御は、２次装置（例えば、装置に関連する動き及び／又は方位情報をＨＭＤに提供できるモバイル装置又は他の装置）の動きに対応しても良い。幾つかの例では、２次装置は、ＨＭＤのエンドユーザの腕、手、及び／又は指の動きに関連する動き及び／又は方位情報を提供できるＩＭＵの可能なリング、腕時計、ブレスレット、又はリストバンドを有しても良い。

図７Ａは、２次装置を用いて拡張現実環境を制御する方法の一実施形態を示すフローチャートである。一実施形態では、図７Ａの処理は、図１のモバイル装置１９のようなモバイル装置により実行されても良い。

ステップ７０２で、ＨＭＤと２次装置との間のリンクが確立される。２次装置は、ＨＭＤに動き及び／又は方位情報を提供する能力を備える携帯電話機又は他のモバイル装置（例えば、ＩＭＵの可能なリング又はリストバンド）を有しても良い。一実施形態では、リンクは、ＨＭＤに認証証明（credentials）を提供した２次装置と確立されても良い。ＨＭＤは、Ｗｉ−Ｆｉ接続又はＢｌｕｅｔｏｏｔｈ（登録商標）接続のような無線接続を介して２次装置と通信しても良い。

ステップ７０４で、ＨＭＤの仮想ポインタモードに対応するトリガイベントが検出される。仮想ポインタモードは、ＨＭＤのエンドユーザに、ＨＭＤのエンドユーザに提供される拡張現実環境内の仮想ポインタを制御させ、及び拡張現実環境内の現実オブジェクト及び／又は仮想オブジェクトを選択し操作させても良い。仮想ポインタは、拡張現実環境内でエンドユーザに表示されても良い仮想矢印、仮想カーソル、又は仮想ガイドを有しても良い。幾つかの例では、仮想ポインタは、拡張現実環境に投影される仮想光線の端を有しても良い。

一実施形態では、トリガイベントは、エンドユーザからの音声コマンド（例えば、ユーザが「仮想ポインタオン」と言う）を検出すると、検出されても良い。別の実施形態では、トリガイベントは、２次装置に関連する特定の動き又はジェスチャ（例えば、２次装置を振る）を検出すると、検出されても良い。トリガイベントは、ＨＭＤのエンドユーザにより行われる音声コマンド及び物理的動き（例えば、２次装置のボタンを押下する）の組み合わせに基づき検出されても良い。幾つかの例では、トリガイベントは、エンドユーザが特定のジェスチャ（例えば、仮想ポインタモードに関連付けられた手のジェスチャ）を実行するのを検出すると、検出されても良い。

ステップ７０６で、初期仮想ポインタ位置が決定される。一実施形態では、初期仮想ポインタ位置は、エンドユーザの注視方向（例えば、エンドユーザが見ている拡張現実環境内の特定の領域）に基づき決定されても良い。別の実施形態では、初期仮想ポインタ位置は、エンドユーザが注視している特定の方向及び／又はエンドユーザが現在注目している若しくは最近注目していた特定のオブジェクト（例えば、エンドユーザが最近３０秒以内に最も注目していた特定のオブジェクト）に基づき決定されても良い。幾つかの例では、１つより多い仮想ポインタがエンドユーザに表示されても良い。ここで、仮想ポインタの各々は、異なる色又はシンボルに関連付けられる。エンドユーザは、仮想ポインタのうちの１つを識別する音声コマンドを発することにより、仮想ポインタのうちの１つを選択しても良い。初期仮想ポインタ位置を決定する処理の一実施形態は、図７Ｂを参照して後述する。

ステップ７０８で、２次装置の初期方位が決定される。一実施形態では、初期方位は、２次装置によりＨＭＤに提供される方位情報に基づき、ＨＭＤにより決定されても良い。続いて、２次装置の方位変化は、初期方位に対して行われても良い。別の実施形態では、初期方位は、２次装置自体により決定されても良い。ここで、相対方位変化がＨＭＤに提供されても良い。初期方位は、ＨＭＤにより提供される基準フレームに対する方位に対応しても良い。幾つかの例では、ＨＭＤは、２次装置からＨＭＤへ送信された方位情報のドリフトエラー又は累積エラーを補正するために、特定の時間期間の後（例えば、３０秒後）に、２次装置をリセット又は再較正しても良い。

ステップ７１０で、更新された方位情報は、２次装置から取得される。方位情報は、２次装置から無線接続を介してＨＭＤへ送信されても良い。ステップ７１２で、２次装置の方位がタイムアウト期間内に閾範囲内で変化したか否かが決定される。２次装置の方位がタイムアウト期間内に閾範囲内で変化した場合、ステップ７１６が実行される。或いは、２次装置の方位がタイムアウト期間内に閾範囲内で変化していない場合、ステップ７１４が実行される。２次装置の方位がタイムアウト期間内に閾範囲内で変化したか否かを決定する処理の一実施形態は、図７Ｃを参照して記載される。

ステップ７１４で、仮想ポインタモードが無効にされる。幾つかの例では、仮想ポインタモードは、２次装置に関連する方位変化が有効方位変化に対して許容される閾範囲の外側であるために、無効にされても良い。一例では、方位変化は、エンドユーザが２次装置を彼らのポケットに入れて歩き出し又は走り出したために、閾範囲により許容されるより大きくなる可能性がある。別の例では、方位変化は、エンドユーザが２次装置をテーブルの上に置いたために、タイムアウト期間（例えば、２分）より長い間、閾範囲より小さくなる可能性がある。

ステップ７１６で、仮想ポインタ位置は、２次装置の方位変化に基づき更新される。ステップ７１８で、仮想ポインタ位置に基づくフィードバックは、ＨＭＤのエンドユーザに提供される。一実施形態では、フィードバックは、触覚フィードバックを有しても良い。一例では、フィードバックは、仮想ポインタ位置が拡張現実環境の中の選択可能なオブジェクトに関連付けられている場合、２次装置の振動を有しても良い。別の実施形態では、フィードバックは、仮想ポインタ位置が選択可能なオブジェクトに関連付けられた位置又は領域に対応する場合、拡張現実環境の中の該選択可能なオブジェクトの協調（又は他の視覚的指示）を有しても良い。フィードバックは、仮想ポインタ位置が拡張現実環境の中の選択可能なオブジェクトにオーバレイしている場合、オーディオ信号又は音（例えば、ビープ音）も有しても良い。

ステップ７２０で、ＨＭＤの拡張現実環境は、仮想ポインタ位置に基づき更新される。更新された拡張現実環境は、ＨＭＤによりエンドユーザに表示されても良い。一実施形態では、拡張現実環境は、更新された仮想ポインタ位置に仮想ポインタを移動することにより、更新されても良い。別の実施形態では、拡張現実環境は、（例えば、２次装置を振ることにより）選択可能なオブジェクトの選択及び仮想ポインタ位置が選択可能なオブジェクトに関連付けられた拡張現実環境の領域内にあることに応答して、拡張現実環境の中の選択可能なオブジェクトに関連付けられた追加情報を提供することにより、更新されても良い。追加情報は、図１のサーバ１５のような補足情報サーバから取得されても良い。幾つかの例では、（仮想ポインタ位置により）仮想ポインタが選択可能なオブジェクトに近くなるとき、仮想ポインタの動きは、選択精度を向上するためにゆっくりになっても良い。ステップ７２０が実行された後、ステップ７１０が実行される。

図７Ｂは、初期仮想ポインタ位置を決定する処理の一実施形態を説明するフローチャートである。図７Ｂに示す処理は、図７Ａのステップ７０６を実施する処理の一例である。一実施形態では、図７Ｂの処理は、図１のモバイル装置１９のようなモバイル装置により実行されても良い。

ステップ７４２で、ＨＭＤのエンドユーザに関連付けられた注視方向が決定される。注視方向は、注視検出技術を用いて決定されても良く、拡張現実環境の中の空間内の点又は領域に対応しても良い。ステップ７４４で、ＨＭＤの視界に関連付けられた第１の画像セットが取得される。第１の画像セットは、カラー及び／又は深さ画像を有しても良い。第１の画像セットは、図２Ｂのキャプチャ装置２１３のようなキャプチャ装置を用いてキャプチャされても良い。

ステップ７４６で、視界の中の１又は複数の選択可能なオブジェクトは、第１の画像セットに基づき識別される。１又は複数の選択可能なオブジェクトは、第１の画像セットにオブジェクト及び／又は画像認識技術を適用することにより識別されても良い。１又は複数の選択可能なオブジェクトは、仮想オブジェクト（例えば、仮想モンスター）及び／又は現実世界オブジェクト（例えば、椅子）を有しても良い。１又は複数の選択可能なオブジェクトは、追加情報が取得され拡張現実環境の中のエンドユーザに表示され得るオブジェクトに関連付けられても良い。幾つかの例では、拡張現実環境の中のオブジェクトを選択する能力は、ＨＭＤで動作するアプリケーションの状態に依存しても良い（例えば、アプリケーションロジックは、アプリケーションが特定の状態にあるとき、特定の種類の仮想オブジェクトの選択のみを許可しても良い）。

ステップ７４８で、１又は複数の選択可能なオブジェクトのうちの、注視方向に最も近い１つの選択可能なオブジェクトが決定される。一実施形態では、選択可能なオブジェクトは、注視方向に最も近い、拡張現実環境の中の位置に関連付けられた仮想オブジェクトを有する。ステップ７５０で、選択可能なオブジェクトに関連付けられた仮想ポインタ位置が決定される。仮想ポインタ位置は、選択可能なオブジェクトの中心点に対応しても良い。ステップ７５２で、仮想ポインタ位置は出力される。

図７Ｃは、２次装置の方位がタイムアウト期間内に閾範囲内で変化したか否かを決定する処理の一実施形態を説明するフローチャートである。図７Ｃに示す処理は、図７Ａのステップ７１２を実施する処理の一例である。一実施形態では、図７Ｃの処理は、図１のモバイル装置１９のようなモバイル装置により実行されても良い。

ステップ７６２で、更新された方位情報は、２次装置から取得される。２次装置は、ＨＭＤのエンドユーザの手に持たれる携帯電話機又はハンドヘルド電子装置を有しても良い。ステップ７６４で、２次装置に関連付けられた方位変化は、更新された方位情報に基づき決定される。一実施形態では、方位変化は、２次装置の方位に関連付けられた１又は複数のオイラー角の変化に対応する。

ステップ７６６で、方位変化が上限閾基準より大きいか否かが決定される。一実施形態では、上限閾基準は、５００ミリ秒の時間期間の範囲内で、３０度より大きい方位変化に対応しても良い。方位変化が上限閾基準より大きいと決定された場合、ステップ７６８が実行される。ステップ７６８で、無効な方位変化が出力される（例えば、方位変化は、過度であると考えられ、方位変化の信頼できる指示であると考えられない）。或いは、方位変化が上限閾基準より大きくないと決定された場合、ステップ７７０が実行される。ステップ７７０で、方位変化が下限閾基準より小さいか否かが決定される。一実施形態では、下限閾基準は、５０ミリ秒の時間期間の範囲内で、１度より小さい方位変化に対応しても良い。方位変化が下限閾基準より小さい場合、ステップ７２２が実行される。ステップ７７２で、無効な方位変化が出力される（例えば、方位変化は、ノイズであると考えられ、方位変化の信頼できる指示であると考えられない）。或いは、方位変化が下限閾基準より小さくないと決定された場合、ステップ７７４が実行される。ステップ７７４で、有効な方位変化が出力される。有効な方位変化が検出された場合、方位変化は拡張現実環境の中の仮想ポインタ位置を更新するために用いられても良い。

図８は、２次装置を用いて拡張現実環境を制御する方法の代替の実施形態を示すフローチャートである。一実施形態では、図８の処理は、図１のモバイル装置１９のようなモバイル装置により実行されても良い。

ステップ８０２で、ＨＭＤの仮想ポインタモードに対応するトリガイベントが検出される。仮想ポインタモードは、ＨＭＤのエンドユーザに、エンドユーザに提供される拡張現実環境内の仮想ポインタを制御させ、及び拡張現実環境内の現実及び／又は仮想オブジェクトを選択し操作させても良い。仮想ポインタは、拡張現実環境内でエンドユーザに表示されても良い仮想矢印、仮想カーソル、又は仮想ガイドを有しても良い。幾つかの例では、仮想ポインタは、拡張現実環境に投影される仮想光線の端を有しても良い。

一実施形態では、トリガイベントは、エンドユーザからの音声コマンド（例えば、ユーザが「仮想ポインタを有効にする」と言う）を検出すると、検出されても良い。別の実施形態では、トリガイベントは、２次装置に関連する特定の動き又はジェスチャ（例えば、２次装置を振る）を検出すると、検出されても良い。トリガイベントは、ＨＭＤのエンドユーザにより行われる音声コマンド及び物理的動き（例えば、２次装置のボタンを押下する）の組み合わせに基づき検出されても良い。幾つかの例では、トリガイベントは、エンドユーザが特定のジェスチャ（例えば、仮想ポインタモードに関連付けられた手のジェスチャ）を実行するのを検出すると、検出されても良い。

ステップ８０４で、２次装置に関連付けられた初期方位が決定される。一実施形態では、初期方位は、２次装置によりＨＭＤに提供される方位情報に基づき、ＨＭＤにより決定されても良い。続いて、２次装置の方位変化は、初期方位に対して行われても良い。別の実施形態では、初期方位は、２次装置自体により決定されても良い。ここで、相対方位変化がＨＭＤに提供されても良い。初期方位は、ＨＭＤにより提供される基準フレームに対する方位に対応しても良い。幾つかの例では、ＨＭＤは、２次装置からＨＭＤへ送信された方位情報のドリフトエラー又は累積エラーを補正するために、特定の時間期間の後（例えば、３０秒後）に、２次装置をリセット又は再較正しても良い。

ステップ８０６で、ＨＭＤのエンドユーザに関連付けられた注視方向が決定される。注視方向は、注視検出技術を用いて決定されても良く、拡張現実環境の中の空間内の点又は領域に対応しても良い。ステップ８０８で、初期仮想ポインタ位置は、注視方向に基づき決定される。一実施形態では、初期仮想ポインタ位置は、エンドユーザの注視方向（例えば、エンドユーザが見ている拡張現実環境内の特定の領域へ向かう）に基づき決定されても良い。幾つかの例では、１つより多い仮想ポインタが注視方向に基づきエンドユーザに表示されても良い。ここで、仮想ポインタの各々は、異なる色又はシンボルに関連付けられる。エンドユーザは、仮想ポインタのうちの１つを識別する音声コマンドを発することにより、仮想ポインタのうちの１つ（例えば、青矢印）を選択しても良い。

ステップ８１０で、更新された方位情報は、２次装置から取得される。更新された方位情報は、２次装置から無線接続を介してＨＭＤへ送信されても良い。方位情報は、絶対方位情報又は特定の基準フレームに対する相対方位情報に対応しても良い。ステップ８１２で、方位変化が選択基準を満たすか否かが決定される。一実施形態では、選択基準は、２次装置を振ることを含む。別の実施形態では、選択基準は、特定の方位変化又は一連の方位変化（例えば、エンドユーザは、彼らのモバイル装置を水平位置から垂直位置へ動かし、３秒の時間期間の範囲内で水平位置に戻す）を有しても良い。方位変化が選択基準を満たすと決定された場合、ステップ８１４が実行される。

ステップ８１４で、ＨＭＤの拡張現実環境は、ユーザ選択に基づき更新される。拡張現実環境は、ユーザ選択及び拡張現実環境内の仮想ポインタ位置の位置の両方に基づき更新されても良い。一例では、エンドユーザは、拡張現実環境の中の選択可能なオブジェクトに対応する位置に仮想ポインタを移動し、（例えば、選択基準が満たされるように彼らのモバイル装置を振ることにより）選択ジェスチャを実行しても良い。仮想ポインタ位置とユーザ選択との組み合わせは、選択可能なオブジェクトに関連付けられた追加情報を取得させ、拡張現実環境の中でエンドユーザに表示させる。

或いは、方位変化が選択基準を満たさないと決定された場合、ステップ８１６が実行される。ステップ８１６は、仮想ポインタ位置は、更新された方位情報に基づき更新される。一実施形態では、仮想ポインタに関連付けられた仮想ポインタ感度は、仮想ポインタ位置に基づき調整されても良い。一例では、仮想ポインタ感度（例えば、どのレートで、２次装置の方位変化が仮想ポインタ位置の変化に変換するか）は、仮想ポインタ位置が選択可能なオブジェクトから特定の距離範囲内に来た場合、減少されても良い。ステップ８１８で、ＨＭＤの拡張現実環境は、更新された仮想ポインタ位置に基づき更新される。更新された拡張現実環境は、ＨＭＤによりエンドユーザに表示されても良い。拡張現実環境は、拡張現実環境の中の更新された仮想ポインタ位置を移動し表示するために、更新されても良い。ステップ８１８が実行された後、ステップ８１０が実行される。

開示の技術の一実施形態は、ＨＭＤの仮想ポインタモードに対応するトリガイベントを検出するステップと、トリガイベントを検出するステップに応答して、初期仮想ポインタ位置を決定するステップと、ＨＭＤと通信する２次装置から方位情報を取得するステップと、方位情報に基づき仮想ポインタ位置を更新するステップと、仮想ポインタ位置に対応する拡張現実環境の中の仮想ポインタを表示するステップと、を有する。

開示の技術の一実施形態は、メモリと、該メモリと通信する１又は複数のプロセッサと、該１又は複数のプロセッサと通信する透過ディスプレイと、を有する。メモリは、電子装置と通信する２次装置に関連付けられた初期方位を格納する。１又は複数のプロセッサは、仮想ポインタモードに対応するトリガイベントを検出し、該トリガイベントの検出に応答して、初期仮想ポインタ位置を決定する。１又は複数のプロセッサは、２次装置から方位情報を取得し、方位情報及び初期方位に基づき仮想ポインタ位置を更新する。透過ディスプレイは、仮想ポインタ位置に対応する仮想ポインタを含む拡張現実環境を表示する。

開示の技術の一実施形態は、ＨＭＤの仮想ポインタモードに対応するトリガイベントを検出するステップと、ＨＭＤのエンドユーザに関連付けられた注視方向を決定するステップと、注視方向に基づき初期仮想ポインタ位置を決定するステップと、２次装置から更新された方位情報を取得するステップと、更新された方位情報に基づき仮想ポインタ位置を更新するステップと、仮想ポインタ位置に対応する拡張現実環境の中の仮想ポインタを表示するステップと、選択基準が満たされたことを決定するステップと、選択基準及び仮想ポインタ位置に基づき、更新された拡張現実環境を表示するステップと、を有する。

図９は、図１のモバイル装置１９のようなモバイル装置８３００の一実施形態のブロック図である。モバイル装置は、ラップトップコンピュータ、ポケットコンピュータ、携帯電話機、パーソナルデジタルアシスタント、無線受信機／送信機技術を統合されたハンドヘルドメディアデバイス、を有しても良い。

モバイル装置８３００は、１まのプロセッサ８３１２と、メモリ８３１０と、を有する。メモリ８３１０は、アプリケーション８３３０と、不揮発性記憶装置８３４０と、を有する。メモリ８３１０は、不揮発性及び揮発性メモリを含む任意の種々のメモリ記憶媒体の種類であり得る。モバイル装置オペレーティングシステムは、モバイル装置８３００の異なる動作を扱い、電話の発呼及び着呼、テキストメッセージング、音声メールのチェック、等のような動作のためにユーザインタフェースを有しても良い。アプリケーション８３３０は、写真及び／又はビデオのカメラアプリケーション、アドレス帳、カレンダアプリケーション、メディアプレイヤ、インターネットブラウザ、ゲーム、アラームアプリケーション、及び他のアプリケーションのような任意の種類のプログラムであり得る。メモリ８３１０の中の不揮発性記憶装置コンポーネント８３４０は、音楽、写真、連絡先データ、スケジュールデータ、及び他のファイルのようなデータを有しても良い。

１又は複数のプロセッサ８３１２は、透過ディスプレイ８３０９と通信する。透過ディスプレイ８３０９は、現実世界環境に関連付けられた１又は複数の仮想オブジェクトを表示しても良い。１又は複数のプロセッサ８３１２は、アンテナ８３０２に結合されるＲＦ送信機／受信機８３０６と、赤外線送信機／受信機８３０８と、ＧＰＳ（global positioning service）受信機８３６５と、及び加速度計及び／又は磁気計を有しても良い動き／方位センサ８３１４とも通信する。ＲＦ送信機／受信機８３０８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＩＥＥＥ８０２．１１標準のような種々の無線技術標準により無線通信を可能にしても良い。加速度計は、モバイル装置に組み込まれて、ユーザにジェスチャを通じてコマンドを入力させるインテリジェントユーザインタフェースアプリケーション、及びモバイル装置が回転されたときポートレートからランドスケープに表示を自動的に変更できる方位アプリケーションのようなアプリケーションを可能にする。加速度計は、例えば、半導体チップに構築された（マイクロメートルの寸法の）微細な機械装置である微小電気機械システム（micro−electromechanical system：ＭＥＭＳ）により提供できる。加速度方向は、方位、振動、及び衝撃と共に、検知できる。１又は複数のプロセッサ８３１２は、鳴動器／振動器８３１６、ユーザインタフェースキーパッド／スクリーン８３１８、スピーカ８３２０、マイクロフォン８３２２、カメラ８３２４、光センサ８３２６、及び温度センサ８３２８と更に雄心する。ユーザインタフェースキーパッド／スクリーンは、タッチスクリーンディスプレイを有しても良い。

１又は複数のプロセッサ８３１２は、無線信号の送信及び受信を制御する。送信モード中、１又は複数のプロセッサ８３１２は、マイクロフォン８３２２から音声信号を、又は他のデータ信号を、ＲＦ送信機／受信機８３０６に供給する。送信機／受信機８３０６は、アンテナ８３０２を通じて信号を送信する。鳴動器／振動器８３１６は、入ってくる呼、テキストメッセージ、カレンダリマインダ、アラームクロックリマインダ、又は他の通知をユーザに伝達するために用いられる。受信モード中、ＲＦ送信機／受信機８３０６は、音声信号又はデータ信号をアンテナ８３０２を通じてリモートステーションから受信する。受信した音声信号は、スピーカ８３２０に供給され、他の受信したデータ信号は適切に処理される。

追加で、物理コネクタ８３８８は、バッテリ８３０４を再充電する目的で、ＡＣアダプタ又は給電ドッキングステーションのような外部電源にモバイル装置８３００を接続するために用いられても良い。物理コネクタ８３８８は、外部コンピューティング装置へのデータ接続として用いられても良い。データデータ接続は、モバイル装置データを別の装置のコンピューティングデータに同期させるような動作を可能にする。

開示の技術は、多数の他の汎用目的の又は特定目的のコンピューティングシステム環境又は構成で動作可能である。本技術と共に使用するのに適するコンピューティングシステム、環境及び／又は構成の良く知られた例は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド若しくはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上述のシステム若しくは装置のうちの任意のものを含む分散型コンピューティング環境、等を含むが、これらに限定されない。

開示の技術は、コンピュータにより実行されるプログラムモジュールのようなコンピュータ実行可能命令の一般的文脈で説明された。概して、本願明細書に記載のようなソフトウェア及びプログラムモジュールは、特定のタスクを実行し又は特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、及び他の種類の構造を含む。ハードウェア又はハードウェアとソフトウェアの組合せは、本願明細書に記載のようにソフトウェアモジュールを置換しても良い。

開示の技術は、タスクが通信ネットワークを通じて接続されるリモート処理装置により実行される分散型コンピューティング環境で実施されても良い。分散型コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカル及びリモートの両方のコンピュータ記憶媒体に置かれても良い。

本願明細書の目的のために、開示の技術に関連する各処理は、連続して及び１又は複数のコンピューティング装置により実行されても良い。処理の中の各ステップは、他のステップで使用されるのと同一の又は異なるコンピューティング装置により実行されても良い。各ステップは、必ずしも単一のコンピューティング装置により実行される必要はない。

本願明細書の目的のために、明細書中の「実施形態」、「一実施形態」、「幾つかの実施形態」又は「別の実施形態」への言及は、異なる実施形態を記載するために用いられ、必ずしも同一の実施形態を言及しない。

本願明細書の目的のために、接続は、直接接続又は（例えば、別の部分を介して）間接接続であり得る。

本願明細書の目的のために、用語オブジェクトの「セット」は、オブジェクトのうちの１又は複数のオブジェクトの「セット」を言及する。

本発明の主題は構造的特徴及び／又は方法論的動作に特有の言葉で記載されたが、本発明の主題は、特許請求の範囲に定められる上述の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上述の特定の特徴及び動作は、特許請求の範囲の実施の例示的携帯として開示されたものである。

Claims (10)

1. ＨＭＤに関連付けられた拡張現実環境を制御する方法であって、
   前記ＨＭＤの仮想ポインタモードに対応するトリガイベントを検出するステップと、
   トリガイベントを検出する前記ステップに応答して、初期仮想ポインタ位置を決定するステップと、
   前記ＨＭＤと通信する２次装置から方位情報を取得するステップと、
   前記方位情報に基づき前記仮想ポインタ位置を更新するステップと、
   前記仮想ポインタ位置に対応する前記拡張現実環境の中の仮想ポインタを表示するステップと、
   を有する方法。
2. 初期仮想ポインタ位置を決定する前記ステップは、前記ＨＭＤのエンドユーザに関連付けられた注視方向を決定し、前記注視方向に基づき前記初期仮想ポインタ位置を設定するステップを有する、
   請求項１に記載の方法。
3. 初期仮想ポインタ位置を決定する前記ステップは、前記ＨＭＤのエンドユーザに関連付けられた注視方向を決定するステップと、前記ＨＭＤの視界の中の１又は複数の選択可能オブジェクトを識別するステップと、前記１又は複数の選択可能オブジェクトのうち、前記注視方向に最も近い選択可能オブジェクトを決定するステップと、前記拡張現実環境の中で、前記選択可能オブジェクトの位置に基づき前記初期仮想ポインタ位置を設定するステップと、を有する、
   請求項１に記載の方法。
4. 前記仮想ポインタ位置が前記１又は複数の選択可能オブジェクトに関連付けられた、前記拡張現実環境の中の１又は複数の領域に対応する場合、前記エンドユーザにフィードバックを提供するステップ、
   を更に有する請求項３に記載の方法。
5. 前記フィードバックは、前記２次装置の振動を有する、
   請求項４に記載の方法。
6. 拡張現実環境を表示する電子装置であって、
   メモリであって、前記メモリは、前記電子装置と通信する２次装置に関連付けられた初期方位を格納する、メモリと、
   前記メモリと通信する１又は複数のプロセッサであって、前記１又は複数のプロセッサは、仮想ポインタモードに対応するトリガイベントを検出し、前記トリガイベントの検出に応答して初期仮想ポインタ位置を決定し、前記１又は複数のプロセッサは、前記２次装置から方位情報を取得し、前記方位情報及び前記初期方位に基づき前記仮想ポインタ位置を更新する、１又は複数のプロセッサと、
   前記１又は複数のプロセッサと通信する透過ディスプレイであって、前記透過ディスプレイは、前記仮想ポインタ位置に対応する仮想ポインタを含む前記拡張現実環境を表示する、透過ディスプレイと、
   を有する電子装置。
7. 前記１又は複数のプロセッサは、前記電子装置のエンドユーザに関連付けられた注視方向を決定し、前記注視方向に基づき前記初期仮想ポインタ位置を設定することにより、前記初期仮想ポインタ位置を決定する、
   請求項６に記載の電子装置。
8. 前記１又は複数のプロセッサは、前記電子装置のエンドユーザに関連付けられた注視方向を決定し、前記電子装置の視界の中の１又は複数の選択可能オブジェクトを識別し、前記１又は複数の選択可能オブジェクトのうち、前記注視方向に最も近い選択可能オブジェクトを決定し、前記拡張現実環境の中で、前記選択可能オブジェクトの位置に基づき前記初期仮想ポインタ位置を設定することにより、前記初期仮想ポインタ位置を決定する、
   請求項６に記載の電子装置。
9. 前記１又は複数のプロセッサは、前記仮想ポインタ位置が前記１又は複数の選択可能オブジェクトに関連付けられた前記拡張現実環境の中の１又は複数の領域に対応する場合、前記エンドユーザにフィードバックを提供する、
   請求項８に記載の電子装置。
10. 前記電子装置はＨＭＤを有し、前記２次装置はモバイル装置を有する、請求項６乃至９のいずれか一項に記載の電子装置。

Images