JP2017516250A - 世界固定表示品質のフィードバック - Google Patents

Abstract

ヘッド・マウント型ディスプレイ・デバイスを有するユーザに、世界固定表示モードにおける推定品質レベルを伝達することに関連する実施形態が開示される。例えば、開示される１つの実施形態では、センサ・データが、デバイスの１つ以上のセンサから受信される。センサ・データを使用して、デバイスの推定ポーズが決定される。推定ポーズを使用して、１つ以上の仮想オブジェクトが、世界固定表示モードまたは本体固定表示モードの何れかでデバイスを介して表示される。センサ・データの入力不確定度値および推定ポーズのポーズ不確定度値が決定される。入力不確定度値およびポーズ不確定度値は、世界固定表示モードにおける推定品質レベルにマップされる。推定品質レベルのフィードバックはデバイスを介してユーザに伝達される。【選択図】図１

Description

[0001] 様々な技術によって、ユーザが現実および仮想現実の複合を体験することができる。例えば、幾らかの表示デバイス（例えば、様々なヘッド・マウント型ディスプレイ（ＨＭＤ）デバイス）は、現実環境の上に仮想オブジェクトの重畳を可能にするシー・スルー・ディスプレイを備えるものもある。仮想オブジェクトは、ＨＭＤデバイスの装着者がシースルーを通じてビューするときに、実世界環境と統合された外観を呈する(appear)。仮想オブジェクトと実世界環境の間のこのような関係は、拡張現実と称されることがある。

[0002] 同時のローカライゼーションおよびマッピング・システムにより、拡張現実体験を供することができる。通例、このような追跡およびマッピング・システムは、ユーザが操作している環境の照度および他の視覚的態様の環境に依存する。追跡およびマッピングをサポートするために充分なデータを環境が提供しないときに、アプリケーション即ち技術は、ユーザ体験の重要な劣化によって動作できないこともあるし、または動作することもある。

[0003] 多様な実世界環境において、また、多様な量のデータを有する動的環境においてユーザはこのような追跡およびマッピング・システムを利用し、追跡およびマッピングをサポートすることができる。幾らかの場合では、ユーザは、特定の環境で拡張現実アプリケーションを実行する追跡およびマッピング・システムを使用するのを期待することもある。しかしながら、環境は、有効な追跡およびマッピングをサポートするために十分なデータを提供せず、アプリケーションを不十分に機能させ、期待外れのユーザ体験を提供するか、または完全に機能しない。追跡およびマッピング・システムに関連した、環境の品質に関する情報が制限され、または何ら情報を有しないと、ユーザは、ユーザ体験に不愉快に驚くことになる。更に、ユーザは、ユーザ体験の予測を調整すること、および／または、他のアクティビティ若しくはより効果的に動作できる他のアプリケーションを選択することが阻止されることになる。

[0004] 本明細書に開示される様々な実施形態は、世界固定表示モードにおける推定品質レベルを、ヘッド・マウント型ディスプレイ・デバイスを有するユーザに伝達することに関する。世界固定表示モードでは、１つ以上の仮想オブジェクトの位置は、ヘッド・マウント型ディスプレイ・デバイスを通じてビュー可能な実世界オブジェクトに対して固定されるように見える。例えば、開示される１つの実施形態では、ヘッド・マウント型ディスプレイ・デバイスの１つ以上のセンサからセンサ・データを受信するステップを含む方法を提供する。センサ・データを使用して、ヘッド・マウント型ディスプレイ・デバイスの推定ポーズが決定される。

[0005] 推定ポーズを使用して、１つ以上の仮想オブジェクトが、世界固定表示モードまたは本体固定表示モードの何れかで、ヘッド・マウント型表示デバイスを通じて表示される。本体固定表示モードでは、各仮想オブジェクトの位置は、ヘッド・マウント型表示デバイスを有するユーザに対して固定されているように見える。センサ・データの入力不確定度値および推定ポーズの不確定度値の内１つ以上が決定される。入力不確定度値およびポーズ不確定度値の内１つ以上は、世界固定表示モードにおいて推定品質レベルにマップされる。推定品質レベルのフィードバックは、ヘッド・マウント型ディスプレイ・デバイスを介してユーザに伝達される。

[0006] 本摘要は、発明の詳細な説明で更に後述する簡略化された形態で、概念の選択を導くために設けられる。本摘要は特許請求する主題における鍵となる特徴点または必須の特徴点を特定するのを意図するのではなく、また、特許請求する主題の範囲を限定するために用いることを意図するのでもない。更にまた、特許請求する主題は、本開示の如何なる部分で注記される任意のまたは全ての不利な点を解決する実施態様に限定するのではない。

図１は、本開示の実施形態による拡張現実システムの概要図である。 図２は、本開示の実施形態による世界固定位置を有する複数の仮想オブジェクトを示す。 図３は、本開示の実施形態による世界固定位置を有する複数の仮想オブジェクトを示す。 図４は、本開示の実施形態による本体固定位置を有する複数の仮想オブジェクトを示す。 図５は、本開示の実施形態による本体固定位置を有する複数の仮想オブジェクトを示す。 図６は、本開示の実施形態による世界固定位置を有する空間(volumetric)ホログラムとして複数の仮想オブジェクトを示す。 図７は、本開示の実施形態による本体固定位置を有するスクリーン・ビューポートに表示される複数の仮想オブジェクトを示す。 図８は、本開示の実施形態による追跡システムの概要図である。 図９は、本開示の実施形態による例示のヘッド・マウント型ディスプレイ・デバイスを示す。 図１０Ａは、本開示の実施形態による世界固定表示モードにおける推定品質レベルをヘッド・マウント型表示デバイスのユーザに伝達する方法のフローチャートである。 図１０Ｂは、本開示の実施形態による世界固定表示モードにおける推定品質レベルをヘッド・マウント型表示デバイスのユーザに伝達する方法のフローチャートである。 図１１は、簡略化したコンピューティング・デバイスの概要図である。

[0016] 図１は、拡張現実システム１０の一実施形態の概要図を示す。拡張現実システム１０は、コンピューティング・デバイス２２の大容量ストレージ１８に格納される追跡システム１４を含む。追跡システム１４は、メモリ２６にロードすることができ、また、以下に更に詳細に説明する１つ以上の方法およびプロセスを実行するために、コンピューティング・デバイス２２のプロセッサ２８によって実行することができる。

[0017] 拡張現実システム１０は、実世界環境に表示する１つ以上の仮想オブジェクトを生成することができる表示プログラム３０を含む。実世界環境は、１つ以上の実世界オブジェクト３４を含む。表示デバイス（例えば、ヘッド・マウント型ディスプレイ（ＨＭＤ）デバイス３６）は、仮想オブジェクト３２を実世界環境の上に重畳して表示して、拡張現実環境４０を生成することができる。以下に更に詳細に説明するように、表示プログラム３０は、２つの異なる表示モードを利用して、仮想オブジェクト３２を表示することができる。

[0018] 具体的には、世界固定(world-lock)表示モード４４では、１つ以上の仮想オブジェクト３２が、世界固定位置を用いてＨＭＤ装置３６を介して表示される。世界固定位置では、仮想オブジェクト３２は、ＨＭＤデバイス３６を通じてビュー可能な実世界オブジェクト３４に対して固定されているように見える。そして、各仮想オブジェクトが有する世界固定位置は、ＨＭＤデバイス３６の装着者に対して移動可能なように見える。図８において追跡システム１４を参照すると、世界固定表示モード４４は、６自由度（６ＤＯＦ）の追跡フィルタ８１６に関連付けられる。追跡フィルタ８１６は、６自由度（例えば、ｘ、ｙ、ｚ、ピッチ、ロール、ヨー）でＨＭＤデバイス３６の位置および向きを推定する。

[0019] 例えば、６自由度での推定は、ＨＭＤデバイス３６が有する光学センサと、ＨＭＤデバイスが有する、単に光情報だけに依拠しない他のポーズ・センサとの組み合わせから、センサ・データ４６を使用して決定する。このような他のポーズ・センサは、これに限定されないが、加速度計、ジャイロスコープ、磁力計、および他のセンサを含む。他のセンサは、以前に決定された１つ以上の位置／向きと、指定された時間期間にわたり既知の或いは推定された変位と、を使用することによって現在の位置／向きを推測して導出するのに使用される。

[0020] 光学センサは、ＨＭＤデバイス３６が位置する実世界環境が有する光学特徴の画像情報を提供する。前述したように、照度の条件、光学的特徴、およびユーザが操作している実世界環境の他の視覚的態様への依存に因っては、光学センサからのセンサ・データ４６の精度が変化することがあり、信頼できない場合もある。しかしながら、正確なセンサ・データを提供するのに条件が好適なときは、世界固定表示モード４４によって提供される拡張現実体験はリッチ且つ説得力に富むものとなる。

[0021] 世界固定表示モード４４において、また世界固定表示モードをサポートしないアプリケーションについて、世界固定位置を有する仮想オブジェクト３２を一貫して表示するには条件が好適でない場合には、ＨＭＤデバイス３６は、本体固定(body-lock)表示モード４８で動作することになる。本体固定表示モード４８では、１つ以上の仮想オブジェクト３２は、本体固定位置を用いてＨＭＤデバイス３６を介して表示する。本体固定位置では、仮想オブジェクト３２は、ＨＭＤデバイス３６の装着者に対し固定されているように見え、また、各仮想オブジェクトの本体固定位置は、実世界オブジェクト３４に対して移動可能なように見える。

[0022] 本体固定表示モード４８は、３自由度（３ＤＯＦ）の追跡フィルタ８２０に関連付けることができる。追跡フィルタ８２０は、６ＤＯＦの追跡フィルタ８１６と並行して動作することができる。３ＤＯＦの追跡フィルタ８２０は、３自由度（例えば、ピッチ、ロール、ヨー）でＨＭＤデバイス３６の方向を推定する。例えば、３自由度での推定は、光学データに依拠することのない、ポーズ・センサからの情報を使用して決定する。したがって、３ＤＯＦ追跡フィルタ８２０は、６ＤＯＦ追跡フィルタ８１６が劣化した拡張現実体験を提供することになる条件の間に一貫して動作する。

[0023] 再度図１を参照する。コンピューティング・デバイス２２は、有線接続を使用してＨＭＤデバイス３６と動作可能に接続することができ、または、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、または他の如何なる好適な無線通信プロトコルを介した無線接続を採用することができる。加えて、図１に示される例では、コンピューティング・デバイス２２を、ＨＭＤデバイス３６とは別個のコンポーネントとして示している。他の例では、コンピューティング・デバイス２２は、ＨＭＤデバイス３６内に統合されることが認められる。

[0024] 幾らかの例では、コンピューティング・デバイス２２は、デスクトップ・コンピューティング・デバイス、モバイル・コンピューティング・デバイス（例えばスマートフォン）、ラップトップ、ノートブック若しくはタブレット・コンピュータ、ネットワーク・コンピュータ、家庭用娯楽機器コンピュータ、双方向テレビ、セット・トップ・ボックス、ゲーミング・システム、または他の適切なタイプのコンピューティング・デバイスの形態を採ることができるものもある。コンピューティング・デバイス２２のコンポーネントおよびコンピューティング態様に関する付加的な詳細については、図１１を参照して以下に詳細に説明する。

[0025] 以下に更に詳細に説明するように、追跡システム１４は、世界固定表示モード４４における推定品質レベルのフィードバック４２を、ＨＭＤデバイス３６を装着するユーザ５０に伝達するように構成することができる。有利なことに、このようにして、現在の環境条件および品質についての効果、並びに／または世界固定表示モードのユーザ体験の利用可能性について、リアル・タイムにユーザに知らせることができる。

[0026] これより、図２から図７を参照する。拡張現実システム１０および追跡システム１４の例示のユース・ケースについて、これより説明する。図２および図３に示される例では、実世界環境の条件が品質レベル閾値を上回るので、世界固定表示モード４４を利用する。品質レベル閾値は、世界固定表示モード４４の受け入れ可能なユーザ体験を提供するためのセンサ・データの最小量および／または品質に相当する。利用可能なセンサ・データの量または品質は、１つの環境から他のものまでかなり変化できることが認められる。したがって、好適な品質レベル閾値はまた、変化することにもなり、そして、当業者によって容易に決定されることになる。

[0027] 図２では、第１ビデオ・スレート２０８が、ＨＭＤデバイス３６を有するユーザ５０の位置および方向に対して、部屋２０６の左側の壁２１０に掛かっているように見える。第２ビデオ・スレート２１２が、ＨＭＤデバイス３６を有するユーザ５０の位置および方向に対して、部屋２０６の正面の壁２１４に掛かっているように見える。第３ビデオ・スレート２１６が、ＨＭＤデバイス３６を有するユーザ５０の位置および方向に対して、右側の２１８に掛かっているように見える。

[0028] 図３では、ＨＭＤデバイス３６を有するユーザ５０は、右へ移動し、左に回転している。その結果、彼／彼女は壁２１０と対面しており、従ってＨＤＭデバイスの位置および方向が変化する。加えて、数人が部屋に入っており、様々な備品が第２ビデオ・スレートの下にあるテーブル２２２上に置かれている。ＨＭＤデバイス３６は世界固定表示モード４４で動作しており、複数のビデオ・スレートは世界固定位置を対応して有するので、第１ビデオ・スレート２０８は他の実世界オブジェクトに対して、またＨＭＤデバイス３６を通じてビューされる第２ビデオ・スレート２１２に対して、壁２１０に固定されているように見える。同様に、第２ビデオ・スレート２１２は、他の実世界オブジェクトに対して、また、ＨＭＤデバイス３６を通じてビューされる第１ビデオ・スレートに対して、壁２１４に固定されているように見える。これに対応して、第１ビデオ・スレートおよび第２ビデオ・スレートのそれぞれの世界固定位置は、ユーザが移動すると共にユーザ５０に対して移動するように見える。

[0029] ＨＭＤデバイス３６が、世界固定位置を有する好適な任意の数のビデオ・スレートまたは他の仮想オブジェクト３２を表示することが認められる。ビデオ・スレートは、好適な如何なるビデオまたは他の画像を提示する。例えば、ビデオ・スレートは、１またはそれ以上のＷｅｂページ、電子メール・アプリケーション、天気予報、テレビ、ニュース、写真等を提示してもよい。

[0030] また、ビデオ・スレートが部屋の中の好適な如何なる世界固定位置に位置されことも理解される。実施形態の中には、ビデオ・スレートは、位置に特有のものとされる所定の視覚的レイアウトに従って表示されてもよい。例えば、追跡システム１４からの光学センサ・データを使用して、実世界環境が特定の位置（例えば、ユーザのオフィス）にあることを認識することができる。それ故、ビデオ・スレートは、位置に特有の視覚的レイアウトに従って、オフィス内の特定の位置に配置される。一方で、実世界環境が認識されない場合は、ビデオ・スレートは、デフォルトの視覚的レイアウトに従って配置されることになる。他の実施形態では、視覚的レイアウトは独立した位置であってもよく、また、ビデオ・スレートは世界固定表示モード４４で動作している間、同一の世界固定位置に表示されてもよい。

[0031] 再度図１を参照する。以下に更に詳細に説明するように、追跡システム１４は、部屋２０６から受信されるセンサ・データ４６を利用して、ＨＭＤデバイス３６の推定ポーズ５４を決定することができる。推定ポーズを使用して、次いで、それら世界固定位置にビデオ・スレートを表示する。追跡システム１４は、センサ・データ４６を分析して、センサ・データに関連付けられる１つ以上の入力不確定度値(input uncertainty value)を決定することができる。前述したように、様々な環境要因が、センサ・データと関連付けられる不確定度に影響を与える。このような要因は、これに限定されないが、実世界オブジェクトの照度、シーン深度、シーン・モーション、および特徴密度（例えば、シーン混乱）の照度を含む。同様に、追跡システム１４は、推定ポーズ５４を分析して、推定ポーズの１つ以上のポーズ不確定度値を決定することができる。

[0032] 追跡システム１４は、次いで、入力不確定度値およびポーズ不確定度値の内１つ以上を、世界固定表示モード４４において複数の推定品質レベルの内１つにマップする。有利なことに、追跡システム１４は、次いで、推定品質レベルのフィードバック４２を、ＨＭＤデバイス３６を介してユーザ５０に伝達することができる。

[0033] 幾らかの例では、フィードバック４２は、ＨＭＤデバイス３６を介して推定品質レベルの１つ以上のグラフ図を表示するのを含む。これより図２を参照する。一例では、推定品質レベルのフィードバック４２は、ＨＭＤデバイス３６の視野２００内に表示される円２３０を含む。円２３０は、世界固定表示モード４４の異なる推定品質レベルに対応した各色と共に、複数の異なる色の内１つで表示される。例えば、５色および対応する推定品質レベルは、例えば（１）赤／利用不可能(Unavailable)、（２）紫／悪(Poor)、（３）黄／並(Fair)、（４）青／良(Good)、および（５）緑／優(Excellent)）のように利用される。好適な任意の数の品質レベルおよび対応の色、並びに他の如何なるタイプおよび形態のグラフ図が利用され、本開示の範囲内にあることが認められる。

[0034] 図２の例では、部屋２６内の実世界オブジェクトは、ＨＭＤデバイスによって収集される画像データにおける少量の特徴密度（即ち、シーン混乱）を供給する。追跡システム１４は、この環境におけるこのような少量の特徴密度が、恐らくは１つ以上の他の環境態様と共に、世界固定表示モードの体験において並(Fair)の推定品質レベルを与えることになることを決定する。したがって、ユーザ５０にアラートするために、追跡システム１４は、ＨＭＤデバイス３６を介して黄色（Ｙ）の円２３０を表示する。

[0035] 図３の例では、部屋２０６内にいる追加の人々および他の実世界のオブジェクトは、ＨＭＤデバイス３６によって収集される画像データにおいて特徴密度を強化されて提供する。追跡システム１４は、このようなより大きな特徴密度が優(Excellent)の推定品質レベルを与えることになることを決定する。したがって、ユーザ５０にアラートするために、追跡システム１４は、世界固定表示モードの体験において優(Excellent)の推定品質レベルに対応する緑（Ｇ）の円２３０を、ＨＭＤデバイス３６を介して表示する。

[0036] 図４および図５の例では、ＨＭＤデバイス３６を有するユーザは、図２および図３の部屋２０６の出入口を通じて廊下４００に移動している。この例では、廊下４００の照度条件およびその特徴は、非常に劣悪なものでよい。従って、ＨＭＤデバイス３６によって収集される画像データは、例えば、廊下４００の劣悪なテクスチャおよびその特徴を与える低い解像度によって特徴づけられる。追跡システム１４では、このような劣悪な照度条件が、おそらく１つ以上の他の環境要因と共に、世界固定表示モード４４の利用不可能(Unavailable)な推定品質レベルを与えることになることを決定する。例えば、ＨＭＤデバイス３６は、世界固定表示モードでは動作することができない。

[0037] したがって、ユーザ５０にアラートするために、追跡システム１４は、見込まれる５つの棒の内１つを表示することにより利用不可能(Unavailable)な品質レベルを伝える棒グラフ指標４０４を、ＨＭＤデバイス３６を介して表示する。幾らかの例では、追跡システム１４は、推定品質レベルが予め定められた品質レベル閾値未満であるときに、世界固定表示モード４４を無効化するように構成するものもある。

[0038] 世界固定表示モード４４が利用可能ではない場合、ＨＭＤデバイス３６は、本体固定表示モード４８で動作することになる。本体固定表示モード４８では、複数のビデオ・スレートは、本体固定位置を有する視界２００に表示される。例えば、複数のビデオ・スレートは、球面ワークスペースのレイアウトにおいて外観を呈する。ここでは、ＨＭＤデバイス３６を有するユーザ５０が彼／彼女の周囲の複数のビデオ・スレートと共に球体の中央に立っている。実施形態の中には、複数のビデオ・スレートは、所定の視覚的レイアウトに従って配置されるものもある。１つの特定の例では、ニュース・アプリケーションを左側の第１ビデオ・スレートに表示することができ、電子メール・アプリケーションを中央にある第２ビデオ・スレートに表示することができ、そして、株式相場表示アプリケーションを右側の第３ビデオ・スレートに表示することができる。

[0039] 図４では、ＨＭＤデバイス３６を有するユーザ５０は、廊下４００の、部屋２０６から出入口の隣に立っている。複数のビデオ・スレートが、ユーザに対して固定されているように見え、且つ実世界オブジェクト（例えば、出入口）に対して移動可能なように見える本体固定位置で、視界２００内に表示される。

[0040] 図５では、ＨＭＤデバイス３６を有するユーザ５０は、廊下４００の端まで歩き、他の出入口の正面に立っている。複数のビデオ・スレートが本体固定位置で、ＨＭＤデバイス３６を介して表示されるので、彼／彼女が廊下を歩くにつれて複数のビデオ・スレートがユーザに対して固定されたままとなる。換言すれば、スレートは、ユーザ５０と共に移動する。

[0041] 図５はまた、世界固定表示モード４４における推定品質レベルのフィードバック４２をユーザ５０に伝達する他の例を示し、ここでは、視界２００の外観が変更される。図５では、追跡システム１４は、視界２００を（複数のＲで示される）赤色でハイライトして、世界固定表示モード４４が利用不可能(Unavailable)であることを伝達する。推定品質レベルが変化すると、視界２００のハイライトは、前述した他の４つの色の内対応する１つに変化することになる。視界２００の外観を変化させる好適な他の如何なる形態および／または手法が利用され、例えば、推定品質レベルに対応する透過した透かし(transparent watermark)を表示することがまた認められる。

[0042] 図６および図７は例示のシナリオを示し、ここでは、複数の仮想オブジェクトが世界固定表示モード４４の３Ｄビューで示され、また、本体固定表示モード４８の２Ｄビューに視覚的に遷移される。図６では、ＨＭＤデバイス３６は世界固定表示モード４４で動作しており、良い魔法使い６００、火の玉６０４、および悪の魔法使い６０６という空間ホログラム(volumetric hologram)（例えば、３Ｄメッシュ）の形態で、複数の仮想オブジェクトが３ＤビューでＨＭＤデバイス３６を通じて表示される。空間ホログラムは、実世界環境（例えば、部屋）６１０での世界固定位置を有し、また、実世界環境内で容積を占めるような外観を呈する。

[0043] 図６はまた、推定品質レベルのグラフ図を１／４円の複数の指標６１４の形態で表示する例を示す。この例では、良(Good)の推定品質レベルに対応する、５つの内４つの指標を示している。一例では、１／４円の複数の指標６１４は、仮想オブジェクトと共に世界固定表示モード４４で表示される。他の例では、１／４円の複数の指標６１４は、本体固定表示モード４８で表示される。その結果、当該指標は、ユーザに対して固定されているように見え、また実世界環境でのユーザの移動および方向に拘わらずユーザのビューが維持される。

[0044] 図７では、ＨＭＤデバイス３６を有するユーザ５０は、部屋６１０の出入口を通じて、狭い廊下７０２内を歩いている。狭い廊下７０２は、非常に制限されたシーン深度を供給し、その中でＨＭＤデバイス３６のセンサがセンサ・データ４６をキャプチャすることになる。狭い廊下７０２のシーン深度が最小のシーン深度閾値未満である場所では、センサ・データおよび対応する推定ポーズ５４の結果として生じる不確定度は、世界固定表示モード４４について受け入れることができない推定品質レベルを与えることがある。

[0045] したがって、ユーザ５０が廊下７０２に入るときに、追跡システム１４は、世界固定表示モード４４から本体固定表示モード４８へと切り替える。これに応答して、空間メッシュ(volumetric mesh)は、３Ｄビューから２Ｄビューに視覚的に遷移することになる。一例では、空間メッシュは、ビデオ・スレート７０６について２Ｄビューに圧壊する(collapse)。ビデオ・スレート７０６は、仮想オブジェクトが位置する(inhabit)仮想世界のスクリーン・ビューポートとしてもよい。ビデオ・スレート７０６は本体固定位置を有し、また、仮想オブジェクトはビデオ・スレートに表される仮想世界内を移動してもよい。

[0046] 他の例では、ＨＭＤデバイス３６が有する１つ以上のセンサは、ユーザの髪、ユーザの手若しくは腕、および／またはユーザが着用した帽子によって、少なくとも部分的に覆い隠されることがある。この例では、１つ以上のセンサからのセンサ・データ４６を分析して、ユーザの髪、ユーザの手または腕、および／またはユーザが着用した帽子についての視覚的指標を検出することができる。このような分析に基づくことで、入力不確定度値が決定される。例えば、イメージ・センサにおける視界の５０％以上が覆い隠される帽子のつばを画像データが示す(reveal)ところでは、追跡システム１４は、当該条件が世界固定表示モード４４について利用不可能(Unavailable)な推定品質レベルを与えることを決定する。

[0047] 他の例では、世界固定表示モード４４における推定品質レベルのフィードバック４２は、１つ以上の仮想オブジェクト３２の外観を変化させることを含んでもよい。再度図６を参照する。推定品質レベルが第１レベルから下位の第２レベルに落ちる一例では、悪い悪魔６０６の空間ホログラムは、下位の推定品質レベルを示すために透過化を行う。他の例では、空間ホログラムまたは２Ｄ画像の１つ以上は、対応する推定品質レベルを示す特定の色で表示してもよい。他の例では、ホログラムまたは画像の１つ以上は、震える(quiver)、或いは視覚的に振動する(vibrate)外観を呈するように表示されて、対応する推定品質レベルを示すことができる。前述した例が排他的でないことが認められる。また、１つ以上の仮想オブジェクト３２の外観を変化させる他の多くの例が利用されることが認められる。

[0048] 他の例について、図１を再度参照する。追跡システム１４は、他のアプリケーション、例えば世界固定表示モード４４および本体固定表示モード４８を利用する拡張現実アプリケーション６４に推定品質レベルを供給する。アプリケーションは、次いで、ＨＭＤデバイス３６を介してユーザ５０に推定品質レベルのフィードバック４２を伝える。例えば、拡張現実アプリケーション６４は、アプリケーション・プログラミング・インタフェース（ＡＰＩ）を介して追跡システム１４に関与し、世界固定表示モード４４の利用可能性および／または推定品質に関して追跡システム１４に問い合わせる。問い合わせへの応答に基づくことで、拡張現実アプリケーション６４は、ユーザ５０にデリバリする推定品質レベルのフィードバック４２についての種別および／または手法を決定する。例えば、拡張現実アプリケーション６４は、「世界固定モードは、現在利用できません」と有声化するように、ＨＭＤデバイス３６を介して音声フィードバックをユーザ５０に供給する。

[0049] 他の例では、世界固定表示モードを求めるユーザ入力６８をユーザ５０から受信するまでは、追跡システム１４または他のアプリケーションは、世界固定表示モード４４における推定品質レベルのフィードバック４２を伝達するのを抑制してもよい。一例では、追跡システム１４は、デフォルトの本体固定表示モード４８で動作することができ、当該モードにある間は、世界固定モード４４の推定品質レベルのフィードバック４２を提供しない。ユーザ５０は、次いで、世界固定表示モード４４を求める手法で、要求を行う、アクションをする、または、拡張現実アプリケ−ション６４との他の相互対話を行う。例えば、図６および図７を参照して、ユーザ５０は世界固定表示モード４４が利用可能ではない狭い廊下７０２から歩き、世界固定表示モード４４が利用可能な部屋６１０に戻るのがよい。したがって、拡張現実アプリケーション６４および追跡システム１４は、次いで、良(Good)の推定品質レベルを示す１／４円の指標を表示する。

[0050] ユーザ入力６８の多くの他の形態を使用して、推定品質レベルのフィードバック４２の表示をトリガできることが認められる。幾らかの例では、廊下７０２から部屋６１０に向かって歩くユーザ５０の前述の例のように、このようなユーザ入力６８は受動的であってもよい。他の例では、ユーザ入力６８は、世界固定表示モード４４を利用する拡張現実アプリケーション６４を起動させる指示を言葉で話すユーザ５０のように、明示的なものであってもよい。

[0051] これより図８に戻る。本開示の実施形態によるＨＭＤデバイス３６の例示の追跡システム１４の概要図が提供される。前述したように、追跡システム１４は、ＨＭＤデバイス３６の推定ポーズ５４を、世界固定表示モード４４における推定品質レベル８０４と共に決定するように構成される。更に詳細には、追跡システム１４は、ＨＭＤデバイス３６からのセンサ・データ４６を利用して、ＨＭＤデバイスの実際のポーズについてフィルタされた実行(running)推定を供給することができる。これらの推定ポーズ５４を使用して、世界固定位置に仮想オブジェクト３２を表示することができる。推定品質レベル８０４のフィードバック４２は、ＨＭＤデバイス８６を有するユーザ５０に伝達される。

[0052] 追跡システム１４は、ＨＭＤデバイス３６および／またはコンピューティング・デバイス２２に配置される複数のセンサ８０８からセンサ・データ４６を受信する。センサ・データ４６は、６自由度（例えば、ｘ、ｙ、ｚ、ピッチ、ロール、ヨー）の位置および方向情報を供給する。例えば、複数のセンサ８０８は、前述した光学センサおよびポーズ・センサを含む。図９を参照して以下に更に詳細に説明するように、センサ８０８は、好適な如何なる数または組み合わせの複数のセンサを含む。複数のセンサは、ＨＭＤデバイス３６の位置、方向、および／または他の移動特性を最大６自由度で決定する。

[0053] センサ・データ４６は、並行に動作できる２つの別個の追跡フィルタを含む追跡およびマッピング・モジュール８１２に提供される。６ＤＯＦ追跡フィルタ８１６は、推定ポーズ５４を出力するように構成される。推定ポーズ５４は、センサ・データ４６に基づく６自由度のＨＭＤデバイスの位置および方向を含む。６ＤＯＦ追跡フィルタ８１６の推定ポーズ５４は、高い正確性および精度を有する回転および並進のポーズ・データを表す。ポーズ・データは通常、可視光または他の光の情報に依拠する。特に、ＨＭＤデバイス３６の並進のポーズ／位置は、実世界環境における光学フィードバックに基づいて当該環境の他の実世界オブジェクト３４に対して推定する。

[0054] 更に、６ＤＯＦ追跡フィルタ８１６は、実世界環境を仮想モデルにマップして、他の実世界オブジェクト３４に対するＨＭＤデバイス３６の位置を決定することができる。更に、実施形態の中には、光情報をポーズ・センサからの情報と組み合わせて、ＨＭＤデバイス３６の回転ポーズ／方向を推定することができるものもある。前述したように、可視光への依拠に因り、６ＤＯＦ追跡フィルタ８１６は、ＨＭＤデバイス３６が位置する物理環境の環境条件に強く依存する。

[0055] ３ＤＯＦ追跡フィルタ８２０は、ポーズ・センサのセンサ・データ４６に基づいて、３自由度でＨＭＤ装置３６の方向に対応する推定ポーズ５４を出力するように構成される。実施形態の中には、３ＤＯＦ追跡フィルタ８２０の推定ポーズ５４は、可視光または他の光情報に依拠しない各種センサからのセンサ情報に基づくものもある。

[0056] ６自由度および／または３自由度におけるＨＭＤデバイス３６の推定ポーズ５４は、ポーズ・フィルタ８２４に供給される。ポーズ・フィルタ８２４は、推定ポーズ５４を分析し、および／または調整するように構成される。例えば、センサ８０８からの画像データは、１つ以上の特性（シーンにおける低いテクスチャ、即ち画像ぼけ）を有し、画像の特徴における推定位置の不正確性を発生させる。ポーズ・フィルタ８２４は、このようなデータおよび他のセンサ・データ４６を分析して、このようなデータにおける１つ以上の入力不確定度値８３０を決定することができる。

[0057] 前述したように、実世界環境における様々な要因および条件は、センサ・データと関連付けられる不確定度に影響する。このような要因は、これに限定されないが、実世界オブジェクト、シーン深度の照度、シーン・モーション、および特徴密度を含む。例えば、多数の実世界オブジェクトおよび／または移動中の人々を含むシーンは、シーンの画像データと関連した不確定度を高めることになり、従って、信頼性が高い６ＤＯＦの追跡をより困難なものにすることがある。

[0058] 一例では、加速度計からの加速度データを分析して、並進コンポーネントの入力不確定度値８３０を決定することができる。加えて、ジャイロスコープからの回転データを分析して、回転コンポーネントの入力不確定度値８３０を決定することができる。ポーズ・フィルタ８２４は、位置的(geometric)平均、ハーモニック手段、またはこのような入力不確定度値８３０を決定する如何なる他の好適な方法をも利用する。幾らかの例では、各入力、即ち範囲(dimension)についての不確定度は、当該範囲の共分散として表現されるものもある。更に、ポーズ・フィルタ８２４は、任意の好適な数の範囲で不確定度を分析する。

[0059] 入力不確定度値８３０は、世界固定表示モードの体験における品質推定レベル８０４にマップされる。例えば、６自由度でのポーズ推定の不確定度は、３つの回転コンポーネントおよび３つの並進コンポーネントを備える６×６の共分散マトリックスによって表現されてもよい。マトリックスの対角線は、３つの回転角度の各々および３つの並進方向の各々を表す個々の軸のそれぞれの不確定度を表す。

[0060] 様々な共分散を圧壊して、単一の共分散を与えることができる。当該単一の共分散は、品質レベル閾値８３８と比較され、また、複数の品質レベル８４２と比較されて、推定品質レベル８０４を与えることができる。このような推定品質レベル８０４は、６×６ＤＯＦの世界固定表示モードの体験における推定品質を表す。追跡システム１４は、次いで、推定品質レベル８０４を、前述したように、ユーザ５０へのフィードバック４２の形態で出力する。

[0061] 図８に示すように、幾らかの例では、追跡システム１４によって出力される推定ポーズ５４は、ポーズ・フィルタ８２４へとループバックされる。このような手法で、ポーズ・フィルタ８２４は推定ポーズ５４を分析して、ポーズ（１または複数）の１つ以上のポーズ不確定度値８５０を決定することができる。入力確定度値８３０を決定するのと同様に、共分散マトリックスが推定ポーズ５４について生成され、所与の推定ポーズ５４についてポーズ不確定度値８５０を決定することができる。

[0062] 幾らかの例では、入力不確定度値８３０およびポーズ不確定度値８５０が計算され、推定品質レベル８０４にマップされるものもある。他の例では、入力不確定度値８３０が計算され、推定品質レベル８０４にマップされる一方で、ポーズ不確定度値８５０は決定されず、即ち利用されないものもある。これらの例は、例えば、３ＤＯＦ追跡フィルタ８２０が動作し、６ＤＯＦ追跡フィルタ８１６が動作しないときに利用される。他の例では、ポーズ不確定度値８５０が計算され、推定品質レベル８０４にマップされる一方で、入力不確定度値８３０は決定されず、即ち利用されないものもある。

[0063] 入力不確定度値８３０、ポーズ不確定度値８５０、推定ポーズ５４、および推定品質レベル８０４は、本開示の範囲を逸脱することなく、好適な如何なる手法で決定されることが理解される。例えば、追跡およびマッピング・モジュール８１２は、tick-by-tickのセンサ・データ入力を追跡システム１４で監視して、推定ポーズ５４および推定品質レベル８３４をより長い時間期間にわたり評価および調整することができる。

[0064] 実施形態の中には、追跡システムは、ハードウェアで実装（例えば、様々な論理ブロックまたはパイプ・ステージを含む処理パイプライン）されるものもある。実施形態の中には、処理システムは、プロセッサによって実行されるソフトウェア命令として実装されるものもある。実施形態の中には、追跡システムは、ハードウェアおよびソフトウェアの組み合わせとして実装されるものもある。

[0065] これより図９を参照して、透過型ディスプレイ５４を有する一組のウェアラブル・グラスの形態のＨＭＤデバイス９００を示す。他の例では、ＨＭＤデバイス９００は、透過型、半透過型または非透過型のディスプレイがビューアの片目または両目の前で支持される他の好適な形態としてもよいことが認められる。図１から図７に示されるＨＭＤデバイスは、以下により詳細に説明するＨＭＤデバイス９００の形態、または他の如何なる好適なＨＭＤデバイスの形態としてもよいことが認められる。

[0066] ＨＭＤデバイス９００は表示システム９０２、およびシースルー、即ち透過型のディスプレイ９０４を含み、ホログラフィック・オブジェクトのような画像がＨＭＤデバイスの装着者の両目に届けられることになるのを可能にする。透過型ディスプレイ９０４は、当該透過型ディスプレイを通じて物理環境をビューしている装着者に対し、実世界の物理環境の外観を視覚的に拡張させるように構成される。例えば、透過型ディスプレイを通じて提示されるグラフィック・コンテンツ（例えば、色および明るさをそれぞれ有する１つ以上の各画素）によって、物理環境の外観を拡張し、拡張現実環境を生成する。

[0067] 透過型ディスプレイ９０４はまた、装着者が、物理的な実世界環境４８において、物理的な現実世界の物理オブジェクトを１つ以上の部分的な透過画素を通じてビューするのを可能にするようにも構成される。１つ以上の部分的な透過画素は、仮想オブジェクト表現を表示している。図９に示されるように、一例では、透過型ディスプレイ９０４は、レンズ９０６（例えば、シースルーの有機発光ダイオード（ＯＬＥＤ; Organic Light-Emitting Diode）ディスプレイ）内に位置する画像生成エレメントを含む。他の例として、透過型ディスプレイ９０４は、レンズ９０６の端部に光変調器を含む。当該例では、レンズ９０６は、光変調器から装着者の両目に光を届けるための光ガイドとして供する。当該光ガイドは、装着者がビューしている物理環境内に位置する３Ｄホログラフィー画像を装着者が知覚するのを可能にするのと共に、物理環境にある物理オブジェクトを装着者がビューするのを可能にする。このようにして、拡張現実環境４４を生成する。

[0068] ＨＭＤデバイス９００はまた、様々なセンサおよび関連のシステムも含む。例えば、ＨＭＤデバイス９００は視線追跡(gaze tracking)システム９０８を含む。視線追跡システム９０８は、装着者の目から追跡データの形態で画像データを取得するように構成される画像センサを含む。装着者が当該情報を取得および使用することに同意した場合は、視線追跡システム９０８は、当該情報を使用して、装着者の目の位置および／または動きを追跡することができる。

[0069] 一例では、視線追跡システム９０８は、装着者の各目における凝視の方向を検出するように構成される視線検出サブシステムを含む。凝視検出サブシステムは、如何なる好適な手法でも装着者の両目の各々における視線方向を決定するように構成される。例えば、視線検出サブシステムは、１つ以上の光ソース（例えば赤外線の光ソース）を備え、光の輝きにより、ユーザの各目の角膜から反射させるように構成される。１つ以上の画像センサは、次いで、装着者の両目の画像をキャプチャするように構成される。

[0070] 輝きの画像および瞳の画像は、画像センサから収集される画像データから決定され、各目の光軸を決定するのに使用することができる。当該情報を使用して、視線追跡システム９０８は次いで、装着者が凝視する方向を決定することができる。視線追跡システム９０８は、これに追加してまたは代替として、どの物理的または仮想的オブジェクトを装着者が凝視しているかを決定することができる。当該視線追跡データは次いで、ＨＭＤデバイス９００に供給される。

[0071] なお、視線追跡システム９０８は光源および画像センサについて如何なる好適な数および配置を有することが理解される。例えば、図９を参照して、ＨＭＤデバイス９００の視線追跡システム９０８は少なくとも１つの内向き正面センサ９１０を利用することができる。

[0072] ＨＭＤデバイス９００はまた、物理環境４８から物理環境データを受信するセンサ・システムを含む。例えば、ＨＭＤデバイス９００は、また、頭部追跡システム９１２を含む。頭部追跡システム９１２は、１つ以上のポーズ・センサ（例えば、ＨＭＤデバイス９００のポーズ・センサ９１４）を利用して、頭部ポーズ・データをキャプチャし、これにより、位置追跡、方向／位置および方向感知、並びに／または装着者の頭部の動き検出を可能にする。したがって、前述したように、図８の追跡システム１４は、ポーズ・センサ９１４からセンサ・データを受信する。ポーズ・センサ９１４は、ＨＭＤデバイスの方向が３自由度で推定されるのを可能にし、またはＨＭＤデバイスの位置および方向が６自由度で推定されるのを可能にする。

[0073] 一例では、頭部追跡システム９１２は、３軸、即ち３自由度の位置センサ・システムとして構成される慣性測定ユニット（ＩＭＵ）を備える。当該例示の位置センサ・システムは、例えば、３つのジャイロスコープを含むことができ、３本の直交軸の周りの３Ｄ空間内のＨＭＤデバイス９００の方向（例えば、ｘ、ｙ、ｚ、またはロール、ピッチ、ヨー）の変化を示す、即ち測定することができる。ＩＭＵのセンサ信号から導出される方向は、透過型ディスプレイ９０４を介して、本体固定位置を有する１つ以上の仮想オブジェクトを表示するのに使用される。ここでは、各仮想オブジェクトの位置は、シー・スルー・ディスプレイを有する装着者に対して固定されているように見える。また、各仮想オブジェクトの位置は、物理環境の実世界オブジェクトに対して移動可能なように見える。

[0074] 他の例では、頭部追跡システム９１２は、６軸、即ち６自由度の位置センサ・システムとして構成されるＩＭＵを備える。当該例示の位置センサ・システムは、３つの加速度計と３つのＧスコープを含み、３本の直交軸に沿うＨＭＤデバイス９００の位置の変化、および３本の直交軸のまわりのデバイス方向の変化を示す、即ち測定する。

[0075] 頭部追跡システム９１２はまた、他の好適な位置決め技術（例えばＧＰＳ、または他のグローバル・ナビゲーション・システム）をサポートする。更に、特定の例の位置センサ・システムについて説明してきたが、他の好適な如何なる位置センサ・システムを用いてもよいことも認められる。例えば、装着者に搭載されるセンサ、および／またはこれに限定されないが、如何なる数のジャイロスコープ、加速度計、慣性測定ユニット、ＧＰＳデバイス、気圧計、磁力計、カメラ（可視光カメラ、赤外線カメラ、飛行時間(time-of-flight)深度カメラ、構造化した光深度カメラ等）、通信デバイス等を含む装着者の外部のセンサの如何なる組み合わせからのセンサ情報に基づいて頭部のポーズおよび／または移動のデータを決定する。

[0076] 幾らかの例では、ＨＭＤデバイス９００は、該ＨＭＤデバイス９００の光センサ９１６のような、１つ以上の外向き正面センサを利用する光センサ・システムを含んで、画像データをキャプチャするものもある。外向き正面センサ（１または複数）は、ジャスチャ・ベースの入力、または装着者、即ち人により遂行される他の動きのような、その視野内の動き、または視野内の物理オブジェクトを検出する。外向きの正面センサ（１または複数）はまた、物理環境および該環境内の物理オブジェクトからの２Ｄ画像情報および深度情報をキャプチャする。例えば、外向きの正面センサ（１または複数）は、深度カメラ、可視光カメラ、赤外線カメラ、および／または位置追跡カメラを含む。

[0077] 光センサ・システムは、深度追跡システムを含む。深度追跡システムは、１つ以上の深度カメラを介して深度追跡データを生成する。一例では、各深度カメラは、立体的視覚システムの左右のカメラを含む。これら深度カメラの１つ以上からの時間分解画像は、相互に登録し、および／または可視スペクトル・カメラのような他の光センサからの画像に登録する。また、深度分解映像を与えるように結合する。

[0078] 他の例では、構造化した光深度カメラは、構造化した赤外線照明を投射するように、また、照明が投射されるシーンから反射される照度を画像化するように構成する。シーンの深度マップを、様々な領域の画像化した風景における隣接特徴間の間隔に基づいて構成する。更に他の例では、深度カメラは、パルス化された赤外線照明をシーンに投射して、シーンから反射される照明を検出するように構成される飛行時間深度カメラの形態を採るものもある。例えば、照度は、赤外線ソース９１８によって供給することができる。他の如何なる好適な深度カメラが本開示の範囲内で使用され得ることが認められる。

[0079] 外向き正面カメラ・センサ（１または複数）は、ＨＭＤデバイスの装着者が置かれた物理環境の画像をキャプチャする。ＨＭＤデバイス９００に関し、一例では、拡張現実表示プログラムは、ＨＭＤデバイスを有する装着者を取り囲んでいる物理環境をモデル化する仮想環境を生成するために、当該キャプチャされた画像を使用する３Ｄモデリング・システムを含む。幾らかの実施形態では、光センサ９１６はＩＭＵと協働して、ＨＭＤデバイス９００の位置および方向を６自由度で決定することができるものもある。このような一および方向の情報を使用して、世界固定位置を有する１つ以上の仮想オブジェクトを、透過型ディスプレイを介して表示することができる。ここでは、各仮想オブジェクトの位置は、透過型ディスプレイを通じてビュー可能な実世界オブジェクトに対して固定されているように見え、また、各仮想オブジェクトの位置はシー・スルー・ディスプレイの装着者に対して移動可能なように見える。

[0080] ＨＭＤデバイス９００はまた、マイクロフォン９２０のような１つ以上のマイクロフォンを含むマイクロフォン・システムも含んでもよく、音響データをキャプチャすることができる。他の例では、音響は、ＨＭＤデバイス９００のスピーカ９２２のような１つ以上のスピーカを介して、装着者に提示する。

[0081] ＨＭＤデバイス９００はまた、コントローラ９２４のようなコントローラを含む。コントローラ９２４は、論理マシンおよびストレージ・マシンを含むことができ、以下に、図１１を参照してより詳述するように、ＨＭＤデバイス９００の様々なセンサおよびシステムと通信する。一例では、ストレージ・マシンは、論理マシンによって実行可能な命令を含み、センサから信号入力を受信し、ＨＤＭデバイス９００のポーズを決定し、そして、透過型ディスプレイ９０４を通じて表示されるコンテンツの表示プロパティを調整することができる。

[0082] 図１０Ａおよび図１０Ｂは、本開示の実施形態による世界固定表示モードにおける推定品質レベルを、ＨＭＤデバイスを有するユーザに伝達するための方法１０００に関するフローチャートを示す。以下の方法１０００の説明は、図１から図９に前述し、および図示した拡張現実システム１０のソフトウェアおよびハードウェアのコンポーネントを参照して提供される。方法１０００はまた、好適な他のハードウェアおよびソフトウェアのコンポーネントを使用して他のコンテキストで実行することもできることが認められる。

[0083] 図１０Ａを参照する。１００４では、本方法１０００は、ヘッド・マウント型ディスプレイ・デバイスが有する１つ以上のセンサからセンサ・データを受信することを含む。１００８では、本方法１０００は、センサ・データを使用して、ヘッド・マウント型ディスプレイ・デバイスの推定ポーズを決定することを含む。１０１２では、本方法１０００は、推定ポーズを使用して、世界固定表示モードまたは本体固定表示モードの何れかでヘッド・マウント型ディスプレイ・デバイスを介して１つ以上の仮想オブジェクトを表示することを含む。１０１６では、本方法１０００は、センサ・データの入力不確定度値および推定ポーズのポーズ不確定度値の１つ以上を決定することを含む。１０２０では、入力不確定度値およびポーズ不確定度値の１つ以上を決定することが、実世界オブジェクトの照度、シーン深度、シーン・モーション、特徴密度、ユーザの髪、ユーザの手、およびユーザが着用した帽子の１つ以上について画像データを分析することを含む。

[0084] １０２４では、本方法１０００は、入力不確定度値およびポーズ不確定度値の１つ以上を、世界固定表示モードにおける前記推定品質レベルにマップすることを含む。１０２４では、本方法１０００は、推定品質レベルのフィードバックを、ヘッド・マウント型ディスプレイ・デバイスを介してユーザに伝達することを含む。１０３２では、本方法１０００は、ヘッド・マウント型ディスプレイ・デバイスを介して推定品質レベルについて１つ以上のグラフ図を表示することを含む。１０３６では、本方法１０００は、ヘッド・マウント型ディスプレイ・デバイスを通じてビュー可能な視界の外観を変更することによって、推定品質レベルのフィードバックを伝達することを含む。１０４０では、本方法１０００は、１つ以上の仮想オブジェクトの外観を変更することによって、推定品質レベルのフィードバックを伝達することを含む。

[0085] １０４４では、本方法１０００は、世界固定表示モードおよび本体固定表示モードを利用するアプリケーションに推定品質レベルを供給することによって、推定品質レベルのフィードバックを伝達することを含む。１０４８では、本方法１０００は、アプリケーションおよびヘッド・マウント型ディスプレイ・デバイスを通じて、推定品質レベルのフィードバックをユーザに伝える。１０５２では、本方法１０００は、世界固定表示モードを求めるユーザ入力を受信するまで、推定品質レベルのフィードバックを伝達するのを抑制することを含む。

[0086] これより図１０Ｂを参照する。１０５６では、本方法１００００は、推定品質レベルが品質レベル閾値未満であるときに、世界固定表示モードを無効化することを含む。１０６０では、本方法１０００は、入力不確定度値を決定し、ポーズ不確定度値を決定しないことを含む。１０６４では、本方法１０００は、入力不確定度値を推定品質レベルにマップすることを含む。１０６８では、本方法１０００は、ポーズ不確定度値を決定し、入力不確定度値を決定しないことを含む。１０２７では、本方法１０００は、ポーズ不確定度値を推定品質レベルにマップすることを含む。

[0087] 前述した方法１０００は、ＨＤＭデバイスによって供給されるフィードバックの１つ以上の形態を介して世界ロック表示モードにおける推定品質レベルをユーザに通告(apprise)するために実行される。当該手法では、ユーザは、よりリッチでより情報に富んだ拡張現実ユーザ・エクスペリエンスを通告される。

[0088] 一例として方法１０００が提供され、これは限定を意味するものではないことが認められよう。従って、本方法１０００が図１０Ａおよび図１０Ｂに示されるものに付加的および／または代替のステップを含むことができることが理解される。更に、方法１０００は如何なる好適な順序で実行されてもよいことが理解される。更にまた、１つ以上のステップが本開示の範囲を逸脱することなく方法１０００から省略されてもよいことが理解される。

[0089] 図１１は、以上で説明した方法およびプロセスの１つ以上を実行することができるコンピューティング・システム１１００の非限定的な実施形態を模式的に示す。コンピューティング・システム１１００は、簡略化した形態で示される。コンピューティング・システム７００は、ＨＭＤデバイスと協働する１つ以上のデバイス（例えば、パーソナル・コンピュータ、サーバ・コンピュータ、タブレット・コンピュータ、家庭娯楽用コンピュータ、ネットワーク・コンピューティング・デバイス、ゲーミング・デバイス、モバイル・コンピューティング・デバイス、モバイル通信デバイス（例えば、スマートフォン）、および／または他のコンピューティング・デバイス等）の形態を採る。

[0090] コンピューティング・システム１１００は、論理マシン１１０２およびストレージ・マシン１１０４を含む。コンピューティング・システム１１００は、任意に、表示サブシステム１１０６、入力サブシステム１１０８、通信サブシステム１１１０、および／または図１１には示されていない他のコンポーネントも含む。コンピューティング・システム１１００はまた、コンピュータ可読媒体を、コンピュータ可読ストレージ媒体およびコンピュータ可読通信媒体を含むコンピュータ可読媒体と共に含む。更に、実施形態の中には、本明細書で説明した方法およびプロセスが、コンピュータ・アプリケーション、コンピュータ・サービス、コンピュータＡＰＩ、コンピュータ・ライブラリ、および／または、１つ以上のコンピュータを含むコンピューティング・システムにおける他のコンピュータ・プログラム製品として実装するものもある。

[0091] 論理サブシステム１１０２は、命令を実行するように構成される１つ以上の物理デバイスを含む。例えば、論理マシンは、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理構造の一部である命令を実行するように構成される。当該命令は、タスクを実行する、データ・タイプを実装する、１つ以上のコンポーネントの状態を移行させる、技術的効果を達成する、またはそれ以外で所望の結果に到達するように実装される。

[0092] 論理マシンは、ソフトウェア命令を実行するように構成される１つ以上のプロセッサを含む。加えてまたは代わりに、論理マシンは、ハードウェアまたはファームウェア命令を実行するように構成される１つ以上のハードウェアまたはファームウェア論理マシンも含む。論理サブシステムのプロセッサは、単一コアまたはマルチコアであってもよく、そこで実行されるプログラムは、並列処理、または分散処理に合わせて構成される。論理マシンの個々のコンポーネントは、任意に、２つ以上の別個のデバイス間で分散し、これらのデバイスは、遠隔に配置すること、および／または調整処理(coordinated processing)に合わせて構成されてもよい。論理マシンの１つ以上の態様は、遠隔にアクセス可能でクラウド・コンピューティング構成で構成されたネットワーク化されたコンピューティング・デバイスによって仮想化および実行されてもよい。

[0093] ストレージ・マシン１１０４は、本明細書において説明した方法およびプロセスを実装するために、論理マシンによって実行可能なマシン可読命令を保持するように構成される１つ以上の物理的デバイスを含む。当該方法およびプロセスが実装されると、例えば、異なるデータを保持するために、ストレージ・マシン１１０４の状態を移行する。

[0094] ストレージ・サブシステム１１０４は、リムーバブル媒体および／または内蔵デバイスを含む。ストレージ・マシン１１０４は、とりわけ、光メモリ・デバイス（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ・ディスク等）、半導体メモリ・デバイス（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）、および／または磁気メモリ・デバイス（例えば、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、テープ・ドライブ、ＭＲＡＭ等）を含む。ストレージ・マシン１１０４は、揮発性、不揮発性、ダイナミック、スタティック、読み取り／書き込み、読み取り専用、ランダム・アクセス、順次アクセス、位置アドレス可能、ファイル・アドレス可能、および／またはコンテンツ・アクセス可能デバイスを含む。

[0095] ストレージ・マシン１１０４は、１つ以上の物理的、永続的デバイスを含むことが認められる。しかしながら、本明細書において説明した命令の態様は、代替として、通信媒体（例えば、電磁信号、光信号等）によって伝搬させる。通信媒体は、有限期間にわたり物理的デバイスによって保持されるのではない。更にまた、データおよび／または本開示に関連する他の形態の情報は、コンピュータ可読通信媒体を通じて純粋な信号によって伝搬させてもよい。

[0096] 論理マシン１１０２およびストレージ・マシン１１０４の態様は、１つ以上のハードウェア論理コンポーネントに統合されてもよい。当該ハードウェア論理コンポーネントは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定プログラムおよび特定アプリケーションの集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラムおよび特定アプリケーションの標準製品（ＰＳＳＰ／ＡＳＳＰ）、チップ上システム（ＳＯＣ）システム、ならびに複雑なプログラマブル論理デバイス（ＣＰＬＤ）を例えば含む。

[0097] 表示サブシステム１１０６が含まれる場合、ストレージ・マシン１１０４によって保持されているデータの視覚表現を提示するために用いる。この視覚表現は、グラフィカル・ユーザ・インタフェース（ＧＵＩ）の形態を採る。前述した方法およびプロセスがストレージ・マシンに保持されているデータを変化させ、したがってストレージ・マシンの状態を遷移させると、表示サブシステム１１０６の状態も同様に、基礎データの変化を視覚的に表すために遷移させる。表示サブシステム１１０６は、図９のＨＭＤデバイス９００が有する透過型ディスプレイ９０４のような如何なるタイプの技術を仮想的に利用する１つ以上の表示デバイスを含む。このような表示デバイスは、共有筐体の中に論理マシン１１０２および／またはストレージ・マシン１１０４と組み合わせてもよい。或いは、このような表示デバイスは周辺機器の表示デバイスであってもよい。

[0098] 入力サブシステム１１０８が含まれる場合、キーボード、マウス、タッチ・スクリーン、またはゲーム・コントローラのような１つ以上のユーザ入力デバイスを備え、またはこれらとインタフェースしてもよい。実施形態の中には、入力サブシステムが、選択された自然ユーザ入力（ＮＵＩ）コンポーネント(componentry)を備え、またはこれとインタフェースすることができる場合もある。このようなコンポーネントは、統合または周辺機器のものであってもよく、入力動作の変換(transduction)および／または処理は、オン・ボードまたはオフ・ボードで扱う。ＮＵＩコンポーネントの例には、音声(speech and/or voice)認識用マイクロフォンと、機械映像および／またはジェスチャ認識用の赤外線カメラ、カラー・カメラ、ステレオ・カメラ、および／または深度カメラと、動き検出および／または意思認識のためのヘッド・トラッキング装置、アイ・トラッキング装置、加速度計および／またはジャイロスコープと、脳活動評価のための電界検知コンポーネントと、図９の頭部追跡システム９１２に関して前述した如何なるセンサと、および／または他の如何なる好適なセンサと、を含む。

[0099] 通信サブシステム１１１０が含まれる場合、コンピューティング・システム１１００を１つ以上の他のコンピューティング・デバイスと通信可能に結合するように構成される。通信サブシステム１１１０は、１つ以上の異なる通信プロトコルと互換性のある有線通信デバイスおよび／または無線通信デバイスを含む。非限定的な例として、通信サブシステムは、無線電話ネットワーク、または有線若しくは無線のローカル若しくはワイド・エリア・ネットワークを通じた通信に合わせて構成される。実施形態の中には、通信サブシステムが、コンピューティング・サブシステム１１００に、インターネットのようなネットワークを通じて他のデバイスとの間でメッセージを送信および／または受信するのを可能にするとよい場合もある。

[0100] 「プログラム」および「モジュール」という用語は、１つ以上の特定の機能を実行するように実装された拡張現実システム１０の一態様を説明するために使用することがある。場合によっては、プログラムまたはモジュールは、ストレージ・マシン１１０４によって保持される命令を実行する論理マシン１１０２によってインスタンス化することもある。異なるプログラムおよびモジュールを同一のアプリケーション、サービス、コード・ブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数等からインスタンス化できることが理解される。同様に、同一のプログラムまたはモジュールを異なるアプリケーション、サービス、コード・ブロック、オブジェクト、ルーチン、ＡＰＩ、関数等によってインスタンス化することもある。「プログラム」および「モジュール」という用語は、実行可能ファイル、データ・ファイル、ライブラリ、ドライバ、スクリプト、データベース・レコード等のそれぞれまたは群を含む。

[00101] 本明細書において説明した構成および／または手法は、性質上例示であること、そして多数の変形が可能であることから、これら具体的な実施形態または例は、限定的な意味で捉えてはならないことが理解される。本明細書において説明した具体的なルーチンまたは方法は、如何なる数の処理方策の内１つ以上を表す。したがって、図示した種々の動作(act)は、図示したシーケンスで実行すること、他のシーケンスで実行すること、並列に実行することもでき、あるいは省略することもできる。同様に、以上で説明したプロセスの順序も変更することができる。

[00102] 本開示の主題は、種々のプロセス、システム、および構成、ならびにその他の特徴、機能、動作、および／または本明細書において開示したプロパティ、更にはそのいずれかの均等物および全ての均等物の、全ての新規で非自明なコンビネーションおよびサブコンビネーションを含む。

Claims (10)

1. ヘッド・マウント型ディスプレイ・デバイスのユーザに、世界固定表示モードにおける推定品質レベルを伝達するための方法であって、１つ以上の仮想オブジェクトの位置が前記ヘッド・マウント型ディスプレイ・デバイスを通じてビュー可能な実世界オブジェクトに対して固定されているように見え、当該方法が、
   前記ヘッド・マウント型ディスプレイ・デバイスが有する１つ以上のセンサからセンサ・データを受信するステップと、
   前記センサ・データを使用して、前記ヘッド・マウント型ディスプレイ・デバイスの推定ポーズを決定するステップと、
   前記推定ポーズを使用して、前記ヘッド・マウント型ディスプレイ・デバイスを介して前記世界固定表示モードまたは本体固定表示モードの何れかで前記１つ以上の仮想オブジェクトを表示するステップであって、前記本体固定表示モードにおいて各前記仮想オブジェクトの位置が前記ヘッド・マウント型ディスプレイ・デバイスのユーザに対して固定されているように見える、ステップと、
   前記センサ・データの入力不確定度値および前記推定ポーズのポーズ不確定度値の１つ以上を決定するステップと、
   前記入力不確定度値および前記ポーズ不確定度値の１つ以上を、前記世界固定表示モードにおける前記推定品質レベルにマップするステップと、
   前記推定品質レベルのフィードバックを、前記ヘッド・マウント型ディスプレイ・デバイスを介して前記ユーザに伝達するステップと、
   を含む、方法。
2. 請求項１記載の方法において、前記推定品質レベルのフィードバックを伝達するステップが、更に、前記ヘッド・マウント型ディスプレイ・デバイスを介して前記推定品質レベルについて１つ以上のグラフ図を表示するステップを含む、方法。
3. 請求項２記載の方法において、前記１つ以上のグラフ図を表示するステップが、前記ヘッド・マウント型ディスプレイ・デバイスを通じてビュー可能な視界の外観を変更するステップを含む、方法。
4. 請求項２記載の方法において、前記１つ以上のグラフ図を表示するステップが、前記１つ以上の仮想オブジェクトの外観を変更するステップを含む、方法。
5. 請求項１記載の方法において、前記推定品質レベルのフィードバックを伝達するステップが、更に、
   前記世界固定表示モードおよび前記本体固定表示モードを利用するアプリケーションに前記推定品質レベルを供給するステップと、
   前記アプリケーションおよび前記ヘッド・マウント型ディスプレイ・デバイスを通じて、前記推定品質レベルのフィードバックを前記ユーザに伝えるステップと、
   を含む、方法。
6. コンピューティング・デバイスに操作可能に接続されるヘッド・マウント型ディスプレイ・デバイスであって、
   前記コンピューティング・デバイスが有するプロセッサによって実行される追跡システムであって、
   当該ヘッド・マウント型ディスプレイ・デバイスが有する１つ以上のセンサからセンサ・データを受信し、
   前記センサ・データを使用して、当該ヘッド・マウント型ディスプレイ・デバイスの推定ポーズを決定し、
   前記センサ・データの入力不確定度値および前記推定ポーズのポーズ不確定度値の１つ以上を決定し、
   前記入力不確定度値および前記ポーズ不確定度値の１つ以上を、世界固定表示モードにおける推定品質レベルにマップし、前記世界固定表示モードにおいて１つ以上の仮想オブジェクトの位置が前記ヘッド・マウント型ディスプレイ・デバイスを通じてビュー可能な実世界オブジェクトに対して固定されているように見え、
   前記推定品質レベルのフィードバックを、前記ヘッド・マウント型ディスプレイ・デバイスを介して前記ユーザに伝達する、
   ように構成される追跡システムと、
   前記コンピューティング・デバイスが有するプロセッサによって実行される表示プログラムであって、
   前記推定ポーズを使用して、前記世界固定表示モードまたは本体固定表示モードの何れかで前記１つ以上の仮想オブジェクトを表示し、前記本体固定表示モードにおいて各前記仮想オブジェクトの位置が前記ヘッド・マウント型ディスプレイ・デバイスのユーザに対して固定されているように見える、表示プログラムと、
   を備える、ヘッド・マウント型ディスプレイ・デバイス。
7. 請求項６記載のヘッド・マウント型ディスプレイ・デバイスにおいて、前記追跡システムが、前記世界固定表示モードを求めるユーザ入力を受信するまで、前記推定品質レベルのフィードバックを伝達するのを抑制することにより、前記フィードバックを伝達するように構成される、ヘッド・マウント型ディスプレイ・デバイス。
8. 請求項６記載のヘッド・マウント型ディスプレイ・デバイスにおいて、前記追跡システムが、更に、前記推定品質レベルが品質レベル閾値未満であるときに、前記世界固定表示モードを無効化するように構成される、ヘッド・マウント型ディスプレイ・デバイス。
9. 請求項６記載のヘッド・マウント型ディスプレイ・デバイスにおいて、前記追跡システムが、
   前記ポーズ不確定度値を決定し、前記入力不確定度値を決定せず、
   前記ポーズ不確定度値を前記推定品質レベルにマップする、
   ように構成される、ヘッド・マウント型ディスプレイ・デバイス。
10. 請求項６記載のヘッド・マウント型ディスプレイ・デバイスにおいて、前記追跡システムが、
    前記入力不確定度値および前記ポーズ不確定度値の両方を決定し、
    前記入力不確定度値および前記ポーズ不確定度値の両方を前記推定品質レベルにマップする、
    ように構成される、ヘッド・マウント型ディスプレイ・デバイス。

Images