JP2024506630A - 生産性のためのエクステンデッド・リアリティ - Google Patents

Abstract

一体型計算インターフェースデバイスは、キー領域および非キー領域を有する可搬ハウジングと、ハウジングのキー領域に関連付けられたキーボードと、ハウジングの非キー領域に関連付けられたホルダと、を含んでもよい。ホルダは、装着型エクステンデッド・リアリティ機器と選択的に係合および係合解除するように構成されてもよく、その結果、装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと選択的に係合すると、装着型エクステンデッド・リアリティ機器がハウジングと共に移送可能になる。

Description

関連出願の相互参照
本出願は、２０２１年２月８日に出願された米国仮特許出願第６３／１４７，０５１号、２０２１年３月７日に出願された米国仮特許出願第６３／１５７，７６８号、２０２１年４月９日に出願された米国仮特許出願第６３／１７３，０９５号、２０２１年６月２１日に出願された米国仮特許出願第６３／２１３，０１９号、２０２１年６月２７日に出願された米国仮特許出願第６３／２１５，５００号、２０２１年６月２９日に出願された米国仮特許出願第６３／２１６，３３５号、２０２１年７月２９日に出願された米国仮特許出願第６３／２２６，９７７号、２０２２年１月１６日に出願された米国仮特許出願第６３／３００，００５号、２０２２年２月７日に出願された米国仮特許出願第６３／３０７，２０７号、２０２２年２月７日に出願された米国仮特許出願第６３／３０７，２０３号、および２０２２年２月７日に出願された米国仮特許出願第６３／３０７，２１７号の優先権の利益を主張し、これらのすべては参照によりその全体が本明細書に組み込まれる。

技術分野
本開示は、一般に、エクステンデッド・リアリティの分野に関する。より具体的には、本開示は、エクステンデッド・リアリティ環境を使用して生産性アプリケーションを提供するためのシステム、方法、およびデバイスに関する。

長年、ＰＣユーザは、（デスクトップコンピュータを選択するときに）移動性を制限するか、（ラップトップコンピュータを選択するときに）画面サイズを制限するかのいずれかの生産性のジレンマに直面していた。この問題に対する１つの部分的な解決策は、ドッキングステーションを使用することである。ドッキングステーションは、ラップトップコンピュータを他のデバイスと接続するためのインターフェースデバイスである。ラップトップコンピュータをドッキングステーションに差し込むことにより、ラップトップユーザは、より大きなモニタによって提供される視認性の向上を享受することができる。しかし、大型モニタは静止しているため、ユーザの移動性は、改善されているが、依然として制限されている。例えば、ドッキングステーションを有するラップトップユーザであっても、所望の場所で３２インチの画面を２つ使用する自由度はない。

開示された実施形態のいくつかは、生産性のジレンマを解決するための新しいアプローチであって、エクステンデッド・リアリティ（ＸＲ）を使用して、仮想デスクトップ状の画面を提供することによってユーザが望む場所で静止した作業スペースの快適さを体験することを可能にするモバイル環境を提供するアプローチを提供することを対象としている。

本開示と一致する実施形態は、エクステンデッド・リアリティ環境を使用して生産性アプリケーションを提供およびサポートするためのシステム、方法、およびデバイスを提供する。

いくつかの開示された実施形態は、一体型計算インターフェースデバイスを含むことができ、一体型計算インターフェースデバイスは、キー領域および非キー領域を有する可搬ハウジングと、ハウジングのキー領域に関連付けられたキーボードと、ハウジングの非キー領域に関連付けられたホルダと、を含んでもよい。ホルダは、装着型エクステンデッド・リアリティ機器と選択的に係合および係合解除するように構成されてもよく、その結果、装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと選択的に係合すると、装着型エクステンデッド・リアリティ機器がハウジングと共に移送可能になる。

いくつかの開示された実施形態は、ハウジングと、少なくとも１つの画像センサと、折り畳み可能な保護カバーと、を含む一体型計算インターフェースデバイスを含んでもよい。ハウジングは、キー領域および非キー領域と、キー領域に関連付けられたキーボードと、を有してもよい。折り畳み可能な保護カバーは、少なくとも１つの画像センサを組み込む。保護カバーは、第１の折り畳み構成および第２の折り畳み構成を含む複数の折り畳み構成に操作されるように構成されてもよく、第１の折り畳み構成では、保護カバーは、キー領域および非キー領域の少なくとも一部を収容するように構成されてもよく、第２の折り畳み構成では、ユーザがキーボードをタイプしている間に少なくとも１つの画像センサの光軸が一体型計算インターフェースデバイスのユーザにほぼ面するように立つように構成されてもよい。

いくつかの開示された実施形態は、少なくとも１つの画像センサと、少なくとも１つの画像センサを組み込んだ折り畳み可能な保護カバーと、を含む一体型計算インターフェースデバイス用のケースを含むことができる。保護カバーは、複数の折り畳み構成に操作されるように構成されてもよい。第１の折り畳み構成では、保護カバーは、キー領域および非キー領域を有する一体型計算インターフェースデバイスのハウジングを収容するように構成されてもよい。第２の折り畳み構成では、ユーザがキー領域に関連付けられたキーボードでタイプしている間に、保護カバーが、少なくとも１つの画像センサの光軸を一体型計算インターフェースデバイスのユーザに概ね向けるように立つように構成されてもよい。

いくつかの開示された実施形態は、温度に基づいて仮想コンテンツの表示を変更するためのシステム、方法および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを表示するステップであって、仮想コンテンツの表示中に、装着型エクステンデッド・リアリティ機器の少なくとも１つの構成要素によって熱が発生する、ステップと、装着型エクステンデッド・リアリティ機器に関連付けられた温度を示す情報を受信するステップと、受信した情報に基づいて、仮想コンテンツの表示設定の変更の必要性を判定するステップと、判定に基づいて、目標温度を達成するように仮想コンテンツの表示設定を変更するステップと、を含んでもよい。

いくつかの開示された実施形態は、エクステンデッド・リアリティ環境においてハイブリッド仮想キーを実施するためのシステム、方法、および非一時的コンピュータ可読媒体を含んでもよい。これらの実施形態のいくつかは、第１の期間中に、タッチ感知面上の装着型エクステンデッド・リアリティ機器によって仮想的に投影された複数の仮想アクティブ化可能要素のタッチ感知面上の位置に対応する第１の信号を受信するステップと、第１の信号から、タッチ感知面上の複数の仮想アクティブ化可能要素の位置を決定するステップと、タッチ感知面を介してユーザのタッチ入力を受信するステップであって、タッチ入力が、タッチ感知面内の少なくとも１つのセンサとの相互作用の結果として生成される第２の信号を含む、ステップと、タッチ感知面内の少なくとも１つのセンサとの相互作用の結果として生成された第２の信号に基づいてタッチ入力に関連付けられた座標位置を決定するステップと、タッチ入力に対応する複数の仮想アクティブ化可能要素のうちの１つを識別するために、タッチ入力の座標位置を決定された位置のうちの少なくとも１つと比較するステップと、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの変更を生じさせるステップであって、変更が複数の仮想アクティブ化可能要素のうちの識別されたものに対応する、ステップと、を含んでもよい。

いくつかの開示された実施形態は、キーボードおよび装着型エクステンデッド・リアリティ機器の組み合わせを使用して仮想ディスプレイを制御するためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器に関連付けられた第１の手位置センサから、第１の手の動きを表す第１の信号を受信するステップと、キーボードに関連付けられた第２の手位置センサから、第２の手の動きを表す第２の信号を受信するステップであって、第２の手の動きが、フィードバック構成要素との相互作用以外のアクションを含む、ステップと、第１の信号および第２の信号に基づいて仮想ディスプレイを制御するステップと、を含んでもよい。

いくつかの開示された実施形態は、可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、可動入力デバイスに関連付けられた動き信号を受信するステップであって、動き信号が可動入力デバイスの物理的動きを反映する、ステップと、第１の期間中に、装着型エクステンデッド・リアリティ機器に第１の表示信号を出力するステップであって、第１の表示信号が、装着型エクステンデッド・リアリティ機器に第１の向きでコンテンツを仮想的に提示させるように構成される、ステップと、第１の期間とは異なる第２の期間中に、装着型エクステンデッド・リアリティ機器に第２の表示信号を出力するステップであって、第２の表示信号が、装着型エクステンデッド・リアリティ機器に、第１の向きとは異なる第２の向きでコンテンツを仮想的に提示させるように構成される、ステップと、可動入力デバイスの受信した動き信号に基づいて、第１の表示信号の出力と第２の表示信号の出力とを切り替えるステップと、を含んでもよい。

いくつかの開示された実施形態は、物理キーボードを仮想的に拡張するためのシステム、方法および非一時的コンピュータ可読媒体を含んでもよい。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、画像データが、表面に配置されたキーボードを表す、ステップと、キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定するステップと、キーボードに連動して仮想コントローラの表示をさせるための入力を受信するステップと、装着型エクステンデッド・リアリティ機器を介して、表面上の第１の位置に仮想コントローラを表示するステップであって、第１の位置では、仮想コントローラがキーボードに対して元の空間的向きを有する、ステップと、表面上の異なる位置へのキーボードの動きを検出するステップと、キーボードの検出された動きに応答して、表面上の第２の位置に仮想コントローラを提示するステップであって、第２の位置では、キーボードに対する仮想コントローラの後続の空間的向きが元の空間的向きに対応する、ステップと、を含んでもよい。

いくつかの開示された実施形態は、仮想コンテンツ表示をモビリティステータスと調整するためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するために複数のユーザ・モビリティ・ステータスを複数の表示モードに関連付ける規則にアクセスするステップと、装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのセンサから第１のセンサデータを受信するステップであって、第１のセンサデータが、第１の期間中の装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映する、ステップと、第１のセンサデータに基づいて、第１の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第１のモビリティステータスに関連付けられていることを判定するステップと、第１のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第１の表示を生成するために少なくとも第１のアクセスされた規則を実施するステップと、少なくとも１つのセンサから第２のセンサデータを受信するステップであって、第２のセンサデータが、第２の期間中のユーザのモビリティステータスを反映する、ステップと、第２のセンサデータに基づいて、第２の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第２のモビリティステータスに関連付けられていることを判定するステップと、第２のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第２の表示を生成するために少なくとも第２のアクセスされた規則を実施するステップであって、仮想コンテンツの第２の表示が仮想コンテンツの第１の表示とは異なる、ステップと、を含んでもよい。

いくつかの開示された実施形態は、可動入力デバイスにドッキングされた仮想オブジェクトの表示を変更するためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、画像データが、支持面上の第１の位置に配置された入力デバイスを表す、ステップと、装着型エクステンデッド・リアリティ機器に、第１の位置に近接した少なくとも１つの仮想オブジェクトの提示を生成させるステップと、少なくとも１つの仮想オブジェクトを入力デバイスにドッキングするステップと、入力デバイスが支持面上の第２の位置にあることを判定するステップと、入力デバイスが第２の位置にあるという判定に応答して、少なくとも１つの仮想オブジェクトが第２の位置に近接して現れるように、少なくとも１つの仮想オブジェクトの提示を更新するステップと、入力デバイスが支持面から取り外された第３の位置にあることを判定するステップと、入力デバイスが支持面から取り外されたという判定に応答して、少なくとも１つの仮想オブジェクトの提示を変更するステップと、を含んでもよい。

いくつかの開示された実施形態は、エクステンデッド・リアリティ環境において仮想オブジェクトを仮想ディスプレイ画面にドッキングするためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器を介して提示するための仮想コンテンツを生成するステップであって、仮想コンテンツが、仮想ディスプレイと、仮想ディスプレイの外側に位置する複数の仮想オブジェクトと、を含む、ステップと、複数の仮想オブジェクトからの少なくとも１つの仮想オブジェクトの選択を受信するステップと、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングするステップと、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングした後に、少なくとも１つの仮想オブジェクトを動かす意図の表現なしに、仮想ディスプレイの位置を変更する意図を示す入力を受信するステップと、入力に応答して仮想ディスプレイの位置を変更するステップと、を含んでもよく、仮想ディスプレイの位置を変更するステップにより、少なくとも１つの仮想オブジェクトの仮想ディスプレイへのドッキングの結果として、少なくとも１つの仮想オブジェクトを仮想ディスプレイと共に動かす。

いくつかの開示された実施形態は、選択的仮想オブジェクト表示変更を実施するためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器を介してエクステンデッド・リアリティ環境を生成するステップであって、エクステンデッド・リアリティ環境が、物理オブジェクトに関連付けられた第１の仮想平面と、アイテムに関連付けられた第２の仮想平面と、を含み、第２の仮想平面が第１の仮想平面を横切る方向に延在する、ステップと、第１の仮想平面に関連付けられた第１の位置に第１の組の仮想オブジェクトをドッキングするための第１の命令にアクセスするステップと、第２の仮想平面に関連付けられた第２の位置に第２の組の仮想オブジェクトをドッキングするための第２の命令にアクセスするステップと、物理オブジェクトの動きに関連付けられた第１の入力を受信するステップと、第１の入力の受信に応答して、第２の組の仮想オブジェクトを第２の位置に維持しながら、物理オブジェクトの動きに対応するやり方で第１の組の仮想オブジェクトの表示の変更を生じさせるステップと、アイテムの動きに関連付けられた第２の入力を受信するステップと、第２の入力の受信に応答して、第１の組の仮想オブジェクトの第１の位置を維持しながら、アイテムの動きに対応するやり方で第２の組の仮想オブジェクトの表示の変更を生じさせるステップと、を含んでもよい。

いくつかの開示された実施形態は、仮想コンテンツを提示するための表示構成を決定するためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、装着型エクステンデッド・リアリティ機器が複数の入力デバイスとペアリングされるように構成され、各入力デバイスがデフォルト表示設定に関連付けられている、ステップと、表面上に配置された特定の入力デバイスを検出するために画像データを解析するステップと、特定の入力デバイスのための少なくとも１つの使用パラメータの値を決定するステップと、特定の入力デバイスに関連付けられたデフォルト表示設定をメモリから検索するステップと、少なくとも１つの使用パラメータの値および検索されたデフォルト表示設定に基づいて、仮想コンテンツを提示するための表示構成を決定するステップと、決定された表示構成に従って装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの提示を生じさせるステップと、を含んでもよい。

いくつかの開示された実施形態は、仮想ディスプレイで物理ディスプレイを拡張するためのシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。これらの実施形態のいくつかは、物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信するステップと、物理ディスプレイ上に提示された第１の部分および物理ディスプレイの境界を越えて延在する第２の部分を有する第２のオブジェクトを表す第２の信号を受信するステップと、物理ディスプレイ上に最初に提示され、その後物理ディスプレイの境界を越えて全体的に動いた第３のオブジェクトを表す第３の信号を受信するステップと、第２の信号の受信に応答して、第２のオブジェクトの第１の部分が物理ディスプレイ上に提示されている間に、第２のオブジェクトの第２の部分を仮想空間内の装着型エクステンデッド・リアリティ機器を介して提示させるステップと、第３の信号の受信に応答して、物理ディスプレイ上に全体的に提示された第３のオブジェクトに続いて、仮想空間内の装着型エクステンデッド・リアリティ機器を介して第３のオブジェクトを全体的に提示させるステップと、を含んでもよい。

他の開示された実施形態と一致して、非一時的コンピュータ可読記憶媒体は、少なくとも１つの処理デバイスによって実行され、本明細書に記載の方法のいずれかを実行するプログラム命令を記憶することができる。

前述の一般的な説明および以下の詳細な説明は、典型的かつ説明的なものにすぎず、特許請求の範囲を限定するものではない。

本開示に組み込まれ、本開示の一部を構成する添付の図面は、様々な開示された実施形態を示す。

図１は本開示のいくつかの実施形態と一致する、例示的なエクステンデッド・リアリティ・システムを使用するユーザの概略図である。 図２は本開示のいくつかの実施形態と一致する、図１の例示的なエクステンデッド・リアリティ・システムの主要な構成要素の概略図である。 図３は本開示のいくつかの実施形態と一致する、入力ユニットの構成要素のいくつかを示すブロック図である。 図４は本開示のいくつかの実施形態と一致する、エクステンデッド・リアリティ・ユニットの構成要素のいくつかを示すブロック図である。 図５は本開示のいくつかの実施形態と一致する、リモート処理ユニットの構成要素のいくつかを示すブロック図である。 図6は一体型計算インターフェースデバイスと選択的に係合する装着型エクステンデッド・リアリティ機器を有する一体型計算インターフェースデバイスの典型的な第１の実施形態の上面図である。 図７Ａは一体型計算インターフェースデバイスと選択的に係合する装着型エクステンデッド・リアリティ機器を有する一体型計算インターフェースデバイスの典型的な第２の実施形態の上面図である。図７Ｂは図７Ａに示す一体型計算インターフェースデバイスの第２の典型的な実施形態の左側面図である。 図８Ａはホルダの第１の典型的な実施形態と選択的に係合された装着型エクステンデッド・リアリティ機器の正面斜視図である。図８Ｂは図８Ａに示すホルダの第１の典型的な実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。 図９Ａはホルダの第２の典型的な実施形態と選択的に係合された装着型エクステンデッド・リアリティ機器の正面斜視図である。図９Ｂは図９Ａに示すホルダの第２の典型的な実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。 図１０Ａはホルダの第３の典型的な実施形態と選択的に係合する装着型エクステンデッド・リアリティ機器の正面斜視図である。図１０Ｂは図１０Ａに示すホルダの第３の典型的な実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。 図１１Ａはホルダの第４の典型的な実施形態と選択的に係合する装着型エクステンデッド・リアリティ機器の正面斜視図である。図１１Ｂは図１１Ａに示すホルダの第４の典型的な実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。 図１２Ａは一体型計算インターフェースデバイスと選択的に係合する装着型エクステンデッド・リアリティ機器を有する一体型計算インターフェースデバイスの第３の典型的な実施形態の上面図である。図１２Ｂは図１２Ａに示す一体型計算インターフェースデバイスの第３の典型的な実施形態の左側面図である。 図１３Ａは本開示のいくつかの実施形態と一致する、第１の収納モードにある保護カバーを有する典型的な一体型計算インターフェースデバイスの側面斜視図である。図１３Ｂは本開示のいくつかの実施形態と一致する、第２の収納モードにある保護カバーを有する図１３Ａの一体型計算インターフェースデバイスの左側斜視図である。 図１４は第２の収納モードにある保護カバーを有する一体型計算インターフェースデバイスの第２の典型的な実施形態の側面斜視図である。 図１５は一体型計算インターフェースデバイスの第１の典型的な実施形態の正面斜視図である。 図１６は一体型計算インターフェースデバイスの第２の典型的な実施形態の正面斜視図である。 図１７は一体型計算インターフェースデバイスの第３の典型的な実施形態の上面図である。 図１８は第１の折り畳み構成における折り畳み可能な保護カバーを有する一体型計算インターフェースデバイスの第４の典型的な実施形態の正面斜視図である。 図１９は折り畳み可能な保護カバーの典型的な実施形態の一部の分解図である。 図２０は一体型計算インターフェースデバイスの第５の典型的な実施形態の側面図である。 図２１は一体型計算インターフェースデバイスの第６の典型的な実施形態の側面図である。 図２２は一体型計算インターフェースデバイスの第７の典型的な実施形態の正面斜視図である。 図２３はいくつかの開示された実施形態と一致する、装着型エクステンデッド・リアリティ機器の典型的な作業パラメータ部分を示すブロック図である。 図２４はいくつかの開示された実施形態と一致する、発熱光源温度に基づく表示設定の経時的な変化を示す典型的なチャートである。 図２５はいくつかの開示された実施形態と一致する、受信された温度情報に基づいて仮想コンテンツの一部の表示サイズを縮小する一例を示す図である。 図２６は本開示のいくつかの実施形態と一致する、装着型エクステンデッド・リアリティ機器の温度に基づいて表示設定を変更するための典型的な方法を示すフローチャートである。 図２７は本開示のいくつかの実施形態と一致する、タッチ感知面上に仮想的に投影する装着型エクステンデッド・リアリティ機器の一例を示す図である。 図２８は本開示のいくつかの実施形態と一致するキーボードおよびタッチ感知面の一例を示す図である。 図２９は本開示のいくつかの実施形態と一致する、タッチ感知面と対話するユーザの一例を示す図である。 図３０は本開示のいくつかの実施形態と一致する、カーソルをナビゲートするためにタッチ感知面と対話するユーザの一例を示す図である。 図３１は本開示のいくつかの実施形態と一致する、エクステンデッド・リアリティ環境においてハイブリッド仮想キーを実施するための典型的な方法のフローチャートを示す図である。 図３２は本開示のいくつかの実施形態と一致する、キーボードのキー上に仮想的に投影された追加の仮想アクティブ化可能要素を有するキーボードの一例を示す図である。 図３３は本開示のいくつかの実施形態と一致する、仮想ディスプレイを制御するためのキーボードと装着型エクステンデッド・リアリティ機器の組み合わせの一例を示す図である。 図３４は本開示のいくつかの実施形態と一致する、装着型エクステンデッド・リアリティ機器に関連付けられた第１の手位置センサの一例を示す図である。 図３５は本開示のいくつかの実施形態と一致する、キーボードに関連付けられた第２の手位置センサの一例を示す図である。 図３６は本開示のいくつかの実施形態と一致する、異なるタイプの第１および第２の手位置センサの一例を示す図である。 図３７は本開示のいくつかの実施形態と一致する、タッチパッドおよびキーを含む関連する入力領域を含むキーボードの一例を示す図である。 図３８は本開示のいくつかの実施形態と一致する、コネクタを介してキーボードに選択的に接続可能な装着型エクステンデッド・リアリティ機器の一例を示す図である。 図３９は本開示のいくつかの実施形態と一致する、第１の期間における可動入力デバイスを有する典型的な仮想ディスプレイを示す図である。 図４０は本開示のいくつかの実施形態と一致する、第２の期間における可動入力デバイスを有する典型的な仮想ディスプレイを示す図である。 図４１は本開示のいくつかの実施形態と一致する、典型的な仮想ディスプレイおよび可動入力デバイスの動きのタイプを示す図である。 図４２は本開示のいくつかの実施形態と一致する、第１の期間の前の可動入力デバイスに対する第１の向きの典型的な仮想ディスプレイを示す図である。 図４３は本開示のいくつかの実施形態と一致する、可動入力デバイスに関連付けられた動き信号に基づく典型的な仮想ディスプレイのサイズの変更を示す図である。 図４４は本開示のいくつかの実施形態と一致する、可動入力デバイスを使用して入力されたテキスト入力の視覚的提示を可能にするように構成された典型的な仮想ディスプレイを示す図である。 図４５Ａは本開示のいくつかの実施形態と一致する、可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための典型的なプロセスを示す図である。 図４５Ｂは本開示のいくつかの実施形態と一致する、可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための別の典型的なプロセスを示す図である。 図４６は本開示のいくつかの実施形態と一致する、キーボードおよび仮想コントローラの一例を示す図である。 図４７は本開示のいくつかの実施形態と一致する、ある場所から別の場所に動いたキーボードおよび仮想コントローラの一例を示す図である。 図４８は本開示のいくつかの実施形態と一致する、ある場所から別の場所に動くキーボードおよび仮想コントローラの別の例を示す図である。 図４９は本開示のいくつかの実施形態と一致する、物理キーボードを仮想的に拡張するための典型的なプロセスのブロック図である。 図５０Ａは本開示のいくつかの実施形態と一致する、異なるモビリティステータスと調整された様々な仮想コンテンツディスプレイの例を示す図である。図５０Ｂは本開示のいくつかの実施形態と一致する、異なるモビリティステータスと調整された様々な仮想コンテンツディスプレイの例を示す図である。図５０Ｃは本開示のいくつかの実施形態と一致する、異なるモビリティステータスと調整された様々な仮想コンテンツディスプレイの例を示す図である。図５０Ｄは本開示のいくつかの実施形態と一致する、異なるモビリティステータスと調整された様々な仮想コンテンツディスプレイの例を示す図である。 図５１Ａは本開示のいくつかの実施形態と一致する、異なるモビリティステータスの異なるタイプの仮想オブジェクトに関連付けられた異なる表示モードの例を示す図である。図５１Ｂは本開示のいくつかの実施形態と一致する、異なるモビリティステータスの異なるタイプの仮想オブジェクトに関連付けられた異なる表示モードの例を示す図である。 図５２Ａは本開示のいくつかの実施形態と一致する、環境コンテキストに基づく異なるモビリティステータスに関連付けられた異なる表示モードの例を示す図である。図５２Ｂは本開示のいくつかの実施形態と一致する、環境コンテキストに基づく異なるモビリティステータスに関連付けられた異なる表示モードの例を示す図である。 図５３は本開示のいくつかの実施形態と一致する、仮想コンテンツ表示をモビリティステータスと調整するための典型的な方法のフローチャートである。 図５４はいくつかの開示された実施形態と一致するドッキング概念を全体的に示す図である。 図５５Ａはいくつかの開示された実施形態と一致する、支持面上の第１の位置で仮想オブジェクトとドッキングされたキーボードの典型的な図である。図５５Ｂはいくつかの開示された実施形態と一致する、支持面上の第２の位置で仮想オブジェクトとドッキングされたキーボードの典型的な図である。 図５６Ａはいくつかの開示された実施形態と一致して、１つまたは複数の提示された仮想オブジェクトが変更される、支持面上の位置から支持面上にない位置に動いているキーボードの典型的な図である。図５６Ｂはいくつかの開示された実施形態と一致する、支持面上の位置から支持面上にない位置に動いているキーボードの典型的な図であり、１つまたは複数の提示された仮想オブジェクトが消える。 図５７はいくつかの開示された実施形態と一致する、検出されたキーボード位置に基づいてドッキングを発展させるための典型的な方法を示すフローチャートである。 図５８は本開示のいくつかの実施形態と一致する、ユーザの電話を表す仮想ディスプレイおよびドッキングされた仮想オブジェクトの一例を示す図である。 図５９Ａは本開示のいくつかの実施形態と一致する、仮想ディスプレイ、および仮想ディスプレイが位置を変更する前後に仮想ディスプレイの外側に位置する複数の仮想オブジェクトの例を示す図である。 図５９Ｂは本開示のいくつかの実施形態と一致する、仮想ディスプレイ、および仮想ディスプレイが位置を変更する前後に仮想ディスプレイの外側に位置する複数の仮想オブジェクトの例を示す図である。 図６０Ａは本開示のいくつかの実施形態と一致する、仮想ディスプレイ、および仮想ディスプレイが位置を変更する前後に仮想ディスプレイおよび他の仮想オブジェクトにドッキングされた複数の仮想オブジェクトの例を示す図である。 図６０Ｂは本開示のいくつかの実施形態と一致する、仮想ディスプレイ、および仮想ディスプレイが位置を変更する前後に仮想ディスプレイおよび他の仮想オブジェクトにドッキングされた複数の仮想オブジェクトの例を示す図である。 図６１Ａは本開示のいくつかの実施形態と一致する、仮想ディスプレイおよび物理オブジェクトの例を示す図である。 図６１Ｂは本開示のいくつかの実施形態と一致する、仮想ディスプレイおよび物理オブジェクトの例を示す図である。 図６２Ａは本開示のいくつかの実施形態と一致する、仮想ディスプレイが位置を変更する前後の仮想ディスプレイおよび複数の仮想オブジェクトの例を示す図である。 図６２Ｂは本開示のいくつかの実施形態と一致する、仮想ディスプレイが位置を変更する前後の仮想ディスプレイおよび複数の仮想オブジェクトの例を示す図である。 図６３は本開示のいくつかの実施形態と一致する、仮想オブジェクトを仮想ディスプレイ画面にドッキングするための典型的な方法のフローチャートを示す図である。 図６４は本開示のいくつかの実施形態と一致する、第１の平面内の物理オブジェクトおよび第２の平面内のアイテムの一例を示す図である。 図６５は本開示のいくつかの実施形態と一致する、物理オブジェクトの動き前に仮想平面内の位置にドッキングされた仮想オブジェクトの一例を示す図である。 図６６は本開示のいくつかの実施形態と一致する、物理オブジェクトおよび仮想オブジェクトの動きの一例を示す図である。 図６７は本開示のいくつかの実施形態と一致する、アイテムおよび仮想オブジェクトの動きの一例を示す図である。 図６８は本開示のいくつかの実施形態と一致する、選択的仮想オブジェクト表示変更を実施するための動作を実行するためにプロセッサによって実行され得る典型的な方法のフローチャートである。 図６９は本開示のいくつかの実施形態と一致する、典型的な装着型エクステンデッド・リアリティ機器システムを示す概略図である。 図７０は本開示のいくつかの実施形態と一致する、典型的な表示構成を示す概略図である。 図７１は本開示のいくつかの実施形態と一致する、別の典型的な表示構成を示す概略図である。 図７２は本開示のいくつかの実施形態と一致する、仮想コンテンツを提示するための表示構成を決定するための典型的なプロセスを示すフローチャートである。 図７３は本開示のいくつかの実施形態と一致する、コンピュータ画面外の両方に表示される仮想コンテンツの例を示す図である。 図７４は本開示のいくつかの実施形態と一致する、スマートウォッチ外に表示される仮想コンテンツの例を示す図である。 図７５は図７５Ａ－Ｄは本開示のいくつかの実施形態と一致する、コンピュータ画面間の仮想コンテンツの動きの例を示す図である。 図７６は本開示のいくつかの実施形態と一致する、作業ディスプレイを拡張するための典型的なプロセスを示すフローチャートである。

以下の詳細な説明は、添付の図面を参照する。可能な限り、同じまたは類似の部分を指すために、図面および以下の説明において同じ符号が使用される。いくつかの例示的な実施形態が本明細書に記載されているが、修正、適合、および他の実施態様が可能である。例えば、図面に示す構成要素に対して置換、追加、または修正を行うことができ、本明細書に記載された例示的な方法は、開示された方法に対してステップを置換、並べ替え、削除、または追加することによって修正することができる。したがって、以下の詳細な説明は、特定の実施形態および例に限定されず、添付の特許請求の範囲によって包含される一般的な原理に加えて、本明細書に記載され、図面に示す一般的な原理を含む。

本開示は、エクステンデッド・リアリティ環境をユーザに提供するためのシステムおよび方法に関する。「エクステンデッド・リアリティ空間、」、「エクステンデッド・リアリティ」、または「拡張環境」とも呼ばれ得る「エクステンデッド・リアリティ環境」という用語は、コンピュータ技術によって少なくとも部分的に生成されるすべてのタイプの現実仮想複合環境および人間機械対話を指す。エクステンデッド・リアリティ環境は、完全にシミュレートされた仮想環境、またはユーザが異なる視点から知覚することができる実環境と仮想環境との組み合わせであってもよい。いくつかの例では、ユーザはエクステンデッド・リアリティ環境の要素と対話することができる。エクステンデッド・リアリティ環境の１つの非限定的な例は、「仮想現実」または「仮想環境」としても知られる仮想現実環境であり得る。没入型仮想現実環境は、仮想環境に存在するという知覚をユーザに提供するシミュレートされた非物理的環境であり得る。エクステンデッド・リアリティ環境の別の非限定的な例は、「拡張現実」または「拡張環境」としても知られる拡張現実環境であり得る。拡張現実環境は、ユーザが対話することができる仮想オブジェクトなどの仮想コンピュータ生成知覚情報で強化された物理的実世界環境のライブの直接的または間接的なビューを含むことができる。エクステンデッド・リアリティ環境の別の非限定的な例は、「複合現実」または「複合環境」としても知られる複合現実環境である。複合現実環境は、物理的実世界環境と仮想環境とのハイブリッドであってもよく、物理オブジェクトと仮想オブジェクトとが共存し、リアルタイムで対話することができる。いくつかの例では、拡張現実環境と複合現実環境の両方は、実世界と仮想世界の組み合わせ、リアルタイム対話、ならびに仮想オブジェクトと現実オブジェクトの正確な３Ｄレジストレーションを含むことができる。いくつかの例では、拡張現実環境と複合現実環境の両方は、物理的環境に追加され得る建設的なオーバーレイされた感覚情報を含んでもよい。他の例では、拡張現実環境と複合現実環境の両方は、物理環境の少なくとも一部をマスクすることができる破壊的な仮想コンテンツを含むことができる。

いくつかの実施形態では、システムおよび方法は、エクステンデッド・リアリティ機器を使用してエクステンデッド・リアリティ環境を提供することができる。エクステンデッド・リアリティ機器という用語は、ユーザがエクステンデッド・リアリティ環境を知覚および／または対話することを可能にする任意のタイプのデバイスまたはシステムを含むことができる。エクステンデッド・リアリティ機器は、ユーザが１つまたは複数の感覚モダリティを介してエクステンデッド・リアリティ環境を知覚および／または対話することを可能にすることができる。そのような感覚モダリティのいくつかの非限定的な例は、視覚、聴覚、触覚、体性感覚、および嗅覚を含んでもよい。エクステンデッド・リアリティ機器の一例は、ユーザが仮想現実環境を知覚および／または対話することを可能にする仮想現実機器である。エクステンデッド・リアリティ機器の別の例は、ユーザが拡張現実環境を知覚および／または対話することを可能にする拡張現実機器である。エクステンデッド・リアリティ機器のさらに別の例は、ユーザが複合現実環境を知覚および／または対話することを可能にする複合現実機器である。

本開示の一態様によれば、エクステンデッド・リアリティ機器は、頭部装着型デバイス、例えばスマートグラス、スマートコンタクトレンズ、ヘッドセット、またはエクステンデッド・リアリティを人間に提示する目的で人間が装着する任意の他のデバイスなどのウェアラブルデバイスであってもよい。他のエクステンデッド・リアリティ機器は、ホログラフィックプロジェクタ、または拡張現実（ＡＲ）、仮想現実（ＶＲ）、複合現実（ＭＲ）、または任意の没入型体験を提供することができる任意の他のデバイスまたはシステムを含むことができる。装着型エクステンデッド・リアリティ機器の典型的な構成要素は、立体ヘッドマウントディスプレイ、立体ヘッドマウントサウンドシステム、ヘッドモーショントラッキングセンサ（例えば、ジャイロスコープ、加速度計、磁力計、画像センサ、構造化光センサなど）、ヘッドマウントプロジェクタ、アイトラッキングセンサ、および以下に説明する追加の構成要素のうちの少なくとも１つを含むことができる。本開示の別の態様によれば、エクステンデッド・リアリティ機器は、装着不可能なエクステンデッド・リアリティ機器であってもよい。具体的には、非装着型エクステンデッド・リアリティ機器は、マルチ投影環境機器を含むことができる。いくつかの実施形態では、エクステンデッド・リアリティ機器は、ユーザの動きに応答して、特にユーザの頭の動きに応答して、エクステンデッド・リアリティ環境の視野の視点を変更するように構成されてもよい。一例では、装着型エクステンデッド・リアリティ機器は、エクステンデッド・リアリティ環境におけるユーザの空間位置を変更せずに空間的向きを変更することなどによって、ユーザの頭部姿勢の変更に応答してエクステンデッド・リアリティ環境の視野を変更することができる。別の例では、非装着型エクステンデッド・リアリティ機器は、例えば、空間位置に対する視野の方向を変更することなくエクステンデッド・リアリティ環境におけるユーザの空間位置を変更することによって、実世界におけるユーザの位置の変更に応答してエクステンデッド・リアリティ環境におけるユーザの空間位置を変更することができる。

いくつかの実施形態によれば、エクステンデッド・リアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想コンテンツデータを受信すること、少なくとも１つの外部機器と共有するための仮想コンテンツを送信すること、少なくとも１つの外部機器からコンテキストデータを受信すること、少なくとも１つの外部機器にコンテキストデータを送信すること、エクステンデッド・リアリティ機器の使用を示す使用データを送信すること、およびエクステンデッド・リアリティ機器に含まれる少なくとも１つのセンサを使用して取り込まれた情報に基づくデータを送信すること、のうちの少なくとも１つを行うように構成されたデジタル通信デバイスを含んでもよい。追加の実施形態では、エクステンデッド・リアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想データ、コンテキストデータ、エクステンデッド・リアリティ機器の使用を示す使用データ、エクステンデッド・リアリティ機器に含まれる少なくとも１つのセンサを使用して取り込まれた情報に基づくセンサデータ、処理デバイスに仮想コンテンツを提示させるように構成されたソフトウェア命令、処理デバイスにコンテキストデータを収集および解析させるように構成されたソフトウェア命令、処理デバイスに使用データを収集および解析させるように構成されたソフトウェア命令、ならびに処理デバイスにセンサデータを収集および解析させるように構成されたソフトウェア命令のうちの少なくとも１つを格納するためのメモリを含んでもよい。追加の実施形態では、エクステンデッド・リアリティ機器は、仮想コンテンツのレンダリング、コンテキストデータの収集および解析、使用データの収集および解析、ならびにセンサデータの収集および解析のうちの少なくとも１つを実行するように構成された処理デバイスを含むことができる。追加の実施形態では、エクステンデッド・リアリティ機器は、１つまたは複数のセンサを含むことができる。１つまたは複数のセンサは、１つまたは複数の画像センサ（例えば、機器のユーザまたはユーザの環境の画像および／またはビデオを取り込むように構成される）、１つまたは複数のモーションセンサ（例えば、加速度計、ジャイロスコープ、磁力計など）、１つまたは複数の測位センサ（例えば、ＧＰＳ、屋外測位センサ、屋内測位センサなど）、１つまたは複数の温度センサ（例えば、機器および／または環境の少なくとも一部の温度を測定するように構成される）、１つまたは複数の接触センサ、１つまたは複数の近接センサ（例えば、機器が現在装着されているかどうかを検出するように構成される）、１つまたは複数の電気インピーダンスセンサ（例えば、ユーザの電気インピーダンスを測定するように構成される）、１つまたは複数の視線追跡センサ、例えば、視線検出器、光トラッカ、電位トラッカ（例えば、眼電図（ＥＯＧ）センサ）、ビデオベースの視線トラッカ、赤外線／近赤外線センサ、受動光センサ、または人間がどこを見ているかもしくは凝視しているかを判定することができる任意の他の技術などを含むことができる。

いくつかの実施形態では、システムおよび方法は、エクステンデッド・リアリティ機器と対話するために入力デバイスを使用することができる。入力デバイスという用語は、ユーザまたはユーザの環境から入力を受信し、データを計算デバイスに提供するように構成された任意の物理デバイスを含むことができる。計算デバイスに提供されるデータは、デジタル形式および／またはアナログ形式であってもよい。一実施形態では、入力デバイスは、処理デバイスによってアクセス可能なメモリデバイスにユーザから受信した入力を記憶することができ、処理デバイスは、解析のために記憶されたデータにアクセスすることができる。別の実施形態では、入力デバイスは、例えばバスを介して、または入力デバイスから処理デバイスにデータを転送するように構成された別の通信システムを介して、データを処理デバイスに直接提供することができる。いくつかの例では、入力デバイスによって受信される入力は、キー押下、触覚入力データ、モーションデータ、位置データ、ジェスチャに基づく入力データ、方向データ、または計算のために供給するための任意の他のデータを含むことができる。入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力を受け取ることができる別の機構を含むことができる。入力デバイスの別の例は、ユーザからの入力を受信するための少なくとも１つの物理的構成要素を含む一体型計算インターフェースデバイスを含むことができる。一体型計算インターフェースデバイスは、少なくともメモリと、処理デバイスと、ユーザからの入力を受信するための少なくとも１つの物理構成要素とを含むことができる。一例では、一体型計算インターフェースデバイスは、他のコンピューティングデバイスとのデジタル通信を可能にするデジタルネットワークインターフェースをさらに含んでもよい。一例では、一体型計算インターフェースデバイスは、ユーザに情報を出力するための物理構成要素をさらに含んでもよい。いくつかの例では、一体型計算インターフェースデバイスのすべての構成要素は、単一のハウジングに含まれてもよく、他の例では、構成要素は、２つ以上のハウジングに分散されてもよい。一体型計算インターフェースデバイスに含まれ得るユーザからの入力を受信するための物理的構成要素のいくつかの非限定的な例は、ボタン、キー、キーボード、タッチパッド、タッチスクリーン、ジョイスティック、または計算情報を受信することができる任意の他の機構もしくはセンサのうちの少なくとも１つを含むことができる。ユーザに情報を出力するための物理的構成要素のいくつかの非限定的な例は、光インジケータ（ＬＥＤインジケータなど）、画面、タッチスクリーン、ブザー、音声スピーカ、または人間が知覚可能な出力を提供する任意の他の音声、ビデオ、もしくは触覚デバイスのうちの少なくとも１つを含むことができる。

いくつかの実施形態では、１つまたは複数の画像センサを使用して画像データを取り込むことができる。いくつかの例では、画像センサは、エクステンデッド・リアリティ機器、装着型デバイス、装着型エクステンデッド・リアリティ・デバイス、入力デバイス、ユーザの環境などに含まれてもよい。いくつかの例では、画像データは、メモリから読み取られてもよく、外部デバイスから受信されてもよく、生成されてもよい（例えば、生成モデルを使用して）などである。画像データのいくつかの非限定的な例は、画像、グレースケール画像、カラー画像、２Ｄ画像、３Ｄ画像、ビデオ、２Ｄビデオ、３Ｄビデオ、フレーム、画像、他の画像データから導出されたデータなどを含むことができる。いくつかの例では、画像データは、任意のアナログまたはデジタル形式で符号化されてもよい。そのようなフォーマットのいくつかの非限定的な例は、生フォーマット、圧縮フォーマット、非圧縮フォーマット、不可逆フォーマット、可逆フォーマット、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＴＩＦＦ、ＢＭＰ、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ、ＭＰＥＧ、ＭＰＥＧ－４ Ｐａｒｔ １４、ＭＯＶ、ＷＭＶ、ＦＬＶ、ＡＶＩ、ＡＶＣＨＤ、ＷｅｂＭ、ＭＫＶなどを含むことができる。

いくつかの実施形態では、エクステンデッド・リアリティ機器は、例えば入力デバイスからデジタル信号を受信することができる。デジタル信号という用語は、時間的に離散的な一連のデジタル値を指す。デジタル信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、仮想データ、または知覚可能な情報を提供する任意の他の形態のデータを表すことができる。本開示と一致して、デジタル信号は、エクステンデッド・リアリティ機器に仮想コンテンツを提示させるように構成され得る。一実施形態では、仮想コンテンツは、選択された向きで提示されてもよい。この実施形態では、デジタル信号は、エクステンデッド・リアリティ環境などの環境における視点の位置および角度を示すことができる。具体的には、デジタル信号は、６自由度座標（例えば、前方／後方、上方／下方、左方／右方、ヨー、ピッチ、およびロール）における位置および角度の符号化を含むことができる。別の実施形態では、デジタル信号は、３次元座標（例えば、ｘ、ｙ、およびｚ）としての位置の符号化、および符号化された位置から生じるベクトルとしての角度の符号化を含むことができる。具体的には、デジタル信号は、例えば、標準デフォルト角度に対して仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、環境の絶対座標における提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、デジタル信号は、例えば、視点に対応する方向または他のオブジェクトに対応する方向に対する仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、他のオブジェクト（例えば、仮想オブジェクト、物理オブジェクトなど）の視点に対する提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、そのようなデジタル信号は、例えば、提示の準備ができているフォーマット（例えば、画像、ビデオなど）で、仮想コンテンツの１つまたは複数の投影を含むことができる。例えば、そのような各投影は、特定の向きまたは特定の角度に対応することができる。別の実施形態では、デジタル信号は、例えば、ボクセルの３次元アレイ、ポリゴンメッシュ、または仮想コンテンツを提示することができる任意の他のフォーマットでオブジェクトを符号化することによって、仮想コンテンツの表現を含むことができる。

いくつかの実施形態では、デジタル信号は、エクステンデッド・リアリティ機器に仮想コンテンツを提示させるように構成されてもよい。仮想コンテンツという用語は、エクステンデッド・リアリティ機器によってユーザに表示され得る任意のタイプのデータ表現を含むことができる。仮想コンテンツは、仮想オブジェクト、無生物仮想コンテンツ、経時的にまたはトリガに応答して変更するように構成された生物仮想コンテンツ、仮想２次元コンテンツ、仮想３次元コンテンツ、物理環境の一部または物理オブジェクト上の仮想オーバーレイ、物理環境または物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理環境の仮想表現、仮想文書、仮想キャラクタまたはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または仮想的に情報を表示するための任意の他のフォーマットを含むことができる。本開示と一致して、仮想コンテンツは、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含むことができる。一実施形態では、仮想コンテンツは、限定された領域内のコンピュータによってレンダリングされ、特定のタイプのオブジェクト（例えば、無生物の仮想オブジェクト、生物の仮想オブジェクト、仮想家具、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など）を表すように構成された視覚的提示である仮想オブジェクトを含むことができる。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変更を模倣するように、状態オブジェクトへの変更またはオブジェクトの視野角の変更を反映するように変更し得る。別の実施形態では、仮想コンテンツは、オペレーティングシステムによって生成された情報を表示するように構成された、仮想コンピュータ画面、仮想タブレット画面、または仮想スマートフォン画面などの仮想ディスプレイ（本明細書では「仮想表示画面」または「仮想画面」とも呼ばれる）を含むことができ、オペレーティングシステムは、物理キーボードおよび／または仮想キーボードからテキストデータを受信し、仮想ディスプレイ画面にテキストコンテンツの表示を生じさせるように構成されてもよい。一例では、図１に示すように、仮想コンテンツは、仮想コンピュータ画面および複数の仮想オブジェクトを含む仮想環境を含んでもよい。いくつかの例では、仮想ディスプレイは、物理ディスプレイ画面の機能を模倣および／または拡張する仮想オブジェクトであってもよい。例えば、仮想ディスプレイは、エクステンデッド・リアリティ機器を使用して、エクステンデッド・リアリティ環境（例えば、複合現実環境、拡張現実環境、仮想現実環境など）で提示されてもよい。一例では、仮想ディスプレイは、物理ディスプレイ画面上に等しく提示することができる通常のオペレーティングシステムによって生成されたコンテンツを提示することができる。一例では、キーボードを使用して（例えば、物理キーボードの使用、仮想キーボードの使用など）入力されたテキストコンテンツは、テキストコンテンツがタイプされるとリアルタイムで仮想ディスプレイ上に提示され得る。一例では、仮想ディスプレイ上に仮想カーソルが提示されてもよく、仮想カーソルはポインティングデバイス（物理ポインティングデバイス、仮想ポインティングデバイス、コンピュータマウス、ジョイスティック、タッチパッド、物理タッチコントローラなど）によって制御されてもよい。一例では、グラフィカル・ユーザ・インターフェース・オペレーティング・システムの１つまたは複数のウィンドウを仮想ディスプレイ上に提示することができる。別の例では、仮想ディスプレイ上に提示されるコンテンツはインタラクティブであってもよく、すなわち、ユーザのアクションに対する反応が変更してもよい。さらに別の例では、仮想ディスプレイの提示は、画面フレームの提示を含んでもよいし、画面フレームの提示を含まなくてもよい。

いくつかの開示された実施形態は、データ構造またはデータベースを含み、および／またはデータ構造またはデータベースにアクセスすることができる。本開示と一致するデータ構造およびデータベースという用語は、データ値およびそれらの間の関係の任意の集合を含むことができる。データは、線形的に、水平的に、階層的に、関係的に、非関係的に、単次元的に、多次元的に、動作的に、順序付けられたやり方で、順序付けられていないやり方で、オブジェクト指向的やり方で、集中的やり方で、非集中的やり方で、分散的やり方で、カスタム的やり方で、またはデータアクセスを可能にする任意のやり方で格納され得る。非限定的な例として、データ構造は、アレイ、連想配列、リンクされたリスト、二分木、平衡木、山、スタック、キュー、セット、ハッシュテーブル、レコード、タグ付き和集合、エンティティ関係モデル、グラフ、ハイパーグラフ、行列、テンソルなどを含むことができる。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄｉｓ、Ｃｏｕｃｈｂａｓｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅｌａｓｔｉｃ Ｓｅａｒｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚｏｎ ＤｙｎａｍｏＤＢ、Ｓｃｙｌｌａ、ＨＢａｓｅ、およびＮｅｏ４Ｊなどの、データストレージ／検索のためのＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベースまたはＮｏＳＱＬ代替物を含むことができる。データ構造は、開示されたシステムの構成要素またはリモートコンピューティング構成要素（例えば、クラウドベースのデータ構造）であってもよい。データ構造内のデータは、連続したまたは不連続なメモリに記憶されてもよい。さらに、データ構造は、情報が同じ場所に配置されることを必要としない。これは、例えば、同じまたは異なるエンティティによって所有または運用され得る複数のサーバにわたって分散され得る。したがって、単数形のデータ構造という用語は、複数のデータ構造を含む。

いくつかの実施形態では、システムは、受信した入力または任意の決定された値の信頼性レベルを決定することができる。信頼性レベルという用語は、システムが決定されたデータで有する信頼性の量を示すレベル（例えば、所定の範囲内）の数値またはその他の任意の表示を指す。例えば、信頼水準は１と１０との間の値を有してもよい。あるいは、信頼水準は、パーセンテージまたは任意の他の数値もしくは非数値表示として表現されてもよい。場合によっては、システムは信頼性レベルをしきい値と比較することができる。しきい値という用語は、基準値、レベル、ポイント、または値の範囲を示すことができる。動作中、判定されたデータの信頼性レベルがしきい値を超える（または、特定のユースケースに応じて、それより下にある）場合、システムは第１のアクション過程をたどることができ、信頼性レベルがそれを下回る（または、特定のユースケースに応じて、それを超える）場合、システムは第２のアクション過程をたどることができる。しきい値の値は、調査されるオブジェクトのタイプごとに予め決定されてもよく、または異なる考慮事項に基づいて動的に選択されてもよい。

システム概要
ここで、本開示の様々な実施形態と一致する例示的なエクステンデッド・リアリティ・システムを使用するユーザを示す図１を参照する。図１は、単なる一実施形態の典型的な表現であり、いくつかの図示した要素は省略されてもよく、他の要素は本開示の範囲内で追加されてもよいことを理解されたい。図示するように、ユーザ１００はテーブル１０２の後ろに座っており、キーボード１０４およびマウス１０６を支持している。キーボード１０４は、ユーザ１００に仮想コンテンツを表示する装着型エクステンデッド・リアリティ機器１１０にワイヤ１０８によって接続されている。ワイヤ１０８の代わりに、またはそれに加えて、キーボード１０４は、装着型エクステンデッド・リアリティ機器１１０に無線で接続することができる。説明のために、装着型エクステンデッド・リアリティ機器は一対のスマートグラスとして示されているが、上述したように、装着型エクステンデッド・リアリティ機器１１０は、エクステンデッド・リアリティをユーザ１００に提示するために使用される任意のタイプのヘッドマウントデバイスであってもよい。装着型エクステンデッド・リアリティ機器１１０によって表示される仮想コンテンツは、仮想画面１１２（本明細書では「仮想表示画面」または「仮想ディスプレイ」とも呼ばれる）および複数の仮想ウィジェット１１４を含む。仮想ウィジェット１１４Ａ～１１４Ｄは仮想画面１１２の隣に表示され、仮想ウィジェット１１４Ｅはテーブル１０２に表示される。ユーザ１００は、キーボード１０４を使用して仮想画面１１２に表示された文書１１６にテキストを入力することができ、マウス１０６を使用して仮想カーソル１１８を制御することができる。一例では、仮想カーソル１１８は、仮想画面１１２内のどこにでも動くことができる。別の例では、仮想カーソル１１８は、仮想画面１１２内のどこにでも動くことができ、仮想ウィジェット１１４Ａ～１１４Ｄのいずれかに動くこともできるが、仮想ウィジェット１１４Ｅには動かない。さらに別の例では、仮想カーソル１１８は、仮想画面１１２内のどこにでも動くことができ、仮想ウィジェット１１４Ａ～１１４Ｅのいずれかに動くこともできる。追加の例では、仮想カーソル１１８は、仮想画面１１２および仮想ウィジェット１１４Ａ～１１４Ｅを含むエクステンデッド・リアリティ環境のどこにでも動くことができる。さらに別の例では、仮想カーソルは、すべての利用可能な表面（すなわち、仮想表面または物理的表面）上で、またはエクステンデッド・リアリティ環境内の選択された表面上でのみ動くことができる。代替的にまたは追加的に、ユーザ１００は、装着型エクステンデッド・リアリティ機器１１０によって認識されたハンドジェスチャを使用して、仮想ウィジェット１１４Ａ～１１４Ｅのいずれかと、または選択された仮想ウィジェットと対話することができる。例えば、仮想ウィジェット１１４Ｅは、ハンドジェスチャで操作することができる対話型ウィジェット（例えば、仮想スライダコントローラ）であってもよい。

図２は、ユーザ１００などのユーザにエクステンデッド・リアリティ（ＸＲ）体験を提供するシステム２００の一例を示す。図２は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。システム２００は、コンピュータベースであってもよく、コンピュータシステム構成要素、装着型機器、ワークステーション、タブレット、ハンドヘルドコンピューティングデバイス、メモリデバイス、および／または構成要素を接続する内部ネットワークを含んでもよい。システム２００は、システム２００によって提供されるサービスをサポートするための様々なネットワーク・コンピューティング・リソース（例えば、サーバ、ルータ、スイッチ、ネットワーク接続、記憶デバイスなど）を含むか、またはそれに接続することができる。本開示と一致して、システム２００は、入力ユニット２０２、ＸＲユニット２０４、モバイル通信デバイス２０６、およびリモート処理ユニット２０８を含むことができる。リモート処理ユニット２０８は、データ構造２１２などの１つまたは複数の物理または仮想記憶デバイスに結合されたサーバ２１０を含むことができる。システム２００はまた、異なるシステム構成要素とシステム２００に関連付けられた異なるエンティティとの間の通信およびデータ交換を容易にする通信ネットワーク２１４を含むか、またはそれに接続され得る。

本開示と一致して、入力ユニット２０２は、ユーザ１００から入力を受信することができる１つまたは複数のデバイスを含むことができる。一実施形態では、入力ユニット２０２は、キーボード１０４などのテキスト入力デバイスを含むことができる。テキスト入力デバイスは、システム２００にテキスト情報を入力するためのすべての可能なタイプのデバイスおよび機構を含むことができる。テキスト入力デバイスの例には、機械式キーボード、メンブレンキーボード、フレキシブルキーボード、ＱＷＥＲＴＹキーボード、Ｄｖｏｒａｋキーボード、Ｃｏｌｅｍａｋキーボード、コード付きキーボード、ワイヤレスキーボード、キーパッド、キーベースの制御パネル、または制御キーの他の配列、視覚入力デバイス、またはテキストを入力するための任意の他のメカニズム（メカニズムが物理的形態で提供されるか、または仮想的に提示されるかにかかわらず）が含まれ得る。一実施形態では、入力ユニット２０２はまた、マウス１０６などのポインティング入力デバイスを含むことができる。ポインティング入力デバイスは、２次元または３次元情報をシステム２００に入力するためのすべての可能なタイプのデバイスおよび機構を含むことができる。一例では、ポインティング入力デバイスからの２次元入力は、ＸＲユニット２０４を介して提示される仮想コンテンツと対話するために使用されてもよい。ポインティング入力デバイスの例は、コンピュータマウス、トラックボール、タッチパッド、トラックパッド、タッチスクリーン、ジョイスティック、ポインティングスティック、スタイラス、ライトペン、または任意の他の物理的または仮想的入力機構を含むことができる。一実施形態では、入力ユニット２０２はまた、接触、動き、または動きの中断を検出するように構成されたタッチスクリーンなどのグラフィカル入力デバイスを含むことができる。グラフィカル入力デバイスは、限定はしないが、容量性、抵抗性、赤外線、および表面弾性波技術、ならびに１つまたは複数の接触点を判定するための他の近接センサアレイまたは他の要素を含む複数のタッチ感度技術のいずれかを使用することができる。一実施形態では、入力ユニット２０２はまた、マイクロフォンなどの１つまたは複数の音声入力デバイスを含んでもよい。音声入力デバイスは、音声認識、音声複製、デジタル記録、および電話機能などの音声対応機能を容易にするために音声データを入力するためのすべての可能なタイプのデバイスおよび機構を含むことができる。一実施形態では、入力ユニット２０２はまた、画像データを取り込むように構成された、画像センサなどの１つまたは複数の画像入力デバイスを含んでもよい。一実施形態では、入力ユニット２０２はまた、手の動きおよび姿勢データを取り込むように構成された１つまたは複数の触覚手袋を含んでもよい。一実施形態では、入力ユニット２０２はまた、センサの近くの選択された領域内のオブジェクトの存在および／または動きを検出するように構成された１つまたは複数の近接センサを含むことができる。

いくつかの実施形態によれば、システムは、ユーザ、ユーザのアクション、またはユーザの環境に関連付けられた特性を検出および／または測定するように構成された少なくとも１つのセンサを含むことができる。少なくとも１つのセンサの一例は、入力ユニット２０２に含まれるセンサ２１６である。センサ２１６は、モーションセンサ、タッチセンサ、光センサ、赤外線センサ、音声センサ、画像センサ、近接センサ、測位センサ、ジャイロスコープ、温度センサ、バイオメトリックセンサ、または関連する機能を容易にするための任意の他の感知デバイスであってもよい。センサ２１６は、入力デバイスと一体化されてもよく、または入力デバイスに接続されてもよく、または入力デバイスから分離されてもよい。一例では、ユーザ１００の体温を判定するために、マウス１０６に温度計を含めることができる。別の例では、キーボード１０４に対するユーザ１００の動きを判定するために、位置決めセンサがキーボード１０４と一体化されてもよい。このような測位センサは、全地球測位システム（ＧＰＳ）、ＧＬＯｂａｌ ＮＡｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（ＧＬＯＮＡＳＳ）、Ｇａｌｉｌｅｏ全地球航法システム、ＢｅｉＤｏｕ航法システム、他の全地球航法衛星システム（ＧＮＳＳ）、インド地域航法衛星システム（ＩＲＮＳＳ）、ローカル測位システム（ＬＰＳ）、リアルタイムロケーションシステム（ＲＴＬＳ）、屋内測位システム（ＩＰＳ）、Ｗｉ－Ｆｉベースの測位システム、セルラー三角測量、画像ベースの測位技術、屋内測位技術、屋外測位技術、または任意の他の測位技術のうちの１つを使用して実施することができる。

いくつかの実施形態によれば、システムは、物理デバイス（物理入力デバイス、物理コンピューティングデバイス、キーボード１０４、マウス１０６、装着型エクステンデッド・リアリティ機器１１０など）の位置および／または動きを識別するための１つまたは複数のセンサを含むことができる。１つまたは複数のセンサは、物理デバイスに含まれてもよく、または物理デバイスの外部にあってもよい。いくつかの例では、物理デバイスの外部の画像センサ（例えば、他の物理デバイスに含まれる画像センサ）を使用して物理デバイスの画像データを取り込むことができ、画像データを解析して物理デバイスの位置および／または動きを識別することができる。例えば、画像データは、物理デバイスの動きを識別するために視覚オブジェクト追跡アルゴリズムを使用して解析されてもよく、物理デバイスの位置（例えば、グローバル座標系などにおいて、画像センサに対して）を識別するために視覚オブジェクト検出アルゴリズムを使用して解析されてもよい、などである。いくつかの例では、物理デバイスに含まれる画像センサを使用して画像データを取り込むことができ、画像データを解析して物理デバイスの位置および／または動きを識別することができる。例えば、画像データは、物理デバイスの位置を識別するためにビジュアルオドメトリアルゴリズムを使用して解析されてもよく、物理デバイスの動きを識別するためにエゴモーションアルゴリズムを使用して解析されてもよいなどである。いくつかの例では、屋内測位センサまたは屋外測位センサなどの測位センサが物理デバイスに含まれてもよく、物理デバイスの位置を決定するために使用されてもよい。いくつかの例では、加速度計またはジャイロスコープなどのモーションセンサが物理デバイスに含まれてもよく、物理デバイスの動きを判定するために使用されてもよい。いくつかの例では、キーボードまたはマウスなどの物理デバイスは、物理的表面上に配置されるように構成されてもよい。そのような物理デバイスは、物理的表面に向けられた光学式マウスセンサ（非機械的追跡エンジンとしても知られる）を含むことができ、光学式マウスセンサの出力は、物理的表面に対する物理デバイスの動きを決定するために解析することができる。

本開示と一致して、ＸＲユニット２０４は、仮想コンテンツをユーザ１００に提示するように構成された装着型エクステンデッド・リアリティ機器を含んでもよい。装着型エクステンデッド・リアリティ機器の一例は、装着型エクステンデッド・リアリティ機器１１０である。装着型エクステンデッド・リアリティ機器のさらなる例は、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、複合現実（ＭＲ）デバイス、またはエクステンデッド・リアリティコンテンツを生成することができる任意の他のデバイスを含むことができる。そのようなデバイスのいくつかの非限定的な例は、Ｎｒｅａｌ Ｌｉｇｈｔ、Ｍａｇｉｃ Ｌｅａｐ Ｏｎｅ、Ｖａｒｊｏ、Ｑｕｅｓｔ １／２、Ｖｉｖｅなどを含むことができる。いくつかの実施形態では、ＸＲユニット２０４は、仮想コンテンツをユーザ１００に提示することができる。一般に、エクステンデッド・リアリティ機器は、コンピュータ技術および装着型によって生成されるすべての現実および仮想の複合環境ならびに人間と機械との相互作用を含むことができる。上述したように、「エクステンデッド・リアリティ」（ＸＲ）という用語は、「完全な現実」から「完全な仮想」までの全スペクトルを含むスーパーセットを指す。それは、拡張現実（ＡＲ）、複合現実（ＭＲ）、仮想現実（ＶＲ）、およびそれらの間で補間された領域などの代表的な形態を含む。したがって、「ＸＲ機器」、「ＡＲ機器」、「ＶＲ機器」、および「ＭＲ機器」という用語は、本明細書では互換的に使用することができ、上に列挙した様々な機器のうちの任意のデバイスを指すことができることに留意されたい。

本開示と一致して、システムは、ユーザに関連付けられた様々な通信デバイス、例えば、モバイル通信デバイス２０６とデータを交換することができる。「通信デバイス」という用語は、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータを伝達するように構成された任意の他の通信ネットワークを使用してデータを交換することができるすべての可能なタイプのデバイスを含むことを意図している。いくつかの例では、通信デバイスは、スマートフォン、タブレット、スマートウォッチ、携帯情報端末、デスクトップコンピュータ、ラップトップコンピュータ、ＩｏＴデバイス、専用端末、装着型通信デバイス、およびデータ通信を可能にする任意の他のデバイスを含んでもよい。場合によっては、モバイル通信デバイス２０６は、入力ユニット２０２を補足または置換することができる。具体的には、モバイル通信デバイス２０６は、ポインティング入力デバイスとして機能することができる物理タッチコントローラに関連付けられてもよい。さらに、モバイル通信デバイス２０６はまた、例えば、仮想キーボードを実施し、テキスト入力デバイスを置き換えるために使用されてもよい。例えば、ユーザ１００がテーブル１０２から離れて自分のスマートグラスを持って休憩室に歩いていくと、迅速な回答を必要とする電子メールを受信することができる。この場合、ユーザは、自分のスマートウォッチを入力デバイスとして使用し、スマートグラスによって仮想的に提示されている間に電子メールに対する回答をタイプすることを選択することができる。

本開示と一致して、システムの実施形態は、クラウドサーバの使用を含むことができる。「クラウドサーバ」という用語は、インターネットなどのネットワークを介してサービスを提供するコンピュータプラットフォームを指す。図２に示す例示的な実施形態では、サーバ２１０は、個々のハードウェアに対応しなくてもよい仮想マシンを使用することができる。例えば、計算および／または記憶能力は、データセンタまたは分散コンピューティング環境などのスケーラブルなリポジトリから所望の計算／記憶電力の適切な部分を割り当てることによって実施されてもよい。具体的には、一実施形態では、リモート処理ユニット２０８をＸＲユニット２０４と共に使用して、仮想コンテンツをユーザ１００に提供することができる。一構成例では、サーバ２１０は、装着型エクステンデッド・リアリティ機器のオペレーションシステム（ＯＳ）として機能するクラウドサーバであってもよい。一例では、サーバ２１０は、カスタマイズされたハードワイヤードロジック、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ファームウェア、および／またはコンピュータシステムと組み合わせてサーバ２１０を専用マシンにするプログラムロジックを使用して、本明細書に記載の方法を実施することができる。

いくつかの実施形態では、サーバ２１０は、データ構造２１２にアクセスして、例えば、ユーザ１００を表示するための仮想コンテンツを決定することができる。データ構造２１２は、揮発性もしくは不揮発性、磁気、半導体、テープ、光学、取り外し可能、取り外し不能、他のタイプの記憶デバイスもしくは有形もしくは非一時的コンピュータ可読媒体、または情報を記憶するための任意の媒体もしくは機構を利用することができる。データ構造２１２は、図示するように、サーバ２１０の一部であってもよいし、サーバ２１０とは別個であってもよい。データ構造２１２がサーバ２１０の一部ではない場合、サーバ２１０は、通信リンクを介してデータ構造２１２とデータを交換することができる。データ構造２１２は、開示された方法の１つまたは複数の特徴を実行するために使用されるデータおよび命令を格納する１つまたは複数のメモリデバイスを含むことができる。一実施形態では、データ構造２１２は、ワークステーション上でホストされる小さなデータ構造からデータセンタ間に分散された大きなデータ構造まで、複数の適切なデータ構造のいずれかを含むことができる。データ構造２１２はまた、メモリ・コントローラ・デバイス（例えば、サーバ）またはソフトウェアによって制御される１つまたは複数のデータ構造の任意の組み合わせを含むことができる。

本開示と一致して、通信ネットワークは、通信をサポートし、情報を交換し、および／またはシステムの構成要素間の情報の交換を容易にする任意のタイプのネットワーク（インフラストラクチャを含む）であり得る。例えば、システム２００内の通信ネットワーク２１４は、例えば、電話ネットワーク、エクストラネット、イントラネット、インターネット、衛星通信、オフライン通信、無線通信、トランスポンダ通信、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク（例えば、Ｗｉ－Ｆｉ／３０２．１１ネットワーク）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータ送信を可能にする任意の他の機構もしくは機構の組み合わせを含むことができる。

図２に示すシステム２００の構成要素および配置は、開示されたプロセスおよび特徴を実施するために使用されるシステム構成要素が変化し得るので、例示のみを意図しており、いかなる実施形態も限定することを意図していない。

図３は、入力ユニット２０２の構成例を示すブロック図である。図３は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素が省略され、他の要素が追加されてもよいことを理解されたい。図３の実施形態では、入力ユニット２０２は、入力ユニット２０２内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス３００（または他の通信機構）に直接または間接的にアクセスすることができる。例えば、バス３００は、メモリインターフェース３１０、ネットワークインターフェース３２０、入力インターフェース３３０、電源３４０、出力インターフェース３５０、処理デバイス３６０、センサインターフェース３７０、およびデータベース３８０を相互接続することができる。

図３に示すメモリインターフェース３１０は、非一時的コンピュータ可読媒体に記憶されたソフトウェア製品および／またはデータにアクセスするために使用することができる。一般に、非一時的なコンピュータ可読記憶媒体は、少なくとも１つのプロセッサによって読み取り可能な情報またはデータを記憶することができる任意のタイプの物理メモリを指す。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭまたは任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップまたはカートリッジ、およびそれらのネットワークバージョンが挙げられる。「メモリ」および「コンピュータ可読記憶媒体」という用語は、入力ユニット内または遠隔地に配置された複数のメモリまたはコンピュータ可読記憶媒体などの複数の構造を指すことができる。さらに、１つまたは複数のコンピュータ可読記憶媒体は、コンピュータにより実施される方法を実施する際に利用することができる。したがって、コンピュータ可読記憶媒体という用語は、有形のアイテムを含み、搬送波および過渡信号を除外すると理解されるべきである。図３に示す特定の実施形態では、メモリインターフェース３１０を使用して、メモリデバイス３１１などのメモリデバイスに格納されたソフトウェア製品および／またはデータにアクセスすることができる。メモリデバイス３１１は、高速ランダムアクセスメモリおよび／または不揮発性メモリ、例えば、１つまたは複数の磁気ディスク記憶デバイス、１つまたは複数の光記憶デバイス、および／またはフラッシュメモリ（例えば、ＮＡＮＤ、ＮＯＲ）を含んでもよい。本開示と一致して、メモリデバイス３１１の構成要素は、システム２００の２つ以上のユニットおよび／または２つ以上のメモリデバイスに分散されてもよい。

図３に示すメモリデバイス３１１は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含むことができる。特に、メモリデバイス３１１は、入力決定モジュール３１２、出力決定モジュール３１３、センサ通信モジュール３１４、仮想コンテンツ決定モジュール３１５、仮想コンテンツ通信モジュール３１６、およびデータベース・アクセス・モジュール３１７を含むことができる。モジュール３１２～３１７は、入力ユニット２０２に関連付けられた少なくとも１つのプロセッサ（例えば、処理デバイス３６０）による実行のためのソフトウェア命令を含むことができる。入力決定モジュール３１２、出力決定モジュール３１３、センサ通信モジュール３１４、仮想コンテンツ決定モジュール３１５、仮想コンテンツ通信モジュール３１６、およびデータベース・アクセス・モジュール３１７は、様々な動作を実行するために協働することができる。例えば、入力決定モジュール３１２は、例えばキーボード１０４から受信したデータを用いてテキストを判定してもよい。その後に、出力決定モジュール３１３は、例えば、キーボード１０４に物理的または無線で結合された専用ディスプレイ３５２上に、最近入力されたテキストの提示をさせることができる。このようにして、ユーザ１００が入力すると、仮想画面１１２を見るために頭を絶えず上下に動かすことなく、タイプされたテキストのプレビューを見ることができる。センサ通信モジュール３１４は、ユーザ１００の状態を判定するために異なるセンサからデータを受信することができる。その後に、仮想コンテンツ決定モジュール３１５は、受信した入力および決定されたユーザ１００のステータスに基づいて、表示する仮想コンテンツを決定することができる。例えば、決定された仮想コンテンツは、キーボード１０４に仮想的に隣接して配置された仮想画面上の最近入力されたテキストの仮想提示であってもよい。仮想コンテンツ通信モジュール３１６は、仮想コンテンツ決定モジュール３１５によって決定されていない仮想コンテンツを取得してもよい（例えば、別のユーザのアバター）。仮想コンテンツの検索は、データベース３８０から、リモート処理ユニット２０８から、または任意の他のソースからであってもよい。

いくつかの実施形態では、入力決定モジュール３１２は、ポインタ入力３３１、テキスト入力３３２、音声入力３３３、およびＸＲ関連入力３３４を受信するために、入力インターフェース３３０の動作を調整することができる。ポインタ入力、文字入力、音声入力の詳細については上述した。「ＸＲ関連入力」という用語は、ユーザ１００に表示される仮想コンテンツの変更を生じさせる可能性がある任意のタイプのデータを含むことができる。一実施形態では、ＸＲ関連入力３３４は、ユーザ１００、装着型エクステンデッド・リアリティ機器（例えば、ユーザ１００の検出された手のジェスチャ）の画像データを含んでもよい。別の実施形態では、ＸＲ関連入力３３４は、ユーザ１００に近接する別のユーザの存在を示す無線通信を含んでもよい。本開示と一致して、入力決定モジュール３１２は、異なるタイプの入力データを同時に受信することができる。その後に、入力決定モジュール３１２は、検出された入力のタイプに基づいて異なる規則をさらに適用することができる。例えば、音声入力よりもポインタ入力が優先されてもよい。

いくつかの実施形態では、出力決定モジュール３１３は、光インジケータ３５１、ディスプレイ３５２、および／またはスピーカ３５３を使用して出力を生成するために、出力インターフェース３５０の動作を調整することができる。一般に、出力決定モジュール３１３によって生成された出力は、装着型エクステンデッド・リアリティ機器によって提示される仮想コンテンツを含まない。代わりに、出力決定モジュール３１３によって生成される出力は、入力ユニット２０２の動作および／またはＸＲユニット２０４の動作に関する様々な出力を含む。一実施形態では、光インジケータ３５１は、装着型エクステンデッド・リアリティ機器の状態を示す光インジケータを含むことができる。例えば、光インジケータは、装着型エクステンデッド・リアリティ機器１１０がキーボード１０４に接続されているときに緑色の光を表示し、装着型エクステンデッド・リアリティ機器１１０のバッテリが低いときに点滅してもよい。別の実施形態では、ディスプレイ３５２を使用して動作情報を表示することができる。例えば、ディスプレイは、装着型エクステンデッド・リアリティ機器が動作不能であるときにエラーメッセージを提示することができる。別の実施形態では、スピーカ３５３は、例えば、ユーザ１００が他のユーザのために音楽を再生したい場合に、音声を出力するために使用されてもよい。

いくつかの実施形態では、センサ通信モジュール３１４は、入力デバイスと一体化された、または入力デバイスに接続された１つまたは複数のセンサからセンサデータを受信するために、センサインターフェース３７０の動作を調整することができる。１つまたは複数のセンサは、音声センサ３７１、画像センサ３７２、モーションセンサ３７３、環境センサ３７４（例えば、温度センサ、周囲光検出器など）、および他のセンサ３７５を含むことができる。一実施形態では、センサ通信モジュール３１４から受信したデータを使用して、入力デバイスの物理的向きを判定することができる。入力デバイスの物理的向きは、ユーザの状態を示すことができ、傾斜運動、ロール運動、および横運動の組み合わせに基づいて決定することができる。その後に、入力デバイスの物理的向きは、仮想コンテンツ決定モジュール３１５によって、ユーザの状態（例えば、注意、眠い、活動的、座っている、立っている、後ろに傾いている、前に傾いている、歩いている、動いている、乗っているなど）に一致するように仮想コンテンツの表示パラメータを修正するために使用され得る。

いくつかの実施形態では、仮想コンテンツ決定モジュール３１５は、装着型エクステンデッド・リアリティ機器によって表示される仮想コンテンツを決定することができる。仮想コンテンツは、入力決定モジュール３１２、センサ通信モジュール３１４、および他のソース（例えば、データベース３８０）からのデータに基づいて決定され得る。いくつかの実施形態では、仮想コンテンツを決定することは、仮想オブジェクトの距離、サイズ、および向きを決定することを含むことができる。仮想オブジェクトの位置の決定は、仮想オブジェクトのタイプに基づいて決定されてもよい。具体的には、図１に示す例に関して、仮想コンテンツ決定モジュール３１５は、仮想ウィジェット１１４Ｅが仮想コントローラ（例えば、ボリュームバー）であるため、仮想画面１１２の両側に４つの仮想ウィジェット１１４Ａ～１１４Ｄを配置し、テーブル１０２上に仮想ウィジェット１１４Ｅを配置することを決定することができる。仮想オブジェクトの位置の決定は、ユーザの好みに基づいてさらに決定されてもよい。例えば、左利きのユーザについては、仮想コンテンツ決定モジュール３１５は、キーボード１０４の左に仮想ボリュームバーを配置することを決定することができ、右利きのユーザについては、仮想コンテンツ決定モジュール３１５は、仮想ボリュームバーをキーボード１０４の右に配置することを決定することができる。

いくつかの実施形態では、仮想コンテンツ通信モジュール３１６は、ユーザ１００に仮想コンテンツとして提示されるべき１つまたは複数のソースからデータを取得するためにネットワークインターフェース３２０の動作を調整してもよい。１つまたは複数のソースは、他のＸＲユニット２０４、ユーザのモバイル通信デバイス２０６、リモート処理ユニット２０８、公的に入手可能な情報などを含んでもよい。一実施形態では、仮想コンテンツ通信モジュール３１６は、モバイル通信デバイス２０６の仮想表現を提供するために、モバイル通信デバイス２０６と通信することができる。例えば、仮想表現は、ユーザ１００がメッセージを読み取り、モバイル通信デバイス２０６にインストールされたアプリケーションと対話することを可能にすることができる。仮想コンテンツ通信モジュール３１６はまた、仮想コンテンツを他のユーザと共有するためにネットワークインターフェース３２０の動作を調整することができる。一例では、仮想コンテンツ通信モジュール３１６は、入力決定モジュールからのデータを使用して、トリガ（例えば、トリガは、ユーザのジェスチャを含んでもよい）を識別し、仮想ディスプレイから物理ディスプレイ（例えば、ＴＶ）または異なるユーザの仮想ディスプレイにコンテンツを転送することができる。

いくつかの実施形態では、データベース・アクセス・モジュール３１７は、データベース３８０と協働して、格納されたデータを検索することができる。検索されたデータは、例えば、異なる仮想オブジェクトに関連付けられたプライバシーレベル、仮想オブジェクトと物理オブジェクトとの間の関係、ユーザの好み、ユーザの過去の行動などを含むことができる。上述したように、仮想コンテンツ決定モジュール３１５は、データベース３８０に格納されたデータを使用して仮想コンテンツを決定することができる。データベース３８０は、例えば、ベクトルデータベース、ラスタデータベース、タイルデータベース、ビューポートデータベース、および／またはユーザ入力データベースを含む別個のデータベースを含むことができる。データベース３８０に記憶されたデータは、モジュール３１４～３１７またはシステム２００の他の構成要素から受信されてもよい。さらに、データベース３８０に記憶されたデータは、データ入力、データ転送、またはデータアップロードを使用して入力として提供されてもよい。

モジュール３１２～３１７は、ソフトウェア、ハードウェア、ファームウェア、それらのいずれかの混合などで実施されてもよい。いくつかの実施形態では、モジュール３１２～３１７およびデータベース３８０に関連付けられたデータのうちのいずれか１つまたは複数は、ＸＲユニット２０４、モバイル通信デバイス２０６、またはリモート処理ユニット２０８に格納されてもよい。システム２００の処理デバイスは、モジュール３１２～３１７の命令を実行するように構成されてもよい。いくつかの実施形態では、モジュール３１２～３１７の態様は、ハードウェア、ソフトウェア（１つまたは複数の信号処理および／または特定用途向け集積回路を含む）、ファームウェア、またはそれらの任意の組み合わせで、１つまたは複数のプロセッサによって実行可能に、単独で、または互いに様々な組み合わせで実施されてもよい。具体的には、モジュール３１２～３１７は、いくつかの開示された実施形態と一致する機能を実行するために、互いにおよび／またはシステム２００の他のモジュールと相互作用するように構成されてもよい。例えば、入力ユニット２０２は、ユーザ１００の頭の動きを判定するために、ＸＲユニット２０４からのデータに対して画像処理アルゴリズムを含む命令を実行してもよい。さらに、本明細書全体を通して、入力ユニット２０２に関して、または入力ユニット２０２の構成要素に関して説明される各機能は、前記機能を実行するための一組の命令に対応することができる。これらの命令は、別個のソフトウェアプログラム、手順、またはモジュールとして実施される必要はない。メモリデバイス３１１は、追加のモジュールおよび命令またはより少ないモジュールおよび命令を含むことができる。例えば、メモリデバイス３１１は、ＡＮＤＲＯＩＤ、ｉＯＳ、ＵＮＩＸ、ＯＳＸ、ＷＩＮＤＯＷＳ、ＤＡＲＷＩＮ、ＲＴＸＣ、ＬＩＮＵＸなどのオペレーティングシステム、またはＶＸＷｏｒｋＳなどの組み込みオペレーティングシステムを格納することができる。オペレーティングシステムは、基本的なシステムサービスを処理し、ハードウェア依存のタスクを実行するための命令を含むことができる。

図３に示すネットワークインターフェース３２０は、通信ネットワーク２１４などのネットワークに双方向データ通信を提供することができる。一実施形態では、ネットワークインターフェース３２０は、インターネットを介したデータ通信接続を提供するために、総合デジタル通信網（ＩＳＤＮ）カード、セルラーモデム、衛星モデム、またはモデムを含むことができる。別の例として、ネットワークインターフェース３２０は、無線ローカルエリアネットワーク（ＷＬＡＮ）カードを含むことができる。別の実施形態では、ネットワークインターフェース３２０は、無線周波数受信機および送信機ならびに／または光（例えば、赤外線）受信機および送信機に接続されたイーサネットポートを含むことができる。ネットワークインターフェース３２０の具体的な設計および実施態様は、入力ユニット２０２が動作するように意図されている通信ネットワークに依存し得る。例えば、いくつかの実施形態では、入力ユニット２０２は、ＧＳＭネットワーク、ＧＰＲＳネットワーク、ＥＤＧＥネットワーク、Ｗｉ－ＦｉまたはＷｉＭａｘネットワーク、およびＢｌｕｅｔｏｏｔｈネットワークを介して動作するように設計されたネットワークインターフェース３２０を含むことができる。任意のそのような実施態様では、ネットワークインターフェース３２０は、様々なタイプの情報を表すデジタルデータストリームまたはデジタル信号を搬送する電気信号、電磁信号、または光信号を送受信するように構成されてもよい。

図３に示す入力インターフェース３３０は、様々な入力デバイス、例えば、キーボード、マウス、タッチパッド、タッチスクリーン、１つまたは複数のボタン、ジョイスティック、マイクロフォン、画像センサ、および物理的または仮想的な入力を検出するように構成された任意の他のデバイスから入力を受信することができる。受信された入力は、テキスト、音声、音声、手のジェスチャ、身体のジェスチャ、触覚情報、およびユーザによって生成された任意の他のタイプの物理的または仮想的な入力のうちの少なくとも１つの形態であってもよい。図示の実施形態では、入力インターフェース３３０は、ポインタ入力３３１、テキスト入力３３２、音声入力３３３、およびＸＲ関連入力３３４を受信することができる。追加の実施形態では、入力インターフェース３３０は、処理デバイス３６０と上記の入力デバイスのいずれかとの間のブリッジとして機能することができる集積回路であってもよい。

図３に示す電源３４０は、電力入力ユニット２０２に電気エネルギーを供給することができ、任意選択的にＸＲユニット２０４にも電力を供給することができる。一般に、本開示の任意のデバイスまたはシステムに含まれる電源は、１つまたは複数のバッテリ（例えば、鉛蓄電池、リチウムイオン電池、ニッケル水素電池、ニッケルカドミウム電池）、１つまたは複数のコンデンサ、外部電源への１つまたは複数の接続、１つまたは複数の電力変換器、またはそれらの任意の組み合わせを含むがこれらに限定されない、電力を繰り返し貯蔵、分配、または伝達することができる任意のデバイスであってもよい。図３に示す例を参照すると、電源は可動式であってもよく、これは、入力ユニット２０２を手で容易に運ぶことができることを意味する（例えば、電源３４０の総重量は１ポンド未満であり得る）。電源の可動性は、ユーザ１００が様々な状況において入力ユニット２０２を使用することを可能にする。他の実施形態では、電源３４０は、電源３４０を充電するために使用され得る外部電源（電力網など）への接続に関連付けられ得る。さらに、電源３４０は、ＸＲユニット２０４に含まれる１つまたは複数のバッテリを充電するように構成されてもよく、例えば、一対のエクステンデッド・リアリティ・グラス（例えば、装着型エクステンデッド・リアリティ機器１１０）は、それらが入力ユニット２０２の上または近くに置かれたときに充電（例えば、無線または非無線で）され得る。

図３に示す出力インターフェース３５０は、例えば、光インジケータ３５１、ディスプレイ３５２、および／またはスピーカ３５３を使用して、様々な出力デバイスからの出力を生じさせることができる。一実施形態では、出力インターフェース３５０は、処理デバイス３６０と上記の出力デバイスの少なくとも一方との間のブリッジとして機能することができる集積回路であってもよい。光インジケータ３５１は、例えば異なる色に関連付けられたＬＥＤアレイなど、１つまたは複数の光源を含むことができる。ディスプレイ３５２は、画面（例えば、ＬＣＤまたはドットマトリックス画面）またはタッチスクリーンを含むことができる。スピーカ３５３は、音声ヘッドフォン、補聴器タイプのデバイス、スピーカ、骨伝導ヘッドフォン、触覚キューを提供するインターフェース、振動刺激デバイスなどを含むことができる。

図３に示す処理デバイス３６０は、本開示に記載の実施形態を実行するために、コンピュータプログラム、アプリケーション、方法、プロセス、または他のソフトウェアを実行するように構成された少なくとも１つのプロセッサを含むことができる。一般に、本開示の任意のデバイスまたはシステムに含まれる処理デバイスは、１つまたは複数の集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理デバイス（ＣＰＵ）、グラフィックス処理デバイス（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）の全部または一部、または命令を実行し、あるいは論理演算を実行するのに適した他の回路を含むことができる。処理デバイスは、Ｉｎｔｅｌ（商標）によって製造されたマイクロプロセッサなど、開示された方法の機能を実行するように構成された少なくとも１つのプロセッサを含むことができる。処理デバイスは、単一のコアまたは並列処理を同時に実行する複数のコアプロセッサを含むことができる。一例では、処理デバイスは、仮想処理技術で構成されたシングルコアプロセッサであってもよい。処理デバイスは、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、実行、操作、記憶などする能力を提供するために、仮想マシン技術または他の技術を実施することができる。別の例では、処理デバイスは、処理デバイスに関連付けられたデバイスが複数のプロセスを同時に実行することを可能にする並列処理機能を提供するように構成されたマルチコアプロセッサ構成（例えば、デュアル、クワッドコアなど）を含むことができる。本明細書に開示した機能を提供するために、他のタイプのプロセッサ構成を実施できることを理解されたい。

図３に示すセンサインターフェース３７０は、様々なセンサ、例えば、音声センサ３７１、画像センサ３７２、モーションセンサ３７３、環境センサ３７４、および他のセンサ３７５からセンサデータを取得することができる。一実施形態では、センサインターフェース３７０は、処理デバイス３６０と上記のセンサのうちの少なくとも１つとの間のブリッジとして機能することができる集積回路であってもよい。

音声センサ３７１は、音声をデジタル情報に変換することによって音声を取り込むように構成された１つまたは複数の音声センサを含んでもよい。音声センサのいくつかの例は、マイクロフォン、一方向マイクロフォン、双方向マイクロフォン、カージオイドマイクロフォン、全方向マイクロフォン、オンボードマイクロフォン、有線マイクロフォン、無線マイクロフォン、または上記の任意の組み合わせを含むことができる。本開示と一致して、処理デバイス３６０は、音声センサ３７１（例えば、音声コマンド）から受信したデータに基づいて仮想コンテンツの提示を修正することができる。

画像センサ３７２は、光を画像データに変換することによって視覚情報を取り込むように構成された１つまたは複数の画像センサを含むことができる。本開示と一致して、画像センサは、本開示における任意のデバイスまたはシステムに含まれてもよく、近赤外、赤外、可視、および紫外スペクトルの光信号を検出し、電気信号に変換することができる任意のデバイスであってもよい。画像センサの例は、デジタルカメラ、電話カメラ、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）またはＮ型金属酸化膜半導体（ＮＭＯＳ、ライブＭＯＳ）のアクティブピクセルセンサを含むことができる。電気信号は、画像データを生成するために使用され得る。本開示と一致して、画像データは、画素データストリーム、デジタル画像、デジタルビデオストリーム、取り込まれた画像から導出されたデータ、および１つまたは複数の３Ｄ画像、３Ｄ画像のシーケンス、３Ｄビデオ、または仮想３Ｄ表現を構築するために使用され得るデータを含むことができる。画像センサ３７２によって取得された画像データは、有線または無線送信によってシステム２００の任意の処理デバイスに送信することができる。例えば、画像データは、オブジェクトの検出、イベントの検出、アクションの検出、顔の検出、人物の検出、既知の人物の認識、またはシステム２００によって使用され得る任意の他の情報のために処理され得る。本開示と一致して、処理デバイス３６０は、画像センサ３７２から受信した画像データに基づいて仮想コンテンツの提示を修正することができる。

モーションセンサ３７３は、入力ユニット２０２の動きまたは入力ユニット２０２の環境内のオブジェクトの動きを測定するように構成された１つまたは複数のモーションセンサを含むことができる。具体的には、モーションセンサは、入力ユニット２０２の環境内のオブジェクトの動きを検出すること、入力ユニット２０２の環境内のオブジェクトの速度を測定すること、入力ユニット２０２の環境内のオブジェクトの加速度を測定すること、入力ユニット２０２の動きを検出すること、入力ユニット２０２の速度を測定すること、入力ユニット２０２の加速度を測定すること、などのうちの少なくとも１つを実行することができる。いくつかの実施形態では、モーションセンサ３７３は、入力ユニット２０２の適切な加速度の変更を検出し、および／または適切な加速度を測定するように構成された１つまたは複数の加速度計を含むことができる。他の実施形態では、モーションセンサ３７３は、入力ユニット２０２の向きの変更を検出し、および／または入力ユニット２０２の向きに関する情報を測定するように構成された１つまたは複数のジャイロスコープを含むことができる。他の実施形態では、モーションセンサ３７３は、画像センサ、ライダーセンサ、レーダセンサ、または近接センサを使用する１つまたは複数を含むことができる。例えば、取り込まれた画像を解析することによって、処理デバイスは、例えば、エゴモーションアルゴリズムを使用して、入力ユニット２０２の動きを決定することができる。さらに、処理デバイスは、例えば、オブジェクト追跡アルゴリズムを使用して、入力ユニット２０２の環境内のオブジェクトの動きを決定することができる。本開示と一致して、処理デバイス３６０は、入力ユニット２０２の決定された動きまたは入力ユニット２０２の環境内のオブジェクトの決定された動きに基づいて、仮想コンテンツの提示を修正することができる。例えば、入力ユニット２０２の動きに仮想ディスプレイを追従させる。

環境センサ３７４は、入力ユニット２０２の環境を反映したデータを取り込むように構成された異なるタイプの１つまたは複数のセンサを含むことができる。いくつかの実施形態では、環境センサ３７４は、入力ユニット２０２の環境内の化学的特性を測定すること、入力ユニット２０２の環境内の化学的特性の変化を測定すること、入力ユニット２０２の環境内の化学物質の存在を検出すること、入力ユニット２０２の環境内の化学物質の濃度を測定すること、のうちの少なくとも１つを実行するように構成された１つまたは複数の化学センサを含むことができる。そのような化学的特性の例には、ｐＨレベル、毒性、および温度が含まれ得る。そのような化学物質の例には、電解質、特定の酵素、特定のホルモン、特定のタンパク質、煙、二酸化炭素、一酸化炭素、酸素、オゾン、水素、および硫化水素が含まれ得る。他の実施形態では、環境センサ３７４は、入力ユニット２０２の環境の温度の変化を検出し、および／または入力ユニット２０２の環境の温度を測定するように構成された１つまたは複数の温度センサを含むことができる。他の実施形態では、環境センサ３７４は、入力ユニット２０２の環境内の気圧の変化を検出し、および／または入力ユニット２０２の環境内の気圧を測定するように構成された１つまたは複数の気圧計を含むことができる。他の実施形態では、環境センサ３７４は、入力ユニット２０２の環境内の周囲光の変化を検出するように構成された１つまたは複数の光センサを含むことができる。本開示と一致して、処理デバイス３６０は、環境センサ３７４からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、ユーザ１００の環境が暗くなったときに、仮想コンテンツの輝度を自動的に下げる。

他のセンサ３７５は、重量センサ、光センサ、抵抗センサ、超音波センサ、近接センサ、バイオメトリックセンサ、または関連する機能を容易にするための他の検知デバイスを含むことができる。特定の実施形態では、他のセンサ３７５は、入力ユニット２０２の測位情報を取得し、入力ユニット２０２の位置の変更を検出し、および／または入力ユニット２０２の位置を測定するように構成された１つまたは複数の測位センサを含むことができる。あるいは、ＧＰＳソフトウェアは、入力ユニット２０２が外部ＧＰＳ受信機（例えば、シリアルポートまたはＢｌｕｅｔｏｏｔｈを介して接続する）にアクセスすることを可能にすることができる。本開示と一致して、処理デバイス３６０は、他のセンサ３７５からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、生体センサからのデータを用いてユーザ１００を特定した後にのみ個人情報を提示する。

図３に示す構成要素および配置は、いかなる実施形態も限定することを意図するものではない。本開示の利益を有する当業者には理解されるように、入力ユニット２０２の図示の構成に対して多数の変形および／または修正を行うことができる。例えば、入力ユニットの動作にすべての構成要素が必須であるとは限らない。任意の構成要素は、入力ユニットの任意の適切な部分に配置されてもよく、構成要素は、様々な実施形態の機能を提供しながら様々な構成に再配置されてもよい。例えば、いくつかの入力ユニットは、入力ユニット２０２に示すように、要素のすべてを含まなくてもよい。

図４は、ＸＲユニット２０４の構成例を示すブロック図である。図４は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。図４の実施形態では、ＸＲユニット２０４は、ＸＲユニット２０４内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス４００（または他の通信メカニズム）に直接的または間接的にアクセスし得る。例えば、バス４００は、メモリインターフェース４１０、ネットワークインターフェース４２０、入力インターフェース４３０、電源４４０、出力インターフェース４５０、処理デバイス４６０、センサインターフェース４７０、およびデータベース４８０を相互接続することができる。

図４に示すメモリインターフェース４１０は、詳細に上述したメモリインターフェース３１０の機能と同様の機能を有すると仮定される。メモリインターフェース４１０は、非一時的コンピュータ可読媒体またはメモリデバイス４１１などのメモリデバイスに記憶されたソフトウェア製品および／またはデータにアクセスするために使用することができる。メモリデバイス４１１は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含むことができる。特に、メモリデバイス４１１は、入力決定モジュール４１２、出力決定モジュール４１３、センサ通信モジュール４１４、仮想コンテンツ決定モジュール４１５、仮想コンテンツ通信モジュール４１６、およびデータベース・アクセス・モジュール４１７を含むことができる。モジュール４１２～４１７は、ＸＲユニット２０４に関連付けられる少なくとも１つのプロセッサ（例えば、処理デバイス４６０）による実行のためのソフトウェア命令を含んでもよい。入力決定モジュール４１２、出力決定モジュール４１３、センサ通信モジュール４１４、仮想コンテンツ決定モジュール４１５、仮想コンテンツ通信モジュール４１６、およびデータベース・アクセス・モジュール４１７は、様々な動作を実行するために協働することができる。例えば、入力決定モジュール４１２は、入力ユニット２０２から受信したユーザインターフェース（ＵＩ）入力を決定することができる。同時に、センサ通信モジュール４１４は、ユーザ１００の状態を判定するために異なるセンサからデータを受信することができる。仮想コンテンツ決定モジュール４１５は、受信した入力および決定されたユーザ１００の状態に基づいて、表示すべき仮想コンテンツを決定することができる。仮想コンテンツ通信モジュール４１６は、仮想コンテンツ決定モジュール４１５によって決定されていない仮想コンテンツを検索し得る。仮想コンテンツの検索は、データベース３８０、データベース４８０、モバイル通信デバイス２０６、またはリモート処理ユニット２０８からのものであってもよい。仮想コンテンツ決定モジュール４１５の出力に基づいて、出力決定モジュール４１３は、プロジェクタ４５４によってユーザ１００に表示される仮想コンテンツの変更を生じさせることができる。

いくつかの実施形態では、入力決定モジュール４１２は、ジェスチャ入力４３１、仮想入力４３２、音声入力４３３、およびＵＩ入力４３４を受け取るために入力インターフェース４３０の動作を調整することができる。本開示と一致して、入力決定モジュール４１２は、異なるタイプの入力データを同時に受信することができる。一実施形態では、入力決定モジュール４１２は、検出された入力のタイプに基づいて異なる規則を適用することができる。例えば、ジェスチャ入力は、仮想入力よりも優先され得る。いくつかの実施形態では、出力決定モジュール４１３は、光インジケータ４５１、ディスプレイ４５２、スピーカ４５３、およびプロジェクタ４５４を使用して出力を生成するために、出力インターフェース４５０の動作を調整することができる。一実施形態では、光インジケータ４５１は、装着型エクステンデッド・リアリティ機器の状態を示す光インジケータを含むことができる。例えば、光インジケータは、装着型エクステンデッド・リアリティ機器１１０が入力ユニット２０２に接続されているときに緑色の光を表示し、装着型エクステンデッド・リアリティ機器１１０のバッテリが低いときに点滅してもよい。別の実施形態では、ディスプレイ４５２を使用して動作情報を表示することができる。別の実施形態では、スピーカ４５３は、ユーザ１００に音声を出力するために使用される骨伝導ヘッドフォンを含むことができる。別の実施形態では、プロジェクタ４５４は、仮想コンテンツをユーザ１００に提示することができる。

センサ通信モジュール、仮想コンテンツ決定モジュール、仮想コンテンツ通信モジュール、およびデータベース・アクセス・モジュールの動作は、図３を参照して上述されており、その詳細はここでは繰り返さない。モジュール４１２～４１７は、ソフトウェア、ハードウェア、ファームウェア、それらのいずれかの混合などで実施されてもよい。

図４に示すネットワークインターフェース４２０は、詳細に上述したネットワークインターフェース３２０の機能と同様の機能を有すると仮定される。ネットワークインターフェース４２０の具体的な設計および実施態様は、ＸＲユニット２０４が動作することが意図されている通信ネットワークに依存し得る。例えば、いくつかの実施形態では、ＸＲユニット２０４は、入力ユニット２０２にワイヤによって選択的に接続可能であるように構成される。ワイヤで接続されている場合、ネットワークインターフェース４２０は、入力ユニット２０２との通信を可能にすることができ、ワイヤで接続されていない場合、ネットワークインターフェース４２０は、モバイル通信デバイス２０６との通信を可能にすることができる。

図４に示す入力インターフェース４３０は、詳細に上述した入力インターフェース３３０の機能と同様の機能を有すると仮定される。この場合、入力インターフェース４３０は、画像センサと通信してジェスチャ入力４３１（例えば、仮想オブジェクトを指すユーザ１００の指）を取得し、他のＸＲユニット２０４と通信して仮想入力４３２（例えば、ＸＲユニット２０４と共有される仮想オブジェクト、または仮想環境内で検出されたアバターのジェスチャ）を取得し、マイクロフォンと通信して音声入力４３３（例えば、音声コマンド）を取得し、入力ユニット２０２と通信してＵＩ入力４３４（例えば、仮想コンテンツ決定モジュール３１５によって決定された仮想コンテンツ）を取得してもよい。

図４に示す電源４４０は、上述した電源３４０の機能と同様の機能を有すると仮定され、ＸＲユニット２０４に電力を供給するために電気エネルギーを供給する。いくつかの実施形態では、電源４４０は、電源３４０によって充電されてもよい。例えば、電源４４０は、ＸＲユニット２０４が入力ユニット２０２の上または近傍に配置されたときに無線で変更されてもよい。

図４に示す出力インターフェース４５０は、詳細に上述した出力インターフェース３５０の機能と同様の機能を有すると仮定される。この場合、出力インターフェース４５０は、光インジケータ４５１、ディスプレイ４５２、スピーカ４５３、およびプロジェクタ４５４からの出力を生じさせることができる。プロジェクタ４５４は、仮想コンテンツを表面上に表示するために光を投影する（または方向付ける）ことができる任意のデバイス、装置、機器などであってもよい。表面は、ＸＲユニット２０４の一部、ユーザ１００の眼の一部、またはユーザ１００に近接するオブジェクトの一部であってもよい。一実施形態では、プロジェクタ４５４は、１つまたは複数のミラーおよびレンズによって限られた立体角内に光を集光し、規定された方向に高い値の光度を提供する照明ユニットを含むことができる。

図４に示す処理デバイス４６０は、詳細に上述した処理デバイス３６０の機能と同様の機能を有すると仮定される。ＸＲユニット２０４が入力ユニット２０２に接続されると、処理デバイス４６０は処理デバイス３６０と協働してもよい。具体的には、処理デバイス４６０は、仮想マシン技術または他の技術を実施して、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、実行、操作、記憶などする能力を提供することができる。本明細書に開示した能力を提供するために、他のタイプのプロセッサ構成を実施できることを理解されたい。

図４に示すセンサインターフェース４７０は、詳細に上述したセンサインターフェース３７０の機能と同様の機能を有すると仮定される。具体的には、センサインターフェース４７０は、音声センサ４７１、画像センサ４７２、モーションセンサ４７３、環境センサ４７４、および他のセンサ４７５と通信することができる。音声センサ、画像センサ、モーションセンサ、環境センサ、および他のセンサの動作は、図３を参照して上述されており、その詳細はここでは繰り返さない。本明細書に開示した能力を提供するために、他のタイプおよびセンサの組み合わせが使用されてもよいことが理解される。

図４に示す構成要素および配置は、いかなる実施形態も限定することを意図するものではない。本開示の利益を有する当業者によって理解されるように、多数の変形および／または修正が、図示したＸＲユニット２０４の構成に対して行われ得る。例えば、すべての構成要素がすべての場合においてＸＲユニット２０４の動作に必須であるとは限らない。任意の構成要素は、システム２００の任意の適切な部分に配置されてもよく、構成要素は、様々な実施形態の機能を提供しながら様々な構成に再配置されてもよい。例えば、一部のＸＲユニットは、ＸＲユニット２０４内のすべての要素を含まなくてもよい（例えば、装着型エクステンデッド・リアリティ機器１１０は、光インジケータ４５１を有さなくてもよい）。

図５は、リモート処理ユニット２０８の構成例を示すブロック図である。図５は、単なる一実施形態の典型的な表現であり、いくつかの図示した要素は省略されてもよく、他の要素は本開示の範囲内で追加されてもよいことを理解されたい。図５の実施形態では、リモート処理ユニット２０８は、サーバ２１０内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス５００（または他の通信機構）に直接または間接的にアクセスするサーバ２１０を含むことができる。例えば、バス５００は、メモリインターフェース５１０、ネットワークインターフェース５２０、電源５４０、処理デバイス５６０、およびデータベース５８０を相互接続することができる。リモート処理ユニット２０８はまた、１つまたは複数のデータ構造を含むことができる。例えば、データ構造２１２Ａ、２１２Ｂ、および２１２Ｃ。

図５に示すメモリインターフェース５１０は、詳細に上述したメモリインターフェース３１０の機能と同様の機能を有すると仮定される。メモリインターフェース５１０は、非一時的コンピュータ可読媒体に、またはメモリデバイス３１１、４１１、５１１、またはデータ構造２１２Ａ、２１２Ｂ、および２１２Ｃなどの他のメモリデバイスに記憶されたソフトウェア製品および／またはデータにアクセスするために使用することができる。メモリデバイス５１１は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含むことができる。特に、メモリデバイス５１１は、共有メモリモジュール５１２、ノード登録モジュール５１３、負荷分散モジュール５１４、１つまたは複数の計算ノード５１５、内部通信モジュール５１６、外部通信モジュール５１７、およびデータベース・アクセス・モジュール（図示せず）を含むことができる。モジュール５１２～５１７は、リモート処理ユニット２０８に関連付けられた少なくとも１つのプロセッサ（例えば、処理デバイス５６０）による実行のためのソフトウェア命令を含むことができる。共有メモリモジュール５１２、ノード登録モジュール５１３、負荷分散モジュール５１４、計算モジュール５１５、および外部通信モジュール５１７は、様々な動作を実行するために協働することができる。

共有メモリモジュール５１２は、リモート処理ユニット２０８とシステム２００の他の構成要素との間の情報共有を可能にすることができる。いくつかの実施形態では、共有メモリモジュール５１２は、処理デバイス５６０（およびシステム２００内の他の処理デバイス）がデータにアクセスし、検索し、および記憶することを可能にするように構成されてもよい。例えば、共有メモリモジュール５１２を使用して、処理デバイス５６０は、メモリデバイス５１１、データベース５８０、もしくはデータ構造２１２Ａ～Ｃに記憶されたソフトウェアプログラムを実行するステップ、メモリデバイス５１１、データベース５８０、もしくはデータ構造２１２Ａ～Ｃに情報を記憶するステップ、または、メモリデバイス５１１、データベース５８０、またはデータ構造２１２Ａ～Ｃから情報を検索するステップのうちの少なくとも１つを実行することができる。

ノード登録モジュール５１３は、１つまたは複数の計算ノード５１５の利用可能性を追跡するように構成することができる。いくつかの例では、ノード登録モジュール５１３は、１つまたは複数の計算ノード５１５によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェア解決策、またはソフトウェアとハードウェアの組み合わせ解決策として実施されてもよい。いくつかの実施態様では、ノード登録モジュール５１３は、例えば、内部通信モジュール５１６を使用して、１つまたは複数の計算ノード５１５と通信することができる。いくつかの例では、１つまたは複数の計算ノード５１５は、例えば、起動時、シャットダウン時、一定間隔で、選択された時間に、ノード登録モジュール５１３から受信したクエリに応答して、または任意の他の決定された時間にメッセージを送信することによって、それらの状態をノード登録モジュール５１３に通知することができる。いくつかの例では、ノード登録モジュール５１３は、例えば、起動時に、一定間隔で、選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、１つまたは複数の計算ノード５１５の状態について照会することができる。

負荷分散モジュール５１４は、ワークロードを１つまたは複数の計算ノード５１５の間で分割するように構成することができる。いくつかの例では、負荷分散モジュール５１４は、計算ノード５１５のうちの１つまたは複数によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェア解決策、またはソフトウェアとハードウェアの組み合わせ解決策として実施されてもよい。いくつかの実施態様では、負荷分散モジュール５１４は、１つまたは複数の計算ノード５１５の利用可能性に関する情報を取得するために、ノード登録モジュール５１３と対話することができる。いくつかの実施態様では、負荷分散モジュール５１４は、例えば、内部通信モジュール５１６を使用して、１つまたは複数の計算ノード５１５と通信することができる。いくつかの例では、１つまたは複数の計算ノード５１５は、例えば、起動時、シャットダウン時、一定間隔で、選択された時間に、負荷分散モジュール５１４から受信した問い合わせに応答して、または任意の他の決定された時間にメッセージを送信することによって、負荷分散モジュール５１４にそれらの状態を通知することができる。いくつかの例では、負荷分散モジュール５１４は、例えば、起動時、一定間隔で、予め選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、１つまたは複数の計算ノード５１５の状態について照会することができる。

内部通信モジュール５１６は、リモート処理ユニット２０８の１つまたは複数の構成要素から情報を受信および／または送信するように構成されてもよい。例えば、制御信号および／または同期信号は、内部通信モジュール５１６を介して送信および／または受信することができる。一実施形態では、コンピュータプログラムの入力情報、コンピュータプログラムの出力情報、および／またはコンピュータプログラムの中間情報は、内部通信モジュール５１６を介して送信および／または受信することができる。別の実施形態では、内部通信モジュール５１６を介して受信された情報は、メモリデバイス５１１、データベース５８０、データ構造２１２Ａ～Ｃ、またはシステム２００内の他のメモリデバイスに記憶されてもよい。例えば、データ構造２１２Ａから検索された情報は、内部通信モジュール５１６を使用して送信されてもよい。別の例では、入力データは、内部通信モジュール５１６を使用して受信され、データ構造２１２Ｂに格納され得る。

外部通信モジュール５１７は、システム２００の１つまたは複数の構成要素から情報を受信および／または送信するように構成されてもよい。例えば、制御信号は、外部通信モジュール５１７を介して送信および／または受信することができる。一実施形態では、外部通信モジュール５１７を介して受信された情報は、メモリデバイス５１１、データベース５８０、データ構造２１２Ａ～Ｃ、および／またはシステム２００内の任意のメモリデバイスに格納することができる。別の実施形態では、データ構造２１２Ａ～Ｃのいずれかから検索された情報は、外部通信モジュール５１７を使用してＸＲユニット２０４に送信されてもよい。別の実施形態では、入力データは、外部通信モジュール５１７を使用して送信および／または受信することができる。そのような入力データの例は、入力ユニット２０２から受信したデータ、（例えば、音声センサ４７１、画像センサ４７２、モーションセンサ４７３、環境センサ４７４、他のセンサ４７５）１つまたは複数のセンサを使用してユーザ１００の環境から取り込まれた情報などを含むことができる。

いくつかの実施形態では、モジュール５１２～５１７の態様は、ハードウェア、ソフトウェア（１つまたは複数の信号処理および／または特定用途向け集積回路を含む）、ファームウェア、またはそれらの任意の組み合わせで、１つまたは複数のプロセッサによって実行可能に、単独で、または互いに様々な組み合わせで実施されてもよい。具体的には、モジュール５１２～５１７は、本開示の実施形態と一致する機能を実行するために、互いにおよび／またはシステム２００の他のモジュールと対話するように構成されてもよい。メモリデバイス５１１は、追加のモジュールおよび命令またはより少ないモジュールおよび命令を含むことができる。

図５に示すネットワークインターフェース５２０、電源５４０、処理デバイス５６０、およびデータベース５８０は、図４および図５を参照して上述した同様の要素の機能と同様の機能を有すると仮定される。上述の構成要素の具体的な設計および実施態様は、システム２００の実施態様に基づいて変化し得る。さらに、リモート処理ユニット２０８は、より多くのまたはより少ない構成要素を含むことができる。例えば、リモート処理ユニット２０８は、１つまたは複数の入力デバイスから直接入力を受信するように構成された入力インターフェースを含むことができる。

本開示と一致して、システム２００の処理デバイス（例えば、モバイル通信デバイス２０６内のプロセッサ、サーバ２１０内のプロセッサ、装着型エクステンデッド・リアリティ機器１１０などの装着型エクステンデッド・リアリティ機器内のプロセッサ、および／またはキーボード１０４などの装着型エクステンデッド・リアリティ機器１１０に関連付けられた入力デバイス内のプロセッサ）は、本明細書に開示した方法のいずれかを実施するために機械学習アルゴリズムを使用することができる。いくつかの実施形態では、機械学習アルゴリズム（本開示では機械学習モデルとも呼ばれる）は、例えば以下に説明する場合に、訓練例を使用して訓練することができる。そのような機械学習アルゴリズムのいくつかの非限定的な例は、分類アルゴリズム、データ回帰アルゴリズム、画像セグメント化アルゴリズム、視覚検出アルゴリズム（オブジェクト検出器、顔検出器、人物検出器、動き検出器、縁部検出器など）、視覚認識アルゴリズム（顔認識、人物認識、オブジェクト認識など）、音声認識アルゴリズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクターマシン、ランダムフォレスト、最近傍アルゴリズム、ディープラーニングアルゴリズム、人工ニューラルネットワークアルゴリズム、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アンサンブルアルゴリズムなどを含んでもよい。例えば、訓練された機械学習アルゴリズムは、予測モデル、分類モデル、データ回帰モデル、クラスタリングモデル、セグメント化モデル、人工ニューラルネットワーク（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワークなど）、ランダムフォレスト、サポートベクターマシンなどの推論モデルを含んでもよい。いくつかの例では、訓練例は、例の入力と、例の入力に対応する所望の出力とを含むことができる。さらに、いくつかの例では、訓練例を使用して訓練された機械学習アルゴリズムは、訓練された機械学習アルゴリズムを生成することができ、訓練された機械学習アルゴリズムは、訓練例に含まれない入力に対する出力を推定するために使用され得る。いくつかの例では、機械学習アルゴリズムを訓練するエンジニア、科学者、プロセス、および機械は、検証例および／またはテスト例をさらに使用することができる。例えば、検証例および／またはテスト例は、例示的な入力に対応する所望の出力と共に例示的な入力を含むことができ、訓練された機械学習アルゴリズムおよび／または中間的に訓練された機械学習アルゴリズムを使用して、検証例および／またはテスト例の例示的な入力の出力を推定することができ、推定された出力を対応する所望の出力と比較することができ、訓練された機械学習アルゴリズムおよび／または中間的に訓練された機械学習アルゴリズムは、比較の結果に基づいて評価することができる。いくつかの例では、機械学習アルゴリズムはパラメータおよびハイパーパラメータを有することができ、ハイパーパラメータは、人によって手動でまたは機械学習アルゴリズムの外部のプロセス（ハイパーパラメータ探索アルゴリズムなど）によって自動的に設定することができ、機械学習アルゴリズムのパラメータは、訓練例に基づいて機械学習アルゴリズムによって設定することができる。いくつかの実施態様では、ハイパーパラメータは、訓練例および検証例に基づいて設定されてもよく、パラメータは、訓練例および選択されたハイパーパラメータに基づいて設定されてもよい。例えば、ハイパーパラメータが与えられると、パラメータは、検証例から条件的に独立していてもよい。

いくつかの実施形態では、訓練された機械学習アルゴリズム（本開示では機械学習モデルおよび訓練された機械学習モデルとも呼ばれる）を使用して、例えば以下に説明する場合に、入力を解析し、出力を生成することができる。いくつかの例では、訓練された機械学習アルゴリズムは、入力が提供されると推論された出力を生成する推論モデルとして使用することができる。例えば、訓練された機械学習アルゴリズムは分類アルゴリズムを含むことができ、入力はサンプルを含むことができ、推論された出力はサンプルの分類（例えば、推測されたラベル、推測されたタグなど）を含むことができる。別の例では、訓練された機械学習アルゴリズムは回帰モデルを含むことができ、入力はサンプルを含むことができ、推論された出力はサンプルに対応する推論された値を含むことができる。さらに別の例では、訓練された機械学習アルゴリズムはクラスタリングモデルを含むことができ、入力はサンプルを含むことができ、推論された出力は、少なくとも１つのクラスタへのサンプルの割り当てを含むことができる。追加の例では、訓練された機械学習アルゴリズムは分類アルゴリズムを含むことができ、入力は画像を含むことができ、推論された出力は画像に描写されたアイテムの分類を含むことができる。さらに別の例では、訓練された機械学習アルゴリズムは回帰モデルを含むことができ、入力は画像を含むことができ、推論された出力は、画像に描写されたアイテムに対応する推論された値を含むことができる（例えば、画像に描写された人のサイズ、体積、年齢、画像に描写されたアイテムからの距離などのアイテムの推定された特性など）。追加の例では、訓練された機械学習アルゴリズムは画像セグメント化モデルを含むことができ、入力は画像を含むことができ、推論された出力は画像のセグメント化を含むことができる。さらに別の例では、訓練された機械学習アルゴリズムは、オブジェクト検出器を含むことができ、入力は画像を含むことができ、推論された出力は、画像内の１つもしくは複数の検出されたオブジェクトおよび／または画像内のオブジェクトの１つもしくは複数の位置を含むことができる。いくつかの例では、訓練された機械学習アルゴリズムは、１つもしくは複数の公式および／または１つもしくは複数の関数および／または１つもしくは複数の規則および／または１つもしくは複数の手順を含むことができ、入力は、公式および／または関数および／または規則および／または手順への入力として使用することができ、推論された出力は、公式および／または関数および／または規則および／または手順の出力に基づくことができる（例えば、公式および／または関数および／または規則および／または手順の出力のうちの１つを選択すること、公式および／または関数および／または規則および／または手順の出力の統計的尺度を使用することなど）。

本開示と一致して、システム２００の処理デバイスは、本明細書に開示する方法のいずれかを実施するために、画像センサ（例えば、画像センサ３７２、画像センサ４７２、または任意の他の画像センサ）によって取り込まれた画像データを解析することができる。いくつかの実施形態では、画像データを解析することは、画像データを解析して前処理された画像データを得ることと、その後に、画像データおよび／または前処理された画像データを解析して所望の結果を得ることとを含むことができる。当業者は、以下が例であり、画像データが他の種類の前処理方法を使用して前処理され得ることを認識するであろう。いくつかの例では、変換関数を使用して画像データを変換して変換画像データを得ることによって画像データを前処理することができ、前処理された画像データは変換画像データを含むことができる。例えば、変換画像データは、画像データの１つまたは複数の畳み込みを含むことができる。例えば、変換関数は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、オールパスフィルタなどの１つまたは複数の画像フィルタを含むことができる。いくつかの例では、変換関数は非線形関数を含んでもよい。いくつかの例では、画像データは、例えばガウス畳み込みを使用して、メディアンフィルタを使用してなど、画像データの少なくとも一部を平滑化することによって前処理されてもよい。いくつかの例では、画像データは、画像データの異なる表現を取得するために前処理されてもよい。例えば、前処理された画像データは、周波数領域における画像データの少なくとも一部の表現、画像データの少なくとも一部の離散フーリエ変換、画像データの少なくとも一部の離散ウェーブレット変換、画像データの少なくとも一部の時間／周波数表現、画像データの少なくとも一部の低次元での表現、画像データの少なくとも一部の非可逆表現、画像データの少なくとも一部の可逆表現、上記のいずれかの時間順序系列、および上記の任意の組み合わせなどを含んでもよい。いくつかの例では、画像データを前処理して縁部を抽出することができ、前処理された画像データは、抽出された縁部に基づくおよび／または関連する情報を含むことができる。いくつかの例では、画像データを前処理して、画像データから画像特徴を抽出することができる。そのような画像特徴のいくつかの非限定的な例は、縁部、角部、ブロブ、リッジ、スケール不変特徴変換（ＳＩＦＴ）特徴、時間的特徴、などに基づくおよび／または関連する情報を含むことができる。いくつかの例では、画像データを解析することは、画像データの少なくとも一部の少なくとも１つの畳み込みを計算することと、計算された少なくとも１つの畳み込みを使用して、少なくとも１つの結果値を計算すること、および／または判定、識別、認識、分類などを行うこととを含むことができる。

本開示の別の態様と一致して、システム２００の処理デバイスは、本明細書に開示した方法のいずれかを実施するために画像データを解析することができる。いくつかの実施形態では、画像を解析することは、１つまたは複数の規則、関数、手順、人工ニューラルネットワーク、オブジェクト検出アルゴリズム、顔検出アルゴリズム、視覚事象検出アルゴリズム、アクション検出アルゴリズム、動き検出アルゴリズム、背景減算アルゴリズム、推論モデルなどを使用して画像データおよび／または前処理された画像データを解析することを含むことができる。そのような推論モデルのいくつかの非限定的な例は、手動で事前にプログラムされた推論モデル、分類モデル、回帰モデル、機械学習アルゴリズムおよび／またはディープラーニングアルゴリズムなどの訓練アルゴリズムの訓練例に対する結果を含むことができ、ここで、訓練例はデータインスタンスの例を含むことができ、場合によっては、データインスタンスは対応する所望のラベルおよび／または結果などでラベル付けされてもよい。いくつかの実施形態では、（例えば、本明細書に記載の方法、ステップ、およびモジュールによって）画像データを解析することは、画像データに含まれる画素、ボクセル、点群、距離データなどを解析することを含むことができる。

畳み込みは、任意の次元の畳み込みを含んでもよい。１次元畳み込みは、元の数列を変換された数列に変換する関数である。１次元畳み込みは、一連のスカラーによって定義され得る。変換された数列内の各特定の値は、特定の値に対応する元の数列の部分列内の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された数列内の任意の値を含むことができる。同様に、ｎ次元畳み込みは、元のｎ次元配列を変換済み配列に変換する関数である。ｎ次元畳み込みは、スカラーのｎ次元アレイ（ｎ次元畳み込みのカーネルとして知られている）によって定義され得る。変換された配列内の各特定の値は、特定の値に対応する元の配列のｎ次元領域内の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された配列内の任意の値を含むことができる。いくつかの例では、画像は１つまたは複数の成分（例えば、色成分、深度成分など）を含むことができ、各成分は画素値の２次元配列を含むことができる。一例では、画像の畳み込みを計算することは、画像の１つまたは複数の成分に対する２次元畳み込みを計算することを含むことができる。別の例では、画像の畳み込みを計算することは、異なる成分からの配列を積み重ねて３次元配列を作成することと、得られた３次元配列上で３次元畳み込みを計算することとを含むことができる。いくつかの例では、ビデオは、１つまたは複数の構成要素（例えば、色成分、深度成分など）を含むことができ、各構成要素は、（２つの空間軸および１つの時間軸を有する）画素値の３次元アレイを含むことができる。一例では、ビデオの畳み込みを計算することは、ビデオの１つまたは複数の構成要素上の３次元畳み込みを計算することを含むことができる。別の例では、ビデオの畳み込みを計算することは、異なる構成要素からの配列を積み重ねて４次元配列を作成することと、得られた４次元配列に対して４次元畳み込みを計算することとを含むことができる。

以下の詳細な説明は、添付の図面を参照する。可能な限り、同じまたは類似の部分を指すために、図面および以下の説明において同じ符号が使用される。いくつかの例示的な実施形態が本明細書に記載されているが、修正、適合、および他の実施態様が可能である。例えば、図面に示す構成要素に対して置換、追加、または修正を行うことができ、本明細書に記載された例示的な方法は、開示された方法に対してステップを置換、並べ替え、削除、または追加することによって修正することができる。したがって、以下の詳細な説明は、開示された実施形態および例に限定されず、添付の特許請求の範囲によって包含される一般的な原理に加えて、本明細書に記載され、図面に示す一般的な原理を含む。

本開示は、エクステンデッド・リアリティ環境をユーザに提供するためのシステムおよび方法に関する。「エクステンデッド・リアリティ空間、」、「エクステンデッド・リアリティ」、または「拡張環境」とも呼ばれ得る「エクステンデッド・リアリティ環境」という用語は、コンピュータ技術によって少なくとも部分的に生成されるすべてのタイプの現実仮想複合環境および人間機械対話を指す。エクステンデッド・リアリティ環境は、完全にシミュレートされた仮想環境、またはユーザが異なる視点から知覚することができる実環境と仮想環境との組み合わせであってもよい。いくつかの例では、ユーザはエクステンデッド・リアリティ環境の要素と対話することができる。エクステンデッド・リアリティ環境の１つの非限定的な例は、「仮想現実」または「仮想環境」としても知られる仮想現実環境であり得る。没入型仮想現実環境は、仮想環境に存在するという知覚をユーザに提供するシミュレートされた非物理的環境であり得る。エクステンデッド・リアリティ環境の別の非限定的な例は、「拡張現実」または「拡張環境」としても知られる拡張現実環境であり得る。拡張現実環境は、ユーザが対話することができる仮想オブジェクトなどの仮想コンピュータ生成知覚情報で強化された物理的実世界環境のライブの直接的または間接的なビューを含むことができる。エクステンデッド・リアリティ環境の別の非限定的な例は、「複合現実」または「複合環境」としても知られる複合現実環境である。複合現実環境は、物理的実世界環境と仮想環境とのハイブリッドであってもよく、物理オブジェクトと仮想オブジェクトとが共存し、リアルタイムで対話することができる。いくつかの例では、拡張現実環境と複合現実環境の両方は、実世界と仮想世界の組み合わせ、リアルタイム対話、ならびに仮想オブジェクトと現実オブジェクトの正確な３Ｄレジストレーションを含むことができる。いくつかの例では、拡張現実環境と複合現実環境の両方は、物理的環境に追加され得る建設的なオーバーレイされた感覚情報を含んでもよい。他の例では、拡張現実環境と複合現実環境の両方は、物理環境の少なくとも一部をマスクすることができる破壊的な仮想コンテンツを含むことができる。

いくつかの実施形態では、システムおよび方法は、エクステンデッド・リアリティ機器を使用してエクステンデッド・リアリティ環境を提供することができる。エクステンデッド・リアリティ機器という用語は、ユーザがエクステンデッド・リアリティ環境を知覚および／または対話することを可能にする任意のタイプのデバイスまたはシステムを含むことができる。エクステンデッド・リアリティ機器は、ユーザが１つまたは複数の感覚モダリティを介してエクステンデッド・リアリティ環境を知覚および／または対話することを可能にすることができる。そのような感覚モダリティのいくつかの非限定的な例は、視覚、聴覚、触覚、体性感覚、および嗅覚を含んでもよい。エクステンデッド・リアリティ機器の一例は、ユーザが仮想現実環境を知覚および／または対話することを可能にする仮想現実機器である。エクステンデッド・リアリティ機器の別の例は、ユーザが拡張現実環境を知覚および／または対話することを可能にする拡張現実機器である。エクステンデッド・リアリティ機器のさらに別の例は、ユーザが複合現実環境を知覚および／または対話することを可能にする複合現実機器である。

本開示の一態様によれば、エクステンデッド・リアリティ機器は、頭部装着型デバイス、例えばスマートグラス、スマートコンタクトレンズ、ヘッドセット、またはエクステンデッド・リアリティを人間に提示する目的で人間が装着する任意の他のデバイスなどのウェアラブルデバイスであってもよい。他のエクステンデッド・リアリティ機器は、ホログラフィックプロジェクタ、または拡張現実（ＡＲ）、仮想現実（ＶＲ）、複合現実（ＭＲ）、または任意の没入型体験を提供することができる任意の他のデバイスまたはシステムを含むことができる。装着型エクステンデッド・リアリティ機器の典型的な構成要素は、立体ヘッドマウントディスプレイ、立体ヘッドマウントサウンドシステム、ヘッドモーショントラッキングセンサ（例えば、ジャイロスコープ、加速度計、磁力計、画像センサ、構造化光センサなど）、ヘッドマウントプロジェクタ、アイトラッキングセンサ、および以下に説明する追加の構成要素のうちの少なくとも１つを含むことができる。本開示の別の態様によれば、エクステンデッド・リアリティ機器は、装着不可能なエクステンデッド・リアリティ機器であってもよい。具体的には、非装着型エクステンデッド・リアリティ機器は、マルチ投影環境機器を含むことができる。いくつかの実施形態では、エクステンデッド・リアリティ機器は、ユーザの動きに応答して、特にユーザの頭の動きに応答して、エクステンデッド・リアリティ環境の視野の視点を変更するように構成されてもよい。一例では、装着型エクステンデッド・リアリティ機器は、エクステンデッド・リアリティ環境におけるユーザの空間位置を変更せずに空間的向きを変更することなどによって、ユーザの頭部姿勢の変更に応答してエクステンデッド・リアリティ環境の視野を変更することができる。別の例では、非装着型エクステンデッド・リアリティ機器は、例えば、空間位置に対する視野の方向を変更することなくエクステンデッド・リアリティ環境におけるユーザの空間位置を変更することによって、実世界におけるユーザの位置の変更に応答してエクステンデッド・リアリティ環境におけるユーザの空間位置を変更することができる。

いくつかの実施形態によれば、エクステンデッド・リアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想コンテンツデータを受信すること、少なくとも１つの外部機器と共有するための仮想コンテンツを送信すること、少なくとも１つの外部機器からコンテキストデータを受信すること、少なくとも１つの外部機器にコンテキストデータを送信すること、エクステンデッド・リアリティ機器の使用を示す使用データを送信すること、およびエクステンデッド・リアリティ機器に含まれる少なくとも１つのセンサを使用して取り込まれた情報に基づくデータを送信すること、のうちの少なくとも１つを行うように構成されたデジタル通信デバイスを含んでもよい。追加の実施形態では、エクステンデッド・リアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想データ、コンテキストデータ、エクステンデッド・リアリティ機器の使用を示す使用データ、装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つのセンサを使用して取り込まれた情報に基づくセンサデータ、処理デバイスに仮想コンテンツを提示させるように構成されたソフトウェア命令、処理デバイスにコンテキストデータを収集および解析させるように構成されたソフトウェア命令、処理デバイスに使用データを収集および解析させるように構成されたソフトウェア命令、ならびに処理デバイスにセンサデータを収集および解析させるように構成されたソフトウェア命令のうちの少なくとも１つを格納するためのメモリを含んでもよい。追加の実施形態では、エクステンデッド・リアリティ機器は、仮想コンテンツのレンダリング、コンテキストデータの収集および解析、使用データの収集および解析、ならびにセンサデータの収集および解析のうちの少なくとも１つを実行するように構成された処理デバイスを含むことができる。追加の実施形態では、エクステンデッド・リアリティ機器は、１つまたは複数のセンサを含むことができる。１つまたは複数のセンサは、１つまたは複数の画像センサ（例えば、機器のユーザまたはユーザの環境の画像および／またはビデオを取り込むように構成される）、１つまたは複数のモーションセンサ（例えば、加速度計、ジャイロスコープ、磁力計など）、１つまたは複数の測位センサ（例えば、ＧＰＳ、屋外測位センサ、屋内測位センサなど）、１つまたは複数の温度センサ（例えば、機器および／または環境の少なくとも一部の温度を測定するように構成される）、１つまたは複数の接触センサ、１つまたは複数の近接センサ（例えば、機器が現在装着されているかどうかを検出するように構成される）、１つまたは複数の電気インピーダンスセンサ（例えば、ユーザの電気インピーダンスを測定するように構成される）、１つまたは複数の視線追跡センサ、例えば、視線検出器、光トラッカ、電位トラッカ（例えば、眼電図（ＥＯＧ）センサ）、ビデオベースの視線トラッカ、赤外線／近赤外線センサ、受動光センサ、または人間がどこを見ているかもしくは凝視しているかを判定することができる任意の他の技術などを含むことができる。

いくつかの実施形態では、システムおよび方法は、エクステンデッド・リアリティ機器と対話するために入力デバイスを使用することができる。入力デバイスという用語は、ユーザまたはユーザの環境から入力を受信し、データを計算デバイスに提供するように構成された任意の物理デバイスを含むことができる。計算デバイスに提供されるデータは、デジタル形式および／またはアナログ形式であってもよい。一実施形態では、入力デバイスは、処理デバイスによってアクセス可能なメモリデバイスにユーザから受信した入力を記憶することができ、処理デバイスは、解析のために記憶されたデータにアクセスすることができる。別の実施形態では、入力デバイスは、例えばバスを介して、または入力デバイスから処理デバイスにデータを転送するように構成された別の通信システムを介して、データを処理デバイスに直接提供することができる。いくつかの例では、入力デバイスによって受信される入力は、キー押下、触覚入力データ、モーションデータ、位置データ、ジェスチャに基づく入力データ、方向データ、または計算のために供給するための任意の他のデータを含むことができる。入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力を受け取ることができる別の機構を含むことができる。入力デバイスの別の例は、ユーザからの入力を受信するための少なくとも１つの物理的構成要素を含む一体型計算インターフェースデバイスを含むことができる。一体型計算インターフェースデバイスは、少なくともメモリと、処理デバイスと、ユーザからの入力を受信するための少なくとも１つの物理構成要素とを含むことができる。一例では、一体型計算インターフェースデバイスは、他のコンピューティングデバイスとのデジタル通信を可能にするデジタルネットワークインターフェースをさらに含んでもよい。一例では、一体型計算インターフェースデバイスは、ユーザに情報を出力するための物理構成要素をさらに含んでもよい。いくつかの例では、一体型計算インターフェースデバイスのすべての構成要素は、単一のハウジングに含まれてもよく、他の例では、構成要素は、２つ以上のハウジングに分散されてもよい。一体型計算インターフェースデバイスに含まれ得るユーザからの入力を受信するための物理的構成要素のいくつかの非限定的な例は、ボタン、キー、キーボード、タッチパッド、タッチスクリーン、ジョイスティック、または計算情報を受信することができる任意の他の機構もしくはセンサのうちの少なくとも１つを含むことができる。ユーザに情報を出力するための物理的構成要素のいくつかの非限定的な例は、光インジケータ（ＬＥＤインジケータなど）、画面、タッチスクリーン、ブザー、音声スピーカ、または人間が知覚可能な出力を提供する任意の他の音声、ビデオ、もしくは触覚デバイスのうちの少なくとも１つを含むことができる。

いくつかの実施形態では、１つまたは複数の画像センサを使用して画像データを取り込むことができる。いくつかの例では、画像センサは、エクステンデッド・リアリティ機器、装着型デバイス、装着型エクステンデッド・リアリティ・デバイス、入力デバイス、ユーザの環境などに含まれてもよい。いくつかの例では、画像データは、メモリから読み取られてもよく、外部デバイスから受信されてもよく、生成されてもよい（例えば、生成モデルを使用して）などである。画像データのいくつかの非限定的な例は、画像、グレースケール画像、カラー画像、２Ｄ画像、３Ｄ画像、ビデオ、２Ｄビデオ、３Ｄビデオ、フレーム、画像、他の画像データから導出されたデータなどを含むことができる。いくつかの例では、画像データは、任意のアナログまたはデジタル形式で符号化されてもよい。そのようなフォーマットのいくつかの非限定的な例は、生フォーマット、圧縮フォーマット、非圧縮フォーマット、不可逆フォーマット、可逆フォーマット、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＴＩＦＦ、ＢＭＰ、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ、ＭＰＥＧ、ＭＰＥＧ－４ Ｐａｒｔ １４、ＭＯＶ、ＷＭＶ、ＦＬＶ、ＡＶＩ、ＡＶＣＨＤ、ＷｅｂＭ、ＭＫＶなどを含むことができる。

いくつかの実施形態では、エクステンデッド・リアリティ機器は、例えば入力デバイスからデジタル信号を受信することができる。デジタル信号という用語は、時間的に離散的な一連のデジタル値を指すことができる。デジタル信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、仮想データ、または知覚可能な情報を提供する任意の他の形態のデータを表すことができる。本開示と一致して、デジタル信号は、エクステンデッド・リアリティ機器に仮想コンテンツを提示させるように構成され得る。一実施形態では、仮想コンテンツは、選択された向きで提示されてもよい。この実施形態では、デジタル信号は、エクステンデッド・リアリティ環境などの環境における視点の位置および角度を示すことができる。具体的には、デジタル信号は、６自由度座標（例えば、前方／後方、上方／下方、左方／右方、ヨー、ピッチ、およびロール）における位置および角度の符号化を含むことができる。別の実施形態では、デジタル信号は、３次元座標（例えば、ｘ、ｙ、およびｚ）としての位置の符号化、および符号化された位置から生じるベクトルとしての角度の符号化を含むことができる。具体的には、デジタル信号は、例えば、標準デフォルト角度に対して仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、環境の絶対座標における提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、デジタル信号は、例えば、視点に対応する方向または他のオブジェクトに対応する方向に対する仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、他のオブジェクト（例えば、仮想オブジェクト、物理オブジェクトなど）の視点に対する提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、そのようなデジタル信号は、例えば、提示の準備ができているフォーマット（例えば、画像、ビデオなど）で、仮想コンテンツの１つまたは複数の投影を含むことができる。例えば、そのような各投影は、特定の向きまたは特定の角度に対応することができる。別の実施形態では、デジタル信号は、例えば、ボクセルの３次元アレイ、ポリゴンメッシュ、または仮想コンテンツを提示することができる任意の他のフォーマットでオブジェクトを符号化することによって、仮想コンテンツの表現を含むことができる。

いくつかの実施形態では、デジタル信号は、エクステンデッド・リアリティ機器に仮想コンテンツを提示させるように構成されてもよい。仮想コンテンツという用語は、エクステンデッド・リアリティ機器によってユーザに表示され得る任意のタイプのデータ表現を含むことができる。仮想コンテンツは、仮想オブジェクト、無生物仮想コンテンツ、経時的にまたはトリガに応答して変更するように構成された生物仮想コンテンツ、仮想２次元コンテンツ、仮想３次元コンテンツ、物理環境の一部または物理オブジェクト上の仮想オーバーレイ、物理環境または物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理環境の仮想表現、仮想文書、仮想キャラクタまたはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または仮想的に情報を表示するための任意の他のフォーマットを含むことができる。本開示と一致して、仮想コンテンツは、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含むことができる。一実施形態では、仮想コンテンツは、限定された領域内のコンピュータによってレンダリングされ、特定のタイプのオブジェクト（例えば、無生物の仮想オブジェクト、生物の仮想オブジェクト、仮想家具、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など）を表すように構成された視覚的提示である仮想オブジェクトを含むことができる。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変更を模倣するように、状態オブジェクトへの変更またはオブジェクトの視野角の変更を反映するように変更し得る。別の実施形態では、仮想コンテンツは、オペレーティングシステムによって生成された情報を表示するように構成された、仮想コンピュータ画面、仮想タブレット画面、または仮想スマートフォン画面などの仮想ディスプレイ（本明細書では「仮想表示画面」または「仮想画面」とも呼ばれる）を含むことができ、オペレーティングシステムは、物理キーボードおよび／または仮想キーボードからテキストデータを受信し、仮想ディスプレイ画面にテキストコンテンツの表示を生じさせるように構成されてもよい。一例では、図１に示すように、仮想コンテンツは、仮想コンピュータ画面および複数の仮想オブジェクトを含む仮想環境を含んでもよい。いくつかの例では、仮想ディスプレイは、物理ディスプレイ画面の機能を模倣および／または拡張する仮想オブジェクトであってもよい。例えば、仮想ディスプレイは、エクステンデッド・リアリティ機器を使用して、エクステンデッド・リアリティ環境（例えば、複合現実環境、拡張現実環境、仮想現実環境など）で提示されてもよい。一例では、仮想ディスプレイは、物理ディスプレイ画面上に等しく提示することができる通常のオペレーティングシステムによって生成されたコンテンツを提示することができる。一例では、キーボードを使用して（例えば、物理キーボードの使用、仮想キーボードの使用など）入力されたテキストコンテンツは、テキストコンテンツがタイプされるとリアルタイムで仮想ディスプレイ上に提示され得る。一例では、仮想ディスプレイ上に仮想カーソルが提示されてもよく、仮想カーソルはポインティングデバイス（物理ポインティングデバイス、仮想ポインティングデバイス、コンピュータマウス、ジョイスティック、タッチパッド、物理タッチコントローラなど）によって制御されてもよい。一例では、グラフィカル・ユーザ・インターフェース・オペレーティング・システムの１つまたは複数のウィンドウを仮想ディスプレイ上に提示することができる。別の例では、仮想ディスプレイ上に提示されるコンテンツはインタラクティブであってもよく、すなわち、ユーザのアクションに対する反応が変更してもよい。さらに別の例では、仮想ディスプレイの提示は、画面フレームの提示を含んでもよいし、画面フレームの提示を含まなくてもよい。

いくつかの開示された実施形態は、データ構造またはデータベースを含み、および／またはデータ構造またはデータベースにアクセスすることができる。本開示と一致するデータ構造およびデータベースという用語は、データ値およびそれらの間の関係の任意の集合を含むことができる。データは、線形的に、水平的に、階層的に、関係的に、非関係的に、単次元的に、多次元的に、動作的に、順序付けられたやり方で、順序付けられていないやり方で、オブジェクト指向的やり方で、集中的やり方で、非集中的やり方で、分散的やり方で、カスタム的やり方で、またはデータアクセスを可能にする任意のやり方で格納され得る。非限定的な例として、データ構造は、アレイ、連想配列、リンクされたリスト、二分木、平衡木、山、スタック、キュー、セット、ハッシュテーブル、レコード、タグ付き和集合、エンティティ関係モデル、グラフ、ハイパーグラフ、行列、テンソルなどを含むことができる。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄｉｓ、Ｃｏｕｃｈｂａｓｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅｌａｓｔｉｃ Ｓｅａｒｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚｏｎ ＤｙｎａｍｏＤＢ、Ｓｃｙｌｌａ、ＨＢａｓｅ、およびＮｅｏ４Ｊなどの、データストレージ／検索のためのＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベースまたはＮｏＳＱＬ代替物を含むことができる。データ構造は、開示されたシステムの構成要素またはリモートコンピューティング構成要素（例えば、クラウドベースのデータ構造）であってもよい。データ構造内のデータは、連続したまたは不連続なメモリに記憶されてもよい。さらに、データ構造は、情報が同じ場所に配置されることを必要としない。これは、例えば、同じまたは異なるエンティティによって所有または運用され得る複数のサーバにわたって分散され得る。したがって、単数形のデータ構造という用語は、複数のデータ構造を含む。

いくつかの実施形態では、システムは、受信した入力または任意の決定された値の信頼性レベルを決定することができる。信頼性レベルという用語は、システムが決定されたデータで有する信頼性の量を示すレベル（例えば、所定の範囲内）の数値またはその他の任意の表示を指す。例えば、信頼水準は１と１０との間の値を有してもよい。あるいは、信頼水準は、パーセンテージまたは任意の他の数値もしくは非数値表示として表現されてもよい。場合によっては、システムは信頼性レベルをしきい値と比較することができる。しきい値という用語は、基準値、レベル、ポイント、または値の範囲を示すことができる。動作中、判定されたデータの信頼性レベルがしきい値を超える（または、特定のユースケースに応じて、それより下にある）場合、システムは第１のアクション過程をたどることができ、信頼性レベルがそれを下回る（または、特定のユースケースに応じて、それを超える）場合、システムは第２のアクション過程をたどることができる。しきい値の値は、調査されるオブジェクトのタイプごとに予め決定されてもよく、または異なる考慮事項に基づいて動的に選択されてもよい。

ここで図１を参照して、本開示の実施形態と一致する例示的なエクステンデッド・リアリティ・システムを使用するユーザを示す。図１は、単なる一実施形態の典型的な表現であり、いくつかの図示した要素は省略され、他の要素は本開示の範囲内で追加され得ることを理解されたい。図示するように、ユーザ１００はテーブル１０２の後ろに座っており、キーボード１０４およびマウス１０６を支持している。キーボード１０４は、ユーザ１００に仮想コンテンツを表示する装着型エクステンデッド・リアリティ機器１１０にワイヤ１０８によって接続されている。ワイヤ１０８の代わりに、またはそれに加えて、キーボード１０４は、装着型エクステンデッド・リアリティ機器１１０に無線で接続することができる。説明のために、装着型エクステンデッド・リアリティ機器は一対のスマートグラスとして示されているが、上述したように、装着型エクステンデッド・リアリティ機器１１０は、エクステンデッド・リアリティをユーザ１００に提示するために使用される任意のタイプのヘッドマウントデバイスであってもよい。装着型エクステンデッド・リアリティ機器１１０によって表示される仮想コンテンツは、仮想画面１１２（本明細書では「仮想表示画面」または「仮想ディスプレイ」とも呼ばれる）および複数の仮想ウィジェット１１４を含む。仮想ウィジェット１１４Ａ～１１４Ｄは仮想画面１１２の隣に表示され、仮想ウィジェット１１４Ｅはテーブル１０２に表示される。ユーザ１００は、キーボード１０４を使用して仮想画面１１２に表示された文書１１６にテキストを入力することができ、マウス１０６を使用して仮想カーソル１１８を制御することができる。一例では、仮想カーソル１１８は、仮想画面１１２内のどこにでも動くことができる。別の例では、仮想カーソル１１８は、仮想画面１１２内のどこにでも動くことができ、仮想ウィジェット１１４Ａ～１１４Ｄのいずれかに動くこともできるが、仮想ウィジェット１１４Ｅには動かない。さらに別の例では、仮想カーソル１１８は、仮想画面１１２内のどこにでも動くことができ、仮想ウィジェット１１４Ａ～１１４Ｅのいずれかに動くこともできる。追加の例では、仮想カーソル１１８は、仮想画面１１２および仮想ウィジェット１１４Ａ～１１４Ｅを含むエクステンデッド・リアリティ環境のどこにでも動くことができる。さらに別の例では、仮想カーソルは、すべての利用可能な表面（すなわち、仮想表面または物理的表面）上で、またはエクステンデッド・リアリティ環境内の選択された表面上でのみ動くことができる。代替的にまたは追加的に、ユーザ１００は、装着型エクステンデッド・リアリティ機器１１０によって認識されたハンドジェスチャを使用して、仮想ウィジェット１１４Ａ～１１４Ｅのいずれかと、または選択された仮想ウィジェットと対話することができる。例えば、仮想ウィジェット１１４Ｅは、ハンドジェスチャで操作することができる対話型ウィジェット（例えば、仮想スライダコントローラ）であってもよい。

図２は、ユーザ１００などのユーザにエクステンデッド・リアリティ（ＸＲ）体験を提供するシステム２００の一例を示す。図２は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。システム２００は、コンピュータベースであってもよく、コンピュータシステム構成要素、装着型機器、ワークステーション、タブレット、ハンドヘルドコンピューティングデバイス、メモリデバイス、および／または構成要素を接続する内部ネットワークを含んでもよい。システム２００は、システム２００によって提供されるサービスをサポートするための様々なネットワーク・コンピューティング・リソース（例えば、サーバ、ルータ、スイッチ、ネットワーク接続、記憶デバイスなど）を含むか、またはそれに接続することができる。本開示と一致して、システム２００は、入力ユニット２０２、ＸＲユニット２０４、モバイル通信デバイス２０６、およびリモート処理ユニット２０８を含むことができる。リモート処理ユニット２０８は、データ構造２１２などの１つまたは複数の物理または仮想記憶デバイスに結合されたサーバ２１０を含むことができる。システム２００はまた、異なるシステム構成要素とシステム２００に関連付けられた異なるエンティティとの間の通信およびデータ交換を容易にする通信ネットワーク２１４を含むか、またはそれに接続され得る。

本開示と一致して、入力ユニット２０２は、ユーザ１００から入力を受信することができる１つまたは複数のデバイスを含むことができる。一実施形態では、入力ユニット２０２は、キーボード１０４などのテキスト入力デバイスを含むことができる。テキスト入力デバイスは、システム２００にテキスト情報を入力するためのすべての可能なタイプのデバイスおよび機構を含むことができる。テキスト入力デバイスの例には、機械式キーボード、メンブレンキーボード、フレキシブルキーボード、ＱＷＥＲＴＹキーボード、Ｄｖｏｒａｋキーボード、Ｃｏｌｅｍａｋキーボード、コード付きキーボード、ワイヤレスキーボード、キーパッド、キーベースの制御パネル、または制御キーの他の配列、視覚入力デバイス、またはテキストを入力するための任意の他のメカニズム（メカニズムが物理的形態で提供されるか、または仮想的に提示されるかにかかわらず）が含まれ得る。一実施形態では、入力ユニット２０２はまた、マウス１０６などのポインティング入力デバイスを含むことができる。ポインティング入力デバイスは、２次元または３次元情報をシステム２００に入力するためのすべての可能なタイプのデバイスおよび機構を含むことができる。一例では、ポインティング入力デバイスからの２次元入力は、ＸＲユニット２０４を介して提示される仮想コンテンツと対話するために使用されてもよい。ポインティング入力デバイスの例は、コンピュータマウス、トラックボール、タッチパッド、トラックパッド、タッチスクリーン、ジョイスティック、ポインティングスティック、スタイラス、ライトペン、または任意の他の物理的または仮想的入力機構を含むことができる。一実施形態では、入力ユニット２０２はまた、接触、動き、または動きの中断を検出するように構成されたタッチスクリーンなどのグラフィカル入力デバイスを含むことができる。グラフィカル入力デバイスは、限定はしないが、容量性、抵抗性、赤外線、および表面弾性波技術、ならびに１つまたは複数の接触点を判定するための他の近接センサアレイまたは他の要素を含む複数のタッチ感度技術のいずれかを使用することができる。一実施形態では、入力ユニット２０２はまた、マイクロフォンなどの１つまたは複数の音声入力デバイスを含んでもよい。音声入力デバイスは、音声認識、音声複製、デジタル記録、および電話機能などの音声対応機能を容易にするために音声データを入力するためのすべての可能なタイプのデバイスおよび機構を含むことができる。一実施形態では、入力ユニット２０２はまた、画像データを取り込むように構成された、画像センサなどの１つまたは複数の画像入力デバイスを含んでもよい。一実施形態では、入力ユニット２０２はまた、手の動きおよび姿勢データを取り込むように構成された１つまたは複数の触覚手袋を含んでもよい。一実施形態では、入力ユニット２０２はまた、センサの近くの選択された領域内のオブジェクトの存在および／または動きを検出するように構成された１つまたは複数の近接センサを含むことができる。

いくつかの実施形態によれば、システムは、ユーザ、ユーザのアクション、またはユーザの環境に関連付けられた特性を検出および／または測定するように構成された少なくとも１つのセンサを含むことができる。少なくとも１つのセンサの一例は、入力ユニット２０２に含まれるセンサ２１６である。センサ２１６は、モーションセンサ、タッチセンサ、光センサ、赤外線センサ、音声センサ、画像センサ、近接センサ、測位センサ、ジャイロスコープ、温度センサ、バイオメトリックセンサ、または関連する機能を容易にするための任意の他の感知デバイスであってもよい。センサ２１６は、入力デバイスと一体化されてもよく、または入力デバイスに接続されてもよく、または入力デバイスから分離されてもよい。一例では、ユーザ１００の体温を判定するために、マウス１０６に温度計を含めることができる。別の例では、キーボード１０４に対するユーザ１００の動きを判定するために、位置決めセンサがキーボード１０４と一体化されてもよい。このような測位センサは、全地球測位システム（ＧＰＳ）、ＧＬＯｂａｌ ＮＡｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（ＧＬＯＮＡＳＳ）、Ｇａｌｉｌｅｏ全地球航法システム、ＢｅｉＤｏｕ航法システム、他の全地球航法衛星システム（ＧＮＳＳ）、インド地域航法衛星システム（ＩＲＮＳＳ）、ローカル測位システム（ＬＰＳ）、リアルタイムロケーションシステム（ＲＴＬＳ）、屋内測位システム（ＩＰＳ）、Ｗｉ－Ｆｉベースの測位システム、セルラー三角測量、画像ベースの測位技術、屋内測位技術、屋外測位技術、または任意の他の測位技術のうちの１つを使用して実施することができる。

いくつかの実施形態によれば、システムは、物理デバイス（物理入力デバイス、物理コンピューティングデバイス、キーボード１０４、マウス１０６、装着型エクステンデッド・リアリティ機器１１０など）の位置および／または動きを識別するための１つまたは複数のセンサを含むことができる。１つまたは複数のセンサは、物理デバイスに含まれてもよく、または物理デバイスの外部にあってもよい。いくつかの例では、物理デバイスの外部の画像センサ（例えば、他の物理デバイスに含まれる画像センサ）を使用して物理デバイスの画像データを取り込むことができ、画像データを解析して物理デバイスの位置および／または動きを識別することができる。例えば、画像データは、物理デバイスの動きを識別するために視覚オブジェクト追跡アルゴリズムを使用して解析されてもよく、物理デバイスの位置（例えば、グローバル座標系などにおいて、画像センサに対して）を識別するために視覚オブジェクト検出アルゴリズムを使用して解析されてもよい、などである。いくつかの例では、物理デバイスに含まれる画像センサを使用して画像データを取り込むことができ、画像データを解析して物理デバイスの位置および／または動きを識別することができる。例えば、画像データは、物理デバイスの位置を識別するためにビジュアルオドメトリアルゴリズムを使用して解析されてもよく、物理デバイスの動きを識別するためにエゴモーションアルゴリズムを使用して解析されてもよいなどである。いくつかの例では、屋内測位センサまたは屋外測位センサなどの測位センサが物理デバイスに含まれてもよく、物理デバイスの位置を決定するために使用されてもよい。いくつかの例では、加速度計またはジャイロスコープなどのモーションセンサが物理デバイスに含まれてもよく、物理デバイスの動きを判定するために使用されてもよい。いくつかの例では、キーボードまたはマウスなどの物理デバイスは、物理的表面上に配置されるように構成されてもよい。そのような物理デバイスは、物理的表面に向けられた光学式マウスセンサ（非機械的追跡エンジンとしても知られる）を含むことができ、光学式マウスセンサの出力は、物理的表面に対する物理デバイスの動きを決定するために解析することができる。

本開示と一致して、ＸＲユニット２０４は、仮想コンテンツをユーザ１００に提示するように構成された装着型エクステンデッド・リアリティ機器を含んでもよい。装着型エクステンデッド・リアリティ機器の一例は、装着型エクステンデッド・リアリティ機器１１０である。装着型エクステンデッド・リアリティ機器のさらなる例は、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、複合現実（ＭＲ）デバイス、またはエクステンデッド・リアリティコンテンツを生成することができる任意の他のデバイスを含むことができる。そのようなデバイスのいくつかの非限定的な例は、Ｎｒｅａｌ Ｌｉｇｈｔ、Ｍａｇｉｃ Ｌｅａｐ Ｏｎｅ、Ｖａｒｊｏ、Ｑｕｅｓｔ １／２、Ｖｉｖｅなどを含むことができる。いくつかの実施形態では、ＸＲユニット２０４は、仮想コンテンツをユーザ１００に提示することができる。一般に、エクステンデッド・リアリティ機器は、コンピュータ技術および装着型によって生成されるすべての現実および仮想の複合環境ならびに人間と機械との相互作用を含むことができる。上述したように、「エクステンデッド・リアリティ」（ＸＲ）という用語は、「完全な現実」から「完全な仮想」までの全スペクトルを含むスーパーセットを指す。それは、拡張現実（ＡＲ）、複合現実（ＭＲ）、仮想現実（ＶＲ）、およびそれらの間で補間された領域などの代表的な形態を含む。したがって、「ＸＲ機器」、「ＡＲ機器」、「ＶＲ機器」、および「ＭＲ機器」という用語は、本明細書では互換的に使用することができ、上に列挙した様々な機器のうちの任意のデバイスを指すことができることに留意されたい。

本開示と一致して、システムは、ユーザに関連付けられた様々な通信デバイス、例えば、モバイル通信デバイス２０６とデータを交換することができる。「通信デバイス」という用語は、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータを伝達するように構成された任意の他の通信ネットワークを使用してデータを交換することができるすべての可能なタイプのデバイスを含むことを意図している。いくつかの例では、通信デバイスは、スマートフォン、タブレット、スマートウォッチ、携帯情報端末、デスクトップコンピュータ、ラップトップコンピュータ、ＩｏＴデバイス、専用端末、装着型通信デバイス、およびデータ通信を可能にする任意の他のデバイスを含んでもよい。場合によっては、モバイル通信デバイス２０６は、入力ユニット２０２を補足または置換することができる。具体的には、モバイル通信デバイス２０６は、ポインティング入力デバイスとして機能することができる物理タッチコントローラに関連付けられてもよい。さらに、モバイル通信デバイス２０６はまた、例えば、仮想キーボードを実施し、テキスト入力デバイスを置き換えるために使用されてもよい。例えば、ユーザ１００がテーブル１０２から離れて自分のスマートグラスを持って休憩室に歩いていくと、迅速な回答を必要とする電子メールを受信することができる。この場合、ユーザは、自分のスマートウォッチを入力デバイスとして使用し、スマートグラスによって仮想的に提示されている間に電子メールに対する回答をタイプすることを選択することができる。

本開示と一致して、システムの実施形態は、クラウドサーバの使用を含むことができる。「クラウドサーバ」という用語は、インターネットなどのネットワークを介してサービスを提供するコンピュータプラットフォームを指す。図２に示す例示的な実施形態では、サーバ２１０は、個々のハードウェアに対応しなくてもよい仮想マシンを使用することができる。例えば、計算および／または記憶能力は、データセンタまたは分散コンピューティング環境などのスケーラブルなリポジトリから所望の計算／記憶電力の適切な部分を割り当てることによって実施されてもよい。具体的には、一実施形態では、リモート処理ユニット２０８をＸＲユニット２０４と共に使用して、仮想コンテンツをユーザ１００に提供することができる。一構成例では、サーバ２１０は、装着型エクステンデッド・リアリティ機器のオペレーションシステム（ＯＳ）として機能するクラウドサーバであってもよい。一例では、サーバ２１０は、カスタマイズされたハードワイヤードロジック、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ファームウェア、および／またはコンピュータシステムと組み合わせてサーバ２１０を専用マシンにするプログラムロジックを使用して、本明細書に記載の方法を実施することができる。

いくつかの実施形態では、サーバ２１０は、データ構造２１２にアクセスして、例えば、ユーザ１００を表示するための仮想コンテンツを決定することができる。データ構造２１２は、揮発性もしくは不揮発性、磁気、半導体、テープ、光学、取り外し可能、取り外し不能、他のタイプの記憶デバイスもしくは有形もしくは非一時的コンピュータ可読媒体、または情報を記憶するための任意の媒体もしくは機構を利用することができる。データ構造２１２は、図示するように、サーバ２１０の一部であってもよいし、サーバ２１０とは別個であってもよい。データ構造２１２がサーバ２１０の一部ではない場合、サーバ２１０は、通信リンクを介してデータ構造２１２とデータを交換することができる。データ構造２１２は、開示された方法の１つまたは複数の特徴を実行するために使用されるデータおよび命令を格納する１つまたは複数のメモリデバイスを含むことができる。一実施形態では、データ構造２１２は、ワークステーション上でホストされる小さなデータ構造からデータセンタ間に分散された大きなデータ構造まで、複数の適切なデータ構造のいずれかを含むことができる。データ構造２１２はまた、メモリ・コントローラ・デバイス（例えば、サーバ）またはソフトウェアによって制御される１つまたは複数のデータ構造の任意の組み合わせを含むことができる。

本開示と一致して、通信ネットワークは、通信をサポートし、情報を交換し、および／またはシステムの構成要素間の情報の交換を容易にする任意のタイプのネットワーク（インフラストラクチャを含む）であり得る。例えば、システム２００内の通信ネットワーク２１４は、例えば、電話ネットワーク、エクストラネット、イントラネット、インターネット、衛星通信、オフライン通信、無線通信、トランスポンダ通信、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク（例えば、Ｗｉ－Ｆｉ／３０２．１１ネットワーク）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータ送信を可能にする任意の他の機構もしくは機構の組み合わせを含むことができる。

図２に示されているシステム２００の構成要素および構成は、開示されているプロセスおよび特徴を実施するために使用されるシステム構成要素が異なり得るので、例示のみを意図しており、開示されている実施形態を限定することを意図していない。

図３は、入力ユニット２０２の構成例を示すブロック図である。図３は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。図３の実施形態では、入力ユニット２０２は、入力ユニット２０２内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス３００（または他の通信機構）に直接または間接的にアクセスすることができる。例えば、バス３００は、メモリインターフェース３１０、ネットワークインターフェース３２０、入力インターフェース３３０、電源３４０、出力インターフェース３５０、処理デバイス３６０、センサインターフェース３７０、およびデータベース３８０を相互接続することができる。

図３に示すメモリインターフェース３１０は、非一時的コンピュータ可読媒体に記憶されたソフトウェア製品および／またはデータにアクセスするために使用することができる。一般に、非一時的なコンピュータ可読記憶媒体は、少なくとも１つのプロセッサによって読み取り可能な情報またはデータを記憶することができる任意のタイプの物理メモリを指す。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭまたは任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップまたはカートリッジ、およびそれらのネットワークバージョンが挙げられる。「メモリ」および「コンピュータ可読記憶媒体」という用語は、入力ユニット内または遠隔地に配置された複数のメモリまたはコンピュータ可読記憶媒体などの複数の構造を指すことができる。さらに、１つまたは複数のコンピュータ可読記憶媒体は、コンピュータにより実施される方法を実施する際に利用することができる。したがって、コンピュータ可読記憶媒体という用語は、有形のアイテムを含み、搬送波および過渡信号を除外すると理解されるべきである。図３に示す特定の実施形態では、メモリインターフェース３１０を使用して、メモリデバイス３１１などのメモリデバイスに格納されたソフトウェア製品および／またはデータにアクセスすることができる。メモリデバイス３１１は、高速ランダムアクセスメモリおよび／または不揮発性メモリ、例えば、１つまたは複数の磁気ディスク記憶デバイス、１つまたは複数の光記憶デバイス、および／またはフラッシュメモリ（例えば、ＮＡＮＤ、ＮＯＲ）を含んでもよい。本開示と一致して、メモリデバイス３１１の構成要素は、システム２００の２つ以上のユニットおよび／または２つ以上のメモリデバイスに分散されてもよい。

図３に示すメモリデバイス３１１は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含むことができる。特に、メモリデバイス３１１は、入力決定モジュール３１２、出力決定モジュール３１３、センサ通信モジュール３１４、仮想コンテンツ決定モジュール３１５、仮想コンテンツ通信モジュール３１６、およびデータベース・アクセス・モジュール３１７を含むことができる。モジュール３１２～３１７は、入力ユニット２０２に関連付けられた少なくとも１つのプロセッサ（例えば、処理デバイス３６０）による実行のためのソフトウェア命令を含むことができる。入力決定モジュール３１２、出力決定モジュール３１３、センサ通信モジュール３１４、仮想コンテンツ決定モジュール３１５、仮想コンテンツ通信モジュール３１６、およびデータベース・アクセス・モジュール３１７は、様々な動作を実行するために協働することができる。例えば、入力決定モジュール３１２は、例えばキーボード１０４から受信したデータを用いてテキストを判定してもよい。その後に、出力決定モジュール３１３は、例えば、キーボード１０４に物理的または無線で結合された専用ディスプレイ３５２上に、最近入力されたテキストの提示をさせることができる。このようにして、ユーザ１００が入力すると、仮想画面１１２を見るために頭を絶えず上下に動かすことなく、タイプされたテキストのプレビューを見ることができる。センサ通信モジュール３１４は、ユーザ１００の状態を判定するために異なるセンサからデータを受信することができる。その後に、仮想コンテンツ決定モジュール３１５は、受信した入力および決定されたユーザ１００のステータスに基づいて、表示する仮想コンテンツを決定することができる。例えば、決定された仮想コンテンツは、キーボード１０４に仮想的に隣接して配置された仮想画面上の最近入力されたテキストの仮想提示であってもよい。仮想コンテンツ通信モジュール３１６は、仮想コンテンツ決定モジュール３１５によって決定されていない仮想コンテンツを取得してもよい（例えば、別のユーザのアバター）。仮想コンテンツの検索は、データベース３８０から、リモート処理ユニット２０８から、または任意の他のソースからであってもよい。

いくつかの実施形態では、入力決定モジュール３１２は、ポインタ入力３３１、テキスト入力３３２、音声入力３３３、およびＸＲ関連入力３３４を受信するために、入力インターフェース３３０の動作を調整することができる。ポインタ入力、文字入力、音声入力の詳細については上述した。「ＸＲ関連入力」という用語は、ユーザ１００に表示される仮想コンテンツの変更を生じさせる可能性がある任意のタイプのデータを含むことができる。一実施形態では、ＸＲ関連入力３３４は、ユーザ１００、装着型エクステンデッド・リアリティ機器（例えば、ユーザ１００の検出された手のジェスチャ）の画像データを含んでもよい。別の実施形態では、ＸＲ関連入力３３４は、ユーザ１００に近接する別のユーザの存在を示す無線通信を含んでもよい。本開示と一致して、入力決定モジュール３１２は、異なるタイプの入力データを同時に受信することができる。その後に、入力決定モジュール３１２は、検出された入力のタイプに基づいて異なる規則をさらに適用することができる。例えば、音声入力よりもポインタ入力が優先されてもよい。

いくつかの実施形態では、出力決定モジュール３１３は、光インジケータ３５１、ディスプレイ３５２、および／またはスピーカ３５３を使用して出力を生成するために、出力インターフェース３５０の動作を調整することができる。一般に、出力決定モジュール３１３によって生成された出力は、装着型エクステンデッド・リアリティ機器によって提示される仮想コンテンツを含まない。代わりに、出力決定モジュール３１３によって生成される出力は、入力ユニット２０２の動作および／またはＸＲユニット２０４の動作に関する様々な出力を含む。一実施形態では、光インジケータ３５１は、装着型エクステンデッド・リアリティ機器の状態を示す光インジケータを含むことができる。例えば、光インジケータは、装着型エクステンデッド・リアリティ機器１１０がキーボード１０４に接続されているときに緑色の光を表示し、装着型エクステンデッド・リアリティ機器１１０のバッテリが低いときに点滅してもよい。別の実施形態では、ディスプレイ３５２を使用して動作情報を表示することができる。例えば、ディスプレイは、装着型エクステンデッド・リアリティ機器が動作不能であるときにエラーメッセージを提示することができる。別の実施形態では、スピーカ３５３は、例えば、ユーザ１００が他のユーザのために音楽を再生したい場合に、音声を出力するために使用されてもよい。

いくつかの実施形態では、センサ通信モジュール３１４は、入力デバイスと一体化された、または入力デバイスに接続された１つまたは複数のセンサからセンサデータを受信するために、センサインターフェース３７０の動作を調整することができる。１つまたは複数のセンサは、音声センサ３７１、画像センサ３７２、モーションセンサ３７３、環境センサ３７４（例えば、温度センサ、周囲光検出器など）、および他のセンサ３７５を含むことができる。一実施形態では、センサ通信モジュール３１４から受信したデータを使用して、入力デバイスの物理的向きを判定することができる。入力デバイスの物理的向きは、ユーザの状態を示すことができ、傾斜運動、ロール運動、および横運動の組み合わせに基づいて決定することができる。その後に、入力デバイスの物理的向きは、仮想コンテンツ決定モジュール３１５によって、ユーザの状態（例えば、注意、眠い、活動的、座っている、立っている、後ろに傾いている、前に傾いている、歩いている、動いている、乗っているなど）に一致するように仮想コンテンツの表示パラメータを修正するために使用され得る。

いくつかの実施形態では、仮想コンテンツ決定モジュール３１５は、装着型エクステンデッド・リアリティ機器によって表示される仮想コンテンツを決定することができる。仮想コンテンツは、入力決定モジュール３１２、センサ通信モジュール３１４、および他のソース（例えば、データベース３８０）からのデータに基づいて決定され得る。いくつかの実施形態では、仮想コンテンツを決定することは、仮想オブジェクトの距離、サイズ、および向きを決定することを含むことができる。仮想オブジェクトの位置の決定は、仮想オブジェクトのタイプに基づいて決定されてもよい。具体的には、図１に示す例に関して、仮想コンテンツ決定モジュール３１５は、仮想ウィジェット１１４Ｅが仮想コントローラ（例えば、ボリュームバー）であるため、仮想画面１１２の両側に４つの仮想ウィジェット１１４Ａ～１１４Ｄを配置し、テーブル１０２上に仮想ウィジェット１１４Ｅを配置することを決定することができる。仮想オブジェクトの位置の決定は、ユーザの好みに基づいてさらに決定されてもよい。例えば、左利きのユーザについては、仮想コンテンツ決定モジュール３１５は、キーボード１０４の左に仮想ボリュームバーを配置することを決定することができ、右利きのユーザについては、仮想コンテンツ決定モジュール３１５は、仮想ボリュームバーをキーボード１０４の右に配置することを決定することができる。

いくつかの実施形態では、仮想コンテンツ通信モジュール３１６は、ユーザ１００に仮想コンテンツとして提示されるべき１つまたは複数のソースからデータを取得するためにネットワークインターフェース３２０の動作を調整してもよい。１つまたは複数のソースは、他のＸＲユニット２０４、ユーザのモバイル通信デバイス２０６、リモート処理ユニット２０８、公的に入手可能な情報などを含んでもよい。一実施形態では、仮想コンテンツ通信モジュール３１６は、モバイル通信デバイス２０６の仮想表現を提供するために、モバイル通信デバイス２０６と通信することができる。例えば、仮想表現は、ユーザ１００がメッセージを読み取り、モバイル通信デバイス２０６にインストールされたアプリケーションと対話することを可能にすることができる。仮想コンテンツ通信モジュール３１６はまた、仮想コンテンツを他のユーザと共有するためにネットワークインターフェース３２０の動作を調整することができる。一例では、仮想コンテンツ通信モジュール３１６は、入力決定モジュールからのデータを使用して、トリガ（例えば、トリガは、ユーザのジェスチャを含んでもよい）を識別し、仮想ディスプレイから物理ディスプレイ（例えば、ＴＶ）または異なるユーザの仮想ディスプレイにコンテンツを転送することができる。

いくつかの実施形態では、データベース・アクセス・モジュール３１７は、データベース３８０と協働して、格納されたデータを検索することができる。検索されたデータは、例えば、異なる仮想オブジェクトに関連付けられたプライバシーレベル、仮想オブジェクトと物理オブジェクトとの間の関係、ユーザの好み、ユーザの過去の行動などを含むことができる。上述したように、仮想コンテンツ決定モジュール３１５は、データベース３８０に格納されたデータを使用して仮想コンテンツを決定することができる。データベース３８０は、例えば、ベクトルデータベース、ラスタデータベース、タイルデータベース、ビューポートデータベース、および／またはユーザ入力データベースを含む別個のデータベースを含むことができる。データベース３８０に記憶されたデータは、モジュール３１４～３１７またはシステム２００の他の構成要素から受信されてもよい。さらに、データベース３８０に記憶されたデータは、データ入力、データ転送、またはデータアップロードを使用して入力として提供されてもよい。

モジュール３１２～３１７は、ソフトウェア、ハードウェア、ファームウェア、それらのいずれかの混合などで実施されてもよい。いくつかの実施形態では、モジュール３１２～３１７およびデータベース３８０に関連付けられたデータのうちのいずれか１つまたは複数は、ＸＲユニット２０４、モバイル通信デバイス２０６、またはリモート処理ユニット２０８に格納されてもよい。システム２００の処理デバイスは、モジュール３１２～３１７の命令を実行するように構成されてもよい。いくつかの実施形態では、モジュール３１２～３１７の態様は、ハードウェア、ソフトウェア（１つまたは複数の信号処理および／または特定用途向け集積回路を含む）、ファームウェア、またはそれらの任意の組み合わせで、１つまたは複数のプロセッサによって実行可能に、単独で、または互いに様々な組み合わせで実施されてもよい。具体的には、モジュール３１２～３１７は、開示された実施形態と一致する機能を実行するために、互いにおよび／またはシステム２００の他のモジュールと相互作用するように構成され得る。例えば、入力ユニット２０２は、ユーザ１００の頭の動きを判定するために、ＸＲユニット２０４からのデータに対して画像処理アルゴリズムを含む命令を実行してもよい。さらに、本明細書全体を通して、入力ユニット２０２に関して、または入力ユニット２０２の構成要素に関して説明される各機能は、前記機能を実行するための一組の命令に対応することができる。これらの命令は、別個のソフトウェアプログラム、手順、またはモジュールとして実施される必要はない。メモリデバイス３１１は、追加のモジュールおよび命令またはより少ないモジュールおよび命令を含むことができる。例えば、メモリデバイス３１１は、ＡＮＤＲＯＩＤ、ｉＯＳ、ＵＮＩＸ、ＯＳＸ、ＷＩＮＤＯＷＳ、ＤＡＲＷＩＮ、ＲＴＸＣ、ＬＩＮＵＸなどのオペレーティングシステム、またはＶＸＷｏｒｋＳなどの組み込みオペレーティングシステムを格納することができる。オペレーティングシステムは、基本的なシステムサービスを処理し、ハードウェア依存のタスクを実行するための命令を含むことができる。

図３に示すネットワークインターフェース３２０は、通信ネットワーク２１４などのネットワークに双方向データ通信を提供することができる。一実施形態では、ネットワークインターフェース３２０は、インターネットを介したデータ通信接続を提供するために、総合デジタル通信網（ＩＳＤＮ）カード、セルラーモデム、衛星モデム、またはモデムを含むことができる。別の例として、ネットワークインターフェース３２０は、無線ローカルエリアネットワーク（ＷＬＡＮ）カードを含むことができる。別の実施形態では、ネットワークインターフェース３２０は、無線周波数受信機および送信機ならびに／または光（例えば、赤外線）受信機および送信機に接続されたイーサネットポートを含むことができる。ネットワークインターフェース３２０の具体的な設計および実施態様は、入力ユニット２０２が動作するように意図されている通信ネットワークに依存し得る。例えば、いくつかの実施形態では、入力ユニット２０２は、ＧＳＭネットワーク、ＧＰＲＳネットワーク、ＥＤＧＥネットワーク、Ｗｉ－ＦｉまたはＷｉＭａｘネットワーク、およびＢｌｕｅｔｏｏｔｈネットワークを介して動作するように設計されたネットワークインターフェース３２０を含むことができる。任意のそのような実施態様では、ネットワークインターフェース３２０は、様々なタイプの情報を表すデジタルデータストリームまたはデジタル信号を搬送する電気信号、電磁信号、または光信号を送受信するように構成されてもよい。

図３に示す入力インターフェース３３０は、様々な入力デバイス、例えば、キーボード、マウス、タッチパッド、タッチスクリーン、１つまたは複数のボタン、ジョイスティック、マイクロフォン、画像センサ、および物理的または仮想的な入力を検出するように構成された任意の他のデバイスから入力を受信することができる。受信された入力は、テキスト、音声、音声、手のジェスチャ、身体のジェスチャ、触覚情報、およびユーザによって生成された任意の他のタイプの物理的または仮想的な入力のうちの少なくとも１つの形態であってもよい。図示の実施形態では、入力インターフェース３３０は、ポインタ入力３３１、テキスト入力３３２、音声入力３３３、およびＸＲ関連入力３３４を受信することができる。追加の実施形態では、入力インターフェース３３０は、処理デバイス３６０と上記の入力デバイスのいずれかとの間のブリッジとして機能することができる集積回路であってもよい。

図３に示す電源３４０は、電力入力ユニット２０２に電気エネルギーを供給することができ、任意選択的にＸＲユニット２０４にも電力を供給することができる。一般に、本開示の任意のデバイスまたはシステムに含まれる電源は、１つまたは複数のバッテリ（例えば、鉛蓄電池、リチウムイオン電池、ニッケル水素電池、ニッケルカドミウム電池）、１つまたは複数のコンデンサ、外部電源への１つまたは複数の接続、１つまたは複数の電力変換器、またはそれらの任意の組み合わせを含むがこれらに限定されない、電力を繰り返し貯蔵、分配、または伝達することができる任意のデバイスであってもよい。図３に示す例を参照すると、電源は可動式であってもよく、これは、入力ユニット２０２を手で容易に運ぶことができることを意味する（例えば、電源３４０の総重量は１ポンド未満であり得る）。電源の可動性は、ユーザ１００が様々な状況において入力ユニット２０２を使用することを可能にする。他の実施形態では、電源３４０は、電源３４０を充電するために使用され得る外部電源（電力網など）への接続に関連付けられ得る。さらに、電源３４０は、ＸＲユニット２０４に含まれる１つまたは複数のバッテリを充電するように構成されてもよく、例えば、一対のエクステンデッド・リアリティ・グラス（例えば、装着型エクステンデッド・リアリティ機器１１０）は、それらが入力ユニット２０２の上または近くに置かれたときに充電（例えば、無線または非無線で）され得る。

図３に示す出力インターフェース３５０は、例えば、光インジケータ３５１、ディスプレイ３５２、および／またはスピーカ３５３を使用して、様々な出力デバイスからの出力を生じさせることができる。一実施形態では、出力インターフェース３５０は、処理デバイス３６０と上記の出力デバイスの少なくとも一方との間のブリッジとして機能することができる集積回路であってもよい。光インジケータ３５１は、例えば異なる色に関連付けられたＬＥＤアレイなど、１つまたは複数の光源を含むことができる。ディスプレイ３５２は、画面（例えば、ＬＣＤまたはドットマトリックス画面）またはタッチスクリーンを含むことができる。スピーカ３５３は、音声ヘッドフォン、補聴器タイプのデバイス、スピーカ、骨伝導ヘッドフォン、触覚キューを提供するインターフェース、振動刺激デバイスなどを含むことができる。

図３に示す処理デバイス３６０は、本開示に記載の実施形態を実行するために、コンピュータプログラム、アプリケーション、方法、プロセス、または他のソフトウェアを実行するように構成された少なくとも１つのプロセッサを含むことができる。一般に、本開示の任意のデバイスまたはシステムに含まれる処理デバイスは、１つまたは複数の集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理デバイス（ＣＰＵ）、グラフィックス処理デバイス（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）の全部または一部、または命令を実行し、あるいは論理演算を実行するのに適した他の回路を含むことができる。処理デバイスは、Ｉｎｔｅｌ（商標）によって製造されたマイクロプロセッサなど、開示された方法の機能を実行するように構成された少なくとも１つのプロセッサを含むことができる。処理デバイスは、単一のコアまたは並列処理を同時に実行する複数のコアプロセッサを含むことができる。一例では、処理デバイスは、仮想処理技術で構成されたシングルコアプロセッサであってもよい。処理デバイスは、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、実行、操作、記憶などする能力を提供するために、仮想マシン技術または他の技術を実施することができる。別の例では、処理デバイスは、処理デバイスに関連付けられたデバイスが複数のプロセスを同時に実行することを可能にする並列処理機能を提供するように構成されたマルチコアプロセッサ構成（例えば、デュアル、クワッドコアなど）を含むことができる。本明細書に開示した機能を提供するために、他のタイプのプロセッサ構成を実施できることを理解されたい。

図３に示すセンサインターフェース３７０は、様々なセンサ、例えば、音声センサ３７１、画像センサ３７２、モーションセンサ３７３、環境センサ３７４、および他のセンサ３７５からセンサデータを取得することができる。一実施形態では、センサインターフェース３７０は、処理デバイス３６０と上記のセンサのうちの少なくとも１つとの間のブリッジとして機能することができる集積回路であってもよい。

音声センサ３７１は、音声をデジタル情報に変換することによって音声を取り込むように構成された１つまたは複数の音声センサを含んでもよい。音声センサのいくつかの例は、マイクロフォン、一方向マイクロフォン、双方向マイクロフォン、カージオイドマイクロフォン、全方向マイクロフォン、オンボードマイクロフォン、有線マイクロフォン、無線マイクロフォン、または上記の任意の組み合わせを含むことができる。本開示と一致して、処理デバイス３６０は、音声センサ３７１（例えば、音声コマンド）から受信したデータに基づいて仮想コンテンツの提示を修正することができる。

画像センサ３７２は、光を画像データに変換することによって視覚情報を取り込むように構成された１つまたは複数の画像センサを含むことができる。本開示と一致して、画像センサは、本開示における任意のデバイスまたはシステムに含まれてもよく、近赤外、赤外、可視、および紫外スペクトルの光信号を検出し、電気信号に変換することができる任意のデバイスであってもよい。画像センサの例は、デジタルカメラ、電話カメラ、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）またはＮ型金属酸化膜半導体（ＮＭＯＳ、ライブＭＯＳ）のアクティブピクセルセンサを含むことができる。電気信号は、画像データを生成するために使用され得る。本開示と一致して、画像データは、画素データストリーム、デジタル画像、デジタルビデオストリーム、取り込まれた画像から導出されたデータ、および１つまたは複数の３Ｄ画像、３Ｄ画像のシーケンス、３Ｄビデオ、または仮想３Ｄ表現を構築するために使用され得るデータを含むことができる。画像センサ３７２によって取得された画像データは、有線または無線送信によってシステム２００の任意の処理デバイスに送信することができる。例えば、画像データは、オブジェクトの検出、イベントの検出、アクションの検出、顔の検出、人物の検出、既知の人物の認識、またはシステム２００によって使用され得る任意の他の情報のために処理され得る。本開示と一致して、処理デバイス３６０は、画像センサ３７２から受信した画像データに基づいて仮想コンテンツの提示を修正することができる。

モーションセンサ３７３は、入力ユニット２０２の動きまたは入力ユニット２０２の環境内のオブジェクトの動きを測定するように構成された１つまたは複数のモーションセンサを含むことができる。具体的には、モーションセンサは、入力ユニット２０２の環境内のオブジェクトの動きを検出すること、入力ユニット２０２の環境内のオブジェクトの速度を測定すること、入力ユニット２０２の環境内のオブジェクトの加速度を測定すること、入力ユニット２０２の動きを検出すること、入力ユニット２０２の速度を測定すること、入力ユニット２０２の加速度を測定すること、などのうちの少なくとも１つを実行することができる。いくつかの実施形態では、モーションセンサ３７３は、入力ユニット２０２の適切な加速度の変更を検出し、および／または適切な加速度を測定するように構成された１つまたは複数の加速度計を含むことができる。他の実施形態では、モーションセンサ３７３は、入力ユニット２０２の向きの変更を検出し、および／または入力ユニット２０２の向きに関する情報を測定するように構成された１つまたは複数のジャイロスコープを含むことができる。他の実施形態では、モーションセンサ３７３は、画像センサ、ライダーセンサ、レーダセンサ、または近接センサを使用する１つまたは複数を含むことができる。例えば、取り込まれた画像を解析することによって、処理デバイスは、例えば、エゴモーションアルゴリズムを使用して、入力ユニット２０２の動きを決定することができる。さらに、処理デバイスは、例えば、オブジェクト追跡アルゴリズムを使用して、入力ユニット２０２の環境内のオブジェクトの動きを決定することができる。本開示と一致して、処理デバイス３６０は、入力ユニット２０２の決定された動きまたは入力ユニット２０２の環境内のオブジェクトの決定された動きに基づいて、仮想コンテンツの提示を修正することができる。例えば、入力ユニット２０２の動きに仮想ディスプレイを追従させる。

環境センサ３７４は、入力ユニット２０２の環境を反映したデータを取り込むように構成された異なるタイプの１つまたは複数のセンサを含むことができる。いくつかの実施形態では、環境センサ３７４は、入力ユニット２０２の環境内の化学的特性を測定すること、入力ユニット２０２の環境内の化学的特性の変化を測定すること、入力ユニット２０２の環境内の化学物質の存在を検出すること、入力ユニット２０２の環境内の化学物質の濃度を測定すること、のうちの少なくとも１つを実行するように構成された１つまたは複数の化学センサを含むことができる。そのような化学的特性の例には、ｐＨレベル、毒性、および温度が含まれ得る。そのような化学物質の例には、電解質、特定の酵素、特定のホルモン、特定のタンパク質、煙、二酸化炭素、一酸化炭素、酸素、オゾン、水素、および硫化水素が含まれ得る。他の実施形態では、環境センサ３７４は、入力ユニット２０２の環境の温度の変化を検出し、および／または入力ユニット２０２の環境の温度を測定するように構成された１つまたは複数の温度センサを含むことができる。他の実施形態では、環境センサ３７４は、入力ユニット２０２の環境内の気圧の変化を検出し、および／または入力ユニット２０２の環境内の気圧を測定するように構成された１つまたは複数の気圧計を含むことができる。他の実施形態では、環境センサ３７４は、入力ユニット２０２の環境内の周囲光の変化を検出するように構成された１つまたは複数の光センサを含むことができる。本開示と一致して、処理デバイス３６０は、環境センサ３７４からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、ユーザ１００の環境が暗くなったときに、仮想コンテンツの輝度を自動的に下げる。

他のセンサ３７５は、重量センサ、光センサ、抵抗センサ、超音波センサ、近接センサ、バイオメトリックセンサ、または関連する機能を容易にするための他の検知デバイスを含むことができる。特定の実施形態では、他のセンサ３７５は、入力ユニット２０２の測位情報を取得し、入力ユニット２０２の位置の変更を検出し、および／または入力ユニット２０２の位置を測定するように構成された１つまたは複数の測位センサを含むことができる。あるいは、ＧＰＳソフトウェアは、入力ユニット２０２が外部ＧＰＳ受信機（例えば、シリアルポートまたはＢｌｕｅｔｏｏｔｈを介して接続する）にアクセスすることを可能にすることができる。本開示と一致して、処理デバイス３６０は、他のセンサ３７５からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、生体センサからのデータを用いてユーザ１００を特定した後にのみ個人情報を提示する。

図３に示す構成要素および配置は、開示された実施形態を限定することを意図するものではない。本開示の利益を有する当業者には理解されるように、入力ユニット２０２の図示の構成に対して多数の変形および／または修正を行うことができる。例えば、入力ユニットの動作にすべての構成要素が必須であるとは限らない。任意の構成要素を入力ユニットの任意の適切な部分に配置することができ、開示された実施形態の機能を提供しながら、構成要素を様々な構成に再配置することができる。例えば、いくつかの入力ユニットは、入力ユニット２０２に示すように、要素のすべてを含まなくてもよい。

図４は、ＸＲユニット２０４の構成例を示すブロック図である。図４は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。図４の実施形態では、ＸＲユニット２０４は、ＸＲユニット２０４内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス４００（または他の通信メカニズム）に直接的または間接的にアクセスし得る。例えば、バス４００は、メモリインターフェース４１０、ネットワークインターフェース４２０、入力インターフェース４３０、電源４４０、出力インターフェース４５０、処理デバイス４６０、センサインターフェース４７０、およびデータベース４８０を相互接続することができる。

図４に示すメモリインターフェース４１０は、詳細に上述したメモリインターフェース３１０の機能と同様の機能を有すると仮定される。メモリインターフェース４１０は、非一時的コンピュータ可読媒体またはメモリデバイス４１１などのメモリデバイスに記憶されたソフトウェア製品および／またはデータにアクセスするために使用することができる。メモリデバイス４１１は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含むことができる。特に、メモリデバイス４１１は、入力決定モジュール４１２、出力決定モジュール４１３、センサ通信モジュール４１４、仮想コンテンツ決定モジュール４１５、仮想コンテンツ通信モジュール４１６、およびデータベース・アクセス・モジュール４１７を含むことができる。モジュール４１２～４１７は、ＸＲユニット２０４に関連付けられる少なくとも１つのプロセッサ（例えば、処理デバイス４６０）による実行のためのソフトウェア命令を含んでもよい。入力決定モジュール４１２、出力決定モジュール４１３、センサ通信モジュール４１４、仮想コンテンツ決定モジュール４１５、仮想コンテンツ通信モジュール４１６、およびデータベース・アクセス・モジュール４１７は、様々な動作を実行するために協働することができる。例えば、入力決定モジュール４１２は、入力ユニット２０２から受信したユーザインターフェース（ＵＩ）入力を決定することができる。同時に、センサ通信モジュール４１４は、ユーザ１００の状態を判定するために異なるセンサからデータを受信することができる。仮想コンテンツ決定モジュール４１５は、受信した入力および決定されたユーザ１００の状態に基づいて、表示すべき仮想コンテンツを決定することができる。仮想コンテンツ通信モジュール４１６は、仮想コンテンツ決定モジュール４１５によって決定されていない仮想コンテンツを検索し得る。仮想コンテンツの検索は、データベース３８０、データベース４８０、モバイル通信デバイス２０６、またはリモート処理ユニット２０８からのものであってもよい。仮想コンテンツ決定モジュール４１５の出力に基づいて、出力決定モジュール４１３は、プロジェクタ４５４によってユーザ１００に表示される仮想コンテンツの変更を生じさせることができる。

いくつかの実施形態では、入力決定モジュール４１２は、ジェスチャ入力４３１、仮想入力４３２、音声入力４３３、およびＵＩ入力４３４を受け取るために入力インターフェース４３０の動作を調整することができる。本開示と一致して、入力決定モジュール４１２は、異なるタイプの入力データを同時に受信することができる。一実施形態では、入力決定モジュール４１２は、検出された入力のタイプに基づいて異なる規則を適用することができる。例えば、ジェスチャ入力は、仮想入力よりも優先され得る。いくつかの実施形態では、出力決定モジュール４１３は、光インジケータ４５１、ディスプレイ４５２、スピーカ４５３、およびプロジェクタ４５４を使用して出力を生成するために、出力インターフェース４５０の動作を調整することができる。一実施形態では、光インジケータ４５１は、装着型エクステンデッド・リアリティ機器の状態を示す光インジケータを含むことができる。例えば、光インジケータは、装着型エクステンデッド・リアリティ機器１１０が入力ユニット２０２に接続されているときに緑色の光を表示し、装着型エクステンデッド・リアリティ機器１１０のバッテリが低いときに点滅してもよい。別の実施形態では、ディスプレイ４５２を使用して動作情報を表示することができる。別の実施形態では、スピーカ４５３は、ユーザ１００に音声を出力するために使用される骨伝導ヘッドフォンを含むことができる。別の実施形態では、プロジェクタ４５４は、仮想コンテンツをユーザ１００に提示することができる。

センサ通信モジュール、仮想コンテンツ決定モジュール、仮想コンテンツ通信モジュール、およびデータベース・アクセス・モジュールの動作は、図３を参照して上述されており、その詳細はここでは繰り返さない。モジュール４１２～４１７は、ソフトウェア、ハードウェア、ファームウェア、それらのいずれかの混合などで実施されてもよい。

図４に示すネットワークインターフェース４２０は、詳細に上述したネットワークインターフェース３２０の機能と同様の機能を有すると仮定される。ネットワークインターフェース４２０の具体的な設計および実施態様は、ＸＲユニット２０４が動作することが意図されている通信ネットワークに依存し得る。例えば、いくつかの実施形態では、ＸＲユニット２０４は、入力ユニット２０２にワイヤによって選択的に接続可能であるように構成される。ワイヤで接続されている場合、ネットワークインターフェース４２０は、入力ユニット２０２との通信を可能にすることができ、ワイヤで接続されていない場合、ネットワークインターフェース４２０は、モバイル通信デバイス２０６との通信を可能にすることができる。

図４に示す入力インターフェース４３０は、詳細に上述した入力インターフェース３３０の機能と同様の機能を有すると仮定される。この場合、入力インターフェース４３０は、画像センサと通信してジェスチャ入力４３１（例えば、仮想オブジェクトを指すユーザ１００の指）を取得し、他のＸＲユニット２０４と通信して仮想入力４３２（例えば、ＸＲユニット２０４と共有される仮想オブジェクト、または仮想環境内で検出されたアバターのジェスチャ）を取得し、マイクロフォンと通信して音声入力４３３（例えば、音声コマンド）を取得し、入力ユニット２０２と通信してＵＩ入力４３４（例えば、仮想コンテンツ決定モジュール３１５によって決定された仮想コンテンツ）を取得してもよい。

図４に示す電源４４０は、上述した電源３４０の機能と同様の機能を有すると仮定され、ＸＲユニット２０４に電力を供給するために電気エネルギーを供給する。いくつかの実施形態では、電源４４０は、電源３４０によって充電されてもよい。例えば、電源４４０は、ＸＲユニット２０４が入力ユニット２０２の上または近傍に配置されたときに無線で変更されてもよい。

図４に示す出力インターフェース４５０は、詳細に上述した出力インターフェース３５０の機能と同様の機能を有すると仮定される。この場合、出力インターフェース４５０は、光インジケータ４５１、ディスプレイ４５２、スピーカ４５３、およびプロジェクタ４５４からの出力を生じさせることができる。プロジェクタ４５４は、仮想コンテンツを表面上に表示するために光を投影する（または方向付ける）ことができる任意のデバイス、装置、機器などであってもよい。表面は、ＸＲユニット２０４の一部、ユーザ１００の眼の一部、またはユーザ１００に近接するオブジェクトの一部であってもよい。一実施形態では、プロジェクタ４５４は、１つまたは複数のミラーおよびレンズによって限られた立体角内に光を集光し、規定された方向に高い値の光度を提供する照明ユニットを含むことができる。

図４に示す処理デバイス４６０は、詳細に上述した処理デバイス３６０の機能と同様の機能を有すると仮定される。ＸＲユニット２０４が入力ユニット２０２に接続されると、処理デバイス４６０は処理デバイス３６０と協働してもよい。具体的には、処理デバイス４６０は、仮想マシン技術または他の技術を実施して、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、実行、操作、記憶などする能力を提供することができる。本明細書に開示した能力を提供するために、他のタイプのプロセッサ構成を実施できることを理解されたい。

図４に示すセンサインターフェース４７０は、詳細に上述したセンサインターフェース３７０の機能と同様の機能を有すると仮定される。具体的には、センサインターフェース４７０は、音声センサ４７１、画像センサ４７２、モーションセンサ４７３、環境センサ４７４、および他のセンサ４７５と通信することができる。音声センサ、画像センサ、モーションセンサ、環境センサ、および他のセンサの動作は、図３を参照して上述されており、その詳細はここでは繰り返さない。本明細書に開示した能力を提供するために、他のタイプおよびセンサの組み合わせが使用されてもよいことが理解される。

図４に示す構成要素および配置は、開示された実施形態を限定することを意図するものではない。本開示の利益を有する当業者によって理解されるように、多数の変形および／または修正が、図示したＸＲユニット２０４の構成に対して行われ得る。例えば、すべての構成要素がすべての場合においてＸＲユニット２０４の動作に必須であるとは限らない。任意の構成要素は、システム２００の任意の適切な部分に配置されてもよく、構成要素は、開示された実施形態の機能を提供しながら様々な構成に再配置されてもよい。例えば、一部のＸＲユニットは、ＸＲユニット２０４内のすべての要素を含まなくてもよい（例えば、装着型エクステンデッド・リアリティ機器１１０は、光インジケータ４５１を有さなくてもよい）。

図５は、リモート処理ユニット２０８の構成例を示すブロック図である。図５は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。図５の実施形態では、リモート処理ユニット２０８は、サーバ２１０内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス５００（または他の通信機構）に直接または間接的にアクセスするサーバ２１０を含むことができる。例えば、バス５００は、メモリインターフェース５１０、ネットワークインターフェース５２０、電源５４０、処理デバイス５６０、およびデータベース５８０を相互接続することができる。リモート処理ユニット２０８はまた、１つまたは複数のデータ構造を含むことができる。例えば、データ構造２１２Ａ、２１２Ｂ、および２１２Ｃ。

図５に示すメモリインターフェース５１０は、詳細に上述したメモリインターフェース３１０の機能と同様の機能を有すると仮定される。メモリインターフェース５１０は、非一時的コンピュータ可読媒体に、またはメモリデバイス３１１、４１１、５１１、またはデータ構造２１２Ａ、２１２Ｂ、および２１２Ｃなどの他のメモリデバイスに記憶されたソフトウェア製品および／またはデータにアクセスするために使用することができる。メモリデバイス５１１は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含むことができる。特に、メモリデバイス５１１は、共有メモリモジュール５１２、ノード登録モジュール５１３、負荷分散モジュール５１４、１つまたは複数の計算ノード５１５、内部通信モジュール５１６、外部通信モジュール５１７、およびデータベース・アクセス・モジュール（図示せず）を含むことができる。モジュール５１２～５１７は、リモート処理ユニット２０８に関連付けられた少なくとも１つのプロセッサ（例えば、処理デバイス５６０）による実行のためのソフトウェア命令を含むことができる。共有メモリモジュール５１２、ノード登録モジュール５１３、負荷分散モジュール５１４、計算モジュール５１５、および外部通信モジュール５１７は、様々な動作を実行するために協働することができる。

共有メモリモジュール５１２は、リモート処理ユニット２０８とシステム２００の他の構成要素との間の情報共有を可能にすることができる。いくつかの実施形態では、共有メモリモジュール５１２は、処理デバイス５６０（およびシステム２００内の他の処理デバイス）がデータにアクセスし、検索し、および記憶することを可能にするように構成されてもよい。例えば、共有メモリモジュール５１２を使用して、処理デバイス５６０は、メモリデバイス５１１、データベース５８０、もしくはデータ構造２１２Ａ～Ｃに記憶されたソフトウェアプログラムを実行するステップ、メモリデバイス５１１、データベース５８０、もしくはデータ構造２１２Ａ～Ｃに情報を記憶するステップ、または、メモリデバイス５１１、データベース５８０、またはデータ構造２１２Ａ～Ｃから情報を検索するステップのうちの少なくとも１つを実行することができる。

ノード登録モジュール５１３は、１つまたは複数の計算ノード５１５の利用可能性を追跡するように構成することができる。いくつかの例では、ノード登録モジュール５１３は、１つまたは複数の計算ノード５１５によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェア解決策、またはソフトウェアとハードウェアの組み合わせ解決策として実施されてもよい。いくつかの実施態様では、ノード登録モジュール５１３は、例えば、内部通信モジュール５１６を使用して、１つまたは複数の計算ノード５１５と通信することができる。いくつかの例では、１つまたは複数の計算ノード５１５は、例えば、起動時、シャットダウン時、一定間隔で、選択された時間に、ノード登録モジュール５１３から受信したクエリに応答して、または任意の他の決定された時間にメッセージを送信することによって、それらの状態をノード登録モジュール５１３に通知することができる。いくつかの例では、ノード登録モジュール５１３は、例えば、起動時に、一定間隔で、選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、１つまたは複数の計算ノード５１５の状態について照会することができる。

負荷分散モジュール５１４は、ワークロードを１つまたは複数の計算ノード５１５の間で分割するように構成することができる。いくつかの例では、負荷分散モジュール５１４は、計算ノード５１５のうちの１つまたは複数によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェア解決策、またはソフトウェアとハードウェアの組み合わせ解決策として実施されてもよい。いくつかの実施態様では、負荷分散モジュール５１４は、１つまたは複数の計算ノード５１５の利用可能性に関する情報を取得するために、ノード登録モジュール５１３と対話することができる。いくつかの実施態様では、負荷分散モジュール５１４は、例えば、内部通信モジュール５１６を使用して、１つまたは複数の計算ノード５１５と通信することができる。いくつかの例では、１つまたは複数の計算ノード５１５は、例えば、起動時、シャットダウン時、一定間隔で、選択された時間に、負荷分散モジュール５１４から受信した問い合わせに応答して、または任意の他の決定された時間にメッセージを送信することによって、負荷分散モジュール５１４にそれらの状態を通知することができる。いくつかの例では、負荷分散モジュール５１４は、例えば、起動時、一定間隔で、予め選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、１つまたは複数の計算ノード５１５の状態について照会することができる。

内部通信モジュール５１６は、リモート処理ユニット２０８の１つまたは複数の構成要素から情報を受信および／または送信するように構成されてもよい。例えば、制御信号および／または同期信号は、内部通信モジュール５１６を介して送信および／または受信することができる。一実施形態では、コンピュータプログラムの入力情報、コンピュータプログラムの出力情報、および／またはコンピュータプログラムの中間情報は、内部通信モジュール５１６を介して送信および／または受信することができる。別の実施形態では、内部通信モジュール５１６を介して受信された情報は、メモリデバイス５１１、データベース５８０、データ構造２１２Ａ～Ｃ、またはシステム２００内の他のメモリデバイスに記憶されてもよい。例えば、データ構造２１２Ａから検索された情報は、内部通信モジュール５１６を使用して送信されてもよい。別の例では、入力データは、内部通信モジュール５１６を使用して受信され、データ構造２１２Ｂに格納され得る。

外部通信モジュール５１７は、システム２００の１つまたは複数の構成要素から情報を受信および／または送信するように構成されてもよい。例えば、制御信号は、外部通信モジュール５１７を介して送信および／または受信することができる。一実施形態では、外部通信モジュール５１７を介して受信された情報は、メモリデバイス５１１、データベース５８０、データ構造２１２Ａ～Ｃ、および／またはシステム２００内の任意のメモリデバイスに格納することができる。別の実施形態では、データ構造２１２Ａ～Ｃのいずれかから検索された情報は、外部通信モジュール５１７を使用してＸＲユニット２０４に送信されてもよい。別の実施形態では、入力データは、外部通信モジュール５１７を使用して送信および／または受信することができる。そのような入力データの例は、入力ユニット２０２から受信したデータ、（例えば、音声センサ４７１、画像センサ４７２、モーションセンサ４７３、環境センサ４７４、他のセンサ４７５）１つまたは複数のセンサを使用してユーザ１００の環境から取り込まれた情報などを含むことができる。

いくつかの実施形態では、モジュール５１２～５１７の態様は、ハードウェア、ソフトウェア（１つまたは複数の信号処理および／または特定用途向け集積回路を含む）、ファームウェア、またはそれらの任意の組み合わせで、１つまたは複数のプロセッサによって実行可能に、単独で、または互いに様々な組み合わせで実施されてもよい。具体的には、モジュール５１２～５１７は、開示された実施形態と一致する機能を実行するために、互いにおよび／またはシステム２００の他のモジュールと相互作用するように構成され得る。メモリデバイス５１１は、追加のモジュールおよび命令またはより少ないモジュールおよび命令を含むことができる。

図５に示すネットワークインターフェース５２０、電源５４０、処理デバイス５６０、およびデータベース５８０は、図４および図５を参照して上述した同様の要素の機能と同様の機能を有すると仮定される。上述の構成要素の具体的な設計および実施態様は、システム２００の実施態様に基づいて変化し得る。さらに、リモート処理ユニット２０８は、より多くのまたはより少ない構成要素を含むことができる。例えば、リモート処理ユニット２０８は、１つまたは複数の入力デバイスから直接入力を受信するように構成された入力インターフェースを含むことができる。

本開示と一致して、システム２００の処理デバイス（例えば、モバイル通信デバイス２０６内のプロセッサ、サーバ２１０内のプロセッサ、装着型エクステンデッド・リアリティ機器１１０などの装着型エクステンデッド・リアリティ機器内のプロセッサ、および／またはキーボード１０４などの装着型エクステンデッド・リアリティ機器１１０に関連付けられた入力デバイス内のプロセッサ）は、本明細書に開示した方法のいずれかを実施するために機械学習アルゴリズムを使用することができる。いくつかの実施形態では、機械学習アルゴリズム（本開示では機械学習モデルとも呼ばれる）は、例えば以下に説明する場合に、訓練例を使用して訓練することができる。そのような機械学習アルゴリズムのいくつかの非限定的な例は、分類アルゴリズム、データ回帰アルゴリズム、画像セグメント化アルゴリズム、視覚検出アルゴリズム（オブジェクト検出器、顔検出器、人物検出器、動き検出器、縁部検出器など）、視覚認識アルゴリズム（顔認識、人物認識、オブジェクト認識など）、音声認識アルゴリズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクターマシン、ランダムフォレスト、最近傍アルゴリズム、ディープラーニングアルゴリズム、人工ニューラルネットワークアルゴリズム、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アンサンブルアルゴリズムなどを含んでもよい。例えば、訓練された機械学習アルゴリズムは、予測モデル、分類モデル、データ回帰モデル、クラスタリングモデル、セグメント化モデル、人工ニューラルネットワーク（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワークなど）、ランダムフォレスト、サポートベクターマシンなどの推論モデルを含んでもよい。いくつかの例では、訓練例は、例の入力と、例の入力に対応する所望の出力とを含むことができる。さらに、いくつかの例では、訓練例を使用して訓練された機械学習アルゴリズムは、訓練された機械学習アルゴリズムを生成することができ、訓練された機械学習アルゴリズムは、訓練例に含まれない入力に対する出力を推定するために使用され得る。いくつかの例では、機械学習アルゴリズムを訓練するエンジニア、科学者、プロセス、および機械は、検証例および／またはテスト例をさらに使用することができる。例えば、検証例および／またはテスト例は、例示的な入力に対応する所望の出力と共に例示的な入力を含むことができ、訓練された機械学習アルゴリズムおよび／または中間的に訓練された機械学習アルゴリズムを使用して、検証例および／またはテスト例の例示的な入力の出力を推定することができ、推定された出力を対応する所望の出力と比較することができ、訓練された機械学習アルゴリズムおよび／または中間的に訓練された機械学習アルゴリズムは、比較の結果に基づいて評価することができる。いくつかの例では、機械学習アルゴリズムはパラメータおよびハイパーパラメータを有することができ、ハイパーパラメータは、人によって手動でまたは機械学習アルゴリズムの外部のプロセス（ハイパーパラメータ探索アルゴリズムなど）によって自動的に設定することができ、機械学習アルゴリズムのパラメータは、訓練例に基づいて機械学習アルゴリズムによって設定することができる。いくつかの実施態様では、ハイパーパラメータは、訓練例および検証例に基づいて設定されてもよく、パラメータは、訓練例および選択されたハイパーパラメータに基づいて設定されてもよい。例えば、ハイパーパラメータが与えられると、パラメータは、検証例から条件的に独立していてもよい。

いくつかの実施形態では、訓練された機械学習アルゴリズム（本開示では機械学習モデルおよび訓練された機械学習モデルとも呼ばれる）を使用して、例えば以下に説明する場合に、入力を解析し、出力を生成することができる。いくつかの例では、訓練された機械学習アルゴリズムは、入力が提供されると推論された出力を生成する推論モデルとして使用することができる。例えば、訓練された機械学習アルゴリズムは分類アルゴリズムを含むことができ、入力はサンプルを含むことができ、推論された出力はサンプルの分類（例えば、推測されたラベル、推測されたタグなど）を含むことができる。別の例では、訓練された機械学習アルゴリズムは回帰モデルを含むことができ、入力はサンプルを含むことができ、推論された出力はサンプルに対応する推論された値を含むことができる。さらに別の例では、訓練された機械学習アルゴリズムはクラスタリングモデルを含むことができ、入力はサンプルを含むことができ、推論された出力は、少なくとも１つのクラスタへのサンプルの割り当てを含むことができる。追加の例では、訓練された機械学習アルゴリズムは分類アルゴリズムを含むことができ、入力は画像を含むことができ、推論された出力は画像に描写されたアイテムの分類を含むことができる。さらに別の例では、訓練された機械学習アルゴリズムは回帰モデルを含むことができ、入力は画像を含むことができ、推論された出力は、画像に描写されたアイテムに対応する推論された値を含むことができる（例えば、画像に描写された人のサイズ、体積、年齢、画像に描写されたアイテムからの距離などのアイテムの推定された特性など）。追加の例では、訓練された機械学習アルゴリズムは画像セグメント化モデルを含むことができ、入力は画像を含むことができ、推論された出力は画像のセグメント化を含むことができる。さらに別の例では、訓練された機械学習アルゴリズムは、オブジェクト検出器を含むことができ、入力は画像を含むことができ、推論された出力は、画像内の１つもしくは複数の検出されたオブジェクトおよび／または画像内のオブジェクトの１つもしくは複数の位置を含むことができる。いくつかの例では、訓練された機械学習アルゴリズムは、１つもしくは複数の公式および／または１つもしくは複数の関数および／または１つもしくは複数の規則および／または１つもしくは複数の手順を含むことができ、入力は、公式および／または関数および／または規則および／または手順への入力として使用することができ、推論された出力は、公式および／または関数および／または規則および／または手順の出力に基づくことができる（例えば、公式および／または関数および／または規則および／または手順の出力のうちの１つを選択すること、公式および／または関数および／または規則および／または手順の出力の統計的尺度を使用することなど）。

本開示と一致して、システム２００の処理デバイスは、本明細書に開示する方法のいずれかを実施するために、画像センサ（例えば、画像センサ３７２、画像センサ４７２、または任意の他の画像センサ）によって取り込まれた画像データを解析することができる。いくつかの実施形態では、画像データを解析することは、画像データを解析して前処理された画像データを得ることと、その後に、画像データおよび／または前処理された画像データを解析して所望の結果を得ることとを含むことができる。当業者は、以下が例であり、画像データが他の種類の前処理方法を使用して前処理され得ることを認識するであろう。いくつかの例では、変換関数を使用して画像データを変換して変換画像データを得ることによって画像データを前処理することができ、前処理された画像データは変換画像データを含むことができる。例えば、変換画像データは、画像データの１つまたは複数の畳み込みを含むことができる。例えば、変換関数は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、オールパスフィルタなどの１つまたは複数の画像フィルタを含むことができる。いくつかの例では、変換関数は非線形関数を含んでもよい。いくつかの例では、画像データは、例えばガウス畳み込みを使用して、メディアンフィルタを使用してなど、画像データの少なくとも一部を平滑化することによって前処理されてもよい。いくつかの例では、画像データは、画像データの異なる表現を取得するために前処理されてもよい。例えば、前処理された画像データは、周波数領域における画像データの少なくとも一部の表現、画像データの少なくとも一部の離散フーリエ変換、画像データの少なくとも一部の離散ウェーブレット変換、画像データの少なくとも一部の時間／周波数表現、画像データの少なくとも一部の低次元での表現、画像データの少なくとも一部の非可逆表現、画像データの少なくとも一部の可逆表現、上記のいずれかの時間順序系列、および上記の任意の組み合わせなどを含んでもよい。いくつかの例では、画像データを前処理して縁部を抽出することができ、前処理された画像データは、抽出された縁部に基づくおよび／または関連する情報を含むことができる。いくつかの例では、画像データを前処理して、画像データから画像特徴を抽出することができる。そのような画像特徴のいくつかの非限定的な例は、縁部、角部、ブロブ、リッジ、スケール不変特徴変換（ＳＩＦＴ）特徴、時間的特徴、などに基づくおよび／または関連する情報を含むことができる。いくつかの例では、画像データを解析することは、画像データの少なくとも一部の少なくとも１つの畳み込みを計算することと、計算された少なくとも１つの畳み込みを使用して、少なくとも１つの結果値を計算すること、および／または判定、識別、認識、分類などを行うこととを含むことができる。

本開示の他の態様と一致して、システム２００の処理デバイスは、本明細書に開示した方法のいずれかを実施するために画像データを解析することができる。いくつかの実施形態では、画像を解析することは、１つまたは複数の規則、関数、手順、人工ニューラルネットワーク、オブジェクト検出アルゴリズム、顔検出アルゴリズム、視覚事象検出アルゴリズム、アクション検出アルゴリズム、動き検出アルゴリズム、背景減算アルゴリズム、推論モデルなどを使用して画像データおよび／または前処理された画像データを解析することを含むことができる。そのような推論モデルのいくつかの非限定的な例は、手動で事前にプログラムされた推論モデル、分類モデル、回帰モデル、機械学習アルゴリズムおよび／またはディープラーニングアルゴリズムなどの訓練アルゴリズムの訓練例に対する結果を含むことができ、ここで、訓練例はデータインスタンスの例を含むことができ、場合によっては、データインスタンスは対応する所望のラベルおよび／または結果などでラベル付けされてもよい。いくつかの実施形態では、（例えば、本明細書に記載の方法、ステップ、およびモジュールによって）画像データを解析することは、画像データに含まれる画素、ボクセル、点群、距離データなどを解析することを含むことができる。

畳み込みは、任意の次元の畳み込みを含んでもよい。１次元畳み込みは、元の数列を変換された数列に変換する関数である。１次元畳み込みは、一連のスカラーによって定義され得る。変換された数列内の各特定の値は、特定の値に対応する元の数列の部分列内の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された数列内の任意の値を含むことができる。同様に、ｎ次元畳み込みは、元のｎ次元配列を変換済み配列に変換する関数である。ｎ次元畳み込みは、スカラーのｎ次元アレイ（ｎ次元畳み込みのカーネルとして知られている）によって定義され得る。変換された配列内の各特定の値は、特定の値に対応する元の配列のｎ次元領域内の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された配列内の任意の値を含むことができる。いくつかの例では、画像は、１つまたは複数の成分（例えば、色成分、深度成分など）を含むことができ、各成分は、画素値の２次元配列を含むことができる。一例では、画像の畳み込みを計算することは、画像の１つまたは複数の成分に対する２次元畳み込みを計算することを含むことができる。別の例では、画像の畳み込みを計算することは、異なる成分からの配列を積み重ねて３次元配列を作成することと、得られた３次元配列に対して３次元畳み込みを計算することと、を含むことができる。いくつかの例では、ビデオは、１つまたは複数の構成要素（例えば、色成分、深度成分など）を含むことができ、各構成要素は、（２つの空間軸および１つの時間軸を有する）画素値の３次元アレイを含むことができる。一例では、ビデオの畳み込みを計算することは、ビデオの１つまたは複数の構成要素上の３次元畳み込みを計算することを含むことができる。別の例では、ビデオの畳み込みを計算することは、異なる構成要素からの配列を積み重ねて４次元配列を作成することと、得られた４次元配列に対して４次元畳み込みを計算することとを含むことができる。

いくつかの実施形態では、一体型計算インターフェースデバイスは、キー領域と非キー領域とを有するポータブルハウジングを含むことができる。一体型計算インターフェースデバイスのハウジングは、一体型計算インターフェースデバイスに関連付けられた１つまたは複数の構成要素を含むことができる外側カバーまたはシェルを含むことができる。開示された典型的なハウジングは、一体型計算インターフェースデバイスの構成要素を囲むことができ、一体型計算インターフェースデバイスの一部またはすべての構成要素をカバーすることができる。開示された典型的なハウジングは、一体型計算インターフェースデバイスの特定の構成要素（例えば、ＵＳＢまたは他のポート）を露出させることができるか、または特定の構成要素（例えば、キーボードのキー）をハウジングから突出させることができる１つまたは複数の開口部を有することができると考えられる。ハウジングは、ハウジングの内部部分に一体型計算インターフェースデバイス（例えば、回路基板）の特定の構成要素を支持することができる。ハウジングは、一体型計算インターフェースデバイスの１つまたは複数の構成要素をハウジングに取り付けることを可能にすることができる追加の構造的特徴を含むことができる。ハウジングは、正方形、長方形、またはユーザの机、ラップ、または他の適切な作業面に適合するようなサイズの他の形状であってもよい。ハウジングは、プラスチック、金属、プラスチックと金属との組み合わせ、または他の適切な材料で作られてもよい。

一体型計算デバイスのハウジングは、キー領域と、キー領域とは異なる非キー領域とを含んでもよい。一体型計算インターフェースデバイスのキー領域は、ユーザが英数字または他の文字を入力として入力することを可能にすることができる１つまたは複数のキーを含むことができる。例えば、いくつかの実施形態では、キーボードは、ハウジングのキー領域に関連付けられてもよい。キーボードは、標準的なタイプライタスタイルのキーボード（例えば、ＱＷＥＲＴＹスタイルのキーボード）、またはＤｖｏｒａｋレイアウトもしくはコード化レイアウトなどの他の適切なキーボードレイアウトであってもよい。キーボードは、任意の適切な数のキーを含むことができ、例えば、「フルサイズ」キーボードは、最大１０４個または１０５個のキーを含んでもよい。いくつかの実施形態では、キーボードは少なくとも３０個のキーを含んでもよい。他の実施形態では、キーボードは、１０未満のキー、少なくとも１０個のキー、少なくとも２０個のキー、少なくとも５０個のキー、少なくとも８０個のキー、少なくとも１００個のキーなどを含んでもよい。

キー領域は、英数字キー、機能キー、修飾キー、カーソルキー、システムキー、マルチメディア制御キー、または押されたときにコンピュータ固有の機能を実行する他の物理キーを含んでもよい。キー領域はまた、一体型計算インターフェースデバイス上で実行される機能またはアプリケーションに応じてキーの機能が変化するように、仮想キーまたはプログラム可能キーを含んでもよい。

いくつかの実施形態では、キーボードは、装着型エクステンデッド・リアリティ機器によるアクションを実行するための専用入力キーを含んでもよい。専用入力キーは、ユーザが装着型エクステンデッド・リアリティ機器を介して閲覧される仮想ウィジェットと対話することを可能にすることができる。専用入力キーは、装着型エクステンデッド・リアリティ機器（すなわち、「スクリーンショット」）を介して表示される１つまたは複数の仮想ウィジェットの写真を撮ることができる。装着型エクステンデッド・リアリティ機器がカメラを含む場合、専用入力キーはカメラによって写真を撮ることができる。一実施形態では、画像は、画像に含まれる任意の仮想ウィジェット（すなわち、仮想オーバーレイを有する画像）を用いてユーザが装着型エクステンデッド・リアリティ・デバイスを通して見るものを含むことができる。キーボードは、アクションを実行するための複数の専用入力キーを含むことができ、各キーは異なるアクションを実行するように構成される。一実施形態では、専用入力キーは、１つまたは複数のアクション（例えば、「マクロ」）を実行するためにユーザによってプログラム可能であり得る。なお、上記の専用入力キーで実行されるアクションの例に限定されるものではなく、他のアクションが専用入力キーで実行されてもよい。

いくつかの実施形態では、キーボードは、装着型エクステンデッド・リアリティ機器によって投影される仮想ディスプレイの照明を変更するための専用入力キーを含んでもよい。仮想ディスプレイの照明は、仮想ディスプレイをオンまたはオフにすることによって、または仮想ディスプレイの輝度、コントラスト、または他の色設定を増減することによって調整することができる。一実施形態では、キーボードは、仮想ディスプレイの異なる設定を調整するための複数の専用入力キーを含むことができる。調整され得る仮想ディスプレイの設定は、例えば、輝度、コントラスト、鮮鋭度、もしくは表示モード（例えば、所定の設定によるゲームモード）などの画像設定、色成分レベルもしくは他の色調整設定などの色設定、ユーザの頭部の位置に対する仮想ディスプレイの位置、または仮想ディスプレイのユーザの視界を向上させ得る他の設定を含むことができる。

可搬ハウジングの非キー領域は、キーを含まないハウジングの領域であってもよい。非キー領域は、キーを含まないハウジングの領域であってもよく、任意の方向にハウジングのキー領域を越えて延在するハウジングの所望の形状を完成させるために存在してもよい。非キー領域は、トラックパッド、タッチスクリーン、タッチバー、または一体型計算インターフェースデバイスのための他の形態のカーソル制御などの入力デバイスを含んでもよい領域であってもよい。非キー領域は、トラックパッドもしくは他のカーソル制御部、ハウジングの延長部、またはハウジング内に含まれる１つまたは複数のスピーカもしくは他の音声出力デバイス用のカバーもしくはグリルなど、複数の異なる非キー領域に細分化されてもよい。非キー領域は、ユーザに情報を表示するためのディスプレイを含むことができ、（例えば、ハウジング内に収容された構成要素を冷却するために）空気がハウジングを通って循環することを可能にする１つまたは複数の開口部を含むことができ、またはハウジングの内部部分（例えば、取り外し可能なバッテリを内部に保持するように構成された、あるいは特定の構成要素をハウジングの内部に設置および／またはハウジングの内部から取り外すことを可能にするように構成されたバッテリ区画）へのアクセスを可能にする１つまたは複数のドアもしくはアクセスポートを含むことができる。

いくつかの実施形態では、ホルダは、ハウジングの非キー領域に関連付けられてもよい。ホルダは、ハウジングの表面の下に延在する凹部であってもよく、またはハウジングの表面の上に完全に載置されてもよい。ホルダは、ハウジングの非キー領域の任意の部分に配置されてもよい。いくつかの実施形態では、ホルダは、ハウジングのキー領域に隣接するハウジングの非キー領域に配置されてもよい。ホルダは、筆記具、ワイヤまたはケーブル、ドングル、紙（すなわち、ホルダがコピースタンドのように機能することを可能にするため）、またはユーザが容易にアクセスまたは保存することを望む可能性がある他のアイテムなどの１つまたは複数のアイテムと選択的に係合するための１つまたは複数の構造的特徴を含むことができる。

いくつかの実施形態では、ホルダは、装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと選択的に係合するときに、装着型エクステンデッド・リアリティ機器がハウジングと共に輸送可能であるように、装着型エクステンデッド・リアリティ機器との選択的な係合および係合解除のために構成されてもよい。いくつかの実施形態では、ホルダの構造的特徴は、装着型エクステンデッド・リアリティ機器がホルダの少なくとも一部にスナップ嵌合、圧入、または圧力嵌合することができるように、装着型エクステンデッド・リアリティ機器と選択的に係合するように構成されてもよい。装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと選択的に係合すると、装着型エクステンデッド・リアリティ機器は、ホルダを介してハウジングにしっかりと接続されることにより、ハウジングと共に輸送可能であり得る。

図６は、一体型計算インターフェースデバイス６１０と選択的に係合する装着型エクステンデッド・リアリティ機器６１２を有する一体型計算インターフェースデバイス６１０の典型的な実施形態の上面図である。図６は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。

一体型計算インターフェースデバイス６１０は、ハウジング６１４を含むことができる。ハウジング６１４は、キー領域６１６と、非キー領域６１８ａ、６１８ｂとを含んでいてもよい。図６に示すように、非キー領域６１８ａは、キー領域６１６の上方に位置する領域を含んでもよく、非キー領域６１８ｂは、キー領域６１６の下方に位置する領域を含んでもよい。ハウジング６１４は、１つの非キー領域（例えば、非キー領域６１８ａまたは非キー領域６１８ｂのいずれか一方のみ）のみを含んでいてもよく、非キー領域６１８ａと非キー領域６１８ｂとが隣り合っていてもよく、２つ以上の非キー領域を有してもよい。

キー領域６１６は、キーボード６２０を含んでもよい。キー領域６１６は複数のキー領域に細分化されてもよく、キー領域は連続していてもよいし、互いに分離されていてもよい。

一体型計算インターフェースデバイス６１０は、装着型エクステンデッド・リアリティ機器６１２と選択的に係合するように構成することができるホルダ６２２を含んでもよい。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、スマートグラスのペアを含んでもよい。図６に示すように、装着型エクステンデッド・リアリティ機器６１２は、スマートグラスのペアであってもよい。スマートグラスは、従来の眼鏡と同様に見える場合があり、ユーザが現在見ているものの写真を撮るように配置されたカメラや、スマートグラスのレンズに画像を投影するように構成された１つまたは複数のディスプレイなどの「スマート」機能を含むことができる。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器６１２は、ゴーグルまたは他の形態のウェアラブルデバイスなどの、１つまたは複数のレンズを含んでもよい他の形態をとることができる。

いくつかの実施形態では、一体型計算インターフェースデバイスは、ハウジングに関連付けられたトラックパッドを含むことができる。トラックパッドは、一体型計算インターフェースデバイスのユーザが、カーソルを制御し、アイテムを選択し、または一体型計算インターフェースデバイス上のアイテムを起動することを可能にすることができる。トラックパッドは、カーソル制御部分および１つもしくは複数のボタン部分などの単一の表面またはセグメント化された表面を含むことができる。

装着型エクステンデッド・リアリティ機器が一対のスマートグラスである実施形態では、一体型計算インターフェースデバイスは、一対のスマートグラスがホルダを介してハウジングと選択的に係合すると、スマートグラスのテンプルがトラックパッドに接触するように構成される。したがって、例えば、ホルダは、ハウジングの第１の部分に配置されてもよく、トラックパッドは、ハウジングの第２の部分に配置されてもよく、ハウジングの第１の部分は、ハウジングの第２の部分から離間している。ホルダは、一対のスマートグラスのテンプル部分の長さにほぼ等しい距離だけトラックパッドから離間されてもよい。

スマートグラスのテンプルはそれぞれ、その遠位端に弾性トラックパッドプロテクタを含むことができる。テンプルは、スマートグラスがユーザによって装着されることを可能にするために、スマートグラスのレンズから一方向に互いに平行に延在してもよい。いくつかの例では、スマートグラスのペアは、少なくとも２つのテンプルと、少なくとも１つのレンズとを含んでもよい。各テンプルは、テンプル先端部を含むことができ、各テンプル先端部は、弾性トラックパッドプロテクタ外側部分を含むことができる。いくつかの例では、スマートグラスのペアは、少なくとも２つのテンプルおよび少なくとも１つのレンズを含むことができ、各テンプルは、弾性トラックパッドプロテクタを含むことができる。トラックパッドプロテクタは、スマートグラスがホルダと選択的に係合し、テンプルの遠位端がハウジングの表面に近接している（例えば、トラックパッド）ときに、スマートグラスのテンプルの遠位端を損傷から保護することができる。トラックパッドプロテクタは、テンプルの遠位端上を摺動するスリーブを含んでもよく、テンプルの遠位端と一体的に形成されてもよい。トラックパッドプロテクタは、一対のスマートグラスがホルダを介してハウジングと選択的に係合し、一対のスマートグラスのテンプルの遠位端がトラックパッドに接触するときに、一対のスマートグラスのテンプルの遠位端がトラックパッドを引っ掻いたり損傷したりしないように、軟質または可撓性材料で作られてもよい。

図７Ａは、一体型計算インターフェースデバイス７１０と選択的に係合する一対のスマートグラス７１２の形態の装着型エクステンデッド・リアリティ機器を有する一体型計算インターフェースデバイス７１０の第２の典型的な実施形態の上面図であり、図７Ｂは左側面図である。図７Ａおよび図７Ｂは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素が省略され、他の要素が追加されてもよいことを理解されたい。

一体型計算インターフェースデバイス７１０は、ハウジング７１４を含むことができる。ハウジング７１４は、キー領域７１６と、非キー領域７１８ａ、７１８ｂとを含んでいてもよい。キー領域７１６は、キーボード７２０を含むことができる。一体型計算インターフェースデバイス７１０は、一対のスマートグラス７１２と選択的に係合するように構成されたホルダ７２２を含むことができる。非キー領域７１８ｂは、キーボード７２０の下に配置されてもよく、トラックパッド７２４を含んでもよい。図７Ａおよび図７Ｂに示す一体型計算インターフェースデバイス７１０は、図６に示す一体型計算インターフェースデバイス６１０と同様の構造的および機能的特性を有することができる。例えば、一体型計算インターフェースデバイス７１０は、一体型計算インターフェースデバイス６１０の要素の全部または一部を含むことができる。

一対のスマートグラス７１２は、レンズ部分７２６と、レンズ部分７２６の各端部に一方のテンプルである２つのテンプル７２８とを含むことができる。各テンプル７２８は、テンプル７２８をレンズ部分７２６に接続する近位端７３０と、テンプル７２８の反対側の端部に位置する遠位端７３２とを含むことができる。遠位端７３２は、弾性トラックパッドプロテクタ７３４を含むことができる。上述したように、弾性トラックパッドプロテクタ７３４は、遠位端７３２の上に配置されてもよく、または遠位端７３２と一体的に形成されてもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスのホルダは、スマートグラスのテンプルと選択的に係合するように構成された少なくとも２つの把持要素を含むことができる。いくつかの実施形態では、把持要素は、一方または両方のレンズ、レンズ間のブリッジ、またはスマートグラスの他の部分など、スマートグラスの異なる部分と選択的に係合するように構成されてもよい。把持要素は、ホルダと一体的に形成されてもよく、ホルダから個別に取り外し可能であってもよく、またはホルダから一緒に取り外し可能であってもよい。例えば、把持要素は、互いに一体的に形成されてもよく、ホルダからユニットとして取り外し可能であってもよい。把持要素は、それらの形状によって、またはばねもしくはばね状部材を使用することによって、互いに向かってばね付勢されてもよい。

各把持要素は、一体型計算インターフェースデバイスの表面からの突起を含むことができる。突起は、一体型計算インターフェースデバイスの表面から離れるように垂直に延在してもよい。凹部は、隆起内に形成されてもよく、テンプルを保持するように構成されてもよい。凹部は、テンプルが突起の上面に配置されるように、一体型計算インターフェースデバイスの表面とは反対の突起の側面にあってもよい。凹部は、テンプルが突起の側面に配置されるように、一体型計算インターフェースデバイスの表面に平行な突起の側面にあってもよい。ホルダは、可撓性材料、剛性もしくは半剛性材料、または可撓性凹部を有する剛性もしくは半剛性材料で作製されてもよい。可撓性凹部は、隆起部と一体に形成されていてもよく、凹部を覆う可撓性材料であってもよい。

図８Ａは、ホルダの第１の実施形態と選択的に係合する装着型エクステンデッド・リアリティ機器の正面斜視図である。図８Ｂは、図８Ａに示すホルダの第１の実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。図８Ａおよび図８Ｂは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。

ホルダ８１０は、互いに離間し、図８Ａおよび図８Ｂにスマートグラスのペアとして示されている装着型エクステンデッド・リアリティ機器８１６のテンプル８１４に選択的に係合するように構成された２つの把持要素８１２を含むことができる。一例では、ホルダ８１０は、ホルダ６２２および／またはホルダ７２２および／またはホルダ１２１８ａの一部であってもよい。いくつかの実施形態では、ただ１つの把持要素８１２または２つの把持要素８１２がホルダ８１０の同じ側に配置されてもよいなど、把持要素８１２の他の構成があってもよい。

いくつかの実施形態では、各把持要素８１２は、テンプル８１４と係合するために上面に凹部８１８を含むことができる。いくつかの実施形態では、各把持要素８１２は、テンプル８１４と係合するための平坦な上面を有することができる。図８Ｂに示すように、凹部８１８は、テンプル８１４を部分的に囲むＵ字状であってもよい。いくつかの実施形態では、凹部８１８は、テンプル８１４と係合するように異なる形状にすることができる。

いくつかの実施形態では、一体型計算インターフェースデバイスのホルダは、装着型エクステンデッド・リアリティ機器をハウジングと選択的に接続するためのクリップを含むことができる。装着型エクステンデッド・リアリティ機器をハウジングに選択的に接続することは、装着型エクステンデッド・リアリティ機器をハウジングに選択的に係合させる一例である。クリップは、ホルダの任意の部分に配置されてもよく、一体型計算インターフェースデバイスの表面からの突起を含んでもよい。クリップは、装着型エクステンデッド・リアリティ機器をホルダに接続するために、装着型エクステンデッド・リアリティ機器の任意の部分と選択的に係合することができる。装着型エクステンデッド・リアリティ機器がスマートグラスのペアである実施形態では、クリップは、テンプル、レンズの一部、レンズを取り囲むリムの一部、ブリッジ、またはノーズパッドと選択的に係合することができる。ホルダは、クリップによって選択的に係合されない装着型エクステンデッド・リアリティ機器の他の部分と選択的に係合するための追加の機構を含むことができる。追加の特徴は、ホルダの表面から延在する１つまたは複数の追加の突起を含むことができる。ホルダは、可撓性材料、剛性もしくは半剛性材料、または可撓性クリップもしくは可撓性突起を有する剛性もしくは半剛性材料で作製することができる。可撓性クリップまたは可撓性突起は、ホルダと一体的に形成されてもよく、ホルダから取り外し可能であってもよく、クリップまたは突起を覆う可撓性材料であってもよい。

図９Ａは、ホルダの第２の典型的な実施形態と選択的に係合された装着型エクステンデッド・リアリティ機器の正面斜視図である。図９Ｂは、図９Ａに示すホルダの第２の実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。図９Ａおよび図９Ｂは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。

ホルダ９１０は、装着型エクステンデッド・リアリティ機器９１６のブリッジ９１４と選択的に係合するように構成されたクリップ９１２を含むことができる。図に示すように、図９Ａおよび図９Ｂに示すように、装着型エクステンデッド・リアリティ機器９１６は、一対のスマートグラスを含むことができる。一例では、ホルダ９１０は、ホルダ６２２および／またはホルダ７２２および／またはホルダ１２１８ａの一部であってもよい。図９Ｂに示すような典型的な一実施形態では、クリップ９１２は、装着型エクステンデッド・リアリティ機器９１６のノーズパッド９２０の間に嵌合するように構成されたポスト９１８を含むことができる。図９Ｂに示すように、ポスト９１８は、円形または円筒形の形状を有してもよい。ポスト９１８は、装着型エクステンデッド・リアリティ機器９１６のノーズパッド９２０がポスト９１８の周りに嵌合してポスト９１８と選択的に係合するように、他の形状（例えば、正方形、長方形、楕円形、または多角形の断面を有する）であってもよい。

クリップ９１２は、ブリッジ９１４の前部分に接触するように構成されたブリッジ突起９２２を含むことができる。ブリッジ突起９２２は、装着型エクステンデッド・リアリティ機器９１６がホルダ９１０と選択的に係合したときにブリッジ９１４の一部がブリッジ突起９２２とポスト９１８との間に位置するように、ポスト９１８から離間していてもよい。

ホルダ９１０は、少なくとも２つのレンズ突起９２４を含むことができる。レンズ突起９２４は、各レンズ突起９２４が装着型エクステンデッド・リアリティ機器９１６のレンズ９２６の外側部分に選択的に係合するように、クリップ９１２から離間している。図９Ａに示すように、ブリッジ突起９２２は、装着型エクステンデッド・リアリティ機器９１６のレンズ９２６の内側部分がブリッジ突起９２２と選択的に係合するように成形されてもよい。

いくつかの実施形態では、クリップ９１２はポスト９１８のみを含んでもよい。いくつかの実施形態では、ホルダ９１０は、クリップ９１２のみを含み、レンズ突起９２４を含まなくてもよい。いくつかの実施形態では、ホルダ９１０は、レンズ突起９２４のみを含み、クリップ９１２を含まなくてもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスのホルダは、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合するときに、装着型エクステンデッド・リアリティ機器の少なくとも一部を選択的に囲むための区画を含むことができる。区画は、装着型エクステンデッド・リアリティ機器の１つまたは複数の部分を受け入れるためにハウジング内に凹部またはスリーブを含むことができる。区画は、ホルダの表面からの突起を含むことができ、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合したときに、装着型エクステンデッド・リアリティ機器が区画内で前後または左右にスライドしないように成形することができる。突起は、壁が装着型エクステンデッド・リアリティ機器の一部を囲むように、ホルダの表面の上方に延在する１つまたは複数の壁を含むことができる。壁は、装着型エクステンデッド・リアリティ機器の異なる形状を収容するように構成されてもよい。例えば、装着型エクステンデッド・リアリティ機器が一対のスマートグラスである場合、壁は、スマートグラスのノーズパッドが壁に接触しないように切り欠き部分を含むことができる。壁はまた、レンズの底部分がホルダの表面に接触するように、スマートグラスのレンズを収容するためにホルダの表面に向かって先細になっていてもよい。ホルダは、可撓性材料、剛性もしくは半剛性材料、または可撓性区画を有する剛性もしくは半剛性材料で作製することができる。可撓性区画は、ホルダと一体的に形成されてもよく、または区画を覆う可撓性材料であってもよい。

図１０Ａは、ホルダの第３の典型的な実施形態と選択的に係合する装着型エクステンデッド・リアリティ機器の正面斜視図である。図１０Ｂは、図１０Ａに示すホルダの第３の典型的な実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。図１０Ａおよび図１０Ｂは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素が省略され、他の要素が追加されてもよいことを理解されたい。

ホルダ１０１０は、装着型エクステンデッド・リアリティ機器１０１４の少なくとも一部を選択的に囲むように構成された区画１０１２を含むことができる。一例では、ホルダ１０１０は、ホルダ６２２および／またはホルダ７２２および／またはホルダ１２１８ａの一部であってもよい。区画１０１２は、壁１０１６が区画１０１２の外周を画定するように、ホルダ１０１０の表面の一部に沿って延在する壁１０１６を含むことができる。図１０Ａに示すように、壁１０１６は、装着型エクステンデッド・リアリティ機器１０１４がホルダ１０１０と選択的に係合したときに、装着型エクステンデッド・リアリティ機器１０１４のレンズ１０１８がホルダ１０１０の表面に接触するように、ホルダ１０１０の中心およびホルダ１０１０の表面に向かって先細になっていてもよい。この典型的な形状に基づいて、壁１０１６は、レンズ１０１８の外側に面する側ではなく、レンズ１０１８のユーザに面する側に接触することができる。いくつかの実施形態では、壁１０１６は、レンズ１０１８を受け入れるように構成されたスロットを画定するために、壁１０１６がすべての側面でほぼ均一な高さになるように先細になっていなくてもよい。図１０Ｂに示すように、壁１０１６は、ノーズパッド１０２２が壁１０１６に接触しないように、装着型エクステンデッド・リアリティ機器１０１４のノーズパッド１０２２を収容するための切り欠き部分１０２０を含むことができる。

いくつかの実施形態では、一体型計算インターフェースデバイスのホルダは、装着型エクステンデッド・リアリティ機器の一部の形状に対応する少なくとも１つの窪みを含むことができる。装着型エクステンデッド・リアリティ機器がスマートグラスのペアである実施形態では、ホルダは、スマートグラスのレンズの形状に対応するように成形され得る１つまたは複数の窪みを含んでもよい。装着型エクステンデッド・リアリティ機器がゴーグルである実施形態では、１つまたは複数の窪みは、ゴーグルのレンズの形状に対応するように成形されてもよい。１つまたは複数の窪みは、１つまたは複数の窪みがハウジングの一部の中に延在するように、ホルダの表面の下に延びてもよい。１つまたは複数の窪みの底部は、ホルダの少なくとも一部がハウジングの表面の上に延在するように、ハウジングの表面に接触してもよい。ホルダは、可撓性材料、剛性もしくは半剛性材料、または可撓性窪みを有する剛性もしくは半剛性材料で作製されてもよい。可撓性窪みは、ホルダと一体的に形成されてもよく、または窪みを覆う可撓性材料であってもよい。

図１１Ａは、ホルダの第４の典型的な実施形態と選択的に係合する装着型エクステンデッド・リアリティ機器の正面斜視図である。図１１Ｂは、図１１Ａに示すホルダの第４の典型的な実施形態から選択的に係合解除された装着型エクステンデッド・リアリティ機器の背面斜視図である。図１１Ａおよび図１１Ｂは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。

ホルダ１１１０は、装着型エクステンデッド・リアリティ機器１１１４の一部の形状に対応する窪み１１１２を含むことができる。一例では、ホルダ１１１０は、ホルダ６２２および／またはホルダ７２２および／またはホルダ１２１８ａの一部であってもよい。図１１Ａおよび図１１Ｂに示すように、装着型エクステンデッド・リアリティ機器１１１４は、一対のスマートグラスを含むことができ、ホルダ１１１０内に互いに離間した２つの窪み１１１２があってもよく、各窪み１１１２はスマートグラスのレンズ１１１６の形状に対応する。

いくつかの実施形態では、ホルダはノーズブリッジ突起も含むことができる。装着型エクステンデッド・リアリティ機器が一対のエクステンデッド・リアリティ・グラスを含む実施形態では、少なくとも１つの窪みは、エクステンデッド・リアリティ・グラスのレンズを受けるために、ノーズブリッジ投影の両側に２つの窪みを含んでもよい。「エクステンデッド・リアリティ・グラス」および「スマートグラス」という用語は、本明細書では互換的に使用され得ることに留意されたい。ノーズブリッジ突起は、ホルダの表面から離れて延在する突起であってもよく、ノーズパッドまたはスマートグラスのブリッジを支持するように構成されてもよい。２つの窪みはそれぞれ、１つのレンズ、レンズを取り囲むリム、またはレンズを取り囲むフレームの一部を受け入れるように成形されてもよい。ホルダは、可撓性材料、剛性もしくは半剛性材料、または可撓性ノーズブリッジ突起を有する剛性もしくは半剛性材料で作製することができる。可撓性ノーズブリッジ突起は、ホルダと一体的に形成されてもよく、またはノーズブリッジ突起を覆う可撓性材料であってもよい。

図１１Ａおよび図１１Ｂに戻って参照すると、装着型エクステンデッド・リアリティ機器１１１４は、スマートグラスのペアである。ホルダ１１１０は、スマートグラスのノーズパッド１１２０またはブリッジ１１２２を支持するように構成されたノーズブリッジ突起１１１８を含むことができる。

装着型エクステンデッド・リアリティ機器が一対のスマートグラスを含む実施形態では、ホルダは、スマートグラスのレンズがキーボードの片側に配置されると、スマートグラスのテンプルがキーボード上に延在し、スマートグラスの遠位端がレンズとは反対側のキーボードの側に配置されるように構成されてもよい。ホルダは、スマートグラスのテンプルをハウジングの表面の上に配置するのを助ける機構を含むことができる。特徴は、スマートグラスのテンプルに係合するためにハウジングから上方に延在する突起を含むことができる。突起は、ハウジングのキー領域または非キー領域に配置されてもよい。

いくつかの実施形態では、ホルダは、キーボードの近くに配置された突起（例えば、ホルダとキー領域との間）を含むことができ、スマートグラスがホルダと選択的に係合すると、スマートグラスのテンプルがキーボード上に延在し、テンプルの遠位端がレンズとは反対側のキーボードの側面に位置するように、スマートグラスのテンプルとキーボードとの間にギャップを作成するように構成されてもよい。テンプルの遠位端は、突起が遠位端をハウジングの表面上に持ち上げることができるため、ハウジングと接触しない場合がある。突起は、スマートグラスのテンプルが突起に接触したときにテンプルが損傷したり引っ掻かれたりしないように、弾性または他の圧縮性材料で作られてもよい。

図１２Ａは、一体型計算インターフェースデバイス１２１０と選択的に係合する一対のスマートグラス１２１２の形態の装着型エクステンデッド・リアリティ機器を有する一体型計算インターフェースデバイス１２１０の第３の実施形態の上面図であり、図１２Ｂは左側面図である。図１２Ａおよび図１２Ｂは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。図１２Ａおよび図１２Ｂに示す一体型計算インターフェースデバイス１２１０は、図６に示す一体型計算インターフェースデバイス６１０および／または図７Ａおよび図７Ｂに示す一体型計算インターフェースデバイス７１０と同様の構造的および機能的特性を有することができる。例えば、一体型計算インターフェースデバイス１２１０は、一体型計算インターフェースデバイス６１０の要素の全部または一部を含むことができる。別の例では、一体型計算インターフェースデバイス１２１０は、一体型計算インターフェースデバイス７１０の要素の全部または一部を含んでもよい。

一体型計算インターフェースデバイス１２１０は、ハウジング１２１４を含むことができる。ハウジング１２１４は、スマートグラス１２１２と選択的に係合するように構成され得るキーボード１２１６およびホルダ１２１８ａを含んでもよい。ホルダ１２１８ａは、キーボード１２１６の近くに配置された突起１２２０を含むことができる。スマートグラス１２１２のレンズ１２２２がホルダ１２１８ａに選択的に係合されると、テンプル１２２４は突起１２２０に接触し、それによってテンプル１２２４とキーボード１２１６との間に隙間１２２６を作り出すことができる。スマートグラス１２１２のレンズ１２２２がホルダ１２１８ａと選択的に係合すると、テンプル１２２４は、テンプル１２２４の遠位端１２２８がキーボード１２１６のレンズ１２２２とは反対側に位置するように、キーボード１２１６上に延在することができる。遠位端１２２８は、スマートグラス１２１２がホルダ１２１８ａと選択的に係合したときに遠位端１２２８がハウジング１２１４に接触しないように、ハウジング１２１４から離間していてもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスは、ハウジングに関連付けられた充電器をさらに含んでもよい。充電器は、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合したときに装着型エクステンデッド・リアリティ機器を充電するように構成されてもよい。そのような実施形態では、装着型エクステンデッド・リアリティ機器は、充電されるバッテリまたは他の電源を含むことができる。充電器は、装着型エクステンデッド・リアリティ機器のバッテリを充電するためにＤＣ電圧または電流を供給することができる。バッテリは、ワイヤ接続によって充電されてもよいし、無線接続によって充電されてもよい。ハウジングおよび装着型エクステンデッド・リアリティ機器は、充電器による装着型エクステンデッド・リアリティ機器の無線充電のために構成されてもよい。充電器は、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合したときに充電器が装着型エクステンデッド・リアリティ機器に電力を供給できるように、ハウジングの任意の適切な部分に配置されてもよい。

装着型エクステンデッド・リアリティ装置は、１つまたは複数の電気接点を含むことができ、ハウジングは、ホルダと係合したときに装着型エクステンデッド・リアリティ機器を充電するために係合する１つまたは複数の対応する電気接点を含むことができる。いくつかの例では、装着型エクステンデッド・リアリティ機器に含まれる１つまたは複数の電気接点は、レンズの一方もしくは両方、テンプルの一方もしくは両方、またはレンズとテンプルが接続する近くのフレームの一部に配置されてもよい。いくつかの例では、ハウジングに含まれる１つまたは複数の対応する電気接点は、ホルダ内またはホルダに隣接するハウジング内に配置されてもよく、それにより、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合すると、装着型エクステンデッド・リアリティ機器の１つまたは複数の電気接点は、無線充電が発生し得るように十分に近接する。無線充電は、Ｑｉ、ＡｉｒＦｕｅｌ Ｒｅｓｏｎａｎｔ、近接場磁気結合（ＮＦＭＣ）、無線周波数（ＲＦ）、または他の適切な無線充電プロトコルなどの無線充電規格によって実行することができる。いくつかの実施形態では、ハウジングに含まれる電気接点の数は、装着型エクステンデッド・リアリティ機器に含まれる電気接点の数と一致する必要はない。

装着型エクステンデッド・リアリティ機器がスマートグラスのペアである実施形態では、各レンズは電気接点を含むことができ、ハウジングは１つまたは複数の対応する電気接点を含むことができる。スマートグラスがハウジングと選択的に係合されると、レンズ内の電気接点は、ワイヤレス充電回路を完成させるために、ハウジング内の１つまたは複数の対応する電気接点に十分に近接して配置され得る。

例えば、図８Ａおよび図８Ｂに示す実施形態では、電気接点は、スマートグラス８１６のテンプル８１４内に配置されてもよい。対応する電気接点は、ホルダ８１０の把持要素８１２内に配置されてもよい。

別の例として、図９Ａおよび図９Ｂに示す実施形態では、電気接点は、装着型エクステンデッド・リアリティ機器９１６のブリッジ９１４および／またはノーズパッド９２０に配置されてもよい。対応する電気接点は、ホルダ９１０のクリップ９１２および／またはポスト９１８内に配置されてもよい。図９Ａおよび図９Ｂに示す実施形態の別の実施態様では、電気接点は、装着型エクステンデッド・リアリティ機器９１６のレンズ９２６内またはその周りに配置されてもよい。対応する電気接点は、レンズ突起９２４および／またはレンズ９２６の下のホルダ９１０の一部に配置されてもよい。

別の例として、図１０Ａおよび図１０Ｂに示す実施形態では、電気接点は、装着型エクステンデッド・リアリティ機器１０１４のレンズ１０１８内またはその周りに配置されてもよい。対応する電気接点が壁１０１６に配置されてもよい。

別の例として、図１１Ａおよび図１１Ｂに示す実施形態では電気接点は、装着型エクステンデッド・リアリティ機器１１１４のレンズ１１１６内またはその周囲に配置されてもよい。対応する電気接点は、ホルダ１１１０の窪み１１１２に配置されてもよい。図１１Ａおよび図１１Ｂに示す実施形態の別の実施態様では、電気接点は、装着型エクステンデッド・リアリティ機器１１１４のノーズパッド１１２０またはブリッジ１１２２内に配置されてもよい。対応する電気接点は、ホルダ１１１０のノーズブリッジ突起１１１８内に配置されてもよい。

いくつかの実施形態では、ハウジングはまた、装着型エクステンデッド・リアリティ機器から延在するワイヤを受け入れるように構成されたワイヤポートを含んでもよい。ワイヤは、一体型計算インターフェースデバイスと装着型エクステンデッド・リアリティ機器との間で電力および／またはデータを提供するのに適した任意のタイプのワイヤであってもよい。例えば、ワイヤが装着型エクステンデッド・リアリティ機器から取り外し可能である場合、ワイヤは、ワイヤポートおよび装着型エクステンデッド・リアリティ機器に適切なコネクタを備えたユニバーサルシリアルバス（ＵＳＢ）タイプのワイヤであってもよい。ワイヤポートは、一体型計算インターフェースデバイスのユーザが容易にアクセスできるハウジングの任意の部分に配置されてもよい。ワイヤは、装着型エクステンデッド・リアリティ機器の任意の部分から延在してもよい。ワイヤは、装着型エクステンデッド・リアリティ機器に固定的に取り付けられてもよいし、装着型エクステンデッド・リアリティ機器から取り外し可能であってもよい。装着型エクステンデッド・リアリティ機器がスマートグラスのペアである実施形態では、ワイヤはテンプルから延在することができる。ワイヤは、ワイヤがユーザの視覚を妨げないように、またはスマートグラスを装着するユーザの能力に影響を与えないように、テンプルの長さに沿った任意の点に配置されてもよい。

いくつかの実施形態では、ワイヤポートは、ユーザがキーボードをタイプしている間にユーザに面するように構成された一体型計算インターフェースデバイスの前側に配置されてもよい。一例では、ワイヤポートは、一体型計算インターフェースデバイス（例えば、中心から１ｃｍ未満、中心から２ｃｍ未満、中心から４ｃｍ未満、中心から８ｃｍ未満など）の前側の実質的に中心に配置されてもよい。別の例では、ワイヤポートは、中心から離れて配置されてもよい。別の例では、ワイヤポートは、一体型計算インターフェースデバイスの前側の側面（例えば、左側、右側など）、例えば、前側の側縁部から１ｃｍ未満、側縁部から２ｃｍ未満、側縁部から４ｃｍ未満、側縁部から８ｃｍ未満などに配置されてもよい。

例えば、図６に示す実施形態では、ワイヤポート６２４は、ハウジング６１４内に配置されてもよい。ユーザがキーボード６２０をタイプしている間、ワイヤポート６２４は、一体型計算インターフェースデバイス６１０のユーザの近くの非キー領域６１８ｂに配置されてもよい。ワイヤ６２６は、装着型エクステンデッド・リアリティ機器６１２に接続することができ、ワイヤポート６２４によって受信することができる。ワイヤ６２６は任意であってもよく、図６に破線の輪郭で示されている。いくつかの例では、ワイヤ６２６は、装着型エクステンデッド・リアリティ機器６１２から選択的に着脱されてもよい。他の例では、ワイヤ６２６は、装着型エクステンデッド・リアリティ機器６１２に恒久的に接続されてもよい。いくつかの例では、ワイヤ６２６は、ワイヤポート６２４から選択的に着脱されてもよい。他の例では、ワイヤ６２６は、ワイヤポート６２４に恒久的に接続されてもよい。いくつかの例では、ワイヤ６２６は、ハウジング６１０および／またはハウジング６１０によって形成された区画内に完全にまたは部分的に引き込まれてもよい。ワイヤ６２６が完全または部分的に後退した状態にあるとき、ワイヤ６２６は、例えばユーザによってハウジング６１０からおよび／または区画から引き出されてもよい。

別の例として、図７Ａおよび図７Ｂに示す実施形態では、ワイヤポート７３６は、ハウジング７１４内に配置されてもよい。ユーザがキーボード７２０をタイプしている間、ワイヤポート７３６は、一体型計算インターフェースデバイス７１０のユーザの近くの非キー領域７１８ｂに配置されてもよい。ワイヤ７３８は、スマートグラス７１２に接続されてもよく、ワイヤポート７３６によって受信されてもよい。ワイヤポート７３６を非キー領域７１８ｂに配置することにより、ワイヤ７３８がワイヤポート７３６に接続されている間に、ユーザがキーボード７２０でタイプすることを可能にすることができる。ワイヤ７３８は任意選択であり、図７Ａおよび図７Ｂに破線の輪郭で示されている。いくつかの例では、ワイヤ７３８は、装着型エクステンデッド・リアリティ機器７１２から選択的に着脱されてもよい。他の例では、ワイヤ７３８は、装着型エクステンデッド・リアリティ機器７１２に恒久的に接続されてもよい。いくつかの例では、ワイヤ７３８は、ワイヤポート７３６から選択的に着脱されてもよい。他の例では、ワイヤ７３８は、ワイヤポート７３６に恒久的に接続されてもよい。いくつかの例では、ワイヤ７３８は、ハウジング７１０および／またはハウジング７１０によって形成された区画内に完全にまたは部分的に引き込まれてもよい。ワイヤ７３８が完全または部分的に後退した状態にあるとき、ワイヤ７３８は、例えばユーザによってハウジング７１０からおよび／または区画から引き出されてもよい。

いくつかの実施形態では、ワイヤは、ワイヤがワイヤポートに接続されたときに装着型エクステンデッド・リアリティ機器を電気的に充電するように構成されてもよい。ワイヤは、装着型エクステンデッド・リアリティ機器に電力を供給するのに適した任意のタイプのワイヤであってもよい。例えば、ワイヤは、ワイヤポートおよび装着型エクステンデッド・リアリティ機器に適切なコネクタを備えたユニバーサルシリアルバス（ＵＳＢ）タイプのワイヤであってもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスはまた、ハウジング内に配置された少なくとも１つのプロセッサを含んでもよい。ワイヤは、装着型エクステンデッド・リアリティ機器と少なくとも１つのプロセッサとの間のデジタルデータ通信を可能にするように構成されてもよい。プロセッサは、デジタルデータ通信に適した任意の処理デバイスを含むことができる。デジタルデータ通信を可能にすることに加えて、処理デバイスは、一体型計算インターフェースデバイス上でコンピュータプログラムを実行するように構成されてもよい。ワイヤは、装着型エクステンデッド・リアリティ機器と少なくとも１つのプロセッサとの間のデジタルデータ通信を可能にするのに適した任意のタイプのワイヤであってもよい。例えば、ワイヤは、ワイヤポートおよび装着型エクステンデッド・リアリティ機器に適切なコネクタを備えたユニバーサルシリアルバス（ＵＳＢ）タイプのワイヤであってもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスはまた、ハウジング内に配置されたプロセッサを含んでもよい。プロセッサは、装着型エクステンデッド・リアリティ機器と無線でペアリングするように構成されてもよい。無線ペアリングは、一体型計算インターフェースデバイスと装着型エクステンデッド・リアリティ機器との間の無線データ通信を可能にするために、一体型計算インターフェースデバイスと装着型エクステンデッド・リアリティ機器とを無線でリンクするプロセスである。プロセッサは、一体型計算インターフェースデバイスと装着型エクステンデッド・リアリティ機器との間の無線ペアリングプロトコルを実施するのに適した任意の処理デバイスを含むことができる。無線ペアリングプロトコルは、ＷｉＦｉ（ＩＥＥＥ ８０２．１１ベース）、無線周波数（ＺｉｇＢｅｅまたはＺＷａｖｅなどのＲＦ）、無線周波数識別（ＲＦＩＤ、例えばアクティブリーダパッシブタグまたはアクティブリーダアクティブタグ）、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、または短距離通信に使用可能な任意の他の無線ペアリングプロトコルであってもよい。一体型計算インターフェースデバイスは、装着型エクステンデッド・リアリティ機器との無線ペアリングを容易にするために、キーボードに隣接する視覚的マーカを含むことができる。視覚的マーカは、装着型エクステンデッド・リアリティ機器が一体型計算インターフェースデバイスの無線通信範囲内にあることを保証するのに役立ち得る。いくつかの実施形態では、キーボードは、無線ペアリング処理を開始するための専用の機能キーを含むことができる。

いくつかの実施形態では、一体型計算インターフェースデバイスはまた、ハウジング内に配置された少なくとも１つのモーションセンサと、それに動作可能に接続された少なくとも１つのプロセッサとを含んでもよい。少なくとも１つのプロセッサは、少なくとも１つのモーションセンサから受信した入力に基づいて動作モードを実施するようにプログラムすることができる。いくつかの実施形態では、モーションセンサは、一体型計算インターフェースデバイスが動いているかどうかを判定し、動きに基づいて一体型計算インターフェースデバイスの動作モードを調整することができる。いくつかの実施形態では、モーションセンサは、装着型エクステンデッド・リアリティ機器が一体型計算インターフェースデバイスに対して、または一体型計算インターフェースデバイスと共に動いているかどうかを判定することができ、動きに基づいて一体型計算インターフェースデバイスまたは装着型エクステンデッド・リアリティ機器の動作モードを調整することができる。例えば、装着型エクステンデッド・リアリティ機器のユーザが歩いている場合、ユーザの注意をそらすのを防ぐために、ユーザに表示されるアイテムの数を制限することができる。

少なくとも１つのモーションセンサは、加速度計、ジャイロスコープ、磁力計、画像センサを使用し、エゴモーションアルゴリズムを用いて画像センサを使用して取り込まれた画像を解析することによって実施されるモーションセンサ、または一体型計算インターフェースデバイスの環境内のオブジェクトの動きを測定するように構成された他のタイプのセンサを含むことができる。例えば、少なくとも１つのモーションセンサは、図３に関連して上述したモーションセンサ３７３であってもよい。少なくとも１つのプロセッサは、少なくとも１つのモーションセンサから入力を受信するように構成され、入力に基づいて動作モードを実施するようにプログラムされるように構成された任意の処理デバイスを含むことができる。

いくつかの実施形態では、少なくとも１つのプロセッサは、少なくとも１つのモーションセンサから受信した入力に基づいて、装着型エクステンデッド・リアリティ機器によって提示される仮想ディスプレイの設定を自動的に調整するようにさらにプログラムすることができる。少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器によって提示される仮想ディスプレイの１つまたは複数の設定を自動的に調整するようにプログラムされるように構成された任意の処理デバイスを含むことができる。仮想ディスプレイの設定は、ユーザが位置する環境（例えば、低い光の屋内から明るい光の屋外に動く）に基づいて調整することができる。調整され得る仮想ディスプレイの設定は、輝度、コントラスト、鮮鋭度、もしくは表示モード（例えば、所定の設定を有するゲームモード）などの画像設定、色成分レベルもしくは他の色調整設定などの色設定、ユーザの頭部の位置に対する仮想ディスプレイの位置、または仮想ディスプレイのユーザの視界を向上させ得る他の設定を含むことができる。図１に示す実施形態では、仮想画面１１２の設定は、少なくとも１つのプロセッサによって自動的に調整されてもよい。

いくつかの実施形態では、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器がホルダから係合解除されている間に、一体型計算インターフェースデバイスがしきい値距離を超えて動いたときに通知を出力するようにさらにプログラムされてもよい。少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器がホルダから係合解除されている間に、一体型計算インターフェースデバイスがしきい値距離を超えて動いたときに通知を出力するようにプログラムされるように構成された任意の処理デバイスを含むことができる。例えば、ユーザがしきい値距離より近くに動かない限り、一体型計算インターフェースデバイスとの対話が中断されるように、ユーザが装着型エクステンデッド・リアリティ機器を無線通信範囲外に動かしている可能性があることをユーザに警告するために通知がユーザに提供されてもよい。別の例として、装着型エクステンデッド・リアリティ機器がワイヤで一体型計算インターフェースデバイスに接続されている場合であれば、ユーザがワイヤの長さよりも一体型計算インターフェースデバイスからさらに離れようとしていると、ワイヤが切断されたり、装着型エクステンデッド・リアリティ機器がユーザの頭部から誤って取り外されたり、一体型計算インターフェースデバイスが配置されている表面から一体型計算インターフェースデバイスがぶつかったりする可能性があるが、このような場合に通知が提供されてもよい。

通知は、警告、警報、または他の音声および／または視覚インジケータを含むことができる。通知は、図３に示す出力インターフェース３５０に接続されているデバイス（例えば、光インジケータ３５１、ディスプレイ３５２、および／またはスピーカ３５３）または図４に示す出力インターフェース４５０（例えば、光インジケータ４５１、ディスプレイ４５２、スピーカ４５３、および／またはプロジェクタ４５４）のいずれかを介して出力されてもよい。しきい値距離は、一体型計算インターフェースデバイスと装着型エクステンデッド・リアリティ機器との間に接続されたワイヤの長さのパーセンテージ、ワイヤの長さに対する固定距離、一体型計算インターフェースデバイスからの固定距離、一体型計算インターフェースデバイスと装着型エクステンデッド・リアリティ機器との間の無線通信プロトコルの距離範囲のパーセンテージ、無線通信プロトコルの距離範囲に対する固定距離、または装着型エクステンデッド・リアリティ機器を一体型計算インターフェースデバイスから離す他の任意の距離であり得る。

いくつかの実施形態では、一体型計算インターフェースデバイスは、ハウジング内の少なくとも１つのセンサと、それに動作可能に接続された少なくとも１つのプロセッサとをさらに含んでもよい。少なくとも１つのセンサは、装着型エクステンデッド・リアリティ機器がホルダと係合しているかどうかを示す入力を提供するように構成されてもよい。少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器がホルダと係合しているかどうかに基づいて動作モードを実施するために受信した入力を使用するようにプログラムされてもよい。例えば、装着型エクステンデッド・リアリティ機器がホルダと係合していることを示す入力に応答して、少なくとも１つのプロセッサは第１の動作モードを実施することができ、装着型エクステンデッド・リアリティ機器がホルダと係合していないことを示す入力に応答して、少なくとも１つのプロセッサは第２の動作モードを実施することができ、第２の動作モードは第１の動作モードとは異なり得る。いくつかの例では、少なくとも１つのプロセッサは、例えば、少なくとも１つのモーションセンサからの入力に基づく設定の調整に関して本明細書で説明したように、装着型エクステンデッド・リアリティ機器がホルダと係合しているかどうかに基づいて、装着型エクステンデッド・リアリティ機器によって提示される仮想ディスプレイの設定を自動的に調整するようにプログラムされてもよい。いくつかの例では、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器の少なくとも１つがホルダと係合するか、または装着型エクステンデッド・リアリティ機器がホルダから外れるときに可聴指示を出力するようにプログラムされてもよい。いくつかの例では、動作モードは、少なくとも１つのプロセッサ、一体型計算インターフェースデバイスに含まれる通信デバイス、または装着型エクステンデッド・リアリティ機器のうちの少なくとも１つの電力モードであり得るか、またはそれを含んでもよい。一例では、装着型エクステンデッド・リアリティ機器がホルダと係合しているとき、電力モードは、ターンオフモード、スリープモード、ハイバネーションモードなどであり得る。別の例では、装着型エクステンデッド・リアリティ機器がホルダと係合しているときの電力モードは、装着型エクステンデッド・リアリティ機器がホルダと係合していないときの電力モードよりも低い消費電力に関連付けられ得る（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合しているときにはより少ないハードウェア構成要素を使用し、装着型エクステンデッド・リアリティ機器がホルダと係合しているときにはより低いクロック速度を使用する、などである）。

いくつかの例では、動作モードは、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するための表示モードを含んでもよい。一例では、１つの動作モードでは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合しているときに）装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示することはできず、別の動作モードでは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合していないときに）選択された仮想コンテンツを装着型エクステンデッド・リアリティ機器を介して提示することができる。別の例では、１つの動作モードでは、仮想コンテンツは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合しているときに）より小さいサイズで装着型エクステンデッド・リアリティ機器を介して提示され、別の動作モードでは、選択された仮想コンテンツは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合していないときに）より大きいサイズで装着型エクステンデッド・リアリティ機器を介して提示され得る。別の例では、１つの動作モードでは、仮想コンテンツは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合しているときに）より低い不透明度で装着型エクステンデッド・リアリティ機器を介して提示され、別の動作モードでは、選択された仮想コンテンツは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合していないときに）より高い不透明度で装着型エクステンデッド・リアリティ機器を介して提示され得る。別の例では、１つの動作モードでは、仮想コンテンツは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合しているときに）より低い輝度で装着型エクステンデッド・リアリティ機器を介して提示され、別の動作モードでは、選択された仮想コンテンツは、（例えば、装着型エクステンデッド・リアリティ機器がホルダと係合していないときに）より高い輝度で装着型エクステンデッド・リアリティ機器を介して提示され得る。

いくつかの例では、装着型エクステンデッド・リアリティ機器がホルダと係合しているとき、動作モードは、装着型エクステンデッド・リアリティ機器がホルダと係合する前に、装着型エクステンデッド・リアリティ機器を介して提示された仮想コンテンツに基づいて選択されてもよい。例えば、第１の仮想コンテンツ（例えば、仮想コンテンツ関連ハードウェア保守、優先度の高いタスクに関連する仮想コンテンツなど）に応答して、第１の動作モードが選択されてもよく、第２の仮想コンテンツ（例えば、ユーザの関与を必要とする仮想コンテンツ、優先度の低いタスクに関連する仮想コンテンツなど）に応答して、第２の動作モードが選択されてもよく、第２のモードは第１のモードと異なってもよい。いくつかの例では、装着型エクステンデッド・リアリティ機器がホルダと係合すると、少なくとも１つの画像センサ（例えば、装着型エクステンデッド・リアリティ機器に含まれる、一体型計算インターフェースデバイスに含まれる、少なくとも１つの画像センサなど）を使用して取り込まれた画像データの解析に基づいて動作モードを選択することができる。例えば、画像データは、一体型計算インターフェースの物理的環境を複数の代替クラスから特定のクラスに分類するために視覚的分類アルゴリズムを使用して解析されてもよく、動作モードは、特定のクラスに基づいて選択されてもよい。そのようなクラスのいくつかの非限定的な例は、「屋外」、「屋内」、「オフィス」、「家」、「会議室」、「環境内の少なくとも１人」、「環境内の少なくとも２人」、「環境内の人なし」などを含むことができる。別の例では、画像データは、一体型計算インターフェースの物理環境における動きを検出するために視覚的動き認識アルゴリズムを使用して解析されてもよく、動作モードは、一体型計算インターフェースに向かう動きが識別されるかどうかに基づいて選択されてもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスはまた、保護カバーを含んでもよい。カバーは、輸送中の損傷からハウジングの一部、例えば、キー領域、非キー領域、およびホルダを含むハウジングの一部を保護することができる。保護カバーは、ハウジングから完全に取り外し可能であってもよく、またはその１つまたは複数の側面によってハウジングに取り付けられてもよい。保護カバーの片側は、ハウジングに固定的に取り付けられてもよい。保護カバーは、第２の材料（シリコンなど）を包む軟質材料（不織布など）の２つの層を含んでもよい。保護カバーは、軟質材料（不織布など）の第１の層と、第２の材料（シリコンなど）の第２の層と、を含むことができる。保護カバーは、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合するときに、キーボードおよび／またはハウジングおよび／または装着型エクステンデッド・リアリティ機器にバンプ、衝撃、または衝撃保護を提供するために、任意の数の層または異なる種類の材料で作られてもよい。

保護カバーは、２つの収納モードで動作可能であってもよい。第１の収納モードでは、保護カバーは、ハウジング内の装着型エクステンデッド・リアリティ機器の上に重なるように構成されてもよい。例えば、第１の収納モードでは、保護カバーは、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合するときに、キーボードおよび／またはハウジングおよび／または装着型エクステンデッド・リアリティ機器にバンプ、衝撃、または衝撃保護を提供することができる。保護カバーは、装着型エクステンデッド・リアリティ機器を第１の収納モードで保持するように構成された１つまたは複数の突起などの１つまたは複数の機構を含むことができる。例えば、保護カバーは、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合するときに保護カバーが装着型エクステンデッド・リアリティ機器の上で曲がることを可能にし、装着型エクステンデッド・リアリティ機器がホルダから選択的に係合解除されるときに異なるように曲がることを可能にする１つまたは複数の折り畳み線を含むことができる。

第２の収納モードでは、保護カバーは、ハウジングを持ち上げるように構成されてもよい。例えば、第２の収納モードでは、保護カバーは、テーブル、机、またはユーザの膝など、ハウジングが配置されている表面に対してハウジングを上昇させることを可能にすることができる。ハウジングを上昇させるために、保護カバーは、保護カバーが異なる位置に折り畳まれ、それによってハウジングが配置された表面の上方の１つまたは複数の距離までハウジングを上昇させることができるようにセグメント化することができる。第２の収納モードでは、保護カバーは、装着型エクステンデッド・リアリティ機器の上に重ならなくてもよい。

図１３Ａは、第１の収納モードにある保護カバー１３１２を有する一体型計算インターフェースデバイス１３１０の右側斜視図である。図１３Ａは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。保護カバー１３１２は、ハウジング１３１４の上部部分を覆うことができ、ハウジング１３１４の底面は、一体型計算インターフェースデバイス１３１０が配置され得る表面１３１６に接触する。いくつかの非限定的な例では、一体型計算インターフェースデバイス１３１０は、一体型計算インターフェースデバイス６１０、一体型計算インターフェースデバイス７１０、または一体型計算インターフェースデバイス１２１０のうちの少なくとも１つの要素の全部または一部を含むことができる。

図１３Ｂは、第２の収納モードにある保護カバー１３１２を有する図１３Ａの一体型計算インターフェースデバイス１３１０の左側斜視図である。図１３Ｂは、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。保護カバー１３１２が第２の収納モードにあるとき、保護カバー１３１２は、キーボード１３１８、装着型エクステンデッド・リアリティ機器１３２０、および装着型エクステンデッド・リアリティ機器１３２０用のホルダ１３２２へのアクセスを可能にするために、ハウジング１３１４から少なくとも部分的に分離されてもよい。保護カバー１３１２は、保護カバー１３１２が折り畳まれて表面１３１６の上方にハウジング１３１４の少なくとも一部を持ち上げることができるように、個々のセグメント（セグメント１３２４、１３２６、１３２８、および１３３０など）を作成するようにセグメント化することができる。折り畳まれた保護カバー１３１２をハウジングの一端の下に配置してハウジングの一端を持ち上げることによって、ハウジングを持ち上げることができる。図１３Ｂに示すセグメント１３２４から１３３０の数は典型的なものであり、保護カバー１３１２はより少ないセグメントまたはより多くのセグメントを有することができることに留意されたい。

保護カバーはまた、保護カバーに関連付けられた少なくとも１つのカメラを含むことができる。例えば、保護カバーは、キーボード、ユーザ、またはユーザの周りの環境の画像を取り込むように構成された１つまたは複数のカメラまたは他のタイプの撮像デバイスを含むことができる。１つまたは複数のカメラは、保護カバーが第２の収納モードにあるときにカメラが使用可能であり得るように、保護カバーに関連付けられた１つまたは複数の自撮りカメラ、バックカメラ、または他のカメラを含んでもよい。

保護カバーはまた、少なくとも１つのカメラの少なくとも２つの側面に少なくとも１つの突起を含むことができる。例えば、保護カバーは、少なくとも１つのカメラの２つの側面からの２つの突起、少なくとも２つの側面から少なくとも１つのカメラを取り囲む１つの突起、または別の数の突起を含むことができ、少なくとも１つの突起は、カメラが平面に面するようにカバーが平面上に配置されたときに少なくとも１つのカメラが平面に接触するのを防止するように構成される。

図１４は、第２の収納モードにある保護カバー１４１２を有する一体型計算インターフェースデバイス１４１０の別の実施形態の右側斜視図である。図１４は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。

保護カバー１４１２が第２の収納モードにあるとき、保護カバー１４１２は、キーボード１４１６、装着型エクステンデッド・リアリティ機器１４１８、および装着型エクステンデッド・リアリティ機器１４１８用のホルダ１４２０へのアクセスを可能にするために、ハウジング１４１４から少なくとも部分的に分離される。保護カバー１４１２は、保護カバー１４１２が折り畳まれて表面１４２８の上方にハウジング１４１４の少なくとも一部を持ち上げることができるように、個々のセグメント（セグメント１４２２、１４２４、および１４２６など）を作成するようにセグメント化することができる。図１４に示すセグメント１４２２から１４２６の数は典型的なものであり、保護カバー１４１２はより少ないセグメントまたはより多くのセグメントを有することができることに留意されたい。

カメラ１４３０は、セグメント１４２２内の保護カバー１４１２内に配置されてもよい。カメラ１４３０は、保護カバー１４１２の任意の部分に配置されてもよいことに留意されたい。３つの突起１４３２は、カメラ１４３０の周囲に三角形状を形成するように、保護カバー１４１２から外側に延在する。突起１４３２は、カメラ１４３０が表面１４２８に面するように保護カバー１４１２が表面１４２８上に配置されたときに、カメラ１４３０が表面１４２８に接触するのを防止するように構成される。

従来、カメラは、ラップトップ画面の上部フレームに配置されている。この位置は、ラップトップが配置される表面に対して上昇した位置からラップトップが使用されるときにカメラがユーザに面することを可能にする。この上昇位置は、ユーザの望ましい視野角を可能にする。いくつかの開示された実施形態は、エクステンデッド・リアリティ感機器を使用して大きな物理的画面なしでラップトップを可能にする。しかしながら、これはカメラ位置の問題を生じさせる。キーボード上にカメラを配置すると、ユーザが慣れていない、望ましくない視野角がユーザに生じる。したがって、カメラをキーボードに対して上昇位置に配置することが望ましい。いくつかの開示された実施形態によって提供される１つの解決策は、カメラがキーボードの上方に持ち上げられてユーザに面する構成に折り畳まれるように構成された、キーボードの折り畳み可能なカバー内にカメラを配置することを含む。

いくつかの実施形態では、一体型計算インターフェースデバイスは、キー領域と非キー領域とを有するハウジングを含むことができる。一体型計算インターフェースは、いくつかの機能構成要素を有する任意のデバイスを含むことができる。デバイスは、コンピュータなどの機械との人間の相互作用を可能にするインターフェースとして機能することができる。一例では、一体型計算インターフェースデバイスは、例えば、装着型エクステンデッド・リアリティ機器を介してエクステンデッド・リアリティ環境の提示を可能にするために、一体型計算インターフェースデバイスの外部の装着型エクステンデッド・リアリティ機器と動作するように構成された計算デバイスを含むことができる。一例では、一体型計算インターフェースデバイスは、例えば単一のハウジング内に、入力デバイス（例えば、キーボード、タッチスクリーン、タッチパッドなど）と一体化されたコンピューティングデバイス（例えば、プロセッサ、ＣＰＵなど）と、一体型計算インターフェースデバイスをデジタル通信ネットワーク（例えば、イーサネット、セルラーネットワーク、インターネットなど）に接続するように構成されたデジタル通信デバイスと、一体型計算インターフェースデバイスの外部の装着型エクステンデッド・リアリティ機器を接続するように構成された通信ポートと、を含むことができる。

ハウジングは、１つまたは複数の構成要素が収容または収容される任意の物理的構造を含むことができる。そのようなハウジングは、キーが配置されている一般的な領域および一般的にキーがない非キー領域などのキー領域を有することができる。キーは、任意のボタン、スイッチ、トリガ、トグル、または物理的操作を介して起動することができる任意の他の要素を含むことができる。いくつかの実施形態では、キーは本質的に機械的であり得る（例えば、典型的なコンピュータキーボードに見られるような機械的プッシュボタン）。他の例では、キーはソフト（例えば、キーの画像がシミュレートされるタッチディスプレイ）であってもよい。例として、キー領域は、英数字キーボードまたは数字キーボードの領域をカバーすることができ、非キー領域は、キーがないインターフェースの別の領域であってもよい。いくつかの例では、キー領域および／または非キー領域は、一体型計算インターフェースデバイスの外面（または上部外面）の領域であってもよい。いくつかの実施形態では、一体型計算インターフェースデバイスは、入力領域および非入力領域を有するハウジングを含んでもよい。一例では、入力領域は、タッチスクリーンを含む一体型計算インターフェースデバイスの外面領域（または上部外面領域）であってもよい。別の例では、入力領域は、タッチパッドを含む一体型計算インターフェースデバイスの外面領域（または上部外面領域）であってもよい。さらに別の例では、入力領域は、上述のようにキー領域であってもよく、および／またはキー領域を含んでもよい。一例では、非入力領域は、入力デバイスがないインターフェースの外面領域（または上部外面領域）であってもよい。別の例では、入力領域は、特定のタイプの入力デバイスを含む一体型計算インターフェースデバイスの外面領域（または上部外面領域）であってもよく、非入力領域は、特定のタイプの入力デバイスを欠く一体型計算インターフェースデバイスの別の外面領域（または別の上部外面領域）であってもよい。

ハウジングは、外側カバーまたはシェルを含むことができる。ハウジングは、一体型計算インターフェースデバイスの構成要素を囲むことができ、一体型計算インターフェースデバイスの一部またはすべての構成要素をカバーすることができる。ハウジングは、一体型計算インターフェースデバイスの特定の構成要素（例えば、ＵＳＢまたは他のポートまたは画像センサ）を露出させることができるか、または特定の構成要素（例えば、キーボードのキー）をハウジングから突出させることができる１つまたは複数の開口部を有することができると考えられる。ハウジングは、ハウジングの内部部分に一体型計算インターフェースデバイス（例えば、回路基板）の特定の構成要素を支持することができる。

一体型計算デバイスのハウジングは、キー領域と、キー領域とは異なる非キー領域とを含んでもよい。より詳細に前述したように、キー領域は、ユーザが英数字または他の文字を入力として入力することを可能にすることができる１つまたは複数のキーを含むことができる。例えば、いくつかの実施形態では、キーボードは、ハウジングのキー領域に関連付けられてもよい。キーボードは、標準的なタイプライタスタイルのキーボード（例えば、ＱＷＥＲＴＹスタイルのキーボード）、またはＤｖｏｒａｋレイアウトもしくはコード化レイアウトなどの他の適切なキーボードレイアウトであってもよい。キーボードは、任意の適切な数のキーを含むことができ、例えば、「フルサイズ」キーボードは、最大１０４個または１０５個のキーを含んでもよい。一例では、キーボードは、少なくとも１０個のキー、少なくとも３０個のキー、少なくとも８０個のキー、少なくとも１００個のキーなどを含んでもよい。一例では、キーボードは、一体型計算インターフェースデバイス、一体型計算インターフェースデバイスの外面領域、一体型計算インターフェースデバイスの上部外面領域、ハウジング、ハウジングの外面、ハウジングの上部外面、キー領域などに含まれてもよい。いくつかの実施形態では、入力デバイスは、ハウジングの入力領域に関連付けられてもよい。そのような入力デバイスのいくつかの非限定的な例は、タッチスクリーン、タッチパッド、上述のキーボードなどを含むことができる。例えば、入力デバイスはタッチスクリーンであってもよく、タッチスクリーンは、少なくとも１インチ、少なくとも５インチ、少なくとも１０インチなどの対角長を有してもよい。別の例では、入力デバイスはタッチパッドであってもよく、タッチパッドは、少なくとも１インチ、少なくとも５インチ、少なくとも１０インチなどの対角長を有してもよい。一例では、入力デバイスは、一体型計算インターフェースデバイス、一体型計算インターフェースデバイスの外面領域、ハウジング、ハウジングの外面、一体型計算インターフェースデバイスの上部外面領域、ハウジング、ハウジングの上部外面、キー領域などに含まれてもよい。

より詳細に前述したように、非キー領域は、キーを含まないハウジングの領域であってもよく、任意の方向にハウジングのキー領域を越えて延在するハウジングの所望の形状を完成させるために存在してもよい。非キー領域は、トラックパッド、トラックボール、タッチスクリーン、タッチバー、または一体型計算インターフェースデバイスのための他の形態のカーソル制御などの入力要素を含んでもよい領域であり得る。非キー領域は、トラックパッドもしくは他のカーソル制御部、ハウジングの延長部、またはハウジング内に含まれる１つまたは複数のスピーカもしくは他の音声出力デバイス用のカバーもしくはグリルなど、複数の異なる非キー領域に細分化されてもよい。いくつかの実施形態では、ハウジングは、２つ以上の非キー領域を含んでもよい。例えば、第１の非キー領域はキー領域の上縁部に配置され、第２の非キー領域はキー領域の下縁部に配置され得る。いくつかの実施形態では、非キー領域は、単にハウジングの一部であってもよく、ハウジングの一部として機能する以外の機能はない。いくつかの例では、より詳細に前述したように、非入力領域は、入力デバイスを含まない、または特定のタイプの入力デバイスを含まないハウジングの領域であってもよく、任意の方向にハウジングの入力領域を越えて延在するハウジングの所望の形状を完成させるために存在してもよい。いくつかの実施形態では、ハウジングは、２つ以上の非入力領域を含んでもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスは、少なくとも１つの画像センサを含むことができる。画像センサは、解釈のために光子（すなわち、光）を電気信号に変換するデバイスを含むことができる。例えば、画像センサは、相補型ＭＯＳ（ＣＭＯＳ）またはＮ型ＭＯＳ（ＮＭＯＳまたはライブＭＯＳ）技術で製造された電荷結合素子（ＣＣＤ）またはアクティブピクセルセンサ（ＣＭＯＳセンサ）を組み込むことができる。少なくとも１つの画像センサは、一体型計算インターフェースデバイスのユーザの画像および／またはビデオを取り込むように構成されてもよく、そうでなければユーザの物理的環境に配置されてもよい。前述のように、画像センサは、光を画像データに変換することによって視覚情報を取り込むように構成されてもよい。いくつかの実施形態では、少なくとも１つの画像センサは、カラー画像センサ、単色画像センサ、ステレオ画像センサ、赤外線画像センサ、または深度画像センサのうちの少なくとも１つであってもよい。

いくつかの例では、一体型計算インターフェースデバイスに含まれる少なくとも１つの画像センサを使用して取り込まれた画像データを解析して、装着型エクステンデッド・リアリティ・デバイスのユーザが一体型計算インターフェースデバイスに近づいているかどうかを判定することができる。例えば、画像データは、視覚的分類アルゴリズムを使用して解析され、装着型エクステンデッド・リアリティ・デバイスのユーザが一体型計算インターフェースデバイスに近づいているかどうか、一体型計算インターフェースデバイスに近づいている人が装着型エクステンデッド・リアリティ・デバイスのユーザであるかどうかなどを判定することができる。いくつかの例では、画像データを解析して、一体型計算インターフェースデバイスに近づく人によって使用される装着型エクステンデッド・リアリティ・デバイスを識別することができる。例えば、固有の視覚コードを装着型エクステンデッド・リアリティ・デバイス上に（例えば、ステッカーに、または装着型エクステンデッド・リアリティ・デバイスの外側の表示画面に）提示することができ、画像データを解析して固有の視覚コードを検出および認識することができ、装着型エクステンデッド・リアリティ・デバイスを視覚コードに関連付けるデータ構造に、識別された視覚コードに基づいてアクセスして装着型エクステンデッド・リアリティ・デバイスを識別することができる。さらに、いくつかの例では、一体型計算インターフェースデバイスと識別された装着型エクステンデッド・リアリティ・デバイスとのペアリングは、装着型エクステンデッド・リアリティ・デバイスの識別時に開始されてもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスは、少なくとも１つの画像センサを組み込んだ折り畳み可能な保護カバーを含むことができ、保護カバーは、複数の折り畳み構成に操作されるように構成することができる。カバーは、カバーの下に配置された構造に少なくともある程度調整または適合することを可能にする非剛性構造を有する場合、折り畳み可能であると考えられ得る。例として、折り畳み可能なカバーは、別個の折り目または折り目を有してもよく、または特定の折り目なしで一般的に可撓性であってもよい。折り畳み性は、カバーの折り目によって促進されてもよく、および／またはその材料組成に基づいて促進されてもよい。例えば、カバーは、折り畳むことを可能にする可撓性材料で作られてもよい。

いくつかの折り畳み構成では、カバーは、キー領域および非キー領域の少なくとも一部（または入力領域および非入力領域の少なくとも一部）を含むハウジングの一部など、輸送中の損傷からハウジングの一部を保護することができる。いくつかの実施形態では、ハウジングが複数の非キー領域を有する場合、カバーはすべての非キー領域を覆わなくてもよい。例えば、いくつかの実施形態では、カバーは、キー領域の下縁部に配置された非キー領域上に延在しなくてもよく、またはキー領域の下縁部に配置された非キー領域の一部のみを覆ってもよい。いくつかの実施形態では、ハウジングが複数の非入力領域を有する場合、カバーはすべての非入力領域を覆わなくてもよい。例えば、いくつかの実施形態では、カバーは、入力領域の下縁部に配置された非入力領域上に延在しなくてもよく、または入力領域の下縁部に配置された非入力領域の一部のみを覆ってもよい。

カバーは、画像センサを組み込むことができる。例えば、カバーの開口部は、画像センサのレンズを露出させることができ、画像センサは、カバーの層内に埋め込むことができ（画像センサのレンズを露出させるための少なくとも１つの層の開口部を有する）、画像センサは、カバーの外面に固定することができ、または画像センサは、他の方法でカバーと接続または関連付けするように構成することができる。

いくつかの実施形態では、保護カバーは、片側がハウジングに接続された四辺形の形状を有してもよい。いくつかの実施形態では、カバー形状は完全な四辺形でなくてもよい。例えば、カバーの角部および／または縁部は、その製造プロセスの結果として丸みを帯び、面取りされ、または面取りされてもよい。いくつかの実施形態では、保護カバーは、保護カバーがキー領域および非キー領域の少なくとも一部を覆うことを含めて（または入力領域および非入力領域の少なくとも一部を覆うことを含めて）ハウジングの上面を完全に覆うように、ハウジングの上面と同様の形状を有してもよい。いくつかの実施形態では、カバーは、カバーがハウジングの１つまたは複数の側面の周りに少なくとも部分的に巻き付くことができるように、ハウジングの上面の１つまたは複数の縁部を越えて延在するように構成されてもよい。

いくつかの実施形態では、少なくとも１つの画像センサは、第１の側面の反対側の、保護カバーの第２の側面よりも、ハウジングに接続された保護カバーの第１の側面の近くに配置されてもよい。いくつかの実施形態では、保護カバーの第１の側面は、ハウジングに固定して取り付けられることによってハウジングに接続されてもよい。例えば、保護カバーの第１の側面は、ヒンジ機構によってハウジングに取り付けられ、または結合されてもよい。回転ヒンジが使用されてもよく、またはヒンジは可撓性プラスチックまたは布地材料で作られてもよい。これらはほんの数例である。

当技術分野で公知の任意のタイプのヒンジ機構を使用することができる。必須ではないが、いくつかの実施形態では、ヒンジ機構は、可撓性材料で作られてもよく、可撓性材料の第１の縁部は、ハウジングに固定して取り付けられ、第１の縁部の反対側の第２の縁部は、保護カバーに固定して取り付けられる。いくつかの実施形態では、可撓性材料は、布地、シリコーン、ゴム、または他のポリマーもしくはエラストマー材料を含んでもよい。いくつかの実施形態では、ヒンジ機構は、保護カバーに接続され、保護カバーから離れるように延在する１つまたは複数のナックル（例えば、剛性または半剛性のループ構造）と、ハウジングに接続され、ハウジングから離れるように延在する１つまたは複数のナックルと、保護カバーがピンの周りを回転または枢動することができるように、ナックルのすべてを通って挿入されてヒンジを形成するピンと、を含むことができる。ピンを挿入する前に一緒に組み立てられるとき、保護カバーのナックルおよびハウジングのナックルは、位置合わせされてもよく、または交互配置されてもよい。

いくつかの実施形態では、保護カバーの第１の側面は、ハウジングに取り外し可能に接続されてもよい。例えば、保護カバーの第１の側面は、１つまたは複数の磁石を含むことができ、ハウジングは、保護カバーをハウジングに取り外し可能に接続することができるように、磁石との相互作用を可能にする強磁性材料を含むことができる。別の例として、保護カバーの第１の側面は、強磁性材料を含むことができ、ハウジングは、保護カバーがハウジングに取り外し可能に接続され得るように１つまたは複数の磁石を含むことができる。

いくつかの実施形態では、保護カバーは、第２の材料（シリコーンなど）を包む比較的柔らかい材料（例えば、ポリマーシート、布、不織布、または同様の軟質材料）の複数（例えば、２つ）の層を含んでもよい。いくつかの実施形態では、保護カバーは、第１の材料（例えば、不織布）の第１の層および第２の材料（例えば、シリコーン）の第２の層を含むことができる。いくつかの実施形態では、保護カバーは、キーボードおよび／または入力デバイスおよび／またはハウジングにバンプ、衝撃、または衝撃保護を提供するために、任意の数の層または異なる種類の材料で作られてもよい。

いくつかの実施形態では、少なくとも１つの画像センサの電子機器は、保護カバーの第１の外層と保護カバーの第２の外層との間に挟まれてもよい。挟み込みは、ステッチ、接着、接着、または隣接する層の少なくともいくつかの部分間の任意の他の形態の固定によって行われてもよい。いくつかの実施形態では、少なくとも１つの画像センサは、バンプ、衝撃、または振動から少なくとも１つの画像センサを保護するために画像センサハウジング内に取り付けられてもよい。少なくとも１つの画像センサの電子機器は、少なくとも１つの画像センサの１つまたは複数の動作をサポートすることができる。例えば、電子機器は、意図されたやり方でことを可能にする少なくとも１つの画像センサの構成要素の一部または実質的にすべてを含むことができる。いくつかの実施形態では、電子機器は、例えば、少なくとも１つの画像センサに電力を供給するための電力接続と、少なくとも１つの画像センサから一体型計算インターフェースデバイスの他の構成要素にデータを転送するためのデータ接続とを含むことができる。いくつかの実施形態では、電力接続およびデータ接続は、単一のワイヤによって提供されてもよい。いくつかの実施形態では、電力接続は、データ接続とは別個のワイヤによって提供されてもよい。いくつかの実施形態では、画像センサハウジングは、１つの画像センサまたは複数の画像センサを保持するように構成されてもよい。複数の画像センサを有する実施形態では、各画像センサは、別個の電力接続およびデータ接続を有してもよく、またはバス接続を介して電力接続および／またはデータ接続を共有してもよく、各画像センサは、電力接続および／またはデータ接続を共有するためにバスに接続される。いくつかの実施形態では、電子機器は、画像センサハウジング内に収容されてもよい。

いくつかの実施形態では、保護カバーが第１の折り畳み構成にあるとき、保護カバーの第１の外層はハウジングに面してもよく、保護カバーの第２の外層は保護カバーの反対側にあってもよく、その結果、第２の外層はハウジングから離れて面する。いくつかの実施形態では、少なくとも１つの画像センサは、第１の外層と第２の外層との間に配置され、第１の外層と第２の外層との間に少なくとも１つの画像センサを「挟んで」、少なくとも１つの画像センサを支持し、バンプ、衝撃、または振動から少なくとも１つの画像センサを保護することができる。そのような構成では、第１の外層は、少なくとも１つの画像センサが第１の外層によって覆われず、少なくとも１つの画像センサが画像を取り込むことができるように開口部を含むことができる。いくつかの実施形態では、画像センサハウジングは、第１の外層と第２の外層との間に配置されてもよい。

いくつかの実施形態では、第１の外層および第２の外層の各々は、単一の連続した材料から作製されてもよく、電子機器は、複数の分離された要素から作製された中間層上に配置されてもよい。いくつかの実施形態では、第１の外層および第２の外層は、それぞれ単一の材料片から作られてもよく、例えば、ステッチ、圧縮、溶融、接着剤、または第１の外層と第２の外層との間に中間層の複数の分離された要素が含まれるように縁部を互いに融着する他の方法によって、そのそれぞれの縁部の周りで互いに接続されてもよい。

いくつかの実施形態では、複数の分離された要素は、第１の外層および第２の外層によって両側が囲まれてもよく、複数の分離された要素は、第１の外層と第２の外層との間に挟まれる。いくつかの実施形態では、複数の分離された要素は、各分離された要素が別個のポケットにあるように、第１の外層と第２の外層との間に形成された「ポケット」に配置されてもよい。いくつかの実施形態では、複数の分離された要素は、保護カバーが可撓性であり、平坦な構成および１つまたは複数の３次元構成を含む複数の構成に形成されることを可能にすることができる。保護カバーの可能な形状についてのさらなる詳細を以下に説明する。

いくつかの実施形態では、少なくとも１つの画像センサの電子機器は、複数の分離された要素のうちの１つに取り付けられてもよい。例えば、電子機器は、接着剤によって複数の分離された要素のうちの１つに取り付けられてもよい。任意の適切なタイプの接着剤を使用することができる。別の例として、電子機器は、第１の支持要素に配置されてもよく、複数の分離された要素のうちの１つは、第２の支持要素を含んでもよく、第１の支持要素および第２の支持要素は、第１の支持要素を第２の支持要素に取り付けるために（例えば、タングおよび溝構成、スライドフィット構成、スナップフィット構成、またはプレスフィット構成により）相互作用する。いくつかの実施形態では、第１の支持要素は、前述の画像センサハウジングを含むことができ、第２の支持要素は、画像センサハウジングと相互作用して画像センサハウジングを複数の分離された要素のうちの１つに取り付けるように構成されたブラケットを含むことができる。いくつかの実施形態では、電子機器は、複数の分離された要素のうちの１つに恒久的に取り付けられてもよい。いくつかの実施形態では、電子機器は、複数の分離された要素のうちの１つに取り外し可能に取り付けられてもよい。いくつかの実施形態では、電子機器は、複数の分離された要素のうちの１つと一体的に形成されてもよい。例えば、複数の分離された要素のうちの１つは、内部に電子機器を収容するために電子機器の周りに成形または形成されてもよい。

いくつかの実施形態では、複数の分離された要素の少なくともいくつかは、三角形の形状を有してもよい。いくつかの実施形態では、複数の分離された要素の少なくともいくつかは、四辺形形状を有してもよい。いくつかの実施形態では、四辺形の要素は、丸みを帯びた、面取りされた、または傾斜した縁部および／または角部を有することができる。いくつかの実施形態では、複数の分離された要素の少なくともいくつかは、円形、半円形、楕円形、楕円形、または別の形状などの他の形状を有してもよい。一般に、分離された要素は、直線状または非直線状（例えば、湾曲している）の辺を有する任意の形状を有することができる。いくつかの実施形態では、複数の分離された要素のすべてが実質的に同じ形状を有してもよい。いくつかの実施形態では、複数の分離された要素のうちのいくつかは、第１の形状を有してもよく、他の分離された要素は、第１の形状とは異なる第２の形状を有してもよい。いくつかの実施形態では、複数の分離された要素の少なくともいくつかは、異なるサイズで実質的に同じ形状を有してもよい。例えば、複数の分離された要素のいくつかは、異なるサイズの実質的に三角形の形状、例えば、小さい三角形の形状および大きい三角形の形状を有してもよい。複数の分離された要素の説明された形状は、各要素が丸みを帯びた、面取りされた、または傾斜した縁部および／または角部を有し得るという点で近似している。

いくつかの実施形態では、第１の外層および第２の外層は、第１の材料から作製されてもよく、中間層は、第１の材料とは異なる第２の材料を含んでもよい。いくつかの実施形態では、第１の外層は、第２の外層とは異なる材料で作製されてもよい。いくつかの実施形態では、中間層の第２の材料は、第１の外層または第２の外層のいずれかとは異なる材料であってもよい。

いくつかの実施形態では、第１の材料および第２の材料は、プラスチック材料、シリコン、炭素繊維、ポリカーボネート、布、または革を含むことができる。例えば、第１の材料はポリカーボネート材料であってもよく、第２の材料はシリコンまたは布地であってもよい。別の例として、第１の材料は第１のタイプの布地であってもよく、第２の材料は第２のタイプの布地であってもよい。別の例として、第２の材料は、ガラス、セラミック、エポキシ、プラスチック、またはポリテトラフルオロエチレンのうちの少なくとも１つであってもよい。いくつかの実施形態では、第１の材料は、第２の材料よりも耐久性があり得る。いくつかの実施形態では、第２の材料は、第１の材料よりも柔らかくてもよい。いくつかの実施形態では、第２の材料は誘電材料であってもよい。

いくつかの実施形態では、第１の材料は、第２の材料よりも剛性であってもよい。いくつかの実施形態では、第１の材料は剛性または半剛性であってもよい。いくつかの実施形態では、第２の材料は、第１の材料よりも剛性であってもよい。いくつかの実施形態では、第２の材料は剛性または半剛性であってもよい。

いくつかの実施形態では、第１の折り畳み構成では、保護カバーは、キー領域および非キー領域の少なくとも一部を収容するように構成されてもよい。いくつかの実施形態では、第１の折り畳み構成では、保護カバーは、キー領域および非キー領域全体を含むハウジングの上面全体を収容することができる。例えば、保護カバーがハウジングに片側で接続されてもよく、第１の折り畳み構成では、保護カバーは、保護カバーが接続されているハウジングの側から、保護カバーが接続されているハウジングの反対側に延在してもよい。別の例では、第１の折り畳み構成では、保護カバーは、キー領域および非キー領域の少なくとも一部を含むハウジングの上面の一部を収容することができる。いくつかの実施形態では、第１の折り畳み構成では、保護カバーは、入力領域および非入力領域の少なくとも一部を収容するように構成されてもよい。例えば、保護カバーは、入力領域および非入力領域の少なくとも一部を含むハウジングの上面の一部を収容することができる。いくつかの実施形態では、保護カバーは、ハウジングの上面にわたって平らに置かれてもよい。

いくつかの実施形態では、保護カバーは、例えば磁気接続によって、ハウジングの反対側でハウジングに取り外し可能に接続されてもよい。いくつかの例では、一体型計算インターフェースデバイスはセンサを含むことができ、センサを使用して取り込まれたデータは、保護カバーが第１の折り畳み構成にあるかどうかを示すことができる。そのようなセンサのいくつかの非限定的な例は、近接センサ、磁気センサ、物理ボタン（スイッチとして機能する）などを含むことができる。さらに、いくつかの例では、一体型計算インターフェースデバイスは、保護カバーが第１の折り畳み構成にあるとき、少なくとも１つの画像センサを使用した画像および／またはビデオ取り込みを保留するように構成されてもよい。他の例では、一体型計算インターフェースデバイスは、保護カバーが第１の折り畳み構成にあるかどうかに基づいて動作電力モード（例えば、スリープ、休止、通常など）を変更するように構成されてもよい。

いくつかの実施形態では、第２の折り畳み構成では、保護カバーは、ユーザがキーボードをタイプしている間に、少なくとも１つの画像センサの光軸を一体型計算インターフェースデバイスのユーザにほぼ向けるように立つように構成されてもよい。例えば、カバーの少なくとも一部がもはやインターフェースデバイスを覆わない第２の構成にカバーが折り畳まれると、カバーの少なくともその部分は、ユーザがインターフェースデバイスと対話する（例えば、デバイスを使用する、例えば、キーボードでタイプする）間に画像センサがユーザの方向に面する上昇位置をとるように構成されてもよい。いくつかの実施形態では、保護カバーは、１つまたは複数のセクタに折り畳まれてもよく、少なくともいくつかのセクタは、第２の折り畳み構成で保護カバーを支持するのを助ける。いくつかの実施形態では、第２の折り畳み構成にあるとき、保護カバーは、実質的に三角形の形状に折り畳まれてもよい。少なくとも１つの画像センサの光軸は、画像センサのレンズの中心を通る仮想線であってもよく、例えばユーザがキーボードをタイプしている間に画像センサがユーザの画像を取り込むことができるように画像センサの画角を画定するのに役立ち得る。いくつかの実施形態では、第２の折り畳み構成では、保護カバーは、ユーザが入力デバイスと物理的に相互作用しながら、少なくとも１つの画像センサの光軸を一体型計算インターフェースデバイスのユーザにほぼ向けるように立つように構成されてもよい。入力デバイスとのそのような物理的相互作用の１つの非限定的な例は、入力デバイス（例えば、タッチスクリーンへのタッチ、タッチパッドへのタッチなど）に触れることを含むことができる。

いくつかの実施形態では、第２の折り畳み構成では、ハウジングが表面上に載置されると、ハウジングに接続された四辺形の側面に対向する保護カバーのセクタも、表面上に載置されるように構成され得る。いくつかの実施形態では、表面上に載置される保護カバーのセクタは、保護カバーが第２の折り畳み構成に立つのを助ける。いくつかの実施形態では、保護カバーのセクタは、表面上に載置されている間、ハウジングから離れるように延在する。いくつかの実施形態では、保護カバーのセクタは、表面上に載置されながらハウジングに向かって延在する。

いくつかの実施形態では、第２の折り畳み構成で表面上に載置されるように構成された保護カバーのセクタの面積は、保護カバーの全面積の少なくとも１０％であってもよい。いくつかの実施形態では、第２の折り畳み構成において表面上に載る保護カバーのセクタの面積は、表面上に載る保護カバーの面積が、保護カバーが第２の折り畳み構成に留まるのを助けるように、保護カバーの全面積の１０％より大きくても小さくてもよい。

いくつかの実施形態では、表面上に載置された保護カバーのセクタの側面は、セクタが表面上に載置されたときに摺動しないように滑り止め部分を含むことができる。例えば、滑り止め部分は、リブ付き、溝付き、または小石目などのテクスチャ加工部分を含むことができる。別の例として、滑り止め部分は、硬質プラスチックまたはゴムなどの滑り止め材料で作られてもよい。いくつかの実施形態では、滑り止め部分のサイズは、表面上に載置される保護カバーのセクタの面積よりも小さい。

いくつかの実施形態では、保護カバーは、複数の所定の折り畳み線に沿って保護カバーを折り畳むことを可能にする可撓性部分を含むことができる。このような折り畳み線は、例えば、カバーの折り目であってもよい。いくつかの実施形態では、可撓性部分は、保護カバーの中間層の複数の分離された要素のうちの１つまたは複数の間にあってもよい。いくつかの実施形態では、可撓性部分は、保護カバーの中間層の複数の分離された要素の各々の間にあってもよい。いくつかの実施形態では、可撓性部分は、保護カバーの第１の外層と第２の外層とが交わる位置に形成されてもよい。いくつかの実施形態では、所定の折り畳み線は、保護カバーの可撓性部分に対応することができる。例えば、保護カバーの任意の可撓性部分は、所定の折り畳み線であってもよい。いくつかの実施形態では、可撓性部分は、保護カバーが１つまたは複数の３次元形状を含む複数の形状に折り畳まれることを可能にすることができる。いくつかの実施形態では、所定の折り畳み線は、保護カバーを折り畳むことができる保護カバーの一部であってもよい。

いくつかの実施形態では、折り畳み線の少なくともいくつかは互いに非平行であってもよく、可撓性部分は、保護カバーを折り畳んで、装着型エクステンデッド・リアリティ機器を選択的に囲むための区画を含む３次元形状を形成することを可能にしてもよい。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、前述のように、一対のスマートグラスまたはゴーグルを含んでもよい。スマートグラスは、従来の眼鏡と同様に見える場合があり、ユーザが現在見ているものの写真を撮るように配置されたカメラや、スマートグラスのレンズに画像を投影するように構成された１つまたは複数のディスプレイなどの「スマート」機能を含むことができる。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、ゴーグルまたは他の形態の装着型デバイスなど、１つまたは複数のレンズを含んでもよい他の形態をとることができる。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、ハウジングの非キー領域および／またはキー領域に配置されてもよく、第１の折り畳み構成では、保護カバーは、非キー領域および／またはキー領域に配置されている間に装着型エクステンデッド・リアリティ機器を囲んでもよい。保護カバーに形成された区画は、保護カバーの内面と、非キー領域およびキー領域を含むハウジングの表面との間に空間を提供して、装着型エクステンデッド・リアリティ機器を内部に封入することができる。

いくつかの例では、一体型計算インターフェースデバイスは、少なくとも１つのプロジェクタをさらに含んでもよく、折り畳み可能な保護カバーは、少なくとも１つのプロジェクタをさらに組み込んでもよい。例えば、少なくとも１つのプロジェクタは、可視光、赤外光、または近赤外光のうちの少なくとも１つを放射するように構成されてもよい。一例では、少なくとも１つの画像センサの光軸は、少なくとも１つのプロジェクタの中心方向に平行であってもよい。一例では、アクティブステレオカメラは、少なくとも１つのプロジェクタおよび少なくとも１つの画像センサを使用して実施されてもよい。別の例では、飛行時間型カメラは、少なくとも１つのプロジェクタおよび少なくとも１つの画像センサを使用して実施されてもよい。いくつかの例では、少なくとも１つのプロジェクタは、保護カバーが第２の折り畳み構成にあるときに作動されてもよく、保護カバーが第１の折り畳み構成にあるとき、および／または第３の折り畳み構成にあるときに作動停止されてもよい。いくつかの例では、少なくとも１つのプロジェクタは、保護カバーが第３の折り畳み構成にあるときに作動されてもよく、保護カバーが第１の折り畳み構成にあるとき、および／または第２の折り畳み構成にあるときに作動停止されてもよい。いくつかの例では、少なくとも１つのプロジェクタは、少なくとも１つの画像センサから第１の距離に配置された第１のプロジェクタと、少なくとも１つの画像センサから第２の距離に配置された第２のプロジェクタとを含むことができ、第２の距離は第１の距離よりも大きくてもよい。一例では、第２の折り畳み構成では、第１のプロジェクタを起動し、第２のプロジェクタを停止してもよく、第３の折り畳み構成では、第２のプロジェクタを起動し、第１のプロジェクタを停止してもよい。

いくつかの実施形態では、複数の所定の折り畳み線は、少なくとも２つの横断折り畳み線および少なくとも２つの非横断折り畳み線を含むことができる。いくつかの実施形態では、横断折り畳み線は、１つまたは複数の他の折り畳み線と交差する折り畳み線であってもよい。いくつかの実施形態では、非横断折り畳み線は、別の折り畳み線と交差しない折り畳み線であってもよい（例えば、非横断折り畳み線が互いに平行であってもよい）。いくつかの実施形態では、横断折り畳み線および非横断折り畳み線は、保護カバーを第１の折り畳み構成、第２の折り畳み構成、および１つまたは複数の３次元形状に折り畳むことを可能にすることができる。

いくつかの例では、第３の折り畳み構成では、保護カバーは、少なくとも１つの画像センサの光軸を一般にユーザから外方に向ける位置にあるように構成されてもよい。例えば、第３の折り畳み構成では、カバーは、一体型計算インターフェースデバイス（例えば、キーボードの反対側）のハウジングの後面に隣接していてもよい。いくつかの例では、一体型計算インターフェースデバイスはセンサを含むことができ、センサを使用して取り込まれたデータは、保護カバーが第３の折り畳み構成にあるかどうかを示すことができる。そのようなセンサのいくつかの非限定的な例は、近接センサ、磁気センサ、物理ボタン（スイッチとして機能する）などを含むことができる。いくつかの例では、一体型計算インターフェースデバイスは、保護カバーが第３の折り畳み構成にあるかどうかに基づいて、少なくとも１つの画像センサの少なくとも１つの画像取り込みパラメータを調整することができる。例えば、保護カバーが第３の折り畳み構成にあるとき、少なくとも１つの画像取り込みパラメータ（焦点、視野、解像度など）は、より遠いオブジェクトの画像を取り込むために調整され得る。一例では、少なくとも１つの画像取り込みパラメータは、視野、ズーム、解像度、フォーカス、フレームレート、または色補正のうちの少なくとも１つを含むことができる。

図１５は、一体型計算インターフェースデバイス１５００の第１の典型的な実施形態の正面斜視図である。図１５は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。いくつかの例では、計算インターフェースデバイス１５００は、計算インターフェースデバイス１６００、１７００、１８００、２０００、２１００、および２２００の要素を含むことができ、それらは計算インターフェースデバイス１５００に関連して本明細書に記載されていない、および／または図１５に示されていない。

一体型計算インターフェースデバイス１５００は、キー領域１５０４および非キー領域１５０６を有するハウジング１５０２を含む。キーボード１５０８は、キー領域１５０４に関連付けられ得る。画像センサ１５１０は、一体型計算インターフェースデバイス１５００に含まれてもよい。なお、図１５では、画像センサ１５１０を１つ示しているが、他の画像センサを設けてもよい。いくつかの実施形態では、画像センサ１５１０は、画像センサハウジング１５１２に含まれてもよい。

一体型計算インターフェースデバイス１５００は、折り畳み可能な保護カバー１５１４を含むことができる。折り畳み可能な保護カバー１５１４は、画像センサ１５１０および／または画像センサハウジング１５１２を組み込むことができる。図１５に示すように、折り畳み可能な保護カバー１５１４は、折り畳み可能な保護カバー１５１４が立つように構成され、ユーザがキーボード１５０８をタイプしている間、画像センサ１５１０が一般に一体型計算インターフェースデバイス１５００のユーザに面することができるように、第２の折り畳み構成にある。折り畳み可能な保護カバー１５１４は、コネクタ１５１６によってハウジング１５０２に接続することができる。本明細書で説明するように、コネクタ１５１６は、固定接続（例えば、ヒンジ機構）または取り外し可能な接続（例えば、磁気接続部）を含むことができる。

折り畳み可能な保護カバー１５１４は、複数のセクタを含むことができる。図１５に示すように、折り畳み可能な保護カバー１５１４は、第１のセクタ１５１８、第２のセクタ１５２０、および第３のセクタ１５２２を含んでもよい。セクタ１５１８、１５２０、および１５２２は、折り畳み可能な保護カバー１５１４が第２の折り畳み構成で立つことを可能にし得る。第１のセクタ１５１８は、ハウジング１５０２が載置されている表面上に載置され、ハウジング１５０２の一部の下に折り畳まれているものとして図１５に示されている。第３のセクタ１５２２は、コネクタ１５１６によってハウジング１５０２に接続されてもよい。この例では、画像センサ１５１０および／または画像センサハウジング１５１２は、セクタ１５２２に含まれてもよい。

図１６は、一体型計算インターフェースデバイス１６００の第２の典型的な実施形態の正面斜視図である。図１６は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。説明を容易にするために、図１５に示す要素と同様の図１６に示す要素は、同様の符号で参照される。例えば、一体型計算インターフェースデバイス１６００は、キー領域１５０４と同様のキー領域１６０４、非キー領域１５０６と同様の非キー領域１６０６、ワイヤポート１５２４と同様のワイヤポート１６２４などを含むことができる。一例では、計算インターフェースデバイス１６００は、ワイヤ１５２６と同様のワイヤ１６２６、装着型エクステンデッド・リアリティ機器１６２８と同様の装着型エクステンデッド・リアリティ機器１５２８などとリンクされてもよい。いくつかの例では、計算インターフェースデバイス１６００は、計算インターフェースデバイス１５００、１７００、１８００、２０００、２１００、および２２００の要素を含むことができ、それらは計算インターフェースデバイス１６００に関連して本明細書に記載されていない、および／または図１６に示されていない。

一体型計算インターフェースデバイス１６００は、折り畳み可能な保護カバー１６１４を含むことができる。折り畳み可能な保護カバー１６１４は、画像センサ１６１０を組み込むことができる。図１６に示すように、折り畳み可能な保護カバー１６１４は、折り畳み可能な保護カバー１６１４が立つように構成され、ユーザがキーボード１６０８をタイプしている間、画像センサ１６１０が一般に一体型計算インターフェースデバイス１６００のユーザに面することができるように、第２の折り畳み構成にある。折り畳み可能な保護カバー１６１４は、コネクタ１６１６によってハウジング１６０２に接続することができる。

折り畳み可能な保護カバー１６１４は、複数のセクタを含むことができる。図１６に示すように、折り畳み可能な保護カバー１６１４は、第１のセクタ１６１８、第２のセクタ１６２０、および第３のセクタ１６２２を含んでもよい。セクタ１６１８、１６２０、および１６２２は、折り畳み可能な保護カバー１６１４が第２の折り畳み構成で立つことを可能にし得る。第１のセクタ１６１８は、図１６において、ハウジング１６０２が載置され、ハウジング１６０２から離れて折り畳まれている表面に載置されているように示されている。第３のセクタ１６２２は、コネクタ１６１６によってハウジング１６０２に接続されてもよい。

折り畳み可能な保護カバー１６１４は、所定の折り畳み線１６３０を含むことができる。所定の折り畳み線は、製造中に折り畳みのために事前に準備された任意の線であってもよい。所定の折り畳み線１６３０は、折り畳み可能な保護カバー１６１４をセクタ１６１８、１６２０、および１６２２に分離することができる。いくつかの所定の折り畳み線１６３０は、折り畳み可能な保護カバー１６１４の全距離にわたって延在してもよく、互いに平行であってもよい。他の所定の折り畳み線１６３０は、異なる方向に延びてもよい。パターンは、折り畳み可能な保護カバー１６１４を１つまたは複数の３次元形状に折り畳むことを可能にするために、所定の折り畳み線１６３０によって作成することができる。

図１７は、一体型計算インターフェースデバイス１７００の第３の典型的な実施形態の上面図である。図１７は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。説明を容易にするために、図１５に示す要素と同様の図１７に示す要素は、同様の符号で参照される。例えば、一体型計算インターフェースデバイス１７００は、キー領域１５０４と同様のキー領域１７０４、非キー領域１５０６と同様の非キー領域１７０６、キーボード１５０８と同様のキーボード１７０８、ワイヤポート１５２４と同様のワイヤポート１７２４などを含むことができる。一例では、計算インターフェースデバイス１７００は、ワイヤ１５２６と同様のワイヤ１７２６、装着型エクステンデッド・リアリティ機器１７２８と同様の装着型エクステンデッド・リアリティ機器１５２８などとリンクされてもよい。いくつかの例では、計算インターフェースデバイス１７００は、計算インターフェースデバイス１５００、１６００、１８００、２０００、２１００、および２２００の要素を含むことができ、それらは計算インターフェースデバイス１７００に関連して本明細書に記載されていない、および／または図１７に示されていない。

一体型計算インターフェースデバイス１７００は、折り畳み可能な保護カバー１７１４を含むことができる。折り畳み可能な保護カバー１７１４は、画像センサ１７１０を組み込むことができる。折り畳み可能な保護カバー１７１４は、コネクタ１７１６によってハウジング１７０２に接続することができる。折り畳み可能な保護カバー１７１４は、第１のセクタ１７１８、第２のセクタ１７２０、および第３のセクタ１７２２などの複数のセクタを含むことができる。セクタ１７１８、１７２０、および１７２２は、折り畳み可能な保護カバー１７１４が第２の折り畳み構成で立つことを可能にし得る。

折り畳み可能な保護カバー１７１４は、図１７に破線として示されている所定の折り畳み線１７３０を含むことができる。所定の折り畳み線１７３０は、折り畳み可能な保護カバー１７１４をセクタ１７１８、１７２０、および１７２２に分離することができる。いくつかの所定の折り畳み線１７３０は、折り畳み可能な保護カバー１７１４の全距離にわたって延在してもよく、互いに平行であってもよい。他の所定の折り畳み線１７３０は、異なる方向に延在することができる。パターンは、折り畳み可能な保護カバー１７１４を１つまたは複数の３次元形状に折り畳むことを可能にするために、所定の折り畳み線１７３０によって作成することができる。

図１８は、第１の折り畳み構成にある折り畳み可能な保護カバー１８１４を有する一体型計算インターフェースデバイス１８００の第４の典型的な実施形態の正面斜視図である。図１８は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。図１８に示すように、折り畳み可能な保護カバー１８１４は、３次元形状を形成することができる。説明を容易にするために、図１５に示す要素と同様の図１８に示す要素は、同様の符号で参照される。いくつかの例では、計算インターフェースデバイス１８００は、計算インターフェースデバイス１５００、１６００、１７００、２０００、２１００、および２２００の要素を含むことができ、それらは計算インターフェースデバイス１８００に関連して本明細書に記載されていない、および／または図１８に示されていない。

折り畳み可能な保護カバー１８１４は、第１のセクタ１８１８、第２のセクタ１８２０、および第３のセクタ１８２２などの複数のセクタを含むことができる。折り畳み可能な保護カバー１８１４は、折り畳み可能な保護カバー１８１４を折り畳むことを可能にする１つまたは複数の可撓性部分１８３２を含むことができる。折り畳み可能な保護カバー１８１４は、１つまたは複数の三角形要素１８３４および１つまたは複数の多角形要素１８３６などの複数の分離された要素を含むことができる。複数の分離された要素１８３４、１８３６は、可撓性部分１８３２によって互いに接続されてもよい。

図１９は、折り畳み可能な保護カバー１９１４の典型的な実施形態の一部の分解図である。図１９は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。説明を容易にするために、図１５に示す要素と同様の図１９に示す要素は、同様の符号で参照される。

折り畳み可能な保護カバー１９１４は、第１の外層１９４０、中間層１９４２、および第２の外層１９４４を含んでもよい。折り畳み可能な保護カバー１９１４が第１の折り畳み構成にあるとき、第１の外層１９４０は、一体型計算インターフェースデバイスのハウジングに面してもよく、第２の外層１９４４は、折り畳み可能な保護カバー１９１４の反対側にあってもよく、第２の外層１９４４は、ハウジングから外方に面する。いくつかの実施形態では、中間層１９４２は、第１の外層１９４０と第２の外層１９４４との間に中間層１９４２を「挟む」ことで中間層１９４２を支持するために、第１の外層１９４０と第２の外層１９４４との間に位置してもよい。

第１の外層１９４０および第２の外層１９４４は、軟質材料（例えば、不織布）等の単一の連続材料から構成されてもよい。第１の外層１９４０は、画像センサ１９１０が第１の外層１９４０によって妨害されることなく画像データを受信できるように、開口部１９５２を含んでもよい。

中間層１９４２は、複数の分離された要素１９４６で作られてもよい。いくつかの実施形態では、各分離された要素１９４６は、分離された要素１９４６が互いに接触しないように、第１の外層１９４０および第２の外層１９４４によって形成されたポケット内に封入されてもよい。

複数の分離された要素１９４６は、複数の分離された要素１９４６が少なくとも１つの画像センサ１９１０を含む画像センサハウジング１９１２を支持することができるように、剛性または半剛性材料で作製することができる。画像センサハウジング１９１２は、画像センサハウジング１９１２を支持要素１９４８に接続することを可能にするために、複数の分離された要素１９４６のうちの１つに接続された支持要素１９４８と相互作用するように構成されてもよい。ワイヤ１９５０を画像センサ１９１０に接続して、画像センサ１９１０に電力を供給し、および／または画像センサ１９１０から画像データを受信することができる。図１９には１つのワイヤ１９５０が示されているが、２つ以上のワイヤが設けられてもよく、１つのワイヤは画像センサ１９１０に電力を供給し、第２のワイヤは画像センサ１９１０から画像データを受信する。

いくつかの実施形態では、一体型計算インターフェースデバイスは、保護カバーの第１の側面の反対側の一体型計算インターフェースデバイスの前側に位置するハウジング内のワイヤポートをさらに含むことができ、ワイヤポートは、装着型エクステンデッド・リアリティ機器から延在するワイヤを受け取るように構成される。そのようなワイヤポートは、例えば、ワイヤが使用中にキーボードおよび／または入力デバイスと干渉しないように、装着型エクステンデッド・リアリティ機器の接続を可能にすることができる。前側にワイヤポートを有することは、例えば、キーボードおよび／または入力デバイスと対話している間に（手によるワイヤの妨害の）ワイヤによるユーザの手の妨害を回避するために、一体型計算インターフェースデバイスの左側または右側にワイヤポートを有することよりも好ましい場合がある。さらに、ワイヤポートは、前側の中央またはほぼ中央に位置してもよい（例えば、中央から最大１インチ、中央から最大２インチ、中央から最大３インチ、前側の左右両縁部から少なくとも１インチ、前側の左右両縁部から少なくとも２インチ、前側の左右両縁部から少なくとも３インチ、前側の左右両縁部から少なくとも５インチ、前側の左右縁部のいずれか一方よりも中央に近い、などである）。いくつかの実施形態では、前述のように、ワイヤは、一体型計算インターフェースデバイスと装着型エクステンデッド・リアリティ機器との間に電力および／またはデータを提供するのに適した任意のタイプのワイヤであってもよい。例えば、ワイヤが一体型計算インターフェースデバイスおよび／または装着型エクステンデッド・リアリティ機器から取り外し可能である場合、ワイヤは、ワイヤポートおよび装着型エクステンデッド・リアリティ機器に適切なコネクタを備えたユニバーサルシリアルバス（ＵＳＢ）タイプのワイヤであってもよい。いくつかの実施形態では、ワイヤは、装着型エクステンデッド・リアリティ機器の任意の部分から延在してもよい。いくつかの実施形態では、ワイヤは、装着型エクステンデッド・リアリティ機器に固定的に取り付けられてもよく、または装着型エクステンデッド・リアリティ機器から取り外し可能であってもよい。いくつかの実施形態では、ワイヤは、一体型計算インターフェースデバイスに固定して取り付けられてもよく、または一体型計算インターフェースデバイスから取り外し可能であってもよい。

図１５に戻って参照すると、ハウジング１５０２は、装着型エクステンデッド・リアリティ機器１５２８から延在するワイヤ１５２６を受容するように構成され得るワイヤポート１５２４を含んでもよい。図１５は、装着型エクステンデッド・リアリティ機器１５２８を一対のスマートグラスとして示しているが、装着型エクステンデッド・リアリティ機器１５２８は他の形態（例えば、一対のゴーグル）を含んでもよい。装着型エクステンデッド・リアリティ機器１５２８の形態は、図１５に示す実施形態の動作を変更しない。

少なくとも１つの画像センサは、一般に、任意の数の画像センサを含んでもよい。いくつかの実施形態では、少なくとも１つの画像センサは、少なくとも第１の画像センサおよび第２の画像センサを含んでもよい。いくつかの実施形態では、第１の画像センサおよび第２の画像センサは、互いに近接して配置されてもよい。いくつかの実施形態では、第１の画像センサおよび第２の画像センサは、同じ画像センサハウジング内に収容されてもよい。いくつかの実施形態では、第１の画像センサおよび第２の画像センサは、互いに分離されてもよい。いくつかの実施形態では、第１の画像センサおよび第２の画像センサは、別個の画像センサハウジングに収容されてもよい。

いくつかの実施形態では、第２の折り畳み構成では、画像センサのうちの少なくとも１つの視野は、デバイスを使用してユーザの画像（少なくとも部分画像）を取り込むように構成されてもよい。例えば、ユーザとインターフェースデバイスとの間の予想される距離が与えられると、画像センサは、その視野が主に開示した実施形態の動作に関連付けられたユーザの部分に合わせて調整されるように構成されてもよい。例えば、いくつかの実施形態では、第２の折り畳み構成では、第１の画像センサの第１の視野は、ユーザがキーボードをタイプしている間にユーザの顔を取り込むように構成されてもよい。ここでも、保護カバーは、画像センサがユーザの予想位置に向かって上方に傾斜するように構成されてもよい。別の例では、第２の折り畳み構成では、第１の画像センサの第１の視野は、ユーザが入力デバイスと物理的に対話している間にユーザの顔を取り込むように構成されてもよい。

いくつかの実施形態では、画像センサは、画像センサのうちの１つがユーザの顔の画像を取り込むように構成されているとき、別の画像センサがユーザの別のビューを取り込むように構成され得るように構成されてもよい。例えば、キーボード上のユーザの一方または両方の手の画像である。したがって、カバーは、ユーザの顔の予想される位置に対して角度付けされた１つの画像センサを支持することができ、一方、同じカバー内の（またはハウジング上の別の位置にある）第２の画像センサは、キーボード上のユーザの手の動きを取り込むために角度付けされることができる。例えば、いくつかの実施形態では、第２の折り畳み構成では、第２の画像センサの第２の視野は、ユーザがキーボードをタイプしている間にユーザの手の画像を取り込むように構成されてもよい。別の例では、第２の折り畳み構成では、第２の画像センサの第２の視野は、ユーザが入力デバイスと物理的に相互作用している間にユーザの手の画像を取り込むように構成されてもよい。いくつかの実施形態では、第１の視野および第２の視野は、少なくとも部分的に重なってもよい。いくつかの実施形態では、第１の視野と第２の視野とは重複しなくてもよい。

図２０は、一体型計算インターフェースデバイス２０００の第５の典型的な実施形態を示す右側面図である。図２０は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。説明を容易にするために、図１５に示す要素と同様の図２０に示す要素は、同様の符号で参照される。例えば、一体型計算インターフェースデバイス２０００は、ハウジング１５０２と同様のハウジング２００２などを含むことができる。いくつかの例では、計算インターフェースデバイス２０００は、計算インターフェースデバイス１５００、１６００、１７００、１８００、２１００、および２２００の要素を含むことができ、それらは計算インターフェースデバイス２０００に関連して本明細書に記載されていない、および／または図２０に示されていない。

一体型計算インターフェースデバイス２０００は、折り畳み可能な保護カバー２０１４を含むことができる。折り畳み可能な保護カバー２０１４は、第１のセクタ２０１８、第２のセクタ２０２０、および第３のセクタ２０２２などの複数のセクタを含むことができる。セクタ２０１８、２０２０、および２０２２は、図２０に示すように、折り畳み可能な保護カバー２０１４が第２の折り畳み構成で立つことを可能にすることができる。

折り畳み可能な保護カバー２０１４の第３のセクタ２０２２は、第１の視野２０６２を有する第１の画像センサ２０６０と、第２の視野２０６６を有する第２の画像センサ２０６４と、を含んでもよい。第１の視野２０６２は、第１の画像センサ２０６０が一体型計算インターフェースデバイス２０００のユーザの顔の１つまたは複数の画像を取り込むことを可能にすることができる。第２の視野２０６６は、ユーザがキーボード２００８をタイプしている間、第２の画像センサ２０６４がユーザの手の１つまたは複数の画像を取り込むことを可能にし得る。

いくつかの実施形態では、少なくとも１つの画像センサは、ユーザが保護カバーを動かすことなく少なくとも１つの画像センサの角度を変更することを可能にするように構成された少なくとも１つのジンバルに接続されてもよい。ジンバルは、少なくとも１つの画像センサが軸を中心に回転することを可能にし、それによって少なくとも１つの画像センサの角度を変化させる旋回支持体であってもよい。いくつかの実施形態では、ジンバルは、少なくとも１つの画像センサを３６０°の範囲内で回転させることを可能にするボールソケットジョイントとして実施されてもよい。いくつかの実施形態では、ジンバルは、少なくとも１つの画像センサを１自由度（すなわち、左右または上下のいずれか）内で回転させることを可能にするピンジョイントとして実施されてもよい。いくつかの実施形態では、少なくとも１つの画像センサが１つまたは複数の自由度内で角度付けされることを可能にするために、他のタイプの機械的ジョイントまたはコネクタが実施されてもよい。いくつかの実施形態では、少なくとも１つの画像センサは、少なくとも１つのジンバルに接続され得る画像センサハウジングに収容されてもよい。少なくとも１つの画像センサの角度を変更することはまた、少なくとも１つの画像センサの視野を変更することもできる。いくつかの実施形態では、ジンバルは、少なくとも１つの画像センサが左右、上下、または３６０°の範囲内で動くことを可能にすることができる。

図２１は、一体型計算インターフェースデバイス２１００の第６の典型的な実施形態を示す右側面図である。図２１は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。説明を容易にするために、図１５に示す要素と同様の図２１に示す要素は、同様の符号で参照される。例えば、一体型計算インターフェースデバイス２１００は、ハウジング１５０２と同様のハウジング２１０２などを含むことができる。いくつかの例では、計算インターフェースデバイス２１００は、計算インターフェースデバイス１５００、１６００、１７００、１８００、２０００、および２２００の要素を含むことができ、それらは計算インターフェースデバイス２１００に関連して本明細書に記載されていない、および／または図２１に示されていない。

一体型計算インターフェースデバイス２１００は、折り畳み可能な保護カバー２１１４を含むことができる。折り畳み可能な保護カバー２１１４は、第１のセクタ２１１８、第２のセクタ２１２０、および第３のセクタ２１２２などの複数のセクタを含むことができる。セクタ２１１８、２１２０、および２１２２は、図２１に示すように、折り畳み可能な保護カバー２１１４が第２の折り畳み構成で立つことを可能にすることができる。

折り畳み可能な保護カバー２１１４の第３のセクタ２１２２は、ジンバル２１７２に取り付けられた画像センサ２１７０を含むことができる。ジンバル２１７２は、一体型計算インターフェースデバイス２１００のユーザが、折り畳み可能な保護カバー２１１４を動かすことなく画像センサ２１７０の角度を変更することを可能にするように構成されてもよい。

いくつかの実施形態では、一体型計算インターフェースデバイスは、ハウジングの非キー領域（またはハウジングの非入力領域）にホルダをさらに含んでもよい。前述のように、いくつかの実施形態では、ホルダは、ハウジングの少なくとも一部の平面の下に延在する凹部であってもよく、またはハウジングの表面の上に完全に載置してもよい。いくつかの実施形態では、ホルダは、筆記具、ワイヤまたはケーブル、ドングル、紙（すなわち、ホルダがコピースタンドのように機能することを可能にするため）、ゴーグル、眼鏡、またはユーザが容易にアクセスまたは保存したいと望む他のアイテムなどの１つまたは複数のアイテムと選択的に係合するための１つまたは複数の構造的特徴を含むことができる。

いくつかの実施形態では、ホルダは、装着型エクステンデッド・リアリティ機器との選択的な係合および係合解除のために構成されてもよい。前述したように、いくつかの実施形態では、例えば図６～図１２Ｂに示すように、ホルダの構造的特徴は、装着型エクステンデッド・リアリティ機器がホルダの少なくとも一部にスナップ嵌合、圧入、または圧力嵌合することができるように、装着型エクステンデッド・リアリティ機器と選択的に係合するように構成することができる。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと選択的に係合するとき、装着型エクステンデッド・リアリティ機器は、キーボード（または入力デバイス）に接続されてもよく、キーボードを用いて（または入力デバイスを用いて）輸送可能であってもよい。前述したように、いくつかの実施形態では、装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと選択的に係合すると、装着型エクステンデッド・リアリティ機器は、ホルダを介してハウジングにしっかりと接続されることによってハウジングと共に輸送可能であり得る。

いくつかの実施形態では、第１の折り畳み構成は、２つの収納モードに関連付けられてもよい。いくつかの実施形態では、第１の収納モードでは、装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと係合するとき、保護カバーは、装着型エクステンデッド・リアリティ機器およびキーボードの上に重なってもよい。前述したように、第１の収納モードのいくつかの実施形態では、保護カバーは、装着型エクステンデッド・リアリティ機器がホルダと選択的に係合するときに、キーボードおよび／またはハウジングおよび／または装着型エクステンデッド・リアリティ機器にバンプ、衝撃、または衝撃保護を提供することができる。いくつかの実施形態では、第１の収納モードにあるとき、保護カバーは、ハウジングの上面の上に延在する３次元形状を形成して、装着型エクステンデッド・リアリティ機器を選択的に囲むための区画を形成することができる。いくつかの実施形態では、第１の収納モードでは、装着型エクステンデッド・リアリティ機器がホルダを介してハウジングと係合するとき、保護カバーは、装着型エクステンデッド・リアリティ機器および入力デバイスの上に重なってもよい。

いくつかの実施形態では、第１の折り畳み構成の第１の収納モードにおいて、キーボードからの少なくとも１つの画像センサの距離は、２センチメートル（ｃｍ）～５ｃｍであってもよい。いくつかの実施形態では、第１の折り畳み構成において保護カバーによって形成された３次元形状は、少なくとも１つの画像センサをキーボードの上方に持ち上げることができる。いくつかの実施形態では、少なくとも１つの画像センサは、２ｃｍよりもキーボードに近くてもよい。いくつかの実施形態では、少なくとも１つの画像センサは、キーボードから５ｃｍより遠くにあってもよい。いくつかの実施形態では、第１の折り畳み構成の第１の収納モードでは、入力デバイスからの少なくとも１つの画像センサの距離は、２ｃｍ～５ｃｍであってもよい。

いくつかの実施形態では、第２の収納モードでは、装着型エクステンデッド・リアリティ機器がハウジングから係合解除されると、保護カバーがキーボード（または入力デバイス）の上に重なってもよい。いくつかの実施形態では、第２の収納モードにおいて、保護カバーは、保護カバーがキーボード（または入力デバイス）に近接するように、ハウジングの上面にわたって略平坦に位置してもよい。いくつかの実施形態では、保護カバーの可撓性部分は、保護カバーが第１の収納モードと第２の収納モードの両方を形成することを可能にし得る。いくつかの実施形態では、第１の折り畳み構成の第２の収納モードでは、キーボードからの少なくとも１つの画像センサの距離は、１ミリメートル（ｍｍ）～１ｃｍであってもよい。いくつかの実施形態では、保護カバーが第２の収納モードにあるとき、保護カバーは、少なくとも１つの画像センサがキーボードの近くに配置され得るように、ハウジングの上面にわたって実質的に平坦に位置してもよい。いくつかの実施形態では、少なくとも１つの画像センサは、１ｍｍよりもキーボードに近くてもよい。いくつかの実施形態では、少なくとも１つの画像センサは、キーボードから１ｃｍより遠くにあってもよい。いくつかの実施形態では、第１の折り畳み構成の第２の収納モードでは、入力デバイスからの少なくとも１つの画像センサの距離は、１ｍｍ～１ｃｍであってもよい。

いくつかの実施形態では、第２の折り畳み構成において、キーボードからの少なくとも１つの画像センサの距離は、４ｃｍ～８ｃｍであってもよい。前述のように、保護カバーが第２の折り畳み構成にあるとき、少なくとも１つの画像センサは、一体型計算インターフェースデバイスのユーザに面するように配置されてもよい。いくつかの実施形態では、少なくとも１つの画像センサは、４ｃｍよりもキーボードに近くてもよい。いくつかの実施形態では、少なくとも１つの画像センサは、８ｃｍよりもキーボードから遠くにあってもよい。いくつかの実施形態では、第２の折り畳み構成では、入力デバイスからの少なくとも１つの画像センサの距離は、４ｃｍ～８ｃｍであってもよい。

いくつかの実施形態では、保護カバーは、装着型エクステンデッド・リアリティ機器がハウジングと選択的に係合するときに、装着型エクステンデッド・リアリティ機器を第１の折り畳み構成に保持するように構成されたノッチを含むことができる。いくつかの実施形態では、ノッチは、保護カバーが第１の折り畳み構成にあるときにハウジングに面する保護カバーの第１の外層の窪みであってもよい。いくつかの実施形態では、少なくとも１つの画像センサは、ノッチ内に配置されてもよい。いくつかの実施形態では、ノッチは、保護カバーが第１の折り畳み構成にあるときにハウジングに面する保護カバーの表面からの突起に配置されてもよい。例えば、突起は、前述のように画像センサハウジングであってもよく、ノッチは、画像センサハウジング内の１つまたは複数の窪みを含んでもよい。

図２２は、一体型計算インターフェースデバイス２２００の第７の典型的な実施形態の正面斜視図である。図２２は、単なる一実施形態の典型的な表現であり、本開示の範囲内で、いくつかの図示した要素を省略し、他の要素を追加することができることを理解されたい。説明を容易にするために、図１５に示す要素と同様の図２２に示す要素は、同様の符号で参照される。例えば、一体型計算インターフェースデバイス２２００は、キーボード１５０８と同様のキーボード２２０８、ワイヤポート１５２４と同様のワイヤポート２２２４などを含むことができる。一例では、計算インターフェースデバイス２２００は、ワイヤ２２２６と同様のワイヤ１５２６などとリンクされてもよい。いくつかの例では、計算インターフェースデバイス２２００は、計算インターフェースデバイス１５００、１６００、１７００、１８００、２０００、および２１００の要素を含むことができ、それらは計算インターフェースデバイス２２００に関連して本明細書に記載されていない、および／または図２２に示されていない。

一体型計算インターフェースデバイス２２００は、折り畳み可能な保護カバー２２１４を含むことができる。折り畳み可能な保護カバー２２１４は、第１のセクタ２２１８、第２のセクタ２２２０、および第３のセクタ２２２２などの複数のセクタを含むことができる。セクタ２２１８、２２２０、および２２２２は、図２２に示すように、折り畳み可能な保護カバー２２１４が第２の折り畳み構成で立つことを可能にすることができる。

折り畳み可能な保護カバー２２１４の第３のセクタ２２２２は、折り畳み可能な保護カバー２２１４が第１の折り畳み構成にあるときに、装着型エクステンデッド・リアリティ機器２２２８がノッチ２２８０内に少なくとも部分的に嵌合するように、装着型エクステンデッド・リアリティ機器２２２８の上部部分を収容するように構成されたノッチ２２８０を含んでもよい。ノッチ２２８０は、セクタ２２２２内に延在することができるという点で３次元であってもよい。ノッチ２２８０は、長方形の形状を有するものとして図２２に示されているが、折り畳み可能な保護カバー２２１４が第１の折り畳み構成にあるとき、ノッチ２２８０は、装着型エクステンデッド・リアリティ機器２２２８の少なくとも一部を収容するために異なる形状であってもよい。

画像センサ２２１０は、折り畳み可能な保護カバー２２１４が第２の折り畳み構成にあるとき、画像センサ２２１０の光軸が一般に、一体型計算インターフェースデバイス２２００のユーザに面することができるように、ノッチ２２８０内に配置されてもよい。いくつかの実施形態では、画像センサ２２１０は、画像センサ２２１０がノッチ２２８０を超えて延在しないようにノッチ２２８０の表面と同一平面上にあってもよく、折り畳み可能な保護カバー２２１４が第１の折り畳み構成にあるとき、画像センサ２２１０は装着型エクステンデッド・リアリティ機器２２２８に接触しない。

いくつかの実施形態では、一体型計算インターフェースデバイス用のケースは、少なくとも１つの画像センサと、少なくとも１つの画像センサを組み込んだ折り畳み可能な保護カバーとを含むことができ、保護カバーは、複数の折り畳み構成に操作されるように構成することができる。少なくとも１つの画像センサおよび折り畳み可能な保護カバーは、以前により詳細に説明された。これらの要素は、前述と同様に構成され、機能する。

いくつかの実施形態では、ケースは、一体型計算インターフェースデバイスに接続されてもよい。一例として、ケースは、１つまたは複数の磁石によって一体型計算インターフェースデバイスに接続されてもよい。いくつかの実施形態では、１つまたは複数の磁石がケース内に設けられてもよく、一体型計算インターフェースデバイスは、ケースが一体型計算インターフェースデバイスに接続され得るように磁石との相互作用を可能にする強磁性材料を含んでもよい。別の例として、一体型計算インターフェースデバイスは、強磁性材料を含むことができ、ケースは、一体型計算インターフェースデバイスとケースとを接続するための１つまたは複数の磁石を含むことができる。

別の例として、ケースは、ヒンジ機構によって一体型計算インターフェースデバイスに取り付けられてもよく、または結合されてもよい。当技術分野で公知の任意のタイプのヒンジ機構を使用することができる。要件ではないが、いくつかの実施形態では、ヒンジ機構は、可撓性材料で作られてもよく、可撓性材料の第１の縁部は、ケースに固定的に取り付けられ、第１の縁部の反対側の第２の縁部は、一体型計算インターフェースデバイスに固定的に取り付けられる。いくつかの実施形態では、ヒンジ機構は、ケースに接続され、ケースから離れるように延在する１つまたは複数のナックル（例えば、剛性または半剛性のループ構造）と、一体型計算インターフェースデバイスに接続され、一体型計算インターフェースデバイスから離れるように延在する１つまたは複数のナックルと、少なくとも保護カバーがピンの周りを回転または枢動することができるように、ヒンジを形成するためにナックルのすべてに挿入されたピンと、を含むことができる。ピンを挿入する前に一緒に組み立てられると、ケースのナックルおよび一体型計算インターフェースデバイスのナックルは、整列または交互配置され得る。

いくつかの実施形態では、一体型計算インターフェースデバイスは、ケースの少なくとも一部に挿入可能であってもよい。例えば、ケースは、一体型計算インターフェースデバイスのハウジングの下部の周りに嵌合する下部部分を含んでもよい。いくつかの実施形態では、ケースの下部部分は保護カバーから分離されてもよい。いくつかの実施形態では、ケースの下部部分は保護カバーに接続されてもよい。いくつかの実施形態では、ケースの下部部分は、プラスチックなどの剛性材料で作られてもよい。いくつかの実施形態では、ケースの下部部分は、布地、ネオプレン、またはハウジングの下部部分にわたって延伸し得る他のエラストマー材料などの可撓性材料で作製されてもよい。

いくつかの実施形態では、第１の折り畳み構成では、保護カバーは、キー領域および非キー領域を有する一体型計算インターフェースデバイスのハウジングを収容するように構成される。ハウジング、キー領域、非キー領域、および第１の折り畳み構成は、他の実施形態に関連して前述した。これらの要素は、前述と同様に構成され、機能する。いくつかの実施形態では、第１の折り畳み構成では、保護カバーは、入力領域および非入力領域を有する一体型計算インターフェースデバイスのハウジングを収容するように構成される。

いくつかの実施形態では、第２の折り畳み構成では、保護カバーは、ユーザがキー領域に関連付けられたキーボードをタイプしている間に、少なくとも１つの画像センサの光軸を一体型計算インターフェースデバイスのユーザにほぼ向けるように立つように構成される。第２の折り畳み構成における保護カバーの構成および少なくとも１つの画像センサの光軸は、他の実施形態に関連して前述した。これらの要素は、前述と同様に構成され、機能する。いくつかの実施形態では、第２の折り畳み構成では、保護カバーは、ユーザが入力領域に関連付けられた入力デバイスと物理的に相互作用しながら、少なくとも１つの画像センサの光軸を一体型計算インターフェースデバイスのユーザにほぼ向けるように立つように構成される。

いくつかの開示された実施形態は、温度に基づいて仮想コンテンツの表示を変更することを含むことができる。仮想コンテンツは、本開示の他の場所で定義されるような任意の情報を含むことができる。仮想コンテンツの表示を変更することは、表示された仮想コンテンツに関連付けられた１つまたは複数の特性を何らかの方法で変更または変更することを指し得る。そのような特性は、配色、不透明度、強度、明るさ、フレームレート、表示サイズ、仮想オブジェクトタイプ、またはユーザに提示された仮想コンテンツをユーザがどのように見るかに影響を及ぼし得る任意の他のパラメータを含んでもよい。

いくつかの実施形態では、仮想コンテンツは、装着型エクステンデッド・リアリティ機器に接続可能なキーボードによって入力されたテキストを含んでもよい。キーボードは、ユーザが単語、語句、文章、段落、または他のテキスト内容を含んでもよい１つまたは複数の英数字を入力することを可能にし得るキーのパネルを含んでもよい。テキストを入力することに加えて、キーボードは、ユーザがユーザによって構成された数字、記号、またはキーボードストロークを入力することを可能にすることができる１つまたは複数のキーを含むことができる。このコンテンツはまた、表示された仮想コンテンツの一部である仮想オブジェクトとして表示されてもよい。

仮想コンテンツは、１つまたは複数の仮想オブジェクトを含んでもよい。例えば、仮想コンテンツは、文書またはビデオであってもよい。提示された仮想コンテンツの一部として、仮想オブジェクトに関連付けられた仮想オブジェクトは、検索バー、タスクバー、輝度調整バー、または任意の他の要素であってもよい。図１に示す一例では、仮想コンテンツは、仮想ディスプレイ１１２および／または仮想ウィジェット１１４Ａ、１１４Ｂ、１１４Ｃ、１１４Ｄ、および１１４Ｅを含むことができる。

キーボードは、ワイヤ１０８（図１参照）を介して、またはＢｌｕｅｔｏｏｔｈもしくは他の無線プロトコルを介して無線で装着型エクステンデッド・リアリティ機器に接続することができる。装着型エクステンデッド・リアリティ機器ユーザがキーボードを介してテキストまたは別のコマンドを入力すると、テキストは、ユーザの近くに表示される仮想画面１１２（図１参照）を介して表示され得る。テキストはまた、装着型エクステンデッド・リアリティ機器のユーザの好みおよびユーザの環境に応じて、物理画面または他の物理オブジェクトを介して表示されてもよい。例として、図１は、装着型エクステンデッド・リアリティ機器１１０に接続され得るキーボード１０４を示す。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを表示することを含むことができ、仮想コンテンツの表示中に、装着型エクステンデッド・リアリティ機器の少なくとも１つの構成要素によって熱が生成される。本開示の他の箇所で説明するように、仮想現実機器は、機器の装着者に拡張コンテンツを表示するための電子機器および光学機器を含む。例えば、そのような機器は、フレーム、少なくとも１つのレンズ、少なくとも１つのレンズに画像を投影するように構成された１つまたは複数の発熱光源、１つまたは複数の処理デバイス、１つまたは複数の無線通信デバイス、および／または装着型エクステンデッド・リアリティ機器の動作に必要であり得る他のデバイス（例えば、抵抗器、インダクタ、コンデンサ、ダイオード、半導体デバイス、または他の回路）を含むことができる。装着型エクステンデッド・リアリティ機器の構成要素の少なくともいくつかは、熱を生成することができる。例えば、発光源、処理デバイス、無線通信デバイス、抵抗器、インダクタ、コンデンサ、ダイオード、および／または他の回路のような構成要素は、装着型エクステンデッド・リアリティ機器の動作中に熱を発生させる可能性がある。このような発熱のために、装着型エクステンデッド・リアリティ機器が継続的に使用されると、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素の過熱のリスクがあるか、または、例えば、ユーザへの害のリスクを回避するため、および／または構成要素の寿命を維持するために、規制要件に起因して、装着型エクステンデッド・リアリティ機器の最大許容動作温度に達するリスクがある。１つの可能な解決策は、生成される熱の量を減らすために装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素をオフにすることを含むことができ、それにより、過熱のリスクを低減するか、または装着型エクステンデッド・リアリティ機器の最大許容動作温度に達するリスクを低減する。しかしながら、装着型エクステンデッド・リアリティ機器内の光源がクールダウンを可能にするためにオフにされた場合、装着型エクステンデッド・リアリティ機器は機能を失うことになる。一例では、装着型エクステンデッド・リアリティ機器に含まれる処理デバイスは、提示用の仮想コンテンツをレンダリングするように構成されてもよく、この処理デバイスがクールダウンを可能にするためにオフにされた場合、装着型エクステンデッド・リアリティ機器は機能を失うことになる。別の例では、装着型エクステンデッド・リアリティ機器に含まれる通信デバイスは、提示用の仮想コンテンツを受信するように構成されてもよく、通信デバイスが冷却を可能にするためにオフにされる場合、装着型エクステンデッド・リアリティ機器は機能を失うことになる。さらに別の例では、装着型エクステンデッド・リアリティ機器に含まれるメモリデバイスは、提示用の仮想コンテンツを格納および提供するように構成されてもよく、メモリデバイスがクールダウンを可能にするためにオフにされる場合、装着型エクステンデッド・リアリティ機器は機能を失うことになる。したがって、本明細書では、機能を失うことなく、装着型エクステンデッド・リアリティ機器の過熱または最大許容動作温度への到達のリスクを低減する他の方法が開示される。

いくつかの実施形態では、熱は、装着型エクステンデッド・リアリティ機器に含まれる複数の発熱光源によって（少なくとも部分的に）生成されてもよく、少なくとも１つのプロセッサによって実行される動作は、発熱光源のうちの少なくとも１つの一組の作業パラメータを調整することをさらに含む。上述したように、本開示の実施形態と一致する装着型エクステンデッド・リアリティ機器は、１つまたは複数の光源を含むことができる。そのような光源は、電圧および／または電流の形態で電気エネルギーを供給することができる１つまたは複数の電源（例えば、バッテリ）を介して電力供給されてもよい。電気エネルギーの一部は、光源によって光に変換され得る。光源に供給された電気エネルギーの一部または全部は、熱として放散され得る。したがって、光源によって放散される熱の量は、電流、電圧、電力、および／または光源に電力が供給される持続時間などの１つまたは複数のパラメータに依存し得る。したがって、光源によって放散される熱の量は、光源に供給される電気エネルギーに関連付けられたこれらのパラメータ（例えば、電圧、電流、持続時間）のうちの１つまたは複数を調整することによって低減され得る。１つまたは複数のパラメータを調整することは、一部またはすべてのパラメータを調整することを含んでもよい。いくつかの実施形態では、１つまたは複数のパラメータを調整することは、すべてのパラメータの値を低減することを含んでもよい。いくつかの実施形態では、１つまたは複数のパラメータを調節することは、他のパラメータの値を維持しながらいくつかのパラメータの値を減少させること、または他のパラメータの値を増加させることを含んでもよい。例えば、光源に供給される電力の総量を減らすことによって、光源によって放散される熱の量を減らすことができる。別の例として、光源に電力が供給される期間を短縮しながら、光源に供給される電力の量を維持することによって、光源によって放散される熱の量を低減することができる。別の例として、光源によって放散される熱の量は、１つまたは複数の発熱光源に供給される電圧、電流、または電力の一部または全部を低減することによって低減され得る。別の例では、１つまたは複数の発熱光源に供給されている電圧、電流、または電力をパルス化することによって、光源によって放散される熱の量を低減することができる。この例では、発熱光源に供給される電圧、電流、または電力は、装着型エクステンデッド・リアリティ機器ユーザによって構成されるように、一定期間オンまたはオフにすることができる。いくつかの例では、発熱光源の少なくとも１つの一組の表示設定は、提示解像度、フレームレート、明るさ、不透明度、表示サイズ、または配色のうちの少なくとも１つを含むことができる。一例では、提示解像度は、複数の発熱光源によって生成される熱を低減するために低減され得る。別の例では、複数の発熱光源によって発生する熱を低減するために、提示フレームレートを低減することができる。さらに別の例では、輝度を低下させて、複数の発熱光源によって発生する熱を低減することができる。追加の例では、不透明度を低減して、複数の発熱光源によって生成される熱を低減することができる。さらに別の例では、ディスプレイサイズを縮小して、複数の発熱光源によって発生する熱を低減することができる。追加の例では、提示された仮想コンテンツの配色を好ましい配色に変更して、複数の発熱光源によって発生する熱を低減することができる。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つの処理デバイスによって熱が生成されてもよい。例えば、提示用の仮想コンテンツを（例えば、モデル、３次元モデルなどから）レンダリングするために、データ通信を制御するために、装着型エクステンデッド・リアリティ機器に含まれる１つまたは複数のセンサを使用して取り込まれた入力（例えば、装着型エクステンデッド・リアリティ機器に含まれる１つまたは複数の画像センサを使用して取り込まれた画像および／またはビデオ、１つまたは複数のモーションセンサを使用して取り込まれたモーションデータ、１つまたは複数の測位センサを使用して取り込まれた測位データなど）を解析するために、仮想コンテンツを表示または共有するために様々な入力（例えば、ジェスチャ、テキスト入力、および／または音声入力）を解釈するために、あるいは機器の機能を促進する他の任意の目的のために、１つまたは複数のプロセッサが装着型エクステンデッド・リアリティ機器に含まれてもよい。プロセッサは、電気信号および電力を増幅またはスイッチングするために使用され得る多数の（例えば、数百万または数十億の）微細トランジスタを含むことができる。仮想コンテンツを表示するなどの特定のコマンドを実行するとき、これらのトランジスタは、電気信号がそれらを通過することを可能にするか、または信号をブロックすることができる。トランジスタが電気の流れに抵抗すると、処理デバイス内で熱が発生する。コマンドが複雑になるほど、より多くの電気がプロセッサを通って流れ、より多くのトランジスタを使用してコマンドを実行することができ、その結果、より多くの熱を生成することができる。例えば、テキストのみの文書が表示される場合、処理デバイスによって発生する熱は少なくてもよく、ビデオが表示される場合、または提示のために３次元モデルがレンダリングされる場合、より多くの熱が発生してもよい。

いくつかの開示された実施形態は、少なくとも１つの処理デバイスの一組の作業パラメータを調整することを含むことができ、少なくとも１つの処理デバイスの一組の作業パラメータは、少なくとも１つの処理デバイスに関連付けられた電圧、電流、電力、クロック速度、またはアクティブコアの数のうちの少なくとも１つを含む。したがって、処理デバイスに供給される電気エネルギーに関連付けられた電圧または電流の１つまたは複数を低減することによって、処理デバイスに供給される総電力量を低減することによって、電圧、電流、または電力が処理デバイスに供給される期間を短縮することによって、クロック速度を低減することによって、または処理デバイス内のアクティブコアの数を制限することによって、処理デバイスによって生成される熱量を低減することができる。一例では、処理デバイスの負担を軽減し、それによって処理デバイスによって発生する熱を低減するために、レンダリング解像度および／またはフレームレートを低減することができる。別の例では、装着型エクステンデッド・リアリティ機器に含まれる１つまたは複数のセンサを使用して取り込まれたデータの解析の頻度を減らすことができ、それによって処理デバイスによって生成される熱を減らすことができる。

処理デバイスのクロック速度は、処理デバイス内の様々なトランジスタがオンまたはオフに切り替えられ得るタイミングを設定する発振器によって生成される１秒当たりのパルスの数を指すことができる。クロック速度は、一般に、プロセッサの速度の指標として使用され得る。クロック速度を低下させることは、処理デバイス内の１つまたは複数のトランジスタがオン／オフに切り替えられる速度を低下させるのに役立ち、これにより、処理デバイスによって生成される熱の量を減少させることができる。

処理デバイス内のアクティブコアは、プロセッサ内の処理ユニットの数を指すことができる。各コアは、上述したように、特定のタスクがいかに複雑であるかに基づいて熱を生成する多数のトランジスタを含むことができる。プロセッサが有するコアが多いほど、プロセッサが同時に完了することができるタスクが多くなる。しかしながら、これらのコアのうちの１つまたは複数は、一時的に停止されてもよい。コアを一時的に失活させると、そのコアによって熱がほとんどまたはまったく発生しなくなり、結果として、処理デバイスによって全体として発生する熱の量を減らすのに役立ち得る。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つの無線通信デバイスによって熱が生成される。本開示の他の箇所で説明するように、装着型エクステンデッド・リアリティ機器は、無線通信デバイスを含むことができる。ネットワーク内の他のデバイスと通信するために、無線通信デバイスは、入ってくる電気エネルギーを無線周波数（ＲＦ）エネルギーに変換することができる。無線通信デバイスは、ＲＦエネルギーを放出することができる。無線通信デバイスは、トランジスタおよび抵抗器などの電子的構成要素を含む送信機、エンコーダ、および受信機を含むことができる。これらの無線通信デバイス構成要素の一部またはすべての動作は、電気エネルギーおよび／またはＲＦエネルギーの一部を熱として放散することができる。

他の実施形態では、装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つの無線通信デバイスによって熱が発生すると、プロセッサ動作は、少なくとも１つの無線通信デバイスの一組の作業パラメータを調整することをさらに含むことができ、無線通信デバイスの一組の作業パラメータは、信号強度、帯域幅、または送信されるデータの量のうちの少なくとも１つを含む。

信号強度は、送信アンテナからある距離にある基準アンテナによって受信された送信機電力出力を指すことができる。ここで、送信アンテナは、コンテンツを共有する第１の装着型エクステンデッド・リアリティ機器であってもよく、受信アンテナは、共有コンテンツを受信する第２の装着型エクステンデッド・リアリティ機器であってもよい。帯域幅は、所与の時間量でネットワーク接続を介してデータを送信するための無線通信リンクの最大容量を指すことができる。いくつかの実施形態のコンテキストでは、帯域幅は、単一のネットワーク内の複数の装着型エクステンデッド・リアリティ機器によって送信され得るデータの量を指すことができる。送信されるデータの量は、単一の装着型エクステンデッド・リアリティ機器が仮想コンテンツの形態で提示または共有することができるデータの量を指すことができる。これらのパラメータを調整することは、電気エネルギーをＲＦエネルギーに変換するために使用される電力量を低減するために、信号強度、帯域幅、または送信されるデータの量を低減することを含んでもよい。電気エネルギーを変換するために使用される電力量が低減されるので、無線通信デバイスによって生成される熱量も低減され得る。

例として、図２３は、１つまたは複数の発熱光源２３１２、１つまたは複数の処理デバイス２３１４、１つまたは複数の無線通信デバイス２３１６、ならびに／あるいは上述の他の電気および／または機械デバイスを含むことができる装着型エクステンデッド・リアリティ機器２３１０を示すブロック図である。本明細書で説明するように、発熱光源２３１２は、電圧、電流、および／または電力を含むがこれらに限定されない作業パラメータを有することができる。処理デバイス２３１４は、電圧、電流、電力、クロック速度、および／またはアクティブコアの数を含むがこれらに限定されない作業パラメータを有することができる。無線通信デバイス２３１６は、限定はしないが、信号強度、帯域幅、および／または送信されたデータの量を含む作業パラメータを有することができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた温度を示す情報を受信することを含むことができる。温度を示す情報は、温度を表す数値、または任意の他の温度インジケータを指すことができる。いくつかの実施形態では、数値は、例えば、℃、°Ｆ、または任意の他の温度単位で測定される温度値であってもよい。あるいは、情報は、温度の変化を示す物理特性の測定値であってもよい。例えば、情報は、電圧、電流、抵抗、電力、または温度と共に変化し、したがって温度を表す任意の他の物理特性などのパラメータの値を含むことができる。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器フレームは、装着型エクステンデッド・リアリティ機器に関連付けられた温度の値を決定することができる温度センサを含むことができる。装着型エクステンデッド・リアリティ機器に関連付けられた温度センサは、様々な温度センサのうちの１つであってもよい。例えば、温度センサは、熱電対、測温抵抗体（ＲＴＤ）、サーミスタ、または半導体ベースの集積回路であってもよい。

いくつかの開示された実施形態は、受信された情報に基づいて仮想コンテンツの表示設定を変更する必要性を判定することを含むことができる。上述したように、光源、処理デバイス、および無線通信デバイスなどの装着型エクステンデッド・リアリティ機器構成要素のうちの１つまたは複数は、使用中に熱を発生させる可能性がある。装着型エクステンデッド・リアリティ機器が熱くなりすぎると、効率的に動作しない可能性がある。さらに、装着型エクステンデッド・リアリティ機器の過度の加熱は、機器の寿命を短くする可能性がある。さらに、過熱は、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素を故障させる可能性があり、および／または装着型エクステンデッド・リアリティ機器の最大許容動作温度に達する可能性があり、装着型エクステンデッド・リアリティ機器ユーザを傷つける可能性がある。他の実施形態は、例えば、ユーザ入力に基づいて、環境状況に基づいて、時間に基づいて、および／または装着型エクステンデッド・リアリティ機器に関連しない任意の他の温度情報に基づいて、装着型エクステンデッド・リアリティ機器に関連付けられた温度を示す受信情報に基づかずに仮想コンテンツの表示設定を変更する必要性を決定することを含んでもよい。

各構成要素は、上述したように、装着型エクステンデッド・リアリティ機器によって生成される熱の量を低減するように調整することができる作業パラメータを有する。追加的または代替的に、１つまたは複数の仮想コンテンツ表示設定を変更することにより、装着型エクステンデッド・リアリティ機器に関連付けられた温度を下げることもできる。１つまたは複数の仮想コンテンツ表示設定を変更することにより、光源、プロセッサ、および／または無線通信デバイスの１つまたは複数の作業パラメータを調整させることができ、それにより、装着型エクステンデッド・リアリティ機器によって生成される熱の量を低減し、ひいては関連する温度を低減することができる。例えば、表示された仮想コンテンツの輝度を低減することは、発熱光源に供給される電流、電圧、および／または電力のうちの１つまたは複数を低減し、したがってその構成要素の温度を低減することを含んでもよい。温度を下げるために変更され得る他の設定は、例えば、輝度、不透明度、ディスプレイサイズ、解像度、レンダリング詳細、フレームレート、またはディスプレイに使用されている配色を含むことができる。これらのパラメータのうちの１つまたは複数を変更することは、発熱光源に供給される電流、電圧、および／または電力のうちの１つまたは複数を低減し、したがってその構成要素の温度を低減することを含むことができる。そのような修正は、表示されているコンテンツ（例えば、ビデオまたは文書）および／または構成要素の状態（すなわち、発熱光源が過熱している）のいずれかに基づくことができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた温度がエクステンデッド・リアリティに関連付けられたしきい値に達したときに仮想コンテンツの表示設定を変更することを含んでもよい。いくつかの開示された実施形態では、装着型エクステンデッド・リアリティ機器に関連付けられた温度がエクステンデッド・リアリティ機器に関連付けられたしきい値に達する前に仮想コンテンツの表示設定を変更することを含むことができる。変更され得る表示設定には、輝度などの発熱に関連付けられた表示設定、および１秒当たりの表示フレーム、または上述の設定のいずれかが含まれる。仮想コンテンツの表示設定を変更する必要性は、しきい値温度に基づいて決定され得る。しきい値温度は、特定の構成要素が非効率的に動作するかまたは故障すると予想され得る最高温度を指すことができる。追加的または代替的に、しきい値温度は、構成要素の信頼性または寿命が所定量だけ低下し得る温度またはそれを超える温度を指すことができる。例えば、しきい値温度は、構成要素の寿命の２５％、５０％、７５％、または任意の他の量の短縮に関連付けられてもよい。追加的または代替的に、しきい値温度は、装着型エクステンデッド・リアリティ機器の製造業者、規制エンティティ、および／または特定の目的のために特定のしきい値温度を設定する任意の組織によって設定されてもよい。例えば、いくつかの組織は、他の組織と比較して提示ニーズが異なる場合があり、それに応じて最大しきい値温度を設定することができる。追加的または代替的に、しきい値温度は、安全規格またはヘッドマウントデバイスの温度の安全範囲などの安全上の問題に関連付けられてもよい。一例では、いくつかの開示された実施形態に関連付けられたプロセッサは、装着型エクステンデッド・リアリティ機器に関連付けられた温度がしきい値温度以上である場合に、１つまたは複数の表示設定を変更しなければならないと判定することができる。他の例では、装着型エクステンデッド・リアリティ機器に関連付けられた現在の温度は、例えば、現在の作業負荷が選択された期間継続する場合、および／または典型的な作業負荷が選択された期間発生する場合に、装着型エクステンデッド・リアリティ機器が装着型エクステンデッド・リアリティ機器に関連付けられたしきい値に達する可能性を示すことができ、これに応答して、装着型エクステンデッド・リアリティ機器に関連付けられた温度が装着型エクステンデッド・リアリティ機器に関連付けられたしきい値に達する前に仮想コンテンツの表示設定を変更することができる。一例では、例えば、外挿アルゴリズム、回帰モデル、および／または任意の他のデータ解析アルゴリズムを使用して、装着型エクステンデッド・リアリティ機器に関連付けられた温度の経時的な進行中の軌跡を解析して、装着型エクステンデッド・リアリティ機器がエクステンデッド・リアリティ機器に関連付けられたしきい値に達する可能性を判定することができる（例えば、現在の作業負荷が選択された期間にわたって継続する場合、および／または典型的な作業負荷が選択された期間にわたって発生する場合）。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器に関連付けられたしきい値は、摂氏３３～４０度であり得る。他の例では、装着型エクステンデッド・リアリティ機器に関連付けられたしきい値は、摂氏３３度未満または摂氏４０度超であり得る。いくつかの例では、温度しきい値の値は、異なるタイプのユーザに対して構成されてもよい。例えば、成人用に構成された機器とは対照的に、子供用に異なる温度しきい値が存在し得る。

いくつかの実施形態では、しきい値温度は、装着型エクステンデッド・リアリティ機器のユーザの好みに基づいて構成されてもよい。異なるユーザの温度しきい値は、特定のユーザの皮膚感覚に基づいて構成することができる。例えば、子供またはより高齢のユーザは、典型的な成人よりも敏感肌である可能性がある。その結果、若年または高齢のユーザは、温度しきい値を、典型的な大人のユーザによって選択されたしきい値温度よりも相対的に低くなるように構成することができる。別の例として、ユーザは、周囲温度が高い場合と比較して、周囲温度が低い場合により高い温度しきい値を好む場合がある。別の例では、ユーザは、夏にはより低い温度しきい値を好み、冬にはより高い温度しきい値を好む場合がある。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器のユーザに関連付けられたユーザプロファイルに基づいてしきい値の値を決定することを含むことができる。ユーザプロファイルは、特定のユーザの１つまたは複数の特性を含むことができる。ユーザプロファイルは様々な方法で構成することができ、少なくとも１つのプロセッサはそれに応じてしきい値温度を決定することができる。例えば、ユーザは、年齢、性別、機器の好ましい使用、機器を使用する頻度、および／またはユーザが性能（すなわち、より高い温度で動作する）または快適さ（すなわち、通常は、より低い温度で動作する）を好むかどうかなどのデータを入力することができる。入力されたデータ、および／または他の装着型エクステンデッド・リアリティ機器ユーザから受信したデータに基づいて、プロセッサは適切な温度しきい値を決定することができる。一例では、ピーク性能を好み、機器を頻繁に使用する若いユーザのユーザプロファイルに基づいて、しきい値温度は摂氏４０度に近くなり得る。別の例では、快適さを好み、時折のみ機器を使用する高齢ユーザのユーザプロファイルに基づいて、しきい値温度は摂氏３３度に近くてもよい。ユーザプロファイルは、いつでもユーザによって更新されてもよい。いくつかの他の例では、しきい値の値は、装着型エクステンデッド・リアリティのユーザに関連付けられたユーザプロファイルに基づいていなくてもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器のユーザおよび／または装着型エクステンデッド・リアリティ機器のユーザに関連付けられたユーザプロファイルに関係なく、仮想コンテンツの表示設定変更を決定することを含んでもよい。例えば、変更は、現在の表示されたコンテンツ、製造業者の事前設定、（ユーザではなく）装着型エクステンデッド・リアリティ機器に関連付けられた構成ファイル、規制要件、および／または任意の他の外部要因に基づくことができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器のユーザに関連付けられたユーザプロファイルに基づいて仮想コンテンツの表示設定変更を決定することを含むことができる。上記の実施形態は、ユーザプロファイルに基づいてしきい値温度を決定することを含むが、この実施形態は、ユーザプロファイルに基づいて表示設定自体を変更することを含む。この実施形態では、異なるユーザは、異なる温度しきい値の好みおよび／または異なる仮想コンテンツ表示の好みを有することができる。表示設定プリファレンスは、配色、輝度、強度、表示サイズ、または任意の他の表示設定に関するユーザのデフォルト設定を指すことができる。この実施形態では、ユーザプロファイルは、ユーザが配色の代わりに明るさを修正することを好むことを示すことができる。表示設定の好みは、ユーザのプロファイルに含まれるしきい値温度に関連する。例えば、より低いしきい値温度を好むユーザは、それらの表示設定を直ちに変更しないより高いしきい値温度を好むユーザと比較して、表示された仮想コンテンツの輝度を低下させることができる。

例として、装着型エクステンデッド・リアリティ機器は、ユーザプロファイルに基づいて、摂氏３５度のしきい値温度を有するように構成されてもよい。したがって、仮想コンテンツに関連付けられた１つまたは複数の表示設定は、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素の温度がしきい値温度（例えば、摂氏３５度）に達する前に変更され得る。さらに、少なくとも１つのプロセッサは、ユーザプロファイルに基づいて、発熱光源、少なくとも１つのプロセッサ、または装着型エクステンデッド・リアリティ機器の無線通信デバイスなどの１つまたは複数の構成要素の温度が摂氏３４度に達したときに、輝度または強度などの１つまたは複数の表示設定を変更することができる。

装着型エクステンデッド・リアリティ機器に関連付けられた温度情報は、経時的に更新されてもよい。装着型エクステンデッド・リアリティ機器が長く使用されるほど、より多くの温度情報が格納される。プロセッサは、この情報を連続的または定期的に受信することができる。例えば、機器が１日の他の時間よりも頻繁に使用される時間があり得る。非一時的コンピュータ可読媒体は、このデータを記憶することができ、このデータは、作業パラメータデータ（例えば、電圧、電流、電力、クロック速度など）、温度データ、時間データ、表示設定、および１日の特定の時間に表示される仮想コンテンツのタイプ、すなわち文書またはビデオで構成することができる。プロセッサは、コンパイルされたデータに基づいて、時刻に基づいて装着型エクステンデッド・リアリティ機器がどのように使用され得るかを予測し、それに応じて表示設定を調整することができる。いくつかの実施形態では、少なくとも１つのプロセッサは、しきい値温度に達する前に表示設定を変更する必要があると判定することができる。

他の実施形態は、機械学習モデルまたは他の同様のアルゴリズムに基づいてピーク使用時間を予測することを含むことができる。この実施形態では、記憶された温度データなどのテストデータがアルゴリズムに供給され、それにより、モデルは、装着型機器がいつ使用されるかを予測することができる。

別の実施形態では、装着型エクステンデッド・リアリティ機器は、記憶された温度データに基づいて、１日のどの部分にどのタイプのコンテンツが表示されるかを予測することができる。例えば、ビデオコンテンツの表示は、文書の表示と比較して、電力などの作業パラメータの特定の組み合わせをより多く必要とする場合がある。したがって、一例では、ビデオを表示すると、発熱光源が文書を表示するよりも多くの熱を発生させ、したがってより迅速にしきい値温度に到達する。非一時的コンピュータ可読媒体の一部として格納された温度データに基づいて、装着型エクステンデッド・リアリティ機器は、機器構成要素から放出される熱の変化を予測し、表示設定を先取り的に調整することができる。例えば、ユーザの履歴に基づいて、システムは、ビデオが午後８時に少なくとも３０分間表示されると予測し、それに応じて表示設定を調整することができる。

いくつかの実施形態では、仮想コンテンツの表示設定に対する変更の程度は、受信した情報によって示される温度に基づくことができる。他の例では、仮想コンテンツの表示設定に対する変更の度合いは、受信された情報によって示される温度に基づかなくてもよい（例えば、常に同じ程度の変更であってもよく、ユーザに基づいていてもよく、コンテキスト情報に基づいていてもよく、表示された仮想コンテンツに基づいていてもよく、および／または受信した温度情報に基づいていない任意の他の変更、すなわち、環境要因に基づいていてもよい）。表示設定に対する変更の程度は、特定の表示設定が変更される量を指すことができる。上述したように、温度情報は、装着型エクステンデッド・リアリティ機器に関連付けられたプロセッサによって受信され得る。いくつかの実施形態では、受信した情報が、温度がしきい値温度をわずかに上回っている（例えば、摂氏１～５度などの数度）ことを示す場合、それに応じて１つまたは複数の表示設定を変更することができる。わずかな変更は、表示設定の１％～５％の変更を含んでもよい。例えば、ユーザの装着型エクステンデッド・リアリティ機器の構成要素の温度しきい値が摂氏３５度であり、構成要素が摂氏３６度であるという情報を温度センサが受信した場合、ユーザが機器を構成する方法に応じて、表示設定の変更の程度は１％～５％の範囲内であり得る。例えば、表示される仮想コンテンツの輝度は、１％から５％に低減され得る。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器の温度がしきい値温度を大幅に上回っていることを温度センサが検出した場合（例えば、５℃を超える）、表示設定をより積極的に変更することができ、および／または複数の仮想要素を変更することができる。より積極的な変更の程度は、表示設定の１１％から２５％以上までの変更を含むことができ、表示された仮想コンテンツの一部として複数の仮想オブジェクトに影響を及ぼすことができる。例えば、ユーザの装着型エクステンデッド・リアリティ機器の構成要素の温度しきい値が摂氏３５度であり、構成要素が摂氏４０度であるという情報を温度センサが受信した場合、表示設定は１１％～２５％以上変更され得る。この例では、より積極的な変更は、表示されたコンテンツの輝度を１１％から２５％に低減すること、表示された仮想コンテンツの一部の配色を変更すること、および／または表示されたビデオコンテンツのフレームレートを低減することのうちの１つまたは複数を含むことができる。

いくつかの実施形態は、輝度レベルなどの特定の表示設定のレベルを低減することを含むが、異なる表示設定自体が他のものよりも多くの熱を生成する可能性があり、したがって、変更されたときにより大きな熱低減をもたらす可能性がある。例えば、仮想コンテンツの強度を調整することは、仮想コンテンツの配色を変更するよりも熱低減効果を有することができる。したがって、いくつかの実施形態では、第２のエクステンデッド・リアリティ表示パラメータは、装着型エクステンデッド・リアリティ機器構成要素の温度に関する第１の信号に基づいて選択されてもよい。表示パラメータは、表示設定の構成要素であってもよい。例えば、表示された仮想コンテンツは、輝度、強度、および／またはフレームレートなどの複数の表示設定を含むことができる。表示パラメータは、輝度、または強度、またはフレームレートであってもよく、これらは共に表示設定を含む。この実施形態では、少なくとも１つのプロセッサは、より高温の温度を示す第１の信号に対してより積極的な少なくとも１つのエクステンデッド・リアリティ表示パラメータを選択し、より低温の温度を示す第１の信号に対してより積極的でない少なくとも１つのエクステンデッド・リアリティ表示パラメータを選択することができる。このコンテキストでは、表示パラメータがより積極的であるほど、ユーザ体験に対する影響が大きくなる可能性がある。

いくつかの実施形態では、仮想コンテンツの表示設定を変更することは、温度軌跡を示すデータに基づくことができる。温度軌跡は、エクステンデッド・リアリティ機器の記憶された温度に基づいて決定されてもよい。温度軌跡を決定するために使用されるデータは、様々な異なる方法で測定することができる。いくつかの実施形態では、温度データは、温度センサから連続的または周期的に供給されてもよく、装着型エクステンデッド・リアリティ機器に関連付けられた記憶場所に記憶されてもよい。例えば、温度データは、１秒ごと、毎分ごと、５分ごと、１０分ごと、または任意の他の所望の頻度で温度センサによって提供されてもよい。別の例では、温度データは、段階的な関数のように、増分的な温度上昇に基づいて温度センサによって提供されてもよい。これらの増分的な温度上昇は、ユーザによって構成されてもよい。この例では、装着型エクステンデッド・リアリティ機器構成要素が摂氏３３度から摂氏３５度まで上昇するなど、特定の温度に達するたびに、データは、装着型エクステンデッド・リアリティ機器に関連付けられた記憶場所または記憶デバイスに記憶され得る。

上述したように、温度軌跡は、経時的に非一時的コンピュータ可読媒体に記憶された温度情報に基づいてもよい。温度軌跡を使用して、装着型エクステンデッド・リアリティ機器がピーク使用を経験し得る期間を決定することができる。例えば、装着型エクステンデッド・リアリティ機器のユーザは、１日の特定の時間にビデオコンテンツを表示することができ、したがって、ビデオコンテンツが表示されない他の時間と比較して、その時間帯により多くの熱を発生させる。この使用量データに基づいて、プロセッサは、装着型エクステンデッド・リアリティ機器の温度が上昇すると予想されるピーク使用量に関連付けられた時刻の表示設定を先取り的に調整することができる。

いくつかの開示された実施形態は、装着型機器が非アクティブであり得る時間を予測することを含むことができる。これは、機器がこれまでどのように使用されてきたかに関するデータを収集し、将来の状況のために現在どのように使用されるかを予測することによって行われ得る。履歴行動データに加えて、上述した記憶された温度データまたは機械学習アルゴリズムを使用して、機器が非アクティブになり得る時間を予測することができる。装着型エクステンデッド・リアリティ機器の一部としてのプロセッサは、そのようなデータを解釈して、機器がいつ非アクティブになる可能性があるかを判定することができる。

一例では、プロセッサは、気温が特定の値を下回る傾向がある時間を判定するために、勤務日などの期間にわたる温度変化を解析することができる。上述したように、プロセッサは、このタスクを実行するために機械学習モデルまたは同様のアルゴリズムを使用することができる。この値は、典型的には、周囲温度の摂氏１度または２度以内であり得るが、これは、装着型エクステンデッド・リアリティが非アクティブであり、したがって熱を生成しないためである。さらに、プロセッサは、経時的な電力レベルに基づいて非活動期間を決定することができる。例えば、電力がほとんどまたはまったく使用されない１日の期間は、装着型エクステンデッド・リアリティ機器が非アクティブであることを示すことができる。対照的に、使用される電力レベルが高い日の期間は、ピーク使用期間を示すことができる。別の例では、プロセッサは、装着型エクステンデッド・リアリティ機器のバッテリ寿命に基づいて非アクティブ期間を判定することができる。例えば、バッテリがゆっくり消耗している期間は、不使用期間を示すことができ、一方、バッテリが急速に消耗している期間は、ピーク使用期間を示すことができる。

別の例では、装着型機器は、勤務日の終わり、対面会議中、またはユーザが自分のワークステーションから離れている任意の他のシナリオでは非アクティブであってもよい。装着型エクステンデッド・リアリティ機器は、格納された温度情報、格納された電力使用量情報、格納されたバッテリ需要情報、または装着型エクステンデッド・リアリティ機器に関連付けられた構成要素のいずれかの他の作業パラメータに関連付けられた格納された情報のうちの１つまたは複数に基づいて、これらの非活動時間期間を予測することができる。さらに、上述したように、事前行動使用データを予測プロセスの一部として使用することができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器によって生成された熱が臨界値を超え、予測された時間が臨界時間を超えると、仮想コンテンツの表示設定を変更することを含んでもよい。臨界値は、それを超えると温度がユーザによって構成されたしきい値温度または１つまたは複数の構成要素の信頼性または使用可能寿命を決定するしきい値温度を超える可能性があるしきい値熱量であり得る。一例では、ビデオコンテンツが完全な輝度および強度設定で表示されているときなど、機器が過度に多くの熱を生成している場合、臨界値にはより迅速に到達することができる。重要期間は、仮想コンテンツが変更なしに表示され得る時間量を指すことができる。上記の実施形態では、臨界期間は、予測された活動期間または活動時間に関連し得る。したがって、発熱量が臨界値を超えるか、または予測される非アクティブ期間中にデバイスがアクティブである場合、過熱またはしきい値温度を超えることを防止するために表示設定を変更する必要がある。実際、装着型エクステンデッド・リアリティ機器がより多くの熱を生成している場合、臨界時間は短くてもよく、装着型エクステンデッド・リアリティ機器がより少ない熱を生成している場合、臨界時間はより長くてもよい。

上記の実施形態では、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器が非アクティブになる時間を予測することができる。この予測時間が、機器ユーザによって構成されたような重要期間よりも短い場合、すなわち、機器が重要期間よりも長くアクティブである場合、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器構成要素によって生成される熱の量を減らすために表示設定を変更することができる。プロセッサが表示設定を変更しない場合、１つまたは複数の構成要素の温度は、関連するしきい値温度を超える可能性がある。しかしながら、予測時間が臨界時間を超えない場合、表示設定の変更は必要とされない。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器によって生成された熱が臨界値を超え、予測された時間が臨界期間を下回るときに現在の表示設定を維持することを含むことができる。

いくつかの実施形態では、予想される非活動期間が差し迫っていることを考慮すると、過剰な熱が生成されても表示設定は調整されない場合がある。例えば、装着型エクステンデッド・リアリティ機器ユーザは、（使用履歴に基づいて）典型的な勤務日の終わりに向けて提示を行っている可能性がある。提示が発熱したとしても、装着型エクステンデッド・リアリティ機器は、機器が間もなく非アクティブになることを期待して、表示設定を変更しない可能性がある。

少なくとも１つのプロセッサはまた、装着型エクステンデッド・リアリティ機器に残っているバッテリの量に基づいて表示設定を変更することもできる。例えば、ビデオなどの特定の仮想コンテンツを提示することは、表示設定を変更することなく提示されるために、特定の量のバッテリ寿命を必要とする場合がある。装着型エクステンデッド・リアリティ機器は、特定のコンテンツを表示するために必要なバッテリ寿命の長さと、装着型エクステンデッド・リアリティ機器に残っているバッテリ寿命の長さとを比較し、それに応じて表示設定を変更することができる。一例では、仮想コンテンツを提示することが、現在機器に残っているよりも多くのバッテリ寿命を必要とする場合、表示設定を変更することができる。

いくつかの開示された実施形態は、表示設定を変更する必要があるという判定に基づいて、目標温度を達成するために仮想コンテンツの表示設定を変更することを含むことができる。例えば、受信した情報がしきい値熱レベルを超えることを確立する傾向がある場合、１つまたは複数のプロセッサは、表示設定の変更が必要であると判定することができる。

決定された必要性は、単一の表示パラメータまたは複数の表示パラメータに関連してもよく、そのうちの２つ以上が一度に変更されてもよい。第１の少なくとも１つのエクステンデッド・リアリティ表示パラメータを使用してコンテンツを表示しながら、発熱光源、処理デバイス、または無線通信デバイスなどの１つまたは複数の装着型エクステンデッド・リアリティ機器構成要素に関連する第１の信号を受信することができる。この第１の信号は、少なくとも１つの装着型エクステンデッド・リアリティ機器構成要素の温度を低下させる必要性を判定するために使用され得る。装着型エクステンデッド・リアリティ機器の少なくとも一部の温度を下げる必要性に応じて、第２の少なくとも１つのエクステンデッド・リアリティ表示パラメータを使用して装着型エクステンデッド・リアリティ・デバイスを介してコンテンツを表示することができる。例えば、受信した温度データに基づいて明るさを調整してもよい。

一例では、２つの表示パラメータを調整して発熱を低減することができる。第２のエクステンデッド・リアリティ表示パラメータ、例えば配色は、第１のエクステンデッド・リアリティ表示パラメータ、例えば明るさと異なってもよく、第２の少なくとも１つのエクステンデッド・リアリティ表示パラメータは、装着型エクステンデッド・リアリティ・デバイスの熱出力を低減するように構成されてもよい。

いくつかの実施形態のコンテキストでは、仮想要素は、エクステンデッド・リアリティ環境に表示される１つまたは複数のアイテムの１つまたは複数の部分または全体を指すことができる。例えば、仮想要素は、エクステンデッド・リアリティ環境に表示されている仮想オブジェクトまたは仮想オブジェクトの一部であってもよい。例として、仮想コンテンツが複数の文書を含む場合、仮想オブジェクトは複数の文書のうちの１つであってもよい。仮想要素は、例えば文書などの仮想オブジェクト自体を含んでもよく、タスクバー、ナビゲーションペイン、スタイルタブ、または文書の任意の他の部分などの仮想オブジェクトの一部を含んでもよい。

上述した表示設定の１つまたは複数を変更することにより、装着型エクステンデッド・リアリティ機器の温度を低下させることができ、したがって、機器を目標温度に近づけることができる。目標温度は、装着型エクステンデッド・リアリティ機器の所望のまたは好ましい動作温度を指すことができる。好ましい動作温度は、ピーク性能を確保し、機器の誤動作を防止し、信頼性を向上させ、機器の使用可能寿命を延ばし、および／またはユーザにとって最も快適であるように構成することができる。

いくつかの実施形態では、目標温度は、表示設定が変更されるしきい値温度を指すことができる。目標温度は、ユーザの好みに基づいて構成されてもよく、ユーザのタイプに基づいて異なってもよい。例えば、目標温度は、大人よりも子供、すなわちより敏感なユーザの方が低くてもよい。

例えば、装着型エクステンデッド・リアリティ機器は、装着型エクステンデッド・リアリティ機器に関連付けられたプロセッサが、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素の温度がしきい値温度に達したと判定した場合に、仮想コンテンツを表示している可能性がある。それに応答して、プロセッサは、コンテンツの輝度を減少させることができる（すなわち、第１のエクステンデッド・リアリティ表示パラメータ）。上述したように、表示設定は、複数のエクステンデッド・リアリティ表示パラメータを含むことができる。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器に関連付けられた温度に応じて、１つまたは複数の追加のエクステンデッド・リアリティ表示パラメータを変更することができる。例えば、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素の温度がしきい値温度に達するかまたはそれを超えると、提示されたコンテンツの輝度に加えて、提示されたビデオの配色またはフレームレートが変更され得る。

例として、図２４は、装着型エクステンデッド・リアリティ機器の温度２４１０が時間２４１２と共にどのように変化するかを示す。機器は、温度がしきい値温度２４１６に達するのを防ぐために表示設定２４１４を変更するように構成されてもよい。さらに、装着型エクステンデッド・リアリティ機器の温度が許容限界に戻った後に、機器は表示設定を初期値２４１８に変更するように構成されてもよい。

いくつかの例では、変更されるエクステンデッド・リアリティ表示パラメータは、仮想コンテンツに基づいて選択されてもよい。例えば、仮想コンテンツがビデオコンテンツを含むときに特定の視覚表示パラメータを変更することができ、仮想コンテンツがテキストコンテンツを含むときに他のエクステンデッド・リアリティ表示パラメータを変更することができる。この例では、映像コンテンツを提示する際にはフレームレートを下げ、文書を提示する際には輝度を下げてもよい。

特定の表示パラメータは、よりアクティブな作業パラメータを必要とする可能性があり、すなわち、他の表示パラメータと比較して、コンテンツを表示するためのより高い電力または電圧要求を有する可能性がある。そのようなより要求の厳しいエクステンデッド・リアリティ表示パラメータは、輝度、強度、表示サイズ、またはフレームレートであってもよい。他の表示パラメータは、それほど多くの作業パラメータを必要とせず、色を含むことができる。

表示設定の変更は、多くの異なる方法で行われてもよい。いくつかの実施形態では、仮想コンテンツの表示設定を変更することは、仮想コンテンツの少なくとも一部の配色を変更することを含んでもよい。配色は、仮想コンテンツのカラーパレット、色温度、１つの色の濃淡または色のサブセットを指すことができる。配色は、カラーパレット、色温度、特定の色の利用可能な階調数のうちの１つまたは複数を変更することによって、または表示された色をグレースケールまたは白黒に変更することによって修正することができる。元の配色で仮想コンテンツを表示することは、変更された配色で仮想コンテンツを表示することよりも多くの処理能力を使用し、したがってより多くの熱を生成することができる。

仮想コンテンツは、様々な異なる表示パラメータを有することができる。いくつかの実施形態では、少なくとも１つのプロセッサは、仮想コンテンツの一部または全部の配色を変更するように構成されてもよい。例えば、少なくとも１つのプロセッサは、仮想コンテンツの残りの配色を変更することなく、エクステンデッド・リアリティ環境に、および／または装着型エクステンデッド・リアリティ機器を介して表示される仮想コンテンツの第１の部分に関連付けられた配色を変更することができる。別の例として、すべてがカラーであることを意味する仮想コンテンツの場合、少なくとも１つのプロセッサは、目標温度に達するまで仮想コンテンツの残りの部分をカラーのままにしながら、その配色を白黒またはグレースケールに変更することによって仮想コンテンツの一部を修正するように構成されてもよい。この例では、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素の温度は、最初はしきい値温度よりも高くてもよい。上記のように配色を変更することにより、温度をしきい値温度未満に低下させることができる。温度がしきい値温度を下回ると、仮想コンテンツの配色は、仮想コンテンツのすべての部分において変更されていない設定（例えば、すべてがカラーである）に戻ることができる。

配色が変更される特定の方法、例えば、白黒で表示される仮想コンテンツの一部を変更する方法は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。ユーザの好ましい配色変更は、ユーザのプロファイルに記憶されてもよい。

いくつかの実施形態では、仮想コンテンツの表示設定を変更することは、仮想コンテンツの少なくとも一部の不透明度値を低減することを含んでもよい。不透明度を変更することは、表示された仮想コンテンツがどのように透明または半透明に見えるかを指すことができる。より高い不透明度で表示された仮想コンテンツは、比較的低い不透明度で表示された仮想コンテンツと比較して、周囲の環境からより目立つ可能性があり、より少ない周囲の光を透過させる可能性がある。最大不透明度でコンテンツを表示することは、コンテンツがより半透明または透明になるように不透明度が変更される場合よりも、より多くの処理能力を使用し、したがってより多くの熱を生成することができる。

一例では、仮想コンテンツの第１の部分は、低減された不透明度で表示されてもよく、仮想コンテンツの第２の部分は、低減されていない不透明度で表示されてもよい。例えば、低減された不透明度で表示されるとき、提示における特定のグラフィックスは、観察者にとって半透明に見えることがあるが、他のグラフィックスは、それらの通常の不透明度設定で表示されることがある。この例では、テキストおよびグラフィック画像は、仮想コンテンツの一部として表示され得る。ここで、テキストは修正されずに表示されてもよいが、グラフィックスは、発熱を低減するために不透明度が低減されてもよく、またはその逆であってもよい。この状況では、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素に関連付けられた温度は最初は高くてもよく、説明したように不透明度を変更すると温度が低下する可能性がある。温度が所定のしきい値温度未満に低下すると、仮想コンテンツの不透明度は、仮想コンテンツのすべての部分において変更されていない設定（例えば、コンテンツが半透明または透明に見えない）に戻り得る。

不透明度が、例えば、どれだけ不透明度が低減されるかによって変更される特定の方法は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。さらに、不透明度が低減される仮想コンテンツの特定の部分は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。ユーザの好ましい不透明度の変更は、ユーザのプロファイルに格納することができる。

いくつかの実施形態では、仮想コンテンツの表示設定を変更することはまた、仮想コンテンツの少なくとも一部の強度値を低減することを含んでもよい。強度という用語は、発熱光源を介して表示された仮想コンテンツから生成される光の量を指すことができる。ユーザの好みの強度で仮想コンテンツを表示すると、強度が低下した場合よりも多くの処理能力を使用し、したがってより多くの熱を生成することができる。

仮想コンテンツの第１の部分は、低減された強度で表示されてもよく、第２の部分は、低減されない強度で表示されてもよい。例えば、提示される仮想コンテンツは、テキストとグラフィックスの両方を含んでもよい。テキストは修正されていない設定で表示されてもよいが、低減された強度で表示されると、仮想コンテンツを提示するために使用される電力が低減されているため、提示のグラフィックスは、視聴者にはあまり明るく見えない場合がある。この例では、最初は温度が高く、上述のように強度を変更すると温度が低下する。仮想コンテンツの強度は、温度がしきい値温度を下回った後に、仮想コンテンツのすべての部分において変更されていない設定（例えば、ユーザの好みに基づく通常の強度）に戻り得る。

強度が、例えば、どの程度の強度が低減されるかによって変更される特定の方法は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。さらに、強度が低減される仮想コンテンツの特定の部分は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。ユーザの好みの強度変更は、ユーザのプロファイルに格納することができる。

仮想コンテンツの表示設定を変更することはまた、仮想コンテンツの少なくとも一部の輝度値を低減することを含むことができる。輝度という用語は、表示されたコンテンツからどれだけの光が放出されるかの視覚的知覚を指すことができる。表示されたコンテンツの強度を調整することは、発熱光源によって生成される光の量を調整することを含むが、明るさを調整することは、強度が一定のままである間に仮想コンテンツの表示設定を調整することを含む。ユーザの好みの輝度設定で仮想コンテンツを表示すると、輝度が低下した場合よりも多くの処理能力を使用し、したがってより多くの熱を生成することができる。

この実施形態では、仮想コンテンツの第１の部分は低減された輝度で表示され、第２の部分は低減されていない輝度で表示され得る。例えば、提示された仮想コンテンツは、テキストとグラフィックスの両方を含むことができる。温度を下げるために、グラフィックスは低減された輝度で表示されてもよいが、テキストは修正されずに表示されてもよく、またはその逆であってもよい。この例では、最初は温度が高く、このように明るさを変えると温度が低下する。仮想コンテンツの輝度は、温度がしきい値温度を下回った後に、仮想コンテンツのすべての部分において変更されていない設定（例えば、ユーザの好みに基づく通常の明るさ）に戻り得る。

輝度が変更される特定の方法、例えば、輝度がどれだけ低減されるかは、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。さらに、輝度が低減される仮想コンテンツの特定の部分は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。ユーザの好みの輝度変更は、ユーザのプロファイルに格納することができる。

仮想コンテンツの表示設定を変更することはまた、仮想コンテンツの少なくとも一部のフレームレートを低減することを含むことができる。フレームレートは、特にビデオおよび／またはアニメーション化された仮想オブジェクトが表示されるときに、連続した画像が表示される周波数を指すことができる。フレームレートが高いほど、表示されたビデオコンテンツが視聴者に滑らかに見える。変更されていないフレームレートで仮想コンテンツを表示することは、低減されたフレームレートで仮想コンテンツを表示することよりも多くの処理電力を消費し、したがってより多くの熱を生成することができる。

この実施形態では、仮想コンテンツの第１の部分は、低減されたフレームレートで表示されてもよく、第２の部分は、低減されていないフレームレートで表示されてもよい。例えば、低減されたフレームレートで表示されるとき、特定の提示されたビデオコンテンツは、途切れて見える場合があり、すなわち、ビデオの動きはそれほど滑らかではない。しかしながら、提示されたビデオコンテンツの他の部分は、それらの通常のフレームレートで表示され、動きは視聴者に滑らかに見える。一例では、ビデオのフレームレートは、まだ風景が残っているシーンなど、あまり変化していない場所で低減され得る。ここで、ビデオのフレームレートは、キャラクタが混雑した通りを歩いているなど、コンテンツが急速に変化しているところでは変更されないままであり得る。この例では、最初は温度が高く、上述のようにフレームレートを下げると温度が低下する。仮想コンテンツのフレームレートは、温度がしきい値温度を下回った後に、仮想コンテンツのすべての部分において変更されていない設定（例えば、ビデオコンテンツは滑らかに見える）に戻ることができる。

例えば、フレームレートがどれだけ低減されるかによってフレームレートが変更される特定の方法は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。さらに、フレームレートが低減される仮想コンテンツの特定の部分、すなわち、ビデオの開始部分、中間部分、または終了部分は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。ユーザの好ましいフレームレート変更は、ユーザのプロファイルに格納することができる。

仮想コンテンツの表示設定を変更することはまた、仮想コンテンツの少なくとも一部の表示サイズを縮小することを含むことができる。仮想コンテンツの表示サイズを縮小することは、消費電力を低減し、したがって温度を低減するのに役立ち得る。例えば、より大きな画像およびビデオは、より大きなファイルサイズを有する可能性があり、メモリからの読み取り、処理、および／または表示のためにより多くの電力を必要とする可能性がある。別の例では、ディスプレイサイズを縮小することにより、装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つのディスプレイデバイスの少なくとも一部を遮断するか、または低電力モードに切り替えることが可能になり得る。

この実施形態では、仮想コンテンツの第１の部分は縮小された表示サイズで表示され、第２の部分は縮小されていない表示サイズで表示され得る。例えば、表示された仮想コンテンツの一部として、文書は縮小されたサイズで表示され、ビデオファイルは修正されていないサイズで表示され得る。

一例では、仮想コンテンツの部分は、装着型エクステンデッド・リアリティ機器のユーザの注意を示す情報に基づいて選択されてもよい。別の例では、仮想コンテンツの部分は、仮想コンテンツの異なる部分に関連付けられた必要度に基づいて選択されてもよい。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器のユーザの注意を示す情報は、取り込まれた画像情報を含むことができる。一例では、ユーザのアテンションを示す情報は、カーソルの位置に基づいてもよい。別の例では、ユーザの注意を示す情報は、装着型エクステンデッド・リアリティ機器の方向、すなわちユーザが頭を向けている場所に基づいてもよい。さらに別の例では、ユーザの注意を示す情報は、ユーザの視線方向に基づいてもよい。

さらに、サイズが縮小される仮想コンテンツの部分は、仮想コンテンツの異なる部分に関連付けられた必要度に基づいてもよい。必要度は、特定のコンテンツが特定のユーザにとってどの程度重要であるかを指すことができる。例えば、提示される仮想コンテンツは、装着型エクステンデッド・リアリティ機器の視聴ユーザに説明する必要があるいくつかのキーポイントを有し、それほど重要ではない可能性がある他のサポートポイントを有することができる。装着型エクステンデッド・リアリティ機器を構成するとき、ユーザは、提示されたコンテンツの各部分にその必要性に関連する値を割り当てることができ、仮想コンテンツの表示サイズは、割り当てられた必要性値に基づいて縮小され得る。

例として、図２５は、受信した温度情報に基づいて仮想コンテンツの一部の表示サイズを縮小することを示す。ここで、装着型エクステンデッド・リアリティ機器２５１０は、仮想コンテンツ２５１２を提示する。仮想コンテンツ２５１２は、仮想オブジェクト２５１４および２５１６から構成される。温度データ２５１８を受信し、仮想コンテンツ表示設定を変更する必要があると判定すると、仮想コンテンツの表示サイズを縮小することができる。ここでは、仮想オブジェクト２５２０が２５１６のサイズバージョンに縮小されているのに対し、仮想オブジェクト２５２２は縮小されていない（すなわち、仮想オブジェクト２５２２は２５１４とサイズが類似または同一である）。

いくつかの実施形態では、仮想コンテンツの表示設定を変更することは、オブジェクトタイプまたはオブジェクト使用履歴のうちの少なくとも１つに基づいて、仮想コンテンツに含まれる表示された仮想オブジェクトに対する選択的な変更を実施することを含む。これらの実施形態のコンテキストでは、仮想オブジェクトタイプは、表示されたコンテンツの特性を指すことができる。そのような特性（またはタイプ）は、例えば、無生物仮想コンテンツ（例えば、文書）、生物仮想コンテンツ（例えば、ビデオまたはパワーポイントの提示）、有色、グレースケール、または白黒コンテンツ、透明、半透明、または不透明コンテンツ、明るいまたは薄暗いコンテンツ、静止または動くコンテンツ、フレームレート低減コンテンツ、および／または大表示サイズコンテンツおよび小表示サイズコンテンツを含むことができる。オブジェクト使用履歴は、特定のオブジェクトがどのくらい最近使用されたか、オブジェクトがどのくらいの頻度で使用されたか、オブジェクトがどのくらいの時間使用されたか、オブジェクトがどの時刻に使用されたか、オブジェクトがどの目的で使用されたか、および／または特定の仮想オブジェクトをどのくらいの数のユーザが使用したかを指すことができる。

提示されるコンテンツのタイプ、すなわちビデオまたは文書に基づいて変更され得る表示パラメータは、ユーザの好みに基づいて構成されてもよい。例えば、ユーザは、他の表示パラメータを変更する代わりに、強調表示され、明るくされ、またはズームインされた文書を表示することを好む場合がある。別の例では、ユーザは、他の表示パラメータを変更する代わりに提示されたビデオコンテンツのフレームレートを遅くすることを好む場合があり、または提示された仮想コンテンツの表示サイズを自動的に縮小することを好む場合がある。

また、使用履歴に基づいて表示パラメータを変更してもよい。例えば、装着型エクステンデッド・リアリティ機器のユーザは、発熱を低減するためにビデオ速度を以前に減速している可能性がある。この情報は、ユーザのプロファイルの一部として、装着型エクステンデッド・リアリティ機器に関連付けられた非一時的コンピュータ可読媒体に格納されてもよい。プロセッサは、ユーザのプロファイルに格納された使用履歴に基づいて、装着型エクステンデッド・リアリティ機器がしきい値温度に達したときにビデオ速度を自動的に減速することができる。別の例では、ユーザは、表示サイズを小さくすること、配色を変更すること、または表示されるコンテンツの輝度を低減することを好む場合がある。例えば、提示は、テキストおよびグラフィックスを含むことができる。提示されたコンテンツおよびユーザのオーディエンスに基づいて、ユーザは、温度を下げるためにグラフィックスの表示サイズを小さくする、グラフィックスをグレースケールに変更する、またはグラフィックスの輝度を下げることを好む場合があるが、提示のコンテンツおよび意味を変更することはない。そのような表示パラメータ変更情報は、装着型エクステンデッド・リアリティ機器が使用履歴に基づいて発熱を低減することができるように、非一時的コンピュータ可読媒体に記憶することができる。別の例では、長期間使用されなかった特定のオブジェクトは、強度、明るさ、または任意の他の作業パラメータが低減され得る。例えば、提示の一部としての文書など、２時間使用されていない仮想オブジェクトの強度を下げることができる。

いくつかの実施形態では、仮想コンテンツの表示設定を変更することは、仮想コンテンツに含まれる複数の仮想要素のうちの少なくとも１つの仮想要素を仮想コンテンツから除去することを含んでもよい。いくつかの開示された実施形態のコンテキストでは、仮想要素は、仮想オブジェクトまたは仮想オブジェクトの一部であってもよい。例えば、仮想コンテンツが複数の文書から構成される場合、仮想オブジェクトは文書のうちの１つであり得る。仮想要素は、仮想オブジェクト自体、例えば文書であってもよく、タスクバー、ナビゲーションペイン、またはスタイルタブなどの仮想オブジェクトの一部であってもよい。発熱を低減するために、タスクバーまたはナビゲーションペインなどの仮想要素が表示された仮想コンテンツから除去されてもよい。例えば、提示される仮想コンテンツは、文書を含むことができる。発熱を低減するために、文書のナビゲーションペインを除去することができ、すなわち、閲覧者には見えない。

いくつかの実施形態では、少なくとも１つの仮想要素は、装着型エクステンデッド・リアリティ機器のユーザの注意を示す情報に基づいて複数の仮想要素から選択されてもよい。そのようなデータは、仮想コンテンツのどの部分が仮想コンテンツの意味を伝えるのに重要であり、どの部分が重要でないかを示すので、ユーザの注意を使用して仮想要素を除去することができる。ユーザの注意を示す情報は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサによって取り込まれた画像データに基づくことができる。一例では、ユーザのアテンションを示す情報は、カーソルの位置に基づいてもよい。別の例では、ユーザの注意を示す情報は、装着型エクステンデッド・リアリティ機器の方向に基づいてもよい。この例では、ユーザは、仮想コンテンツを完全に見るために頭または視線を動かす必要があり得る。画像センサは、ユーザの注意がどこにあるか、すなわち、ユーザの頭がどこに位置しているかに関するデータを取り込み、それに応じて仮想コンテンツを変更することができる。さらに別の例では、ユーザの注意を示す情報は、ユーザの視線方向に基づいてもよい。別の例では、画像センサはジェスチャデータを取り込むことができる。ユーザが指している仮想オブジェクトは、変更されていない設定で表示され得るが、ユーザが指していない仮想オブジェクトは、低減された輝度、強度、フレームレート、不透明度、または変更された色で表示され得る。

いくつかの開示された実施形態は、複数の仮想要素の重要度をランク付けすることを含むことができ、少なくとも１つの仮想要素は、決定された重要度に基づいて複数の仮想要素から選択される。重要度は、ユーザが提示された仮想コンテンツを理解するために特定の仮想要素がどの程度必要であるかを指すことができる。例えば、画像は、仮想コンテンツの一部として提示されてもよいが、仮想コンテンツの残りを理解する必要はない場合がある。画像には、提示された仮想コンテンツの残りの部分よりも低い重要度が割り当てられてもよい。別の例では、提示は、（例えば、提示編集および／またはビューイングアプリケーションにおいて）仮想コンテンツとして提示されることができ、スライドおよびノートを含むことができる。ノートは、スライドほど重要ではない場合があり、したがって、スライドと比較してより低い重要度が割り当てられ得る。別の例として、仮想要素が仮想生産性アプリケーションである場合、文書、電子メール、または説明ビデオなどの生産性アプリケーションの使用に直接関連する情報には高いレベルの重要性が割り当てられる可能性があり、したがって、そのようなコンテンツを変更せずに表示することが優先される。対照的に、音楽を再生するビデオ、開いているウェブページ、または生産性アプリケーション（または生産性アプリケーションのコア機能）とは無関係の他のアプリケーションなど、生産性アプリケーションの使用に直接関連しない仮想要素には、より低いレベルの重要度を割り当てることができる。これらの要素は、発熱を低減するために変更されてもよい。さらに、仮想要素が仮想ウィンドウの一部である場合、タスクバー、ナビゲーションペイン、またはスタイルタブなど、現時点で使用されていない構成要素を削除することができる。

いくつかの例では、複数の仮想要素の重要度をランク付けすることは、装着型エクステンデッド・リアリティ機器の物理環境の状態および／または装着型エクステンデッド・リアリティ機器の物理環境におけるイベントに基づいて、複数の仮想要素の重要度をランク付けすることを含んでもよい。例えば、装着型エクステンデッド・リアリティ機器のユーザ以外の別の人が装着型エクステンデッド・リアリティ機器の物理的環境に存在する場合、他の人に関連付けられた仮想要素は、他の人が装着型エクステンデッド・リアリティ機器の物理的環境に存在しない場合よりも高くランク付けされ得る。別の例では、電気機器が装着型エクステンデッド・リアリティ機器の物理的環境に存在する場合、電気機器に関連付けられた制御は、電気機器が装着型エクステンデッド・リアリティ機器の物理的環境に存在しない場合よりも高くランク付けされ得る。さらに別の例では、人が装着型エクステンデッド・リアリティ機器のユーザに物理的に接近している場合、コンテンツ共有に関連する要素は、人が物理的に接近していない場合よりも高くランク付けされ得る。いくつかの例では、装着型エクステンデッド・リアリティ機器の物理的環境における人および／または電気機器の存在を判定すること、および／または人がユーザに物理的に接近しているかどうかを判定することは、装着型エクステンデッド・リアリティ機器に含まれる画像センサを使用して取り込まれた画像データの解析に基づいて判定されてもよい。解析は、複数の代替クラスのうちの１つのクラスに対する視覚的分類アルゴリズムを使用して画像データを解析することを含むことができる（例えば、「他者の存在」、「他者の非存在」、「電気機器の存在」、「電気機器の非存在」、「ユーザに近づく人」、「ユーザに近づく人がいない」、または追加のユーザおよび／または機器の任意の他の組み合わせなど）。

いくつかの開示された実施形態は、表示設定への変更の実施後の一定期間にわたって、装着型エクステンデッド・リアリティ機器に関連付けられた温度を示す更新情報を受信することと、表示設定の少なくとも１つを初期値に変更することとを含むことができる。上述したように、温度値は、周期的に、連続的に、または設定温度上昇に基づいて受信することができる（すなわち、温度が摂氏１度または２度上昇しない限り、情報は生成されない）。プロセッサが温度値を受信する方法は、装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。したがって、温度値は、装着型エクステンデッド・リアリティ機器の使用中に連続的または定期的に受信され得る。例えば、装着型エクステンデッド・リアリティ機器に関連付けられた温度センサによる温度測定値は、装着型エクステンデッド・リアリティ機器の１つまたは複数の構成要素の温度がしきい値温度未満に低下したこと、または安全な温度もしくは安定した温度まで低下したことを示すことができる。一例では、これに応答して、装着型エクステンデッド・リアリティ機器は、表示設定を変更することなく使用することができる。別の例では、これに応答して、表示設定の少なくとも１つを初期値に変更することができる。いくつかの実施形態では、初期値は、変更される前の表示設定を指すことができる（例えば、表示設定を図２４の初期値２４１８に変更する）。

上記の例では、作業パラメータ（電圧、電流、電力など）は、装着型エクステンデッド・リアリティ機器が使用されなかった後に、少なくとも１つのプロセッサによって初期値に再調節されてもよい。したがって、初期値は、変更される前の表示設定または作業パラメータを指すことができる。初期値の一例は、デフォルトの表示設定であってもよい。この例では、初期値は、デフォルトの色、不透明度、強度、明るさ、フレームレート、または表示サイズ設定を指すことができる。表示設定の初期値は、個々の装着型エクステンデッド・リアリティ機器ユーザによって構成されてもよい。

図２６は、装着型エクステンデッド・リアリティ機器の温度に基づいて表示設定を吊り下げるための典型的な方法を示すフローチャートである。方法２６００は、入力ユニット２０２（図３参照）、ＸＲユニット２０４（図４参照）、および／またはリモート処理ユニット２０８（図５参照）に関連付けられた１つまたは複数の処理デバイス（例えば、３６０、４６０、または５６０）によって実行されてもよい。開示された方法２６００のステップは、ステップの並べ替えおよび／またはステップの挿入もしくは削除を含む任意のやり方で修正することができる。方法２６００は、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを表示するステップ２６１２を含むことができる。装着型エクステンデッド・リアリティ機器（例えば、４１２、４１３、４１４、４１５、４１７）（図４参照）の１つまたは複数の構成要素は、仮想コンテンツを表示しながら熱を生成することができる。方法２６００は、発熱に基づいて装着型エクステンデッド・リアリティ機器に関連付けられた温度情報を受信するステップ２６１４を含むことができる（例えば、ステップ２６１２が仮想コンテンツを表示した後またはその間に）。方法２６００は、受信した温度情報に基づいて表示設定を変更する必要性を決定するステップ２６１６を含むことができる。入力ユニット２０２（図３参照）に関連付けられた少なくとも１つの処理デバイス（例えば、３６０、４６０、５６０）は、受信した温度情報に基づいて表示設定を変更する必要性を決定することができる。方法２６００は、ステップ２６１６の判定に基づいて、目標温度を達成するために仮想コンテンツの表示設定を変更するステップ２６１８を含むことができる。目標温度に到達するように表示設定を変更してもよい。

いくつかの開示された実施形態は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、エクステンデッド・リアリティ環境においてハイブリッド仮想キーを実施するための動作を実行させることができる命令を含むシステム、方法、および／または非一時的コンピュータ可読媒体を含むことができる。エクステンデッド・リアリティ環境は、現実および仮想要素を含むことができる。ユーザは、エクステンデッド・リアリティ環境で動作している間に、実要素および仮想要素と対話することができる。いくつかの実施形態では、エクステンデッド・リアリティ環境はハイブリッド仮想キーを含んでもよい。ハイブリッド仮想キーは、物理キーと仮想キーの混合を含んでもよい。物理キーは、例えばキーボードの１つまたは複数の物理的および／または機械的に可動なキーを表すことができる。キーボードは、例えば、キーボードに関連付けられた１つまたは複数のキーを使用して、ユーザがテキストおよび／または英数字を入力することを可能にすることができる。仮想キーは、物理キーを必要とせずに、テキストおよび／または英数字および／または専用キー（コマンドキー、制御キーおよび／または機能キーなど）の入力を可能にすることができる。仮想キーは、物理キーと同じ外観、または異なる外観を有し得るが、物理的な可動構成要素を有していなくてもよい。ユーザは、タッチスクリーンインターフェースを介して、またはエクステンデッド・リアリティ環境で仮想キーと対話することができる。いくつかの実施形態では、ハイブリッド鍵は、物理鍵および仮想鍵を含むことができる。例えば、エクステンデッド・リアリティ環境は、物理キーを有する物理キーボードと、仮想キーを含む表面とを含んでもよい。いくつかの実施形態では、ハイブリッド仮想キーは、数字キー、文字キー、記号キー、上／下矢印、専用キー（コマンドキー、制御キーおよび／または機能キーなど）、または他のタイプのキーに対応し得る。

いくつかの開示された実施形態は、第１の期間中に、タッチ感知面上の装着型エクステンデッド・リアリティ機器によって仮想的に投影された複数の仮想アクティブ化可能要素のタッチ感知面上の位置に対応する第１の信号を受信することを含んでもよい。タッチ感知面は、オブジェクトによるタッチに応答して信号を生成することができる面を含むことができる。タッチ感知面は、ユーザの環境内に存在する１つまたは複数の物理オブジェクト上に配置されてもよい。例えば、タッチ感知面は、物理キーボードの１つまたは複数の表面を含んでもよい。一例として、物理キーボード上のタッチバーまたはタッチパッドは、タッチ感知面を構成し得る。しかしながら、キーボードの側面または１つまたは複数の物理キーなどのキーボードの他の部分は、タッチ感知面であってもよいと考えられる。別の例として、タッチ感知面は、テーブル、机、またはユーザの環境内の任意の他のオブジェクトの表面を含んでもよい。タッチ感知面にタッチするために使用されるオブジェクトは、ユーザの手の１つまたは複数の部分、スタイラス、ポインタ、またはタッチ感知面と接触させることができる任意の他の物理オブジェクトを含むことができる。一例として、ユーザは、１つまたは複数の指、親指、手首、手のひら、またはユーザの手の任意の他の部分を使用してタッチ感知面にタッチすることができる。

いくつかの実施形態では、タッチ感知面は、１つまたは複数の仮想アクティブ化可能要素を含んでもよい。仮想アクティブ化可能要素は、タッチ感知面上に表示または投影され得る１つまたは複数のウィジェットを含んでもよい。例えば、仮想アクティブ化可能要素は、アイコン、記号、ボタン、ダイヤル、チェックボックス、選択ボックス、プルダウンメニュー、スライダ、またはタッチ感知面上に表示または投影され得る任意の他のタイプのグラフィック要素を含んでもよい。各仮想アクティブ化可能要素は、ユーザによって操作または作用されたときに信号を生成するか、またはアクションを行わせることができる。例えば、ユーザは、ボタンを押すかまたはタッチすることによって、仮想の作動可能ボタン要素を作動させることができる。別の例として、ユーザは、要素を上または下にスワイプするために指を使用することによって仮想アクティブ化可能スライダ要素をアクティブ化することができる。仮想アクティブ化可能要素は、ユーザによってタッチまたはアクティブ化されたことに応答して、信号を生成するか、またはプロセッサにアクションを行わせることができる。

タッチ感知面上に表示または投影された仮想アクティブ化可能要素は、位置に関連付けられ得る。位置は、基準位置または基準面に対するそれぞれの仮想アクティブ化可能要素の位置に関連付けられてもよい。いくつかの実施形態では、位置は、座標要素を使用して決定され得る。例えば、仮想アクティブ化可能要素の位置は、所定の座標基準面に対する座標位置または距離を含むことができる。別の例として、仮想アクティブ化可能要素の位置は、タッチ感知面上のボタン（例えば、オンまたはオフ）の状態を含んでもよい。

いくつかの実施形態では、仮想アクティブ化可能要素は、装着型エクステンデッド・リアリティ機器によって仮想的に投影されてもよい。この投影は、装着型エクステンデッド・リアリティ機器を装着しているユーザによってタッチ感知面上で見ることができる。さらに、この投影は、他の人には見えない場合があり、または、他の人（例えば、装着型エクステンデッド・リアリティ機器を使用していない人々、特定の装着型エクステンデッド・リアリティ機器を使用していない人々など）によってタッチ感知面から離れて見られる場合がある。すなわち、装着型エクステンデッド・リアリティ機器なしでタッチ感知面を見ている人は、タッチ感知面上の仮想アクティブ化可能要素を見ない。装着型エクステンデッド・リアリティ機器は、拡張現実（ＡＲ）、仮想現実（ＶＲ）、複合現実（ＭＲ）、または任意の没入型体験を提供するためにユーザに取り付け可能なデバイスであり得る。装着型エクステンデッド・リアリティ機器の典型的な構成要素は、立体ヘッドマウントディスプレイ、立体ヘッドマウントサウンドシステム、ヘッドモーショントラッキングセンサ（例えば、ジャイロスコープ、加速度計、磁力計、画像センサ、構造化光センサなど）、ヘッドマウントプロジェクタ、アイトラッキングセンサ、および／または以下に説明する追加の構成要素のうちの少なくとも１つを含むことができる。装着型エクステンデッド・リアリティ機器は、スマートグラス、ヘッドセット、または他の機器を含むことができる。装着型エクステンデッド・リアリティ機器は、仮想アクティブ化可能要素が装着型エクステンデッド・リアリティ・デバイスを使用してユーザに表示され得るように、タッチ感知面上に仮想アクティブ化可能要素のオーバーレイを提供することによって仮想アクティブ化可能要素を仮想的に投影し得る。

例として、図２７は、タッチ感知面上に１つまたは複数の仮想アクティブ化可能要素を仮想的に投影する装着型エクステンデッド・リアリティ機器の一例を示す。例えば、図２７に示すように、ユーザ２７１６は、装着型エクステンデッド・リアリティ機器２７１５を装着していてもよい。いくつかの例では、装着型エクステンデッド・リアリティ機器２７１５は、スマートグラス、ヘッドセット、ヘッドマウントディスプレイ、または任意の他の形態の装着型エクステンデッド・リアリティ機器を含んでもよい。装着型エクステンデッド・リアリティ機器２７１５は、キーボード２７１０の下に配置され得るタッチ感知面２７１１上に、１つまたは複数の仮想アクティブ化可能要素２７１２、２７１３、および／または２７１４を仮想的に投影し得る。投影された１つまたは複数の仮想アクティブ化可能要素は、ユーザ２７１６に視認可能であり得る。一例では、投影された１つまたは複数の仮想アクティブ化可能要素は、他の人には見えない可能性がある。別の例では、投影された１つまたは複数の仮想アクティブ化可能要素は、（例えば、装着型エクステンデッド・リアリティ機器２７１５への反映として）他の人によってタッチ感知面２７１１から離れて見られてもよい。すなわち、装着型エクステンデッド・リアリティ機器なしでタッチ感知面を見ている人は、タッチ感知面上の仮想アクティブ化可能要素を見ない。

いくつかの実施形態では、プロセッサは、第１の期間中にタッチ感知面上の位置に対応する第１の信号を受信することができる。第１の期間は、１つまたは複数のアクションが行われ得る時間の長さであり得る。時間の長さは可変であってもよい。例えば、第１の期間は、数ミリ秒、秒、分、または任意の他の期間であってもよい。プロセッサによって受信された第１の信号は、タッチ感知面上の位置に対応し得る。第１の信号は、仮想アクティブ化可能要素の特定の位置を表すことができる。プロセッサは、装着型エクステンデッド・リアリティ機器が仮想アクティブ化可能要素を表示するとき、装着型エクステンデッド・リアリティ機器が仮想アクティブ化可能要素を表示する前、または装着型エクステンデッド・リアリティ機器が仮想アクティブ化可能要素を表示した後に、投影された仮想アクティブ化可能要素の各々の位置を示す信号を受信することができる。例えば、装着型エクステンデッド・リアリティ機器は、タッチ感知面上に輝度調整器スクロールバーを投影することができる。プロセッサは、輝度調整器スクロールバーがタッチ感知面の右側に位置することを示す第１の信号を受信してもよい。

例として、図２８は、キーボードおよびタッチ感知面の一例を示す。図２８に示すように、タッチ感知面２８１１は、キーボード２８１０の下方に配置されてもよいが、追加的または代替的に他の場所に配置されてもよい。例えば、タッチ感知面２８１１は、キーボード２８１０の上方、キーボード５－２－１０の左または右に配置されてもよく、またはキーボード２８１０の物理キーの間にあってもよい。いくつかの実施形態では、タッチ感知面２８１１は、キーボード２８１０自体に配置されてもよい。タッチ感知面２８１１は、例えば、１つまたは複数の仮想アクティブ化可能要素に対応する領域を含んでもよい。例えば、図２８に示すように、仮想アクティブ化可能要素は、矢印２８１４、輝度調整２８１３、および／または、１つまたは複数のアプリケーション２８１２を表す１つまたは複数のアイコンを含んでもよい。タッチ感知面２８１１は、これらの図示した仮想アクティブ化可能要素に限定されず、上述のような要素に対応するいくつかの他の領域のいずれかを含んでもよいことを理解されたい。

いくつかの開示された実施形態は、ユーザによって以前に選択されたデフォルトの配置に基づいてタッチ感知面上に複数の仮想アクティブ化可能要素を配置することを含んでもよい。エクステンデッド・リアリティ環境で１つまたは複数の操作を実行する前に、ユーザは、１つまたは複数の仮想アクティブ化可能要素の１つまたは複数の位置および／または配置をデフォルトの配置として指定することができる。プロセッサは、ユーザによって指定された位置を使用して、仮想アクティブ化可能要素をユーザによって指定されたデフォルトの配置で表示させることができる。例えば、ユーザは、表面の片側にすべての仮想アクティブ化可能要素を配置することを選択することができる。別の例では、ユーザは特定の仮想アクティブ化可能要素を一緒にグループ化することができる。別の例では、ユーザは、各要素間の距離が同じ要素を配置することができる。別の例として、ユーザは、互いに異なる距離を有する要素を配置することができる。ユーザは、以前に指定されたデフォルトの配置を変更することもできる。例えば、ユーザは、１つまたは複数の仮想アクティブ化可能要素を１つまたは複数の新しい位置にドラッグすることができる。いくつかの実施形態では、ユーザは、仮想アクティブ化可能要素の位置の変更を示すためにキーを押すことができる。例えば、ユーザは、仮想アクティブ化可能要素の位置が下方向に動くべきであることを示すために下矢印キーを押すことができる。１つまたは複数のユーザ入力に応答して、プロセッサは、仮想アクティブ化可能要素のうちの１つまたは複数の位置を再配置することができる。いくつかの例では、ユーザによって以前に選択されたデフォルトの配置は、コンテキストに依存し得る。例えば、デフォルト配置は、装着型エクステンデッド・リアリティ機器の異なる動作モードに対して異なる配置（例えば、省電力モードのための１つの配置および非省電力モードのための別の配置、装着型エクステンデッド・リアリティ機器のレイバック使用モードのための１つの配置および非レイバック使用モードのための別の配置、デバイスが歩行または走行しながら使用される場合の１つの配置およびデバイスが立ってまたは座って使用される場合の異なる配置など）を指定することができる。別の例では、デフォルトの配置は、装着型エクステンデッド・リアリティ機器を使用して消費される異なる仮想コンテンツに対して異なる配置（例えば、ワードプロセッサを使用するときの１つの配置および映画を視聴するときの別の配置、ビデオ会議中の１つの配置およびウェブをサーフィンするときの別の配置、装着型エクステンデッド・リアリティ機器が他の装着型エクステンデッド・リアリティ機器とコンテンツを共有するために使用されるときの１つの配置およびそれ以外の別の配置など）を指定することができる。さらに別の例では、デフォルト配置は、異なる物理的環境条件に対して異なる配置を指定することができる。例えば、デフォルトの配置は、装着型エクステンデッド・リアリティ機器のユーザが別の人に近づいたときの１つの配置と、それ以外の異なる配置、装着型エクステンデッド・リアリティ機器が会議室で使用されるときの１つの配置と、装着型エクステンデッド・リアリティ機器が家庭環境で使用されるときの別の配置などを指定することができる。

いくつかの開示された実施形態では、タッチ感知面上に仮想的に投影された複数の仮想アクティブ化可能要素は、仮想アクティブ化可能要素のグループのサブセットであってもよく、サブセットはユーザのアクションに基づいて決定されてもよい。サブセットは、仮想アクティブ化可能要素（すなわち、仮想アクティブ化可能要素のグループのうちの少なくとも１つの仮想アクティブ化可能要素はサブセットに含まれない）のグループの適切なサブセットであり得る。さらに、サブセットは空でないサブセットであってもよい（すなわち、仮想アクティブ化可能要素のグループのうちの少なくとも１つの仮想アクティブ化可能要素がサブセットに含まれる）。ユーザのそのようなアクションのいくつかの非限定的な例は、特定のアプリケーションの使用、特定のアプリケーションの特定の機能の使用、レイバック使用モードへの切り替え、飛行機モードへの切り替え、装着型エクステンデッド・リアリティ機器と特定のデバイスとのペアリング、歩行、走行、立位、着座、ユーザの物理的近傍にいる人との通信、特定の物理空間への進入などを含むことができる。一例では、ユーザのアクションは、例えば、１つまたは複数のセンサから受信したデータを解析することによって、および／または例えば本明細書で説明するように、ユーザから受信した入力に基づいて検出することができる。さらに、アクションの検出時に、仮想アクティブ化可能要素のグループのサブセットを選択することができる。仮想アクティブ化可能要素のうちの１つまたは複数は、ユーザに提示されているすべての仮想アクティブ化可能要素のサブセットに一緒にグループ化されてもよい。いくつかの実施形態では、１つまたは複数の仮想アクティブ化可能要素は、それらの要素によって実行される機能に基づいてグループ化されてもよい。例えば、テキストの編集または表示パラメータの変更に関連する仮想アクティブ化可能要素を一緒にグループ化することができる。いくつかの実施形態では、１つまたは複数の仮想アクティブ化可能要素は、特定のアプリケーションに基づいてグループ化されてもよい。例えば、提示編集および／またはビューイングアプリケーションに関連する仮想アクティブ化可能要素は、一緒にグループ化されてもよい。別の例として、ビデオ編集または再生アプリケーションに関連する仮想アクティブ化可能要素は、一緒にグループ化されてもよい。いくつかの実施形態では、仮想アクティブ化可能要素のうちの１つまたは複数は、ユーザによって行われたアクションに基づいてサブセットに一緒にグループ化されてもよい。例えば、ユーザによって行われるアクションは、単語文書を編集することを含むことができる。仮想アクティブ化可能要素のサブセットは、ユーザが単語を除去もしくは追加するための、またはフォントサイズおよび／もしくはスタイルを変更するためのオプションを含むことができる。別の例として、アクションは、ユーザがビデオファイルを編集することを含むことができる。要素のサブセットは、ユーザが音声クリップまたはビデオクリップを削除または追加するためのオプションを含んでもよい。

いくつかの開示された実施形態では、タッチ感知面上に仮想的に投影された複数の仮想アクティブ化可能要素は、仮想アクティブ化可能要素のグループのサブセットであってもよく、サブセットは、ユーザの物理的位置に基づいて決定されてもよい。サブセットは、仮想アクティブ化可能要素のグループの適切なサブセットであってもよい（すなわち、仮想アクティブ化可能要素のグループの少なくとも１つの仮想アクティブ化可能要素はサブセットに含まれない）。さらに、サブセットは空でないサブセットであってもよい（すなわち、仮想アクティブ化可能要素のグループの少なくとも１つの仮想アクティブ化可能要素がサブセットに含まれる）。ユーザは、異なる設定で異なるタイプのアクションを実行することができる。例えば、ユーザが自宅、オフィス、会議室にいるとき、公共の場所にいるとき、移動中にいるとき、またはユーザが他の設定にあるときに、異なる仮想アクティブ化可能要素を使用することができる。プロセッサは、ユーザの位置を決定するためのＧＰＳデバイスまたは屋内測位センサを含むことができる。プロセッサは、決定された位置に基づいて仮想アクティブ化可能要素のサブセットを表示することができる。例えば、ユーザが物理的に自宅にいるとき、プロセッサは、電子メールアプリケーションに関連付けられた仮想アクティブ化可能要素のサブセットを表示することができる。別の例として、ユーザが職場に物理的に配置されている場合、プロセッサは、文書編集および／またはビデオ編集要素に関連付けられた仮想アクティブ化可能要素のサブセットを表示することができる。別の実施形態では、仮想アクティブ化可能要素のサブセットは、ユーザ、装着型エクステンデッド・リアリティ機器、またはタッチ感知面のうちの少なくとも１つの物理的位置に基づいて決定されてもよい。例えば、機器の位置を決定するために、装着型エクステンデッド・リアリティ機器にＧＰＳデバイスを取り付けることができる。仮想アクティブ化可能要素の異なるサブセットは、機器の位置に基づいてタッチ感知面上に装着型エクステンデッド・リアリティ機器によって投影され得る。例えば、装着型エクステンデッド・リアリティは、ユーザのオフィスに配置されてもよい。文書共有に関連付けられた仮想アクティブ化可能要素のサブセットは、位置に基づいて投影されてもよい。別の例として、ＧＰＳデバイスをタッチ感知面に取り付けて、その面の位置を決定してもよい。仮想アクティブ化可能要素の異なるサブセットは、表面の位置に基づいて投影されてもよい。例えば、タッチ感知面は、ユーザの自宅に配置されてもよい。表示変更に関連付けられた仮想アクティブ化可能要素のサブセットは、位置に基づいて投影されてもよい。上述の例では、サブセットは適切なサブセットであり得る。

いくつかの開示された実施形態では、タッチ感知面上に仮想的に投影された複数の仮想アクティブ化可能要素は、仮想アクティブ化可能要素のグループのサブセットであってもよく、サブセットは、ユーザの環境内のイベントに基づいて決定されてもよい。サブセットは、仮想アクティブ化可能要素のグループの適切なサブセットであってもよい（すなわち、仮想アクティブ化可能要素のグループの少なくとも１つの仮想アクティブ化可能要素はサブセットに含まれない）。さらに、サブセットは空でないサブセットであってもよい（すなわち、仮想アクティブ化可能要素のグループの少なくとも１つの仮想アクティブ化可能要素がサブセットに含まれる）。仮想アクティブ化可能要素のサブセットは、ユーザによって行われた特定のアクションまたはユーザの物理的もしくは仮想的環境の変化に基づいて決定され得る。いくつかの実施形態では、特定のアクションは、ユーザを含まないイベントであってもよい。例えば、ユーザを含まない可能性があるアクションは、ユーザが接続され得る同じエクステンデッド・リアリティ環境に接続する別のユーザを含んでもよい。例として、別のユーザがユーザのエクステンデッド・リアリティ環境に接続すると、仮想アクティブ化可能要素は、両方のユーザが編集機能を実行できるように編集要素に変更することができる。別の例では、ユーザを含まない可能性があるアクションは、別の人が物理的にユーザに接近すること、および／または物理的にユーザの物理的環境に入ることを含むことができる。いくつかの実施形態では、サブセットに含まれる仮想アクティブ化可能要素を決定することができる特定のアクションは、別の人の入口を含むことができる。例えば、他の人の侵入は、他の人がそれらの仮想アクティブ化可能要素に関連付けられた機能を実行することを許可されていない可能性があるため、いくつかの仮想アクティブ化可能要素をタッチ感知面から消滅させる可能性がある。

いくつかの実施形態では、仮想アクティブ化可能要素のサブセットを決定するイベントは、ユーザに関連付けられた物理環境で発生し得る。例えば、他の人がユーザの家に入ることは、ユーザに表示される仮想アクティブ化可能要素のサブセットを決定することができるイベントであり得る。別の例として、物理的環境で発生するイベントは、ユーザの職場の温度の変化を含んでもよい。いくつかの実施形態では、仮想アクティブ化可能要素のサブセットを決定するイベントは、仮想環境で発生し得る。例えば、イベントは、ユーザのエクステンデッド・リアリティ環境でユーザによって受信された通知を含むことができる。仮想アクティブ化可能要素のサブセットは、通知に基づいて選択または変更することができる。例えば、通知が電子メールである場合、仮想アクティブ化可能要素のサブセットは、電子メールアプリケーションに関連付けられた機能に変更することができる。別の例として、通知が通話である場合、仮想アクティブ化可能要素のサブセットは、電話に関連付けられた機能に変更され得る。

いくつかの開示された実施形態は、第１の信号から、タッチ感知面上の複数の仮想アクティブ化可能要素の位置を決定することを含んでもよい。仮想アクティブ化可能要素がアクティブ化され、作動され、装着型エクステンデッド・リアリティ機器によって投影され、またはトリガされると、１つまたは複数の信号（第１の信号など）が生成され得る。プロセッサは、１つまたは複数の信号を受信し、１つまたは複数の信号に基づいて仮想アクティブ化可能要素の位置を決定することができる。いくつかの実施形態では、信号は、仮想アクティブ化可能要素の位置の表示を含むことができる。一実施形態では、信号は、ユーザが決定した位置に基づいて仮想アクティブ化可能要素の位置を記憶することができる。信号は、座標または座標平面からの距離の形式の位置情報を含むことができる。プロセッサは、位置情報を受信し、情報に基づいて仮想アクティブ化可能要素の位置を決定することができる。例えば、プロセッサは、信号と共に受信された位置情報に基づいて、仮想アクティブ化可能要素がタッチ感知面の左側に、またはタッチ感知面の左側の任意の位置に配置されていると判定し得る。別の実施形態では、各仮想アクティブ化可能要素の位置は、仮想アクティブ化可能要素に関連付けられ、データ構造に格納されてもよい。信号は、位置を決定するためにデータ構造を検索するための指標として使用され得る仮想アクティブ化可能要素の識別を含んでもよい。一例として、プロセッサは、信号と共に受信した識別情報に基づいて、仮想アクティブ化可能要素がタッチ感知面の右に、またはタッチ感知面の右の任意の位置に位置すると判定することができる。別の例として、プロセッサは、仮想アクティブ化可能要素がスライダであってもよく、位置がスライダのいずれかの端部、または２つの端部の間の任意の位置であってもよいと決定してもよい。別の例として、仮想アクティブ化可能要素はダイヤルであってもよく、位置はダイヤルに沿った任意の回転角度であってもよい。

いくつかの開示された実施形態では、タッチ感知面上の複数の仮想アクティブ化可能要素の位置は、ユーザのアクション、ユーザの物理的位置、装着型エクステンデッド・リアリティ機器の物理的位置、タッチ感知面の物理的位置、またはユーザの環境内のイベントのうちの少なくとも１つに基づいて決定され得る。異なる基準を使用して、ユーザに表示される仮想アクティブ化可能要素の位置（またはレイアウト）を決定することができる。１つまたは複数の仮想アクティブ化可能要素の位置はまた、１つまたは複数の基準に基づいて変更されてもよい。例えば、ユーザがオフィス環境にいるとき、要素が２つ以上の領域に現れるように、仮想アクティブ化可能要素を表示するための位置を選択することができる。別の例として、ユーザが家庭環境にいるとき、要素が単一の領域に現れるように、仮想アクティブ化可能要素を表示するための位置を選択することができる。別の例として、仮想アクティブ化可能要素を表示するための異なる位置は、ユーザによって行われたアクションまたはユーザではない人によって行われたアクションに基づいて決定されてもよい。例えば、ユーザはアプリケーションを開くことができ、仮想アクティブ化可能要素の位置は左または右に動いて、開かれたアプリケーションを表示するための空間を作成することができる。いくつかの他の例では、第１のアプリケーションに関連付けられた仮想アクティブ化可能要素の位置は、他のアプリケーションが使用されるかどうかに基づいて選択されてもよい。例えば、第１のアプリケーションが単独で使用されるとき、第１のアプリケーションに関連付けられた仮想アクティブ化可能要素はタッチ感知面全体に広がることができ、第１のアプリケーションが１つまたは複数の他のアプリケーションと併せて使用されるとき、第１のアプリケーションに関連付けられた仮想アクティブ化可能要素はタッチ感知面の選択された部分に配置されることができる一方で、１つまたは複数の他のアプリケーションに関連付けられた仮想アクティブ化可能要素は選択された部分の外側のタッチ感知面に配置されることができる。タッチ感知面の一部は、第１のアプリケーション、１つまたは複数の他のアプリケーションなどに基づいて選択されてもよい。

いくつかの開示された実施形態は、タッチ感知面を介してユーザのタッチ入力を受信することを含むことができ、タッチ入力は、タッチ感知面内の少なくとも１つのセンサとの相互作用の結果として生成された第２の信号を含む。タッチ感知面は、信号を生成するための１つまたは複数のセンサを含んでもよい。１つまたは複数のセンサは、環境内のイベントまたは変化を検出または測定することができ、あるいはユーザがタッチ感知面に触れているかどうかを検出することができる。１つまたは複数のセンサは、画像センサ、位置センサ、圧力センサ、温度センサ、または、タッチ感知面またはタッチ感知面が位置される環境に関連付けられる１つまたは複数の特性を検出することができる任意の他のセンサを含んでもよい。ユーザは、タッチ感知面と係合することによって表面にタッチすることができる。例えば、ユーザは、タッチ感知面の一部に圧力を加えることができる。別の例として、ユーザは、タッチ感知面の一部をタップ、タッチ、押圧、ブラシ、またはフリックすることができる。例えば、ユーザは、文字キーに対応するタッチ感知面を押すことができる。タッチ感知面とのユーザの係合は、タッチ感知面に関連付けられた１つまたは複数のセンサに信号を生成させることができる。例えば、タッチ感知面に関連付けられたセンサは、特定の文字キーがユーザによってタッチされたという信号をプロセッサに送信することができる。

例として、図２９は、タッチ感知面と対話するユーザの例を示す。例えば、図２９に示すように、ユーザの手２９１５は、仮想アクティブ化可能要素２９１２が投影されているタッチ感知面２９１１の領域にタッチすることができる。タッチ感知面２９１１はキーボード２９１０に関連付けられ得る。ユーザの手２９１５は、仮想アクティブ化可能要素２９１２に対応するタッチ感知面２９１１の領域にタッチすることができ、センサはそれを反映する信号を生成することができる。プロセッサは、信号を受信し、仮想アクティブ化可能要素２９１２に関連付けられたアプリケーションを開くことができる。別の例では、ユーザの手２９１５は、仮想アクティブ化可能要素２９１３が投影されるタッチ感知面２９１１の領域にタッチすることができ、センサはそれを反映する信号を生成することができる。プロセッサは、信号を受信し、仮想アクティブ化可能要素２９１３に関連付けられたアクションを実行することができる。別の例では、ユーザの手２９１５は、仮想アクティブ化可能要素２９１４が投影されるタッチ感知面２９１１の領域にタッチすることができ、センサはそれを反映する信号を生成することができる。プロセッサは、信号を受信し、仮想アクティブ化可能要素２９１４に関連付けられたアクションを実行することができる。

いくつかの開示された実施形態は、タッチ感知面内の少なくとも１つのセンサとの相互作用の結果として生成された第２の信号に基づいてタッチ入力に関連付けられた座標位置を決定することを含んでもよい。上述したように、ユーザがタッチ感知面にタッチすると、タッチ感知面に関連付けられた１つまたは複数のセンサによって１つまたは複数の信号（例えば、第２の信号）が生成され得る。１つまたは複数の第２の信号は、タッチ入力の座標位置に関連付けられた情報を含むことができる。座標位置は、所与の基準座標系に対する点の位置を指定することができる。いくつかの実施形態では、座標位置は、緯度および経度として与えられてもよい。他の実施形態では、座標系（例えば、デカルト座標系、極座標系）を使用して座標位置を決定することができる。他の実施形態では、座標位置を決定するために番号線を使用することができる。番号線は、線に沿って偶数の増分で配置された番号を有する直線水平線を含むことができる。数字は、タッチ入力の位置に対応し得る。例えば、ユーザは、２０個の数字を含んでもよい数字線の数字１０に関連付けられ得るタッチ感知面の中央のセンサにタッチすることができる。少なくとも１つのセンサは信号を生成することができ、プロセッサは、信号および数に基づいてタッチ入力がタッチ感知面の中央にあったと判定することができる。別の例として、ユーザは、タッチ感知面の左側または右側のセンサにタッチすることができる。少なくとも１つのセンサは信号を生成することができ、プロセッサは、信号に基づいてタッチ入力がタッチ感知面の左または右にあったと判定することができる。

いくつかの開示された実施形態は、タッチ入力に対応する複数の仮想アクティブ化可能要素のうちの１つを識別するために、タッチ入力の座標位置を決定された位置のうちの少なくとも１つと比較することを含むことができる。プロセッサは、ユーザのタッチ入力を所定の位置と比較して、ユーザがどの仮想アクティブ化可能要素をトリガしようとしているかを判定することができる。プロセッサは、座標位置と決定された位置とを比較して、座標位置と決定された位置とが同じであるかどうかを判定することができる。例えば、タッチ入力の座標位置は、タッチ感知面の中心にあってもよい。スライダの決定された位置は、例えば、タッチ感知面の中心にあってもよい。プロセッサは、２つの位置を比較して、タッチ入力がユーザがスライダをタッチしていることに対応すると判定することができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツに変更を生じさせることを含むことができ、変更は、複数の仮想アクティブ化可能要素のうちの識別された１つに対応する。ユーザに表示されている仮想コンテンツは、装着型エクステンデッド・リアリティ機器を使用してユーザに表示される１つまたは複数のアイテムを含むことができる。例えば、仮想コンテンツは、仮想表示画面（本明細書では仮想ディスプレイとも呼ばれる）、ウィジェット、文書、メディアアイテム、写真、ビデオ、仮想キャラクタ、仮想オブジェクト、エクステンデッド・リアリティ環境、仮想アクティブ化可能要素、および他のグラフィックまたはテキストコンテンツを含むことができる。いくつかの実施形態では、プロセッサは、ユーザに表示される１つまたは複数のアイテムを調整することによって仮想コンテンツの変更を生じさせることができる。例えば、プロセッサは、１つまたは複数の仮想ディスプレイ画面のサイズを調整することができる。別の例として、プロセッサは、１つまたは複数の追加の仮想ディスプレイ画面を追加するか、または仮想ディスプレイ画面のうちの１つまたは複数を削除することができる。別の例として、プロセッサは、音声を再生し、またはユーザに写真を表示することができる。仮想コンテンツの変更は、ユーザによってタッチされ、座標位置を決定された位置と比較することによってプロセッサによって識別される仮想アクティブ化可能要素に基づくことができる。例えば、ユーザは、ズームイン機能に対応する仮想アクティブ化可能要素に触れることができる。それに応答して、プロセッサは、コンテンツにズームインすることによって仮想コンテンツを変更することができる。別の例として、ユーザは、削除機能に対応する仮想アクティブ化可能要素に触れることができる。それに応答して、プロセッサは、ユーザに表示されたアイテムを除去することによって仮想コンテンツを変更することができる。別の例では、ユーザは、特定のアプリケーションに対応する仮想起動可能要素に触れることができ、それに応答してプロセッサは特定のアプリケーションを起動することができる。さらに別の例では、ユーザは、特定のアプリケーション内の特定の機能に対応する仮想アクティブ化可能要素に触れることができ、それに応答して特定の機能をトリガすることができる。いくつかの例では、複数の仮想アクティブ化可能要素のうちの第１の識別された１つに応答して、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの第１の変更が引き起こされてもよく、複数の仮想アクティブ化可能要素のうちの第２の識別された１つに応答して、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの第２の変更が引き起こされてもよく、第２の変更は第１の変更とは異なり得る。いくつかの例では、複数の仮想アクティブ化可能要素のうちの第１の識別された１つに応答して、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの第１の変更が引き起こされてもよく、複数の仮想アクティブ化可能要素のうちの第２の識別された１つに応答して、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの第１の変更を生じさせることが回避されてもよい。いくつかの例では、仮想アクティブ化可能要素を装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツへの異なる代替変更に関連付けるデータ構造は、複数の仮想アクティブ化可能要素のうちの識別された１つに基づいてアクセスされて、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの変更を選択することができる。

いくつかの開示された実施形態は、第２の信号に基づいてタッチ入力のタイプを判定することを含んでもよく、仮想コンテンツの変更は、複数の仮想アクティブ化可能要素のうちの識別された１つと判定されたタッチ入力のタイプとに対応する。タッチ入力は、仮想アクティブ化可能要素にタッチするためにユーザによって実行される異なるタイプのジェスチャを含むことができる。プロセッサは、タッチ入力に関連付けられたジェスチャのタイプを判定し、ジェスチャのタイプを特定の機能に関連付けることができる。プロセッサはまた、仮想アクティブ化可能要素の機能を実行することによって仮想コンテンツを変更してもよい。いくつかの実施形態では、タッチ入力の判定されたタイプは、例えば、タップ、ロングタッチ、マルチタッチ、ドラッグタッチ、フリックタッチ、ピンチインタッチ、ピンチアウトタッチ、スワイプタッチ、またはホバーリングタッチを含んでもよい。タッチ入力は、ユーザの手またはユーザの手の一部によって実行されてもよい。例えば、タッチ入力は、ユーザの指、指先、手のひら、または手首によって実行されてもよい。いくつかの実施形態では、判定されたタッチ入力のタイプ（例えば、ジェスチャ）は、仮想コンテンツの変更を生じさせることができる。例えば、ピンチイン型タッチ入力は、ズームイン機能に対応し得る。それに応答して、プロセッサは、ディスプレイを拡大して仮想コンテンツにズームインさせることができる。別の例では、ドラッグ型タッチ入力は、仮想アクティブ化可能要素を動かすことに対応し得る。それに応答して、プロセッサは、ドラッグタッチ入力に基づいて識別された仮想アクティブ化可能要素を動かすことができる。

いくつかの開示された実施形態では、仮想コンテンツは仮想ディスプレイを含んでもよく、タッチ感知面は、仮想ディスプレイ内のカーソルをナビゲートする際に使用するように構成されたタッチパッドに隣接して配置されてもよい。タッチパッドおよびタッチ感知面は、エクステンデッド・リアリティ環境において互いに隣接して配置され得る。タッチパッドは、カーソルをナビゲートするために使用され得る領域を含んでもよい。カーソルは、ディスプレイ上の選択された位置を表示するために仮想ディスプレイに表示されるインジケータを含むことができる。カーソルは、ユーザ入力の影響を受ける可能性がある仮想ディスプレイ上の点を識別することができる。例えば、ユーザ入力は、仮想ディスプレイ内でカーソルを動かすためにタッチパッドと対話するユーザを含んでもよい。ユーザがタッチパッド上で手または手の一部を動かすと、カーソルは仮想ディスプレイ内で同じように動くことができる。例えば、ユーザは、タッチパッドを横切って指を左に動かすことができる。それに応答して、カーソルは仮想ディスプレイ内で左に動くことができる。別の例として、ユーザは、カーソルがアプリケーション上でホバリングしている間にタッチパッドを押し下げることができる。それに応答して、カーソルは、ユーザがタッチパッドを押し下げることに基づいて、カーソルによって指し示されているアプリケーションを選択することができる。

いくつかの開示された実施形態では、仮想コンテンツは仮想ディスプレイを含むことができ、動作は、タッチ感知面が仮想ディスプレイ内でカーソルをナビゲートすることを可能にすることをさらに含むことができる。タッチ感知面は、カーソルを制御するために使用され得る領域を含んでもよい。ユーザは、ユーザの手、またはユーザの指、手のひら、もしくは手首などのユーザの手の一部を使用してタッチ感知面と対話することができる。例えば、ユーザは、タッチ感知面上で手をドラッグし、カーソルを仮想ディスプレイ内で動かすことができる。別の例として、ユーザは、タッチ感知面を横切って指を右に動かすことができる。それに応答して、カーソルは仮想ディスプレイ内で右に動くことができる。別の例として、ユーザは、カーソルがアプリケーション上でホバリングしている間にタッチ感知面を押し下げることができる。それに応答して、カーソルは、ユーザがタッチ感知面を押し下げることに基づいて、カーソルによって指されているアプリケーションを選択することができる。

例として、図３０は、カーソルをナビゲートするためにタッチ感知面と対話するユーザの例を示す。例えば、図３０に示すように、ユーザの手３０１５は、キーボード３０１０の下に配置され得るタッチ感知面３０１１と係合し得る。タッチ感知面３０１１は、１つまたは複数の仮想アクティブ化可能要素３０１２、３０１３、および３０１４に対応する領域を含んでもよい。ユーザの手３０１５は、タッチ感知面３０１１と係合して、仮想ディスプレイ３０１６内でカーソル３０１７をナビゲートすることができる。例えば、タッチ感知面３０１１に触れながら手３０１５を右に向かって動かすと、仮想ディスプレイ３０１６内のカーソル３０１７を右に向かって動かすことができる。

いくつかの開示された実施形態は、タッチ入力の検出時にアプリケーションを開くことを含むことができ、仮想コンテンツの変更を生じさせることは、アプリケーションの開きに基づく。プロセッサは、ユーザからタッチ入力を受信することができる。プロセッサは、タッチ入力の座標位置を１つまたは複数の仮想アクティブ化可能要素の決定された位置と比較し、入力がアプリケーションに関連付けられた仮想アクティブ化可能要素に対応すると判定することができる。アプリケーションは、例えば、ワードプロセッサ、ウェブブラウザ、提示ソフトウェア、ビデオソフトウェア、スプレッドシートソフトウェア、またはユーザがいくつかの動作を実行することを可能にすることができる任意の他のタイプのアプリケーションを含むことができる。プロセッサは、仮想アクティブ化可能要素に関連付けられたタッチ入力に基づいて、仮想アクティブ化可能要素に関連付けられたアプリケーションを開くことができる。アプリケーションを開くと、エクステンデッド・リアリティ環境でユーザが見るものを変更することによって仮想コンテンツが変更される可能性がある。例えば、タッチ入力は、単語アプリケーションに対応することができる。仮想コンテンツの変更は、開かれた単語文書を含むように仮想コンテンツを調整することを含むことができる。別の例では、タッチ入力は提示アプリケーションに対応することができる。仮想コンテンツの変更は、開かれた提示を含むように仮想コンテンツを調整することを含むことができる。

いくつかの開示された実施形態は、タッチ入力の検出時に、出力パラメータを変更することを含んでもよく、仮想コンテンツに変更を生じさせることは、出力パラメータの変更に基づく。出力パラメータは、仮想コンテンツの特性または特徴であってもよい。例えば、出力パラメータは、コントラスト、照度、距離、サイズ、体積、明るさ、および／または仮想コンテンツの表示方法に影響を与える１つまたは複数の他のパラメータ（例えば、仮想ディスプレイ上で、エクステンデッド・リアリティ環境で、装着型エクステンデッド・リアリティ機器を使用するなど）を含んでもよい。プロセッサは、仮想アクティブ化可能要素の決定された位置に基づいて出力パラメータを変更することができる。例えば、プロセッサは、仮想アクティブ化可能要素の決定された位置に基づいて、出力パラメータに関連付けられた値またはレベルを増減することができる。出力パラメータに関連付けられた値またはレベルの増減は、エクステンデッド・リアリティ環境においてユーザによって見られるものを調整することによって仮想コンテンツの変更を生じさせることができる。例えば、コントラストなどの出力パラメータの変更は、エクステンデッド・リアリティ・ディスプレイのコントラストを調整することができる。別の例では、出力パラメータの変更により、プロセッサは、仮想コンテンツ内の１つまたは複数のウィンドウのサイズを変更することができる。いくつかの実施形態では、タッチ入力は、輝度を調整するためのスクロールバーに対応する仮想アクティブ化可能要素をユーザが調整することを含んでもよい。例えば、タッチ入力は、ユーザがスクロールバーを左にドラッグして輝度を下げることを含んでもよい。別の例では、タッチ入力は、ユーザがスクロールバーを右にドラッグして明るさを上げることであってもよい。それに応答して、プロセッサは、タッチ入力に基づいてエクステンデッド・リアリティ・ディスプレイの輝度を増減させることができる。

いくつかの開示された実施形態は、複数の仮想アクティブ化可能要素が装着型エクステンデッド・リアリティ機器によってタッチ感知面上に投影されない第２の期間中にタッチ感知面の少なくとも一部の少なくとも１つの機能を非アクティブ化することを含んでもよい。１つまたは複数の仮想アクティブ化可能要素が装着型エクステンデッド・リアリティ機器によってタッチ感知面上に投影されないとき、タッチ感知面の一部または全部は、機能を非アクティブ化することによってオフにされ得る。タッチ感知面の一部がオフにされると、ユーザがタッチ感知面のその部分にタッチしても、タッチ入力は受信されず、仮想コンテンツは変更されない。いくつかの実施形態では、そのような非アクティブ化は、第２の期間中に起こり得る。第２の期間は、１つまたは複数の仮想アクティブ化可能要素が装着型エクステンデッド・リアリティ機器によってタッチ感知面上に投影されない時間の長さであり得る。例えば、第２の期間は、数ミリ秒、秒、分、または任意の他の期間を含むことができる。

いくつかの開示された実施形態は、異なる複数の仮想アクティブ化可能要素が装着型エクステンデッド・リアリティ機器によってタッチ感知面上に投影される第２の期間中にタッチ感知面の少なくとも一部の少なくとも１つの機能を非アクティブ化することを含んでもよい。例えば、第２の期間中の異なる複数の仮想アクティブ化可能要素の投影は、第１の期間中の特定の仮想アクティブ化可能要素に対応するタッチ感知面の特定の部分における新たな仮想アクティブ化可能要素の投影を含んでもよく、タッチ感知面の特定の部分の少なくとも１つの機能を非アクティブ化することは、特定の仮想アクティブ化可能要素に対応する機能であってもよい。別の例では、第２の期間中の異なる複数の仮想アクティブ化可能要素の投影は、第１の期間中の特定の仮想アクティブ化可能要素に対応するタッチ感知面の特定の部分における投影を含まなくてもよく、タッチ感知面の特定の部分の少なくとも１つの機能を非アクティブ化することは、特定の仮想アクティブ化可能要素に対応する機能であってもよい。いくつかの開示された実施形態は、第１の期間の後であって異なる複数の仮想アクティブ化可能要素がタッチ感知面上に投影される前の第３の期間中にタッチ感知面の少なくとも一部の少なくとも１つの機能を維持することを含むことができ、第３の期間では、タッチ感知面は装着型エクステンデッド・リアリティ機器の視野外にある可能性があり、したがって、複数の仮想アクティブ化可能要素はタッチ感知面上に投影されない可能性がある。一例では、第３の期間の後に、かつ異なる複数の仮想アクティブ化可能要素がタッチ感知面上に投影される前に、タッチ感知面が装着型エクステンデッド・リアリティ機器の視野に再び入る場合、複数の仮想アクティブ化可能要素はタッチ感知面上に再び投影されてもよい。これらの実施形態は、仮想アクティブ化可能要素を使用するブラインドタイピング（タッチタイピングとしても知られる）のような体験を可能にすることができる。

図３１は、エクステンデッド・リアリティ環境においてハイブリッド仮想キーを実施するための動作を実行するためにプロセッサによって実行され得る典型的な方法のフローチャートである。方法３１００は、装着型エクステンデッド・リアリティ機器によって仮想的に投影された複数の仮想アクティブ化可能要素のタッチ感知面上の位置に対応する第１の信号を受信するステップ３１１０を含んでもよい。方法３１００はまた、第１の信号に基づいて仮想アクティブ化可能要素の位置を決定するステップ３１１１を含んでもよい。さらに、方法３１００は、タッチ感知面を介してユーザのタッチ入力を受信するステップ３１１２を含むことができる。方法３１００は、少なくとも１つのセンサとの相互作用の結果として生成される第２の信号に基づいてタッチ入力に関連付けられる位置を決定するステップ３１１３を含んでもよい。一例では、ステップ３１１２および／またはステップ３１１３は、ステップ３１１０および／またはステップ３１１１の前、後に、または同時に行われてもよい。方法３１００は、タッチ入力の位置を決定された位置と比較するステップ３１１４を含むことができる。方法３１００はまた、仮想コンテンツの変更を生じさせるステップ３１１５を含むことができる。さらに、いくつかの例では、方法３１００は、タッチ感知面の機能を非アクティブ化する任意選択のステップ３１１６を含んでもよい。

いくつかの開示された実施形態は、キーボードのキー上の装着型エクステンデッド・リアリティ機器によって仮想的に投影された追加の仮想アクティブ化可能要素のタッチ感知面に隣接するキーボード上の位置に対応する追加の信号を受信することを含んでもよい。キーボードは、タッチ感知面の近くに配置されてもよい。キーボードは、タッチ感知面の左または右に配置され得る。別の例として、キーボードは、タッチ感知面の上または下に配置されてもよい。別の例として、キーボードは、タッチ感知面と接触または境界を共有していてもよい。キーボードは、１つまたは複数の物理キーを含んでもよい。キーボードはまた、タッチ感知面上に設けられた仮想アクティブ化可能要素に加えて、追加の仮想アクティブ化可能要素を含んでもよい。装着型エクステンデッド・リアリティ機器は、キーボードに投影された追加の仮想アクティブ化可能要素に関連付けられた位置を示す信号を生成することができる。例えば、キーボードはブランクキーを含むことができ、追加の仮想アクティブ化可能要素をブランクキーに投影することができる。別の例として、キーボードは、キーのないセクションを含んでもよい。追加の仮想アクティブ化可能要素は、キーなしでセクションに投影されてもよい。

いくつかの開示された実施形態は、追加の信号から、キーボードのキー上の追加の仮想アクティブ化可能要素の位置を決定することを含むことができる。キーボード上の追加の仮想アクティブ化可能要素の位置に対応する信号を受信することができる。プロセッサは、信号に基づいて追加の仮想アクティブ化可能要素の位置を決定することができる。プロセッサは、プロセッサがタッチ感知面上の複数の仮想アクティブ化可能要素の位置を決定するのと同じやり方で、キーボード上の追加の仮想アクティブ化可能要素の位置を決定することができる。例えば、プロセッサは、仮想アクティブ化可能要素がキーボードの左側に配置されていると判定することができる。別の例として、プロセッサは、仮想アクティブ化可能要素がキーボードの右側に配置されていると判定することができる。

例として、図３２は、キーボードのキー上に仮想的に投影された追加の仮想アクティブ化可能要素を有するキーボードの一例を示す。例えば、図３２に示すように、キーボード３２１１がキー３２１０を含んでもよい。仮想アクティブ化可能要素は、キーボード３２１１のキー３２１０に投影されてもよい。

いくつかの開示された実施形態は、キーボードの少なくとも１つのキーを介してキー押下入力を受信することを含んでもよい。キー押下入力は、キーボードのキーに圧力が加えられたときに行われ得る。ユーザは、ユーザの手またはユーザの手の一部を使用して１つまたは複数のキーに力を加えることができる。例えば、ユーザは、ユーザの指、手のひら、または手首を使用してキーを押し下げることができる。ユーザによってキーに加えられた圧力は、キーボードのキーが押されたことを示す信号を生成することができる。

いくつかの開示された実施形態は、キー押下入力に対応する追加の仮想アクティブ化可能要素のうちの１つを識別することを含むことができる。上述したように、ユーザはキーボード上の物理キーを押すことができる。いくつかの実施形態では、ユーザは、追加的または代替的にキーを押し、仮想アクティブ化可能要素に対応するキー押下入力を作成することができる。例えば、１つまたは複数のキーをキーボードに投影することができ、ユーザは、投影されたキーのうちの１つに対してプレスジェスチャを実行することができる。別の例として、追加の仮想アクティブ化可能要素を一組の物理キーに投影することができ、ユーザは物理キーのうちの１つに対してプレスジェスチャを実行することができる。プロセッサは、キー押下入力に基づいて、ユーザがどの仮想アクティブ化可能要素を実行しようとしているかを識別することができる。例えば、ユーザは「ｋ」文字キーを押すことができ、「ｋ」文字キーは追加の仮想アクティブ化可能要素であり、キー押下入力を作成することができる。別の例として、ユーザは任意の番号付きキーを押すことができ、番号付きキーは追加の仮想アクティブ化可能要素であり、キー押下入力を作成することができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツに第２の変更を生じさせることを含むことができ、第２の変更は、追加の仮想アクティブ化可能要素のうちの識別された１つに対応する。プロセッサは、例えば、上述した１つまたは複数のキー押下入力に基づいてユーザに表示されるアイテムを調整することによって、仮想コンテンツの変更（例えば、第２の変更）を生じさせることができる。例えば、ユーザは、キャップロックキーを表す仮想アクティブ化可能要素を押すことができる。それに応答して、プロセッサは、単語文書内のテキストを大文字にすることによって仮想コンテンツの変更を生じさせることができる。

いくつかの開示された実施形態は、キーボード構成選択を受信し、装着型エクステンデッド・リアリティ機器に、選択されたキーボード構成に対応する追加の仮想アクティブ化可能要素を仮想的に投影させることを含むことができる。いくつかの実施形態では、物理キーボードの１つまたは複数のキーは空白（例えば、文字または記号のようなマーキングでマークされていない）であってもよく、それらのキーは機能に対応しなくてもよい。したがって、ユーザがそれらのキーのいずれかを押すと、エクステンデッド・リアリティ・ディスプレイに表示されている仮想コンテンツに対応する変更がない場合がある。対照的に、１つまたは複数の仮想アクティブ化可能要素がブランクキーに投影されている場合、物理キーボードは、投影された仮想アクティブ化可能要素に関連付けられたキーボード構成を反映することができる。したがって、例えば、文字「Ｋ」がブランクキーの１つに投影された場合、そのキーを押すと、文字Ｋがエクステンデッド・リアリティ・ディスプレイに表示される。別の例として、物理キーボードのキーはデフォルト機能を有してもよい。キーは、機能に対応する物理グラフィックスを含むことができる。例えば、キーは、文字、数字、またはアイコンを含むことができる。したがって、例えば、キーボードはＱＷＥＲＴＹまたはＤＶＯＲＡＫレイアウトを有することができ、キーボード上の１つまたは複数のキーを押すと、対応する英数字文字がエクステンデッド・リアリティ・ディスプレイ上に表されることができる。キーボードへの投影がない場合、キーはデフォルトの機能を維持することができる。対照的に、装着型エクステンデッド・リアリティ機器による投影がある場合、物理キーボードは、装着型エクステンデッド・リアリティ機器によって投影されたキーボード構成を反映することができ、デフォルト機能はオフにすることができる。例えば、特定のキーのデフォルト構成は文字「Ｋ」であり得る。装着型エクステンデッド・リアリティ機器の投影は、文字「ｌ」をキーボードのそのキーに投影することができる。投影がアクティブであるとき、そのキーを押すと、文字「Ｉ」がエクステンデッド・リアリティ・ディスプレイに表示される。対照的に、投影がアクティブでない場合、同じキーを押すと、エクステンデッド・リアリティ・ディスプレイにデフォルト文字「Ｋ」が表示される。

いくつかの開示された実施形態は、ユーザアクション、物理的ユーザ位置、装着型エクステンデッド・リアリティ機器の物理的位置、キーボードの物理的位置、またはユーザ環境におけるイベントのうちの少なくとも１つに基づいて追加の仮想アクティブ化可能要素を選択することを含むことができる。ユーザアクションに基づいて、異なる仮想アクティブ化可能要素を利用することができる。例えば、ユーザはビデオファイルを開くことができ、アクションに基づいて、ビデオ編集に関連する仮想アクティブ化可能要素をユーザが利用できるようにすることができる。別の例として、ユーザの物理的位置、装着型エクステンデッド・リアリティ機器、および／またはキーボードに基づいて、異なる仮想アクティブ化可能要素を利用可能にすることができる。例えば、ユーザが職場環境にいるとき、単語文書の編集に関連する仮想アクティブ化可能要素をユーザが利用できるようにしてもよい。別の例として、装着型エクステンデッド・リアリティ機器がユーザのホームオフィスに配置されている場合、表示設定の変更に関連する仮想アクティブ化可能要素をユーザが利用可能にすることができる。別の例として、キーボードがパブリック設定に配置されている場合、音量調整に関連する仮想アクティブ化可能要素をユーザが利用可能にすることができる。別の例として、異なる仮想アクティブ化可能要素は、ユーザ環境におけるイベントに基づいて利用可能であり得る。例えば、ユーザ以外の人がユーザの環境に入ることができる。ユーザ以外の人がユーザの環境に入ると、文書の共有に関連する仮想アクティブ化可能要素をユーザが利用できなくなる可能性がある。

いくつかの開示された実施形態は、ユーザが装着型エクステンデッド・リアリティ機器の装着者であるかどうかを判定することを含むことができる。プロセッサは、装着型エクステンデッド・リアリティ機器を装着している個人がエクステンデッド・リアリティ環境で動作を実行している可能性がある同じ個人であると判定することができる。例えば、キーボードはカメラを含むことができる。プロセッサは、カメラからの画像データに基づいて、入力を提供したユーザが装着型エクステンデッド・リアリティ機器の装着者であると判定することができる。別の例として、装着型エクステンデッド・リアリティ機器はカメラを含むことができる。プロセッサは、カメラからの画像データに基づいて、入力を提供したユーザが装着型エクステンデッド・リアリティ機器の装着者であると判定することができる。

いくつかの開示された実施形態は、ユーザが装着型エクステンデッド・リアリティ機器の装着者であるという判定に応答して、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツに変更を生じさせることを含んでもよい。プロセッサが、タッチ入力を提供するユーザが装着型エクステンデッド・リアリティ機器を装着していると判定した場合、プロセッサは、タッチ入力に基づいてユーザに表示されるアイテムを調整することによって仮想コンテンツの変更を生じさせることができる。例えば、装着型エクステンデッド・リアリティ機器を装着しているユーザは、ディスプレイ輝度スクロールバーを調整することによってタッチ入力を作成することができる。プロセッサは、カメラからの画像データに基づいて、装着型エクステンデッド・リアリティ機器の装着者の画像を入力を作成しているユーザの画像と比較することによって、ユーザがスマートグラスを装着していると判定することができる。プロセッサは、ユーザが装着型エクステンデッド・リアリティ機器の装着者であるため、輝度を調整することによってタッチ入力に基づいて仮想コンテンツを変更することができる。

いくつかの開示された実施形態は、ユーザが装着型エクステンデッド・リアリティ機器の装着者ではないという判定に応答して、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの変更を生じさせることを取り止めることを含んでもよい。装着型エクステンデッド・リアリティ機器を装着していない可能性があるユーザは、タッチ感知面と係合することができる。装着型エクステンデッド・リアリティ機器を装着していないユーザがタッチ感知面を介して入力を提供すると、プロセッサは何もアクションを起こさず、表示された仮想コンテンツを変更しない。プロセッサは、ユーザが装着型エクステンデッド・リアリティ機器の装着者であるとプロセッサが判定するのと同じやり方で、ユーザが装着型エクステンデッド・リアリティ機器の装着者ではないと判定することができる。例えば、ユーザは、ボリュームスクロールバーを調整することによってタッチ入力を作成することができる。プロセッサは、カメラからの画像データに基づいて、装着型エクステンデッド・リアリティ機器の装着者の画像を入力を作成しているユーザの画像と比較することによって、ユーザがスマートグラスを装着していないと判定することができる。プロセッサは、ユーザが装着型エクステンデッド・リアリティ機器の装着者ではないため、音量を調整しないことによってタッチ入力に基づいて仮想コンテンツを変更しない場合がある。

いくつかの開示された実施形態では、ユーザは、装着型エクステンデッド・リアリティ機器の装着者以外の個人であってもよい。タッチ入力は、装着型エクステンデッド・リアリティ機器の装着者以外の者から受信されてもよい。タッチ入力は、タッチ感知面と係合する、装着型エクステンデッド・リアリティ機器を装着していないユーザからのものであってもよい。プロセッサは、ユーザが装着型エクステンデッド・リアリティ機器を装着していないという判定に基づいて仮想コンテンツの変更を生じさせることができる。例えば、ユーザは、共有された単語文書を編集する許可を有する個人であってもよいが、ユーザは、装着型エクステンデッド・リアリティ機器を装着していなくてもよい。ユーザは、共有単語文書への入力に対応するタッチ入力を作成することができる。プロセッサは、ユーザが装着型エクステンデッド・リアリティ機器を装着していないが、ユーザが編集許可を有しているという判定に基づいて、タイプされた単語を共有単語文書に追加することによって仮想コンテンツを変更することができる。

いくつかの開示された実施形態では、ユーザは第２の装着型エクステンデッド・リアリティ機器の装着者であり、第２の装着型エクステンデッド・リアリティ機器はタッチ感知面上に第２の複数の仮想アクティブ化可能要素を投影する。第２の装着型エクステンデッド・リアリティ機器は、第２の装着型エクステンデッド・リアリティ・デバイスを使用してユーザに表示され得るタッチ感知面にオーバーレイを仮想的に投影することができる。第２の装着型エクステンデッド・リアリティ機器は、第１の装着型エクステンデッド・リアリティ機器と同じやり方で仮想アクティブ化可能要素を投影することができる。

いくつかの開示された実施形態は、タッチ入力の座標位置に基づいて、タッチ入力が第２の複数の仮想アクティブ化可能要素のうちの特定の仮想アクティブ化可能要素に対応すると判定することを含むことができる。プロセッサは、タッチ入力が特定の仮想アクティブ化可能要素に対応する位置に配置されていると判定することができる。プロセッサは、プロセッサが複数の仮想アクティブ化可能要素の位置を決定するのと同じやり方で、第２の複数の仮想アクティブ化可能要素の位置を決定することができる。特定の仮想アクティブ化可能要素は、第２の複数の仮想アクティブ化可能要素から選択されてもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツに第２の変更を生じさせることを含むことができ、第２の変更は、第２の複数の仮想アクティブ化可能要素のうちの特定の仮想アクティブ化可能要素に対応する。プロセッサは、ユーザに表示されるアイテムを調整することによって仮想コンテンツの第２の変更を生じさせることができる。コンテンツの第２の変更は、装着型エクステンデッド・リアリティ機器を装着している可能性があるユーザがタッチ感知面と係合していることに応答したものであり得る。例えば、プロセッサは、表示画面のサイズを調整することができる。別の例として、プロセッサは、追加の表示画面を追加したり、表示画面を削除したりしてもよい。別の例として、プロセッサは、音声を再生し、またはユーザに写真を表示することができる。いくつかの実施形態では、第２の変更は、ユーザによってトリガされる仮想アクティブ化可能要素に基づくことができる。例えば、ユーザは、ズームイン特徴に対応する仮想アクティブ化可能要素をトリガすることができる。それに応答して、プロセッサは、コンテンツにズームインすることによって仮想コンテンツを変更することができる。別の例として、ユーザは、削除機能に対応する仮想アクティブ化可能要素をトリガすることができる。それに応答して、プロセッサは、ユーザに表示されたアイテムを除去することによって仮想コンテンツを変更することができる。いくつかの実施形態では、仮想コンテンツの第２の変更は、仮想コンテンツの第１の変更と同じであり得る。別の実施形態では、仮想コンテンツの第２の変更は、仮想コンテンツの第１の変更とは異なり得る。別の実施形態では、仮想コンテンツの第２の変更は、第２の装着型エクステンデッド・リアリティ機器に関連付けられてもよい。

ハンドジェスチャは、エクステンデッド・リアリティ・システムおよび環境との対話および制御の重要な方法である。装着型エクステンデッド・リアリティ機器に含まれる画像センサを使用して取り込まれた画像から取得されたハンドジェスチャに関する情報は不十分であり得る。例えば、手が装着型エクステンデッド・リアリティ機器の画像センサの視野外にあるとき、または手（または指もしくは指の先端などの手の部分）が（例えば、別のオブジェクトによって、または手の他の部分によって）視野内で遮られているとき、手によって実行されるアクションまたはジェスチャの識別は困難であり得る。したがって、異なるタイプのセンサまたは他の場所に配置されたセンサなどの他のセンサからのデータで画像を拡張することが望ましい。

いくつかの実施形態では、仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境における仮想コンテンツ）を制御するために、キーボードと装着型エクステンデッド・リアリティ機器との組み合わせと共に使用するように構成されたシステム、方法、および非一時的コンピュータ可読媒体が開示される。非一時的コンピュータ可読媒体は、動作を実行するために少なくとも１つのプロセッサによって実行され得る命令を含んでもよい。上述したように、１つまたは複数の入力デバイスは、１人または複数のユーザが情報を入力することを可能にするように構成することができる。例えば、いくつかの実施形態では、１人または複数のユーザが情報を入力することを可能にするように構成することができる１つまたは複数のユーザ入力デバイスとして、１つまたは複数のキーボードを使用することができる。別の例として、いくつかの実施形態では、キーボードの形態の一体型計算インターフェースデバイスは、１人または複数のユーザが情報を入力することを可能にするように構成されてもよい。キーボードは、例えば、キーボードに関連付けられた１つまたは複数のキーを使用して、ユーザがテキストおよび／または英数字を入力することを可能にすることができる。

例として、図３３は、本開示の実施形態と一致する、仮想ディスプレイを制御するために組み合わせたキーボードおよび装着型エクステンデッド・リアリティ機器の例を示す。いくつかの実施形態では、仮想ディスプレイ３３１０は、装着型エクステンデッド・リアリティ機器３３１２によってユーザに提示される仮想ディスプレイ画面を含むことができる。いくつかの実施形態では、キーボード３３１１は物理キーボードであってもよい。他の例では、キーボード３３１１は、装着型エクステンデッド・リアリティ機器３３１２によってユーザに提示される仮想キーボードであってもよい。キーボード３３１１は、仮想ディスプレイ３３１０とは別体であってもよい。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器３３１２は、一対のスマートグラス、ヘッドマウントディスプレイ、または本明細書で説明する装着型エクステンデッド・リアリティ機器の任意の他の実施態様を含むことができる。

いくつかの実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた第１の手位置センサから、第１の手の動きを表す第１の信号を受信することを含むことができる。手位置センサは、人間の手の配置、位置、姿勢、配置、向き、動き、または任意の他の物理特性を決定するように構成された任意の形態の検出器を含むことができる。センサは、座標または他の位置関連測定値またはデータなどの位置情報を出力することができる。例えば、いくつかの実施形態では、センサは、特定の位置、位置、または位置からの変位を検出することができる。いくつかの実施形態では、センサは、物理空間内の手の位置を検出することができる。例えば、センサは、所定の基準座標系に対する座標位置を提供することができる。別の例として、センサは、所定の基準フレームに対する手の角度位置を提供することができる。ハンドポジションセンサは、装着型エクステンデッド・リアリティ機器に配置されてもよい。例えば、手位置センサは、装着型エクステンデッド・リアリティ機器上に配置されてもよい。例えば、センサは、ペアスマートグラスのリムに配置されてもよい。いくつかの実施形態では、センサは、スマートグラスのテンプルに配置されてもよい。いくつかの実施形態では、センサは、スマートグラスのレンズ上に配置されてもよい。別の例として、手位置センサがキーボード上に配置されてもよい。いくつかの実施形態では、センサは、キーボードに関連付けられた１つまたは複数のキーに配置されてもよい。いくつかの実施形態では、センサは、キーボードのハウジング内に配置されてもよい。いくつかの実施形態では、センサはキーボードの側面に配置されてもよい。

いくつかの実施形態では、信号（例えば、第１の信号）は手の動きを表すことができる。手の動きは、ユーザの手の１つまたは複数の部分の動き、例えば、１つまたは複数の指の動きを指すことができる。例として、手の動きは、ユーザがキーボードを使用して情報をタイプまたは入力する際のユーザの指の位置および／または姿勢の変更を含んでもよい。いくつかの実施形態では、位置の変更は、キーボードのキーと対話するユーザの指から起こり得る。いくつかの実施形態では、位置および／または姿勢の変更は、キーボードのトラックパッドと対話するユーザの指から起こり得る。いくつかの実施形態では、位置および／または姿勢の変更は、仮想制御要素、表面（キーボードが配置されている表面など）に配置された仮想オブジェクト、空中に配置された仮想オブジェクトなどの仮想オブジェクトと対話するユーザの指に対応することができる。いくつかの実施形態では、位置および／または姿勢の変更は、ユーザのジェスチャに対応することができる。別の例として、手の動きは、ユーザの手の上下または左右の動き、またはユーザの手首の回転運動などのユーザの手首の動きを含むことができる。手の動きは、ユーザの前腕のユーザの手首に隣接する部分の動きを含んでもよいことも考えられる。手の動きは、ユーザが１本以上の指で行う１つまたは複数のジェスチャも含んでもよいことがさらに考えられる。例えば、ジェスチャは、トラックパッド（または任意の他の表面）上に１本または複数の指を置き、スクロールするために１本または複数の指を水平または垂直にスライドさせること、トラックパッド上に２本以上の指を置き、ピンチしてズームインまたはズームアウトすること、表面上で１本または複数の指をタップすること、１本または複数の指を使用してキーボードのキーを押下すること、あるいはキーを押し下げるために１本または複数の指を使用しながら表面上の１本または複数の指をタップすることを含んでもよい。

いくつかの実施形態では、手の動きを表す第１の信号は、装着型エクステンデッド・リアリティ機器に関連付けられた第１のセンサから受信されてもよい。例えば、第１の信号は、スマートグラスに関連付けられた手動位置センサから受信されてもよい。そのような例では、手位置センサは、例えば、画像センサ、カメラ、深度センサ、レーダ、ライダー、ソナー、または別のタイプの位置センサを含むことができる。いくつかの実施形態では、手位置センサはカメラを含むことができる。カメラは、ユーザの手の動きの一連の画像を取り込むことができる。手の動きは、異なる位置または異なる組み合わせに配置されたユーザの手を含むことができる。ユーザの手は、１つまたは複数の指および／またはユーザの手首を含むことができる。手位置センサは、カメラ画像に基づいて、例えば、１つまたは複数の指または手首の位置または位置の変更を検出することができる。カメラは、経時的なユーザの手の１つまたは複数の部分の位置または位置の変更を表す信号を生成することができる。他の例では、カメラは、プロセッサと組み合わせて信号を生成することができる。いくつかの実施形態では、手位置センサは画像センサを含むことができる。画像センサは、１つまたは複数の画像を取り込むように構成されてもよい。カメラまたは画像センサによって取り込まれた１つまたは複数の画像は、ジェスチャ認識アルゴリズム、ポーズ推定アルゴリズム、または訓練された機械学習モデルを使用して解析され、手関連データを決定することができる。手関連データは、手の動き、手の位置、または手の姿勢を含んでもよい。手位置センサから受信された第１の信号は、第１の手の動きを表すことができ、手の位置データを表すことができ、手の識別データを表すことができ、または手の姿勢データを表すことができる。

例として、図３４は、装着型エクステンデッド・リアリティ機器に関連付けられた第１の手位置センサを示す。例えば、図３４に示すように、装着型エクステンデッド・リアリティ機器３４１０はスマートグラスを含んでもよい。装着型エクステンデッド・リアリティ機器３４１０は、第１の手位置センサ３４１１を含んでもよい。第１の手位置センサ３４１１は、装着型エクステンデッド・リアリティ機器３４１０上のどこにでも配置され得る。いくつかの実施形態では、手位置センサはこめかみに配置されてもよい。いくつかの実施形態では、手位置センサは、レンズ上に配置されてもよい。いくつかの実施形態では、手位置センサは、ブリッジ上に配置されてもよい。いくつかの実施形態では、手位置センサはリムに配置されてもよい。信号は、第１の手位置センサ３４１１から受信されてもよい。信号は、ユーザの手３４１２からの最初の手の動きを表すことができる。別の例では、信号は、ユーザの手３４１２の姿勢を表すことができる。さらに別の例では、信号は、ユーザの手３４１２の少なくとも一部の位置を表すことができる。

いくつかの実施形態では、第１の手の動きは、フィードバックなしオブジェクトとの相互作用を含んでもよい。いくつかの実施形態では、１つまたは複数の手の動き（例えば、第１の手の動き、第２の手の動き）は、無フィードバックオブジェクトとの１つまたは複数の相互作用を含んでもよい。フィードバックオブジェクトは、ユーザに応答を提供するオブジェクトを含むことができる。フィードバックオブジェクトによって提供される応答のタイプは、音声フィードバック、触覚フィードバック、視覚フィードバック、または他の応答を含んでもよい。いくつかの実施形態では、フィードバックは、音声出力デバイス、テキスト出力デバイス、視覚出力デバイス、または他のデバイスのうちの１つまたは複数を介して提供されてもよい。例えば、音声フィードバックは、１つまたは複数の音声スピーカ、ヘッドセット、および／または音を生成することができる他のデバイスを介して提供されてもよい。触覚フィードバックは、例えば、振動、動き、揺れ、および／または他の物理的感覚によって提供され得る。視覚フィードバックは、表示画面、ＬＥＤインジケータ、拡張現実表示システム、および／またはテキストまたはグラフィカルコンテンツの視覚表示を生成することができる他のデバイスを介して、１つまたは複数のディスプレイの形態で提供され得る。フィードバックオブジェクトとは対照的に、フィードバックなしオブジェクトは、ユーザがフィードバックなしオブジェクトを使用しているときにユーザに応答を提供しない場合がある。フィードバックなしオブジェクトは、例えば、装着型エクステンデッド・リアリティ機器によって投影された仮想画面に書き込むことができる筆記具（例えば、ペン）または指先を含むことができる。フィードバックなしオブジェクトの他の例には、非電子ポインタ、家具、および無生物の非電子オブジェクトが含まれる。フィードバックオブジェクトの一部は、フィードバックなしオブジェクトを構成することができる。例えば、フィードバックオブジェクトはフィードバックを提供しない部分を有し、それらの部分はフィードバックなしと見なされ得る。ユーザは、ユーザの手でオブジェクトに触れることによって無フィードバックオブジェクトと対話することができる。例えば、ユーザはユーザの指で装着型エクステンデッド・リアリティ機器に触れることができ、装着型エクステンデッド・リアリティ機器はユーザに応答を提供しない場合がある。いくつかの実施形態では、無フィードバックオブジェクトは、相互作用に応答して電気信号を生成するように構成されていないオブジェクト（またはオブジェクトの任意の部分）であり得るか、それを含んでもよい。いくつかの実施形態では、無フィードバックオブジェクトは、非反応性オブジェクト（またはオブジェクトの任意の非反応性部分もしくは非反応性表面）であり得るか、またはそれを含んでもよい。

手の動きは、フィードバック構成要素との相互作用を含むアクションを含んでもよい。しかしながら、手の動きは、フィードバック構成要素との相互作用以外のアクションを含んでもよいことが考えられる。フィードバック構成要素との対話を含むアクションは、キーボードの１つまたは複数のキーを押し下げるユーザの手の１つまたは複数の指を含むことができる。フィードバック構成要素との対話には、例えば、ユーザの手がキーボードのタッチパッドをスクロールまたは挟むことも含まれ得る。フィードバック構成要素との対話以外のアクションは、例えば、ユーザがキーボードに関与していないことを含んでもよい。フィードバック構成要素との対話以外のアクションには、例えば、ユーザが物理的表面に触れていないことも含まれ得る。例えば、フィードバック構成要素との対話以外のアクションは、エクステンデッド・リアリティ環境において空中に配置された仮想コンテンツ（仮想ディスプレイなど）と対話するユーザを含むことができる。別の例として、フィードバック構成要素との対話以外のアクションは、装着型エクステンデッド・リアリティ機器の視野外での手の動きを含んでもよい。別の例として、フィードバック構成要素との対話は、机またはテーブルの上面などの物理的表面上でユーザの手のクリックまたはドラッグ指を含むことができる。

いくつかの実施形態は、第２の手の動きを表す第２の信号を第２の手位置センサから受信することを含むことができ、第２の手の動きは、フィードバック構成要素との相互作用以外のアクションを含む。第２の手位置センサは、第１の手位置センサと同様の構造的および物理特性を有することができ、したがって、前述の詳細は完全には繰り返されない。第２の手位置センサはまた、上述のように画像センサまたは近接センサであってもよい。第２の手位置センサは、キーボード上に配置されてもよい。センサは、キーボードに関連付けられた１つまたは複数のキー（例えば、スペースバーおよび／またはファンクションキー）および／またはトラックパッド上に配置され得る。センサは、キーボードの両側および／またはキーボードの上部および／または下部に配置されてもよい。

また、第１または第２の手位置センサによって生成された１つまたは複数の信号は、手の位置データ、手の識別データ、または手の姿勢データを表すことができると考えられる。他の例では、第１または第２の手位置センサによって生成された１つまたは複数の信号は、手の動きデータを表すことができる。手の位置データは、ユーザの手の相対位置を表すことができる。例えば、手の位置データは、空間内の特定の点に対して測定されたユーザの手の変位を表すことができる。例えば、手の動きに関連付けられたデジタル信号は、キーボードに対するユーザの手の間の距離を表すことができる。追加的または代替的に、手の位置データは、ユーザの手の絶対位置を表すことができる。例えば、手の位置データは、特定の一組の座標位置を使用して指定されてもよい。手のアイデンティティデータは、ユーザの手の一部に関連付けられた情報を含むことができる。例えば、手の識別データは、位置、速度、加速度、またはユーザの指がアクションを実行していることを示す他の情報を含むことができる。別の例では、手の識別データは、位置、速度、加速度、またはユーザの手首がアクションを実行していることを示す他の情報を含むことができる。いくつかの例では、手識別データを使用して、手が装着型エクステンデッド・リアリティ機器のユーザの手であるかどうかを判定することができる。別の例として、手識別データを使用して、手が装着型エクステンデッド・リアリティ機器のユーザの手ではないと判定することができる。手のポーズデータは、ユーザが１本または複数の指で行うジェスチャを表すことができる。例えば、第１または第２の手位置センサによって生成された１つまたは複数のデジタル信号は、ユーザによって行われた１つまたは複数のジェスチャを表すことができる。そのようなジェスチャは、例えば、１つまたは複数の指を使用してスクロール、ピンチ、タップ、および／または押圧、および／またはユーザの１つまたは複数の指、手首、および／または前腕を含む動きの他の組み合わせを含むことができる。

いくつかの実施形態では、手の動きを表す第２の信号は、キーボードに関連付けられた第２のセンサから受信されてもよい。例えば、物理キーボードは、キーボード上のユーザの手の１つまたは複数の部分の動きを検出するように構成されたセンサ（赤外線近接センサ等）を含んでもよい。いくつかの実施形態では、第２の手位置センサは、手がキーボード上をホバリングしているときにユーザの手の１つまたは複数の部分の位置を判定するように構成された近接センサを含んでもよい。そのようなセンサからの入力は、キーボードの近くの１つまたは複数のジェスチャ、例えば、ユーザが特定のキーを押すか、または特定のキーグループの１つまたは複数のキーを押す可能性を示すジェスチャの視覚的指示を提供するために使用され得る。例えば、キーボードの描写は、画面上に視覚的に提供されてもよい。キーボードの描写はまた、装着型エクステンデッド・リアリティ機器を介して示されてもよい。視覚的指示は、キーボードの描写上に示されてもよい。例えば、１つの視覚的指示を使用して、キーまたはキーグループの押下を示すことができ、別の視覚的指示を使用して、ユーザが特定のキーを押す意図の可能性を示すか、またはユーザが特定のキーグループの１つまたは複数のキーを押す意図の可能性を示すことができる。

例として、図３５は、本開示のいくつかの実施形態と一致する、第２の手の動きを表す第２の信号を有するキーボード３５１０に関連付けられた第２の手位置センサの例を示す。キーボード３５１０は、第２の手位置センサ３５１１を含んでもよい。ユーザの手３５１２からの手の動きを表す信号は、第２の手位置センサ３５１１から受信されてもよい。

いくつかの実施形態では、キーボードは表面上に配置されてもよく、表面上に配置されると、第２の手の動きは表面との相互作用を含んでもよい。いくつかの実施形態では、表面は机の上面であってもよい。いくつかの実施形態では、表面はテーブルの上面であってもよい。いくつかの実施形態では、表面は床であってもよい。例として、仮想コントローラまたはウィジェットは、例えば装着型エクステンデッド・リアリティ機器によって表面に表示されてもよい。仮想コントローラは、例えば、ボリュームバー、明るさ調整器、またはユーザが仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境における仮想コンテンツ）または装着型エクステンデッド・リアリティ機器の特性を制御することを可能にすることができる任意の他の制御を含むことができる。第２の信号は、手が表面に触れているかどうかを判定するために解析することができる。手が表面に触れているという判定に応答して、アクションを実行することができる。アクションは、仮想ディスプレイに関連付けられた（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境における仮想コンテンツを用いて）１つまたは複数の特性（例えば、輝度、体積）を制御することを含んでもよい。いくつかの実施形態では、キーボードは、キーボードが第１の表面上に配置されたときに第１の表面に対して実質的に垂直になるように構成され得る特定の表面を含んでもよく、第２の手位置センサは、特定の表面に含まれてもよい。いくつかの実施形態では、キーボードは、第１の表面に対して実質的に垂直になるように構成された少なくとも２つの表面を含んでもよく、少なくとも２つの表面は、スペースバーにより近い表面と、スペースバーからより遠い表面とを含んでもよく、特定の表面は、スペースバーからより遠い表面であってもよい。第２の手の動きは、いずれかの表面との１つまたは複数の相互作用を含んでもよい。第２の手位置センサは、画像センサを含むことができ、画像センサの視野は、表面の少なくとも一部を含むことができ、したがって、プロセッサは、いずれかの表面上の手の動きを表すセンサから信号を受信することができる。

いくつかの実施形態では、手位置センサの少なくとも１つは画像センサであってもよい。「画像センサ」という用語は、当業者には認識されており、画像、一連の画像、ビデオなどを取り込むように構成された任意のデバイスを指す。画像センサは、光入力を画像に変換するセンサを含むことができ、光入力は、可視光（カメラ内のような）、電波、マイクロ波、テラヘルツ波、紫外線、赤外線、Ｘ線、ガンマ線、および／または任意の他のタイプの電磁放射線であり得る。画像センサは、２Ｄおよび３Ｄセンサを含むことができる。画像センサ技術の例は、ＣＣＤ、ＣＭＯＳ、またはＮＭＯＳを含むことができる。３Ｄセンサは、ステレオカメラ、アクティブステレオカメラ、飛行時間カメラ、構造化光カメラ、レーダ、距離画像カメラ、および３次元のオブジェクトまたはシーンを表す表示を生成することができる他の技術を含む、異なる技術を使用して実施され得る。第１の信号は、１つまたは複数の画像センサを使用して取り込まれた１つまたは複数の画像の形態の画像データを含むことができる。１つまたは複数の画像は、訓練例を使用して訓練された機械学習モデルを使用して解析され、手関連データ（手の動きデータ、手の位置データ、手の姿勢データ、手の表面のタッチ状態データ、および他のデータなど）を決定することができる。そのような訓練例は、特定の手の位置、手の姿勢、手の表面のタッチ状態、または他のデータを示す対応する手関連データと共にサンプル画像を含むことができる。

いくつかの実施形態では、手位置センサの少なくとも１つは、近接センサであってもよい。「近接センサ」という用語は、オブジェクトと物理的に接触することなくオブジェクトの存在を検出するように構成された任意のデバイスを含むことができる。近接センサは、音、光、赤外線（ＩＲ）、または電磁場を使用してターゲットを検出することができる。

いくつかの実施形態では、１つまたは複数の位置センサ（例えば、手位置センサ）は、１つまたは複数のデジタル信号を生成することができる。デジタル信号は、１つ、２つ、または任意の数の信号（例えば、第１の信号、第２の信号）からなることができる。したがって、例えば、第１の手位置センサは、デジタル信号であり得る第１の信号を生成するように構成されてもよい。いくつかの実施形態では、センサは、１つ、２つ、または任意の数のセンサ（例えば、第１のセンサ、第２のセンサ）から構成されてもよい。

いくつかの実施形態では、第２の手位置センサのタイプは、第１の手位置センサのタイプとは異なる。上述したように、多くの異なるタイプの手位置センサが存在し得る。いくつかの実施形態では、異なるタイプの手位置センサが、いくつかの開示された実施形態の異なる構成要素に関連付けられ得ることが考えられる。センサが異なるタイプの信号を提供することができるように、異なるタイプの手位置センサを選択することができる。例えば、第１の手位置センサは画像センサであってもよく、第２の手位置センサは近接センサであってもよい。第１の手位置センサは、画像センサを含むことができ、手識別データを表す信号を生成するように構成することができる。しかしながら、第２の手位置センサは、手位置データを表す信号を生成するように構成された近接センサを含むことができる。別の例として、第１の手の位置センサは近接センサであってもよく、第２の手の位置は画像センサであってもよい。いくつかの実施形態では、第１の手位置センサおよび第２の手位置センサは、同じタイプのものであってもよい。例えば、第１の手位置センサおよび第２の手位置センサは両方とも画像センサを含むことができる。別の例として、第１の手位置センサおよび第２の手位置センサは両方とも近接センサを含むことができる。

図３６は、第２の手位置センサのタイプと第１の手位置センサのタイプとが異なる構成例を示している。例えば、図３６に示すように、装着型エクステンデッド・リアリティ機器３６１３は、一対のスマートグラスを含むことができる。装着型エクステンデッド・リアリティ機器３６１３は、カメラであり得る第１の手位置センサ３６１４を含んでもよい。図３６にも示すように、キーボード３６１０は、第１の手位置センサ３６１４とは異なり得る近接センサであり得る第２の手位置センサ３６１１を含んでもよい。第２の手位置センサ３６１１は、ユーザの手３６１２からの第２の手の動きを表す信号を生成することができる。

いくつかの実施形態では、キーボードは、タッチパッドおよびキーを含む関連する入力領域を含んでもよく、動作は、入力領域の外側の領域（例えば、キー、タッチパッド、トラックパッド、ジョイスティック、または他の形態のタッチセンサを含まない領域）における第２の手の動きを検出することをさらに含んでもよい。キーボードは、入力領域から、および／または第１の手位置センサおよび第２の手位置センサから入力を受信するように構成されてもよい。キーボードは、多くの異なる領域を含むことができる。いくつかの実施形態では、キーボードは、例えばＱＷＥＲＴＹ、Ｄｖｏｒａｋ、または任意の他のタイプのキーボードレイアウトなどの標準キーボードを含む、入力領域内の１つまたは複数のキーを含んでもよい。キーボードは、入力領域に追加のキーを含むことができる。例えば、１つまたは複数の追加のキーは、数字入力キーまたは数学記号を有するキーを含んでもよい。いくつかの実施形態では、入力領域は指紋リーダをさらに含んでもよい。いくつかの実施形態では、入力領域は、トラックパッドおよび／またはタッチパッドを含んでもよい。ユーザは、キーボードに関連付けられた入力領域の外側で手の動きを行うことができる。例えば、ユーザは、入力領域（例えば、キー、タッチパッド、トラックパッド、ジョイスティック、または他の形態のタッチセンサを含まない領域）に関連付けられていない手の動きを実行することができる。一例として、ユーザは、キーボードの非反応性表面またはキーボードの環境内の非反応性表面（キーボードが置かれる非反応性表面など）に触れることができる。別の例では、ユーザの手の動きは、キーボードのいずれの部分の近くにもない領域で発生し得る。

例として、図３７は、タッチパッドおよびキーを含む関連する入力領域を含むキーボードの一例を示す。例えば、図３７に示すように、キーボード３７１０は、キーおよびタッチパッド３７１１を含む入力領域を含んでもよい。キーボード３７１０は、１つまたは複数のキーおよび／またはタッチパッド３７１１から入力を受信するように構成されてもよい。いくつかの実施形態では、キーボード３７１０は、第２の手位置センサ３７１２を含んでもよい。第２の手位置センサは、ユーザの手３７１３の第２の手の動きを表す信号を生成することができる。図３７に示すように、ユーザの手３７１３は、入力領域の外側の領域（キーおよび／またはタッチパッド３７１１を含まない）にある手の動きを生成することができる。例えば、手３７１３は、キーボード３７１０のいかなる部分にも触れることなくジェスチャを行ってもよい。

いくつかの実施形態は、第１および第２の信号に基づいて仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境における仮想コンテンツ）を制御することを含んでもよい。本開示で使用されるように、仮想ディスプレイを制御することは、仮想ディスプレイの外観またはコンテンツを変更することを含むことができる。例えば、少なくとも１つのプロセッサは、１つまたは複数の表示設定を調整することによって仮想ディスプレイを制御することができる。１つまたは複数の表示設定を調整することは、例えば、輝度、色温度、音、ウィンドウのサイズ、フォント、解像度、ピクセルサイズ、位置、向きなどを調整することを含むことができる。仮想ディスプレイの外観またはコンテンツを変更することは、例えば、新しいウィンドウを削除または追加すること、ウィンドウを画面上または画面外に動くこと、またはディスプレイから要素を追加または削除することを含むことができる。いくつかの実施形態では、仮想ディスプレイは、第１および／または第２の信号に基づいて制御されてもよい。プロセッサは、例えばキーボードまたは装着型エクステンデッド・リアリティ機器に関連付けられた１つまたは複数のセンサから第１および／または第２の信号を受信することができる。受信信号に基づいて、プロセッサは、仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境で仮想コンテンツを制御すること）を制御することができる。例えば、プロセッサは、手の動きを表す信号が、ユーザが仮想ディスプレイ上でズームインしようとしていることを含むと判定することができる。プロセッサは、ユーザのハンドジェスチャに基づいて、手の動きがズーム動作を表すと判定することができる。プロセッサは、手の動きを表す信号に基づいてウィンドウを拡大することによって仮想ディスプレイを制御することができる。

いくつかの実施形態は、第１の手の動きまたは第２の手の動きの少なくとも一方に関連付けられた確実性レベルがしきい値を上回る場合、第１の信号および第２の信号に基づいて仮想ディスプレイを制御することを含むことができる。確信度は、ユーザの手が何らかのやり方で動いたという判定における確率または信頼度を指すことができる。いくつかの実施形態では、確信度は、ユーザの手の一部またはすべての部分が初期位置から動く距離または角度の大きさに基づくことができる。例えば、センサは、手の動きの大きさ（例えば、手が動いた距離または角度）がしきい値の大きさよりも大きい場合にのみ手の動きを検出するように構成されてもよい。例えば、センサは、ユーザの手の位置が１ｍｍ、５ｍｍ、１０ｍｍ、または任意の他の所望の長さ単位だけ変化したときに、手の動きを検出することができる。別の例として、センサは、ユーザの手が１°、５°、１０°、または任意の他の所望の角度だけ回転したときに、手の動きを検出することができる。センサが、手の動きがしきい値の大きさを下回っていると判定した場合、センサは信号を生成しなくてもよい。手の動きがしきい値の大きさを超えると（例えば、１ｍｍ、５ｍｍ、１０ｍｍ、または１°、５°、１０°）、センサは、手の動きを表す信号を生成し、プロセッサに送信することができる。

いくつかの実施形態は、低周囲運動に関連付けられた第２の信号の第１の部分および高周囲運動に関連付けられた第２の信号の第２の部分を識別するために第２の信号を解析することを含むことができる。一例では、周囲の動きは、手以外の（またはユーザの手以外の）オブジェクトの動きであり得るか、またはそれを含んでもよい。いくつかの例では、機械学習モデルは、信号の低周囲運動および高周囲運動を識別するために訓練例を使用して訓練され得る。そのような訓練例の一例は、信号のサンプル部分を、サンプル部分が低周囲運動に対応するか高周囲運動に対応するかを示すラベルと共に含むことができる。訓練された機械学習モデルは、第２の信号を解析し、低周囲運動に関連付けられた第２の信号の第１の部分および高周囲運動に関連付けられた第２の信号の第２の部分を識別するために使用され得る。いくつかの例では、第２の信号の一部のエントロピーを計算することができ、第２の信号の一部の計算されたエントロピーを選択されたしきい値と比較して、第２の信号の一部が低周囲運動または高周囲運動に対応するかどうかを判定することができる。一例では、選択されたしきい値は、第２の信号の一部に対応する持続時間に基づいて選択されてもよい。別の例では、選択されたしきい値は、第２の信号の一部に対応する第２の手位置センサからの手の距離に基づいて選択されてもよい。いくつかの例では、仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境における仮想コンテンツ）は、第１の信号、第２の信号、ならびに第２の信号の第１の部分および第２の部分の識別に基づいて制御されてもよい。例えば、仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境における仮想コンテンツ）は、第２の信号の第２の部分にかかわらず、第１の信号および第２の信号の第１の部分に基づいて制御されてもよい。別の例では、第２の信号の第１および第２の部分に異なる重みを割り当てることができ、仮想ディスプレイの制御は、第１の信号および第２の信号の２つの部分の重み付き関数に基づくことができる。いくつかの例では、重みは、各部分に関連付けられた周囲の動きの量に基づいて選択されてもよい。

いくつかの実施形態は、第１の信号および第２の信号に基づいて手の少なくとも一部の３次元位置を決定することと、手の少なくとも一部の決定された３次元位置に基づいて仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境で仮想コンテンツを制御すること）を制御することとをさらに含むことができる。３次元位置は、一組の座標軸に対する座標位置を指すことができる。例えば、プロセッサは、一組のデカルト座標軸を参照して３つの座標値（すなわち、ｘ、ｙ、ｚ）を使用して、ユーザの手の一部の位置および／または向きを決定することができる。別の例として、プロセッサは、半径および互いに垂直な２つの異なる平面を含む極座標値を使用して、ユーザの手の一部の位置および／または向きを決定することができる。いくつかの実施形態では、３次元位置は、ユーザの指、手首、または手の任意の他の部分の位置を含むことができる。プロセッサは、ユーザの手の動きに基づく信号を受信して、ユーザの手の少なくとも一部が基準位置に対して、または所定の一組の座標軸に対してどこに位置するかを判定することができる。プロセッサは、手のどの部分が特定の動きを実行しているかを判定することができる。例えば、プロセッサは、指、手首、またはユーザの手の任意の他の部分が特定の動きを実行しているかどうかを判定することができる。プロセッサは、特定の動きに基づいて仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境で仮想コンテンツを制御すること）を制御することができる。例えば、プロセッサは、親指と人差し指とが一緒に挟まれて動きのズームを実行していると判定することができる。プロセッサは、ズームイン運動に基づいて仮想ディスプレイをズームインすることができる。

いくつかの実施形態では、第１および第２の信号に基づいて仮想ディスプレイを制御することは、第１の信号に基づいて仮想ディスプレイの第１の部分を制御することと、第２の信号に基づいて仮想ディスプレイの第２の部分を制御することとを含むことができる。仮想ディスプレイは、例えば、１つまたは複数のオブジェクト、テキストディスプレイ、グラフィカルディスプレイ、ウィンドウ、またはアイコンを含むことができる。プロセッサは、第１のセンサから受信した信号に基づいて、これらのアイテムのうちの１つまたは複数（例えば、仮想ディスプレイの第１の部分）を制御するように構成されてもよい。プロセッサはまた、第２のセンサから受信した信号に基づいてアイテムのうちの他のアイテム（例えば、仮想ディスプレイの第２の部分）を制御するように構成されてもよい。いくつかの実施形態では、第１の信号および第２の信号は、ユーザの手に関連付けられた異なる手の動きまたは特性を表すことができる。例えば、少なくとも１つのプロセッサは、第１の信号に基づいて手がユーザの手であると判定することができる。少なくとも１つのプロセッサはまた、第２の信号に基づいてユーザの手が表面に触れていると判定することができる。別の例として、少なくとも１つのプロセッサは、第２の信号に基づいて、ユーザの手が特定のジェスチャを実行していると判定することができる。これらの判定に基づいて、例えば、少なくとも１つのプロセッサは、第１の信号に基づいて仮想ディスプレイの第１の部分を制御し、第２の信号に基づいて仮想ディスプレイの第２の部分を制御することができる。例えば、少なくとも１つのプロセッサは、手がユーザの手であると判定し、仮想ディスプレイと対話するための手の許可を与えることができる。例えば、少なくとも１つのプロセッサは、第１の信号に基づいてウィンドウを仮想ディスプレイの第１の部分として選択することができる。プロセッサは、ウィンドウを表す表面にユーザが触れている手に基づいて、ウィンドウを第１の部分として選択することができる。プロセッサは、第２の信号に基づいて、仮想ディスプレイの第２の部分としてのウィンドウのサイズを調整することができる。プロセッサは、ズームインまたはズームアウトの動きを表すジェスチャを実行するユーザの手に基づいて、第２の部分としてのウィンドウのサイズを調整することができる。別の例として、装着型エクステンデッド・リアリティ機器によって検出された手の動きは、ウィジェットの入力を制御することができる。キーボードによって検出された手の動きは、別のウィジェットの入力を制御することができる。いくつかの実施形態では、第１の信号および第２の信号は、同じ手の動きを表すことができる。例えば、少なくとも１つのプロセッサは、第１の信号に基づいてユーザの手が表面に触れていると判定することができる。少なくとも１つのプロセッサは、第２の信号に基づいて、ユーザの手が同じ表面に触れているとさらに判定することができる。これらの判定に基づいて、例えば、少なくとも１つのプロセッサは、第１および第２の信号に基づいてウィンドウを選択することによって仮想ディスプレイの第１および第２の部分を制御することができる。

いくつかの実施形態では、第１の部分と第２の部分とは部分的に重なる。したがって、例えば、第１および第２の信号に基づいて制御され得る仮想ディスプレイの２つの部分のそれぞれの少なくとも一部は、仮想ディスプレイ上の同じ位置を占有し得る。例えば、第１および第２の信号を解析して、ユーザの手が表面に触れていることを判定することができる。プロセッサは、仮想ディスプレイの第１の部分および第２の部分が仮想ディスプレイ内のウィンドウに関連すると判定することができる。第１の部分および第２の部分は、仮想ディスプレイ内に同じウィンドウを含むことができる。別の例として、プロセッサは、仮想ディスプレイの第１および第２の部分が２つのウィンドウに関連すると判定してもよい。２つの窓は、部分的に重なる部分を含んでもよい。例えば、１つの窓の一部は、別の窓の一部の上にあってもよい。

いくつかの実施形態では、第１の部分と第２の部分は重ならない。例えば、第１の信号を解析して、ユーザの手が表面に触れていることを判定することができる。第２の信号は、ユーザの手がキーボードのキーに触れていることを判定するために解析されてもよい。プロセッサは、第１の信号に基づいて仮想ディスプレイの第１の部分を制御することができる。例えば、プロセッサは、ウィンドウを仮想ディスプレイの第１の部分として選択することができる。選択されたウィンドウの外側の仮想ディスプレイの１つまたは複数の部分は、仮想ディスプレイの第２の部分を形成することができる。プロセッサは、第２の信号に基づいて仮想ディスプレイの第２の部分を制御することができる。例えば、プロセッサは、ユーザの手によって選択された１つまたは複数のキーに応答して、第１の信号に基づいて選択されたウィンドウの外側の仮想ディスプレイの第２の部分にテキストを表示することができる。

いくつかの実施形態では、第１の手の動きおよび第２の手の動きの少なくとも一方が第２の手位置センサによって検出され、第１の手位置センサによって検出されない場合、動作は、第２の信号のみに基づいて仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境で仮想コンテンツを制御すること）を制御することをさらに含むことができる。例えば、第１の手の動きまたは第２の手の動きの少なくとも一方は、第２の手の位置センサによって検出され得るが、第１の手の位置センサによって検出されないままであり得る。一例として、これは、第２の手の動きが第１の手センサの視野外にあるとき、またはユーザの手の一部が第１の手センサの視野外にあるときに起こり得る。第２の手の動きは、第１の手センサによって検出できなくてもよいが、第２の手センサによって検出されてもよい。そのような状況では、少なくとも１つのプロセッサは、第２の信号のみに基づいて仮想ディスプレイを制御するように構成されてもよい。

いくつかの実施形態では、キーボードは複数のキーを含むことができ、操作は、複数のキーのうちの特定のキーを押すユーザ意図を判定するために第２の信号を解析することと、判定されたユーザ意図に基づいて、装着型エクステンデッド・リアリティ機器に特定のキーを表す仮想指示を提供させることとを含むことができる。例えば、プロセッサは、第２の信号を使用して、ユーザが複数のキーから押し出すことを意図し得るキーを識別することができる。プロセッサは、キーに対するユーザの手の近接度に基づいて、特定のキーを押すユーザの意図を判定することができる。別の例では、プロセッサは、特定のキーの周りのユーザの手の動きに基づいて、特定のキーを押すユーザの意図を判定することができる。ユーザの意図に基づいて、プロセッサはユーザにサインを提供することができる。標識は、ユーザが複数のキーのうちのどのキーを押すことを計画していたかを示すことができる。標識は視覚的指示であってもよい。視覚的指示は、音声、視覚、または触覚手段を介して提供されてもよい。視覚的指示は、標識、記号、アイコン、文字、またはグラフィック画像を介して提供されてもよい。別の例では、視覚的指示は、音声ファイルを再生することによって、または他の音声キューを介して提供されてもよい。

いくつかの実施形態では、キーボードは複数のキーを含むことができ、動作は、複数のキーのうちのキーのグループのうちの少なくとも１つを押すユーザ意図を判定するために第２の信号を解析することを含み、装着型エクステンデッド・リアリティ機器に、判定されたユーザ意図に基づいてキーのグループを表す仮想指示を提供させることができる。例えば、プロセッサは、第２のセンサから受信した第２の信号の解析に基づいて、ユーザが押すことを意図している特定のキーを決定することができない場合がある。いくつかの例では、プロセッサは、ユーザの手が複数のキーに近接しているために特定のキーを判定できない場合がある。プロセッサは、ユーザがキーのグループのうちの少なくとも１つのキーを押すことを意図していると判定することができる。プロセッサは、特定のキーの近接度に基づいてユーザ意図を決定することができる。別の例では、プロセッサは、特定のキーが一緒に使用される可能性に基づいてユーザの意図を決定することができる。例えば、プロセッサは、ユーザが入力している単語を判定し、判定された単語を作成するために一緒に使用される可能性が高い文字に基づいてユーザの意図を判定することができる。別の例として、キーのグループは、同様の機能を有するキーであってもよい。別の例として、キーのグループは、互いに近くに位置するキーであってもよい。プロセッサがユーザ意図を決定できないことに応答して、プロセッサは、ユーザにキーのグループを表示することができる。ディスプレイは、視覚的表示によるものであってもよい。視覚的指示は、上述したように、音声、視覚、または触覚手段を介して提供されてもよい。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器がキーボードに接続されていない場合、動作は、第１の信号のみに基づいて仮想ディスプレイ（または任意の他のタイプの仮想コンテンツ、例えばエクステンデッド・リアリティ環境で仮想コンテンツを制御すること）を制御することをさらに含んでもよい。例えば、装着型エクステンデッド・リアリティ機器は、キーボードとは別個であってもよい。装着型エクステンデッド・リアリティ機器は、キーボードから物理的または電子的に分離されていてもよい。装着型エクステンデッド・リアリティ機器は、機器をキーボードに取り付けるワイヤもしくはケーブルまたは任意の他の機械的構造などの機械的要素がない場合、キーボードから物理的に分離されてもよい。装着型エクステンデッド・リアリティ機器は、機器とキーボードとの間でデータまたは通信の交換がない場合、キーボードから電子的に分離されてもよい。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、キーボードに無線で接続されてもよい。装着型エクステンデッド・リアリティ機器およびキーボードは、異なる領域に配置されてもよい。装着型エクステンデッド・リアリティ機器がキーボードから分離されている場合、ユーザは空間内で自由に動くことができる。装着型エクステンデッド・リアリティ機器はまた、２人以上の異なるユーザ間で使用されてもよい。

いくつかの実施形態は、手が仮想ウィジェットに関連付けられた物理オブジェクトの一部に触れていることを判定するために第２の信号を解析することと、手が装着型エクステンデッド・リアリティ機器のユーザに属するかどうかを判定するために第１の信号を解析することと、手が装着型エクステンデッド・リアリティ機器のユーザに属するという判定に応答して、仮想ウィジェットに関連付けられたアクションを実行することと、手が装着型エクステンデッド・リアリティ機器のユーザに属さないという判定に応答して、仮想ウィジェットに関連付けられたアクションを実行することを取り止めることと、をさらに含むことができる。システムを使用する際に、ユーザは物理オブジェクトと対話することができる。物理オブジェクトは、ユーザの周囲の物理空間に位置する物品であってもよい。物理空間は、ユーザの手の届くところにあるテーブル、椅子、キーボード、または機器を含むことができる。例えば、物理オブジェクトは、ペン、ポインタ、キーボード、またはユーザが保持することができる任意のオブジェクトであってもよい。物理オブジェクトはウィジェットにリンクされてもよい。ウィジェットは、ユーザが機能を実行することを可能にするデバイスのインターフェース上のモジュール（物理的または仮想的）であり得る。モジュールは、ウィンドウ、アイコン、画像、または仮想ディスプレイ上に表示される他のグラフィックオブジェクトを含むことができる。プロセッサは、物理オブジェクトに触れている手が装着型エクステンデッド・リアリティ機器のユーザに属し得ると判定することができる。手がユーザに属する場合、プロセッサは、ユーザと物理オブジェクトとの相互作用に基づいてアクションを実行することができる。アクションは、仮想ディスプレイを制御することができる。例えば、ユーザの手がピンチング動作を実行すると、プロセッサはウィジェットのサイズを調整することができる。手がユーザに属していない場合、プロセッサは、ユーザが物理オブジェクトと対話する場合であっても、アクションを実行しなくてもよい。

いくつかの実施形態は、手が物理オブジェクトに触れている位置を判定するために第２の信号を解析し、判定された位置を使用して仮想ウィジェットに関連付けられたアクションを選択することをさらに含むことができる。例えば、物理オブジェクトは、異なるアクションに関連する異なる位置を含むことができる。物理オブジェクトは、オブジェクトの上部、下部、前部、後部、左側または右側に位置を含むことができる。例えば、物理オブジェクトの上部は削除機能に関連付けられ得る。別の例として、物理オブジェクトの下部は、追加機能に関連付けられてもよい。手位置センサは、ユーザの手が物理オブジェクトに触れている位置を表す信号を生成することができる。プロセッサは、位置をアクションに関連付けることができる。一例では、動作は、第１の決定された位置に応答してアクションを実行することができる。別の例では、動作は、第２の決定された位置に応答して動作を実行することを取り止めることができる。

いくつかの実施形態は、キーボードの向きを決定し、キーボードの向きに基づいて仮想ディスプレイに関連付けられた表示設定を調整することをさらに含むことができる。向きは、物理空間または仮想空間内の位置であってもよい。向きはまた、物理空間または仮想空間内の別のオブジェクトに対する空間的関係であってもよい。向きの決定は、第１の信号、第２の信号、または他のセンサからのデータに基づいてもよい。いくつかの実施形態では、第１の手の動きを表す第１の信号は、キーボードの向きを決定することができる。例えば、第１の信号は、キーボード上でのユーザの手のタイピングを表すことができる。第１の信号は、ユーザの手によって押された１つまたは複数のキーに基づいてキーボードの向きを判定することができる。別の実施形態では、第２の手の動きを表す第２の信号は、キーボードの向きを決定することができる。例えば、第２の信号は、キーボードのトラックパッド上でのユーザの手のスクロールを表すことができる。第２の信号は、トラックパッドがキーボード上のどこに配置されているかに基づいてキーボードの向きを判定することができる。例えば、トラックパッドは、キーボードの下縁部に隣接して配置されてもよい。トラックパッドは、追加的または代替的に、キーボードの上縁部に隣接して配置されてもよい。いくつかの実施形態では、トラックパッドは、追加的または代替的に、キーボードの左側または右側に配置されてもよい。いくつかの実施形態では、仮想ディスプレイに関連付けられた１つまたは複数の表示設定は、決定されたキーボードの向きに基づいて調整されてもよい。例えば、プロセッサは、判定された向きに基づいて、仮想ディスプレイがキーボードに対して特定の方法で配向されるべきであると判定することができる。例えば、仮想ディスプレイがキーボードを備えた特定の位置にない場合、プロセッサは、表示設定上のウィンドウをキーボードを備えた位置に動かすことができる。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、スペースバーに最も近い側に位置するコネクタを介してキーボードに選択的に接続可能であり得る。装着型エクステンデッド・リアリティ機器は、コネクタを介してキーボードに取り付けまたは取り外しすることができる。コネクタは、装着型エクステンデッド・リアリティ機器をキーボードに取り付けるための任意のタイプの機械的固定具であってもよい。いくつかの実施形態では、コネクタは、装着型エクステンデッド・リアリティ機器に接続可能な格納式ケーブルを含むことができる。コネクタはまた、剛性ケーブルを含むことができる。コネクタは、キーボードの側面に配置されてもよい。例えば、コネクタは、キーボードの上縁部に隣接して、キーボードの下縁部に隣接して、スペースバーから最も遠い側に、またはキーボードの任意の他の部分に配置されてもよい。コネクタは、ユーザの物理空間内の他のアイテムとの干渉を防止するために、スペースバーに最も近い側に配置されてもよい。装着型エクステンデッド・リアリティ機器がコネクタを介してキーボードに接続可能であり得る場合、装着型エクステンデッド・リアリティ機器はキーボードに固定され得る。装着型エクステンデッド・リアリティ機器は、キーボードから分離される危険性がない場合がある。装着型エクステンデッド・リアリティ機器がキーボードに接続可能である場合、機器は信号をキーボードに送信することもできる。

例として、図３８は、コネクタを介してキーボードに選択的に接続可能な装着型エクステンデッド・リアリティ機器を示す。例えば、図３８に示すように、装着型エクステンデッド・リアリティ機器３８１２は、一対のスマートグラスを含むことができる。装着型エクステンデッド・リアリティ機器３８１２は、コネクタ３８１１を介してキーボード３８１０に選択的に接続可能であってもよい。コネクタ３８１１は、スペースバー３８１３に最も近い側に配置されてもよい。

いくつかの開示された実施形態は、可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための非一時的コンピュータ可読媒体を含むことができる。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）が使用されている間にユーザが可動入力デバイス（例えば、キーボード）を動かすと、装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイは、可動入力デバイスの向きおよび／または位置の変更を反映するように変更し得る。

いくつかの開示された実施形態は、可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための命令を含む非一時的コンピュータ可読媒体に関し、コンピュータ可読媒体は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに様々なステップを実行させる命令を含む。非一時的コンピュータ可読媒体は、本明細書で説明するように、少なくとも１つのプロセッサによって読み取り可能な情報またはデータを格納することができる任意のタイプの物理メモリを指すことができる。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭまたは任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップまたはカートリッジ、およびそれらのネットワークバージョンが挙げられる。このコンテキストで使用される場合、一体化することは、例えば、１つのものを別のものと結合して、それらが全体になるように組み込む、または任意の他の方法を使用することを含むことができる。

可動入力デバイスは、ユーザが１つまたは複数の入力を提供することを可能にすることができ、初期位置から代替位置に可動な少なくとも一部を含む任意の物理デバイスを含むことができる。開示された可動入力デバイスは、本明細書で説明するように、データを計算デバイスに提供するように構成されてもよい。計算デバイスに提供されるデータは、デジタル形式および／またはアナログ形式であってもよい。可動入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力を受け取ることができる別の機構を含むことができる。例えば、いくつかの実施形態では、ユーザは、キーボードの１つまたは複数のキーを押すことによって、可動入力デバイスを介して１つまたは複数の入力を提供することができる。別の例として、ユーザは、ジョイスティックの直線運動または回転運動によってジョイスティックの位置を変更することによって、可動入力デバイスを介して１つまたは複数の入力を提供することができる。別の例として、ユーザは、タッチスクリーンに触れながら１つまたは複数のジェスチャ（例えば、ピンチ、ズーム、スワイプ、または他の指の動き）を実行することによって、可動入力デバイスを介して１つまたは複数の入力を提供することができる。

装着型エクステンデッド・リアリティ機器は、ユーザがエクステンデッド・リアリティ環境を知覚および／または対話することを可能にするために、ユーザによって装着されるかまたはユーザに取り付けられ得る任意のタイプのデバイスまたはシステムを含んでもよい。エクステンデッド・リアリティ機器は、ユーザが１つまたは複数の感覚モダリティを介してエクステンデッド・リアリティ環境を知覚および／または対話することを可能にすることができる。そのような感覚モダリティのいくつかの非限定的な例は、視覚、聴覚、触覚、体性感覚、および嗅覚を含んでもよい。エクステンデッド・リアリティ機器の一例は、ユーザが仮想現実環境を知覚および／または対話することを可能にする仮想現実機器である。エクステンデッド・リアリティ機器の別の例は、ユーザが拡張現実環境を知覚および／または対話することを可能にする拡張現実機器である。エクステンデッド・リアリティ機器のさらに別の例は、ユーザが複合現実環境を知覚および／または対話することを可能にする複合現実機器である。

本開示の一態様によれば、エクステンデッド・リアリティ機器は、頭部装着型デバイス、例えばスマートグラス、スマートコンタクトレンズ、ヘッドセット、またはエクステンデッド・リアリティを人間に提示する目的で人間が装着する任意の他のデバイスなどのウェアラブルデバイスであってもよい。装着型エクステンデッド・リアリティ機器の典型的な構成要素は、立体ヘッドマウントディスプレイ、立体ヘッドマウントサウンドシステム、ヘッドモーショントラッキングセンサ（例えば、ジャイロスコープ、加速度計、磁力計、画像センサ、構造化光センサなど）、ヘッドマウントプロジェクタ、アイトラッキングセンサ、および以下に説明する追加の構成要素のうちの少なくとも１つを含むことができる。本開示の別の態様によれば、エクステンデッド・リアリティ機器は、装着不可能なエクステンデッド・リアリティ機器であってもよい。具体的には、非装着型エクステンデッド・リアリティ機器は、マルチ投影環境機器を含むことができる。

仮想ディスプレイは、本明細書で説明するように、エクステンデッド・リアリティ機器によってユーザに表示され得る任意のタイプのデータ表現を指すことができる。仮想ディスプレイは、仮想オブジェクト、無生物仮想ディスプレイ、経時的にまたはトリガに応答して変更するように構成された生物仮想ディスプレイ、仮想２次元コンテンツ、仮想３次元コンテンツ、物理環境の一部または物理オブジェクト上の仮想オーバーレイ、物理環境または物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理環境の仮想表現、仮想文書、仮想キャラクタまたはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または仮想的に情報を表示するための任意の他のフォーマットを含むことができる。本開示と一致して、仮想ディスプレイは、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含むことができる。一実施形態では、仮想ディスプレイは、限定された領域内のコンピュータによってレンダリングされ、特定のタイプのオブジェクト（例えば、無生物の仮想オブジェクト、生物の仮想オブジェクト、仮想家具、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など）を表すように構成された視覚的提示である仮想オブジェクトを含むことができる。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変更を模倣するように、状態オブジェクトへの変更またはオブジェクトの視野角の変更を反映するように変更し得る。別の実施形態では、仮想ディスプレイは、情報を表示するように構成された仮想コンピュータ画面を含むことができる。いくつかの例では、仮想ディスプレイは、物理ディスプレイ画面の機能を模倣および／または拡張する仮想オブジェクトであってもよい。例えば、仮想ディスプレイは、例えばエクステンデッド・リアリティ機器（装着型エクステンデッド・リアリティ機器など）を使用して、エクステンデッド・リアリティ環境（例えば、複合現実環境、拡張現実環境、仮想現実環境など）で提示されてもよい。一例では、仮想ディスプレイは、物理ディスプレイ上に等しく提示することができる通常のオペレーティングシステムによって生成されたコンテンツを提示することができる。一例では、キーボードを使用して（例えば、物理キーボードの使用、仮想キーボードの使用など）入力されたテキストコンテンツは、テキストコンテンツがタイプされるとリアルタイムで仮想ディスプレイ上に提示され得る。一例では、カーソルは仮想ディスプレイ上に提示されてもよく、カーソルはポインティングデバイス（物理ポインティングデバイス、仮想ポインティングデバイス、コンピュータマウス、ジョイスティック、タッチパッド、物理タッチコントローラなど）によって制御されてもよい。一例では、グラフィカル・ユーザ・インターフェース・オペレーティング・システムの１つまたは複数のウィンドウを仮想ディスプレイ上に提示することができる。一例では、仮想ディスプレイ上に提示されるコンテンツはインタラクティブであってもよく、すなわち、ユーザのアクションに対する反応が変化してもよい。一例では、仮想ディスプレイの提示は、画面フレームの提示を含んでもよいし、画面フレームの提示を含まなくてもよい。

いくつかの開示された実施形態は、可動入力デバイスに関連付けられた動き信号を受信することを含むことができ、動き信号は、可動入力デバイスの物理的動きを反映する。このコンテキストで使用されるように、動き信号は、例えば、位置、向き、角度、方向、配置、構成、速度、加速度、または相対位置の任意の他の尺度の変化を表す１つまたは複数の値を含むことができる。このコンテキストで使用される場合、物理的動きは、可動入力デバイスの位置、高さ、向き、または回転の変化を指すことができる。いくつかの例では、可動入力デバイスの動き信号（例えば、キーボード）は、可動入力デバイスの物理的動きを反映し得るプロセッサによって受信され得る。例えば、プロセッサは、メモリから、データを出力する外部デバイスから、センサ（例えば、物理的変化の写真を取り込む画像センサ）を使用して取り込まれた値から、またはデータを解析する任意の他の同様のプロセスから、位置または向きの物理的変化を反映する１つまたは複数の動き信号を受信することができる。物理的動きの非限定的な例としては、例えば、ユーザがキーボードを１インチ、１フィート、１ヤードまたは任意の他の距離だけ変位させること、ユーザがキーボードを１°、１０°、９０°、１８０°、２７０°、３６０°または任意の他の角度だけ回転させること、ユーザがキーボード上の任意のキーを押すこと、ユーザがキーボードの任意の片側を任意の方向に傾けること、または位置、位置、向きまたは回転の任意の他の変化を挙げることができる。例えば、装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）のプロセッサは、キーボードの一部または全部の回転、変位、並進、または位置もしくは向きの任意の他の変化を反映するキーボードからの位置または向きの変化を表す一連の値を含んでもよい動き信号を受信し得る。

図４５Ａは、可動入力デバイス３９０２を装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）を介して投影される仮想ディスプレイ４１１２と一体化するために少なくとも１つのプロセッサによって実行される典型的な一組の命令４５００を示す。いくつかの実施形態では、動作は、可動入力デバイス３９０２（例えば、キーボード）に関連付けられた動き信号を受信するステップ４５０２を含むように構成されてもよく、動き信号は、可動入力デバイスの物理的動きを反映する。例えば、装着型エクステンデッド・リアリティ機器のプロセッサは、例えば、特定の角度（例えば、３０°より小さい角度、３０°より大きい角度、９０°など）による可動入力デバイス３９０２の回転を反映する、可動入力デバイス３９０２の変位を反映するなど、可動入力デバイス３９０２からの位置または向きの変化を表す一連の値を含んでもよい動き信号を受信することができる。

いくつかの開示された実施形態と一致して、可動入力デバイスの動き信号は、入力デバイスに関連付けられた少なくとも１つのセンサを使用して取り込まれたデータの解析に基づいて決定されてもよい。少なくとも１つのセンサは、例えば、検出器、機器、または可動入力デバイスの物理特性を測定する他のデバイスを含むことができる。少なくとも１つのセンサによって測定された物理特性は、位置、速度、加速度、抵抗の変更、または可動入力デバイスに関連付けられた任意の他の物理特性の変化を含むことができる。いくつかの実施形態によれば、データの解析は、可動入力デバイスからの入力を受け取り、入力を処理し、結果を出力デバイスに出力する一連の格納された命令（例えば、プログラム）を実行する中央処理デバイス（例えば、プロセッサ）を指すことができる。

有利には、いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、１つまたは複数のセンサを含むことができる。１つまたは複数のセンサは、１つまたは複数の画像センサ（例えば、機器のユーザまたはユーザの環境の画像および／またはビデオを取り込むように構成される）、１つまたは複数のモーションセンサ（例えば、加速度計、ジャイロスコープ、磁力計、または任意の他の同様のセンサなど）、１つまたは複数の測位センサ（例えば、ＧＰＳ、屋外測位センサ、屋内測位センサ、または任意の他の同様のセンサなど）、１つまたは複数の温度センサ（例えば、機器および／または環境の少なくとも一部の温度を測定するように構成される）、１つまたは複数の接触センサ、１つまたは複数の近接センサ（例えば、機器が現在装着されているかどうかを検出するように構成される）、１つまたは複数の電気インピーダンスセンサ（例えば、ユーザの電気インピーダンスを測定するように構成される）、１つまたは複数の視線追跡センサ、例えば、視線検出器、光トラッカ、電位トラッカ（例えば、眼電図（ＥＯＧ）センサ）、ビデオベースの視線トラッカ、赤外線／近赤外線センサ、受動光センサ、または人間がどこを見ているかもしくは凝視しているかを判定することができる任意の他の技術などを含むことができる。

いくつかの実施形態では、可動入力デバイスに関連付けられた動き信号は、モーションセンサから取り込まれたデータの解析に基づくことができる。例えば、視覚または画像センサは、可動入力デバイスの複数の画像を取り込むことができる。視覚または画像センサに関連付けられたプロセッサは、画像を解析し、可動入力デバイスの一部または全部の位置または向きが変化したことを判定するように構成されてもよい。

いくつかの開示された実施形態と一致して、可動入力デバイスに関連付けられた動き信号は、可動入力デバイスの画像の解析に基づいて決定されてもよい。上述したように、画像は、フレーム、画素のグループ、図形、イラスト、写真、写真、写真、前述のいずれかを表すデジタルデータ、または生物もしくは無生物のオブジェクト、人もしくは物の外形の他の同様の表現を指すことができる。可動入力デバイスの画像のいくつかの非限定的な例は、可動入力デバイスの画像センサから出力されたデータ、画像センサデータから導出されたデータ、可動入力デバイスの画像（例えば、１つまたは複数のフレーム）、または可動入力デバイスの複数のデジタル表現を含むことができる。例えば、可動入力デバイスの１つまたは複数の画像（例えば、データ解析）の解析を使用して、例えば、エゴモーションアルゴリズムを使用して、視覚オブジェクト追跡アルゴリズムなどを使用して、可動入力デバイスに関連付けられた動き信号を決定することができる。画像センサは、画素をカウントすることによって収集されたデータを含む各画像で可動入力デバイスの１つまたは複数の画像を取り込むことができる。したがって、１つの画像を別の画像と比較して、２つ以上の画像が含む画素の場所および数を確認して、可動入力デバイスに関連付けられた動き信号を決定するために使用され得る差を決定することができる。１つまたは複数の画像のシーケンスのこの比較は、例えば、可動入力デバイスによる位置、回転、向き、または他の同様の物理的動きの変化を判定するために使用され得る。有利には、いくつかの実施形態では、解析は、動き信号を決定するために、画像がキーボードまたは別の可動入力デバイスの写真または写真であるかどうかを考慮に入れることができる。例えば、可動入力デバイスの画像は、装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つの画像センサを使用して取り込まれてもよい。一例では、画像内の可動入力デバイスの検出を可能にするように構成された視覚タグを可動入力デバイスに取り付けることができる。一例では、可動入力デバイスは、可動入力デバイスの検出を可能にするように構成された光を放射するように構成された発光体を含むことができる。１つまたは複数の発光体は、可視光、赤外光、近赤外光、紫外光、または任意の波長もしくは周波数の光もしくは電磁波を放射するように構成されてもよい。

例として、図４０は、図３９のシーン４０００とは異なる時間、位置、および向きにある、可動入力デバイス４００２、任意選択的に少なくとも１つのセンサ４００８、および第２の仮想ディスプレイ４０１０を有するシーン３９００を示す。一例では、可動入力デバイス４００２は、表面４００６上または表面に近接して配置されてもよい。一例では、可動入力デバイス４００２は、異なる時点で可動入力デバイス３９０２と同じ入力デバイスであってもよく、第１の仮想ディスプレイ３９０４は、異なる時点で第２の仮想ディスプレイ４０１０と同じ仮想ディスプレイであってもよく、および／または表面３９０６は、異なる時点で表面４００６と同じ表面であってもよい。いくつかの実施形態は、可動入力デバイス４００２に関連付けられた動き信号（例えば、キーボード）が、可動入力デバイス４００２の画像の解析に基づいて決定されるように構成されてもよい。例えば、可動入力デバイス４００２の外部の撮像センサ（例えば、仮想ディスプレイ４０１０を提示する装着型エクステンデッド・リアリティ機器に含まれる画像センサ、表面４００６に含まれるかまたはそれに取り付けられた画像センサ、可動入力デバイス４００２の環境内の画像センサなど）は、ある時間、向き、および位置で可動入力デバイス３９０２の画像を撮影し、異なる時間、向き、および位置で可動入力デバイス４００２の異なる画像を撮影することができ、プロセッサは、例えば視覚オブジェクト追跡アルゴリズムを使用して、２つの画像の差を比較して動き信号を決定することができる。有利には、装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）は、一度に、向き、および位置で可動入力デバイス３９０２の画像または複数の画像を撮影し、異なる時間、向き、および位置で可動入力デバイス４００２の異なる画像を撮影することができるセンサ（例えば、撮像センサ）を含むことができ、プロセッサは、例えば視覚オブジェクト追跡アルゴリズムを使用して、２つの画像の差を比較して動き信号を決定することができる。他の例では、少なくとも１つのセンサ４００８は、異なる時点で可動入力デバイス３９０２の環境から画像を取り込むように構成された撮像センサであってもよく、取り込まれた画像は、例えば、エゴモーションアルゴリズムを使用して、動き信号を判定するために解析されてもよい。

視覚または画像センサは、可動入力デバイスの１つまたは複数の部分の位置の変化を表す信号を生成することができる。別の例として、少なくとも１つのセンサ４００８は加速度計であってもよく、加速度計を使用して取り込まれたデータを解析して可動入力デバイスの１つまたは複数の部分の速度または加速度を決定してもよい。加速度計に関連付けられたプロセッサは、測定された速度および／または加速度を解析し、可動入力デバイスの１つまたは複数の部分に関連付けられた位置および／または向きの変化を判定するように構成され得る。加速度計は、可動入力デバイスの１つまたは複数の部分の速度または加速度の変化を表す信号を生成することができる。別の例では、１つまたは複数のセンサは、表面に対する動きを検出するために、発光ダイオードなどの光源、および／またはフォトダイオードのアレイなどの光検出器を含むことができる。光センサに関連付けられたプロセッサは、光ビームを使用して、可動入力デバイスの１つまたは複数の部分に関連付けられたオブジェクトの有無を検出し、および／または可動入力デバイスの１つまたは複数の部分の位置および／または向きを決定するように構成され得る。光センサは、その発光素子から光ビーム（例えば、可視または赤外線）を放射してもよく、ターゲットから反射された光ビームを検出するために反射型光電センサが使用されてもよい。例えば、光源は、可動入力デバイスが配置される表面（表面など）に向けられた光学式マウスセンサ（非機械式追跡エンジンとしても知られる）の一部であってもよく、可動入力デバイスの動きは、表面に対して測定されてもよい。

例として、図３９は、可動入力デバイス３９０２、第１の仮想ディスプレイ３９０４、および表面３９０６を含む典型的なシーン３９００を示す。可動入力デバイス３９０２は、可動入力デバイス３９０２に関連付けられた少なくとも１つのセンサ３９０８を含むことができる。可動入力デバイス３９０２の動き信号（例えば、キーボード）は、可動入力デバイス３９０２に関連付けられた少なくとも１つのセンサ３９０８（例えば、モーションセンサ、画像センサ、加速度計、ジャイロスコープ、光学式マウスセンサなど）を使用して取り込まれたデータの解析に基づいて決定することができる。

いくつかの開示された実施形態と一致して、動き信号は、可動入力デバイスの傾斜運動、ロール運動、および横運動のうちの少なくとも１つを示すことができる。例として、動き信号は、水平、垂直、対角、または他の平面に対する可動入力デバイスの傾斜、ロール、または横方向の動きまたは角度の変化を表すことができる。本開示で使用されるように、傾斜は、角度、傾斜、傾き、または他の動きによって物理的位置または位置を傾斜した位置または位置に変化させる行為を指すことができる。本開示で使用される場合、ロールは、旋回、回転、スピン、または軸上で上下に反転することによる特定の方向の別のタイプの動きを指すことができる。本開示で使用されるように、横方向は、単一の平面内の前後に、横方向、または任意の他のタイプの動きを指すことができる。例えば、可動入力デバイスの動き信号は、位置、向き、角度の物理的変化、または可動入力デバイスの相対位置の任意の他の決定を反映する値を受信することによってプロセッサによって受信されてもよい。例として、動き信号が、水平、垂直、対角線、または他の平面と比較して、１°、５°、１０°、－１°、－５°、－１０°、または任意の他の角度だけ、可動入力デバイスの位置の変化を反映する値を表す場合、可動入力デバイスは傾斜してもよい。例として、可動入力デバイスは、動き信号が、固定点、回転点、１°、５°、１０°、－１°、－５°、－１０°、または回転点と比較した任意の他の角度の周りの可動入力デバイスの変化を反映する値を表すときに回転することができる。

例として、図４１は、可動入力デバイス４１０２（任意選択的に、可動入力デバイス４１０２に関連付けられた少なくとも１つのセンサ４１０８を有する）、仮想ディスプレイ４１１２、および表面４１０６を有するシーン４１００を示す。図４１はまた、可動入力デバイス４１０２（例えば、キーボード）の動き４１１４の２つの異なる非限定的な例を示す。図３のシーンの左部分は、水平面（表面４１０６に平行な）と比較して正の角度だけ動く可動入力デバイス４１０２（例えば、傾斜）４１１４を示している。図３のシーンの右部分は、可動入力デバイス４１０２の中心の回転点を中心にして時計回りに４１１４（例えば、回転）動く可動入力デバイス４１０２を示している。さらに、いくつかの実施形態は、動き信号が、可動入力デバイス４１０２の傾斜運動４１１４、ロール運動、および横運動のうちの少なくとも１つを示すことができるように構成されてもよい。

いくつかの開示された実施形態は、可動入力デバイスに関連付けられた受信した動き信号に基づいて仮想ディスプレイのサイズを変更することを含むことができる。このコンテキストで使用されるように、仮想ディスプレイのサイズを変更することは、例えば、仮想ディスプレイの高さ、幅、表面積、または任意の他の寸法を調整、修正、または変換することを含んでもよい。仮想ディスプレイのサイズを変更することは、追加的または代替的に、例えば、仮想ディスプレイの異なる側面または特徴間の角度関係を調整、変更、または変換することを含んでもよい。いくつかの実施形態では、サイズを変更することは、同じまたは異なる割合またはスケーリング係数を使用して、仮想ディスプレイの一部またはすべての寸法を変更することを含んでもよい。いくつかの非限定的な例は、仮想ディスプレイの高さまたは幅を１ミリメートル以上、１インチ以上、１フィート以上、または任意の他の長さ単位のうちの１つまたは複数増加または減少させることによって仮想ディスプレイのサイズを変更することを含んでもよい。他の非限定的な例は、任意のタイプの比率でその相対的な割合（例えば、２次元の比）を増減することによって仮想ディスプレイのサイズを変更することを含んでもよい。例えば、仮想ディスプレイのサイズを変更することは、動き信号が、可動入力デバイスが出入口を通って、または第１の位置または向きよりも小さい空間に動いていることを示す場合、可動入力デバイスに関連付けられた受信した動き信号に基づいてその高さおよび幅を減少させることを含むことができる。別の例として、仮想ディスプレイのサイズを変更することは、動き信号が、可動入力デバイスが出入口から、または第１の位置または第１の向き（別の位置または向きとは異なる第１の位置または第１の向き）よりも大きな空間に動いていることを示す場合、可動入力デバイスに関連付けられた受信した動き信号に基づいてその高さおよび幅を増加させることを含むことができる。一例では、第１の受信した動き信号（例えば、選択されたしきい値よりも大きい動きに対応する）に応答して、仮想ディスプレイのサイズを変更することができ、第２の受信した動き信号（例えば、選択されたしきい値よりも小さい動きに対応する）に応答して、仮想ディスプレイのサイズの変更を保留することができる。別の例では、変更後の仮想ディスプレイのサイズは、受信した動き信号（例えば、動きの大きさの関数、動きの方向の関数、動きの滑らかさの関数など）に対応する動きの関数として選択されてもよい。

例として、図４３は、可動入力デバイス４３０２（例えば、任意選択的に可動入力デバイス４３０２に関連付けられた少なくとも１つのセンサ４３０８を有するキーボード）および仮想ディスプレイ４３１２を有する仮想ディスプレイ４３１２のサイズの変化を示す。例えば、ステップは、図４３に示すように、可動入力デバイス４３０２に関連付けられた受信した動き信号に基づいてその相対的な割合（例えば、２次元の比）を減少させることによって仮想ディスプレイ４３１２のサイズを変更するように構成されてもよい。

いくつかの開示された実施形態は、第１の期間中に、第１のディスプレイ信号を装着型エクステンデッド・リアリティ機器に出力することを含むことができる。このコンテキストで使用されるように、出力は、装着型エクステンデッド・リアリティ機器または任意のディスプレイデバイスに信号を送信することを指すことができる。表示信号は、例えば、ディスプレイデバイスにコンテンツを仮想表現またはデジタル表現の形態で提示させることができるアナログまたはデジタル電気信号を含むことができる。仮想またはデジタル表現は、例えば、１つまたは複数の静止または動画、テキスト、アイコン、ビデオ、またはそれらの任意の組み合わせを含むことができる。グラフィック表示は、２次元、３次元、ホログラフィックであってもよく、または様々な他のタイプの視覚的特性を含んでもよい。少なくとも１つのプロセッサは、１つまたは複数のアナログまたはデジタル信号を生成させ、ユーザが見るためのグラフィック表示を提示するためのディスプレイデバイスに送信させることができる。いくつかの実施形態では、ディスプレイデバイスは、装着型エクステンデッド・リアリティ機器を含むことができる。例えば、少なくとも１つのプロセッサは、映画、絵文字、ビデオ、テキスト、またはそれらの任意の組み合わせを提示するために、１つまたは複数のアナログ信号またはデジタル信号を生成させてディスプレイデバイスに送信させてもよい。

いくつかの実施形態では、第１の表示信号は、装着型エクステンデッド・リアリティ機器に第１の向きでコンテンツを仮想的に提示させるように構成されてもよい。このコンテキストで使用されるように、コンテンツを仮想的に提示することは、例えば、コンピュータ生成、コンピュータ化、シミュレート、デジタル、またはソフトウェア命令を使用して生成され得る主題、材料、または物質を描写、描写、またはレンダリングすることを含んでもよい。例えば、第１の向きは、特定の位置および特定の方向（例えば、表面、オブジェクト、座標系、可動入力デバイスが配置されている表面、仮想環境の座標系など）に対する角度位置として決定されてもよい。少なくとも１つのプロセッサは、ディスプレイデバイスにテキスト、１つまたは複数の写真、スクリーンショット、メディアクリップ、または他のテキストもしくはグラフィックの主題を第１の向きで提示させるために表示信号を送信するように構成され得る。第１の向きは、基準軸または基準平面に対して任意の所望の角度で表示されたコンテンツを配置することを含むことができる。例えば、テキストコンテンツは、ユーザがテキストを読むことができるようにテーブルまたは床の表面と水平に位置合わせされるように表示されてもよい。別の例として、床のテーブルの水平面に対して所望の角度で傾斜するように画像を表示してもよい。一例では、表示信号（例えば、第１の表示信号、第２の表示信号など）は、特定の向き（例えば、第１の向き、第２の向きなど）に対応する仮想ディスプレイの描写、例えば、画像内の描写、ビデオ内の描写などを含むことができる。そのような例では、装着型エクステンデッド・リアリティ機器は、表示信号に含まれる描写を提示することができる。一例では、表示信号（例えば、第１の表示信号、第２の表示信号など）は、特定の向き（例えば、第１の向き、第２の向きなど）に対応する空間変換を含むことができる。そのような空間変換のいくつかの非限定的な例は、並進変換、回転変換、反射変換、拡張変換、アフィン変換、射影変換などを含むことができる。そのような例では、空間変換は、特定の向きに対応する仮想ディスプレイの変換された描写を取得するために仮想ディスプレイの描写に適用され得、装着型エクステンデッド・リアリティ機器は、仮想ディスプレイの変換された描写を提示し得る。一例では、表示信号（例えば、第１の表示信号、第２の表示信号など）は、仮想ディスプレイ（例えば、角度の指示、エクステンデッド・リアリティ環境における仮想ディスプレイの特定の点の位置の指示など）の所望の向きの指示を含むことができる。そのような場合、所望の向き（例えば、第１の向き、第２の向きなど）の指示を使用して、仮想ディスプレイの描写を変換して、所望の向きに対応する仮想ディスプレイの変換された描写を取得することができ、装着型エクステンデッド・リアリティ機器は、仮想ディスプレイの変換された描写を提示することができる。

例として、図４５Ａに示す典型的な一組の命令４５００は、プロセッサが第１の期間中に、第１の表示信号を装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）に出力するステップ４５０４を含むことができ、第１の表示信号は、装着型エクステンデッド・リアリティ機器に、第１の期間に第１の仮想ディスプレイ３９０４として第１の向きでコンテンツを仮想的に提示させるように構成される。

いくつかの開示された実施形態と一致して、動き信号は、第１の期間中に可動入力デバイスが配置された表面に対する可動入力デバイスの物理的動きを反映するように構成されてもよい。表面は、例えば、生物または無生物のオブジェクトの外部、上部、側部、外部、外側、または外側部分もしくは最上層を含むことができる。可動入力デバイスを表面上に配置することは、例えば、可動入力デバイスを表面上に置くこと、置くこと、置くこと、置くこと、または配置することを含んでもよい。例として、可動入力デバイスは、表面上に配置されるように構成されてもよく、動き信号は、可動入力デバイスが配置される表面に対する可動入力デバイスの物理的動きを反映するように構成されてもよい。一例では、表面は机またはテーブルの上部であってもよい。有利には、動き信号は、第１の期間中に可動入力デバイスが配置され得る机またはテーブルの表面に対する可動入力デバイス（例えば、キーボード）の物理的動きまたは動き（例えば、回転、変位、傾斜）を反映するように構成され得る。

例として、図３９は、第１の期間中の可動入力デバイス３９０２が配置された表面３９０６に対する可動入力デバイス３９０２（例えば、キーボード）の物理的向きおよび／または位置の反射動き信号を示す。図３９では、可動入力デバイス３９０２は、表面（例えば、机）の左前方に描かれている。図４０では、可動入力デバイス４００２が表面の右前方に描かれている。図４１では、動き信号は、第１の期間中に可動入力デバイス４１０２が配置された表面４１０６に対する可動入力デバイス４１０２の２つの物理的動き４１１４（例えば、傾斜または回転）を反映する（例えば、表面４１０６に平行な水平面と比較して正の角度だけ傾斜するか、または可動入力デバイス４１０２の中心の回転点を中心に時計回りに回転する）。図４２では、可動入力デバイス４２０２（任意選択的に、可動入力デバイス４２０２に関連付けられた少なくとも１つのセンサ４２０８を有する）は、表面の右側に示されている。一例では、可動入力デバイス４２０２は、異なる時点で可動入力デバイス３９０２および可動入力デバイス４００２と同じ入力デバイスであってもよく、仮想ディスプレイ４２１２は、異なる時点で第１の仮想ディスプレイ３９０４および第２の仮想ディスプレイ４０１０と同じ仮想ディスプレイであってもよく、および／または表面４２０６は、異なる時点で表面３９０６および表面４００６と同じ表面であってもよい。

いくつかの開示された実施形態は、第１の期間の前に可動入力デバイスの向きに基づいて第１の向きを決定することを含むことができる。このコンテキストで使用される可動入力デバイスの向きは、回転、変位、並進、位置、または位置のうちの少なくとも１つを含むことができる。例えば、第１の向きは、特定の位置および特定の方向に対する角度位置として決定されてもよく、特定の位置および／または特定の方向は、第１の期間の前の可動入力デバイスの向きに基づいて選択されてもよい。いくつかの実施形態では、第１の向きは、第１の期間の一部または一部の間、第１の期間の前などに決定されてもよい。いくつかの他の例では、第１の向きは、第１の期間中の可動入力デバイスの向きに基づいて決定されてもよい。例えば、第１の向きは、特定の位置および特定の方向に対する角度位置として決定されてもよく、特定の位置および／または特定の方向は、第１の期間中の可動入力デバイスの向きに基づいて選択されてもよい。同様に、第２の向きは、第２の期間の前、第２の期間中、第１の期間中などの可動入力デバイスの向きに基づいて決定されてもよい。

例として、図３９は、第１の期間中の可動入力デバイス３９０２（例えば、キーボード）の位置および／または向きを反映する１つまたは複数の動き信号を生成し得るセンサ３９０８（例えば、モーションセンサ）を示す。いくつかの開示された実施形態と一致して、少なくとも１つのプロセッサは、第１の期間の前または間の可動入力デバイス３９０２の向きに基づいて第１の仮想ディスプレイ３９０４の第１の向きを決定するようにさらに構成されてもよい。

いくつかの開示された実施形態と一致して、少なくとも１つのプロセッサは、第１の期間とは異なる第２の期間中に、装着型エクステンデッド・リアリティ機器に第２の表示信号を出力することを含んでもよいステップを実行するように構成され得る。第２の期間は、第１の期間とは異なる期間を指し、第２の表示信号は、第１の表示信号とは異なる表示信号を指すことができる。第２の表示信号は、第１の表示信号とは異なるアナログ信号またはデジタル信号を含んでもよい。

いくつかの実施形態では、第２の表示信号は、装着型エクステンデッド・リアリティ機器に、第１の向きとは異なる第２の向きでコンテンツを仮想的に提示させるように構成されてもよい。すなわち、第１の向きが特定の回転、変位、並進、または特定の位置回転、変位、並進、または特定の位置のうちの１つまたは複数に対応する場合には、第２の向きは、回転、変位、並進、および／または第１の向きと少なくともいくつかの点で異なる特定の位置のうちの少なくとも１つに対応することができ、例えば、第２の向きは、特定の位置および特定の方向（例えば、表面、オブジェクト、座標系、可動入力デバイスが配置されている表面、仮想環境の座標系など）に関する角度位置として決定することができる。少なくとも１つのプロセッサは、ディスプレイデバイスにテキスト、１つまたは複数の写真、スクリーンショット、メディアクリップ、または他のテキストもしくはグラフィックの主題を第２の向きで提示させるために表示信号を送信するように構成され得る。第２の向きは、基準軸または基準平面に対して任意の所望の角度で表示されたコンテンツを配置することを含むことができる。例えば、テキストコンテンツは、ユーザがテキストを読むことができるようにテーブルまたは床の表面と水平に位置合わせされるように表示されてもよい。別の例として、床のテーブルの水平面に対して所望の角度で傾斜するように画像を表示してもよい。例えば、第２の表示信号は、装着型エクステンデッド・リアリティ機器に、第１の向きとは異なる第２の向きおよび／または第１の位置とは異なる第２の位置にコンテンツを仮想的に提示させるように構成されてもよい。

例として、図４０は、図３９に示すように、第１の期間における第１の仮想ディスプレイ３９０４とは異なる第２の期間における可動入力デバイス４００２（例えば、キーボード）および第２の仮想ディスプレイ４０１０を示してもよい。例として、図４５Ａに示す典型的な一組の命令４５００は、プロセッサが、第１の期間とは異なる第２の期間中に、装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）に第２の表示信号を出力するステップ４５０６を含むことができ、第２の表示信号は、装着型エクステンデッド・リアリティ機器に、第１の仮想ディスプレイ３９０４としての第１の向きとは異なる第２の仮想ディスプレイ４０１０としての第２の向きでコンテンツを仮想的に提示させるように構成される。

いくつかの開示された実施形態と一致して、動き信号は、第１の期間の後および第２の期間の前に受信されてもよい。例えば、動き信号は、第１の期間の後で第２の期間の前の時点に受信されてもよい。すなわち、動き信号は、第１の期間と第２の期間との間にある時間に受信され得る。別の例では、動き信号は、第１の期間中に受信されてもよい。さらに別の例では、動き信号は、第２の期間中に受信されてもよい。追加の例では、動き信号は、第１の期間および第２の期間の前に受信されてもよい。一例では、第１の期間は、第２の期間よりも早くてもよい。別の例では、第１の期間は第２の期間より後であってもよい。他の開示された実施形態と一致して、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器が第２の期間中に追加の動き信号を受信することを可能にし、それによって装着型エクステンデッド・リアリティ機器がコンテンツの仮想提示を連続的に調整することを可能にすることを含んでもよいステップを実行するように構成され得る。このコンテキストで使用されるように、追加の動き信号は、他の受信された動き信号に加えて受信された信号を指すことができ、他の動き信号と共に、または他の動き信号から別々に受信され得る。このコンテキストで連続的に調整することは、ある期間内の一連の調整（例えば、較正および／または適応を変更する）を指すことができる。連続的な調整は、中断の介在の有無にかかわらず、シーケンスで発生する分離した個別の調整であってもよい。いくつかの実施形態では、第２の期間中に追加の動き信号を受信することができ、したがって、装着型エクステンデッド・リアリティ機器がコンテンツの仮想提示を連続的に調整することを可能にする。例えば、第２の期間中、装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）は、追加の動き信号を受信して、コンテンツの仮想提示の（例えば、サイズを変更する、タイプを変更する、任意の他の態様を変更する）を連続的に調整することができる。別の例として、コンテンツの仮想提示を連続的に調整することは、空間内の他の物理的または仮想的なオブジェクトを考慮に入れることができる（例えば、ユーザが可動入力デバイスを持って歩いているとき、壁、人、および他の仮想または物理オブジェクトなどの障害物を回避するためにコンテンツの位置および／または向きが変化する）。

いくつかの例では、物理オブジェクトが入力デバイスの環境内の特定の位置に配置され得るという指示を受信することができる。いくつかの例では、第１の装着型エクステンデッド・リアリティ機器に含まれる画像センサを使用して取り込まれた画像データを受信することができる。例えば、画像データは、画像センサから、第１の装着型エクステンデッド・リアリティ機器から、第１の装着型エクステンデッド・リアリティ機器の外部の中間デバイスから、メモリユニットなどから受信することができる。画像データは、環境内の特定の位置にある物理オブジェクトを検出するために解析され得る。別の例では、レーダ、ライダーまたはソナーセンサを使用して、環境内の特定の位置における物理オブジェクトの存在を検出することができる。いくつかの例では、第２の向きは、特定の位置に位置する物理オブジェクトに基づいて選択されてもよい。一例では、第２の向きは、仮想的に提示されたコンテンツが、第２の向きで提示されたときに、物理オブジェクトと衝突するように見えないように選択されてもよい。別の例では、第２の向きは、仮想的に提示されたコンテンツが、第２の向きで提示されたときに、（例えば、装着型エクステンデッド・リアリティ機器の位置に基づいて）装着型エクステンデッド・リアリティ機器のユーザに対して物理オブジェクトによって（完全にまたは部分的に）隠されないように選択されてもよい。一例では、特定の向きに提示された仮想的に提示されたコンテンツが、装着型エクステンデッド・リアリティ機器のユーザに対して物理オブジェクトによって隠されていることを判定するために、レイキャスティングアルゴリズムが使用され得る。さらに、第２の表示信号は、シーンの第２の視点の選択に基づくことができる。

いくつかの開示された実施形態と一致して、少なくとも１つのプロセッサは、可動入力デバイスの受信された動き信号に基づいて、第１の表示信号の出力と第２の表示信号の出力とを切り替えることを含んでもよいステップを実行するように構成され得る。このコンテキストで使用されるように、切り替えは、モノ、オブジェクト、位置、向き、信号、イベント、または仮想ディスプレイなどの２つ以上のアイテム間のシフト、遷移、修正、変更、または他の方法での変更を指すことができる。いくつかの実施形態では、第１の表示信号または第１の表示信号の出力と、第２の表示信号または第２の表示信号の出力との間の切り替えは、可動入力デバイス（例えば、キーボード）の受信した動き信号に基づくことができる。受信した動き信号は、位置、場所、向き、回転、または位置の他の同様の変化など、可動入力デバイスの一部またはすべての部分の物理的動きを反映することができる。少なくとも１つのプロセッサは、第１の表示信号の出力と第２の表示信号の出力とを切り替えるか否かを切り替えるように構成されてもよい。あるいは、受信した動き信号は、可動入力デバイスの一部または全部の物理的動きがないことを反映することができる。少なくとも１つのプロセッサは、受信した動き信号に基づいて、第１の表示信号または第１の表示信号の出力と、第２の表示信号または第２の表示信号の出力とを切り替えるか否かを切り替えるように構成されてもよい。例えば、可動入力デバイスの受信した動き信号は、第１の表示信号または第１の表示信号の出力から第２の表示信号または第２の表示信号の出力に切り替わる装着型エクステンデッド・リアリティ・デバイス（例えば、スマートグラス）を有することができる。それに加えて、またはその代わりに、可動入力デバイスの受信した動き信号は、装着型エクステンデッド・リアリティ・デバイスを、第２の表示信号または第２の表示信号の出力から第１の表示信号または第１の表示信号の出力に切り替えることができる。一例では、例えば、第１の表示信号を出力している間、可動入力デバイスの第１の受信した動き信号に応答して、ステップは、第１の表示信号の出力から第２の表示信号の出力に切り替えることを含むことができ、可動入力デバイスの第２の受信した動き信号に応答して、第１の表示信号の出力から第２の表示信号の出力への切り替えを保留することができる。別の例では、例えば、第２の表示信号を出力している間、可動入力デバイスの第３の受信した動き信号に応答して、ステップは、第２の表示信号の出力から第１の表示信号の出力に切り替えることを含むことができ、可動入力デバイスの第４の受信した動き信号に応答して、第２の表示信号の出力から第１の表示信号の出力への切り替えを保留することができる。いくつかの例では、第２の表示信号は、受信された動き信号に基づいて決定されてもよい。例えば、可動入力デバイスの１つの受信した動き信号に応答して、第１の値を第２の表示信号に対して選択することができ、可動入力デバイスの異なる受信した動き信号に応答して、第２の値を第２の表示信号に対して選択することができ、第２の値は第１の値とは異なり得る。いくつかの例では、第２の向きは、受信した動き信号に基づいて決定されてもよい。例えば、可動入力デバイスの１つの受信した動き信号に応答して、第２の向きの第１の角度が選択されてもよく、可動入力デバイスの異なる受信した動き信号に応答して、第２の向きの第２の角度が選択されてもよく、第２の角度は第１の角度と異なってもよい。

例として、図４５Ａに示す典型的な一組の命令４５００は、プロセッサが、可動入力デバイス３９０２の受信した動き信号に基づいて第１および第２の表示信号の出力を切り替えるステップ４５０８を含んでもよい。

いくつかの開示された実施形態は、可動入力デバイスの物理的動きが少なくとも１つのしきい値よりも大きいときに、第１の表示信号の出力と第２の表示信号の出力とを切り替えることを含むことができる。上述したように、少なくとも１つのしきい値は、基準または限界値、またはレベル、または基準または限界値またはレベルの範囲を指すことができる。動作中、可動入力デバイスの物理的動きの量が少なくとも１つのしきい値を超えたときに（または、特定のユースケースに応じて、それを下回るときに）、少なくとも１つのプロセッサは、第１のアクション過程をたどってもよく、可動入力デバイスの物理的動きの量がそれを下回るときに（または、特定のユースケースに応じて、それを超えたときに）、少なくとも１つのプロセッサは、第２のアクション過程をたどってもよい。少なくとも１つのしきい値の値は、予め決定されてもよく、または様々な考慮事項に基づいて動的に選択されてもよい。いくつかの非限定的な例は、１ミリメートルの変位、１インチの変位、１フィートの変位、または任意の他の変位量による物理的動きの所定の値である少なくとも１つのしきい値を含むことができる。別の例として、少なくとも１つのしきい値は、１°、５°、１０°、－１°、－５°、－１０°、または任意の他の角度の角運動の所定の値であってもよい。可動入力デバイスの動きの量が少なくとも１つのしきい値以上である場合、少なくとも１つのプロセッサは、第１の表示信号または第１の表示信号の出力と、第２の表示信号または第２の表示信号の出力とを切り替えてもよく、可動入力デバイスの動きの量が少なくとも１つのしきい値以下である場合、第１の表示信号または第１の表示信号の出力と、第２の表示信号または第２の表示信号の出力との切り替えは保留されてもよい。別の例では、可動入力デバイスの動きの量が少なくとも１つのしきい値以下である場合、少なくとも１つのプロセッサは、第１の表示信号または第１の表示信号の出力と、第２の表示信号または第２の表示信号の出力とを切り替えてもよい。

いくつかの実施形態では、少なくとも１つのしきい値は、傾斜しきい値、ロールしきい値、および／または横運動しきい値のうちの１つまたは複数の組み合わせであってもよい。いくつかの実施形態では、少なくとも１つのしきい値は、傾斜、ロール、または横運動しきい値の少なくとも１つのしきい値を含むことができる。あるいは、少なくとも１つのしきい値は、傾斜、ロール、および横運動しきい値の少なくとも２つまたは３つすべての運動を必要とするように構成されてもよい。例えば、少なくとも１つのしきい値が傾斜しきい値のみであるように構成されている場合、可動入力デバイス（例えば、キーボード）が物理的動きによって傾斜している場合、プロセッサは、第１の表示信号または第１の表示信号の出力と、第２の表示信号または第２の表示信号の出力との間、または第２の表示信号または第２の表示信号の出力と、第１の表示信号または第１の表示信号の出力との間を切り替えることができる。

いくつかの実施形態では、少なくとも１つのしきい値は、第１の期間中の可動入力デバイスからの仮想ディスプレイの距離に基づいて選択されてもよい。このコンテキストで使用される場合、距離は、２つのものの間の長さ、サイズ、空間、スパン、幅、または任意の量の空間を指すことができる。一例では、少なくとも１つのしきい値は、第１の期間中の可動入力デバイスからの仮想ディスプレイの距離の関数であってもよい。そのような関数のいくつかの非限定的な例は、線形関数、非線形関数、多項式関数、単調関数、単調増加関数、対数関数、連続関数、非連続関数などを含むことができる。一例では、機能は、装着型エクステンデッド・リアリティ機器、装着型エクステンデッド・リアリティ機器のユーザ、可動入力デバイス、可動入力デバイスが配置される表面のタイプ、可動入力デバイスが配置される表面の１つまたは複数の寸法、または可動入力デバイスが表面に配置されているか否かのうちの少なくとも１つに基づいて選択されてもよい。いくつかの他の例では、少なくとも１つのしきい値は、第１の期間中の可動入力デバイスからの仮想ディスプレイの距離と、第１の期間中の可動入力デバイスからの仮想ディスプレイ間の角度との関数であってもよい。

例として、図３９は、第１のディスプレイ３９０４と可動入力デバイス３９０２との間の距離３９０９を示す。いくつかの実施形態では、少なくとも１つのしきい値は、第１の期間中の可動入力デバイス３９０２（例えば、キーボード）からの第１の仮想ディスプレイ３９０４の距離３９０９に基づいて選択されてもよい。

いくつかの実施形態では、少なくとも１つのしきい値は、第１の期間中の可動入力デバイスからの仮想ディスプレイの向きに基づいて選択されてもよい。例えば、少なくとも１つのしきい値は、第１の期間中の可動入力デバイス（例えば、キーボード）に対する仮想ディスプレイの向き（例えば、直立、上下逆さま、平行、垂直、または任意の他の向き）および／または位置（例えば、中央、角部、側面、面、または任意の他の位置）に基づいて選択されてもよい。例えば、少なくとも１つのしきい値は、直立しているときと比較して上下逆さまになっている仮想ディスプレイの向きおよび／または位置、または、机の中央にあるときと比較して表面（例えば、机）の角部にある仮想ディスプレイの向きおよび／または位置に基づいて、より高い値に設定されてもよい（例えば、可動入力デバイスの１つの向きおよび／または位置は、異なる向きおよび／または位置よりも大きいしきい値レベルを必要とする場合がある）。あるいは、少なくとも１つのしきい値は、上下逆さまと比較して直立している仮想ディスプレイの向きおよび／または位置、または表面の角部にあると比較して中央にある仮想ディスプレイに基づいて、より低い値に設定されてもよい（例えば、可動入力デバイスの１つの向きおよび／または位置は、異なる向きおよび／または位置よりも小さいしきい値レベルを必要とする場合がある）。

例として、図４２は、第１の期間における配向および位置にある仮想ディスプレイ４２１２を有するシーン４２００を示す。いくつかの実施形態では、少なくとも１つのしきい値は、第１の期間中の仮想ディスプレイ４２１２（例えば、９０°回転され、表面４２０６の側面で）の向きおよび／または位置に基づいて選択されてもよい。

いくつかの実施形態では、少なくとも１つのしきい値がコンテンツのタイプに基づいて選択される。いくつかの例では、コンテンツタイプは、形式にかかわらず、画像、テキスト、シンボル、コード、混合メディア、または提示される任意の他の情報を含むことができる。例として、少なくとも１つのしきい値は、コンテンツが絵ではなく文字である場合に、より高い値を割り当てられてもよい。別の例として、少なくとも１つのしきい値は、コンテンツがテキストまたは絵ではなくマルチメディアタイプのコンテンツである場合に、より低い値を割り当てられてもよい。いくつかの例では、コンテンツタイプはプライベートおよびパブリックコンテンツを含んでもよい。例として、少なくとも１つのしきい値は、コンテンツがプライベートではなくパブリックである場合に、より高い値を割り当てられてもよい。

いくつかの開示された実施形態と一致して、可動入力デバイスは、表面上に配置されるように構成されてもよく、少なくとも１つのしきい値の値は、表面のタイプに基づいてもよい。このコンテキストで使用される場合、表面のタイプは、種類、多様性、分類、寸法、または共通の特性を有する他のカテゴリを指すことができる。表面のタイプのいくつかの非限定的な例は、テーブル、机、ベッド、床、カウンタ、壁、および表面を有する任意の他のオブジェクトを含むことができる。他の例は、一時的な（例えば、ダイニングテーブル）および／または固定された（例えば、オフィス机）表面のタイプを含むことができる。例えば、可動入力デバイス（例えば、キーボード）は、オフィス机の表面に配置されるように構成されてもよく、少なくとも１つのしきい値のより高い値は、表面のタイプ（例えば、オフィス机）に基づいてもよい。あるいは、可動入力デバイスは、ダイニングテーブルの表面に配置されるように構成されてもよく、少なくとも１つのしきい値の下限値は、表面のタイプ（例えば、ダイニングテーブル）に基づいてもよい。例えば、少なくとも１つのしきい値のより高い値は、机の固有の品質（例えば、一時的な表面と比較して、より大きなせん断力または可動入力デバイスの物理的動きに対するより大きな抵抗）のために、固定面であるオフィスの机に関連付けられ得る。別の例は、ダイニングテーブルの固有の品質（例えば、固定面と比較して、可動入力デバイスの物理的動きに対するより低いせん断力またはより低い抵抗）のために、一時的な表面であるダイニングテーブルに関連付けられた少なくとも１つのしきい値のより低い値を含むことができる。追加的または代替的に、少なくとも１つのしきい値は、表面のタイプに基づく場合、その特定の表面上で可動入力デバイスを使用する一時性のために、より低いまたはより高い値を有するように構成されてもよい（例えば、可動入力デバイスは、ダイニングテーブルと比較してオフィス机でより頻繁に使用されてもよい）。一例では、少なくとも１つのしきい値は、表面の少なくとも１つの寸法の関数であってもよい。そのような関数のいくつかの非限定的な例は、線形関数、非線形関数、多項式関数、単調関数、単調増加関数、対数関数、連続関数、非連続関数などを含むことができる。

例として、図３９は、第１の仮想ディスプレイ３９０４、可動入力デバイス３９０２、および表面３９０６を示す。一例では、可動入力デバイス３９０２は、表面３９０６（例えば、机の表面）に配置されてもよく、少なくとも１つのしきい値の値は、表面の種類に基づいてもよい。例えば、可動入力デバイス３９０２は、一時的な表面３９０６（例えば、ダイニングテーブル）または固定表面３９０６（例えば、オフィス机）に配置されてもよく、しきい値は、表面の種類に基づいて割り当てられてもよい。

いくつかの開示された実施形態と一致して、装着型エクステンデッド・リアリティ機器は、複数の可動入力デバイスとペアリングされるように構成されてもよく、第１の向きは、装着型エクステンデッド・リアリティ機器とペアリングされた複数の可動入力デバイスのうちの１つに関連付けられたデフォルト仮想表示構成に基づいて決定されてもよい。このコンテキストで使用されるように、複数の可動入力デバイスは、本明細書で説明するように、２つ、３つ、２つ以上、３つ以上、４つ以上、多数、様々、またはいくつかの可動入力デバイスを指すことができる。いくつかの非限定的な例は、２つの可動入力デバイス、３つの可動入力デバイス、４つの可動入力デバイス、または任意の数の可動入力デバイスと対になった装着型エクステンデッド・リアリティ機器を含むことができる。装着型エクステンデッド・リアリティ機器が２つ以上の可動入力デバイスとペアリングされている場合、仮想コンテンツの第１の向きは、装着型エクステンデッド・リアリティ機器とペアリングされた可動入力デバイスのいずれか１つまたは２つ以上に関連付けられたデフォルト仮想表示構成に基づいて決定され得る。例えば、装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）は、複数の可動入力デバイス（例えば、キーボードおよびマウス）とペアリングされるように構成されてもよく、第１の向きは、装着型エクステンデッド・リアリティ機器とペアリングされたキーボードまたはマウスのいずれかに関連付けられたデフォルトの仮想表示構成に基づいて決定されてもよい。有利には、異なる可動入力デバイスは、異なるデフォルト仮想表示構成に関連付けられてもよい。例えば、マウスのデフォルトの仮想表示構成は、ユーザの右側の仮想ディスプレイ、仮想コンテンツの任意のタイプの色および／またはフォントスキーム、より小さいディスプレイサイズ、またはマウスに関連付けられた任意の他の所定の構成で設定され得る。他の例は、仮想コンテンツのための任意のタイプの色および／またはフォントスキームを有するユーザの視界のすぐ前に仮想ディスプレイを用いて設定され得るキーボードのためのデフォルト仮想表示構成、より大きいディスプレイサイズを有する自動紹介音声メッセージ（例えば、ユーザを歓迎する人）、またはキーボードに関連付けられた任意の他の所定の構成もしくは複数の構成を含んでもよい。

例として、図４４は、可動入力デバイス３９０２に関連付けられた少なくとも１つのセンサ４４０８を有する可動入力デバイス４４０２と、仮想ディスプレイ４４１２と、表面４４０６と、ある時間期間における第２の可動入力デバイス４４１６と、第２の可動入力デバイス４４１６に関連付けられた仮想ディスプレイ４４１９とを有するシーン４４００を示す。いくつかの実施形態は、装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）が複数の可動入力デバイス（可動入力デバイス４４０２（例えば、キーボード）および第２の可動入力デバイス４４１６（例えば、マウス））とペアリングされてもよく、第１の向きが、装着型エクステンデッド・リアリティ機器とペアリングされた複数の可動入力デバイスのうちの１つに関連付けられたデフォルト仮想ディスプレイ４１１２の構成に基づいて決定されてもよいように構成され得る。

いくつかの開示された実施形態と一致して、コンテンツは、可動入力デバイスを使用して入力されたテキスト入力の視覚的提示を可能にするように構成された仮想ディスプレイであってもよい。このコンテキストで使用される場合、テキスト入力は、ユーザまたは他のデバイスによってシステムに入力された任意の単語、文字、または文字列を指すことができる。テキスト入力のいくつかの非限定的な例は、「ＨＥＬＬＯ」、「ＨＩ」、「Ａ」、「Ｈｅｌｌｏ Ｗｏｒｌｄ」、「ＡＢＣ」、または文字、単語、もしくは句読点の任意の他の組み合わせを含んでもよい。例えば、仮想ディスプレイは、可動入力デバイス（例えば、キーボード）を使用して入力されたテキスト入力（例えば、「ＨＥＬＬＯ」、「ＨＩ」、「Ａ」、「Ｈｅｌｌｏ Ｗｏｒｌｄ」）を、例えばユーザインターフェース、テキストエディタなどで表示するように構成されてもよい。

いくつかの開示された実施形態は、仮想ディスプレイが装着型エクステンデッド・リアリティ機器の視野外にあるときに、可動入力デバイスを使用して入力されたテキスト入力の仮想ディスプレイの外側に視覚的指示を提供することを含んでもよい。このコンテキストで使用される場合、視覚的指示は、何かを示す任意の視覚的標識、インジケータ、マーク、信号、または他の標識もしくは情報を指すことができる。視野は、視線、視覚線、周辺視野、周辺視覚、または任意の所与の瞬間に見られる観察可能な世界の範囲を指すことができる。視野のいくつかの非限定的な例は、２１０度の前方向きの水平円弧、１５０度、６０度、４５度などを含むことができる。視覚的指示のいくつかの非限定的な例は、「！」、「警告（ＷＡＲＮＩＮＧ）」、「視野外（Ｏｕｔｓｉｄｅ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）」、点滅光、図形記号、または任意の他の同様のテキストもしくは図形記号、画像、ビデオ、もしくは単語を含むことができる。例えば、ユーザは、可動入力デバイス（例えば、キーボード）を使用し、テキスト入力を入力することができ、仮想ディスプレイ（例えば、画面）が装着型エクステンデッド・リアリティ機器（例えば、スマートグラス）の視野（例えば、２１０度前方を向いた水平円弧）外にあるとき、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器に記号「！」を仮想ディスプレイの外側の視覚的表示として表示させる。一例では、可動入力デバイスが装着型エクステンデッド・リアリティ機器の視野内にあるとき、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器に可動入力デバイスを介して視覚的指示を提供させることができる。一例では、可動入力デバイスが装着型エクステンデッド・リアリティ機器の視野内にあり、仮想ディスプレイが装着型エクステンデッド・リアリティ機器の視野外にある場合、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器に可動入力デバイスを介して視覚的指示を提供させることができる。一例では、可動入力デバイスと仮想ディスプレイの両方が装着型エクステンデッド・リアリティ機器の視野外にある場合、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器に、可動入力デバイスを介さずに仮想ディスプレイの外側に視覚的指示を提供させてもよい。

図４５Ａは、可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための典型的な方法４５００を示す。方法４５００は、入力ユニット２０２（図３参照）、ＸＲユニット２０４（図４参照）、および／またはリモート処理ユニット２０８（図５参照）に関連付けられた１つまたは複数の処理デバイス（例えば、３６０、４６０、または５６０）によって実行されてもよい。開示された方法４５００のステップは、ステップの並べ替えおよび／またはステップの挿入もしくは削除を含む任意のやり方で修正することができる。方法４５００は、可動入力デバイスに関連付けられた動き信号を受信するステップ４５０２を含むことができる。動き信号は、可動入力デバイスの物理的動きを反映することができる。方法４５００は、第１の期間中に、第１の表示信号を装着型エクステンデッド・リアリティ機器に出力するステップ４５０４を含んでもよい。第１の表示信号は、装着型エクステンデッド・リアリティ機器に第１の向きでコンテンツを仮想的に提示させるように構成されてもよい。方法４５００は、第２の期間中に、第２のディスプレイ信号を装着型エクステンデッド・リアリティ機器に出力するステップ４５０６を含むことができる。第２の表示信号は、装着型エクステンデッド・リアリティ機器に、第１の向きとは異なる第２の向きでコンテンツを仮想的に提示させるように構成されてもよい。方法４５００は、可動入力デバイスの受信した動き信号に基づいて第１および第２の表示信号の出力を切り替えるステップ４５０８を含んでもよい。

図４５Ｂは、可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための別の典型的なプロセスを示す図である。方法４５５０は、入力ユニット２０２（図３参照）、ＸＲユニット２０４（図４参照）、および／またはリモート処理ユニット２０８（図５参照）に関連付けられた１つまたは複数の処理デバイス（例えば、３６０、４６０、または５６０）によって実行されてもよい。開示された方法４５５０のステップは、ステップの並べ替えおよび／またはステップの挿入もしくは削除を含む任意のやり方で修正することができる。方法４５５０は、可動入力デバイスに関連付けられた動き信号を受信するステップ４５５２を含むことができる。動き信号は、可動入力デバイスの物理的動きを反映することができる。方法４５５０は、第１の期間中に、第１の表示信号を装着型エクステンデッド・リアリティ機器に出力するステップ４５５４を含んでもよい。第１の表示信号は、装着型エクステンデッド・リアリティ機器に第１の向きでコンテンツを仮想的に提示させるように構成されてもよい。方法４５５０は、第２の期間中に、第２のディスプレイ信号を装着型エクステンデッド・リアリティ機器に出力するステップ４５５６を含むことができる。第２の表示信号は、装着型エクステンデッド・リアリティ機器に、第１の向きとは異なる第２の向きでコンテンツを仮想的に提示させるように構成されてもよい。方法４５５０は、ステップ４５６０を含むことができ、可動入力デバイスの動きが少なくとも１つのしきい値よりも大きい場合、ステップ４５５８が実行されてもよく、ステップは、可動入力デバイスの受信した動き信号に基づいて第１および第２の表示信号の出力を切り替える。

通常のエクステンデッド・リアリティ機器はユーザに仮想オブジェクトを提示することができるが、装着型エクステンデッド・リアリティ機器を使用して物理キーボードを周囲の表面に拡張することが望ましい場合がある。このタイプの拡張ディスプレイは、ユーザがその物理的限界を超えてキーボードと対話することを可能にし得る。さらに、物理キーボードとそれに対応する仮想キーボードとの間の空間的向きを維持することにより、ユーザを混乱させることなく、ユーザが物理キーボードを動かす必要があるときに、ユーザが仮想キーボードとの対話を継続することを可能にすることができる。以下の開示は、物理キーボードを仮想的に拡張するための様々なシステム、方法、および非一時的コンピュータ可読媒体を説明する。

物理キーボードは、ＱＷＥＲＴＹキーボード（例えば、メカニカルキーボード、メンブレンキーボード、フレキシブルキーボード）もしくは他のタイプのコンピュータキーボード（例えば、ＤｖｏｒａｋおよびＣｏｌｅｍａｋ）、コード化キーボード、ワイヤレスキーボード、キーパッド、キーベースの制御パネル、または別の配列の制御キー、視覚入力デバイス、または物理的形態で提供されるテキストを入力するための任意の他の機構のうちの１つまたは組み合わせを含むことができる。物理的形態は、仮想的または一時的な存在とは対照的に、有形の、触知可能な、具体的な、または任意の他のやり方で材料を有するオブジェクトを含むことができる。

物理キーボードを仮想的に拡張することは、物理キーボードを仮想環境にコピーすること、複製すること、継続すること、開発すること、向上させること、増強すること、補足すること、接続すること、関連付けること、取り付けること、関連付けること、貼付すること、相関すること、結合すること、タグ付けすること、インターフェースすること、または任意の他の方法で物理キーボードを仮想環境にリンクすることを含んでもよい。仮想環境は、物理的に存在しない環境に存在するという知覚をユーザに提供するシミュレートされた非物理的環境を含むことができる。例えば、物理キーボードを仮想的に拡張することは、仮想環境で物理キーボードの形態を複製することを含んでもよい。別の例として、物理キーボードを仮想的に拡張することは、仮想環境内のオブジェクトを物理キーボードに関連付けることを含んでもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信することを含むことができ、画像データは表面に配置されたキーボードを表す。画像センサは、本開示のデバイスまたはシステムのいずれかに含まれてもよく、近赤外、赤外、可視、および紫外スペクトルの光信号を検出し、電気信号に変換することができる任意のデバイスであってもよい。画像センサの例は、デジタルカメラ、電話カメラ、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）またはＮ型金属酸化膜半導体（ＮＭＯＳ、ライブＭＯＳ）のアクティブピクセルセンサを含むことができる。電気信号は、画像データを生成するために使用され得る。本開示と一致して、画像データは、画素データストリーム、デジタル画像、デジタルビデオストリーム、取り込まれた画像から導出されたデータ、および１つまたは複数の３Ｄ画像、３Ｄ画像のシーケンス、３Ｄビデオ、または仮想３Ｄ表現を構築するために使用され得るデータを含むことができる。

本開示の一態様によれば、エクステンデッド・リアリティ機器は、例えば、スマートグラス、スマートコンタクトレンズ、ヘッドセット、またはエクステンデッド・リアリティを人間に提示する目的で人間が装着する任意の他のデバイスを含むヘッドマウントデバイスなどの装着型デバイスであり得る。他の装着型エクステンデッド・リアリティ機器は、ホログラフィックプロジェクタ、または拡張現実（ＡＲ）、仮想現実（ＶＲ）、複合現実（ＭＲ）、または任意の没入型体験を提供することができる任意の他のデバイスまたはシステムを含むことができる。装着型エクステンデッド・リアリティ機器の典型的な構成要素は、立体ヘッドマウントディスプレイ、立体ヘッドマウントサウンドシステム、ヘッドモーショントラッキングセンサ（例えば、ジャイロスコープ、加速度計、磁力計、画像センサ、構造化光センサなど）、ヘッドマウントプロジェクタ、アイトラッキングセンサ、およびウェアラブルデバイスに結合することができる任意の他のデバイスのうちの少なくとも１つを含むことができる。

表面は、領域、外部、側面、上部、平面、面、シェル、カバー、またはオブジェクトもしくは本体の任意の他の外側部分もしくは上側境界を含むことができる。一例では、表面は、キーボードが配置されるテーブルの上部であってもよい。別の例では、表面は、キーボードがユーザの膝の上に配置されるように、キーボードのユーザの膝であってもよい。表面は、キーボードの面積よりも大きい、小さい、または等しい面積を包含し得る。一例では、表面はテーブルの上部であってもよい。いくつかの実施形態では、テーブルの上部はキーボードよりも小さくてもよい。他の実施形態では、テーブルの上部はキーボードより大きくてもよい。さらに他の実施形態では、テーブルの上部はキーボードと同じサイズであってもよい。表面は、単一の連続的な表面または複数の表面の任意の組み合わせを含むことができる。例えば、表面は、第２のテーブルの上部に隣接する第１のテーブルの上部を含むことができる。一例として、図４７では、表面４７１０はテーブルの上部として示されている。

いくつかの開示された実施形態は、キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定することを含むことができる。キーボードを装着型エクステンデッド・リアリティ機器とペアリングすることは、キーボードを装着型エクステンデッド・リアリティ機器に結合、結合、リンク、貼付、結合、インターフェース、結合、または他の任意の方法で接続することを含んでもよい。キーボードと装着型エクステンデッド・リアリティ機器との間のペアリングは、有線または無線のペアリングのいずれかまたは１つまたは複数の組み合わせを含むことができる。ペアリングは、有線ペアリングまたは無線ペアリングのいずれかを含むことができる。有線ペアリングは、同軸ケーブル、イーサネット、またはキーボードと装着型エクステンデッド・リアリティ機器との間の有線接続を介して情報を送信する任意の他のチャネルを利用することができる。無線ペアリングは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（商標）、またはキーボードと装着型エクステンデッド・リアリティ機器との間の有線接続なしに情報を送信する任意の他のチャネルを利用することができる。別の例では、ペアリングは、例えば追加のコンピュータ化されたシステムおよび／または通信ネットワークを介して、キーボードと装着型エクステンデッド・リアリティ機器との間の間接通信を利用することができる。追加のコンピュータ化されたシステムは、装着型エクステンデッド・リアリティ機器を介して提示されるエクステンデッド・リアリティ環境を制御することができる。さらに別の例では、キーボードと装着型エクステンデッド・リアリティ機器とのペアリングは、キーボードを使用してタイプされたテキストを、装着型エクステンデッド・リアリティ機器を介して、例えば装着型エクステンデッド・リアリティ機器を介して提示される仮想ディスプレイ、例えばテキストエディタ、および／または仮想ディスプレイ上に提示されるユーザインターフェースに提示させる構成を含んでもよい。

キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定することは、近接、圧力、光、超音波、位置、光電、動き、力、電気、接触、非接触、または任意の他のタイプのセンサからの信号を検出することを含んでもよい。いくつかの例では、キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定することは、装着型エクステンデッド・リアリティ機器に含まれる画像センサによって取り込まれた画像内のキーボードの検出に基づくことができる。いくつかの例では、キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定することは、装着型エクステンデッド・リアリティ機器に含まれる画像センサによって取り込まれた画像内のキーボードに関連付けられた視覚コードの検出に基づくことができる。いくつかの例では、キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定することは、装着型エクステンデッド・リアリティ機器に含まれるセンサによって取り込まれたデータ内のキーボードに含まれる発光体によって発せられた光の検出に基づくことができる。

いくつかの開示された実施形態は、キーボードと連動して仮想コントローラの表示を生じさせるための入力を受信することを含むことができる。入力は、ユーザ入力またはセンサ入力またはデータ入力を含んでもよい。いくつかの実施形態では、入力は、ユーザ入力、またはユーザが入力デバイスを介して入力を入力する入力であってもよい。入力デバイスは、ユーザまたはユーザの環境から入力を受信し、データを計算デバイスに提供するように構成された任意の物理デバイスを含むことができる。計算デバイスに提供されるデータは、デジタル形式および／またはアナログ形式であってもよい。一実施形態では、入力デバイスは、処理デバイスによってアクセス可能なメモリデバイスにユーザから受信した入力を記憶することができ、処理デバイスは、解析のために記憶されたデータにアクセスすることができる。別の実施形態では、入力デバイスは、例えばバスを介して、または入力デバイスから処理デバイスにデータを転送するように構成された別の通信システムを介して、データを処理デバイスに直接提供することができる。いくつかの例では、入力デバイスによって受信される入力は、キー押下、触覚入力データ、モーションデータ、位置データ、方向データ、または計算のために供給するための任意の他のデータを含むことができる。入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力を受け取ることができる別の機構を含むことができる。他の実施形態では、入力は、センサ入力、またはセンサデータがシステムへの入力として使用される入力であってもよい。センサデータは、位置センサ、圧力センサ、温度センサ、力センサ、振動センサ、光電センサ、または環境の任意の属性を測定することができる任意の他のタイプのデバイスのいずれかまたは組み合わせからのデータを含むことができる。いくつかの他の例では、キーボードと連動して仮想コントローラの表示を生じさせるための入力は、外部デバイスから受信されてもよく、メモリユニット（例えば、構成ファイルから）から受信されてもよく、以下同様である。

仮想コントローラは、物理的に存在しないコントローラと対話するという知覚をユーザに提供するシミュレートされた非物理的コントローラを含むことができる。仮想コントローラは、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、トラックパッド、タッチスクリーン、ジョイスティック、ボタン、スライダ、ダイヤル、キーパッド、テンキー、または仮想環境内のユーザによって操作され得る別の機構のいずれか１つまたは組み合わせを含んでもよい。いくつかの実施形態では、仮想コントローラは、物理キーボードと同じ形態であってもよい。他の実施形態では、仮想コントローラは、物理キーボードとは異なる形態であってもよい。図４６は、本開示のいくつかの実施形態と一致する仮想コントローラの一例を示す。仮想コントローラは、仮想キーボード４６１０、仮想ボリュームバー４６１２、および仮想タッチパッド４６１４を含むことができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器を介して、表面上の第１の位置に仮想コントローラを表示することを含むことができ、第１の位置では、仮想コントローラはキーボードに対して元の空間的向きを有する。空間的向きは、場所、位置、距離、角度、配置、位置合わせ、傾斜、または別のオブジェクトに対するオブジェクトの方向の任意の他の指示を含むことができる。例えば、図４７は、仮想コントローラが表面４７１０上の第１のキーボード位置４７１８に配置されたキーボード４７１２に対して元の空間的向き４７２０を有するように、表面４７１０上の第１の位置４７１４に表示された仮想コントローラ４７１６を示す。

いくつかの開示された実施形態は、表面上の異なる位置へのキーボードの動きを検出することを含んでもよい。キーボードの動きを検出することは、近接、圧力、光、超音波、位置、光電、動き、力、電場、接触、非接触、または任意の他の検出可能な特性を感知するセンサからの信号を検出することを含んでもよい。一例では、キーボードの動きを検出することは、視覚オブジェクト追跡アルゴリズムを使用して画像を解析することによって（例えば、装着型エクステンデッド・リアリティ環境に含まれる画像センサを使用して取り込まれた画像を解析することによって）動きを検出することを含んでもよい。キーボードの動きの検出は、本明細書に記載されるように、他のセンサおよび／または技術を使用して実施され得る。いくつかの実施形態では、検出は、表面上のキーボードの任意の量の動きを検出することを含んでもよい。他の実施形態では、検出は、しきい値動きの量を超える異なる位置へのキーボードの動きを検出することを含んでもよい。

いくつかの開示された実施形態は、キーボードの検出された動きに応答して、表面上の第２の位置に仮想コントローラを提示することを含むことができ、第２の位置では、キーボードに対する仮想コントローラの後続の空間的向きは元の空間的向きに対応する。元の空間的向きに対応する後続の空間的方向は、同じまたは類似の位置、位置、角度、配置、位置合わせ、傾斜、またはキーボードに対する仮想コントローラの方向の任意の他の指示を共有する空間的方向を含むことができる。例えば、図４７は、仮想コントローラが表面４７１０上の第１のキーボード位置４７１８に配置されたキーボード４７１２に対して元の空間的向き４７２０を有するように、表面４７１０上の第１の位置４７１４に表示された仮想コントローラ４７１６を示す。キーボード４７１２が表面４７１０上の異なるキーボード位置４７２２に動くと、仮想コントローラ４７１６は表面４７１０上の第２の位置４７２４に提示され、キーボード４７１２に対する仮想コントローラ４７１６の後続の空間的向き４７２０は元の空間的向き４７２０に対応する。この例では、キーボード４７１２は、水平移動によって異なるキーボード位置４７２２に動いた。

別の例として、図４８は、表面４８１０上の第１の位置４８１８に表示された仮想コントローラ４８１６を示し、仮想コントローラは、表面４８１０上の第１のキーボード位置４８１４に配置されたキーボード４８１２に対して元の空間的向き４８２０を有する。キーボード４８１２が表面４７１０上の異なるキーボード位置４８２２に動くと、仮想コントローラ４８１６は表面４８１０上の第２の位置４８２４に提示され、キーボード４８１２に対する仮想コントローラ４８１６の後続の空間的向き４８２０は元の空間的向き４８２０に対応する。この例では、キーボード４８１２は、回転運動によって異なるキーボード位置４８２２に動いた。

さらに、キーボード４８１２と共に動く仮想コントローラ４８１６の部分は、キーボード４８１２にドッキングされた仮想コントローラ４８１６の部分に依存し得る。ドッキングは、仮想コントローラの一部をキーボードに固定、結合、結合、接続、または任意の他の方法でリンクすることを含んでもよい。例えば、図４６に示す仮想コントローラは、仮想キーボード４６１０、仮想ボリュームバー４６１２、および仮想タッチパッド４６１４を含み、これらはすべてキーボードにドッキングされてもよい。この例では、仮想キーボード４６１０、仮想ボリュームバー４６１２、および仮想タッチパッド４６１４は、キーボードの動きに応じて動く。しかしながら、仮想ボリュームバー４６１２の隣のオブジェクトなどのドッキング解除されたオブジェクトは、キーボードの動きに応答して動かなくてもよい。

いくつかの例では、表面上の異なる位置へのキーボードの動きの検出前に、第１の位置での特定の動きタイプの手の動きを検出することは特定のアクションをトリガすることができるが、第２の位置での特定の動きタイプの手の動きを検出することは特定のアクションをトリガしないことがある。さらに、表面上の異なる位置へのキーボードの動きの検出後に、第２の位置で特定の動きタイプの手の動きを検出することは、特定のアクションをトリガすることができるが、第１の位置で特定の動きタイプの手の動きを検出することは、特定のアクションをトリガすることができない。一例では、特定のアクションは、例えば以下に説明するように、検出された手の動きに基づいてユーザインターフェース要素に関連付けられた提示パラメータを変更することを含むことができる。一例では、特定のアクションは、例えば以下に説明するように、検出された手の動きに基づいて仮想カーソルの位置を変更することを含むことができる。

いくつかの実施形態では、仮想コントローラはユーザインターフェース要素であってもよく、いくつかの開示された実施形態は、第２の位置での手の動きを検出することと、検出された手の動きに基づいてユーザインターフェース要素に関連付けられた提示パラメータを変更することとを含んでもよい。ユーザインターフェース要素は、ボリュームバー、タッチパッド、またはユーザと仮想コントローラとの間の任意の他の対話点を含むことができる。手の動きは、手と表面との接触、表面上の手のクリック、表面上のダブルクリック、表面上の指のドラッグ、表面上の２本の指のドラッグ、および任意の指または手の他の部分と表面との任意の他の相互作用を含むことができる。提示パラメータは、提示されたオブジェクトの向き、サイズ、位置、位置、角度、色、寸法、体積、または任意の他の知覚可能な状態を含むことができる。いくつかの実施形態では、提示パラメータの変更は、手の動きのタイプおよび／または手の動きのパラメータ（例えば、持続時間、距離など）に基づいてもよい。例えば、ユーザが仮想ボリュームバー上で指を垂直上方にドラッグしたことに応答して、提示されたシーンの音量を増加させることができ、音量は、ユーザが仮想バー上で指を垂直方向にドラッグした量に比例して増加させることができる。他の実施形態では、提示パラメータは、手の動きのタイプに基づいて複数の代替提示パラメータから選択されてもよい。例えば、ユーザインターフェース要素はタッチパッドであってもよく、提示されたシーンの部分のサイズを調整するために１本指の手の動きが使用されてもよく、提示されたシーンの部分の向きを調整するために２本指の動きが使用されてもよい。

いくつかの実施形態では、仮想コントローラは仮想トラックパッドであってもよく、いくつかの開示された実施形態は、第２の位置での手の動きを検出することと、検出された手の動きに基づいて仮想カーソルの位置を変更することとを含んでもよい。仮想トラックパッドは、仮想カーソルの位置を変更するために、ユーザの手の任意の部分の位置および／または動きを変換する任意のタイプの仮想インターフェースを含むことができる。手の動きは、手と表面との接触、表面上の手のクリック、表面上のダブルクリック、表面上の指のドラッグ、表面上の２本の指のドラッグ、および任意の指または手の他の部分と表面との任意の他の相互作用を含むことができる。例えば、ユーザは、表面の第２の位置で指を左から右にドラッグすることができ、仮想カーソルは、この検出された手の動きに応答して仮想トラックパッド上で左から右に動くことができる。別の例として、ユーザは、表面の第２の位置で時計回りの動きで指で円を描くことができ、仮想カーソルは、この検出された手の動きに応じて仮想トラックパッド上で時計回りに動くことができる。

いくつかの実施形態では、受信した入力は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサからの画像データを含むことができ、いくつかの開示された実施形態は、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける画像データ値から決定することを含むことができる。例えば、画像データを解析して表面上の第１の位置を選択し、それによってキーボードに対する仮想コントローラの元の空間的向きを特徴付ける値を決定することができる。別の例では、画像データを解析して、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける値を選択することができ、表面上の第１の位置は、選択された値に基づいて選択され得る。一例では、第１の画像データに応答して、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける第１の値が選択されてもよく、第２の画像データに応答して、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける第２の値が選択されてもよく、第２の値は第１の値と異なってもよい。一例では、画像データの少なくとも一部の畳み込みを計算して、計算された畳み込みの結果値を取得することができる。さらに、計算された畳み込みの第１の結果値に応答して、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける第１の値が選択されてもよく、計算された畳み込みの第２の結果値に応答して、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける第２の値が選択されてもよく、第２の値は第１の値と異なってもよい。別の例では、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける値は、計算された畳み込みの結果値の関数であってもよい。いくつかの例では、物理キーボードの画像から物理キーボードに対する仮想コントローラの空間的向きを特徴付ける値を選択するために、訓練例を使用して機械学習モデルを訓練することができる。そのような訓練例の一例は、サンプル物理キーボードに対するサンプル仮想コントローラの所望の空間的向きを特徴付ける値を示すラベルと共に、サンプル物理キーボードの画像およびサンプル仮想コントローラのタイプの表示を含むことができる。訓練された機械学習モデルは、キーボードに対する仮想コントローラの元の空間的向きを特徴付ける値を決定するために、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから受信した画像データを解析するために使用され得る。いくつかの例では、機械学習モデルは、物理キーボードの画像に基づいて仮想コントローラの位置を選択するために訓練例を使用して訓練され得る。そのような訓練例の一例は、サンプル物理キーボードに対するサンプル仮想コントローラの所望の位置を示すラベルと共に、サンプル物理キーボードのサンプル画像およびサンプル仮想コントローラのタイプの指示を含むことができる。訓練された機械学習モデルは、表面上の第１の位置を決定するために、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから受信した画像データを解析するために使用され得る。いくつかの開示された実施形態は、仮想コントローラとキーボードとの間の距離を特徴付ける値をさらに含むことができる。他の例では、値は、仮想コントローラとキーボードとの間の角度、仮想コントローラとキーボードとの間の高さ、仮想コントローラとキーボードとの間のサイズ比（または異なる）などを特徴付けることができる。

いくつかの開示された実施形態は、受信した入力を使用して、キーボードからの仮想コントローラの距離、キーボードに対する仮想コントローラの角度方向、仮想コントローラが配置されているキーボードの側面、または仮想コントローラのサイズのうちの少なくとも１つを判定することを含むことができる。一例では、第１の入力に応答して、キーボードからの仮想コントローラの第１の距離が選択されてもよく、第２の入力に応答して、キーボードからの仮想コントローラの第２の距離が選択されてもよく、第２の距離は第１の距離と異なってもよい。一例では、第１の入力に応答して、キーボードに対する仮想コントローラの第１の角度方向が選択されてもよく、第２の入力に応答して、キーボードに対する仮想コントローラの第２の角度方向が選択されてもよく、第２の角度方向は第１の角度方向と異なってもよい。一例では、第１の入力に応答して、仮想コントローラを配置するキーボードの第１の側が選択されてもよく、第２の入力に応答して、仮想コントローラを配置するキーボードの第２の側が選択されてもよく、第２の側は第１の側と異なってもよい。一例では、第１の入力に応答して、仮想コントローラの第１のサイズが選択されてもよく、第２の入力に応答して、仮想コントローラの第２のサイズが選択されてもよく、第２のサイズは第１のサイズと異なってもよい。いくつかの例では、機械学習モデルは、入力から仮想コントローラを配置するためのプロパティ（例えば、キーボードからの距離、キーボードに対する向き、仮想コントローラを配置するキーボードの側面、仮想コントローラのサイズなど）を選択するために訓練例を使用して訓練することができる。そのような訓練例の一例は、サンプル仮想コントローラの配置についての所望の特性を示すラベルと共に、サンプル入力およびサンプル仮想コントローラのタイプの指示を含むことができる。訓練された機械学習モデルを使用して、入力を解析し、キーボードからの仮想コントローラの距離、キーボードに対する仮想コントローラの角度方向、仮想コントローラが配置されるキーボードの側面、または仮想コントローラのサイズのうちの少なくとも１つを決定することができる。

いくつかの実施形態では、キーボードは検出器を含むことができ、キーボードの動きの検出は検出器の出力に基づくことができる。検出器は、受動型赤外線センサ、マイクロ波センサ、エリア反射センサ、超音波センサ、振動センサ、またはオブジェクトの動きを測定するために使用され得る任意の他のタイプのデバイスを含むことができる。キーボードの動きを検出するために使用される検出器の出力は、温度、反射、距離、振動、またはオブジェクトの動きの任意の他の指示を含むことができる。例えば、検出器は超音波モーションセンサであってもよく、キーボードの動きは、超音波のパルスを介して測定される反射に基づいて検出されてもよい。一例では、検出器は屋内測位センサであってもよく、検出器の出力はキーボードの位置であってもよい。別の例では、検出器は画像センサを含むことができ、画像センサを使用して取り込まれた画像は、キーボードの動きを検出するためにエゴモーションアルゴリズムを使用して解析することができる。さらに別の例では、検出器は、キーボードが配置される表面に向けられた光学式マウスセンサ（非機械式追跡エンジンとしても知られる）を含んでもよく、検出器の出力は、表面に対するキーボードの動きを示してもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから取得されたデータに基づいてキーボードの動きを検出することを含むことができる。例えば、画像センサは、飛行時間（ＴＯＦ）法を介してオブジェクトまでの距離を測定するように設計された相補型金属酸化膜半導体（ＣＭＯＳ）センサであってもよく、ＣＭＯＳセンサからの画像データは、ＴＯＦ法を使用して仮想コントローラとキーボードとの間の距離を決定するために使用されてもよい。この例では、ＴＯＦ方式を使用して仮想コントローラとキーボードとの間の測定された距離を使用して、キーボードの動きを検出することができる。一例では、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから取得されたデータは、キーボードの動きを検出するために視覚オブジェクト追跡アルゴリズムを使用して解析され得る。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、複数の異なるキーボードとペアリングするように構成されてもよく、これらの実施形態は、キーボード選択を受信することと、受信したキーボード選択に基づいて複数の選択肢の中から仮想コントローラを選択することと、キーボード選択に基づいて仮想コントローラを表示することと、を含んでもよい。例えば、受信したキーボード選択に基づいて、異なるキーボードと異なる仮想コントローラの選択とを関連付けるデータ構造にアクセスして、複数の選択肢の中から仮想コントローラを選択することができる。いくつかの実施形態では、キーボード選択に基づいて仮想コントローラを表示することは、複数の表面を示すデータにアクセスすることと、キーボードが配置された複数の表面のうちの特定の表面を識別することと、識別された表面に基づいて表示する仮想コントローラを選択することとをさらに含むことができる。例えば、異なる表面を異なる仮想コントローラの選択に関連付けるデータ構造は、特定の表面に基づいてアクセスされて、どの仮想コントローラを表示するかを選択することができる。複数の異なるキーボードは、タイプ、数、またはサイズによって互いに異なるキーボードを含んでもよい。キーボード選択は、ユーザ入力または自動入力に基づくキーボードの選択を含むことができる。

ユーザ入力は、複数の異なるキーボードからキーボードを選択するために、クリック、タップ、スワイプ、またはいくつかの開示された実施形態で使用可能なシステムの任意の要素との任意の対話を含むことができる。例えば、ユーザは、３０個のキーを有するキーボードと５０個のキーを有するキーボードとの選択を提示されてもよく、ユーザは、３０個のキーを有するキーボード上のボタンを押してキーボードを装着型エクステンデッド・リアリティ機器とペアリングすることにより、３０個のキーを有するキーボードを選択してもよい。別の例として、キーボードの同じ選択により、ユーザが装着型エクステンデッド・リアリティ機器によって提示された選択されたキーボードの仮想画像をクリックすることによってキーボード選択を達成することができる。

自動入力は、あるタイプのキーボードと所望のタイプのインタラクションまたは仮想コントローラとの互換性に基づいて、複数の異なるキーボードからのキーボードの自動選択を含むことができる。例えば、ユーザは、ボリュームバーのないキーボードとボリュームバーのあるキーボードとの選択を提示されてもよく、装着型エクステンデッド・リアリティ機器は、装着型エクステンデッド・リアリティ機器によって提示されたシーンがユーザが調整したい音声を含む場合に、ペアリングのためにボリュームバーのあるキーボードを自動的に選択してもよい。

いくつかの実施形態では、キーボード選択は、複数の異なるキーボードからのキーボードの選択が、キーボードのタイプと対話のタイプまたは所望の仮想コントローラとの互換性に基づくキーボードの自動選択と、ユーザ入力に基づく選択の確認との両方に基づくように、ユーザ入力と自動入力との組み合わせに基づくことができる。例えば、ユーザは、ボリュームバーのないキーボードとボリュームバーのあるキーボードとの選択を提示されてもよく、装着型エクステンデッド・リアリティ機器は、装着型エクステンデッド・リアリティ機器によって提示されたシーンがユーザが調整したい音声を含む場合に、ペアリングのためにボリュームバーのあるキーボードを自動的に選択してもよい。次いで、ユーザは、装着型エクステンデッド・リアリティ機器によって提示された仮想確認ボタンをクリックすることによってこの自動選択を確認することができる。

いくつかの開示された実施形態は、第２の位置に関連付けられた表面領域に欠陥がないことを判定するために、画像データを解析することと、第２の位置に関連付けられた表面領域に欠陥がないという判定に応答して、装着型エクステンデッド・リアリティ機器に、第２の位置に仮想コントローラを仮想的に提示させることと、第２の位置に関連付けられた表面領域が欠陥を含むことを判定するために、画像データを解析することと、第２の位置に関連付けられた表面領域が欠陥を含むという判定に応答して、装着型エクステンデッド・リアリティ機器に、第２の位置における仮想コントローラの提示を回避するためのアクションを実行させることと、を含むことができる。欠陥は、亀裂、変形、傷、不規則性、しみ、変色、キンク、マーク、パッチ、スペック、しみ、汚点、汚れ、粗いスポット、弱いスポット、または表面上の任意の他の欠陥を含むことができる。第２の位置に関連付けられた表面領域が欠陥のないかどうかに基づいて仮想コントローラの提示を調整することは、仮想コントローラの提示が背景の欠陥のために変形または他の方法で損なわれないことを保証するために望ましい場合がある。例えば、画像データを解析して、第２の位置に関連付けられた表面領域に汚れがないと判定することができる。第２の位置に関連付けられた表面領域に汚れがないと判定された場合、装着型エクステンデッド・リアリティ機器は、第２の位置に仮想的に仮想コントローラを提示することができる。しかしながら、第２の位置に関連付けられた表面領域がしみを含むと判定された場合、装着型エクステンデッド・リアリティ機器は、第２の位置における仮想コントローラの提示を回避するためのアクションを実行することができる。さらに、第２の位置に関連付けられた表面領域に欠陥がないかどうかの判定は、特定のしきい値寸法内の欠陥の許容誤差を含むことができる。例えば、５ミリメートル未満の幅を有するしみは、欠陥のないものとして分類することができ、装着型エクステンデッド・リアリティ機器が第２の位置に仮想コントローラを仮想的に提示することを可能にし、５ミリメートル以上の幅を有するしみは、欠陥として分類することができ、装着型エクステンデッド・リアリティ機器が、第２の位置に仮想コントローラが提示されるのを回避するためのアクションを実行することを可能にする。

いくつかの実施形態では、第２の位置での仮想コントローラの提示を回避するためのアクションは、第２の位置に近接する第３の位置の別の表面領域に仮想コントローラを仮想的に提示することを含む。第２の位置に近接する第３の位置の別の表面領域は、第２の位置における仮想コントローラの提示を少なくとも部分的に回避する位置の任意の領域を含むことができる。例えば、第２の位置に関連付けられた表面領域内で欠陥が検出された場合、装着型エクステンデッド・リアリティ機器は、仮想的に仮想コントローラを欠陥の右または左に提示することができる。

いくつかの実施形態では、第２の位置での仮想コントローラの提示を回避するためのアクションは、装着型エクステンデッド・リアリティ機器を介して、第２の位置が仮想コントローラの表示に適していないことを示す通知を提供することを含んでもよい。通知は、アラーム、ビープ音、テキストボックス、色の変更、または装着型エクステンデッド・リアリティ機器のユーザが知覚可能な任意の他の音声、視覚、触覚、または任意のタイプの感覚指示のいずれかまたは組み合わせを含むことができる。例えば、第２の位置に関連付けられた表面領域で欠陥が検出された場合、装着型エクステンデッド・リアリティ機器は、仮想コントローラの形状で仮想的にユーザに仮想消灯オブジェクトを提示することができる。

いくつかの開示された実施形態は、第２の位置に縁部がないことを判定するために、画像データを解析することと、第２の位置に縁部がないという判定に応答して、装着型エクステンデッド・リアリティ機器に、第２の位置に仮想コントローラを仮想的に提示させることと、第２の位置が縁部を含むことを判定するために、画像データを解析することと、第２の領域が縁部を含むという判定に応答して、装着型エクステンデッド・リアリティ機器に、第２の位置における仮想コントローラの提示を回避するためのアクションを実行させることと、を含むことができる。縁部は、境界、縁、角部、端、フリンジ、ライン、リップ、マージン、アウトスカート、周囲、リム、サイド、しきい値、先端、縁、曲がり、境界、縁、輪郭、縁石、フレーム、周辺、または表面の任意の他の外側限界を含むことができる。第２の位置に関連付けられた表面領域に縁部があるか否かに基づいて仮想コントローラの提示を調整することは、表面の縁部を越えて存在するオブジェクトまたは背景のために仮想コントローラの提示が変形または他の方法で損なわれないことを保証するために望ましい場合がある。例えば、画像データを解析して、第２の位置に関連付けられた表面領域に角部がないと判定することができる。第２の位置に関連付けられた表面領域に角部がないと判定された場合、装着型エクステンデッド・リアリティ機器は、第２の位置に仮想的に仮想コントローラを提示することができる。しかしながら、第２の位置に関連付けられた表面領域が角部を含むと判定された場合には、装着型エクステンデッド・リアリティ機器は、靴、ゴミ、または他の煩雑なアイテムなど、表面の境界を越えて存在するオブジェクトによる提示された仮想画像の汚染を回避するために、第２の位置における仮想コントローラの提示を回避するためのアクションを実行することができる。

いくつかの実施形態では、第２の位置における仮想コントローラの提示を回避するためのアクションは、第２の位置に近接する第３の位置に仮想コントローラを仮想的に提示することを含む。第２の位置に近接する第３の位置の別の表面領域は、第２の位置における仮想コントローラの提示を少なくとも部分的に回避する位置の任意の領域を含むことができる。例えば、第２の位置に関連付けられた表面領域内で右角部が検出された場合、装着型エクステンデッド・リアリティ機器は、検出された角部の左に仮想的に仮想コントローラを提示することができる。

いくつかの実施形態では、第２の位置での仮想コントローラの提示を回避するためのアクションは、装着型エクステンデッド・リアリティ機器を介して通知を提供することを含み、通知は、第２の位置が仮想コントローラの表示に適していないことを示す。通知は、アラーム、ビープ音、テキストボックス、色の変更、または装着型エクステンデッド・リアリティ機器のユーザが知覚可能な任意の他の音声、視覚、触覚、または任意のタイプの感覚指示のいずれかまたは組み合わせを含むことができる。例えば、第２の位置に関連付けられた表面領域内で角部が検出された場合、装着型エクステンデッド・リアリティ機器は、仮想コントローラの形状で仮想的にユーザに仮想消灯オブジェクトを提示することができる。

いくつかの開示された実施形態は、第２の位置に物理オブジェクトがないことを判定するために、画像データを解析することと、第２の位置に物理オブジェクトがないという判定に応答して、装着型エクステンデッド・リアリティ機器に、第２の位置に仮想コントローラを仮想的に提示させることと、第２の位置が少なくとも１つの物理オブジェクトを含むことを判定するために、画像データを解析することと、第２の位置が少なくとも１つの物理オブジェクトを含むという判定に応答して、装着型エクステンデッド・リアリティ機器に、物理オブジェクトと仮想コントローラとの制御妨害干渉を回避するためのアクションを実行させることと、を含むことができる。物理オブジェクトは、鉛筆、紙、電話、または表面自体の一体要素ではない表面上の任意の他の本体を含むことができる。第２の位置に関連付けられた表面領域に物理オブジェクトがないか否かに基づいて仮想コントローラの提示を調整することは、背景内の煩雑なオブジェクトのために仮想コントローラの提示が変形または他の方法で損なわれないことを確実にすると共に、物理オブジェクトと仮想コントローラとの制御を妨げる干渉を回避するために望ましい場合がある。物理オブジェクトと仮想コントローラとの相互作用を制御妨害することは、仮想コントローラとの通信またはアクションを妨害または妨害する物理オブジェクトとの任意の通信またはアクションを含むことができる。例えば、画像データを解析して、第２の位置に関連付けられた表面領域に電話がないことを判定することができる。第２の位置に関連付けられた表面領域に電話がないと判定された場合、装着型エクステンデッド・リアリティ機器は、第２の位置に仮想コントローラを仮想的に提示することができる。しかしながら、第２の位置に関連付けられた表面領域が電話を含むと判定された場合、装着型エクステンデッド・リアリティ機器は、電話とのユーザの対話と仮想コントローラとのユーザの対話との間に混乱を生じさせることを回避するために、電話と仮想コントローラとの制御妨害干渉を回避するためのアクションを実行することができる。

いくつかの実施形態では、第２の位置における仮想コントローラの提示を回避するためのアクションは、物理オブジェクトの表面上に仮想コントローラを仮想的に提示することを含む。このタイプのアクションは、物理オブジェクトが、物理オブジェクトと仮想コントローラとの著しい制御妨害相互作用に対応しないタイプである場合に望ましい場合がある。例えば、物理オブジェクトは、ユーザが紙に入力していないので、ユーザが仮想キーボードと対話するのと同じ方法でユーザが対話しない紙であってもよい。この例では、用紙と仮想コントローラとの制御妨害を回避するためのアクションは、用紙の表面に仮想コントローラを仮想的に提示することであってもよい。他の実施形態と同様に、アクションはまた、オブジェクトが仮想コントローラとの対話に影響を及ぼし得ることを示す通知を、装着型エクステンデッド・リアリティ機器を介して提供することを含むことができる。通知は、アラーム、ビープ音、テキストボックス、色の変更、または装着型エクステンデッド・リアリティ機器のユーザが知覚可能な任意の他の音声、視覚、触覚、または任意のタイプの感覚指示のいずれかまたは組み合わせを含むことができる。例えば、第２の位置に関連付けられた表面領域内で電話が検出されると、装着型エクステンデッド・リアリティ機器は、仮想コントローラの形状で仮想的にユーザに仮想消灯オブジェクトを提示することができる。

いくつかの開示された実施形態は、第１の位置における表面のタイプを決定するために、画像データを解析することと、第１の位置における表面のタイプに基づいて仮想コントローラの第１のサイズを選択することと、第１のサイズで表面上の第１の位置に仮想コントローラを提示することと、第２の位置における表面のタイプを決定するために、画像データを解析することと、第２の位置における表面のタイプに基づいて仮想コントローラの第２のサイズを選択することと、第２のサイズで表面上の第２の位置に仮想コントローラを提示することと、を含むことができる。表面のタイプは、表面の色、サイズ、テクスチャ、摩擦係数、または任意の他の態様を含むことができる。一例では、所与の位置における表面のタイプに基づいて仮想コントローラのサイズを調整することは、仮想コントローラが空間内に収まることを確実にするために望ましい場合がある。例えば、表面は、テーブルの非長方形の上部であってもよく、上部は異なる位置で異なる幅を有する。この例では、画像データを解析して、第１の位置における表面のサイズを幅５フィートに決定し、第１の位置における表面の５フィートの幅に基づいて仮想コントローラの５フィートの幅を選択することができる。この例の仮想コントローラは、５フィートの幅で表面上の第１の位置に提示されてもよい。この例における仮想コントローラの提示は、第２の位置における表面のサイズを３フィートに決定するために画像データを解析することと、第２の位置における表面の３フィート幅に基づいて仮想コントローラの３フィート幅を選択することとをさらに含むことができる。この例では、仮想コントローラは、３フィート幅で表面上の第２の位置に提示されてもよい。別の例では、所与の位置における表面のタイプに基づいて仮想コントローラのサイズを調整することは、表面と相互作用するときに触覚応答に対する仮想コントローラのサイズの調整を確実にするために望ましい場合がある。例えば、表面の摩擦係数が大きいほど、仮想コントローラのサイズは小さくてもよい。いくつかの例では、視覚的分類アルゴリズムを使用して、表面上の位置（例えば、第１の位置、第２の位置など）に対応する画像データの一部を解析し、それを複数の代替クラスのうちの１つに分類することができ、各クラスは表面のタイプに対応することができ、それによって第１の位置および／または第２の位置における表面のタイプを判定する。さらに、第１の位置における表面の第１の決定されたタイプに応答して、１つのサイズが仮想コントローラの第１のサイズとして決定されてもよく、第１の位置における表面の第２の決定されたタイプに応答して、異なるサイズが仮想コントローラの第１のサイズとして決定されてもよい。さらに、第２の位置における表面の第３の決定されたタイプに応答して、１つのサイズが仮想コントローラの第２のサイズとして決定されてもよく、第２の位置における表面の第４の決定されたタイプに応答して、異なるサイズが仮想コントローラの第２のサイズとして決定されてもよい。

いくつかの開示された実施形態は、物理キーボードを仮想的に拡張するためのシステムを含むことができ、システムは、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信し、画像データが表面に配置されたキーボードを表し、キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定し、キーボードに連動して仮想コントローラの表示をさせるための入力を受信し、装着型エクステンデッド・リアリティ機器を介して、表面上の第１の位置に仮想コントローラを表示し、第１の位置では、仮想コントローラがキーボードに対して元の空間的向きを有し、表面上の異なる位置へのキーボードの動きを検出し、キーボードの検出された動きに応答して、表面上の第２の位置に仮想コントローラを提示し、第２の位置では、キーボードに対する仮想コントローラの後続の空間的向きが元の空間的向きに対応する、ように構成された少なくとも１つのプロセッサを含む。

いくつかの開示された実施形態は、物理キーボードを仮想的に拡張するための方法を含んでもよい。図４９は、本開示のいくつかの実施形態と一致する、物理キーボードを仮想的に拡張するための典型的な方法４９００を示す。ステップ４９１０に示すように、方法４９００は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップを含むことができ、画像データは表面に配置されたキーボードを表す。方法４９００はまた、ステップ４９１２に示すように、キーボードが装着型エクステンデッド・リアリティ機器とペアリングされていると判定するステップを含むことができる。ステップ４９１４は、方法４９００がまた、キーボードと連動して仮想コントローラの表示を生じさせるための入力を受信することを含むことができることを示す。方法４９００はまた、ステップ４９１６に示すように、装着型エクステンデッド・リアリティ機器を介して、表面上の第１の位置に仮想コントローラを表示するステップを含むことができ、第１の位置では、仮想コントローラはキーボードに対して元の空間的向きを有する。方法４９００は、ステップ４９１８に示すように、表面上の異なる位置へのキーボードの動きを検出するステップをさらに含むことができる。ステップ４９２０に示すように、方法４９００はまた、キーボードの検出された動きに応答して、表面上の第２の位置に仮想コントローラを提示するステップを含むことができ、第２の位置では、キーボードに対する仮想コントローラの後続の空間的向きは元の空間的向きに対応する。

ユーザが異なるモビリティステータスにあるとき、仮想コンテンツは異なって消費され得る。例えば、仮想コンテンツは、ユーザが静止しているとき（例えば、同じ場所に留まる、横になる、座る、立つなど）と、ユーザが動いているとき（例えば、ある場所から別の場所への動き、歩行、走行など）と、で異なって消費され得る。エクステンデッド・リアリティ環境でおよび／または装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを消費するとき、仮想コンテンツは物理環境における安全なおよび／または効率的な動きを妨げる可能性がある。例えば、仮想コンテンツは、物理的環境の要素を隠すまたは不明瞭にすることができ、仮想コンテンツは、物理的環境の要素からユーザの注意を引き付けることができるなどである。したがって、ユーザが動いているとき、動きに対する仮想コンテンツの干渉を最小限に抑えるために、仮想コンテンツの提示を制限することが望まれる場合がある。一方、ユーザが静止している場合、ユーザの関与、効率、および／または没入度を高めるために、このような制限を回避することが望ましい場合がある。したがって、ユーザが静止しているときとユーザが動いているときとで異なる仮想コンテンツの提示を有することが望まれる。異なる提示を手動で切り替えることは、面倒な場合がある。さらに、ユーザは切り替えを回避し、したがって動いている間に怪我をする危険性がある。したがって、ユーザのモビリティステータスに基づいて異なる提示を自動的に切り替えることが望ましい。

いくつかの開示された実施形態は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、仮想コンテンツ表示をモビリティステータスと調整するための動作を実行させる命令を含む非一時的コンピュータ可読媒体を含むことができる。仮想コンテンツは、仮想オブジェクト、無生物仮想コンテンツ、経時的にまたはトリガに応答して変更するように構成された生物仮想コンテンツ、仮想２次元コンテンツ、仮想３次元コンテンツ、物理環境の一部または物理オブジェクト上の仮想オーバーレイ、物理環境または物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理環境の仮想表現、仮想文書、仮想キャラクタまたはペルソナ、仮想コンピュータ画面（本明細書では仮想ディスプレイとも呼ばれる）、仮想ウィジェット、または仮想的に情報を表示するための任意の他のフォーマットを含むことができる。本開示と一致して、仮想コンテンツは、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含むことができる。一実施形態では、仮想コンテンツは、限定された領域内のコンピュータによってレンダリングされ、特定のタイプのオブジェクト（例えば、無生物の仮想オブジェクト、生物の仮想オブジェクト、仮想家具、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など）を表すように構成された視覚的提示である仮想オブジェクトを含むことができる。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変更を模倣するように、状態オブジェクトへの変更またはオブジェクトの視野角の変更を反映するように変更し得る。

モビリティステータスは、位置、角度、位置、速度、加速度、活動レベル、活動タイプ、または動きもしくは動き不足の任意の指示を含むことができる。例えば、モビリティステータスは、歩行状態、歩行速度、または歩行加速度を含むことができる。別の例として、モビリティステータスは、座っている状態または座っている期間を含んでもよい。仮想コンテンツ表示をモビリティステータスと調整することは、仮想コンテンツの表示をモビリティステータスに関連付けること、関連付けること、相関させること、結合すること、修正すること、制御すること、または任意の他の方法でリンクすることを含むことができる。例えば、仮想コンテンツ表示をモビリティステータスと調整することは、特定のモビリティステータスが存在するときに特定のタイプの仮想コンテンツを表示することを含むことができる。別の例として、仮想コンテンツ表示をモビリティステータスと調整することは、特定のモビリティステータスが存在するときに指定された期間にわたって仮想コンテンツを表示することを含むことができる。さらに別の例では、仮想コンテンツ表示をモビリティステータスと調整することは、特定のモビリティステータスが存在するときに仮想コンテンツ表示の特定の部分を表示または非表示にすることを含むことができる。追加の例では、仮想コンテンツ表示をモビリティステータスと調整することは、サイズ、位置、不透明度、明るさなどのモビリティステータスに基づいて仮想コンテンツ表示の提示のプロパティを変更することを含むことができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するために、複数のユーザ・モビリティ・ステータスを複数の表示モードに関連付ける規則にアクセスすることを含むことができる。規則は、コマンド、方向、公式、ガイド、モデル、方向、手順、仕様、または状態もしくはアクションを管理する任意の他の原理を含むことができる。規則にアクセスすることは、規則を取得すること、収集すること、フェッチすること、参照すること、または任意の他の方法で規則を取得すること、調べること、もしくは検索することを含むことができる。例えば、規則は、その規則を照会することによってデータベースからアクセスされ得る。いくつかの例では、クエリは、条件が満たされることによってトリガされてもよい。他の例では、クエリはユーザによってトリガされてもよい。一例では、１つまたは複数の規則にアクセスすることは、１つまたは複数の規則に対応するアルゴリズムを定義するコンピュータ命令にアクセスすることを含むことができる。別の例では、１つまたは複数の規則にアクセスすることは、モビリティステータスに基づいて表示モードの検索を可能にするように構成された表示モードにモビリティステータスを関連付けるデータ構造（マップデータ構造、辞書データ構造など）にアクセスすることを含むことができる。ユーザ・モビリティ・ステータスは、位置、角度、位置、速度、加速度、活動レベル、活動タイプ、または別のオブジェクトの任意のそのような指示とは対照的に、ユーザの動きまたは動きの欠如の任意の指示を含むことができる。例えば、ユーザ・モビリティ・ステータスは、ユーザの歩行状態、歩行速度、または歩行加速度を含むことができる。別の例として、モビリティステータスは、ユーザの座っている状態またはユーザが座っている期間を含むことができる。表示モードは、色、明るさ、不透明度、角度、視点、視認性、ディスプレイの領域、ディスプレイのサイズ、示されたオブジェクトのタイプの指示、示されたオブジェクトの数、またはディスプレイの任意の他の視覚的態様を含むことができる。例えば、表示モードは、情報が隠されずに提示されている文書を含むことができる。別の例では、表示モードは、ぼかしによって不明瞭にされたいくつかの部分と不明瞭にされていない他の部分とで提示されている文書を含むことができる。さらに別の例では、第１の表示モードは、第１のサイズおよび第１の領域における仮想コンテンツ（特定の仮想オブジェクトなど）の提示を含むことができ、第２の表示モードは、第２のサイズ（第１のサイズとは異なってもよい）および第２の領域（第１の領域とは異なってもよい）における同じ仮想コンテンツ（例えば、特定の仮想オブジェクト）の提示を含むことができる。

いくつかの実施形態では、アクセスされた規則は、表示モードを、座位状態、立位状態、歩行状態、走行状態、サイクリング状態、または運転状態のうちの少なくとも２つを含むユーザ・モビリティ・ステータスに関連付けることができる。着座状態は、椅子に座っている、車に座っている、床に座っている、または任意の表面に座っているユーザに関連付けられた任意の他の状態を含むことができる。直立状態は、ユーザがまっすぐに立っている状態、立ち上がっている状態、伸びている状態、またはユーザの足によって支持される直立位置もしくはほぼ直立位置を有するかもしくは維持しているユーザに関連付けられた任意の他の状態を含むことができる。歩行状態は、ハイキング、遠足、パレード、ステップ、散歩、ぶらぶら歩き、大股歩き、またはユーザが徒歩で移動する状態に関連付けられた任意の他の状態を含むことができる。走行状態は、ユーザが競走、競走、突進、疾走、ダッシュ、ジョギング、スプリントする状態、またはユーザが歩いているよりも速い速度で歩いていることに関連付けられた任意の他の状態を含むことができる。サイクリング状態は、自転車に乗っている、自転車に座っている、運動用自転車に乗っている、または運動用自転車に座っているユーザの状態を含むことができる。自転車は、任意の数の車輪を含むことができることを理解されたい。例えば、自転車は、一輪車、二輪車、三輪車、または任意の他のタイプの自転車を含むことができる。運転状態は、車両を運転しているユーザ、車両に座っているユーザ、車両を始動しているユーザ、または任意のタイプの自動車と対話しているユーザに関連付けられた任意の他の状態を含むことができる。

いくつかの実施形態では、アクセスされる規則は、ユーザ・モビリティ・ステータスを、作業モード、娯楽モード、スポーツ活動モード、アクティブモード、スリープモード、追跡モード、静止モード、プライベートモード、またはパブリックモードのうちの少なくとも２つを含む複数の表示モードに関連付けることができる。作業モードは、文書、スプレッドシート、メッセージ、割り当て、または目的または結果を達成するために行われる精神的または身体的努力を含む任意の活動に関連し得る任意の他の情報を含む表示を含む表示モードであり得る。娯楽モードは、テレビ、映画、画像、ゲーム、または娯楽もしくは楽しみの提供または提供のいずれかを含む任意の活動に関連し得る任意の他の情報を含むディスプレイを含むディスプレイモードであり得る。スポーツ活動モードは、ゲーム、運動データ、チーム統計、プレイヤ統計、または個人もしくはチームが他の人または他の人と競争する身体運動およびスキルを含む任意の活動に関連し得る任意の他の情報を含む表示を含む表示モードであり得る。アクティブモードは、健康統計、心拍数、代謝、速度、個人記録、身長、体重、または健康および健康を維持または改善するために実行され得る身体的努力を必要とする任意の活動に関連し得る任意の他の情報を含むディスプレイを含むディスプレイモードであり得る。スリープモードは、睡眠時間、睡眠周期、睡眠状態、睡眠障害、または個人の目が閉じられて個人が意識不明になる自然な安静状態を含む任意の活動に関連し得る任意の他の情報を含むディスプレイを含むディスプレイモードであり得る。追跡モードは、健康追跡装置、心拍数計、天候追跡装置、または任意のタイプの情報の経過を追跡することに関連し得る任意の他の情報を含む表示を含む表示モードであり得る。固定モードは、テレビ番組、映画、文書、または座ったもしくは座った姿勢のユーザにとって適切または望ましい可能性がある任意の他のタイプの情報を含むディスプレイを含むディスプレイモードであり得る。プライベートモードは、ぼやけた部分、黒く塗りつぶされた部分、もしくは不明瞭な部分を含むディスプレイ、またはそのアクセスもしくは使用を１人の特定の人もしくは人のグループに制限するように提示される任意の他のタイプの情報を含むディスプレイモードであり得る。パブリックモードは、隠されていない部分、広く入手可能な情報、ウェブサイト、または誰でも関連するかまたはアクセスすることができる任意の他のタイプの情報を含むディスプレイを含むディスプレイモードであり得る。

いくつかの実施形態では、複数の表示モードのそれぞれは、複数の表示パラメータの値の特定の組み合わせに関連付けられてもよく、動作は、少なくとも１つの表示モードに関連付けられた表示パラメータの値を調整するためにユーザからの入力を受信することをさらに含んでもよい。表示パラメータは、視覚的提示に関連付けられた任意の値またはデータを含むことができる。いくつかの実施形態では、複数の表示パラメータは、不透明度レベル、輝度レベル、配色、サイズ、向き、解像度、表示された機能、またはドッキング挙動の少なくともいくつかを含むことができる。例えば、プライベート表示モードは、不透明度レベルおよび輝度レベルの値の特定の組み合わせに関連付けられてもよく、その結果、プライベート表示モードでは、表示された情報はあまり見えない可能性がある。ユーザから入力を受信することは、ユーザまたはユーザの環境から入力を受信し、データを計算デバイスに提供するように構成された任意の物理デバイスとの任意のユーザ対話を含むことができる。計算デバイスに提供されるデータは、デジタル形式および／またはアナログ形式であってもよい。一実施形態では、入力デバイスは、処理デバイスによってアクセス可能なメモリデバイスにユーザから受信した入力を記憶することができ、処理デバイスは、解析のために記憶されたデータにアクセスすることができる。別の実施形態では、入力デバイスは、例えばバスを介して、または入力デバイスから処理デバイスにデータを転送するように構成された別の通信システムを介して、データを処理デバイスに直接提供することができる。いくつかの例では、入力デバイスによって受信される入力は、キー押下、触覚入力データ、モーションデータ、位置データ、方向データ、または計算のために供給するための任意の他のデータを含むことができる。入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力を受け取ることができる別の機構を含むことができる。表示パラメータの値を調整することは、値を増加、減少、置換、除去、または任意の他の方法で変更することを含むことができる。例えば、表示パラメータの値を調整するためにユーザからの入力を受信することは、ユーザがキーボードに５の値を入力してディスプレイに関連付けられた４のズーム値を置き換えることを含むことができ、変更はよりズームインされたディスプレイをもたらす。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのセンサから第１のセンサデータを受信することを含むことができ、第１のセンサデータは、第１の期間中の装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映することができる。ユーザのモビリティステータスを反映するセンサデータは、位置、位置、角度、速度、加速度、仰角、心拍数、または動きまたは動きの欠如に関連付けられた物理特性を検出または測定する任意のデバイスによって取得可能な任意の他の情報を含むことができる。例えば、モビリティステータスを反映するセンサデータは、その測定された速度で動くユーザを反映する速度測定値を含むことができる。別の例では、モビリティステータスを反映するセンサデータは、ある位置から別の位置に動くユーザを反映する位置の変化の測定値を含むことができる。別の例として、モビリティステータスを反映するセンサデータは、ユーザが運動していることを示す心拍数測定値、またはユーザが座っていることを示す心拍数測定値を含むことができる。期間は、サイクル、日付、期間、スパン、ストレッチ、期間、間隔、または任意の範囲の時間を含むことができる。例えば、第１の期間中の装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映するセンサデータは、ユーザがかなりの量だけ動いたかどうか、またはユーザが単に短時間の動きの噴出をしたかどうかを示す３０秒にわたる速度の平均測定値を含むことができる。

いくつかの開示された実施形態は、第１のセンサデータに基づいて、第１の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第１のモビリティステータスに関連付けられていると判定することを含むことができる。そのような関連付けは、センサデータをモビリティステータスと相関させるデータ構造、データベース、またはルックアップテーブルを参照するなど、情報をリンクする任意の手段によって達成することができる。例えば、第１のセンサデータは、１０分にわたる時速３マイルの速度の平均測定値を含むことができ、これは歩行モビリティステータスに関連付けることができる。別の例では、第１のセンサデータは、モビリティステータスに関連付けられ得る毎分１５０拍の心拍数測定値を含んでもよい。いくつかの例では、機械学習モデルは、訓練例を使用して訓練され、センサデータから装着型エクステンデッド・リアリティ機器のユーザに関連付けられた移動状態を決定することができる。そのような訓練例の一例は、サンプルセンサデータの取り込みに対応する期間内のサンプル装着型エクステンデッド・リアリティ機器のユーザに関連付けられたモビリティステータスを示すラベルと共に、サンプル装着型エクステンデッド・リアリティ機器を使用して取り込まれたサンプルセンサデータを含むことができる。一例では、訓練された機械学習モデルを使用して、第１のセンサデータを解析し、第１の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第１のモビリティステータスに関連付けられていると判定することができる。別の例では、訓練された機械学習モデルを使用して、第２のセンサデータ（後述）を解析し、第２の期間（後述）中に、装着型エクステンデッド・リアリティ機器のユーザが第２のモビリティステータス（後述）に関連付けられていると判定することができる。

いくつかの開示された実施形態は、第１のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第１の表示を生成するために少なくとも第１のアクセス規則を実施するステップを含むことができる。仮想コンテンツの表示は、仮想コンテンツの全部または一部の提示を含むことができる。例えば、仮想コンテンツの第１のディスプレイは、完全な、隠されていない文書を含むことができる。別の例では、仮想コンテンツの第１のエクステンデッド・リアリティ・ディスプレイは、ぼかしによって隠された特定の部分と、隠されていない他の部分とを有する文書を含むことができる。仮想コンテンツのディスプレイはまた、仮想オブジェクト、仮想画面（本明細書では仮想ディスプレイとも呼ばれる）、またはオブジェクトの任意の色、形状、寸法、遠近法、もしくは任意の他のタイプの可視属性で提示される仮想シーンの任意の部分またはすべてを含むことができる。例えば、仮想コンテンツのディスプレイは、その元のサイズの仮想ツリーを含むことができる。別の例では、仮想コンテンツの表示は、ズームインされた仮想ツリーを含んでもよい。第１のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの表示を生成するためにアクセスされた規則を実施することは、ルックアップテーブルを介して、または上述したように、表示モードを第１のモビリティステータスに関連付けるなどの任意の方法で規則を参照することと、装着型エクステンデッド・リアリティ機器を介して表示モードに基づく仮想コンテンツの提示を提示することと、を含むことができる。例えば、第１のモビリティステータスが歩行であると判定された場合、プロセッサは、ルックアップテーブルを参照して、歩行状態をユーザの動きの方向から離れた仮想コンテンツの表示モードと相関させる規則を識別することができる。そのような実施形態では、プロセッサは、ユーザの動きの方向ではない領域に装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを表示することができる。

いくつかの開示された実施形態は、少なくとも１つのセンサから第２のセンサデータを受信することを含むことができ、第２のセンサデータは、第２の期間中のユーザのモビリティステータスを反映する。ユーザのモビリティステータスを反映する第２のセンサデータは、第１のセンサデータについて上述したのと同様のやり方で受信することができる。第２のセンサデータは、第１のセンサデータと同様のタイプのものであってもよい。例えば、第１のセンサデータおよび第２のセンサデータの両方は、速度測定値を含むことができる。第２のセンサデータはまた、第１のセンサデータとは異なるタイプのものであってもよい。例えば、第１のセンサデータは速度測定値を含むことができ、第２のセンサデータは心拍数測定値を含むことができる。第２の期間は、上述した第１の期間と同様の特性を有することができる。例えば、第２の期間中の装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映するセンサデータは、ユーザがかなりの量だけ動いたかどうか、またはユーザが単に短時間の動きの噴出をしたかどうかを示す３０秒にわたる速度の平均測定値を含むことができる。第２の期間は、持続時間が第１の期間と同様であってもよい。例えば、第１の期間と第２の期間の両方が１０分であってもよい。第２の期間はまた、第１の期間とは異なる期間を含んでもよい。例えば、第１の期間は５分であってもよく、第２の期間は１５分であってもよい。

いくつかの開示された実施形態は、第２のセンサデータに基づいて、第２の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第２のモビリティステータスに関連付けられていると判定することを含むことができる。そのような関連付けは、第１のセンサデータについて上述したのと同様のリンク手段によって達成することができる。第２のモビリティステータスは、第１のモビリティステータスと同様であってもよい。例えば、第１のモビリティステータスおよび第２のモビリティステータスは両方とも歩行状態であってもよい。あるいは、第２のモビリティステータスは、第１のモビリティステータスと異なっていてもよい。例えば、第１のモビリティステータスは、着座状態であってもよく、第２のモビリティステータスは、立位状態であってもよい。

いくつかの開示された実施形態は、第２のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第２のディスプレイを生成するために少なくとも第２のアクセス規則を実施することを含むことができ、仮想コンテンツの第２のディスプレイは仮想コンテンツの第１のディスプレイとは異なってもよい。仮想コンテンツの第２の表示は、仮想コンテンツの第１の表示について上述したのと同様のやり方で達成され得る。第２のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの表示を生成するためにアクセスされた規則を実施することは、表示モードを第２のモビリティステータスに関連付けるルックアップテーブルなどの任意の方法で規則を参照することと、装着型エクステンデッド・リアリティ機器を介して表示モードに基づく仮想コンテンツの提示を提示することと、を含むことができる。例えば、第２のモビリティステータスが座っていると判定された場合、プロセッサは、ルックアップテーブルを参照して、座っている状態をユーザの前方の仮想コンテンツの表示モードと相関させる規則を識別することができる。そのような実施形態では、プロセッサは、ユーザの前にある領域に仮想コンテンツを表示することができる。仮想コンテンツの第２の表示は、表示される部分、色、寸法、視点、角度、提示領域、不透明度、サイズ、または仮想コンテンツの任意の他の視覚的態様に関して仮想コンテンツの第１の表示とは異なってもよい。例えば、仮想コンテンツの第１のディスプレイはカラー画像を含むことができ、仮想コンテンツの第２のディスプレイは白黒画像を含むことができる。別の例では、仮想コンテンツの第１のディスプレイは移動シーンを含むことができ、仮想コンテンツの第２のディスプレイは静止シーンを含むことができる。さらに別の例では、仮想コンテンツの第１の表示は、ユーザの動きの方向から離れて仮想コンテンツを提示することを含むことができ、仮想コンテンツの第２の表示は、すべての方向に仮想コンテンツを提示することを含むことができる。追加の例では、仮想コンテンツの第１の表示は、１つの不透明度を有する仮想コンテンツを提示することを含むことができ、仮想コンテンツの第２の表示は、異なる不透明度を有する仮想コンテンツを提示することを含むことができる。追加の例では、仮想コンテンツの第１の表示は、仮想コンテンツを第１のサイズで提示することを含むことができ、仮想コンテンツの第２の表示は、仮想コンテンツを異なるサイズで提示することを含むことができる。

いくつかの例では、第２の期間は、第１の期間よりも遅くてもよい。さらに、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第２のディスプレイを生成するために少なくとも第２のアクセスされた規則を実施することは、仮想コンテンツのディスプレイを、第１のモビリティステータスに関連付けられた第１のディスプレイから第２のモビリティステータスに関連付けられた第２のディスプレイに徐々に遷移させることを含むことができる。例えば、仮想コンテンツは複数の要素を含むことができ、徐々に遷移することは、ユーザが特定の要素と対話していないときに、第１のモビリティステータスに関連付けられた第１のディスプレイから第２のモビリティステータスに関連付けられた第２のディスプレイに特定の要素を遷移させることと、ユーザが特定の要素と対話しているときに、第１のモビリティステータスに関連付けられた第１のディスプレイから第２のモビリティステータスに関連付けられた第２のディスプレイに特定の要素を遷移させないことと、を含むことができる。別の例では、仮想コンテンツは複数の要素を含むことができ、徐々に遷移することは、特定の要素が（例えば、ユーザ、装着型エクステンデッド・リアリティ機器などの）視野外にあるときに、第１のモビリティステータスに関連付けられた第１のディスプレイから第２のモビリティステータスに関連付けられた第２のディスプレイに特定の要素を遷移させることと、特定の要素が視野内にあるときに、第１のモビリティステータスに関連付けられた第１のディスプレイから第２のモビリティステータスに関連付けられた第２のディスプレイに特定の要素を遷移させないことと、を含むことができる。

図５０Ａ～図５０Ｄは、本開示のいくつかの実施形態と一致する、異なるモビリティステータスと調整された様々な仮想コンテンツディスプレイの例を示す。図５０Ａに示すように、ユーザが着座モビリティステータス５０１０にあるとき、仮想コンテンツの第１のディスプレイ５０１２が提示されてもよい。例えば、ユーザが座っているとき、装着型エクステンデッド・リアリティ機器は、閲覧または編集用の文書など、座った姿勢で閲覧または対話するのにより適し得る仮想コンテンツを提示することができる。図５０Ｂに示すように、ユーザが立っているモビリティステータス５０１４にあるとき、仮想コンテンツの第２のディスプレイ５０１６が提示されてもよい。例えば、ユーザが立っているとき、装着型エクステンデッド・リアリティ機器は、メッセージの通知など、立った位置で見るまたは対話するのにより適し得る仮想コンテンツを提示することができる。図５０Ｃに示すように、ユーザが歩行モビリティステータス５０１８にあるとき、仮想コンテンツの第３のディスプレイ５０２０が提示され得る。例えば、ユーザが歩いているとき、装着型エクステンデッド・リアリティ機器は、歩数計などの歩行位置で見るかまたは対話するのにより適し得る仮想コンテンツを提示することができる。図５０Ｄに示すように、ユーザが走行モビリティステータス５０２２にあるとき、仮想コンテンツの第４のディスプレイ５０２４が提示されてもよい。例えば、ユーザが走っているとき、装着型エクステンデッド・リアリティ機器は、ユーザが走っている間のユーザの心拍数ダイナミクスなど、走行位置で見るまたは対話するのにより適し得る仮想コンテンツを提示することができる。

いくつかの実施形態では、ユーザが着座モビリティステータス５０１０にあるとき、仮想コンテンツの第１の表示が提示されてもよい。例えば、ユーザが座っているとき、装着型エクステンデッド・リアリティ機器は、例えばユーザの目の高さまたはその近くで、ユーザの正面など、座った姿勢で見るまたは対話するのに適した向きまたは位置で仮想コンテンツ（仮想文書など）を提示することができる。さらに、ユーザが立っているモビリティステータス５０１４にあるとき、仮想コンテンツの第２の表示が提示されてもよい。例えば、ユーザが立っているとき、装着型エクステンデッド・リアリティ機器は、ユーザの前、例えばユーザの目の高さまたはその下などの立った位置での視聴または対話に適した向きまたは位置で仮想コンテンツ（仮想文書など）を提示することができる。さらに、ユーザが歩行モビリティステータス５０１８または走行モビリティステータス５０２２にあるとき、仮想コンテンツの第３の表示が提示されてもよい。例えば、ユーザが歩いているとき、装着型エクステンデッド・リアリティ機器は、ユーザの動く方向から離れている、および／またはユーザの目の高さよりかなり下など、歩いている位置で見るまたは対話するのに適した向きまたは位置に仮想コンテンツ（仮想コンテンツなど）を提示することができる。

いくつかの実施形態では、ユーザが着座モビリティステータス５０１０にあるとき、仮想コンテンツの第１の表示が提示されてもよい。例えば、ユーザが座っているとき、装着型エクステンデッド・リアリティ機器は、仮想コンテンツ（仮想ディスプレイなど）を、座った姿勢での閲覧または対話に適したサイズおよび／または不透明度で、例えば大きなサイズおよび／または高い不透明度で提示することができる。さらに、ユーザが歩行モビリティステータス５０１８または走行モビリティステータス５０２２にあるとき、仮想コンテンツの第２の表示が提示されてもよい。例えば、ユーザが歩いているときまたは走っているとき、装着型エクステンデッド・リアリティ機器は、ユーザが座っているときよりも小さいサイズおよび／または不透明度が低いなど、歩いている位置または走っている位置での視聴または対話に適したサイズおよび／または不透明度で仮想コンテンツ（仮想ディスプレイなど）を提示することができる。

いくつかの開示された実施形態は、第１のセンサデータおよびユーザに関連付けられた履歴データに基づいて第１の期間中のユーザのモビリティステータスを判定するステップと、第２のセンサデータおよび履歴データに基づいて第２の期間中のユーザのモビリティステータスを判定するステップと、を含むことができる。履歴データは、自動的にまたはユーザ入力を介してプロセッサによって以前に取得されたデータを含むことができる。プロセッサによって以前に自動的に取得されたデータは、取得に十分な特定の条件を満たしたためにプロセッサによって保存されたデータを含むことができる。例えば、プロセッサは、特定のモビリティステータスを示すセンサデータと同様の任意のセンサデータを履歴データとして保存し、例えば機械学習アルゴリズムを介してプロセッサをよりよく訓練して、そのモビリティステータスを示すことができるセンサデータを識別するように構成することができる。ユーザ入力を介してプロセッサによって以前に取得されたデータは、マウス、タッチパッド、キーボード、またはユーザ対話をプロセッサによって保存され得る情報に変換することができる任意の他のデバイスと対話するユーザによってプロセッサに入力されたデータを含んでもよい。例えば、ユーザは、特定のセンサデータを、プロセッサが運動状態と自動的に関連付けない運動状態に関連付けることができる。そのような例では、ユーザは、そのセンサデータを履歴データとして運動状態に関連付けるように入力することができ、その結果、将来、プロセッサは、そのセンサデータを運動状態に関連付けることができる。このように履歴データを使用することは、異なるユーザ間のモビリティの違いのために望ましい場合がある。例えば、一部のユーザについては、特定の速度を走行のモビリティステータスに関連付けることができ、別のユーザについては、同じ速度を歩行のモビリティステータスに関連付けることができる。履歴データは、ユーザ、センサ、装着型エクステンデッド・リアリティ・デバイス、装着型エクステンデッド・リアリティ・デバイスに接続された、もしくは装着型エクステンデッド・リアリティ・デバイスと共に使用されたデバイスに関する、もしくはユーザから測定された任意の情報、またはプロセッサに入力され得る任意の情報を含んでもよい。例えば、履歴データは、ユーザの名前、体重、または身長などのユーザ識別情報を含むことができる。他の例では、履歴データは、デバイスタイプ、デバイスモデル番号、またはデバイス構成など、ユーザによって使用されている装着型エクステンデッド・リアリティ機器の詳細を含むことができる。

いくつかの実施形態では、少なくとも１つのセンサは、装着型エクステンデッド・リアリティ機器内に画像センサを含むことができ、動作は、第１のモビリティステータスと第２のモビリティステータスとの間の切り替えを識別するために画像センサを使用して取り込まれた画像データを解析することをさらに含むことができる。画像センサは、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）、または画像に関する情報を検出および伝達する任意の他の素子を含むことができる。画像データは、画素情報、画像サイズ、解像度、被写界深度、オブジェクトのタイプ、オブジェクトの数、および画像に関連し得る任意の他の情報を含むことができる。第１のモビリティステータスと第２のモビリティステータスとの間の切り替えは、速度、位置、姿勢、活動、位置の変化、または第１のモビリティステータスと第２のモビリティステータスとの間の任意の他の遷移を含むことができる。例えば、装着型エクステンデッド・リアリティ機器に組み込まれたカメラ内のＣＣＤデバイスは、ユーザが立っている第１のモビリティステータスにあるユーザを検出し、ＣＣＤデバイスが画像内で検出したオブジェクトの変化に基づいて、モビリティステータスが歩行の第２のモビリティステータスに切り替わったと判定することができる。追加的または代替的に、例えば、ＣＣＤデバイスは、画像内で検出された１つまたは複数のオブジェクトの速度または加速度の変化に基づいてモビリティステータスの変化を判定することができる。一例では、画像データは、バイナリ視覚分類アルゴリズムを使用して２つの代替クラス「モビリティステータスの切り替え」および「モビリティステータスの切り替えなし」のうちの１つに分類され、それによってモビリティステータスの切り替えを識別することができる。別の例では、画像データは、マルチクラス分類器を使用して３つ以上の代替クラスのうちの１つに分類することができ、代替クラスのうちの１つは、モビリティステータスの切り替えなしに対応することができ、代替クラスの任意の他のクラスは、ある特定のクラスから別の特定のクラスへの切り替え（例えば、「座ってから歩くまで」、「立位から座位へ」、「歩行から走行へ」など）に対応することができる。さらに別の例では、画像データは、装着型エクステンデッド・リアリティ機器内の少なくとも１つの画像センサの動きの量（したがって、装着型エクステンデッド・リアリティ機器の動きの量）を測定するために、エゴモーションアルゴリズムを使用して解析されてもよく、第１のモビリティステータスと第２のモビリティとの間の切り替えの識別は、動きの量に基づいてもよい（例えば、動きの量と選択されたしきい値との比較の結果に基づいてもよく、または以下に説明するようであってもよい）。

いくつかの実施形態では、少なくとも１つのセンサは、装着型エクステンデッド・リアリティ機器に接続可能なコンピューティングデバイスに含まれる少なくとも１つのモーションセンサを含むことができ、動作は、少なくとも１つのモーションセンサを使用して取り込まれたモーションデータを解析して、第１のモビリティステータスと第２のモビリティステータスとの間の切り替えを識別することをさらに含むことができる。モーションセンサは、パッシブ赤外線センサ、マイクロ波センサ、エリア反射センサ、超音波センサ、振動センサ、加速度計、またはオブジェクトもしくは表面の動きを測定するために使用され得る任意の他のタイプのデバイスを含むことができる。別の例では、モーションセンサは画像センサを含むことができ、画像センサを使用して取り込まれた画像データは、動きを決定するために、エゴモーションアルゴリズムおよび／または視覚位置特定アルゴリズムを使用して解析することができる。モーションデータは、位置、距離、寸法、角度、速度、加速度、回転、またはオブジェクトもしくは表面の動きに関する任意の他の情報を含むことができる。第１のモビリティステータスと第２のモビリティステータスとの間の切り替えは、速度、位置、姿勢、活動、位置の変化、または第１のモビリティステータスと第２のモビリティステータスとの間の任意の他の遷移を含むことができる。例えば、装着型エクステンデッド・リアリティ機器のハウジングに組み込まれた赤外線センサは、ユーザが立っている第１のモビリティステータスにあるユーザを検出し、赤外線センサによって検出された速度の変化に基づいて、モビリティステータスが歩行の第２のモビリティステータスに切り替わったと判定することができる。モーションセンサは、複数の方法で装着型エクステンデッド・リアリティ機器に接続可能であってもよい。特定の実施形態では、モーションセンサは、装着型エクステンデッド・リアリティ機器内に組み込まれてもよい。他の実施形態では、モーションセンサは、有線接続によって装着型エクステンデッド・リアリティ機器に接続されてもよい。さらに他の実施形態では、モーションセンサは、無線接続によって装着型エクステンデッド・リアリティ機器に接続されてもよい。無線接続は、モーションセンサと装着型エクステンデッド・リアリティ機器との間の有線接続なしに情報を送信するＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（商標）、または任意の他のチャネルを利用することができる。例えば、装着型エクステンデッド・リアリティ機器は、Ｂｌｕｅｔｏｏｔｈ（商標）を介して超音波センサと無線でペアリングされるスマートフォンであってもよい。

いくつかの開示された実施形態は、第１の期間中に作業モードで特定の仮想オブジェクトを表示することと、第２の期間中にスポーツ活動モードで特定の仮想オブジェクトを表示することとを含むことができる。仮想オブジェクトは、コンピュータによってレンダリングされ、無生物仮想オブジェクト、生物仮想オブジェクト、仮想家具、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現などの特定のタイプのオブジェクトを表すように構成された視覚的提示を含むことができる。例えば、仮想オブジェクトは仮想ウィンドウを含むことができ、エクステンデッド・リアリティ・ディスプレイは、文書を含む第１の仮想ウィンドウと、ユーザがプレイするスポーツチームの統計を含む第２の仮想ウィンドウとを含むことができる。作業モードでは、文書を含む第１の仮想ウィンドウは、スポーツチームの統計を含む第２の仮想ウィンドウの上に提示されてもよい。スポーツ活動モードでは、文書を含む第１の仮想ウィンドウは、スポーツチームの統計を含む第２の仮想ウィンドウの下にあってもよい。別の例では、作業モードでは、仮想オブジェクトはエクステンデッド・リアリティ環境内の固定位置に配置されてもよく、装着型エクステンデッド・リアリティ機器の小さな動きによりその位置から動かなくてもよいが、スポーツ活動モードでは、仮想オブジェクトは、装着型エクステンデッド・リアリティ機器の動きと共にエクステンデッド・リアリティ環境内で動くように構成されてもよい。

いくつかの開示された実施形態は、第１の期間中にアクティブモードで特定の仮想オブジェクトを表示することと、第２の期間中にスリープモードで特定の仮想オブジェクトを表示することとを含むことができる。異なる期間中にアクティブモードまたはスリープモードで仮想オブジェクトを表示することは、所与の期間により適した表示を提示するために望ましい場合がある。一部の期間では、ユーザは、日中、ユーザが横臥姿勢にないときなど、アクティブモードにある可能性が高い場合がある。そのような時間の間、日中にアクティブであることと一致するモードで仮想オブジェクトを提示することが望ましい場合がある。他の期間では、ユーザは、夜間、ユーザが臥位にあるときなど、スリープモードにある可能性がより高い場合がある。そのような時間の間、夜間の睡眠と一致するモードで仮想オブジェクトを提示することが望ましい場合がある。例えば、仮想オブジェクトは、仮想時計を含んでもよい。アクティブモードでは、ユーザが動き回りながら時計を十分に見ることができるように、仮想時計を最大輝度で表示することができる。スリープモードでは、仮想クロックは、クロックがユーザの睡眠を妨げないように、最小輝度で表示され得る。

いくつかの開示された実施形態は、第１の期間中に特定の仮想オブジェクトをプライベートモードで表示することと、第２の期間中に特定の仮想オブジェクトをパブリックモードで表示することとを含むことができる。異なる期間中にプライベートモードまたはパブリックモードで仮想オブジェクトを表示することは、適切な時間中に仮想オブジェクトを介して提示される情報のプライバシーを保護するために望ましい場合がある。一部の期間では、ユーザは、自宅などのプライベート設定にいる可能性がより高い場合がある。そのようなとき、自宅での視聴と一致するモードで仮想オブジェクトを提示することが望ましい場合がある。他の期間では、ユーザは、モールまたは公園などの公共の場にいる可能性がより高い場合がある。そのような時間の間、仮想オブジェクトに含まれる個人情報にアクセスできない個人間での閲覧と一致するモードで仮想オブジェクトを提示することが望ましい場合がある。例えば、仮想オブジェクトは、ユーザのみによるアクセスを意図した部分と、誰でもアクセスを意図した部分とを含む仮想文書を含むことができる。プライベートモードでは、仮想文書は、文書全体が隠されずに提示され得る。パブリックモードでは、仮想文書には、ユーザのみがアクセスすることを意図した部分が、ぼかしたり、黒く塗りつぶしたり、ユーザ以外によるアクセスを防止する任意の他のやり方を使用したりすることによって隠されて提示され得る。

いくつかの実施形態では、第１のモビリティステータスに関連付けられた第１の表示を生成することは、第１の仮想オブジェクトを表示するために第１の表示モードを使用することと、第２の仮想オブジェクトを表示するために第２の表示モードを使用することと、を含む。表示モードをディスプレイ内の各仮想オブジェクトに関連付けることは、仮想オブジェクトのタイプに適した特性を有する仮想オブジェクトを提示するために望ましい場合がある。機密のプライベート情報を含む文書など、いくつかの仮想オブジェクトは、プライベート表示モードにより適している場合がある。他の仮想オブジェクトは、時間など、ユーザが他の人と自由に共有したい情報を含む、パブリック表示モードにより適している場合がある。個人文書が公開されるか、またはユーザが他の人と時間情報を共有することができないため、単一の表示モードをこれらの仮想オブジェクトの両方に関連付けることは望ましくない場合がある。したがって、ディスプレイ内の各仮想オブジェクトに表示モードを関連付けることが望ましい場合がある。第１の表示モードと第２の表示モードとは同様であってもよい。例えば、第１の表示モードと第２の表示モードの両方がカラーであってもよい。別の例では、第１の表示モードと第２の表示モードの両方が隠されていなくてもよい。あるいは、第１の表示モードと第２の表示モードとは異なるタイプであってもよい。例えば、第１の仮想オブジェクトは時計であってもよく、第２の仮想オブジェクトは写真であってもよい。この例では、時計は第１の表示モードでカラー表示され、写真は第２の表示モードで白黒表示され得る。別の例では、第１の仮想オブジェクトはカレンダーであってもよく、第２の仮想文書は個人文書であってもよい。この例では、カレンダーは、隠されていない第１の表示モードで表示されてもよく、個人文書は、ぼやけた第２の表示モードで表示されてもよい。

いくつかの開示された実施形態は、第１の期間中に、第１の仮想オブジェクトをパブリックモードで表示し、第２の仮想オブジェクトをプライベートモードで表示することを含むことができる。例えば、第１の仮想オブジェクトは仮想文書であってもよく、第２の仮想オブジェクトは仮想ボールであってもよい。このタイプの表示は、ユーザがモールや公園などの公共の場所にいる間に、ユーザがプライベート情報とパブリック情報の両方にアクセスする必要があり得る期間中に望ましい場合がある。そのような期間中に１つの仮想オブジェクトがパブリックモードで表示され、別の仮想オブジェクトがプライベートモードで表示されるようにすることにより、ユーザは、いかなる個人情報も他人に公開することを心配することなく、見たいオブジェクトのすべてを見ることができる。パブリックモードでは、一般的なアクセスを意図していない部分がぼやけたり、黒く塗りつぶされたりして、仮想文書が提示される場合がある。プライベートモードでは、仮想ボールはユーザに隠されずに表示され得る。別の例では、第１の仮想オブジェクトはショッピングアプリケーションの仮想ウィンドウであってもよく、第２の仮想オブジェクトはバンキングアプリケーションの仮想ウィンドウであってもよい。パブリックモードでは、ショッピングアプリケーションの仮想ウィンドウは、販売用のすべてのアイテムが隠されずに提示され、支払い情報に関連付けられた任意の部分がぼやけたり黒く塗りつぶされたりして提示されている状態で表示され得る。プライベートモードでは、バンキングアプリケーションの仮想ウィンドウは、そのすべての部分が隠されずに表示され得る。

いくつかの開示された実施形態は、第２の期間中に、第１の仮想オブジェクトの第１の表示モードを変更し、第２の仮想オブジェクトの第２の表示モードを維持することを含むことができる。第２の期間中に仮想オブジェクトに対してより適切な表示モードを関連付けるために、一方の表示モードを維持しながら他方の表示モードを変更することが望ましい場合がある。いくつかの期間では、ユーザは、１つの表示モードが適切な１つの場所から、別の表示モードがより適切な別の場所に離れた可能性が高い場合がある。そのような時間の間、一方の表示モードが他方の位置で適切でない場合、ユーザが同じ表示モードで両方の仮想オブジェクトを見る必要がないように、他方を維持しながら一方の表示モードのみを変更することが望ましい場合がある。例えば、第１の仮想オブジェクトは仮想時計であってもよく、第２の仮想オブジェクトは仮想カレンダーであってもよい。ユーザがスポーツイベントにいるときなどの第１の期間中、仮想時計はカラーで表示されてもよく、仮想カレンダーは白黒で表示されてもよい。そのような時間の間、２つの仮想オブジェクト間のコントラストを有し、クロックを強調することが適切であり得、その結果、ユーザは、スポーツイベント中の時間によりよく注意を払うことができる。この例では、スポーツイベントが終了したとき、またはユーザが帰宅したときなどの第２の期間中、仮想カレンダーは白黒表示モードに維持されながら、仮想時計はカラー表示モードから変更されて白黒表示され得る。そのような時間の間、ユーザはその時間を積極的に見る必要がない可能性があるため、２つの仮想オブジェクト間のコントラストを持たず、クロックを強調しないことが適切であり得る。

いくつかの開示された実施形態は、第２の期間中に、第１の仮想オブジェクトおよび第２の仮想オブジェクトを表示するために第３の表示モードを使用することを含むことができる。このタイプの表示は、そのような表示が適切であるときにすべての仮想オブジェクトを単一の表示モードで提示することが望ましい場合がある。いくつかの期間では、ユーザは、様々な仮想オブジェクトが異なる表示モードで提示されることを望まないか、または必要としない場合がある。これが適用され得るいくつかの状況は、ユーザが見ている物理オブジェクトに対して仮想オブジェクトを背景ビューにしたい場合、またはユーザが同じ方法であるすべての仮想オブジェクトを見たい場合を含むことができる。第３の表示モードは、第１の表示モードおよび第２の表示モードと同じであってもよい。あるいは、第３の表示モードは、第１の表示モードおよび／または第２の表示モードと異なっていてもよい。例えば、第１の仮想オブジェクトは仮想時計であってもよく、第２の仮想オブジェクトは仮想カレンダーであってもよい。第１の期間中、仮想時計はカラーで表示され、仮想カレンダーは白黒で表示され得る。第２の期間中、仮想時計は、カラー表示モードから変更された白黒で表示されてもよく、仮想カレンダーは、白黒表示モードで維持されてもよい。この例では、第２の期間中、仮想時計および仮想カレンダーは、５０％の不透明度レベルで表示され得る。

いくつかの実施形態では、アクセスされた規則は、異なる表示モードを異なるモビリティステータスの異なるタイプの仮想オブジェクトにさらに関連付けることができる。上述したように、１つまたは複数の規則は、表示モードをモビリティステータスに関連付けることができる。いくつかの実施形態では、１つまたは複数の規則は、異なる表示モードを異なるタイプの仮想オブジェクトと相関させることができる。仮想オブジェクトは、上述したように、限定された領域内でコンピュータによってレンダリングされ、特定のタイプのオブジェクトを表すように構成された任意の視覚的提示を含むことができる。異なるタイプの仮想オブジェクトが、そのタイプの仮想オブジェクトにより適切であり得る特性を有する仮想オブジェクトを提示するために、異なる表示モードが望ましい場合がある。文書またはウェブページなどのいくつかの仮想オブジェクトは、プライバシーまたは強調アプリケーションのためにテキストの特定の部分をぼかすまたはフラグ付けすることに関連付けられた表示モードを必要とすることがある。カレンダーまたはマップなどの他の仮想オブジェクトは、日付、イベント、または方向の表示に関連付けられた異なる配色、寸法、またはサイズに関連付けられた表示モードを必要とする場合がある。そのような状況では、ぼかしが特定のカレンダイベントの表示に適用されない可能性がある一方で、異なる配色が特定の文書の表示に適用されない可能性があるため、すべての表示モードをすべての仮想オブジェクトに関連付けることは望ましくないか、または効率的でない場合がある。例えば、アクセスされた規則は、文書およびスプレッドシートなどのテキストを含む仮想オブジェクトのテキストサイズを含む表示モードを関連付けることができ、アクセスされた規則は、ユーザの個人財務情報を含む仮想バンキングアプリケーションウィンドウなどの機密情報を含む仮想オブジェクトのぼかしまたはブラックアウトを含む表示モードを関連付けることができる。

いくつかの実施形態では、異なるタイプの仮想オブジェクトは、業務関連仮想オブジェクト、健康関連仮想オブジェクト、移動関連仮想オブジェクト、金融関連仮想オブジェクト、スポーツ関連仮想オブジェクト、ソーシャル関連仮想オブジェクト、ドッキングされた仮想オブジェクト、ドッキング解除された仮想オブジェクトのうちの少なくとも２つを含むことができる。装着型エクステンデッド・リアリティ機器のユーザが、各タイプの情報を見るために異なるディスプレイに移行する必要がある代わりに、単一のディスプレイで複数のタイプの情報を見ることができるように、２つ以上のタイプの仮想オブジェクトを有することが望ましい場合がある。これにより、より多くの量の情報が伝達され、異なるタイプの仮想オブジェクトに関連付けられた多くの異なるタスク間でのマルチタスクを可能にすることができる。仕事関連の仮想オブジェクトは、プランナー、スケジュール、文書、スプレッドシート、または目的または結果を達成するために行われる精神的または身体的努力を含む任意の活動に関連付けられた任意の他のオブジェクトのうちの１つまたは複数を含むことができる。健康関連仮想オブジェクトは、フィットネストラッカ、心拍数モニタ、体重モニタ、身長モニタ、または任意の生理学的側面に関連付けられた任意の他のオブジェクトのうちの１つまたは複数を含むことができる。走行関連仮想オブジェクトは、地図、チケット、交通監視装置、パス、またはある場所から別の場所への任意の動きに関連付けられた任意の他のオブジェクトのうちの１つまたは複数を含むことができる。金融関連仮想オブジェクトは、株式チッカー、バンキングアプリケーション、通貨変換器、または金銭の管理に関連付けられた任意の他のオブジェクトのうちの１つまたは複数を含むことができる。スポーツ関連仮想オブジェクトは、スピードメータ、ペーサ、運動トラッカ、または個人もしくはチームが娯楽のために他の人もしくは他の人と競争する身体運動および技能を含む任意の活動に関連付けられた任意の他のオブジェクトのうちの１つまたは複数を含むことができる。ソーシャル関連仮想オブジェクトは、ソーシャルメディアアプリケーション、メッセンジャー、テキストメッセージ、通知、またはネットワーキングの作成もしくは共有、またはネットワーキングへの参加に関連付けられた任意の他のオブジェクトのうちの１つまたは複数を含むことができる。ドッキングされた仮想オブジェクトは、領域または別のオブジェクトに接続、繋ぎ止め、リンク、または他の方法で結合された任意のオブジェクトを含むことができる。例えば、仮想キーボードが物理キーボードと整列して動くように、仮想キーボードを物理キーボードにドッキングすることができる。ドッキング解除された仮想オブジェクトは、領域または別のオブジェクトに接続、繋ぎ止め、リンク、または他の方法で結合されていない任意のオブジェクトを含むことができる。例えば、物理キーボードからドッキング解除された仮想キーボードは、物理キーボードと整列して動かず、静止したままであるか、または物理キーボードが動くにつれて独立して動くことができる。状況によっては、異なるタイプの仮想オブジェクトのうちの少なくとも２つを提示することが望ましい場合がある。例えば、ユーザが移動中に遠隔で作業している場合、ユーザが作業のためにスプレッドシートで作業しながら地図上で自分の移動を追跡できるように、移動関連仮想オブジェクトと作業関連仮想オブジェクトの両方を表示することが望ましい場合がある。

いくつかの実施形態では、各タイプの仮想オブジェクトは優先度に関連付けられてもよく、異なる表示モードと異なるタイプの仮想オブジェクトとの異なるモビリティステータスの関連付けは、異なるタイプの仮想オブジェクトに関連付けられた優先度に基づいてもよい。仮想オブジェクトのタイプを優先度に関連付けることは、他の仮想オブジェクトと比較してより緊急性の高い、強調表示された、または任意の他のタイプの重要性を有する特定の仮想オブジェクトを表示するために望ましい場合がある。いくつかの表示モードは、輝度上昇モードなどのより高い重要度に関連付けられてもよく、他の表示モードは、輝度低下モードなどのより低い重要度に関連付けられてもよい。優先度は、配置、好み、順序、ランク、年功、優位性、番号付け、レタリング、またはより重要であると見なされるもしくは扱われる任意の他の条件を含むことができる。いくつかの実施形態では、優先度は、上述のユーザ入力と同様に、ユーザ入力によって提供されてもよい。他の実施形態では、プロセッサは、所定のパラメータ、データベース値、またはある値を別の値に電子的に関連付ける任意の他の手段に基づいて、優先度を各タイプの仮想オブジェクトに自動的に関連付けることができる。例えば、仮想オブジェクトの通知タイプは、仮想オブジェクトのビデオタイプよりも高い優先度に関連付けられてもよい。この例では、より高いランクの通知タイプは、輝度、不透明度、もしくはコントラストの増加、または黄色の色調などの特定の配色など、他の仮想オブジェクトの上に提示するのに有利な表示モードに関連付けられてもよく、より低いランクのビデオタイプは、輝度、不透明度、もしくはコントラストの減少、または白黒などの特定の他の配色など、他の仮想オブジェクトの下に提示するのに有利な表示モードに関連付けられてもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器を介して、第１のタイプに関連付けられた第１の仮想オブジェクトと、第２のタイプに関連付けられた第２の仮想オブジェクトと、を提示することを含むことができ、第１のモビリティステータスに関連付けられた第１の表示を生成することは、第１および第２の仮想オブジェクトに単一の表示モードを適用することを含むことができ、第２のモビリティステータスに関連付けられた第２の表示を生成することは、第１および第２の仮想オブジェクトに異なる表示モードを適用することを含むことができる。このタイプの表示は、ユーザが自宅の机に座っているなど、均一な表示モードを必要とする１つのタイプの活動から、街中を歩いているなど、異なる表示モードを必要とする別のタイプの活動に移動している状況において望ましい場合がある。自宅では、両方のオブジェクトが隠されていないパブリックモードで両方の仮想オブジェクトを提示することが望ましい場合があるが、なぜなら、ユーザの自宅のプライバシーにおいて、ユーザは、仮想オブジェクトのうちの１つの個人情報にアクセスする他のユーザを気にする必要がない場合があるからである。しかしながら、ユーザが街中を歩いているとき、ユーザが両方の仮想オブジェクトにおいて所望の情報を見ることを依然として可能にしながら、公共の設定にある間にユーザの情報を保護するために、一方のオブジェクトが隠されることができ、他方のオブジェクトが隠されないことができる異なる表示モードで仮想オブジェクトを提示することが望ましい場合がある。図５１Ａおよび図５１Ｂは、本開示のいくつかの実施形態と一致する、異なるモビリティステータスの異なるタイプの仮想オブジェクトに関連付けられた異なる表示モードの例を示す。図５１Ａにおいて、第１の仮想オブジェクトはカレンダアプリケーション５１１２であり、第２の仮想オブジェクトはバンキングアプリケーション５１１４である。モビリティステータスが静止５１１０である場合、カレンダアプリケーション５１１２およびバンキングアプリケーション５１１４の両方は、アプリケーションの隠されていないディスプレイであり得る作業ディスプレイモード５１１６で表示され得る。図５１Ｂでは、同じカレンダアプリケーション５１１２とバンキングアプリケーション５１１４が表示されている。モビリティステータスが歩行５１１８であるとき、カレンダアプリケーション５１１２は、作業ディスプレイモード５１１６で表示されてもよく、バンキングアプリケーション５１１４は、ぼやけたディスプレイなどのアプリケーションの不明瞭なディスプレイであってもよいプライベート・ディスプレイ・モード５１２０で表示されてもよい。

いくつかの実施形態では、アクセスされた規則は、環境コンテキストに基づいて、複数のユーザ・モビリティ・ステータスを複数の表示モードにさらに関連付けることができる。環境コンテキストは、気候、生息地、設定、状況、状況、周囲、周囲、背景、状況、コンテキスト、場所、近隣、風景、地形、領域、土地、構造、またはユーザの場所に関連付けられた任意の他の事実もしくは条件を含むことができる。環境コンテキストに基づいてユーザ・モビリティ・ステータスを表示モードに関連付けることは、表示をより効率的にするために望ましい場合がある。環境コンテキストに基づいて表示モードを関連付けることにより、可能な表示モードのすべてではなく、その環境コンテキストに適した表示モードのみを使用することができ、プロセッサの効率および速度を向上させることができる。これは、ショッピングモールなどの非常に公共の場所でのプライベート表示モードなど、特定の表示モードが所与の環境コンテキストでは決して適切ではない状況において望ましい場合がある。図５２Ａおよび図５２Ｂは、本開示のいくつかの実施形態と一致する、環境コンテキストに基づく異なるモビリティステータスに関連付けられた異なる表示モードの例を示す。図５２Ａにおいて、歩行モビリティステータス５２１０が判定されると、公園の場所５２１２の環境コンテキストは、歩行モビリティステータス５２１０をステップカウンタの形態の第１の表示モード５２１４に関連付けさせて、公園をハイキングしている可能性があるユーザを支援することができる。図５２Ｂにおいて、都市位置５２１６の環境コンテキストは、ユーザが都市をナビゲートするのを助けるために、歩行モビリティステータス５２１０を地図の形態の第２の表示モード５２１８に関連付けることができる。別の例では、歩行モビリティステータスが判定されると、近くの障害物の環境コンテキストは、歩行モビリティステータスを、ユーザの動きの方向からすべての仮想オブジェクトを除去する形態（例えば、提示から完全に除去する、側面に除去するなど）の第１の表示モードに関連付けることができ、一方、近くの障害物がない環境コンテキストは、歩行モビリティステータスを、不透明度が低いユーザの動きの方向に仮想オブジェクトを示す形態の第２の表示モードに関連付けることができる。さらに別の例では、着座状態が判定されると、近くの人々の環境コンテキストは、着座モビリティステータスを部分没入の形態の第１の表示モードに関連付けることができ、近くの人々がいない環境コンテキストは、着座モビリティステータスを完全没入の形態の第２の表示モードに関連付けることができる。

いくつかの実施形態では、環境コンテキストは、装着型エクステンデッド・リアリティ機器の位置、装着型エクステンデッド・リアリティ機器の向き、または現在時刻のうちの少なくとも１つに基づく。環境コンテキストが位置、向き、または時間に基づくことが望ましい場合があるが、これは、これらの要因がユーザの周囲の表示であるためである。装着型エクステンデッド・リアリティ機器の位置は、ユーザが屋外、屋内、プライベート、公共、重要、または非重要な場所にいるかどうかに関する情報を提供することができる。装着型エクステンデッド・リアリティ機器の向きは、ユーザが動いているかどうか、ユーザが動いている方向、およびユーザが別のタイプの表示モードを必要とする可能性がある別の場所に向かって動いているかどうかに関する情報を提供することができる。装着型エクステンデッド・リアリティ機器の位置は、エリア、地域、場所、近隣、部品、点、領域、場所、または装着型エクステンデッド・リアリティ機器の位置の任意の他の指示を含むことができる。装着型エクステンデッド・リアリティ機器の位置は、そのような位置を決定するために使用することができる情報を検出することができる任意のデバイスからのユーザ入力またはデータに基づいて決定することができる。例えば、環境コンテキストは、ＧＰＳセンサから取得された全地球測位システム（ＧＰＳ）データから導出された特定のアドレスに基づいてユーザの自宅であると判定され得る。別の例では、ユーザが少なくとも１つのプロセッサに関連付けられたキーボードにアドレスを入力するなど、アドレスのユーザ入力に基づいて、ユーザの自宅の同じ環境コンテキストが判定されてもよい。装着型エクステンデッド・リアリティ機器の向きは、方向、角度、位置、傾斜、傾き、または装着型エクステンデッド・リアリティ機器の相対位置の任意の他の指示を含むことができる。装着型エクステンデッド・リアリティ機器の向きは、そのような相対位置を決定するために使用することができる情報を検出することができる任意のデバイスからのユーザ入力またはデータに基づいて決定することができる。例えば、環境コンテキストは、ＧＰＳセンサから取得されたＧＰＳデータから判定された東方向に基づいて晴れであると判定されてもよい。別の例では、東方向の同じ晴れた環境コンテキストは、少なくとも１つのプロセッサに関連付けられたキーボードにユーザが晴れた方向を向いていることをユーザがタイプすることなどのユーザ入力に基づくことができる。現在時刻は、日付、日、時、秒、月、機会、季節、期間、週、年、期間、間隔、スパン、または現在時刻の任意の他の指示を含むことができる。現在時刻は、そのような現在時刻を決定するために使用することができる情報を検出することができる任意のデバイスからのユーザ入力またはデータに基づいて決定することができる。例えば、環境コンテキストは、光学センサによる光の測定またはクロック測定に基づいて８ＰＭであると決定され得る。別の例では、８ＰＭの同じ環境コンテキストは、時刻が８ＰＭであることを少なくとも１つのプロセッサに関連付けられたキーボードに入力するユーザなどのユーザ入力に基づくことができる。

いくつかの実施形態では、環境コンテキストは、装着型エクステンデッド・リアリティ機器に含まれる画像センサを使用して取り込まれた画像データ、または装着型エクステンデッド・リアリティ機器に含まれる音声センサを使用して取り込まれた音声データのうちの少なくとも一方の解析に基づいて決定される。画像センサは、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）、または画像に関する情報を検出および伝達する任意の他の素子を含むことができる。画像データは、画素情報、画像サイズ、解像度、被写界深度、オブジェクトのタイプ、オブジェクトの数、および画像に関連し得る任意の他の情報を含むことができる。一例では、視覚的分類アルゴリズムを使用して、画像データを複数の代替クラスのうちの１つに分類することができる。各クラスは環境コンテキストに対応することができ、それによって画像データの分類は環境コンテキストを決定することができる。別の例では、画像データは、環境内の特定のタイプのオブジェクトの存在を検出するためにオブジェクト検出アルゴリズムを使用して解析されてもよく、環境コンテキストは、特定のタイプのオブジェクトが環境内に存在するかどうかに基づいてもよい。環境コンテキストは、所与の環境コンテキストに対する画像データの所定のパラメータ、所与の環境コンテキストに使用される画像データのデータベース値、または１つの値を別の値と電子的にリンクする任意の他の手段を使用して画像データに基づくことができる。例えば、環境コンテキストは、画像内で検出された建物の数に基づいて都市であると判定され得る。別の例では、環境コンテキストは、画像内で検出された光データから測定された暗さに基づいて夜間であると決定され得る。さらに別の例では、環境コンテキストは、画像内で検出された光データによって測定されるように、低照度状態に基づいてプライベート位置であると決定され得る。音声センサは、音響センサ、圧力センサ、マイクロフォン、または音波の存在または強度を検出し、それを電気信号に変換する任意の他のデバイスを含むことができる。音声データは、音に関連付けられた任意の情報の圧力、音量、トーン、ピッチ、または任意の他の指示を含むことができる。環境コンテキストは、所与の環境コンテキストに対する音声データの所定のパラメータ、所与の環境コンテキストに使用される音声データのデータベース値、または１つの値を別の値と電子的にリンクする任意の他の手段を使用して音声データに基づくことができる。例えば、環境コンテキストは、マイクロフォンによって検出されるように、大音量または音声レベルに基づいて公共の場所であると決定されてもよい。別の例では、環境コンテキストは、マイクロフォンによって検出された低い音量または音声レベルに基づいて、プライベートな場所であると判定されてもよい。さらに別の例では、環境コンテキストは、音声データ内で検出された音楽に基づいてコンサートであると判定されてもよい。

いくつかの実施形態では、環境コンテキストは、装着型エクステンデッド・リアリティ機器の環境における少なくとも１人の個人の少なくとも１つのアクションに基づくことができる。アクションは、歩いていること、立っていること、座っていること、読んでいること、話していること、歌を歌っていること、走っていること、または目的を達成するために何かを行う任意の他のプロセスを含むことができる。装着型エクステンデッド・リアリティ機器の環境内の個人は、装着型エクステンデッド・リアリティ機器の指定距離内の任意の人を含むことができる。装着型エクステンデッド・リアリティ機器のユーザが他のユーザと共有したくない可能性がある特定の情報のプライバシーを保護するために、環境コンテキストをそのような個人に基づくことが望ましい場合がある。また、環境コンテキストをそのような個人に基づいて、特定の表示モードを特定の個人に関連付けるだけでプロセッサの効率および速度を向上させることが望ましい場合もある。例えば、個人によっては、健康情報を知る必要があることは稀である。これには、同僚または店員が含まれ得る。したがって、そのような個人の存在に基づいて健康関連表示モードを所与の環境コンテキストに関連付けることは非効率的であり、医師、看護師、またはそのタイプの情報を必要とする任意の他の個人の存在に基づいて健康関連表示モードを所与の環境コンテキストにのみ関連付けることが望ましい場合がある。例えば、プロセッサは、装着型エクステンデッド・リアリティ機器の環境が装着型エクステンデッド・リアリティ機器の１０フィート半径内の任意の領域であるように構成されてもよい。この例では、環境コンテキストを決定するために、その１０フィートの半径内の人々のアクションのみが考慮され得る。別の例では、一部の個人は、所与の環境において特定の機密情報にアクセスすることができると識別され得る。それらの個人が装着型エクステンデッド・リアリティ機器の環境にあるとき、改善された輝度およびコントラストなどのより公共の表示モードを使用することができる。識別された個人を含まない他の個人が環境にいる場合、輝度およびコントラストの低減などのよりプライベートな表示モードを使用することができる。

いくつかの実施形態では、環境コンテキストは、装着型エクステンデッド・リアリティ機器の環境内のオブジェクトに基づくことができる。装着型エクステンデッド・リアリティ機器の環境内のオブジェクトは、装着型エクステンデッド・リアリティ機器の指定範囲内の任意のアイテムまたは表面を含んでもよい。特定のオブジェクトが特定の位置に関連付けられ得るため、そのようなオブジェクトに環境コンテキストを基づくことが望ましい場合がある。例えば、机は職場に関連付けられてもよく、木は公園に関連付けられてもよい。例えば、プロセッサは、装着型エクステンデッド・リアリティ機器の環境が装着型エクステンデッド・リアリティ機器の半径５フィート以内の任意の領域であるように構成されてもよい。この例では、環境コンテキストを決定するために、その５フィートの半径内のオブジェクトのみが考慮され得る。ユーザが台所用機器、植物、写真、衣服、ソファ、またはベッドなどの家庭用オブジェクトを有する環境にいる場合、環境コンテキストは家庭環境であると判定され得る。そのような例では、利用可能な表示モードは、家などの私的な場所に関連付けられた表示モードを含むことができる。そのような表示モードは、輝度およびコントラストが増加したもの、または不明瞭なテキストを含むことができる。ユーザがレジ、洋服棚、陳列台、宝飾品などの店舗オブジェクトのある環境にいる場合、環境コンテキストは店舗環境であると判定され得る。そのような例では、利用可能な表示モードは、店舗などの公共の場所に関連付けられた表示モードを含むことができる。そのような表示モードは、低減された輝度およびコントラストを有するもの、または不明瞭なテキストを含むことができる。

いくつかの実施形態は、仮想コンテンツ表示をモビリティステータスと調整するための方法を含むことができる。図５３は、本開示のいくつかの実施形態と一致する、仮想コンテンツ表示をモビリティステータスと調整する典型的な方法５３００のフローチャートである。方法５３００は、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するために複数のユーザ・モビリティ・ステータスを複数の表示モードに関連付ける規則にアクセスするステップ５３１０を含むことができる。方法５３００は、装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのセンサから第１のセンサデータを受信するステップ５３１２を含むことができ、第１のセンサデータは、第１の期間中の装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映する。方法５３００は、第１のセンサデータに基づいて、第１の期間中に装着型エクステンデッド・リアリティ機器のユーザが第１のモビリティステータスに関連付けられていると判定するステップ５３１４を含んでもよい。方法５３００は、第１のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第１の表示を生成するために少なくとも第１のアクセス規則を実施するステップ５３１６を含むことができる。方法５３００は、少なくとも１つのセンサから第２のセンサデータを受信するステップ５３１８を含むことができ、第２のセンサデータは、第２の期間中のユーザのモビリティステータスを反映する。方法５３００は、第２のセンサデータに基づいて、第２の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第２のモビリティステータスに関連付けられていると判定するステップ５３２０を含むことができる。方法５３００は、第２のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第２の表示を生成するために少なくとも第２のアクセス規則を実施するステップ５３２２を含むことができ、仮想コンテンツの第２の表示は仮想コンテンツの第１の表示とは異なる。

いくつかの実施形態は、仮想コンテンツの表示をモビリティステータスと協調させるためのシステムを含むことができ、システムは、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するために複数のユーザ・モビリティ・ステータスを複数の表示モードに関連付ける規則にアクセスし、装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのセンサから第１のセンサデータを受信し、第１のセンサデータが、第１の期間中の装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映し、第１のセンサデータに基づいて、第１の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第１のモビリティステータスに関連付けられていることを判定し、第１のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第１の表示を生成するために少なくとも第１のアクセスされた規則を実施し、少なくとも１つのセンサから第２のセンサデータを受信し、第２のセンサデータが、第２の期間中のユーザのモビリティステータスを反映し、第２のセンサデータに基づいて、第２の期間中に、装着型エクステンデッド・リアリティ機器のユーザが第２のモビリティステータスに関連付けられていることを判定し、第２のモビリティステータスに関連付けられた装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの第２の表示を生成するために少なくとも第２のアクセスされた規則を実施し、仮想コンテンツの第２の表示が仮想コンテンツの第１の表示とは異なる、ように構成された少なくとも１つのプロセッサを含む。

仮想オブジェクトを物理オブジェクトにドッキングすることは、エクステンデッド・リアリティ環境において重要な機能を提供することができる。例えば、ドッキングされた仮想オブジェクトは、物理オブジェクトに関連する情報を提供することができ、および／またはいくつかの機能を有する物理オブジェクトの機能を拡張または調整することができる。仮想オブジェクトを物理オブジェクトにドッキングし、それによって仮想オブジェクトを特定の条件下で物理オブジェクトと共に動かすことは、物理オブジェクトと仮想オブジェクトとの間の空間的な関連または関係を維持することができる。さらに、物理オブジェクトが入力デバイス（キーボードなど）であり、ドッキングされた仮想オブジェクトが入力を提供する追加の方法をユーザに提供するように構成される実施形態では、物理オブジェクトと仮想オブジェクトとの間の空間的関連性を維持することは、タッチタイピング（ブラインドタイピングとしても知られる）、または要素間の一定の特別な関係に基づく他のタイプの対話を可能にするために必要であり得る。いくつかの仮想オブジェクトは、物理的表面に対するそれらの隣接性に依存する機能を有することができる。例えば、物理的表面は、仮想スライダを使用してユーザに触感を提供することができる。したがって、物理的表面に隣接し、物理オブジェクトにドッキングされた仮想オブジェクトに関連付けられた物理的表面から物理オブジェクトを除去するとき（少なくとも物理オブジェクトが表面上を動いている間）、物理的表面から離れて機能するように仮想オブジェクトを調整し、物理オブジェクトからドッキング解除し（例えば、装着型エクステンデッド・リアリティ機器ユーザは、物理的表面に隣接する仮想オブジェクトを残してもよい）、および／またはエクステンデッド・リアリティ環境から仮想オブジェクトを除去することが望ましい場合がある。

いくつかの開示された実施形態は、少なくとも１つのプロセッサによって実行されると、可動入力デバイスにドッキングされた仮想オブジェクトの表示を変更するための動作を少なくとも１つのプロセッサに実行させる命令を含むシステム、方法、および非一時的コンピュータ可読媒体を含むことができる。仮想オブジェクトの表示を変更することは、配色、不透明度、強度、明るさ、フレームレート、表示サイズ、および／または仮想オブジェクトタイプなどの視覚的特性を変更することを含むことができる。さらに、可動入力デバイスの位置、すなわち入力デバイスが支持面上にあるか否かに応じて、いくつかの仮想オブジェクトを表示し、他の仮想オブジェクトを非表示にすることができる。

可動入力デバイスは、例えば、装着型エクステンデッド・リアリティ機器のユーザが装着型エクステンデッド・リアリティ機器にコマンドを送信するために使用することができる仮想または物理デバイスなどのエクステンデッド・リアリティ環境のユーザによって動かすことができる任意の入力デバイスを指すことができる。可動入力デバイスは、ユーザが（ｉ）支持面上を動く、および／または（ｉｉ）支持面から取り外して異なる位置または向きに容易に動くことができる任意のポータブルデバイスであってもよい。いくつかの例では、可動入力デバイスは、物理キーボード、物理コンピュータマウス、物理タッチパッド、物理ジョイスティック、および／または物理ゲームコントローラなどの物理可動入力デバイスであってもよい。いくつかの例では、可動入力デバイスは、仮想キーボード、仮想スライダ、および／または仮想キーボードと仮想スライダとの組み合わせなどの仮想可動入力デバイスであってもよい。例として、図２に示すように、キーボード１０４またはマウス１０６などの入力デバイスは、可動入力デバイスであってもよい。キーボード１０４およびマウス１０６は、それぞれがその現在の位置または向きから新しい位置または向きに動くことができるため、可動入力デバイスである。例えば、キーボード１０４またはマウス１０６は、その現在位置から左または右に向かって動いてもよい。別の例では、キーボード１０４は、キーボード１０４がその初期配向から例えば３０度の角度で配向されるように、図に垂直な軸を中心に回転されてもよい。さらに別の例では、キーボード１０４は、テーブル１０２の上面から取り外されてもよい。追加の例では、キーボード１０４は、テーブル１０２の上面上でテーブル１０２の上面上の新しい位置に動いてもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信することを含むことができ、画像データは、支持面上の第１の位置に配置された入力デバイスを表すことができる。

画像センサは、本開示のデバイスまたはシステムのいずれかに含まれてもよく、近赤外、赤外、可視、および／または紫外スペクトルの光信号を検出し、電気信号に変換することができる任意のデバイスであってもよい。画像センサの例は、デジタルカメラ、電話カメラ、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）またはＮ型金属酸化膜半導体（ＮＭＯＳ、ライブＭＯＳ）のアクティブピクセルセンサを含むことができる。電気信号は、画像データを生成するために使用され得る。本開示と一致して、画像データは、画素データストリーム、デジタル画像、デジタルビデオストリーム、取り込まれた画像から導出されたデータ、および１つまたは複数の３Ｄ画像、３Ｄ画像のシーケンス、３Ｄビデオ、または仮想３Ｄ表現を構築するために使用され得るデータを含むことができる。

画像データを使用して、入力デバイスが支持面上のどこに配置されたかを表すことができる。例えば、画像センサは、取り込まれた画像データに基づいて、可動入力デバイスがどこに配置されているか、および周囲領域のどの部分が支持面であるかを判定することができる。Ｂａｙｅｒフィルタセンサ、Ｆｏｖｅｏｎ Ｘ３センサ、および／または３ＣＣＤセンサを介して画像センサによって取り込まれた色データを使用して、画像のどの部分が可動入力デバイスであり、画像のどの部分が支持面であるかを判定することができる。いくつかの実施形態では、画像センサは、機械学習が可能な内蔵処理ユニットを有することができる。この実施形態では、画像センサは、経時的に画像データをコンパイルして記憶し、画像データのどの部分がキーボードであり、どの部分が支持面であるかをコンパイルされたデータから決定することができる。いくつかの実施形態では、画像センサはまた、画像データを取り込み、後でそのデータをさらに解析される装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのプロセッサに送信することができ、すなわち、可動入力デバイスが支持面の一部として第２の位置に動いたか、または支持面から取り外されたかどうかを判定する。

支持面は、キーボード、マウス、またはジョイスティックなど、ユーザが可動入力デバイスを配置することができる任意の固体表面であってもよい。一例では、支持面は平坦で均一な表面であってもよい。他の例では、支持面は、不均一な表面であってもよく、欠陥、亀裂、および／またはダストを含んでもよい。支持面の例は、机の表面、テーブル、床面、または可動入力デバイスが配置され得るオブジェクトの任意の他の表面を含んでもよい。

いくつかの実施形態では、画像センサは、装着型エクステンデッド・リアリティ機器に含まれてもよい。画像センサまたはその関連回路の少なくとも一部が機器のハウジング内に配置されているか、機器上に配置されているか、そうでなければ機器に接続可能である場合、画像センサは装着型エクステンデッド・リアリティ機器に含まれると言うことができる。装着型エクステンデッド・リアリティ機器に含まれ得るいくつかのタイプのセンサは、デジタルカメラ、電話カメラ、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）のアクティブピクセルセンサ、またはＮ型金属酸化膜半導体（ＮＭＯＳ、ライブＭＯＳ）である。光を取り込み、電気信号に変換することができ、これを使用して画像データを生成することができる。画像データを正確に取り込むために、画像センサは、装着型エクステンデッド・リアリティ機器のレンズに接続されてもよい。画像センサはまた、２つのレンズを互いに接続する装着型エクステンデッド・リアリティ機器のブリッジの一部であってもよい。この実施形態では、画像センサは、装着型エクステンデッド・リアリティ機器のユーザがどこを見ているかに基づいて画像を正確に取り込むことができる。

いくつかの実施形態では、画像センサは、装着型エクステンデッド・リアリティ機器に接続可能な入力デバイスに含まれてもよい。入力デバイスは、情報または制御信号を機器に送信するように構成された任意のハードウェアであってもよい。入力デバイスの非限定的な例は、キーボード、タッチパッド、マウス、専用コントローラ、またはエクステンデッド・リアリティ機器とペアリングされたパーソナルデバイス（携帯電話、タブレット、スマートウォッチ、または他の装着型機器）を含む。入力デバイスの一部として含まれ得るセンサのタイプは、本明細書で前述したセンサのいずれかであり得る。いくつかの実施形態では、画像センサは、入力デバイスの中心、入力デバイスの縁部、または正確な画像データを取り込むことができる入力デバイスの長さに沿った他の場所に含まれてもよい。画像センサは、光の変化を検出することができ、すなわち、ユーザが可動入力デバイスを支持面から持ち上げたときに、取り外し動作を反映することができる。画像センサはまた、可動入力デバイスを横断する平面に含まれてもよい。画像センサは、ジェスチャおよび／または異なる色の画像を取り込んで、可動入力デバイスおよび支持面の位置を決定することができる。

いくつかの実施形態では、可動入力デバイスは、少なくとも３０個のキーおよびタッチセンサを含むことができ、メディアコンテンツを提示するように構成された画面を除外する。可動入力デバイスは、任意の数のキーを含むことができる。例えば、可動入力デバイスは、１０、２０、３０、４０、またはユーザが１つまたは複数の入力を提供することを可能にすることができる任意の数のキーを含むことができる。いくつかの実施形態では、入力デバイスは、英数字、方向キー、機能キー、輝度および音声を調整するキー、ショートカットの実行に関連するキー（例えば、コピー・アンド・ペースト、カット・アンド・ペースト、または印刷）、英数字の記述に関連するキー（例えば、感嘆符、アポストロフィ、期間）、および／または機能の実行に関連するキー（例えば、加算、乗算、または等しいシンボル）を含んでもよい３０以上のキーを含んでもよい。いくつかの実施形態では、キーボードはまた、ロゴ文字を使用する言語など、英数字文字を使用しない言語用に構成されてもよい。

いくつかの実施形態では、入力デバイスは、メディアコンテンツを提示するように構成された画面を除外することができる。メディアコンテンツを提示するように構成された画面は、テキスト、画像、アニメーション、またはビデオを提示することができる任意のタイプのディスプレイを含むことができる。メディアコンテンツを提示するように構成された画面の例は、コンピュータモニタ、ＴＶ画面、タブレット、および／または電話画面を含むことができる。一実施形態では、メディアコンテンツを提示するように構成された画面は、限定はしないが、５センチメートル、１０センチメートル、２５センチメートル、または５０センチメートルを超える画面サイズ、４００×３００画素より大きい、６００×４００画素より大きい、または８００×６００画素より大きい画像解像度を有する画面、３色以上を表示することができる画面、またはビデオストリームを再生するように構成された画面を有することができる。この実施形態では、可動入力デバイスは、それに固定的に接続されたメディアコンテンツを提示するように構成された物理画面を含まない。コンテンツを提示するために、可動入力デバイスのユーザは、装着型エクステンデッド・リアリティ機器を使用して仮想オブジェクトを提示するか、または可動入力デバイスを別個のスタンドアロン物理画面、例えば入力デバイスに近接したテレビに接続することができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器に、第１の位置に近接した少なくとも１つの仮想オブジェクトの提示を生成させることを含むことができる。仮想オブジェクトは、仮想無生物オブジェクト、仮想生物オブジェクト、２次元仮想オブジェクト、３次元仮想オブジェクト、仮想入力オブジェクト、仮想ウィジェット、または仮想オブジェクトとして本明細書に記載される他の表現のいずれかを含むことができる。仮想オブジェクトはまた、輝度スケール、音量調整バー、タスクバー、またはナビゲーションペインなどの視覚的特性（例えば、仮想コンテンツ、エクステンデッド・リアリティ環境、仮想オブジェクト、またはエクステンデッド・リアリティ環境内の他の仮想オブジェクト）の調整を可能にすることができる。装着型エクステンデッド・リアリティ機器のユーザは、ジェスチャを使用してこれらの仮想オブジェクトと対話して仮想コンテンツを変更することができる。仮想コンテンツは、装着型エクステンデッド・リアリティ機器を介して表示されてもよく、仮想オブジェクトは、仮想コンテンツの一部であってもよく、または仮想コンテンツに関連付けられてもよい。例えば、仮想コンテンツは、文書またはビデオであってもよい。その特定の仮想コンテンツの一部としての（または関連付けられた）仮想オブジェクトは、音量または明るさの設定、または文書のナビゲーションペインであり得る。さらにまた、仮想オブジェクトは、２次元であってもよいし、３次元であってもよい。３つ以上の仮想オブジェクトが互いにペアリングされてもよい。例えば、１つの仮想オブジェクトが映像であってもよい。この仮想オブジェクトとペアリングされ得る２つの追加の仮想オブジェクトは、明るさ調整バーおよび／または音量調整バーであり得る。

近接度は、可動入力デバイスと提示された仮想オブジェクトとの間の距離を指すことができる。仮想オブジェクトは、装着型エクステンデッド・リアリティ機器のユーザが仮想オブジェクトを容易に閲覧および編集できるように、可動入力デバイスに隣接して提示されてもよい。入力デバイスと提示された仮想オブジェクトとの間の距離、すなわち提示された仮想オブジェクトと可動入力デバイスとの間の近接度は、ユーザによって構成されてもよい。例えば、あるユーザは、半メートルの距離など、可動入力デバイスからより遠くに仮想コンテンツを提示することを好む場合があるが、他のユーザは、２０センチメートル以内の距離など、可動入力デバイスにより近い仮想コンテンツを提示することを好む場合がある。いくつかの例では、仮想オブジェクトは、可動入力デバイスに対して選択された相対位置および向きで可動入力デバイスに隣接して提示されてもよく、その結果、装着型エクステンデッド・リアリティ機器のユーザは、仮想オブジェクトを見ていないとき（例えば、タッチタイピングの使用時）または仮想オブジェクトがユーザに提示されていないとき（例えば、装着型エクステンデッド・リアリティ機器の視野外にあるとき）であっても、仮想オブジェクトを容易に見つけて対話することができる。

いくつかの開示された実施形態は、少なくとも１つの仮想オブジェクトを入力デバイスにドッキングすることを含むことができる。ドッキングは、仮想オブジェクトを入力デバイスに関連付けることを指すことができる。これは、２つが一緒にタンデムに動くように、仮想オブジェクトを物理オブジェクトに接続することによって行われ得る。すなわち、仮想オブジェクトの位置および／または向きは、他のオブジェクトの位置および／または向きの位置に接続されてもよい。一例では、仮想表示画面（本明細書では「仮想ディスプレイ」または「仮想画面」とも呼ばれる）を物理キーボードにドッキングすることができ、物理キーボードを動かすと、ドッキングされた表示画面が動くことができる。別の例では、仮想入力要素は、物理キーボードが配置されている物理表面に隣接する物理キーボードにドッキングされてもよく、物理表面上で物理キーボードを動かすと、ドッキングされた仮想入力要素が物理表面上で動いてもよい。

いくつかの実施形態では、仮想オブジェクトは、他の仮想オブジェクトとドッキングされてもよい。いくつかの例では、仮想オブジェクトは２次元であってもよい。そのような２次元仮想オブジェクトのいくつかの非限定的な例は、タスクペイン、音量もしくは明るさ調整バー、または文書を含むことができる。いくつかの他の例では、仮想オブジェクトは３次元であってもよい。そのような３次元オブジェクトのいくつかの非限定的な例は、プロジェクトの提示またはスケールモデルを含むことができる。一例では、２次元仮想オブジェクトは３次元仮想オブジェクトとドッキングすることができ、その逆も可能である。別の例では、２次元仮想オブジェクトは、２次元仮想オブジェクトとドッキングされてもよく、および／または３次元仮想オブジェクトは、３次元仮想オブジェクトとドッキングされてもよい。

いくつかの例では、装着型エクステンデッド・リアリティ機器のユーザは、物理オブジェクトから仮想オブジェクトをドッキング解除するか、または別の仮想オブジェクトから仮想オブジェクトをドッキング解除することができる。例えば、ユーザは、可動入力デバイスを介してテキストコマンドを発行することによって、音声コマンドを発行することによって、ハンドジェスチャを行うことによって、仮想カーソルを使用することによって、または任意の他の手段によってそうすることができる。例えば、ユーザは、画像センサによって取り込まれ得るアクションを実行することによってドッキング解除することができる。画像センサは、装着型エクステンデッド・リアリティ機器に関連付けられてもよく、いずれかのレンズ、装着型エクステンデッド・リアリティ機器の２つのレンズを接続するブリッジ、またはセンサが正確な画像情報を取り込むことができる任意の他の場所に配置されてもよい。画像センサはまた、装着型エクステンデッド・リアリティ機器に接続可能な入力デバイスに含まれてもよい。行動は、例えば視覚行動認識アルゴリズムを使用して画像データを解析することによって、画像センサを使用して取り込まれた画像データ内で認識されてもよく、ドッキング解除は、アクションの認識に基づいてトリガされてもよい。

例として、図５４は、可動入力デバイス５４１０にドッキングされた仮想オブジェクト５４２０（例えば、音量調整バーまたは明るさ調整バー）を示す。ここで、装着型エクステンデッド・リアリティ機器５４１４に関連付けられた画像センサは、取り込まれた画像データを介して、入力デバイス５４１０が支持面５４１６上の第１の位置に配置されていることを検出することができる。一例では、装着型エクステンデッド・リアリティ機器５４１４のユーザ５４１８は、仮想オブジェクト５４２０を可動入力デバイス５４１０にドッキングするためのコマンドを開始することができ、その結果、仮想オブジェクト５４２０は第１の位置の近くに提示され得る。可動入力デバイス５４１０および仮想オブジェクト５４２０はドッキングされているので、提示された仮想オブジェクトは可動入力デバイスと連動して動くことができる。第１の仮想オブジェクト５４２０に加えて、仮想ディスプレイ画面などの第２の仮想オブジェクト５４１２が表示されてもよい。一例では、第２の仮想オブジェクト５４１２はまた、可動入力デバイス５４１０にドッキングされてもよく、したがって可動入力デバイスと連携して動いてもよい（ただし、第２の仮想オブジェクト５４１２は第１の位置から遠くてもよい）。別の例では、第２の仮想オブジェクト５４１２は、可動入力デバイス５４１０にドッキングされなくてもよく、したがって、可動入力デバイス５４１０の動きは、第２の仮想オブジェクト５４１２の自動的動きをトリガしなくてもよい。

いくつかの実施形態では、プロセッサ動作は、第１の仮想オブジェクトを入力デバイスにドッキングすることをさらに含むことができ、第１の仮想オブジェクトは、支持面の上にある第１の仮想平面上に表示される。仮想平面は、平面（その上の任意の２点を結ぶ直線が全体的に存在し得る）または非平面を指し得る。このコンテキストでは、仮想平面に表示されるすべてのコンテンツは、表面に関連して表示されてもよく、例えば、コンテンツは、視聴者には平坦に見えてもよく、または共通の表面に関連付けられているように見えてもよい。あるいは、仮想平面は曲面であり、コンテンツは曲面の平面に沿って表示されてもよい。仮想平面は、平面が可視であるかどうかにかかわらず、エクステンデッド・リアリティ・ディスプレイまたはエクステンデッド・リアリティ環境に関連して使用される場合、仮想と見なされ得る。具体的には、仮想平面は、エクステンデッド・リアリティ機器の装着者に見えるように色またはテクスチャで表示されてもよく、または仮想平面は目に見えないが、可視オブジェクトが仮想平面内に位置するときに知覚可能になり得る。一例では、エクステンデッド・リアリティ環境で仮想平面を仮想グリッド線で示すことができる。仮想平面は、例えば、平面、非平面、曲面、または任意の他の所望の構成を有する面を含むことができる。第１の仮想平面は、支持面の上にあってもよく、すなわち、支持面の上または支持面を横断して現れてもよい。一例では、第１の仮想平面は、支持面に平行またはほぼ平行であってもよく、これは、仮想平面と支持面との間に０度の角度または小さい角度（例えば、１度未満、５度未満、１０度未満、および／または２０度未満）があることを意味する。ボリュームまたは明るさ調整バーなどの仮想オブジェクトは、可動入力デバイスが支持面上に配置され、第１の仮想平面が支持面を覆い、第１の仮想平面および仮想オブジェクトが同じ平面内にあるように、可動入力デバイスとドッキングすることができる。

いくつかの実施形態では、プロセッサ動作は、第２の仮想オブジェクトを入力デバイスにドッキングすることをさらに含むことができ、第２の仮想オブジェクトは、第１の仮想平面を横切る第２の仮想平面上に表示される。第２の仮想平面は、第１の仮想平面および支持面に対して異なる角度で提示され得る平面である。第２の仮想平面は、提示されたコンテンツが装着型エクステンデッド・リアリティ機器のユーザにとってより見えるように、第１の仮想平面を横切って表示されてもよい。さらに、第１および第２の仮想オブジェクトはドッキングされているので、２つの仮想オブジェクトは一緒に動くことができる。この実施形態では、第２の仮想オブジェクトは、第１の表示されたコンテンツに対して直角または非ゼロ角度（例えば、１０度と１７０度との間、３０度と１５０度との間、４５度と１３５度との間、６０度と１２０度との間、８５度と９５度との間、４６度と８９度との間、および／または９１度と１３４度との間の角度など）で表示され得る。例えば、第１の仮想オブジェクト、音量または明るさ調整バーまたはナビゲーションペインは、装着型エクステンデッド・リアリティ機器によって提示されてもよい。仮想ディスプレイ画面などの第２の仮想オブジェクトは、装着型エクステンデッド・リアリティ機器のユーザが第１の仮想オブジェクトと対話し、第２の仮想オブジェクトをよりよく見ることがより容易になるように、横方向に表示されてもよい。

例として、図５４は、ある平面内に提示される、第２の仮想オブジェクトの一例、仮想コンテンツ５４１２を提示する仮想画面、および、第１の平面を横断する別の平面内に提示される、第１の仮想オブジェクト、ボリュームまたは明るさ調整バーの一例を示す。

いくつかの開示された実施形態は、入力デバイスが支持面上の第２の位置にあると判定することを含むことができる。入力デバイスが第２の位置にあると判定することは、画像解析を使用して入力デバイスおよび第２の位置を検出し、それらが対応すると判定することを含むことができる。別の例では、入力デバイスが第２の位置にあると判定することは、視覚オブジェクト検出アルゴリズムを使用して画像データを解析し、支持面上の特定の位置で入力デバイスを検出し、それによって支持面上の第２の位置を識別することを含むことができる。少なくとも１つのプロセッサは、画像センサによって取り込まれた画像データに基づいて、入力デバイスが支持面上の第２の位置にあると判定することができる。例えば、プロセッサは、画像センサによって取り込まれたデータに基づいて、可動入力デバイスを取り囲む領域の色および／またはテクスチャが変化しておらず、可動入力デバイスが依然として支持面上に位置していることを示すと判定することができる。いくつかの実施形態では、支持面上の第２の位置は、第１の位置とは異なるが、同じ支持面上の同じ平面内にある位置を指すことができる。例えば、支持面は、机、テーブル、床面、または他の平坦または非平坦な固体表面であってもよい。この例では、第２の位置は、第１の位置のすぐ右または左（または別の特定の方向）にある位置であってもよい。少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器に含まれる画像センサによって取り込まれた画像データに基づいて、例えば視覚オブジェクト追跡アルゴリズムを使用して、取り込まれた画像データの解析を介して可動入力デバイスが位置を変更したと判定することができる。

画像センサはまた、装着型エクステンデッド・リアリティ機器に接続可能な入力デバイスに含まれてもよい。いくつかの実施形態では、画像センサは、可動入力デバイス内に配置されてもよい。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器に関連付けられたプロセッサは、エゴモーションアルゴリズムを用いる可動入力デバイスに含まれる画像センサを使用して取り込まれた画像データの解析に基づいて、可動入力デバイスが第１の位置から第２の位置に動いたと判定することができる。

別の実施形態では、画像センサは、可動入力デバイスを横断する平面に含まれてもよい。この例では、画像センサは、可動入力デバイスを取り囲む環境を記述するのを助けることができる色、光、テクスチャ、または定義特徴を取り込むことができる。この実施形態では、画像センサは連続画像を取り込むことができる。これらの画像は、例えば、ユーザが可動入力デバイスを支持面上の第１の位置から第２の位置に動かしているために（少なくとも部分的に）互いに異なる。オブジェクト追跡アルゴリズムを使用して連続画像を解析して、入力デバイスが支持面上の第２の位置に動いたことを判定することができる。

いくつかの実施形態では、入力デバイスが支持面上の第２の位置にあると判定することは、入力デバイスに含まれる１つまたは複数の位置決めセンサを使用して判定された入力デバイスの位置に基づくことができる。いくつかの実施形態では、入力デバイスが支持面上の第２の位置にあると判定することは、第１の位置からの入力デバイスの動きに基づくことができる。いくつかの例では、入力デバイスの動きは、モーションセンサ３７３（図３参照）などの入力デバイスに含まれる１つまたは複数のモーションセンサを用いて判定されてもよい。

いくつかの実施形態では、プロセッサ動作は、画像データの解析に基づいて、支持面上での入力デバイスの動きまたは支持面からの入力デバイスの取り外し動きの少なくとも一方を検出することをさらに含むことができる。いくつかの例では、視覚的分類アルゴリズムを使用して、画像センサから受信した画像データを解析し、画像データを３つの代替クラス、「入力デバイスの動きなし」、「支持面上での入力デバイスの動き」、および「入力デバイスの支持面からの取り外し動作」の１つのクラスに分類し、それによって動きを検出することができる。一例では、視覚的分類アルゴリズムは、画像および／またはビデオを３つのクラスのうちの１つに分類するために訓練例を使用して訓練された機械学習分類アルゴリズムであってもよい。そのような訓練例の一例は、訓練例が３つのクラスのうちのどれに対応するかを示すラベルと共に、サンプル入力デバイスのサンプル画像および／またはサンプルビデオを含むことができる。いくつかの例では、視覚オブジェクト追跡アルゴリズムを使用して、（例えば、装着型エクステンデッド・リアリティ機器内の）入力デバイスの外部の画像センサから受信した画像データを解析し、画像データ内の入力デバイスを追跡して動き情報を取得することができる。さらに、動き情報を解析して、画像データが入力デバイスの動きなしに対応するか（例えば、動きベクトルの積分は０または小さい）、入力デバイスの支持面上での動きに対応するか（例えば、動きベクトルの積分は、支持面上または支持面に平行である）、入力デバイスの支持面からの取り外し動きに対応するか（例えば、動きベクトルの積分は、支持ベクトルに対して非ゼロの角度にある）を判定することができる。いくつかの例では、エゴモーションアルゴリズムを使用して、入力デバイスに含まれる画像センサから受信した画像データを解析し、入力デバイスの動きを判定することができる。さらに、動きを解析して、画像データが入力デバイスの動きなしに対応するか（例えば、動きベクトルの積分は０または小さい）、支持面上での入力デバイスの動きに対応するか（例えば、動きベクトルの積分は、支持面上または支持面に平行である）、または支持面からの入力デバイスの取り外し動きに対応するか（例えば、動きベクトルの積分は、支持ベクトルに対して非ゼロの角度にある）を判定することができる。

いくつかの実施形態では、プロセッサ動作は、入力デバイスに関連付けられた少なくとも１つのモーションセンサから受信したモーションデータの解析に基づいて、支持面上での入力デバイスの動きまたは支持面からの入力デバイスの取り外し動きのうちの少なくとも１つを検出することをさらに含むことができる。可動入力デバイスは、データを出力し、そこから動きの決定を行うことができるそれ自体のモーションセンサを含むことができる。さらに、動き情報を解析して、動きが入力デバイスの動きなしに対応するか（例えば、動きベクトルの積分は０または小さい）、支持面上での入力デバイスの動きに対応するか（例えば、動きベクトルの積分は、支持面上または支持面に平行である）、または支持面からの入力デバイスの取り外し動きに対応するか（例えば、動きベクトルの積分は、支持ベクトルに対して非ゼロの角度にある）を判定することができる。

いくつかの開示された実施形態は、入力デバイスが第２の位置にあると判定することと、その後に、少なくとも１つの仮想オブジェクトが第２の位置の近くに現れるように、少なくとも１つの仮想オブジェクトの提示を更新することとを含むことができる。入力デバイスが第２の位置にあると判定することは、第１の位置に関連付けられた前述の判定と同様のやり方で達成することができる。例えば、装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのプロセッサは、取り込まれた画像データ、取り込まれたモーションデータ、またはその両方に基づいて、可動入力デバイスが第２の位置にあると判定することができる。一例では、取り込まれた画像データおよび／またはモーションデータに基づいて、少なくとも１つのプロセッサは、可動入力デバイスが第２の位置にあり、もはや動いていないと判定することができる。別の例では、取り込まれた画像データおよび／またはモーションデータに基づいて、少なくとも１つのプロセッサは、可動入力デバイスが第２の位置にあり、動き続けると判定することができる。プロセッサが、入力デバイスが支持面上の第２の位置にあると判定した後に、装着型エクステンデッド・リアリティ機器は、第１の位置に提示していた仮想コンテンツを提示し続けることができる。一例では、提示された仮想コンテンツは、可動入力デバイスが第２の位置に静止するまで表示されない場合がある。例えば、ユーザが可動入力デバイスを支持面を横切ってスライドさせたい場合、仮想オブジェクトは、画像センサおよび／またはモーションセンサによって判定されるように、入力デバイスが第２の位置で静止するまで提示されなくてもよい。別の例では、提示された仮想コンテンツは、第１の位置に近接した位置から第２の位置に近接した位置まで可動入力デバイスと共に動いているように見え得る。さらに別の例では、提示された仮想コンテンツは、可動入力デバイスが第２の位置に静止するまで、第１の位置の近くに表示され続けることができる。いくつかの例では、ユーザは、可動入力デバイスの一部としてのモーションセンサ、または装着型エクステンデッド・リアリティ機器の一部としての画像センサが、入力デバイスが減速または停止に近づいていることを検出したときに、仮想オブジェクトの提示を開始するように装着型エクステンデッド・リアリティ機器を構成することができる。少なくとも１つのプロセッサは、取り込まれた画像データに基づいて、連続画像を互いに比較することによって、入力デバイスが減速しているか、または停止に近づいていると判定することができる。プロセッサが、可動入力デバイスが停止に近づいていると判定した場合、プロセッサは、第１の位置から仮想コンテンツの提示を再開することができる。モーションセンサの例では、プロセッサは、モーションセンサから取り込まれた位置および／または向きデータに基づいて、可動入力デバイスと支持面との間の角度が０に近い場合、可動入力デバイスが第２の位置に近づいていると判定することができる。装着型エクステンデッド・リアリティ機器は、可動入力デバイスの底部と支持面との間の角度が５度未満であるときに、第２の位置にコンテンツを提示することができる。

例として、図５５Ａでは、装着型エクステンデッド・リアリティ機器のユーザは、入力デバイス５５１０を、支持面５５１６上の第１の仮想オブジェクト５５１４にドッキングされている第１の位置５５１２から第２の位置５５１８に動かすことができる。支持面５５１６から離れて配置された第２の仮想オブジェクト５５２０もまた、入力デバイス５５１０とドッキングすることができる。例えば、第２の仮想オブジェクト５５２０は、グラフまたはチャートから構成されてもよく、第１の仮想オブジェクト５５１４は、グラフまたはチャートの明るさを調整するために使用される対話型仮想ツールであってもよい。図５５Ｂに示すように、装着型エクステンデッド・リアリティ機器は、入力デバイス５５１０が第２の位置５５１８にあると判定したことに応答して、第１の仮想オブジェクト５５１４が支持面５５１６上の第２の位置５５１８に近接して現れ、第２の仮想オブジェクト５５２０が入力デバイス５５１０と共に支持面５５１６から離れるように動くように、仮想オブジェクト提示を更新する。いくつかの例では、仮想ウィジェットなどの他の仮想オブジェクト（図５５Ａおよび図５５Ｂには示されていない）は、第２の仮想オブジェクト５５２０にドッキングすることができ、それにより、第２の仮想オブジェクト５５２０が動くときに第２の仮想オブジェクト５５２０と共に動くことができる。

いくつかの実施形態では、入力デバイスは支持面上の第１の位置に配置され、少なくとも１つの仮想オブジェクトは入力デバイスに対して元の空間特性を有し、プロセッサ動作は、入力デバイスが第２の位置にある入力デバイスに対して少なくとも１つの仮想オブジェクトの元の空間特性を維持することをさらに含むことができる。空間特性は、環境内のオブジェクトの位置を反映する任意の特性またはパラメータを含むことができる。例えば、２つのオブジェクトまたはアイテムは、互いに対して空間的特性を有することができる。２つのオブジェクトのうちの１つが動くとき、第２のアイテムが第１の向きで動き、相対的な空間特性が実質的に同じままであるように、他のアイテムに対して同じ特別な特性を維持することが望まれる場合がある。一例では、これは、タッチタイピング（ブラインドタイピングとしても知られる）を使用するユーザが、入力デバイス５５１０に対する仮想オブジェクト５５２０の空間特性に基づいて、それを見ることなく対話型仮想ツール（例えば、第１の仮想オブジェクト５５１４）を使用することを可能にし得る。いくつかの他の例では、装着型エクステンデッド・リアリティ機器のユーザは、机またはテーブルなどの支持面上の第１の位置から同じ支持面上の第２の位置に入力デバイスを動かすことができる。可動入力デバイスが第２の位置またはその近くにあるとき、仮想オブジェクトが提示されてもよく、第２の仮想オブジェクトとドッキングされた第１の仮想オブジェクトから構成されてもよい。提示された仮想オブジェクトのプロパティは、ユーザによって構成されてもよく、配色、不透明度、強度、明るさ、フレームレート、表示サイズ、および／または仮想オブジェクトタイプ設定を含んでもよい。仮想コンテンツを提示するとき、主な目標は、入力デバイスを場所から場所に動かすときに提示された仮想コンテンツの均一性を維持することであり得る。この目的を達成するために、提示された仮想オブジェクトの空間特性は同じままであり得る。

いくつかの実施形態では、元の空間特性は、入力デバイスからの少なくとも１つの仮想オブジェクトの距離、入力デバイスに対する少なくとも１つの仮想オブジェクトの角度方向、少なくとも１つの仮想オブジェクトが位置する入力デバイスの側面、または入力デバイスに対する少なくとも１つの仮想オブジェクトのサイズのうちの少なくとも１つを含むことができる。元の空間特性は、入力デバイスからの少なくとも１つの仮想オブジェクトの距離を含むことができる。提示された仮想コンテンツおよび関連する仮想オブジェクトを、第１の位置にあったときと同じ第２の位置の入力デバイスからの距離に保つことが望ましい場合がある。ユーザは、可動入力デバイスに対して自身の好ましい提示距離を構成することができる。例えば、ユーザは、可動入力デバイスから２５センチメートル離れて仮想コンテンツを提示することを好む場合がある。ユーザが入力デバイスを第１の位置から第２の位置に動かすとき、ユーザが提示の向きを変える必要がないように、および／または他のユーザが変化する提示に混乱しないように、ユーザが元の空間特性を維持することが望ましい場合がある。

いくつかの実施形態では、元の空間特性は、入力デバイスに対する少なくとも１つの仮想オブジェクトの角度方向を含むことができる。提示された仮想コンテンツおよび関連する仮想オブジェクトを、第２の位置において第１の位置にあったのと同じ角度方向に保つことが望ましい場合がある。例えば、仮想コンテンツが第１の位置にあったように第２の位置で完全に異なる角度で提示された場合、混乱を招く可能性があり、例えばコンテンツが上下逆さまに表示された場合、コンテンツを視聴している装着型エクステンデッド・リアリティ機器の他のユーザを混乱させる可能性がある。

いくつかの実施形態では、元の空間特性は、少なくとも１つの仮想オブジェクトが位置する入力デバイスの側面を含むことができる。ユーザが提示されたコンテンツを見るときに向きを変える必要がないように、仮想コンテンツを第１の位置において第２の位置と同じ側の入力デバイスに表示することが望ましい場合がある。仮想コンテンツが可動入力デバイスの背後の位置に表示される場合、それは、コンテンツを視聴する他の装着型エクステンデッド・リアリティ機器の他のユーザを混乱させ、混乱させる可能性がある。

いくつかの実施形態では、元の空間特性は、入力デバイスに対する少なくとも１つの仮想オブジェクトのサイズを含むことができる。提示された仮想コンテンツおよび関連する仮想オブジェクトを、それらが第１の支持面位置にあったときと同じサイズで第２の支持面位置に維持することが望ましい場合がある。例えば、提示された仮想コンテンツを位置間で同じサイズに保つことは、コンテンツの他の視聴者が提示されたコンテンツを明確に見て理解することができるように、仮想コンテンツの一部としてのすべてのテキストおよびグラフィックスが同じサイズで提示されることを保証する。

いくつかの開示された実施形態は、入力デバイスが支持面から取り外された第３の位置にあると判定することを含むことができる。第３の位置決定は、第１および第２の位置の前述の説明と同様のやり方で達成することができる。一例では、入力デバイスと支持面との間の距離を幾何学的に測定することによって、第３の位置が支持面から除去されたと判定することができる。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサは、取り込まれた画像データに基づいて入力デバイスが支持面から取り外されたと判定することができる。いくつかの実施形態では、可動入力デバイスに関連付けられたモーションセンサは、入力デバイスが支持面から取り外されたと判定することができる。

いくつかの実施形態では、入力デバイスが支持面から取り外されたという判定に応答して少なくとも１つの仮想オブジェクトの提示を変更することは、少なくとも１つの仮想オブジェクトを支持面上に提示し続けることを含むことができる。装着型エクステンデッド・リアリティ機器に関連付けられたプロセッサは、ユーザが取り込まれた画像データ、取り込まれたモーションデータ、またはその両方を介して入力デバイスを支持面から取り外したと判定することができる。ユーザが入力デバイスを支持面から取り外すと、装着型エクステンデッド・リアリティ機器によって提示されている仮想オブジェクトは消えない可能性がある。代わりに、仮想オブジェクトは、装着型エクステンデッド・リアリティ機器のユーザに見えるままであってもよい。これは、ユーザが入力デバイスを動かしたいが、仮想オブジェクトを提示するときに混乱を引き起こしたくない状況において有用であり得る。例えば、ユーザは、仮想オブジェクトが他の視聴者により見えるように、入力デバイスを異なる場所に動かしている可能性がある。この例では、装着型エクステンデッド・リアリティ機器のユーザは、中断することなく少なくとも１つの仮想オブジェクトを提示し続けることを望む場合がある。いくつかの実施形態では、入力デバイスが支持面から取り外された後に、提示された仮想オブジェクトの空間特性は、入力デバイスが取り外される前と同一のままであってもよいし、変化してもよい。

いくつかの実施形態では、プロセッサ動作は、支持面上の入力デバイスの典型的な位置を決定することと、入力デバイスが支持面から取り外されたときに少なくとも１つの仮想オブジェクトを典型的な位置の近くに提示することとをさらに含むことができる。典型的な位置は、ユーザが可動入力デバイスを配置することを好む位置であってもよく、例えば、モーションセンサによって取り込まれた履歴位置および向きデータに基づいて決定されてもよい。典型的な位置はまた、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサによって取り込まれた可動入力デバイスの履歴位置に基づいて決定されてもよい。画像センサは、経時的に、入力デバイスの位置および／または向きを表す画像データを取り込むことができる。その取り込まれた画像データに基づいて、少なくとも１つのプロセッサは、装着型エクステンデッド・リアリティ機器のユーザが仮想オブジェクトを提示することを好む支持面上の典型的な位置を予測することができる。いくつかの実施形態では、少なくとも１つのプロセッサは、機械学習アルゴリズムまたは同様のアルゴリズムを使用して、典型的な位置を予測することができる。機械学習の実施形態は、例えば、履歴配置データと、入力デバイスが各位置に配置される頻度とを含む訓練データを受信することができる。機械学習アルゴリズムは、訓練データを使用して訓練することができる。訓練された機械学習モデルは、入力デバイスを配置するための典型的な位置を決定することができる。典型的な位置またはそれに関連するデータは、データ構造に格納され、必要に応じてプロセッサによって検索され得る。いくつかの実施形態では、典型的な位置は、ユーザによって手動で構成されてもよい。例えば、ユーザが通常、会議室の机またはテーブルにいる間に装着型エクステンデッド・リアリティ機器を使用する場合、そのユーザは、仮想コンテンツを提示するための典型的な場所としてその机またはテーブルの特定の部分を手動で構成することができる。

入力デバイスが表面から取り外されたという判定に応答して、いくつかの実施形態は、少なくとも１つの仮想オブジェクトの提示を変更することを含むことができる。一例では、提示を変更することは、例えば入力デバイスまたは別のオブジェクトに関連して、仮想オブジェクトの位置または向きを変更することを含んでもよい。別の例では、提示を変更することは、少なくとも１つの仮想オブジェクトの提示の不透明度、配色、または明るさを変更することを含むことができる。例えば、不透明度を下げることができ、明るさを上げることができ、および／または任意の他のパラメータを増減することができる。いくつかの例では、提示を変更することは、少なくとも１つの仮想オブジェクトのサイズを変更することを含むことができる。他の例では、提示を変更することは、任意の可能な方法で少なくとも１つの仮想オブジェクトの外観を変更することを含むことができる。プロセッサは、取り込まれた画像データおよび／または取り込まれたモーションデータのいずれかに基づいて、入力デバイスが支持面から取り外されたと判定することができる。これに応じて、提示された仮想オブジェクトが変更されてもよい。仮想オブジェクトの提示は、仮想オブジェクトに関連付けられた１つまたは複数のパラメータを変更することによって無数の方法で変更され得る。そのようなパラメータは、例えば、配色、不透明度、強度、明るさ、フレームレート、表示サイズを含むことができ、および／または仮想オブジェクトタイプを変更することができる。典型的には、これらのパラメータの１つまたは複数の変更は、そのパラメータを低減または増加させること、例えば、輝度またはディスプレイサイズを低減または増加させることを含んでもよい。別の例では、複数の仮想オブジェクトが提示されてもよい。仮想オブジェクトの提示を変更することは、仮想オブジェクトのうちの１つを除去すること、または、入力デバイスが支持面から除去されると、第１および第２の仮想オブジェクトを互いにドッキング解除することを含んでもよい。いくつかの例では、装着型エクステンデッド・リアリティ機器に含まれる画像センサを使用して取り込まれた画像データを解析して、少なくとも１つの仮想オブジェクトの提示に対する変更を選択することができる。例えば、画像データを解析して周囲照明条件を決定し、決定された周囲照明条件に基づいて修正を選択することができる。別の例では、画像データを解析して、（例えば、人物検出アルゴリズムを使用して）環境内の他の人物の存在を検出し、他の人物が存在するという判定に応答して、第１の修正を選択することができ（例えば、サイズおよび不透明度の低減）、他の人物が存在しないという判定に応答して、第２の修正を選択することができる（例えば、サイズを大きくしながら不透明度を低減する）。

例として、図５６Ａは、入力デバイス５６１０を支持面上の第２の位置５６１２から支持面５６１６から取り外された第３の位置５６１４に動かすことを示す。入力デバイス５６１０を支持面から取り外すことにより、少なくとも１つの仮想オブジェクトが変更されてもよい。ここで、第１の仮想オブジェクト５６１８および第２の仮想オブジェクト５６２０は、入力デバイスに予めドッキングされている。しかし、入力デバイスが支持面５６１６から取り外されると、第２の仮想オブジェクト５６２０の表示サイズが小さくなり、第１の仮想オブジェクト５６１８が入力デバイスからドッキング解除されて支持面５６１６に留まることがある。

いくつかの実施形態では、入力デバイスが支持面から取り外されたという判定に応答して少なくとも１つの仮想オブジェクトの提示を変更することは、少なくとも１つの仮想オブジェクトを消滅させることを含むことができる。装着型エクステンデッド・リアリティ機器のユーザが場所から場所へ動くことを望む場合、入力デバイスが支持面から取り外されたとき、例えば仮想オブジェクトがもはや有用ではない可能性があるときに、仮想オブジェクトが消えることが望ましい場合がある。別の例では、ユーザは、少なくとも１つの仮想オブジェクトを提示し続けることを望むかもしれないが、そうするために第１の位置から遠く離れた別の位置に動く必要があるかもしれない。そのような場所は、異なる会議室、同僚のオフィス、または自宅の異なる部屋を含むことができる。いくつかの実施形態は、入力デバイスが支持面から取り外されたときに少なくとも１つの仮想オブジェクトが消えることを可能にし、入力デバイスが後で異なる支持面に配置されたときに再び現れることができる。さらに、少なくとも１つの仮想オブジェクトを消滅させることにより、入力デバイスがある場所から別の場所に動いている間にユーザがもはや能動的に提示していないため、装着型エクステンデッド・リアリティ機器におけるバッテリ消費および発熱を低減することができる。

別の実施形態では、ユーザが可動入力デバイスを支持面から取り外すと、第１の仮想オブジェクトは第２の仮想オブジェクトからドッキング解除され得る。オブジェクトが互いにドッキング解除されると、第２の仮想オブジェクトは、もはや第１の仮想オブジェクトと共に場所から場所に自動的に動かない場合がある。装着型エクステンデッド・リアリティ機器のユーザが機器をどのように構成するかに応じて、オブジェクトの一方または両方が消える場合がある。装着型エクステンデッド・リアリティ機器のユーザはまた、仮想オブジェクトタイプに基づいて仮想オブジェクトを消去するように構成することもできる。例えば、タスクバー、ナビゲーションペイン、またはボリュームもしくは輝度バーは、機器ユーザが入力デバイスを支持面から取り外すと自動的に消えることができる。

例として、図５６Ｂに示すように、可動入力デバイス５６１０が支持面５６１６から取り外されると、第１の仮想オブジェクト５６１８（図５６Ａに示す）が完全に消失し、第２の仮想オブジェクト５６２０が変更されずに表示されてもよい。他の実施形態では、第２の仮想オブジェクト５６２０は消えてもよく、第１の仮想オブジェクト５６１８は見えたままであってもよく、またはさらなる実施形態では、第１の仮想オブジェクト５６１８および第２の仮想オブジェクト５６２０の両方が消えてもよい。

いくつかの実施形態では、プロセッサ動作は、入力デバイスが第３の位置にある間に少なくとも１つの仮想オブジェクトと対話する装着型エクステンデッド・リアリティ機器のユーザの要望を示す入力を受信し、少なくとも１つの仮想オブジェクトを再表示させることをさらに含んでもよい。第３の位置で少なくとも１つの仮想オブジェクトと対話することを望むユーザの希望は、無数の方法で発生する可能性がある。例えば、装着型エクステンデッド・リアリティ機器のユーザは、少なくとも１つの仮想オブジェクトと対話するための音声コマンドを発行することができる。そのような音声コマンドは、「仮想オブジェクトを提示する」、「仮想オブジェクトを修正する」、「仮想オブジェクトをドッキング解除する」などのコマンド、または装着型エクステンデッド・リアリティ機器のユーザと仮想コンテンツとの間の対話を提案する任意の他のコマンドを含むことができる。音声コマンドは、音声入力４３３（図４参照）によって受信されてもよい。固有の音声コマンドは、装着型エクステンデッド・リアリティ機器のユーザによって構成されてもよく、異なるユーザ間で異なってもよい。別の実施形態では、機器ユーザは、少なくとも１つの仮想オブジェクトと対話するために仮想カーソルを動かすことができる。この例では、少なくとも１つのプロセッサは、仮想カーソル動きを、少なくとも１つの仮想オブジェクトと対話することを望むものとして認識することができる。仮想カーソルの代わりに、ジョイスティック入力、タッチパッド入力、ジェスチャ入力、またはゲームコントローラ入力を使用することができる。いくつかの実施形態では、装着型エクステンデッド・リアリティ機器のユーザは、アイコンをクリックして少なくとも１つの仮想オブジェクトを提示することができる。カーソル、ジョイスティック、タッチパッド、またはゲームコントローラは、入力インターフェース４３０（図４参照）の一部として構成されてもよい。別の実施形態では、少なくとも１つの仮想オブジェクトと対話することを望むことは、画像センサを介して取り込まれた画像データを介して決定されてもよい。この取り込まれた画像データは、手の動きもしくはジェスチャ、頭のうなずきもしくはジェスチャ、または少なくとも１つの仮想オブジェクトと対話したいという要望をシグナリングすることができる任意の他の身体の動きを含むことができ、装着型エクステンデッド・リアリティ機器のユーザによって構成されてもよい。データは、ジェスチャ入力４３１（図４参照）であってもよい。この例では、機器ユーザは、少なくとも１つの仮想オブジェクトと対話する意図をシグナリングするために手を振ることができる。それに応答して、仮想オブジェクトは、装着型エクステンデッド・リアリティ機器のユーザに近接して仮想画面上に再表示され得る。別の実施形態では、少なくとも１つの仮想オブジェクトと対話することを望むことは、取り込まれた画像、音声、またはカーソルデータ以外のデータに基づくことができる。例えば、装着型エクステンデッド・リアリティ機器は、ユーザがカレンダデータに基づいて少なくとも１つの仮想オブジェクトと対話することを望む可能性があると判定することができる。カレンダデータは、その日のユーザのタスクに関連する任意のデータを指すことができる。例えば、ユーザは、その日にスケジュールされた複数の会議を有することができる。装着型エクステンデッド・リアリティ機器のユーザは、これらの会議の各々で少なくとも１つの仮想オブジェクトを提示する必要があり得る。装着型エクステンデッド・リアリティ機器は、ユーザのスケジュールに基づいて、ユーザが仮想オブジェクトと対話することを望む可能性があることを判定することができる。この例では、カレンダデータは、装着型エクステンデッド・リアリティ機器のユーザが水曜日（または他の営業日）に会議を行っていること、および会議中に円グラフまたは他のグラフィカルコンテンツを提示する必要があることを示すことができる。装着型エクステンデッド・リアリティ機器は、そのデータに基づいて、そのコンテンツを自動的に提示することができ、ユーザは、仮想オブジェクトと対話するための追加の意図を示す必要がない。別の例では、装着型エクステンデッド・リアリティ機器は、格納された使用データに基づいて、ユーザが少なくとも１つの仮想オブジェクトと対話することを望むと判定することができる。記憶された使用データは、ユーザが少なくとも１つの仮想オブジェクトを提示した１つまたは複数の時刻を示すデータを指すことができる。記憶されたデータはまた、ユーザが少なくとも１つの仮想オブジェクトを提示した曜日を含むことができる。格納された使用データに基づいて、装着型エクステンデッド・リアリティ機器は、ユーザが少なくとも１つの仮想オブジェクトと対話したいときを予測することができる。装着型エクステンデッド・リアリティ機器に関連付けられたプロセッサは、機械学習モデルまたは同様のアルゴリズムに基づいてユーザ相互作用を予測することができる。この実施形態では、例えば、カレンダデータと、カレンダデータに関連する１つまたは複数の仮想オブジェクトに関する情報とを含む訓練データを使用して、機械学習モデルを訓練することができる。訓練された機械学習モデルは、時刻または他のカレンダー情報に基づいて、仮想オブジェクトと対話するユーザの意図を判定することができる。

いくつかの実施形態では、入力デバイスが支持面から取り外されたという判定に応答して少なくとも１つの仮想オブジェクトの提示を変更することは、少なくとも１つの仮想オブジェクトの少なくとも１つの視覚特性を変更することを含むことができる。視覚特性は、知覚に影響を与える任意の特性を含むことができる。

いくつかの実施形態では、少なくとも１つの視覚特性は、配色、不透明度レベル、強度レベル、輝度レベル、フレームレート（ビデオコンテンツが提示されるとき）、ディスプレイサイズ、向き、および／または仮想オブジェクトタイプのうちの少なくとも１つを含むことができる。これらまたは他の視覚的特性のいずれか１つは、増加、減少、または他の方法で変更され得る。例えば、入力デバイスが支持面から取り外されたという判定に応答して、表示サイズまたは輝度レベルを増減させることができる。例として、図５６Ａは、入力デバイス５６１０が支持面５６１６から取り外された後に表示サイズが縮小された第２の仮想オブジェクト５６２０を示す。

装着型エクステンデッド・リアリティ機器のユーザは、提示される仮想オブジェクトに基づいてどの視覚特性を変更するかを構成することができる。この実施形態では、特定の仮想オブジェクトタイプ（例えば、文書、ビデオ、またはグラフ）が提示されるときはいつでも、変更されるべきデフォルトの視覚特性に割り当てることができる。例えば、ユーザがチャートまたはグラフを提示している場合、ユーザは、視聴者がグラフのチャートの主要点を依然として理解できるように、向きの代わりに輝度を下げることを決定することができる。別の例では、装着型エクステンデッド・リアリティ機器のユーザが写真または図面を提示している場合、ユーザは、代わりにユーザの好みに応じて表示サイズを縮小することを決定することができる。別の実施形態では、変更される視覚特性は、ユーザが行った以前の変更に基づくことができる。例えば、ユーザは、チャートまたはグラフを提示し、提示された仮想オブジェクトの輝度設定を変更することができる。視覚データ（例えば、輝度または他の視覚的設定）は、装着型エクステンデッド・リアリティ機器、入力デバイス、またはリモートサーバに関連付けられたメモリに格納することができる。ユーザが後に類似のコンテンツを提示することを決定したとき、少なくとも１つのプロセッサは、メモリに記憶された視覚データに基づいて他の視覚特性の前に明るさを調整することができる。さらに別の実施形態では、少なくとも１つのプロセッサは、記憶されたデータ、機械学習モデル、または別の同様のアルゴリズムに基づいて、どの視覚特性を変更するかを予測することができる。

いくつかの実施形態では、入力デバイスが支持面から取り外されたという判定に応答して少なくとも１つの仮想オブジェクトの提示を変更することは、少なくとも１つの仮想オブジェクトの最小化バージョンを提示することを含むことができる。最小化されたバージョンは、少なくとも１つの次元で変更された表現であり得る。装着型エクステンデッド・リアリティ機器に関連付けられた画像センサ、または可動入力デバイスに関連付けられたモーションセンサのいずれかが、入力デバイスが支持面から取り外されたことを検出すると、仮想オブジェクトを最小化することができる。最小化されたオブジェクトは、アイコン形式の仮想オブジェクトを指すことができる。例えば、ユーザは、テキストエディタにおいてテキスト文書を提示している場合もあれば、提示閲覧アプリケーションにおいて提示を提示している場合もある。これらの文書が最小化されると、視聴ユーザは、表示されたこれらの番組を表すアイコンのみを見ることになる。そのような仮想オブジェクトは、ウェアラブルアプライアンスのユーザがもはや能動的に提示していない可能性が高いために最小化することができ、そのため、仮想オブジェクトは、バッテリ消費を低減し、装着型エクステンデッド・リアリティ機器の発熱を低減するために最小化することができる。ユーザが能動的に他者に提示していないが、仮想画面を介してプログラムを使用している場合にも、仮想オブジェクトを最小化することができる。一例では、ユーザは、メッセージの同僚にメッセージングアプリケーションを私的に使用している場合がある。他の人にコンテンツを積極的に提示しないが、ユーザは依然として可動入力デバイスを使用して仮想画面と対話している可能性があり、したがって、可動入力デバイスが取り外されると、メッセージングアプリケーションは最小化され、ユーザはアイコンのみを見ることになる。一例では、少なくとも１つの仮想オブジェクトは、チャットアプリまたはメッセージングアプリなどのアプリケーションであってもよい。入力デバイスが支持面上に置かれると、アプリが開かれ、ユーザは最近のチャットやメッセージを見ることができる。しかしながら、キーボードが支持面から取り外されると、アプリケーションは自動的にアイコンに最小化され得る。ユーザは依然としてメッセージおよび通知を受信することができるが、入力デバイスが支持面上に配置されない限り、完全なメッセージは示されない場合がある。別の例では、仮想オブジェクトは表示された映像であってもよい。入力デバイスが支持面から取り外されると、ビデオは最小化され、ビデオコンテンツを自動的に一時停止することができる。入力デバイスが支持面から取り外された後に支持面上に戻されると、ビデオコンテンツは元の表示設定で再生を再開することができる。

いくつかの実施形態では、プロセッサ動作は、少なくとも１つの仮想オブジェクトの最小化バージョンの選択を反映した入力を受信することと、少なくとも１つの仮想オブジェクトを拡張ビューで提示させることとをさらに含むことができる。拡張ビューは、少なくとも１つの次元が増加した任意の提示を含むことができる。いくつかの実施形態では、提示された仮想オブジェクトは、入力デバイスが支持面から取り外された後に最小化されてもよい。装着型エクステンデッド・リアリティ機器のユーザは、最小化された仮想オブジェクトを選択し、それを拡張ビューで提示することができる。さらに、少なくとも１つの仮想オブジェクトの最小化バージョンの選択を反映する入力は、無数の方法で生じ得る。例えば、ユーザは、最小化されたアプリケーションを展開するようにプロセッサに命令するコマンドを入力ユニット２０２（図３参照）にタイプすることができる。別の例では、入力は、最小化されたアプリケーションを選択し、それを展開するためにアプリケーションアイコンをクリックするポインタ入力３３１（図３参照）であってもよい。さらなる例では、入力は、最小化されたアイコンを展開するようにプロセッサに命令する音声入力４３３（図４参照）に含まれる音声コマンドであってもよい。そのような音声コマンドは、装着型エクステンデッド・リアリティ機器のユーザによって構成されてもよい。さらに別の例では、入力は、ジェスチャ入力４３１（図４参照）としての取り込まれた画像データの形態であってもよい。この例では、入力は、装着型エクステンデッド・リアリティ機器が最小化されたアプリケーションを拡張するためのコマンドとして解釈することができる手の振りもしくはジェスチャ、頭のうなずき、または任意の他の身体の動きの形態であってもよい。

図５７は、可動入力デバイスの位置に基づいて、可動入力デバイスにドッキングされた仮想オブジェクトの表示を変更するための典型的な方法５７００を示すフローチャートである。方法５７００は、入力ユニット２０２（図３を参照）、ＸＲユニット２０４（図４を参照）、および／または入力インターフェース３３０、４３０（図３および図４を参照）に関連付けられた１つまたは複数の処理デバイス（例えば、３６０、４６０、または５６０）によって実行されてもよい。開示された方法５７００のステップは、ステップの並べ替えおよび／またはステップの挿入もしくは削除を含む任意のやり方で修正することができる。方法５７００は、ＸＲユニット２０４に関連付けられた画像センサ４７２（図４参照）から画像データを受信するステップ５７１２を含むことができ、画像データは、支持面上の第１の位置に配置された入力デバイスを表す。方法５７００はまた、装着型エクステンデッド・リアリティ機器に、第１の位置に近接した少なくとも１つの仮想オブジェクトの提示を生成させるステップ５７１４を含むことができる。少なくとも１つのプロセッサ４６０は、ステップ５７１６に示すように、少なくとも１つの仮想オブジェクトを入力デバイス、例えばキーボード１０４（図１参照）にドッキングすることができる。方法７００は、入力デバイス（例えば、キーボード１０４）が支持面上の第２の位置にあると判定するＸＲユニット２０４（図４参照）に関連付けられた少なくとも１つのプロセッサを含むステップ５７１８を含むことができる。プロセッサ４６０（図４参照）は、入力デバイスが第２の位置にあるという判定に応答して、少なくとも１つの仮想オブジェクトが第２の位置の近くに現れるように、少なくとも１つの仮想オブジェクトの提示を更新することを含むステップ５７２０を実行することができる。方法５７００は、装着型エクステンデッド・リアリティ機器２０４に関連付けられたプロセッサ（図４参照）が、入力デバイスが支持面から取り外された第３の位置にあると判定するステップ５７２２を含むことができる。方法５７００は、入力デバイスが支持面から取り外されたという判定に応答して、第３のキーボード位置に基づいて少なくとも１つの仮想オブジェクトの提示を変更するステップ５７２４を含んでもよい。

いくつかの開示された実施形態は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、エクステンデッド・リアリティ環境において仮想オブジェクトを仮想ディスプレイ画面にドッキングするための動作を実行させることができる命令を含むシステム、方法、および／または非一時的コンピュータ可読媒体を含むことができる。仮想オブジェクトは、エクステンデッド・リアリティ環境に現れる任意の非物理アイテムであってもよい。仮想オブジェクトは、限定された領域内でコンピュータによってレンダリングされ、特定のタイプのオブジェクト（無生物の仮想オブジェクト、生物の仮想オブジェクト、仮想家具、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など）を表すように構成された視覚的提示を含むことができる。例えば、仮想オブジェクトは、ウィジェット、文書、提示、メディアアイテム、写真、ビデオ、仮想キャラクタ、および他のオブジェクトを含むことができる。仮想オブジェクトは、ユーザが装着型エクステンデッド・リアリティ機器を装着しているときに現れることができる。仮想表示画面（本明細書では「仮想ディスプレイ」または「仮想画面」とも呼ばれる）の一例は、上述した仮想表示画面１１２を含むことができ、上述したように、物理ディスプレイ画面の機能を模倣および／または拡張する仮想オブジェクトを含むことができる。エクステンデッド・リアリティ環境は、コンピュータによってアクセスされる環境であり得る。例えば、エクステンデッド・リアリティ環境は、ユーザが装着型エクステンデッド・リアリティ機器を装着しているときにアクセスされてもよい。ドッキング仮想オブジェクトは、少なくとも２つのオブジェクトを接続、テザリング、リンク、または他の方法で結合することを含むことができる。ドッキングされた仮想オブジェクトの位置および／または向きは、別のオブジェクトの位置および／または向きの位置および／または向きに接続されてもよい。例えば、ドッキングされた仮想オブジェクトは、それらがドッキングされているオブジェクトと共に動くことができる。別の例として、仮想オブジェクトが仮想表示画面にドッキングされ、仮想ディスプレイ画面を動かすと、ドッキングされた仮想オブジェクトが動く場合がある。

いくつかの実施形態では、少なくとも１つの仮想オブジェクトは、装着型エクステンデッド・リアリティ機器のユーザの電話を仮想的に表す専用ウィジェットを含むことができる。ウィジェットは、ユーザが情報にアクセスし、または機能を実行し、エクステンデッド・リアリティ環境の定義された領域に現れることを可能にするモジュール、アプリケーション、またはインターフェースであり得る。専用ウィジェットは、特定の情報を提供する、または特定の機能を実行するモジュール、アプリケーション、またはインターフェース（またはモジュール、アプリケーションもしくはインターフェースにリンクされたアイコンもしくは他の表現）であってもよい。例えば、専用ウィジェットは、ユーザが電話の機能を実行することを可能にする電話アプリケーションであってもよい。ユーザは、専用ウィジェットを使用して電話番号をダイヤルしたり、テキストメッセージを作成したりすることができる。一例では、ウィジェットは、エクステンデッド・リアリティ環境で電話ディスプレイ画面のレプリカを提示することができる。

例として、図５８は、本開示のいくつかの実施形態と一致する、ユーザの電話を表す仮想ディスプレイおよびドッキングされた仮想オブジェクトの例を示す。図５８に示すように、仮想オブジェクト５８１１は、仮想ディスプレイ５８１０にドッキングされてもよい。仮想オブジェクト５８１１は、ユーザの電話を表すことができる。例えば、仮想オブジェクト５８１１は、装着型エクステンデッド・リアリティ機器のユーザの電話を仮想的に表すように構成された仮想ウィジェットであってもよく、またはそれを含んでもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器を介して提示するための仮想コンテンツを生成することを含むことができ、仮想コンテンツは、仮想ディスプレイと、仮想ディスプレイの外側に位置する複数の仮想オブジェクトとを含む。装着型エクステンデッド・リアリティ機器は、本開示の他の箇所で説明するように、仮想コンテンツをユーザに提示することができる。仮想コンテンツは、仮想ディスプレイと、仮想ディスプレイに近接していてもいなくてもよい１つまたは複数の仮想オブジェクトとを含むことができる。例えば、仮想オブジェクトが仮想ディスプレイと同じ空間にない場合、仮想オブジェクトは仮想ディスプレイの外側にあってもよい。仮想オブジェクトが仮想ディスプレイの外側に位置するとき、仮想オブジェクトは仮想ディスプレイと共に動かなくてもよい。例えば、ユーザが装着型エクステンデッド・リアリティ機器を装着しており、仮想コンテンツがユーザに提示されると、ユーザは仮想ディスプレイの位置を動かすことができる。ユーザが仮想ディスプレイの位置を動かすと、仮想オブジェクトは仮想ディスプレイの外側に位置するため、仮想オブジェクトの位置は変化しない可能性がある。

例として、図５９Ａおよび図５９Ｂは、本開示のいくつかの実施形態と一致する、仮想ディスプレイと、仮想ディスプレイが位置を変更する前後に仮想ディスプレイの外側に位置する複数の仮想オブジェクトと、を示す。図５９Ａに示すように、仮想オブジェクト５９１１、５９１２、および５９１３は、それぞれ位置５９１５、５９１６、および５９１７に配置され得る。仮想ディスプレイ５９１０は、位置５９１４に配置され得る。仮想オブジェクト５９１１および５９１２ならびに仮想ディスプレイ５９１０は、破線５９１８の上に配置されてもよい。仮想ディスプレイ５９１０は、仮想オブジェクト５９１１、５９１２、および５９１３にドッキングされなくてもよい。図５９Ｂに示すように、仮想ディスプレイ５９１０は、破線５９１８の下の新しい位置５９２６に動くことができる。仮想オブジェクト５９１１、５９１２、および５９１３は、仮想ディスプレイ５９１０と共に動かなくてもよい。仮想オブジェクト５９１１、５９１２、および５９１３は、それぞれ破線５９１８の上の元の位置５９１５、５９１６、および５９１７に留まることができる。

いくつかの開示された実施形態は、複数の仮想オブジェクトから少なくとも１つの仮想オブジェクトの選択を受信することを含むことができる。仮想オブジェクトの選択を受信することは、仮想オブジェクトを決定、設定、固定、または選択することを含むことができる。ユーザは、複数の仮想オブジェクトから少なくとも１つの仮想オブジェクトを選択することができる。ユーザは、マウスのクリック、ボタンの押下、タッチ面のタップ、オブジェクトのドラッグ、オブジェクトの強調表示、ハンドジェスチャ、音声コマンド、または他の手段によって仮想オブジェクトを選択することができる。例えば、ユーザは、複数の仮想オブジェクトから文書を表す仮想オブジェクトを選択することができる。別の例として、ユーザは、複数の仮想オブジェクトから音声ファイルを表す仮想オブジェクトを選択することができる。ユーザによるピッキングの際に、ピッキングの動作は、少なくとも１つのプロセッサに情報を送信させることができ、少なくとも１つのプロセッサはそこで選択を受信することができる。他の例では、選択を受信することは、メモリから選択を読み取ること、外部デバイスから選択を受信すること、データの解析（入力データ、画像データ、音声データなど）から選択を受信すること、１つまたは複数の規則に基づいて選択を決定することなどを含むことができる。

いくつかの実施形態では、複数の仮想オブジェクトから選択された少なくとも１つの仮想オブジェクトは、第１の表面に表示される第１の仮想オブジェクトと、第１の表面と少なくとも部分的に一致する第２の表面に表示される第２の仮想オブジェクトとを含むことができる。一例では、第１および／または第２の表面は、テーブル、机、食器棚、端テーブル、椅子の腕、またはユーザの物理的環境に存在する任意の他のオブジェクトなどの任意の物理オブジェクトの１つまたは複数の外面を含むことができる。一例では、第１および／または第２の表面は仮想表面であってもよい。別の例では、第１および／または第２の表面の一方は仮想表面であってもよく、他方は物理的表面であってもよい。第１の仮想オブジェクトと第２の仮想オブジェクトとは異なる面に投影されてもよい。例えば、第１の面は、キーボードが配置される物理的表面であってもよく、第２の面は、仮想面であってもよい。２つの表面は、直線または曲線で交差してもよい。

いくつかの実施形態では、第１の表面は、地面に対して実質的に垂直であってもよく、第２の表面は、地面に対して実質的に平行であってもよい。一例では、地表面は、重力方向に対して、地表面またはその付近の任意の水平面であってもよい。例えば、地面は、床を含む表面であってもよい。第１および第２の表面は、地面に対して配置されてもよい。例えば、いくつかの実施形態では、第１の表面は地面に対して垂直に配向されてもよく、第２の表面は地面に対して平行に配向されてもよい。いくつかの実施形態では、第１および第２の表面はそれぞれ、地面に対して異なる角度で傾斜していてもよい。

いくつかの開示された実施形態は、第１の表面と第２の表面との間の平面カーソル動きを変更することを含むことができる。カーソル（本明細書では「仮想カーソル」とも呼ばれる）は、上述したように、エクステンデッド・リアリティ環境上の選択された位置を表示するためにエクステンデッド・リアリティ・ディスプレイに表示されるインジケータを含むことができる。カーソルは、ユーザ入力の影響を受け得るエクステンデッド・リアリティ環境上の点を識別することができる。平面カーソル動きは、ユーザ入力に応答した２次元平面内の動きを指すことができる。カーソルは、第１の表面と第２の表面との間を動くことができる。例えば、第１の面はテーブルの上面であってもよく、第２の面は仮想面であってもよい。

いくつかの開示された実施形態は、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングすることを含むことができる。仮想ディスプレイの外側に位置する１つまたは複数の仮想オブジェクトのうちの少なくとも１つの仮想オブジェクトは、前述したやり方で仮想ディスプレイにドッキングされてもよい。１つまたは複数の仮想オブジェクトを仮想ディスプレイにドッキングすることにより、１つまたは複数のオブジェクトとディスプレイとを一緒に動かすことができる。例えば、ユーザがエクステンデッド・リアリティ環境で仮想ディスプレイを動かすと、ドッキングされた１つまたは複数の仮想オブジェクトが仮想ディスプレイと共に動くことができる。いくつかの例では、仮想オブジェクトを仮想ディスプレイにドッキングすることは、仮想ディスプレイにドッキングされた仮想オブジェクトのデータ構造に仮想オブジェクトを追加することを含んでもよい（リスト、セット、データベースなど）。仮想ディスプレイが動くと、データ構造にアクセスして、どの仮想オブジェクトを仮想ディスプレイと共に動かす必要があるかを判定することができる。一例では、仮想ディスプレイから仮想オブジェクトをドッキング解除することは、データ構造から仮想オブジェクトを除去することを含むことができる。いくつかの例では、第１の仮想オブジェクトを第２の仮想オブジェクトにドッキングすることは、第１の仮想オブジェクトを第２の仮想オブジェクトにドッキングされた仮想オブジェクトのデータ構造に追加することを含んでもよい（リスト、セット、データベースなど）。第２の仮想オブジェクトが動くと、データ構造にアクセスして、どの仮想オブジェクトを第２の仮想オブジェクトと共に動かす必要があるかを判定することができる。一例では、第２の仮想オブジェクトから第１の仮想オブジェクトをドッキング解除することは、データ構造から第１の仮想オブジェクトを除去することを含んでもよい。

例として、図６０Ａおよび図６０Ｂは、仮想ディスプレイおよび仮想ディスプレイにドッキングされた複数の仮想オブジェクトの一例を示す。図６０Ａに示すように、仮想ディスプレイ５９１０は、位置５９１４に配置されてもよい。仮想オブジェクト５９１１および５９１２は、それぞれ位置５９１５および５９１６に配置され得る。仮想オブジェクト５９１３は、位置５９１７に配置され得る。仮想オブジェクト５９１１、５９１２、および５９１３ならびに仮想ディスプレイ５９１０は、破線５９１８の上に配置されてもよい。仮想ディスプレイ５９１０は、仮想オブジェクト５９１２にドッキングされてもよく、仮想オブジェクト５９１２は、図６０Ａに示すように、仮想ディスプレイ５９１０と仮想オブジェクト５９１１とを結ぶ実線、および仮想オブジェクト５９１２と仮想オブジェクト５９１１とを結ぶ実線で仮想オブジェクト５９１２にドッキングされてもよい。これらの実線は実際には存在しなくてもよく、ドッキングを説明するためにのみ使用されることが理解される。そのような実線、またはドッキングの他の視覚的表示は、エクステンデッド・リアリティ環境で提示されてもされなくてもよい。仮想オブジェクト５９１３は、他のオブジェクトまたは仮想ディスプレイ５９１０にドッキングされなくてもよい。図６０Ｂに示すように、仮想ディスプレイ５９１０の位置は、破線５９１８の下の新しい位置５９２６に動くことができる。仮想ディスプレイ５９１０に（仮想オブジェクト５９１２の場合のように直接的に、または仮想オブジェクト５９１１にドッキングされ、したがって仮想ディスプレイに間接的にドッキングされる仮想オブジェクト５９１２の場合のように間接的に）ドッキングされた仮想オブジェクト５９１１および５９１２はまた、破線５９１８の下の新しい位置６０２４および６０２２にそれぞれ動くことができる。しかしながら、（直接的または間接的に）仮想ディスプレイ５９１０とドッキングされていない仮想オブジェクト５９１３は、破線５９１８の上の同じ位置５９１７に留まることができる。

いくつかの実施形態では、少なくとも１つの仮想オブジェクトと仮想ディスプレイとの間の関連付けの持続時間は時間依存性であり得る。少なくとも１つの仮想オブジェクトと仮想ディスプレイとの間の関連付けの持続時間は、少なくとも１つの仮想オブジェクトが仮想ディスプレイにドッキングされたままであり得る期間を表すことができる。期間は、１または複数の秒、分、時間、または任意の他の長さの時間であってもよい。例えば、少なくとも１つの仮想オブジェクトおよび仮想ディスプレイは、３０秒間だけ接続されてもよい。３０秒の間、仮想オブジェクトおよび仮想ディスプレイは一緒に動くことができる。３０秒が経過した後に、仮想ディスプレイが動いても仮想オブジェクトは動かず、仮想オブジェクトが動いても仮想ディスプレイは動かない場合がある。別の例として、少なくとも１つの仮想オブジェクトおよび仮想ディスプレイは、５分間だけ接続されてもよい。５分間の間、仮想オブジェクトおよび仮想ディスプレイは一緒に動くことができる。５分が経過した後に、仮想ディスプレイが動いたときに仮想オブジェクトが動かず、仮想オブジェクトが動いたときに仮想ディスプレイが動かない場合がある。

いくつかの開示された実施形態は、第１の期間中の仮想ディスプレイの位置の変更に応答して、第１の期間中に仮想ディスプレイによって少なくとも１つの仮想オブジェクトを動かすことと、第２の期間中の仮想ディスプレイの位置の第２の変更に応答して、第１の期間とは異なる第２の期間中に少なくとも１つの仮想オブジェクトを仮想ディスプレイから分離することと、を含むことができる。少なくとも１つの仮想オブジェクトおよび仮想ディスプレイは、特定の期間にわたって一緒にドッキングされてもよい。第１の期間中、少なくとも１つの仮想オブジェクトおよび仮想ディスプレイは一緒に動くことができる。第１の期間が終了し、第２の期間が開始すると、少なくとも１つの仮想オブジェクトと仮想ディスプレイとはドッキングされなくてもよい。第２の期間中、少なくとも１つの仮想オブジェクトは、仮想ディスプレイと共に動かなくてもよい。例えば、第２の期間中、ユーザは、仮想ディスプレイを動かすための入力を提供することができる。仮想ディスプレイは、入力に基づいて動き、少なくとも１つの仮想オブジェクトを動かさなくてもよい。少なくとも１つの仮想オブジェクトは、同じ位置に留まることができる。

いくつかの実施形態では、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングすることは、データを交換するために、少なくとも１つの仮想オブジェクト（またはソフトウェアプログラム、コンピューティングデバイス、スマートフォン、クラウドプラットフォームなどの少なくとも１つの仮想オブジェクトを制御するモジュール）と仮想ディスプレイ（または、オペレーティングシステム、コンピューティングデバイス、クラウドプラットフォームなどの仮想ディスプレイを制御するモジュール）との間の通信リンクを開くことができ、動作は、通信リンクを介して少なくとも１つの仮想オブジェクト（または関連するモジュール）からデータを検索し、検索されたデータを仮想ディスプレイに表示することをさらに含むことができる。ドッキングは、少なくとも２つのオブジェクト間（または関連するモジュール間）の通信リンクを作成することを含むことができる。通信リンクは、あるオブジェクトから別のオブジェクトへの情報、データ、またはコマンドの転送を可能にし得る２つ以上のオブジェクト間（または関連するモジュール間）の接続であり得る。仮想オブジェクトおよび仮想ディスプレイは、通信リンクを介して互いにデータを転送することができる。仮想オブジェクトに関連付けられたデータは、仮想ディスプレイに転送され、ユーザに表示されてもよい。データは、音声、ビジュアル、テキスト、または他のタイプのデータであってもよい。例えば、仮想オブジェクトは、音声ファイルを含んでもよい。音声ファイルは、通信リンクを介して仮想ディスプレイに転送されてもよい。音声ファイルは、仮想ディスプレイに関連して音声を再生するために使用され得る。別の例として、仮想オブジェクトは文書ファイルを含むことができる。文書ファイルは、通信リンクを介して仮想ディスプレイに転送されてもよい。文書ファイルは、ユーザが文書ファイルの他の機能を読み取り、編集、または変更できるように、仮想ディスプレイ上に表示されてもよい。別の例として、仮想オブジェクトは、通信リンクを介して仮想ディスプレイに転送され、仮想ディスプレイに表示され得る画像ファイルを含んでもよい。

いくつかの開示された実施形態は、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングした後に、少なくとも１つの仮想オブジェクトを動かす意図の表現なしに、仮想ディスプレイの位置を変更する意図を示す入力を受信することを含むことができる。ユーザは、仮想オブジェクトを動かす意図を示すことなく、仮想ディスプレイを動かすことを決定することができる。仮想ディスプレイを動かすための第１の装着型エクステンデッド・リアリティ機器のユーザの意図は、ユーザによる入力に基づいて決定されてもよい。そのような入力は、タッチスクリーンインターフェース、マウス、ジェスチャ、音声コマンド、または任意の他のタイプの対話型要素を介した１つまたは複数のオブジェクトとの対話を含むことができる。例えば、仮想オブジェクトを動かす意図は、ユーザが仮想ディスプレイの位置を変更するための入力を提供するときに決定されてもよい。位置は、例えば、一組のデカルト座標または極座標を参照して３つの座標値を使用することによって、一組の座標軸に対して決定され得る。別の例として、仮想オブジェクトを動かす意図は、ユーザがキーボードを介して仮想ディスプレイの位置を変更するための入力を提供するときに決定されてもよい。ユーザは、キーボード上の矢印キーを押して、仮想ディスプレイを左、右、上、および／または下に動かす意図を示すことができる。別の例として、ユーザは、仮想ディスプレイを任意の方向（例えば、左、右、上および／または下）にドラッグして（例えば、ハンドジェスチャ、仮想カーソルなどで）、仮想ディスプレイを動かす意図を示すことができる。別の例として、ユーザは、タッチパッドを使用し、ユーザの指をタッチパッド上で左、右、上、および／または下に動かして、仮想ディスプレイを動かす意図を示すことができる。ユーザは、仮想オブジェクトのうちの１つまたは複数を選択することなく、入力デバイスを使用する（例えば、仮想カーソル、ハンドジェスチャ、音声コマンドなどで）ときに仮想ディスプレイを選択することができる。入力デバイスを使用するときの１つまたは複数の仮想オブジェクトの選択の欠如は、仮想オブジェクトを動かす意図の表現の欠如を示し得る。さらなる例として、規則はユーザの意図を定義することができる。例えば、仮想オブジェクトが物理デバイス（物理入力デバイスなど）にドッキングされている場合、意図は物理デバイスのドッキングおよび動きを介して既に伝達されている可能性がある。あるいは、ドッキングが行われなかった場合、そのドッキングが行われないことによって意図が伝達されてもよい。意図は、システムによって推測されてもよい。例えば、動き前の所定の時間なしに、ユーザが特定のオブジェクトで作業していた場合、システムは、ディスプレイが動くときにオブジェクトを動かしたいとユーザが望むと推測することができる。この機能は、少なくとも１つのプロセッサによって実行される規則によって実施することができる。

いくつかの開示された実施形態は、入力に応答して仮想ディスプレイの位置を変更することを含むことができる。仮想ディスプレイは、位置または位置を変更するために仮想空間を動くことができる。位置の変更は、仮想ディスプレイがその元の位置または位置から動き得るときに起こり得る。上述したように、入力は、ディスプレイの現在位置から仮想ディスプレイを動かす意図を示すことができる。ユーザは、入力デバイスを介して位置を変更する意図を示すことができる。仮想ディスプレイは、受信した入力に基づいて任意の方向に任意の距離だけ動くことができる。例えば、仮想ディスプレイは、左、右、上、および／または下に動くことができる。一例として、ユーザはキーボード上の左矢印ボタンを押すことができる。これに応じて、仮想ディスプレイは、仮想ディスプレイの元の位置の左に動き得る。別の例として、ユーザはマウスを右に動かすことができる。これに応じて、仮想ディスプレイは、仮想ディスプレイの元の位置の右に動き得る。別の例として、ユーザはタッチパッドを使用し、タッチパッドに沿ってユーザの指を上に動かすことができる。これに応じて、仮想ディスプレイは、仮想ディスプレイの元の位置に対して上に動き得る。

いくつかの開示された実施形態は、仮想ディスプレイを物理オブジェクトにドッキングすることを含むことができる。仮想オブジェクトを別の仮想オブジェクトにドッキングするために、上述したのと同じやり方で仮想オブジェクトを物理オブジェクトにドッキングすることができる。物理オブジェクトは、キーボード、マウス、ペン、入力デバイス、コンピューティングデバイス、またはユーザの物理環境内の任意の他のオブジェクトを含むことができる。例として、仮想オブジェクトは物理キーボードにドッキングされてもよく、物理キーボードを動かすと、ドッキングされた仮想オブジェクトが動き得る。いくつかの実施形態では、仮想ディスプレイは、物理オブジェクトにドッキングされてもよい。仮想ディスプレイが物理オブジェクトにドッキングされている場合、物理オブジェクトの動きは、１つまたは複数の仮想オブジェクトと共に仮想ディスプレイの動きを生じさせることができる。

仮想ディスプレイを物理オブジェクトにドッキングした後に、いくつかの実施形態は、物理オブジェクトの動きを判定するために、装着型エクステンデッド・リアリティ機器によって取り込まれた画像データを解析することをさらに含むことができる。装着型エクステンデッド・リアリティ・デバイスは、画像データを取り込むための画像センサを含むことができる。画像データは、例えば視覚的オブジェクト追跡アルゴリズムを使用して、物理オブジェクトの動きを検出するために処理され得る。

いくつかの開示された実施形態は、物理オブジェクトの決定された動きに応答して、仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの位置を変更することを含むことができる。物理オブジェクトが動いたという判定に応答して、仮想ディスプレイおよび１つまたは複数の仮想オブジェクトの位置を変更することができる。例えば、例えば視覚オブジェクト追跡アルゴリズムを使用して、装着型エクステンデッド・リアリティ機器によって取り込まれた画像データの解析は、物理オブジェクトが左方向に動いたことを示すことができる。これに応じて、仮想ディスプレイおよび１つまたは複数の仮想オブジェクトも左方向に動くことができる。別の例として、装着型エクステンデッド・リアリティ機器によって取り込まれた画像データの解析は、物理オブジェクトが右方向に動いたことを示すことができる。それに応答して、仮想ディスプレイおよび１つまたは複数の仮想オブジェクトはまた、右方向に動くことができる。

例として、図６１Ａおよび図６１Ｂは、本開示のいくつかの実施形態と一致する、物理オブジェクトにドッキングされた仮想ディスプレイおよび物理オブジェクトの動きに応じた仮想ディスプレイの動きの例を示す。図６１Ａに示すように、仮想ディスプレイ６１１０は、位置６１１２に配置されてもよい。物理オブジェクト６１１１は、位置６１１３に配置され得る。物理オブジェクト６１１１および仮想ディスプレイ６１１０は、破線６１１５の上に配置されてもよい。仮想ディスプレイ６１１０は、ドッキング接続６１１４を介して物理オブジェクト６１１１にドッキングすることができる。図６１Ｂに示すように、物理オブジェクト６１１１は、例えばユーザによって破線６１１５の下の新しい位置６１１９に動き得る。仮想ディスプレイ６１１０はまた、例えばドッキング接続６１１４に基づいて自動的に、破線６１１５の下の新しい位置６１１６に動き得る。

いくつかの開示された実施形態は、物理オブジェクトの決定された動きが選択されたしきい値よりも小さい場合に、仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの位置を変更することを回避することを含むことができる。ユーザによる物理オブジェクトの動きは、物理オブジェクトおよび／または仮想ディスプレイの位置を変更する意図を示すのに十分ではない場合がある。例えば、いくつかの実施形態では、仮想ディスプレイおよび１つまたは複数のオブジェクトを動かすか否かは、ユーザが仮想ディスプレイにドッキングされた物理オブジェクトを動かす距離に基づいて決定され得る。しきい値距離を選択して、ユーザの意図が物理オブジェクトの位置を変更しないときを決定することができる。例として、しきい値距離は、１ミリメートル以上、１センチメートル以上、１インチ以上、または任意の他の所望の距離であってもよい。一例では、しきい値距離は１センチメートルに設定されてもよい。この例では、ユーザが物理オブジェクトを０．５センチメートル動かすと、物理オブジェクトの動きがしきい値未満であるため、物理オブジェクトにドッキングされた仮想ディスプレイおよび／または少なくとも１つの仮想オブジェクトは位置を変更しない場合がある。別の例として、ユーザが同じしきい値要件の下で物理オブジェクトを１．５センチメートル動かすと、物理オブジェクトの動きがしきい値を超えるため、物理オブジェクトにドッキングされた仮想ディスプレイおよび／または少なくとも１つの仮想オブジェクトは位置を変更することができる。

いくつかの実施形態では、しきい値は、物理オブジェクトのタイプ、ユーザの好み、ユーザ設定、物理オブジェクトの動きのタイプ、仮想ディスプレイ、仮想ディスプレイに表示されるコンテンツ、装着型エクステンデッド・リアリティ機器、または別のパラメータに基づいて選択され得る。いくつかの実施形態では、ユーザは、しきい値を特定の時間長に設定することができる。時間の長さは、１秒、２秒、５秒、または任意の他の時間であってもよい。例えば、物理オブジェクトの動きが２秒より長く続く場合にのみ、仮想ディスプレイおよび１つまたは複数の仮想オブジェクトの位置を変更することができる。別の例として、ユーザはしきい値を特定の距離に設定することができる。例えば、ユーザは、物理オブジェクトが移動する距離が２インチを超える場合、仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの位置が変更し得ることを示すことができる。

いくつかの実施形態では、物理オブジェクトへの仮想ディスプレイのドッキングは、仮想ディスプレイへの少なくとも１つの仮想オブジェクトのドッキングの前に行われてもよい。複数のオブジェクトおよびデバイスを他のオブジェクトおよびデバイスにドッキングすることができる。複数のオブジェクトおよびデバイスが一緒にドッキングされると、オブジェクトおよびデバイスのすべてが一緒に動くことができる。少なくとも１つの仮想オブジェクトは、仮想ディスプレイが物理オブジェクトにドッキングされている間に仮想ディスプレイにドッキングされてもよい。物理オブジェクトへの仮想ディスプレイのドッキングが最初に行われ、続いて仮想ディスプレイへの仮想オブジェクトのドッキングが行われてもよい。いくつかの実施形態では、仮想ディスプレイを物理オブジェクトにドッキングする前に、１つまたは複数の仮想オブジェクトを仮想ディスプレイにドッキングすることができる。

いくつかの開示された実施形態は、物理オブジェクトから仮想ディスプレイをドッキング解除するための入力を受信することと、仮想ディスプレイから少なくとも１つの仮想オブジェクトを自動的にドッキング解除することとを含むことができる。ドッキング解除プロセスを開始するために、ユーザから入力を受信することができる。例えば、ユーザは、入力デバイスを使用してドッキング解除を開始することができる。ユーザは、ドッキング解除を開始するためにボタンをクリックすることができる。別の例として、ユーザはまた、アンドッキングを開始するためにエクステンデッド・リアリティ環境内の物理オブジェクトから離れるように仮想ディスプレイをドラッグすることもできる。ユーザから受信した入力に応答して、仮想ディスプレイを物理オブジェクトからドッキング解除（例えば、切断される）することができる。仮想ディスプレイに以前にドッキングされた１つまたは複数の仮想オブジェクトは、仮想ディスプレイが物理オブジェクトから切り離されたときに仮想ディスプレイから自動的に切り離されてもよく、１つまたは複数の仮想オブジェクトをドッキング解除するための１つまたは複数の別個の入力は必要でなくてもよい。アンドッキングの結果、オブジェクトは一緒に動かなくてもよい。例えば、仮想ディスプレイは、ペンにドッキングされてもよく、電話ディスプレイなどの少なくとも１つの仮想オブジェクトは、仮想ディスプレイにドッキングされてもよい。ユーザは、ボタンをクリックしてドッキング解除を開始することができ、仮想ディスプレイは、ペンからドッキング解除することができる。その後に、電話ディスプレイは、仮想ディスプレイからドッキング解除されてもよい。ユーザは、ペンを動かすことができ、仮想ディスプレイおよび少なくとも１つの仮想オブジェクトは、ドッキング解除の結果として動かなくてもよい。

いくつかの実施形態では、物理オブジェクトは入力デバイスであってもよく、動作は、物理オブジェクトの決定された動きに応答して仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの向きを変更することをさらに含んでもよい。上述したように、物理オブジェクトは、キーボード、マウス、ペン、トラックボール、マイクロフォン、または他の入力デバイスなどの入力デバイスであってもよい。物理オブジェクトは、ユーザによって動いてもよく、それに応じて、仮想ディスプレイと少なくとも１つの仮想オブジェクトとの相対位置が調整されてもよい。例えば、ユーザは、キーボードを９０度回転させることができる。仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの位置は、仮想ディスプレイおよびオブジェクトも９０度回転されるように調整されてもよい。

いくつかの開示された実施形態は、少なくとも仮想ディスプレイおよび複数の仮想オブジェクトのうちの特定の仮想オブジェクトによって少なくとも部分的に遮られた実世界イベントを検出するために、装着型エクステンデッド・リアリティ機器によって取り込まれた画像データを解析することを含むことができ、特定の仮想オブジェクトは少なくとも１つの仮想オブジェクトとは異なる。実世界イベントは、拡張装着型リアリティ機器の近傍での任意の非仮想発生を含むことができる。例えば、実世界イベントは、ユーザの空間に入る人および／または人を含むことができる。別の例として、実世界イベントは、ユーザに向かうまたはユーザから離れるオブジェクトおよび／または人の動きを含んでもよい。別の例として、実世界イベントは、人々に向かうまたは人々から離れるユーザの動きを含んでもよい。装着型エクステンデッド・リアリティ機器または外部コンピューティングデバイスは、例えば、視覚イベント検出アルゴリズムを使用して、装着型エクステンデッド・リアリティ機器に含まれる画像センサから受信した画像データの解析に基づいて実世界イベントを検出することができる。例えば、装着型エクステンデッド・リアリティ機器または外部コンピューティングデバイスは、歩行している人、グループ内で整理している人、またはユーザの周りで発生している任意の他のイベントを検出することができる。実世界イベントは、装着型エクステンデッド・リアリティ機器を介した仮想ディスプレイおよび／または特定の仮想オブジェクトの提示によってユーザの視界から部分的または完全に遮られてもよい。例えば、仮想ディスプレイの背後に人が入り、仮想ディスプレイがユーザの視界を遮るためにユーザがその人を見ることができない場合がある。別の例として、オブジェクトは、オブジェクトが仮想オブジェクトの背後にあるように動いてもよい。仮想オブジェクトがユーザの視界を遮る可能性があるため、ユーザはオブジェクトを見ることができない可能性がある。ユーザが実世界イベントを見るために、仮想ディスプレイおよび特定の仮想オブジェクトを動かすことができる。

いくつかの実施形態は、少なくとも仮想ディスプレイおよび特定の仮想オブジェクトによって少なくとも部分的に遮られた実世界イベントの検出に応答して、仮想ディスプレイおよび少なくとも１つの仮想オブジェクトを第１の方向に動かすことと、特定の仮想オブジェクトを第２の方向に動かすことと、を含んでもよく、第２の方向は第１の方向と異なってもよい。仮想ディスプレイおよび少なくとも１つの仮想オブジェクトは、実世界のイベントから離れる方向に動くことができる。仮想ディスプレイ、少なくとも１つの仮想オブジェクト、および特定のオブジェクトは、例えば、仮想ディスプレイ、１つまたは複数の仮想オブジェクト、および／または特定のオブジェクトを１つまたは複数の新しい位置に表示するためにエクステンデッド・リアリティ環境で利用可能な空間の量に応じて、同じ方向または異なる方向に動くことができる。例えば、仮想ディスプレイ、少なくとも１つの仮想オブジェクト、および特定のオブジェクトはすべて、実世界のイベントの遮蔽を防ぐために左に動くことができる。別の例として、特定の仮想オブジェクトは、実世界のイベントからも離れている第２の方向に動くことができる。別の例では、特定のオブジェクトは、仮想ディスプレイおよび仮想オブジェクトとは異なる方向に動くことができる。例えば、実世界イベントは、仮想ディスプレイおよび仮想オブジェクトによって隠され得る。仮想ディスプレイおよび少なくとも１つの仮想オブジェクトは、右方向に動くことができ、特定の仮想オブジェクトは、実世界イベントの遮蔽を防止するために左方向に動くことができる。別の例として、仮想ディスプレイ上の情報は、実世界の出現の視聴を可能にするために、実世界の出現と重複する位置以外の位置に再配向されてもよい。

いくつかの開示された実施形態は、入力デバイスを使用して入力されたテキストを仮想ディスプレイに表示することを含むことができる。入力デバイスは、ユーザがテキストを作成することを可能にするインターフェースを含むことができる。ユーザは、キーボードでの入力、スタイラスの使用、タッチパッドでの書き込み、音声テキスト変換の使用、またはテキストを作成する任意の他の方法によってテキストを作成することができる。入力デバイスを使用して作成されたテキストは、仮想ディスプレイに表示されてもよい。例えば、入力デバイスは、キーボードであってもよい。ユーザは、キーボード上の「Ｋ」キーを押すことができ、「Ｋ」という文字が仮想ディスプレイ上に表示され得る。別の例として、入力デバイスはマイクロフォンであってもよい。ユーザは、マイクロフォンに向かって「Ｈｅｌｌｏ」と発言してもよく、「Ｈｅｌｌｏ」というテキストが仮想ディスプレイに表示されてもよい。

いくつかの実施形態では、仮想ディスプレイの位置を変更することにより、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングした結果として、少なくとも１つの仮想オブジェクトを仮想ディスプレイと共に動かすことができる。仮想ディスプレイの位置は、任意の方向に任意の距離だけ動いてもよい。ドッキングされた仮想オブジェクトは、仮想ディスプレイと同じ方向に同じ距離および／または比例距離だけ動くことができる。例えば、仮想ディスプレイを右に動かす意図を示す入力がユーザから受信されてもよい。仮想ディスプレイは、仮想ディスプレイの元の位置の右に動くことができ、仮想オブジェクトはまた、仮想オブジェクトの元の位置の右に同じ量だけ、または異なる量だけ動くことができる。別の例では、少なくとも１つの仮想オブジェクトは、少なくとも１つの仮想オブジェクトと仮想ディスプレイとの間の空間的関係（方向、距離、向きなど）を維持する位置に動いてもよい。いくつかの実施形態では、物理オブジェクトは、環境の特定の領域で検出され得る。例えば、物理オブジェクトは、画像センサを使用して取り込まれた画像データを、例えばオブジェクト検出アルゴリズムを使用して解析することによって検出され得る。画像センサは、装着型エクステンデッド・リアリティ機器、入力デバイス、コンピューティングデバイスなどに含まれてもよい。別の例では、物理オブジェクトは、レーダ、ライダー、ソナーなどを使用して検出され得る。さらに、少なくとも１つの仮想オブジェクトと仮想ディスプレイとの間の空間的関係を維持するために、少なくとも１つの仮想オブジェクトを特定の領域に動かす必要があり得る。特定の領域内の物理オブジェクトの検出に応答して、特定の領域への少なくとも１つの仮想オブジェクトの動きを回避することができる。一例では、仮想ディスプレイの位置の変更に応じた少なくとも１つの仮想オブジェクトの動きを回避することができ、少なくとも１つの仮想オブジェクトをその元の位置に残すことができる。別の例では、少なくとも１つの仮想オブジェクトは、仮想ディスプレイの位置の変更および特定の領域内の物理オブジェクトの検出に応答して、環境の代替領域に動いてもよい。

いくつかの開示された実施形態は、少なくとも１つの仮想オブジェクトを第１の位置から第２の位置に動かすことを含むことができ、第２の位置における仮想ディスプレイに対する少なくとも１つの仮想オブジェクトの空間的向きは、第１の位置における仮想ディスプレイに対する少なくとも１つの仮想オブジェクトの元の空間的向きに対応する。空間的向きは、相対位置を指すことができる。例えば、第２のオブジェクトに対する第１のオブジェクトの位置は、第２のオブジェクトに対する第１のオブジェクトの１つまたは複数の距離および／または方向を指すことができる。空間的向きは、距離、回転角度、またはその両方によって測定され得る。空間的向きは、２次元または３次元空間で決定され得る。上述したように、仮想オブジェクトは、仮想ディスプレイにドッキングされて仮想ディスプレイが動くときに動くことができる。仮想オブジェクトおよび仮想ディスプレイがそれらの第１の位置から動いた後に、仮想オブジェクトと仮想ディスプレイとの間の空間は、第２の位置で同じままであり得る。仮想オブジェクトは、仮想ディスプレイに対して同じ位置および／または角度方向を占めることができる。例えば、仮想ディスプレイは、第１の位置の左側に動いてもよい。仮想オブジェクトはまた、第１の位置の左側に動いてもよい。仮想オブジェクトは、第２の位置の仮想ディスプレイから第１の位置と同じ距離に留まることができる。別の例として、仮想オブジェクトは、仮想ディスプレイに対して９０度の角度で配向されてもよい。仮想ディスプレイは、右方向に向けられてもよい。仮想オブジェクトはまた、オブジェクトが依然として仮想ディスプレイに対して９０度の角度で配向されるように回転されてもよい。

いくつかの開示された実施形態は、複数の仮想オブジェクトから追加の仮想オブジェクトの選択を受信することを含むことができる。第１の仮想オブジェクトに加えて、ユーザは、前述したように入力デバイスを使用して別の（例えば、第２の）仮想オブジェクトを選択することができる。他の開示された実施形態はまた、追加の仮想オブジェクトを少なくとも１つの仮想オブジェクトにドッキングすることを含むことができる。上述したように、仮想オブジェクトは、仮想ディスプレイまたは他の仮想オブジェクトにドッキングすることができる。第２の仮想オブジェクトまたは追加の仮想オブジェクトは、前述のドッキングと同様のやり方で、第１の仮想オブジェクトおよび／または仮想ディスプレイにドッキングすることができる。追加の仮想オブジェクトを少なくとも１つの仮想オブジェクトにドッキングした後に、追加の実施形態は、第２の入力を受信することを含むことができ、第２の入力は、少なくとも１つの仮想オブジェクトまたは追加の仮想オブジェクトのいずれかを動かす第２の意図の表現なしに、仮想ディスプレイの位置を変更する第２の意図を示す。上述したように、ユーザは、入力デバイスを使用して、追加の仮想オブジェクトを動かそうとすることなく仮想ディスプレイを動かす意図を作成することができる。例えば、ユーザは、マウスを使用して仮想ディスプレイをドラッグおよび動かすことができるが、追加の仮想オブジェクトを動かすことはできない。

いくつかの開示された実施形態は、第２の入力に応答して仮想ディスプレイの位置を変更することを含むことができる。第２の入力は、第１の入力に関して前述したタイプの入力のうちの１つであってもよい。

いくつかの実施形態では、仮想ディスプレイの位置を変更することは、少なくとも１つの仮想オブジェクトの仮想ディスプレイへのドッキングおよび追加の仮想オブジェクトの少なくとも１つの仮想オブジェクトへのドッキングの結果として、少なくとも１つの仮想オブジェクトおよび追加の仮想オブジェクトを仮想ディスプレイと共に動かすことができる。少なくとも１つの仮想オブジェクトおよび追加の仮想オブジェクトは、仮想ディスプレイの位置の変更に応答して動くことができる。例えば、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングすることができ、追加の仮想オブジェクトを少なくとも１つの仮想オブジェクトにドッキングすることができる。ユーザは、マウスを使用して仮想ディスプレイを上方向にドラッグおよび動くことができる。第１の仮想オブジェクトおよび追加の仮想オブジェクトはまた、仮想オブジェクトが仮想ディスプレイにドッキングされているため、上方向に動いてもよい。仮想ディスプレイの位置は、任意の方向に任意の距離だけ動いてもよい。ドッキングされた少なくとも１つの仮想オブジェクトおよび追加の仮想オブジェクトは、仮想ディスプレイと同じ方向に同じ距離および／または比例距離だけ動くことができる。例えば、仮想ディスプレイを右に動かす意図を示す入力がユーザから受信されてもよい。仮想ディスプレイは、仮想ディスプレイの元の位置の右に動くことができる。少なくとも１つの仮想オブジェクトおよび追加の仮想オブジェクトはまた、少なくとも１つの仮想オブジェクトの元の位置および追加の仮想オブジェクトの元の位置の右に同じ量または異なる量だけ動くことができる。

例として、図６２Ａおよび図６２Ｂは、本開示のいくつかの実施形態と一致する、仮想ディスプレイおよび複数の仮想オブジェクトの例を示し、仮想ディスプレイが位置を変更したときの仮想オブジェクトのうちの１つまたは複数の位置の変更を示す。図６２Ａに示すように、仮想ディスプレイ６２１０は、位置６２１３に配置され得る。仮想オブジェクト６２１１は、位置６２１４に配置されてもよく、両者を接続する実線で示すように、仮想ディスプレイ６２１０にドッキングされてもよい。仮想オブジェクト６２１２は、位置６２１５に配置されてもよく、両者を接続する実線で示すように、仮想オブジェクト６２１１にドッキングされてもよい。これらの実線は実際には存在しなくてもよく、ドッキングを説明するためにのみ使用されることが理解される。そのような実線、またはドッキングの他の視覚的表示は、エクステンデッド・リアリティ環境で提示されてもされなくてもよい。仮想オブジェクト６２１１および６２１２ならびに仮想ディスプレイ６２１０は、破線６２１６の上に配置されてもよい。図６２Ｂに示すように、仮想ディスプレイ６２１０は、破線６２１６の下の新しい位置６２１８に動くことができる。仮想オブジェクト８６２１１はまた、仮想オブジェクト６２１１と仮想ディスプレイ６２１０との間のドッキングに基づいて、破線６２１６の下の新しい位置６２２０に動くことができる。同様に、仮想オブジェクト６２１２はまた、仮想オブジェクト６２１１と仮想オブジェクト６２１２との間のドッキングに基づいて、破線６２１６の下の新しい位置６２２２に動くことができる。

いくつかの実施形態では、仮想ディスプレイで少なくとも１つの仮想オブジェクトを選択的に動かすことは、地理的位置に依存し得る。ユーザの位置は、システムがどのように応答するかに影響を及ぼし得る。応答は、例えば、ユーザがオフィスなどのプライベート空間にいる場合とパブリック空間にいる場合とで異なり得る。あるいは、応答は、ユーザがプライベートオフィスにいるか会議室にいるかに基づいて異なり得る。したがって、少なくとも１つの仮想オブジェクトは、地理的位置に基づいて仮想ディスプレイと共に動くことができる。地理的位置は、ユーザのＧＰＳ座標、またはＷｉＦｉもしくは他の信号に基づく屋内位置特定技術などの他の位置ベースの検出に基づくことができる。ＧＰＳ座標は、緯度および経度を使用して、ユーザ、装着型エクステンデッド・リアリティ機器、またはシステムの任意の他の構成要素の位置を決定することができる。動きは、プライバシーまたはセキュリティ上の理由から地理的位置に依存し得る。例えば、ユーザはユーザの自宅にいてもよい。少なくとも１つの仮想オブジェクトは、ユーザが自宅にいるため、仮想ディスプレイと共に動くことができる。別の例として、装着型エクステンデッド・リアリティ機器は、ユーザのオフィスにあってもよい。少なくとも１つの仮想オブジェクトは、装着型エクステンデッド・リアリティ機器がユーザのオフィスにあるため、仮想ディスプレイと共に動くことができる。別の例として、ユーザは公共空間にいてもよい。少なくとも１つの仮想オブジェクトは、ユーザが公開設定にあり、ユーザが仮想オブジェクトを公開で見ることができないことを望む可能性があるため、仮想ディスプレイと共に動かない場合がある。

いくつかの開示された実施形態は、第１の地理的位置において装着型エクステンデッド・リアリティ機器が検出されると、少なくとも１つの仮想オブジェクトを仮想ディスプレイと共に動かすことと、第１の地理的位置とは異なる第２の地理的位置において装着型エクステンデッド・リアリティ機器が検出されると、少なくとも１つの仮想オブジェクトを仮想ディスプレイから関連付けを解除することと、を含むことができる。装着型エクステンデッド・リアリティ機器が第１の地理的位置にあるとき、少なくとも１つの仮想オブジェクトおよび仮想ディスプレイは一緒に動くことができる。装着型エクステンデッド・リアリティ機器が第２の地理的位置にあるとき、少なくとも１つの仮想オブジェクトおよび仮想ディスプレイは一緒に動かなくてもよい。第１の地理的位置はプライベート設定であってもよく、第２の地理的位置はパブリック設定であってもよい。例えば、装着型エクステンデッド・リアリティ機器は、ユーザのオフィスに配置されてもよい。装着型エクステンデッド・リアリティ機器がユーザのオフィスにあるとき、少なくとも１つの仮想オブジェクトは、仮想ディスプレイと同じ方向に動くことができる。例えば、ユーザは、マウスを使用して仮想ディスプレイを右方向にドラッグすることができる。少なくとも１つの仮想オブジェクトはまた、右方向に動き得る。別の例として、装着型エクステンデッド・リアリティ機器は公共空間に配置されてもよい。パブリックスペースにある間、少なくとも１つの仮想オブジェクトは、仮想ディスプレイに関連付けられていなくてもよい。したがって、ユーザが仮想ディスプレイを動かす場合、少なくとも１つの仮想オブジェクトは、仮想ディスプレイと同じ方向に動かなくてもよい。例えば、ユーザが仮想ディスプレイを下方向に動かした場合、少なくとも１つの仮想オブジェクトは同じ位置に留まる。

少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングした後に、いくつかの実施形態は、仮想ディスプレイの位置の変更をトリガし、少なくとも１つの仮想オブジェクトの位置の変更をトリガするための第１のユーザ開始入力を受信することと、仮想ディスプレイの位置の変更をトリガするための第２のユーザ開始入力を受信することであって、第２のユーザ開始入力が、少なくとも１つの仮想オブジェクトの位置の変更のためのトリガを除外する、受信することと、第１のユーザ開始入力に応答して仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの位置を変更することと、第２のユーザ開始入力に応答して仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの位置を変更することと、を含むことができる。ユーザは、仮想ディスプレイと少なくとも１つの仮想オブジェクトの両方の位置を変更するように指示される第１のユーザ開始入力を提供することができる。例えば、ユーザは、仮想ディスプレイと少なくとも１つの仮想オブジェクトの両方をマウスで選択し、次いで両方をマウスでドラッグして位置を変更することができる。ユーザはまた、仮想ディスプレイのみに向けられた第２のユーザ開始入力を提供することができる。仮想ディスプレイと少なくとも１つの仮想オブジェクトの両方の位置は、第１のユーザ開始入力および第２のユーザ開始入力に基づいて変更されてもよい。例えば、ユーザは、入力デバイスを使用して、ユーザ開始入力を提供することができる。入力デバイスは、キーボード、マウス、タッチパッド、または他のデバイスであってもよい。ユーザは、デバイスを使用して仮想ディスプレイを動かすことによって位置の変更をトリガするために入力デバイスを使用することができる。例えば、ユーザは、マウスを使用して仮想ディスプレイおよび仮想オブジェクトをクリックおよびドラッグすることによって第１の入力を提供することができる。仮想ディスプレイおよび仮想オブジェクトの位置は、マウスが仮想ディスプレイおよび仮想オブジェクトをドラッグする位置に基づいて変更し得る。例えば、マウスが仮想ディスプレイおよび仮想オブジェクトを左方向にドラッグし、仮想ディスプレイおよび仮想オブジェクトが左方向に動いてもよい。他の例として、マウスは、仮想ディスプレイおよび仮想オブジェクトを上方向にドラッグし、仮想ディスプレイおよび仮想オブジェクトは上方向に動いてもよい。別の例として、ユーザは、タッチパッドを使用して、仮想ディスプレイのみを下方向にクリックおよびドラッグすることによって第２のユーザ開始入力を作成することができる。仮想オブジェクトはまた、第２のユーザ開始入力が仮想オブジェクトに向けられなくても、仮想オブジェクトが仮想ディスプレイにドッキングされ得るため、下方向に動き得る。

例として、図６２Ａおよび図６２Ｂは、第２のユーザが開始した入力の結果として動く仮想ディスプレイおよび仮想オブジェクトを示す。仮想ディスプレイ６２１０は、ユーザがマウスを使用して仮想ディスプレイ６２１０をクリックおよびドラッグすることに基づいて、図６２Ａの位置６２１３から図６２Ｂの位置６２１８に動くことができる。ユーザは、仮想オブジェクト６２１１および６２１２をクリックおよびドラッグしないことによって、仮想オブジェクト６２１１および６２１２の位置の変更を除外することができる。仮想オブジェクト６２１１および６２１２は仮想ディスプレイ６２１０とドッキングされているので、仮想オブジェクト６２１１および６２１２は図６２Ｂの新しい位置６２２０および６２２２に動くことができる。

いくつかの開示された実施形態は、少なくとも１つの仮想オブジェクトの位置の変更をトリガするが仮想ディスプレイの位置の変更を除外する第３のユーザ開始入力を受信することと、第３のユーザ開始入力に応答して仮想ディスプレイおよび少なくとも１つの仮想オブジェクトの位置を変更することと、を含むことができる。ユーザは、少なくとも１つの仮想オブジェクトのみの位置を変更するように指示される第３のユーザ開始入力を提供することができる。上述したように、ユーザ開始入力は、仮想ディスプレイと仮想オブジェクトとが一緒にドッキングされたときに、仮想ディスプレイと少なくとも１つの仮想オブジェクトの位置に変更を生じさせることができる。第３のユーザ開始入力は、第１のユーザ開始入力に関連して前述したタイプの入力のうちの１つまたは複数であってもよい。例えば、マウスが少なくとも１つの仮想オブジェクトを下方向にドラッグし、少なくとも１つの仮想オブジェクトが下方向に動いてもよい。仮想ディスプレイはまた、少なくとも１つの仮想オブジェクトと同じ下方向に動くことができる。

例として、図６０Ａおよび図６０Ｂは、第３のユーザ開始入力の結果として動く仮想ディスプレイを示す。仮想オブジェクト５９１２は、ユーザがマウスを使用して仮想オブジェクト５９１２をクリックおよびドラッグすることに基づいて、図６０Ｂの位置５９１６から位置６０２２に動くことができる。ユーザは、仮想ディスプレイ５９１０をクリックおよびドラッグしないことによって、仮想ディスプレイ５９１０の位置の変更を除外することができる。仮想ディスプレイ５９１０および仮想オブジェクト５９１１は仮想オブジェクト５９１２にドッキングされているので、仮想ディスプレイ５９１０および仮想オブジェクト５９１１は図６０Ｂの新しい位置５９２６および６０２４に動くことができる。

いくつかの開示された実施形態は、第１の仮想表面上に仮想ディスプレイを表示することと、第１の表面と少なくとも部分的に一致する第２の表面上に少なくとも１つの仮想オブジェクトを表示することとを含むことができる。仮想面は、エクステンデッド・リアリティ環境に存在する面であってもよい。仮想面の形状は任意である。例えば、仮想表面は、正方形、長方形、円形、または他の形状を有することができる。仮想表面はまた、定義された形状を有さなくてもよい。単一の仮想表面または複数の仮想表面が存在してもよい。仮想ディスプレイおよび少なくとも１つの仮想オブジェクトは、異なる仮想面に投影されてもよい。仮想ディスプレイは、第１の仮想表面上に投影されてもよく、少なくとも１つの仮想オブジェクトは、第２の仮想表面上に投影されてもよい。第１および第２の仮想表面は、互いに部分的または完全に重なり合う、接触する、または交差する部分を有してもよい。例えば、第１の仮想面はタッチパッドであってもよく、第２の仮想面はキーボードであってもよい。タッチパッドは、キーボードの縁部に接触する縁部を有してもよい。

図６３は、エクステンデッド・リアリティ環境において仮想オブジェクトを仮想ディスプレイ画面にドッキングするための動作を実行するためにプロセッサによって実行され得る典型的な方法のフローチャートである。方法６３００は、装着型エクステンデッド・リアリティ機器を介して提示するための仮想コンテンツを生成するステップ６３１０を含むことができ、仮想コンテンツは、仮想ディスプレイと、仮想ディスプレイの外側に位置する複数の仮想オブジェクトと、を含む。方法６３００はまた、複数の仮想オブジェクトから少なくとも１つの仮想オブジェクトの選択を受信するステップ６３１１を含むことができる。方法６３００はまた、少なくとも１つの仮想オブジェクトを仮想ディスプレイにドッキングするステップ６３１２を含んでもよい。さらに、方法６３００は、仮想ディスプレイの位置を変更する意図を示す入力を受信するステップ６３１３を含むことができる。方法６３００はまた、入力に応答して仮想ディスプレイの位置を変更するステップ６３１４を含むことができ、仮想ディスプレイの位置を変更することは、少なくとも１つの仮想オブジェクトを仮想ディスプレイと共に動かす。

仮想作業環境は、複数の仮想オブジェクトおよび物理オブジェクトを含むことができる。物理オブジェクトは、キーボード、コンピュータマウス、トラックパッド、物理画面、または任意の他の物理オブジェクトなどの物品を含むことができる。仮想オブジェクトは、仮想画面、または仮想画面上に表示される仮想オブジェクトなどのアイテムを含むことができる。仮想オブジェクトは、例えば、物理的な何かを仮想的に表すことができる。アバター、アイコン、シミュレーション、グラフィカル表現は、仮想オブジェクト（仮想アイテム）であり得るアイテムのほんの数例である。仮想オブジェクトおよび物理オブジェクトは、仮想平面に関連付けられ得る。すなわち、いくつかのタイプのオブジェクトは、仮想平面と整列して描写され得る。理論的には、仮想平面は、任意の方向に無限に延びてもよい。一組の仮想オブジェクトおよび物理オブジェクトはすべて、第１の平面内に配置されてもよく、互いにドッキングされてもよい。ドッキングは、別のオブジェクトにドッキングされたオブジェクトの動きが他のオブジェクトを動かすことができるリンクの形態を含むことができる。したがって、例えば、物理オブジェクトの動きは、第１の平面内の関連するドッキングされた一組の仮想オブジェクトの動きをトリガすることができる。代替的または追加的に、一組の仮想オブジェクトは、物理オブジェクト（例えば、キーボード）にドッキングされてもよい。一組の仮想オブジェクトおよび物理オブジェクトは、異なる仮想平面上に配置されてもよい。物理オブジェクトの動きは、それらが共通の平面内に位置するかどうかにかかわらず、関連するドッキングされた一組の仮想オブジェクトの動きをトリガすることができる。

いくつかの開示された実施形態は、選択的な仮想オブジェクト表示変更を実施することを含むことができる。表示変更は、何かをユーザに視覚的に提示する方法を変更することを含むことができる。例えば、表示の変更は、サイズ、移動位置、向きの変更、明るさおよび／または色の調整、解像度の変更、および／または他の視覚的に知覚可能な変更を含むことができる。表示変更は、すべてではないが一部の仮想オブジェクトに適用されてもよい。仮想オブジェクトは、エクステンデッド・リアリティ環境に存在し得る。仮想オブジェクトは、ユーザがそのエクステンデッド・リアリティ環境と対話するときに現れることができる。例えば、仮想オブジェクトは、仮想ディスプレイ画面、ウィジェット、文書、提示、メディアアイテム、写真、ビデオ、仮想キャラクタ、スクロールバー、アジャスタ、および他のオブジェクトを含むことができる。ユーザは、仮想オブジェクトを変更し、検査し、または動かすなどの機能を達成するために、仮想オブジェクトを表示、移動、回転、フリップ、スクイーズ、拡大、変更、および／または対話することができる。仮想オブジェクトの視覚的提示を変更することができる。例えば、ユーザは、仮想オブジェクトのサイズを調整することができる。別の例として、ユーザは、１つまたは複数の仮想オブジェクトの位置を再配置することができる。ユーザは、例えば、いくつかの仮想オブジェクトを変更するが他の仮想オブジェクトを変更しないことを選択すること、変更のタイプまたは別のパラメータを選択することなどによって、仮想オブジェクト表示変更の実行を選択することができる。例えば、ユーザは、１つの仮想オブジェクトを動かすが、別の仮想オブジェクトの位置を同じに保つことを選択することができる。別の例として、ユーザは、１つの仮想オブジェクトの輝度を調整するが、異なる仮想オブジェクトの輝度を調整しないことを選択することができる。さらに別の例では、ユーザは、仮想オブジェクトを動かすときに仮想オブジェクトの動きの方向または新しい位置を選択することができる。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器を介してエクステンデッド・リアリティ環境を生成することを含むことができ、生成されたエクステンデッド・リアリティ環境は、物理オブジェクトに関連付けられた第１の仮想平面と、アイテムに関連付けられた第２の仮想平面と、を含むことができ、第２の仮想平面は第１の仮想平面を横切る方向に延在することができる。一例では、エクステンデッド・リアリティ環境を生成することは、エクステンデッド・リアリティ環境の少なくとも一部を装着型エクステンデッド・リアリティ機器のユーザに提示することを含むことができる。仮想平面は、物品の表面を表すために使用することができ、設計上の選択に応じてその物品の境界を超えて延在することができる寸法面であってもよい。複数の仮想平面（例えば、２、３、３超、１０超、無限、または任意の他の数の仮想平面）が存在してもよく、複数の異なる方向に延在してもよい。仮想平面は、平面が可視であるかどうかにかかわらず、エクステンデッド・リアリティ・ディスプレイまたはエクステンデッド・リアリティ環境に関連して使用される場合、仮想と見なされ得る。具体的には、仮想平面は、エクステンデッド・リアリティ機器の装着者に見えるように色またはテクスチャで表示されてもよく、または仮想平面は目に見えないが、可視オブジェクトが仮想平面内に位置するときに知覚可能になり得る。一例では、エクステンデッド・リアリティ環境で仮想平面を仮想グリッド線で示すことができる。仮想平面は、例えば、平面、非平面、曲面、または任意の他の所望の構成を有する面を含むことができる。例えば、仮想平面は、平坦な２次元表面、湾曲した２次元表面、均一な２次元表面、均一な２次元表面、不均一な２次元表面などであってもよい。物理オブジェクトおよびアイテムは、同じ仮想平面または別々の仮想平面に存在し得る。例えば、第１の仮想平面は、物理オブジェクトの仮想平面（例えば、テーブルまたは机の上面）であってもよく、仮想平面は水平に延在してもよい。別の例では、第１の仮想平面は、物理オブジェクトが配置される物理的表面（例えば、テーブルまたは机の上面に配置されたキーボード）に関連付けられた仮想平面であってもよく、仮想平面は１つまたは複数の方向に延在してもよい。別の例として、第２の仮想平面は、アイテムの仮想平面（例えば、仮想ディスプレイ画面、仮想制御プレーン、物理アイテムなど）であってもよく、仮想平面は垂直に延在してもよい。

エクステンデッド・リアリティ環境に一緒に存在する仮想平面は、互いにまたがって延在することができる。すなわち、仮想平面同士が交差していてもよい。エクステンデッド・リアリティ環境における仮想平面はまた、同じ方向に延在し、決して互いに交差しない場合がある。仮想平面はまた、同じまたは異なる角度で２つ以上の他の仮想平面を横切って（または交差して）延びてもよい。例えば、第２の仮想平面は、第１の仮想平面を直角に横切ることによって第１の仮想平面を横断してもよい。別の例として、第１の仮想平面は、７５°の角度で第２の仮想平面を横切って延在してもよい。別の例として、第１の仮想平面は水平方向に延在してもよく、第２の仮想平面も水平方向に延在してもよく、したがって２つの平面は決して互いを横切って延在しない。

例として、図６４は、本開示のいくつかの実施形態と一致する、第１の平面内の物理オブジェクトおよび第２の平面内のアイテムの例を示す。いくつかの実施形態では、第１の仮想平面６４１０はエクステンデッド・リアリティ空間に存在してもよい。物理オブジェクト６４１１は、第１の仮想平面６４１０に関連付けられてもよい。第２の仮想平面６４２０はまた、エクステンデッド・リアリティ空間に存在し、第１の仮想平面６４１０を横切る方向に延在することができる。仮想的または物理的であり得るアイテム６４２１は、第２の仮想平面６４２０に関連付けられてもよい。

いくつかの実施形態では、第１の仮想平面は平坦であってもよく、第２の仮想平面は湾曲していてもよい。別の例では、第１の仮想平面は平坦であってもよく、第２の仮想平面は平坦であってもよい。さらに別の例では、第１の仮想平面は湾曲していてもよく、第２の仮想平面は平坦であってもよい。別の例では、第１の仮想平面は湾曲していてもよく、第２の仮想平面は湾曲していてもよい。平坦な仮想平面は、仮想平面上の任意の２点間の直線が全体的にその表面内または表面上にある平坦な表面であってもよい。例えば、第１の仮想平面は水平面に沿って延在してもよく、第１の仮想平面内の第１の組の仮想オブジェクトの動きは、２次元空間内で行われてもよい。曲面は、仮想平面上の少なくとも一対の２点間の直線が面外となる曲面であってもよい。曲面は、３次元空間内に延在してもよい。例えば、第２の仮想平面は、湾曲した経路に沿って延びてもよく、第１の仮想平面内の第１の組の仮想オブジェクトの動きは、３次元空間内で行われてもよい。

いくつかの実施形態では、物理オブジェクトは物理的表面上に配置されてもよく、第１の仮想平面は物理的表面の寸法を超えて延在する。物理的表面は、ユーザの環境に存在する物理オブジェクトの表面であり得る。例えば、物理的表面は、机、テーブル、椅子、ドレッサ、カウチ、本棚、カウンタートップ、または任意の他の表面であってもよい。物理オブジェクトは、物理的表面上に配置され得る。第１の仮想平面は、物理オブジェクトが占める空間を表すことができ、物理的表面の境界を越えて延在することができる。別の例として、物理オブジェクトは、部屋内の机の上に配置されてもよく、仮想平面は、机の上面と一致し、机の端部を越えて部屋の壁まで延在してもよい。別の例として、物理オブジェクトは、オフィス内のテーブル上に配置されてもよく、仮想平面は、テーブルの上面と一致し、テーブルの端部を越えて部屋の窓まで延在してもよい。

いくつかの開示された実施形態は、第１の仮想平面に関連付けられた第１の位置に第１の組の仮想オブジェクトをドッキングするための第１の命令にアクセスすることを含んでもよい。ドッキングは、このコンテキストでは、仮想オブジェクトを仮想平面上の特定の位置に接続、テザリング、リンク、または他の方法で結合することを含むことができる。ドッキングは、仮想平面が動くときにオブジェクトが仮想平面上の特定の位置に留まることを保証することができる。一例では、命令は、タスクまたはアクションを実行するための一組のコマンドまたは規則であってもよい。別の例では、命令は、所望のアクションを生じさせるように構成された任意の情報を含むことができる。命令は、タスクを実行するための命令を実行するためにプロセッサに提供されてもよく、この場合、１つまたは複数のオブジェクトを、いくつかの実施形態では座標によって定義され得る特定の位置にリンクする。例えばプロセッサによって命令にアクセスすることは、命令を受信すること、メモリから命令を読み取ること、外部デバイスから命令を受信すること、データを解析することによって命令を決定すること、ユーザから命令を受信すること（例えば、ユーザインターフェースを介して、ジェスチャを介して、音声コマンドなどを介して）、などのうちの少なくとも１つを含むことができる。例えば、命令は、例えばデータ構造において、仮想平面上の座標を特定のオブジェクトに関連付けることであってもよい。命令は、ドッキングがどのように行われるべきかについての規則を定義することができる。したがって、第１の組の命令は、仮想オブジェクトが特定の位置で仮想平面にドッキングされ得ることを定義することができる。仮想平面は動くことができ、ドッキングされた仮想オブジェクトも仮想平面と共に動いて、仮想オブジェクトが仮想平面上の同じ位置に留まることを確実にすることができる。１つまたは複数の仮想オブジェクト（例えば、１つの仮想オブジェクト、少なくとも２つの仮想オブジェクト、少なくとも３つの仮想オブジェクト、少なくとも１０個の仮想オブジェクトなど）は、一組の仮想オブジェクトを構成することができる。一組の仮想オブジェクトは、仮想平面上の同じ位置にドッキングされてもよく、または各オブジェクトは異なる位置にドッキングされてもよい。例えば、一組の仮想オブジェクトは、物理オブジェクトの３インチ左であり得る位置に、物理オブジェクトに関連付けられた仮想平面上にドッキングされ得る。別の例として、一組の仮想オブジェクトは、物理オブジェクトから２センチメートル上の、物理オブジェクトに関連付けられた仮想平面上の位置にドッキングされてもよい。いくつかの実施形態では、一組の仮想オブジェクト内の１つまたは複数のオブジェクトは、仮想平面上の異なる位置にドッキングすることができる。したがって、例えば、第１の仮想オブジェクトは、物理オブジェクトの左の座標にドッキングされてもよく、第２の仮想オブジェクトは、物理オブジェクトの右の座標にドッキングされてもよい。

いくつかの開示された実施形態は、第２の仮想平面に関連付けられた第２の位置に第２の組の仮想オブジェクトをドッキングするための第２の命令にアクセスすることを含むことができる。第２の命令は、第１の命令について上述したものと同様の特性を有することができる。第１の組の仮想オブジェクトのような第２の組の仮想オブジェクトは、１つまたは複数の仮想オブジェクトを含むことができる。第２の組の仮想オブジェクトは、第１の組の仮想オブジェクトに関して上述したのと同じやり方で同じ位置または異なる位置にドッキングすることができる。例えば、第２の組の仮想オブジェクトは、アイテムの３インチ左であり得る位置に、アイテムに関連付けられた仮想平面上にドッキングされ得る。別の例として、第２の組の仮想オブジェクトは、アイテムから２センチメートル上であってもよく、アイテムに関連付けられた仮想平面上の位置にドッキングされてもよい。

いくつかの開示された実施形態は、物理オブジェクトの動きに関連付けられた第１の入力を受信することを含むことができる。物理オブジェクトの動きは、物理空間内の位置または向きの変更を含むことができる。例えば、動きは、距離、位置、仰角、角度方向、または任意の他のタイプの動きの変更を含むことができる。物理オブジェクトは、ユーザのアクションの結果として動くことができる。例えば、ユーザは、テーブル上で物理オブジェクトを右に５インチ動かすことができる。いくつかの例では、第１の入力を受信することは、メモリから第１の入力を読み取ること、外部デバイスから第１の入力を受信すること、またはセンサを使用して第１の入力を取り込むことのうちの少なくとも１つを含むことができる。物理オブジェクトの動きは、画像センサによって検出され、１つまたは複数のプロセッサによって受信され得る入力を構成することができる。言い換えれば、画像センサからの信号は、例えば視覚的オブジェクト追跡アルゴリズムを使用して解析され、物理オブジェクトが特定の方向に特定の距離だけ動いたこと、および／または物理オブジェクトが特定の方向に回転したことを判定することができる。

いくつかの実施形態では、物理オブジェクトはコンピューティングデバイスであってもよく、第１の入力は、コンピューティングデバイスに関連付けられた少なくとも１つのモーションセンサから受信したモーションデータを含んでもよい。コンピューティングデバイスは、デジタル処理ユニットによって制御される電子デバイスであってもよい。例えば、コンピューティングデバイスは、スマートフォン、ラップトップコンピュータ、タブレット、デスクトップコンピュータ、ハンドヘルドコンピュータ、装着型コンピュータ、または任意の他のタイプのコンピューティングデバイスを含むことができる。コンピューティングデバイスは、モーションセンサを含むことができる。モーションセンサは、直線運動および／または角度運動を検出および測定するように設計された電子デバイスであってもよい。モーションセンサによって検出されたコンピューティングデバイスの動きは、モーションデータとして収集されてもよく、モーションデータは、第１の入力として受信されてもよい。例えば、スマートフォンは、物理空間内で左に動いてもよい。モーションセンサは、スマートフォンの左方向の動きを第１の入力として記憶することができる。モーションセンサは、コンピューティングデバイス上のどこにでも配置することができる。例えば、モーションセンサは、ラップトップコンピュータの側面に配置されてもよい。別の例として、モーションセンサは、ラップトップコンピュータの上部部分に配置されてもよい。別の例として、モーションセンサは、ラップトップコンピュータの下部部分に配置されてもよい。

いくつかの開示された実施形態は、物理オブジェクトの動きがしきい値よりも大きいかどうかを判定するためにモーションデータを解析することと、物理オブジェクトの動きがしきい値よりも大きい場合に第１の組の仮想オブジェクトの表示の変更を生じさせることと、物理オブジェクトの動きがしきい値よりも小さい場合に第１の組の仮想オブジェクトの表示を維持することと、を含むことができる。しきい値は、特定の反応について超えなければならないパラメータの大きさまたは強度であり得る。しきい値は、距離、速度、回転角、加速度、力、または任意の他のパラメータに基づくことができる。しきい値は、予め決定されてもよく、ユーザによって設定されてもよく、またはシステムもしくは環境の現在の状態に基づいて決定されてもよい。例えば、しきい値は、物理オブジェクトのタイプ、物理オブジェクトのサイズ、物理オブジェクトと第２の仮想平面との間の距離、物理オブジェクトが配置されている物理表面のタイプ、物理オブジェクトが配置されている物理表面のサイズ、物理オブジェクトとユーザとの間の距離などに基づくことができる。モーションデータを解析して動きを検出し、動きがしきい値より大きいか、しきい値に等しいか、またはしきい値より小さいかを判定することができる。場合によっては、物理オブジェクトの動きは比較的小さく（例えば、しきい値未満）、その結果、第１の組の仮想オブジェクトの表示に変更がない場合がある。すなわち、第１の組の仮想オブジェクトは、仮想平面上のそれぞれの位置に維持され得る。あるいは、物理オブジェクトの動きは比較的大きくてもよく（例えば、しきい値以上）、その結果、第１の組の仮想オブジェクトの表示は変更してもよい。すなわち、第１の組の仮想オブジェクトは、物理オブジェクトの動きに応答してそれらの位置から動かされ得る。例えば、しきい値が５センチメートルに設定され、物理オブジェクトが３センチメートルだけ動く場合、物理オブジェクトが動く距離がしきい値よりも小さいため、第１の組の仮想オブジェクトの表示は変更されない場合がある。別の例として、このシナリオにおけるユーザが物理オブジェクトを８センチメートル動かした場合、物理オブジェクトが動いた距離がしきい値を超えるため、第１の組の仮想オブジェクトの表示を変更することができる。

いくつかの実施形態では、物理オブジェクトは無生物であり、第１の入力は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから受信した画像データを含むことができる。無生物は、それ自体で動くことができないオブジェクトであり得る。例えば、無生物は、キーボード、椅子、筆記用具、ノートブック、または何らかの外部刺激を受けることなくその位置または向きを変えることができない任意の他のオブジェクトであり得る。装着型エクステンデッド・リアリティ機器は、物理オブジェクトの画像を格納するための画像センサを含むことができる。画像センサは、光学画像を取り込み、その光学画像を電子信号に変換するように構成された電子デバイスであってもよい。画像センサは、上述したように、装着型エクステンデッド・リアリティ機器の任意の部分に取り付けることができる。物理オブジェクトの画像および／またはビデオは、画像センサによって取り込まれ、画像データとして提供され得る。いくつかの実施形態では、第１の入力は、画像センサによって取り込まれた物理オブジェクトの画像データを含むことができる。

いくつかの開示された実施形態は、物理オブジェクトの動きが装着型エクステンデッド・リアリティ機器のユーザによって促されたかどうかを判定するために画像データを解析することと、物理オブジェクトの動きがユーザによって促された場合に第１の組の仮想オブジェクトの表示の変更を生じさせることと、物理オブジェクトの動きがユーザによって促されなかった場合に第１の組の仮想オブジェクトの表示を維持することと、を含むことができる。装着型エクステンデッド・リアリティ機器のユーザは、物理オブジェクトを物理的に押すおよび／または引っ張ることによって物理オブジェクトの動きを促し、物理オブジェクトを任意の他の方法で動かすことによって物理オブジェクトの場所、位置、向き、または他の任意のものを変更することができる。あるいは、ユーザ以外の人も同様に物理オブジェクトの動きを促してもよい。画像センサは、物理オブジェクトを動かす人の画像を取り込むことができる。画像は、物理オブジェクトを動かした人物が装着型エクステンデッド・リアリティ機器のユーザであるかどうかを判定するために解析され得る。一例では、これは、画像センサによって取り込まれた可動子の手または他の関連する身体部分の物理的な人体特性を解析し、それらの特性をユーザの記憶された特性と比較することによって行われ得る。そのような機構の１つは、顔認識または手認識であってもよい。顔または手の認識技術は、既知のコンピュータアルゴリズムを使用して、ユーザの顔または手の特定の特徴的な詳細を選択することができ、これは、データベースに収集された他の顔および／または手の記憶された詳細と比較することができる。別の例では、バイナリ視覚分類アルゴリズムを使用して、物理オブジェクトを動かす人の画像を解析し、それを２つのクラス、「物理オブジェクトの動きは、装着型エクステンデッド・リアリティ機器のユーザによって促された」または「物理オブジェクトの動きは、装着型エクステンデッド・リアリティ機器のユーザによって促されなかった」のうちの１つに分類することができる。そのようなバイナリ視覚分類アルゴリズムは、訓練例を使用して機械学習モデルを訓練することによって得ることができる。一例では、装着型エクステンデッド・リアリティ機器のユーザは、物理オブジェクトを動かすことができる。画像センサによって取得された画像データを解析して、ユーザが物理オブジェクトを動かしたかどうかを判定することができる。物理オブジェクトがユーザによって動いたと判定されたとき、第１の組の仮想オブジェクトの表示は、ユーザのアクションに基づいて変更され得る。すなわち、第１の組の仮想オブジェクトはまた、ユーザのアクションに基づいて動いてもよい。別の例として、装着型エクステンデッド・リアリティ機器を装着していない個人が物理オブジェクトを動かしてもよく、そうでなければ、装着型エクステンデッド・リアリティ機器を装着しているユーザのアクションに起因せずに物理オブジェクトが動いてもよい。画像センサによって取得された画像データを解析して、ユーザが物理オブジェクトを動かしたかどうかを判定することができる。物理オブジェクトがユーザ以外の人によって動いた（または物理オブジェクトがユーザによって動かされなかった）と判定された場合、第１の組の仮想オブジェクトの表示は変更されなくてもよい。すなわち、第１の組の仮想オブジェクトは、装着型エクステンデッド・リアリティ機器のユーザ以外の者による物理オブジェクトの動きに基づいて（または装着型エクステンデッド・リアリティ機器のユーザによるものではない物理オブジェクトの動きに基づいて）動かされなくてもよい。

第１の入力の受信に応答して、いくつかの開示された実施形態は、第２の組の仮想オブジェクトを第２の位置に維持しながら、物理オブジェクトの動きに対応するやり方で第１の組の仮想オブジェクトの表示を変更させることを含むことができる。ディスプレイの変更を生じさせることは、例えば、装着型エクステンデッド・リアリティ機器を介して、仮想オブジェクトがユーザに視覚的に提示される方法を変更することを含んでもよい。例えば、表示の変更は、位置の変更、サイズ、明るさ、彩度、向き、不透明度、強度、グラフィックテーマ、配色、および／または他の表示の変更などの視覚的特性の変更を含むことができる。第１の組の仮想オブジェクトは、物理オブジェクトと同じ仮想平面上に配置されてもよく、第２の組の仮想オブジェクトは、異なる仮想平面上に配置されてもよい。物理オブジェクトは、仮想平面上の位置を変更し、（例えば、モーションセンサまたは画像センサからの信号を介して）入力を作成することができる。第１の組の仮想オブジェクトの表示は、入力に基づいて変更され得る。第２の組の仮想オブジェクトの表示は変更されなくてもよい。例えば、物理オブジェクトは、第１の仮想平面内で右に３フィート動くことができる。第１の組の仮想オブジェクトはまた、第１の仮想平面内で右に３フィート動くことができるが、第２の組の仮想オブジェクトは、第２の仮想平面内で動かなくてもよい。

例として、図６５は、本開示のいくつかの実施形態と一致する、物理オブジェクトの動き前に仮想平面内の位置にドッキングされた仮想オブジェクトの例を示す。いくつかの実施形態では、物理オブジェクト６５１１および第１の組の仮想オブジェクト６５１２は、第１の仮想平面６５１０に関連付けられてもよい。第１の組の仮想オブジェクト６５１２は、第１の仮想平面６５１０上の位置にドッキングされてもよい。アイテム６５２１ならびに第２の組の仮想オブジェクト６５２２および６５２３は、第２の仮想平面６５２０に関連付けられ得る。第２の組の仮想オブジェクト６５２２および６５２３は、第２の仮想平面６５２０上の位置にドッキングされてもよい。

例として、図６６は、本開示のいくつかの実施形態と一致する、図６５に示す状況に対する物理オブジェクトおよび仮想オブジェクトの動きの例を示す。いくつかの実施形態では、物理オブジェクト６６１１および第１の組の仮想オブジェクト６６１２は、第１の仮想平面６６１０に関連付けられてもよい。第１の組の仮想オブジェクト６６１２は、第１の仮想平面６６１０上の位置にドッキングされてもよい。アイテム６６２１ならびに第２の組の仮想オブジェクト６６２２および６６２３は、第２の仮想平面６６２０に関連付けられ得る。第２の組の仮想オブジェクト６６２２および６６２３は、第２の仮想平面６６２０上の位置にドッキングされてもよい。物理オブジェクト６６１１は、その元の位置（６５１５として示す）から新しい位置（６６１６として示す）に動くことができる。第１の組の仮想オブジェクト６６１２は、物理オブジェクト６６１１の動きに対応するように動かされ得る。しかし、第２の組の仮想オブジェクト６６２２、６６２３は動かなくてもよい。

いくつかの実施形態では、物理オブジェクトが、物理オブジェクトが元々位置していた物理的表面から分離されていると判定された新しい位置に動くと、第１の組の仮想オブジェクトの表示は、新しい位置に近接して表示されるが、仮想オブジェクトの変更された表示で更新され得る。例えば、物理オブジェクトの元の位置が第１の平面内の会議室テーブルの表面であり、新しい位置が第２の平面内のサイドテーブルの表面である場合には、仮想オブジェクトは、サイドテーブルに関連付けられた位置に動き（例えば、物理オブジェクトの動きに比例する動き）、外観も変更し得る。例えば、平面の変更は、仮想オブジェクトに反映されるように視点の変更を必要とする場合がある。別の例では、異なる照明条件における仮想オブジェクトの新しい位置は、不透明度または輝度変更を必要とする場合がある。さらに別の例では、エクステンデッド・リアリティ環境における仮想オブジェクトの部分的な遮蔽は、仮想オブジェクトの部分的なレンダリングを必要とする場合がある。したがって、仮想オブジェクトは新しい位置に動くだけでなく、新しい位置でのそれらの外観は以前の外観とは異なってもよい。いくつかの実施形態では、新しい位置はもはや物理的表面上にはない場合がある。仮想オブジェクトの表示は、新しい位置がもはや同じ物理的表面上にない場合でも変更することができる。例えば、物理オブジェクトは、動く前に机の上に配置されてもよい。動いた後に、物理オブジェクトは椅子上に配置されてもよい。第１の組の仮想オブジェクトはまた、椅子に関連付けて配置されるように動いてもよい。

いくつかの実施形態では、第１の組の仮想オブジェクトの表示を変更することは、第１の組の仮想オブジェクトを消滅させること、第１の組の仮想オブジェクトの少なくとも１つの視覚特性を変更すること、または第１の組の仮想オブジェクトの最小化バージョンを表示することのうちの少なくとも１つを含む。ディスプレイを変更することは、ディスプレイに関連付けられた視覚特性、外観、または他の視覚特性の変更を実施することを含んでもよい。視覚特性は、オブジェクトの特徴的な外観であり得る。視覚的特性は、サイズ、向き、不透明度、強度、グラフィックテーマ、配色、位置合わせ、間隔、および／または表示を制御することができる他のパラメータを含むことができる。例えば、ディスプレイは、エクステンデッド・リアリティ環境からの第１の組の仮想オブジェクトの除去を完了する（例えば、削除する）ことによって修正され得る。別の例として、第１の組の仮想オブジェクトのサイズを小さくすることができる。別の例として、第１の組の仮想オブジェクトの輝度が調整されてもよい。

いくつかの開示された実施形態は、アイテムの動きに関連付けられた第２の入力を受信することを含むことができる。いくつかの例では、第２の入力を受信することは、メモリから第２の入力を読み取ること、外部デバイスから第２の入力を受信すること、またはセンサを使用して第２の入力を取り込むことのうちの少なくとも１つを含むことができる。アイテムは、上述した物理オブジェクトと同様に動くことができる。例えば、アイテム（物理アイテム、仮想アイテム、アイコン、アバター、またはウィジェットなど）を上方向に３インチ動かすことができる。第１の入力と同様に、アイテムの動きは、１つまたは複数のプロセッサによって受信され得る第２の入力を構成し得る。一例では、アイテムはエクステンデッド・リアリティ環境における仮想アイテムであってもよく、第２の入力は、アイテムを提示する装着型エクステンデッド・リアリティ機器から、エクステンデッド・リアリティ環境を調整するコンピュータ化システムから、１つまたは複数の装着型エクステンデッド・リアリティ機器を介してアイテムの提示を制御するコンピュータ化システムからなどで受信されてもよい。

いくつかの実施形態では、アイテムは仮想オブジェクトであり、第２の入力は、装着型エクステンデッド・リアリティ機器に接続可能な入力デバイスから受信したポインティングデータを含む。ポインティングデータは、位置を識別するために使用されるデータを含むことができる。そのようなデータは、例えば、特定の基準軸または平面に対する座標位置、距離および／または角度位置を含むことができる。ユーザは、入力デバイスを使用してポイントを識別することができる。入力デバイスは、１人または複数のユーザが情報を入力することを可能にするように構成されてもよい。例えば、ユーザは、タッチパッドに触れること、キーボードを制御すること、コンピュータマウスを動かすこと、タッチスクリーンを使用すること、ハンドジェスチャを通じて、音声コマンドを通じて、または任意の他の手段によってポイント（例えば、位置）を識別することができる。例えば、アイテムは仮想画面であってもよい。ユーザは、コンピュータマウスによって制御される仮想カーソルで仮想画面をドラッグすることができ、ハンドジェスチャなどで仮想画面をプッシュまたはプルすることができ、いくつかの開示された実施形態に関連付けられた１つまたは複数のプロセッサによって受信され得る第２の入力に応答して、仮想画面をプッシュまたはプルすることができる。

いくつかの開示された実施形態は、仮想オブジェクトの所望の動きを示すカーソルアクションを識別するためにポインティングデータを解析することと、仮想オブジェクトの所望の動きに対応するやり方で第２の組の仮想オブジェクトの表示を変更させることとを含むことができる。カーソルは、点を識別する可動インジケータであってもよい。カーソルアクションは、ユーザがカーソルを制御して、点をホバーすること、点をクリックすること、点をドラッグすること、または点の外観および／または位置を変更する可能性がある任意の他のアクションによって点を識別することを含むことができる。カーソルアクションは、ユーザが仮想オブジェクトの選択および移動を望む可能性があることを判定するために解析され得る。それに応答して、第２の組の仮想オブジェクトの表示は、ユーザによる仮想オブジェクトの動きに対して変更され得る。例えば、アイテムは仮想画面であってもよく、第２の組の仮想オブジェクトはウィジェットであってもよい。ユーザは、カーソルを使用して画面をドラッグすることによって仮想画面を動かすことができる。それに応答して、第２の組の仮想オブジェクトもまた、画面の動きの方向に動くことができる。第２の組の仮想オブジェクトの動きは、アイテムの動きに比例し得る。例えば、アイテムを５インチ動かし、第２の組の仮想オブジェクトを５インチ動かすことができる。

いくつかの実施形態では、アイテムは仮想オブジェクトであってもよく、第２の入力は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから受信した画像データを含んでもよい。仮想オブジェクトに関連付けられた画像データは、物理オブジェクトの画像データに関して上述したのと同じやり方で画像センサによって取り込まれてもよい。画像センサは、画像またはビデオを取り込むことができ、第２の入力は、画像またはビデオを含むことができ、または画像またはビデオの解析に基づくことができる。例えば、アイテムは、単語文書とのユーザのジェスチャ対話によって左６インチに動いた単語文書であってもよい。ジェスチャは、任意の身体の動き（例えば、頭部、目、手）であってもよい。画像センサはジェスチャを取り込むことができ、プロセッサはジェスチャを６インチの左方向の動きの指示として解釈することができる。プロセッサによって決定されたその指示は、第２の入力を構成することができる。

いくつかの開示された実施形態は、仮想オブジェクトの所望の動きを示すハンドジェスチャを識別するために画像データを解析することと、仮想オブジェクトの所望の動きに対応するやり方で第２の組の仮想オブジェクトの表示を変更させることとを含むことができる。前段落で示唆したように、ジェスチャは、アクションを生じさせる意図を示すかまたは表現することができるユーザの手またはユーザの手の一部の動きであってもよい。そのようなジェスチャは、例えば、１つまたは複数の指を使用してスクロール、ピンチ、タップ、および／または押圧、および／またはユーザの１つまたは複数の指、手首、および／または前腕を含む動きの他の組み合わせを含むことができる。画像センサは、ハンドジェスチャを実行するユーザの画像を作成することができる。ユーザが仮想オブジェクトを用いて特定の動きを実行しようとしているかどうかを判定するために、画像を解析することができる。画像を収集された画像と比較して、ユーザのハンドジェスチャを決定することができる。収集された画像は、プロセッサによって記憶およびアクセスされ、機械学習モジュール、セグメンテーション、パターンマッチング、または他の技術を使用して比較され得る。画像を比較して、同様の手の動きを探すことができる。例えば、ユーザのハンドジェスチャの画像は、左にスワイプするユーザの指を含むことができる。画像は、オブジェクトを左に動かす所望の動きに対応する、左にスワイプする指の収集された画像と比較することができる。比較に基づいて、ユーザがオブジェクトを左に動かそうとしていると判定することができる。特定のハンドジェスチャは、特定の動きに関連し得る。例えば、スクローリングジェスチャは、ユーザが仮想オブジェクトを上下に動かそうとしていることを示すことができる。別の例として、ピンチジェスチャは、ユーザが仮想オブジェクト上でズームインしようとしている可能性があることを示すことができる。ジェスチャに基づいて、第２の組の仮想オブジェクトの表示が変更し得る。例えば、ユーザは、仮想オブジェクトにズームインしたいという要望を示すためにピンチジェスチャを使用することができる。それに応答して、第２の組の仮想オブジェクトは、拡大または拡大された形態で表示され得る。

第２の入力の受信に応答して、いくつかの開示された実施形態は、第１の組の仮想オブジェクトの第１の位置を維持しながら、アイテムの動きに対応するやり方で第２の組の仮想オブジェクトの表示を変更させることを含むことができる。第２の組の仮想オブジェクトの表示の変更は、上述した第１の組の仮想オブジェクトの表示の変更と同様のやり方で行うことができる。第２の組の仮想オブジェクトは、アイテムと同じ仮想平面上に配置されてもよく、第１の組の仮想オブジェクトは、異なる仮想平面上に配置されてもよい。アイテムは、仮想平面上の位置を変更し、入力を作成することができる。第２の組の仮想オブジェクトの表示は、第２の入力に基づいて変更されてもよく、第１の組の仮想オブジェクトの表示は変更されなくてもよい。例えば、アイテムが第２の仮想平面内で右に３フィート動くと、第２の組の仮想オブジェクトはまた、第２の仮想平面内で右に３フィート動くことができるが、第１の組の仮想オブジェクトは、第１の仮想平面内で動かなくてもよい。

例として、図６７は、本開示のいくつかの実施形態と一致する、図６５に示す状況に対するアイテムおよび仮想オブジェクトの動きの例を示す。いくつかの実施形態では、物理オブジェクト６７１１および第１の組の仮想オブジェクト６７１２は、第１の仮想平面６７１０に関連付けられてもよい。例えば、第１の組の仮想オブジェクト６７１２は、第１の仮想平面６７１０にドッキングされてもよい。アイテム６７２１ならびに第２の組の仮想オブジェクト６７２２および６７２３は、第２の仮想平面６７２０に関連付けられ得る。例えば、第２の組の仮想オブジェクト６７２２および６７２３は、第２の仮想平面６７２０にドッキングされてもよい。アイテム６７２１は、その元の位置（６７２５として示す）から新しい位置（６７２６として示す）に動くことができる。第２の組の仮想オブジェクト６７２２および６７２３は、アイテム６７２１の動きに対応するように動き得る。しかし、第１の組の仮想オブジェクト６７１２は動かなくてもよい。

いくつかの実施形態では、第１の入力の受信に応答して第１の組の仮想オブジェクトの表示の変更を生じさせることは、物理オブジェクトの動きに対応するやり方で第１の組の仮想オブジェクトを動かすことを含むことができ、第２の入力の受信に応答して第２の組の仮想オブジェクトの表示の変更を生じさせることは、アイテムの動きに対応するやり方で第２の組の仮想オブジェクトを動かすことを含む。上述したように、第１の組の仮想オブジェクトは、物理オブジェクトの動きに比例して位置を動かすことができる。また上述したように、第２の組の仮想オブジェクトは、アイテムの動きに比例して位置を動かすことができる。例えば、物理オブジェクトは、物理オブジェクトの元の位置の左に３インチ動いてもよい。それに応答して、第１の組の仮想オブジェクトはまた、第１の組の仮想オブジェクトの元の位置の左に３インチ動くことができる。別の例として、アイテムは、アイテムの元の位置の右に３インチ動くことができる。それに応答して、第２の組の仮想オブジェクトはまた、第２の組の仮想オブジェクトの元の位置の右に３インチ動くことができる。

いくつかの実施形態では、第１の入力の受信に応答して第１の組の仮想オブジェクトの表示の変更を生じさせることは、第１の組の仮想オブジェクトの少なくとも１つの視覚特性を変更することを含むことができ、第２の入力の受信に応答して第２の組の仮想オブジェクトの表示の変更を生じさせることは、第２の組の仮想オブジェクトの少なくとも１つの視覚特性を変更することを含む。視覚特性は、上述したように、および実施例で提供されるように、オブジェクトの特徴的な外観であり得る。表示の変更は、視覚特性の変更を含んでもよい。例えば、物理オブジェクトは、物理オブジェクトの元の位置の左に３インチ動くことができる。それに応答して、第１の組の仮想オブジェクトはサイズを縮小することができる。別の例として、アイテムは、アイテムの元の位置の右に３インチ動くことができる。これに応じて、第２の組の仮想オブジェクトのサイズが増大し得る。あるいは、仮想オブジェクトの動きは、新しい位置に関連付けられたオブジェクトの新しい視点を反映するためにオブジェクトの再レンダリングをもたらすことができる。

いくつかの実施形態では、アイテムは仮想オブジェクトであってもよく、仮想オブジェクトの動きは、仮想オブジェクトの寸法または向きの少なくとも一方の変更を含み、動作は、仮想オブジェクトの変更に対応するやり方で第２の組の仮想オブジェクトの寸法または向きの少なくとも一方を変更することをさらに含む。寸法および向きの変更は、アイテムまたは仮想オブジェクトの物理特性の変更を含むことができる。アイテムまたは仮想オブジェクトの寸法は、アイテムの長さ、幅、深さ、高さ、または他の寸法を変更することによって変更することができる。アイテムまたは仮想オブジェクトの向きは、アイテムまたは仮想オブジェクトの相対位置をそれぞれ変更することによって変更することができる。第２の組の仮想オブジェクトは、アイテムと同じ方法で変更することができる。例えば、アイテムの長さを短くしてもよい。それに応答して、第２の組の仮想アイテムのそれぞれの長さも減少させることができる。別の例として、アイテムの向きは北方向を向くように修正されてもよい。それに応答して、第２の組の仮想アイテムは、北方向を向くように変更されてもよい。

いくつかの実施形態では、エクステンデッド・リアリティ環境は、第１の仮想平面に関連付けられ、アイテムにドッキングされた仮想オブジェクトを含むことができる。仮想オブジェクトは、上述したようにアイテムにドッキングすることができる。仮想オブジェクトは、物理オブジェクトの第１の仮想平面内に配置され得る。例えば、第１の仮想平面は、水平方向に延在する仮想平面であってもよい。仮想オブジェクトは、第１の仮想平面上に配置され、また水平方向に配置されてもよい。仮想オブジェクトは、第２の仮想平面内に位置するアイテムに接続され得る。

第１の入力の受信に応答して、いくつかの開示された実施形態は、仮想オブジェクトのディスプレイの位置を維持しながら、物理オブジェクトの動きに対応するやり方で第１の組の仮想オブジェクトのディスプレイの変更を生じさせることを含むことができる。対応する変更は、例えば、距離に関して比例的な変更、または視点に関して視点の変更を含むことができる。物理オブジェクトの動きが検出されると、第１の組の仮想オブジェクトの対応する動きは、プロセッサによって影響を受け得る。しかしながら、別の仮想オブジェクトは、その位置が変更しないままであってもよい。言い換えれば、ドッキングされていない仮想オブジェクト（またはその物理オブジェクト以外のものにドッキングされた仮想オブジェクト）が所定の位置に留まっている間、ドッキングされた一組の仮想オブジェクトのみの位置が、物理オブジェクトの動きに応答して位置を変更させることができる。

第２の入力の受信に応答して、いくつかの開示された実施形態は、第２の組の仮想オブジェクトの表示を変更させることと、アイテムの動きに対応するやり方で仮想オブジェクトの表示を変更させることとを含むことができる。上記の説明と同様に、第２の組の仮想オブジェクトはアイテムにドッキングされるので（その動きが第２の入力を構成する）、関連するアイテムが動くと、第２の組の仮想オブジェクトの表示は変更する。第２の組の仮想オブジェクトの表示の変更は、前述したように、アイテムの動きの変更に比例することができる。

いくつかの実施形態では、エクステンデッド・リアリティ環境は、第２の仮想平面に関連付けられ、物理オブジェクトにドッキングされた仮想オブジェクトを含んでもよい。仮想オブジェクトは、上述したように物理オブジェクトにドッキングすることができる。仮想オブジェクトは、アイテムの第２の仮想平面に配置され得る。例えば、第２の仮想平面は、鉛直方向に延在する仮想平面であってもよい。仮想オブジェクトは、第２の仮想平面上に配置され、垂直方向に配置されてもよい。仮想オブジェクトは、第１の仮想平面内の物理オブジェクトに接続され得る。

いくつかの開示された実施形態は、第１の入力の受信に応答して、第１の組の仮想オブジェクトの表示の変更および物理オブジェクトの動きに対応するやり方で仮想オブジェクトの表示の変更を生じさせることを含むことができる。第１の組の仮想オブジェクトおよび仮想オブジェクトは、異なる仮想平面に配置されてもよい。第１の組の仮想オブジェクトの表示は、第１の仮想平面内の物理オブジェクトの動きに基づいて変更され得る。仮想オブジェクトは、物理オブジェクトにドッキングされ、また第２の仮想平面内で動くことができる。仮想オブジェクトの動きは、上述した物理オブジェクトと同様であってよい。例えば、物理オブジェクトは５インチ動くことができる。第１の組の仮想オブジェクトはまた、５インチ動くことができる。仮想オブジェクトはまた、仮想オブジェクトが物理オブジェクトとドッキングされているために５インチ動くことができる。

いくつかの開示された実施形態は、第２の入力の受信に応答して、仮想オブジェクトの表示の位置を維持しながら、アイテムの動きに対応するやり方で第２の組の仮想オブジェクトの表示を変更させることを含むことができる。仮想オブジェクトはアイテムにドッキングされていないため、第２の入力が受信されると、ドッキングされた第２の組の仮想オブジェクトの表示のみが変更し、ドッキング解除された仮想オブジェクトの表示は変更しない。上記の説明と同様に、仮想オブジェクトは、第２の仮想平面内に配置され、物理オブジェクトにドッキングすることができる。アイテムおよび第２の組の仮想オブジェクトはまた、第２の仮想平面内に配置されてもよい。アイテムは、動いて第２の組の仮想オブジェクトの変更を生じさせることができるが、仮想オブジェクトの変更を引き起こさないことができる。例えば、アイテムは上方向に５インチ動くことができる。第２の組の仮想オブジェクトはまた、上方向に５インチ動くことができる。仮想オブジェクトは、仮想オブジェクトが物理オブジェクトとドッキングされているために動かない場合がある。

いくつかの例では、物理的要素がエクステンデッド・リアリティ環境内の特定の位置に配置されているという指示を受信することができる。いくつかの例では、装着型エクステンデッド・リアリティ機器に含まれる画像センサを使用して取り込まれた画像データを受信することができる。例えば、画像データは、画像センサから、装着型エクステンデッド・リアリティ機器から、装着型エクステンデッド・リアリティ機器の外部の中間デバイスから、メモリユニットなどから受信することができる。画像データは、エクステンデッド・リアリティ環境内の特定の位置にある物理的要素を検出するために解析され得る。別の例では、レーダ、ライダー、またはソナーセンサを使用して、エクステンデッド・リアリティ環境の特定の位置における物理的要素の存在を検出することができる。いくつかの例では、アイテムの動きに対応するやり方での第２の組の仮想オブジェクトの表示の変更は、特定の位置に配置されている物理的要素に基づいて選択されてもよい。一例では、第２の仮想平面上の第２の組の仮想オブジェクトの特定の仮想オブジェクトの位置を維持することは、特定の仮想オブジェクトを物理要素と衝突させることができ、それに応答して、特定の仮想オブジェクトの新しい位置が物理要素と衝突しないように、または第２の仮想平面への特定の仮想要素のドッキングがキャンセルまたは保留され得るように、特定の仮想オブジェクトを新しい位置（例えば、第２の仮想平面上、第２の仮想平面の外側など）に動かすことができる。別の例では、第２の仮想平面上の特定の仮想オブジェクトの位置を維持することは、特定の仮想オブジェクトを物理要素（レイキャスティングアルゴリズムを使用して決定することができる）によって少なくとも部分的に隠すことができ、それに応答して、第２の仮想平面上の特定の仮想オブジェクトの位置を変更することができ、その結果、新しい位置では、特定の仮想オブジェクトが物理要素によって（完全にまたは部分的に）隠されないか、または第２の仮想平面への特定の仮想要素のドッキングをキャンセルまたは保留することができる。

図６８は、選択的仮想オブジェクト表示変更を実施するための動作を実行するためにプロセッサによって実行され得る典型的な方法６８００のフローチャートを示す。方法６８００は、エクステンデッド・リアリティ環境を生成するステップ６８１１を含むことができ、環境は、物理オブジェクトに関連付けられた第１の仮想平面と、アイテムに関連付けられた第２の仮想平面とを含み、第２の仮想平面は、第１の仮想平面を横切る方向に延在する。方法６８００はまた、第１の仮想平面に関連付けられた第１の位置に第１の組の仮想オブジェクトをドッキングするための第１の命令にアクセスするステップ６８１２を含んでもよい。さらに、方法６８００は、第２の仮想平面に関連付けられた第２の位置に第２の組の仮想オブジェクトをドッキングするための第２の命令にアクセスするステップ６８１３を含むことができる。方法６８００は、物理オブジェクトの動きに関連付けられた第１の入力を受信するステップ６８１４を含んでもよい。方法６８００は、第２の組の仮想オブジェクトを第２の位置に維持しながら、第１の組の仮想オブジェクトの表示を変更させるステップ６８１５を含んでもよい。方法６８００はまた、アイテムの動きに関連付けられた第２の入力を受信するステップ６７１６を含んでもよい。さらに、いくつかの例では、方法６８００は、第１の組の仮想オブジェクトの第１の位置を維持しながら、第２の組の仮想オブジェクトの表示を変更させる任意のステップ６８１７を含んでもよい。

いくつかの実施形態は、仮想コンテンツを提示するための表示構成を決定することを含む。表示構成を決定することは、仮想コンテンツのディスプレイを構成するための動作パラメータおよび命令を決定することを含んでもよい。これらの実施形態と一致して、以下に説明するように、表示構成は、特定の入力デバイスに関連付けられた検索された表示設定と、少なくとも１つの使用パラメータの値とに基づいて決定されてもよい。表示構成は、例えば、仮想コンテンツが提示される視点に関連する命令（例えば、視野角、サイズ、位置、および／またはアスペクト比）、仮想画面の提示に関連する命令（例えば、仮想画面の数、仮想画面のサイズ、仮想画面の向き、または仮想画面の境界の構成）、仮想コンテンツの外観に関連する命令（例えば、仮想コンテンツの不透明度、仮想コンテンツの配色、または仮想コンテンツの輝度レベル）、表示されているコンテンツのタイプに関連する命令（例えば、仮想コンテンツのためのオペレーティングシステム、起動アプリケーションの選択、起動仮想オブジェクトの選択、またはエクステンデッド・リアリティ環境における選択された起動仮想オブジェクトの配置）、仮想コンテンツを提示するための装着型エクステンデッド・リアリティ機器からの距離に関連する命令、および／またはレイアウトもしくは構成に関連する任意の他のパラメータを含むことができる。表示構成のさらなる開示および例は、以下により詳細に記載される。

表示構成に基づいて仮想コンテンツを提示することは、決定された表示設定に従って、エクステンデッド・リアリティ機器の装着者に仮想コンテンツを表示することを含むことができる。一例では、表示構成に基づいて仮想コンテンツを提示することは、デフォルト表示設定を変更することを含むことができる。例えば、仮想画面の数、配色、オペレーティングシステム、輝度レベル、不透明度レベル、起動仮想オブジェクト、または他のデフォルト表示設定のうちの少なくとも１つまたは複数を変更する。さらに、提示は、仮想コンテンツの１つまたは複数の位置に配置され得る１つまたは複数のアプリケーション、１つまたは複数のオペレーティングシステム、および／または１つまたは複数の仮想オブジェクトの表示を含んでもよい。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器によって提示される仮想コンテンツは、仮想画面などの１つまたは複数の仮想オブジェクトを含むことができる。仮想画面（本明細書では「仮想ディスプレイ」または「仮想表示画面」とも呼ばれる）は、上述したように、物理ディスプレイスクリーンの機能を模倣および／または拡張する仮想オブジェクトであり得る。一例では、各仮想画面は、仮想ウィンドウ、仮想ウィジェット、または仮想カーソルなどの複数のユーザインターフェース要素を提示することができる。いくつかの実施形態では、各仮想画面は、ウェブページ、ビデオ、写真、ビデオゲーム、ファイルブラウザ、電子メールクライアント、またはウェブブラウザなどのテキスト、ビジュアルメディア、またはアプリケーションを表示するように構成されてもよい。本開示の態様と一致して、仮想コンテンツの提示は、表示設定、例えば、デフォルト表示設定によって構成されてもよい。

いくつかの実施形態は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信することを含むことができる。画像センサは、ユーザの環境の画像データを取り込むことができる。一例では、画像センサは、例えば一体型カメラの形態で、装着型エクステンデッド・リアリティ機器に組み込まれてもよい。別の例では、画像センサは、ウェアラブルリアリティ機器の外部にあってもよく、例えば、装着型エクステンデッド・リアリティ機器と通信する外部ウェブカメラであってもよい。画像データは、例えば、視野内に存在する１つまたは複数の生物または無生物の表現を含むユーザの視野を示す物理的領域の画像を含むことができる。画像データを受信することは、画像センサから処理デバイスへの画像データの転送を含むことができる。一実施形態では、リモートサーバ（例えば、図２に示すサーバ２１０）は、画像センサから画像データを受信することができ、装着型エクステンデッド・リアリティ機器は、リモートサーバから画像データを受信することができる。追加的または代替的に、入力デバイス（例えば、図１に示すキーボード１０４、またはコンピューティングデバイスと一体化された入力デバイス）は、画像センサから画像データを受信することができ、装着型エクステンデッド・リアリティ機器は、入力デバイスから画像データを受信することができる。いくつかの実施形態では、画像データは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信、またはセルラーネットワークなどの無線ネットワークを介して送信されてもよい。いくつかの実施形態では、画像データは、ＬＡＮまたはＵＳＢ接続などの有線ネットワークを介して送信されてもよい。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器は、複数の入力デバイスとペアリングされるように構成されてもよい。装着型エクステンデッド・リアリティ機器を入力デバイスとペアリングすることは、装着型エクステンデッド・リアリティ機器と入力デバイスとの間のペアリングメカニズムを使用して関係を確立することを含んでもよい。入力デバイスを装着型エクステンデッド・リアリティ機器にペアリングすると、ユーザは入力デバイスを使用して装着型エクステンデッド・リアリティ機器によって表示される仮想コンテンツを変更することができる。ペアリングされた接続は、装着型エクステンデッド・リアリティ機器と複数の入力デバイスとの間に確立された有線または無線接続であり得る。いくつかの実施形態では、特定の入力デバイスをペアリングすることは、各入力デバイスの確認コードを使用して接続を確立することを含むことができる。一例では、特定の入力デバイスは、複数の入力デバイスの中からの入力デバイスであってもよい。一例では、装着型エクステンデッド・リアリティ機器は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信、またはセルラーネットワークなどの無線ネットワーク、またはＬＡＮなどの有線ネットワーク、またはＵＳＢ接続を介して、複数の入力デバイスとペアリングされてもよい。一例では、装着型エクステンデッド・リアリティ機器は、ＬＡＮなどの有線ネットワークを介して、またはＵＳＢ接続を介して複数の入力デバイスとペアリングされてもよい。

複数の入力デバイスは、ユーザまたはユーザの環境から入力を受信し、装着型エクステンデッド・リアリティ機器に関連付けられた処理デバイスにデータを提供するように構成された任意のタイプの物理デバイスを含むことができる。例えば、複数の入力デバイスは、キーボード、マウス、スタイラス、コントローラ、タッチスクリーン、または人間とコンピュータとの対話を容易にする他のデバイスのうちの少なくとも２つ以上を含むことができる。いくつかの実施形態では、複数の入力デバイスは、少なくとも第１の入力デバイスおよび第２の入力デバイスを含むことができる。第１および第２の入力デバイスは同じタイプのものであってもよく、例えば、第１および第２の入力デバイスは両方ともキーボードであってもよい。あるいは、第１および第２の入力デバイスは異なるタイプのものであってもよく、例えば、第１の入力デバイスはキーボードであってもよく、第２の入力デバイスはスタイラスであってもよい。いくつかの実施形態では、第１および第２の入力デバイスは視覚的に類似していてもよい。例えば、第１および第２の入力デバイスの両方は、同様の色、寸法、パターン、または他の同様の視覚的識別子を有することができる。

いくつかの実施形態では、各入力デバイスは、デフォルト表示設定に関連付けられてもよい。デフォルト表示設定は、ユーザインターフェースの構成または状態を定義する１つまたは複数の予め構成された値を含むことができる。いくつかの実施形態では、デフォルト表示設定は、複数の入力デバイスのそれぞれに関連付けられたメモリに記憶されてもよい。いくつかの実施形態では、各入力デバイスは、入力デバイスの製造業者またはモデルに固有のデフォルト表示設定を含むことができる。いくつかの実施形態では、デフォルト表示設定は、リモートサーバ上のメモリに記憶されてもよい。上記の例と一致して、第１および第２の入力デバイスは、異なるデフォルト表示設定に関連付けられてもよい。例えば、第１の入力デバイスは、第１のデフォルト表示設定に関連付けられてもよく、第２の入力デバイスは、第２のデフォルト表示設定に関連付けられてもよい。ある場合には、第１のデフォルト表示設定の少なくとも一部は、第２のデフォルト表示設定と異なっていてもよい。

いくつかの実施形態では、デフォルト表示設定は、仮想コンテンツを提示するための装着型エクステンデッド・リアリティ機器からのデフォルト距離を含むことができる。デフォルト距離は、値、一組の値、または仮想コンテンツ内の範囲であってもよく、ユーザに提示されてもよい。仮想コンテンツを提示するための例示的なデフォルト距離は、０．５メートル（ｍ）～７ｍの距離の範囲を含むことができる。一例では、デフォルト距離が１ｍになるように構成されている場合、仮想コンテンツは最初に装着型エクステンデッド・リアリティ機器から１ｍで表示され、装着型エクステンデッド・リアリティ機器が装着型エクステンデッド・リアリティ機器と仮想コンテンツとの間の距離を動いても１ｍのままである。別の例では、仮想コンテンツは、最初に装着型エクステンデッド・リアリティ機器から１ｍのところに表示され得るが、装着型エクステンデッド・リアリティ機器が装着型エクステンデッド・リアリティ機器と仮想コンテンツとの間の距離を動かすと、それに応じて変更する。

いくつかの実施形態では、デフォルト表示設定は、仮想画面のデフォルト数、仮想画面のデフォルトサイズ、仮想画面のデフォルトの向き、または仮想画面の境界のデフォルト構成のうちの少なくとも１つを含むことができる。仮想画面のデフォルト数は、起動時または後で同時に表示される仮想画面のデフォルトまたは事前構成された数であってもよい。仮想画面の数の例は、１～５個の仮想画面の範囲内の数を含むことができる。より多数の仮想画面も考えられる。仮想画面のデフォルトサイズは、仮想画面のデフォルトまたは事前構成された対角寸法であり得る。例示的な仮想画面サイズは、６インチ～３００インチの寸法の範囲であってもよい。いくつかの実施形態では、デフォルトサイズは仮想画面ごとに異なり得る。デフォルトの向きは、各仮想画面のデフォルトの向きまたは事前構成された向きであってもよい。例示的なデフォルトの向きは、縦向きまたは横向きを含む。一例では、各仮想画面は異なるデフォルトの向きを有することができる。いくつかの実施形態では、各仮想画面のデフォルトの向きは、縦向きまたは横向きからのオフセットだけ回転されてもよい。例えば、デフォルトの向きは、横向きなどの初期の向きから３０、４５、または６０度回転させることができる。他の実施形態では、各仮想画面のデフォルトの向きは、各仮想画面のピッチ角、ヨー角、およびロール角を示すことができる。例えば、デフォルトの画面数は２であってもよく、第１の仮想水平画面のデフォルトサイズは４０インチであり、第２の仮想画面のデフォルトサイズは２０インチである。

いくつかの実施形態では、デフォルト表示設定は、仮想コンテンツのためのオペレーティングシステムのデフォルト選択を含んでもよい。オペレーティングシステムのデフォルト選択は、装着型エクステンデッド・リアリティ機器に関連付けられた１つまたは複数のオペレーティングシステムのデフォルトまたは事前構成された選択であり得る。オペレーティングシステムの例は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ ＭａｃＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）などを含むことができる。いくつかの実施形態では、デフォルト選択は、オペレーティングシステムの安定性、ユーザの好み、アプリケーションの互換性、またはブート順序に基づくことができる。いくつかの実施形態では、各仮想画面は異なるオペレーティングシステムを提示することができる。

いくつかの実施形態では、デフォルト表示設定は、起動アプリケーションのデフォルト選択を含むことができる。起動アプリケーションのデフォルトの選択は、１つまたは複数の起動アプリケーションの選択であってもよい。例示的な起動アプリケーションは、カーネル、ウィンドウマネージャ、またはネットワークドライバなどのオペレーティングシステムプロセスを含む。追加的または代替的に、例示的な起動アプリケーションは、ウェブブラウザ、ワードプロセッサ、電子メールクライアント、チャットクライアント、ウェザーウィジェット、メッセージングウィジェット、他の仮想ウィジェット、または他の実行可能アプリケーションなどのプログラムを含むことができる。いくつかの実施形態では、各仮想画面は異なる起動アプリケーションを提示することができる。

いくつかの実施形態では、デフォルト表示設定は、起動仮想オブジェクトのデフォルト選択を含むことができる。起動仮想オブジェクトのデフォルトの選択は、１つまたは複数の仮想オブジェクトの選択であってもよい。例示的な仮想オブジェクトは、仮想カーソル、仮想ウィンドウ、仮想ウィジェット、アプリケーション、または他の仮想ユーザインターフェース要素を含む。いくつかの実施形態では、各仮想画面は、異なる仮想オブジェクトを提示することができる。他の実施形態では、仮想オブジェクトは、仮想画面の外側に提示されてもよい。図１に示すように、仮想ウィジェット１１４Ａ～１１４Ｄを仮想画面１１２の隣に表示し、仮想ウィジェット１１４Ｅをテーブル１０２に表示してもよい。起動仮想オブジェクトのデフォルト選択は、エクステンデッド・リアリティ環境における仮想オブジェクトのタイプおよびそれらの初期配置の選択を含むことができる。

いくつかの実施形態では、デフォルト表示設定は、エクステンデッド・リアリティ環境における選択された起動仮想オブジェクトのデフォルト配置を含むことができる。起動仮想オブジェクトのデフォルトの配置は、エクステンデッド・リアリティ環境内、例えば各仮想画面内の１つまたは複数の起動仮想オブジェクトの事前構成された配置または位置であり得る。配置例は、特定の座標、仮想画面境界への近接度、または仮想画面の中心を含む。いくつかの実施形態では、起動仮想オブジェクトのデフォルト配置は、物理オブジェクト（例えば、キーボード１０４）の位置に対するものであっても、装着型エクステンデッド・リアリティ機器の位置に対するものであってもよい。例えば、仮想ウィジェット１１４Ｅは、キーボード１０４の右かつ同じ表面にデフォルトで配置されてもよい。

いくつかの実施形態では、デフォルト表示設定は、仮想コンテンツのデフォルト不透明度を含むことができる。仮想コンテンツの不透明度は、仮想コンテンツの半透明性の尺度とすることができる。デフォルトの不透明度は、１％～１００％の範囲であり得る。一例では、１００％の不透明度は、環境光の１０％未満が仮想コンテンツを通過する仮想コンテンツの不透明度値を表すことができる。別の例では、１００％の不透明度は、環境光の５％未満が仮想コンテンツを通過する仮想コンテンツの不透明度値を表し得る。別の例では、１％の不透明度は、環境光の９０％超が仮想コンテンツを通過する仮想コンテンツの不透明度値を表し得る。いくつかの実施形態では、デフォルト不透明度は、仮想コンテンツの仮想オブジェクトごとに異なり得る。

いくつかの実施形態では、デフォルト表示設定は、仮想コンテンツのデフォルト配色を含んでもよい。デフォルトの配色は、審美的または情報的なアピールのための色の事前構成された調整された選択であってもよい。デフォルトの配色は、単色、無彩色、相補的、分割相補的、類似、三色、四色、または多色のうちの少なくとも１つであってもよい。いくつかの実施形態では、デフォルトの配色を選択して、ユーザの視覚障害を克服することができる。いくつかの実施形態では、各配色は、１つまたは複数のカラーパレットを含むことができる。いくつかの実施形態では、デフォルトの配色は、仮想コンテンツの仮想オブジェクトごとに異なり得る。

いくつかの実施形態では、デフォルト表示設定は、仮想コンテンツのデフォルト輝度レベルを含んでもよい。デフォルト輝度は、予め構成された輝度値であってもよい。デフォルト輝度は、１％～１００％の範囲の値であってもよい。いくつかの実施形態では、デフォルト輝度は、１０ｎｉｔ～２０００ｎｉｔの範囲の値であってもよい。一例では、１００％の輝度は、約２０００ｎｉｔに対応し得る。別の例では、１００％の輝度は、約２００ｎｉｔに対応し得る。一例では、１％の明るさが１０ｎｉｔに対応し得る。別の例では、１％の輝度は、４０ｎｉｔに対応し得る。いくつかの実施形態では、デフォルト輝度は、仮想コンテンツの仮想オブジェクトごとに異なり得る。

いくつかの実施形態では、デフォルト表示設定は、メモリから検索されてもよい。デフォルト表示設定を記憶するメモリは、図２に示すシステム２００の構成要素のいずれかに含まれてもよい。例えば、デフォルト表示設定は、通信ネットワーク２１４を介したダウンロードを介してサーバ２１０から検索されてもよい。いくつかの実施形態では、デフォルト表示設定は、装着型エクステンデッド・リアリティ機器と入力ユニット２０２との間のＮＦＣまたはブルートゥース接続などの直接無線接続を介して入力ユニット２０２のメモリから検索されてもよい。さらに別の例では、デフォルト表示設定は、装着型エクステンデッド・リアリティ機器と入力ユニット２０２との間のＵＳＢまたはＬＡＮ接続などの有線接続を介して入力ユニット２０２のメモリから検索されてもよい。いくつかの実施形態では、デフォルト表示設定は、ＸＲユニット２０４に関連付けられたメモリから検索されてもよい。

いくつかの実施形態は、表面上に配置された特定の入力デバイスを検出するために画像データを解析することを含むことができる。画像データの解析は、本明細書に開示する任意の画像処理方法を含むことができる。例えば、画像データの解析は、オブジェクト検出、画像セグメンテーション、オブジェクト認識、またはパターン認識のうちの少なくとも１つを含むことができる。本開示の態様と一致して、特定の入力デバイスを検出することは、入力デバイスのリポジトリ内でルックアップを実行して、どの入力デバイスが装着型エクステンデッド・リアリティ機器のユーザによって現在使用されているかを識別することを含んでもよい。入力デバイスのリポジトリは、例えば、入力デバイス（例えば、装着型エクステンデッド・リアリティ機器のユーザに関連付けられた入力デバイス）のテーブルと、特定の入力デバイスに関連付けられた対応するデフォルト表示設定とを含むデータストレージを指すことができる。例えば、表に示す各入力デバイスは、表に格納された対応するデフォルト表示設定を有することができる。一例では、リポジトリは、データ構造２１２に基づいて、またはそれと同様のやり方で実施されてもよい。別の実施形態では、解析は、画像データにおいて、特定の入力デバイスが配置された表面を識別することを含むことができる。表面は、テーブル、床、カウンタートップ、コースター、テーブルマット、マウスパッド、または入力デバイスを収容することができる他の表面などの物理的表面であってもよい。特定の入力デバイスが配置される表面のタイプは、デフォルトの表示設定を変更することができる。例えば、キーボード１０４が作業机に配置されると、装着型エクステンデッド・リアリティ機器は、第１の表示構成に従って仮想コンテンツを提示することができ、キーボード１０４がキッチンカウンタに配置されると、装着型エクステンデッド・リアリティ機器は、第２の表示構成に従って仮想コンテンツを提示することができる。

いくつかの実施形態は、特定の入力デバイスの近傍のオブジェクトを識別するために画像データを解析することを含むことができる。特定の入力デバイスおよびそれが配置されている表面を識別するのと同様のやり方で、画像データを解析して他のオブジェクトを識別することができる。他のオブジェクトは、他の入力デバイス、コーヒーマグ、コンピューティングデバイス、モバイルデバイス、ＱＲコード、バーコード、発光体、マーカ、またはディスプレイデバイスなどの物理オブジェクトであってもよい。近傍は、特定の入力デバイスからオブジェクトまでの距離または半径であり得る。半径または距離の例は、１ｃｍ～１０ｍであってもよい。一例では、オブジェクトは特定の入力デバイス上に配置されてもよい。別の例では、特定の入力デバイスをオブジェクト上に配置することができる。いくつかの例では、画像データは、オブジェクトを識別するために、オブジェクト検出アルゴリズム、オブジェクト認識アルゴリズム、または意味領域分割アルゴリズムのうちの少なくとも１つを使用して解析され得る。

いくつかの実施形態は、特定の入力デバイスの近傍のオブジェクトの識別に基づいて、特定の入力デバイスが第２の入力デバイスではなく第１の入力デバイスであると判定することを含むことができる。一例では、画像データは、特定の入力デバイスの近傍内に第１のオブジェクトを含むことができ、第１のオブジェクトは第１の入力デバイスに関連付けられる。画像データはまた、別の入力デバイスの近傍内に第２のオブジェクトを含むことができ、第２のオブジェクトは第２の入力デバイスに関連付けられる。上述した特定の入力デバイスの近傍のオブジェクトを識別するのと同様のやり方で、画像データを解析して１つまたは複数のオブジェクトを識別することができる。第１のオブジェクトが特定の入力デバイスの近傍内にあることを検出すると、特定の入力デバイスは、第２の入力デバイスではなく第１の入力デバイスとして識別され得る。例えば、ＱＲコードが第１の入力デバイスに関連付けられてキーボード上に配置され、第２の入力デバイスに関連付けられたコーヒーマグがタブレットの近くにある場合、画像解析は、キーボード（例えば、特定の入力デバイス）が第２の入力デバイスではなく第１の入力デバイスであると判定することができる。一例では、第１の入力デバイスは大きな机の上に配置され、第２の入力デバイスはより小さな机の上に配置されることが知られ得る。オブジェクトは、特定の入力デバイスが置かれる机であってもよい。オブジェクト（例えば、特定の入力デバイスが置かれる机）の測定値は、例えば回帰アルゴリズムまたは意味的セグメンテーションアルゴリズムを使用して、画像を解析することによって決定され得る。決定された測定値は、大きい机および小さい机の既知の測定値と比較され得る。比較の結果に基づいて、机を大きい机または小さい机として識別することができ、それによって特定の入力デバイスを第１の入力デバイス、第２の入力デバイス、または完全に異なる入力デバイスとして識別することができる。

図６９は、装着型エクステンデッド・リアリティ機器を使用するユーザの典型的な図である。図６９に示すように、ユーザ１００は、画像センサ４７２を含むＸＲユニット２０４を操作してもよい。この例では、ユーザ１００は、動作中にＸＲユニット２０４を装着することができる。画像センサ４７２は、表面６９１０および表面６９１０上に配置された入力デバイス６９１２を検出または識別することができる。画像センサ４７２は、解析のために表面６９１０および入力デバイス６９１２を含む画像を取り込むことができる。システム２００の処理デバイスは、取り込まれた画像を解析し、入力デバイスのリポジトリ６９１１を使用して特定の入力デバイス入力デバイス６９１２Ｂを識別することができる。入力デバイス６９１２Ｂは、特定の一組のデフォルト表示設定に関連付けられている。入力デバイスのリポジトリ６９１１は、図に示すように、またはＸＲユニット２０４に格納されるように、通信ネットワーク２１４を介してアクセス可能であってもよい。

いくつかの実施形態は、特定の入力デバイスの少なくとも１つの使用パラメータの値を決定することを含むことができる。使用パラメータの値を決定することは、１つまたは複数のセンサからのデータを解析することと、解析されたデータに基づいて使用パラメータに値を割り当てることとを含むことができる。使用パラメータは、装着型エクステンデッド・リアリティ機器とのセッションの任意の特性を含むことができる。使用パラメータは、人間工学パラメータ、環境パラメータ、または入力デバイスパラメータのうちの１つまたは複数を含むことができる。いくつかの実施形態では、人間工学的パラメータは、ユーザの姿勢または挙動を示すことができる。人間工学的パラメータの値の例には、座っている、膝をついている、立っている、歩いている、走っている、ダンスしている、這い回っている、会話している、ゲームしている、運動している、かがんでいる、曲げている、伸ばしている、タイピングしている、読書している、または他の活動が含まれ得る。環境パラメータの値の例は、天候、時刻、曜日、照明条件、温度、環境内のオブジェクトまでの距離、ノイズレベル、芳香、特定の入力デバイスと装着型エクステンデッド・リアリティ機器との間の距離、または環境に関連付けられた他の感覚パラメータを含むことができる。入力デバイスパラメータの値の例は、バッテリ充電データ、デバイス識別子、ペアリング状態、または他のデバイス情報を含むことができる。

いくつかの実施形態では、少なくとも１つの使用パラメータの値は、入力デバイス、周囲センサ、位置センサ、加速度計、ジャイロスコープ、マイクロフォン、画像センサ、または他のセンサから受信したデータを解析することによって決定されてもよい。一例では、加速度計、ジャイロスコープ、または他の位置センサからのデータを解析して、ユーザの姿勢または挙動の値を決定することができる。一例では、周囲センサ、画像センサ、位置センサ、マイクロフォン、または他の環境センサからのデータを使用して、環境パラメータの値を決定することができる。一例では、入力デバイス、画像センサ、位置センサ、マイクロフォン、または他の入力デバイスセンサからのデータを使用して、入力デバイスパラメータの値を決定することができる。

いくつかの実施形態は、画像データ、特定の入力デバイスから受信したデータ、または装着型エクステンデッド・リアリティ機器から受信したデータの解析のうちの少なくとも１つに基づいて、特定の入力デバイスの少なくとも１つの使用パラメータの値を決定することを含むことができる。いくつかの実施形態では、画像データの解析は、モーションセンサ、環境センサ、音声センサ、重量センサ、光センサ、距離センサ、抵抗センサ、ライダーセンサ、超音波センサ、近接センサ、および／またはバイオメトリックセンサなどの、装着型エクステンデッド・リアリティ機器上に配置されたセンサからのデータと組み合わせて、装着型エクステンデッド・リアリティ機器と特定の入力デバイスとの間の距離を計算するために使用され得る。いくつかの実施形態では、上記のような特定の入力デバイスに配置されたセンサからのデータと組み合わせた画像データの解析を使用して、装着型エクステンデッド・リアリティ機器と特定の入力デバイスとの間の距離を計算することができる。

一例では、近接センサは距離データを記録することができ、画像センサは画像データを取り込むことができる。距離データおよび画像データの解析を使用して、装着型エクステンデッド・リアリティ機器と特定の入力デバイスとの間の距離を計算することができる。距離データは、画像データの解析から導出された距離の較正または標準とすることができ、それにより、画像データのみではなく、画像データから計算された距離の精度を向上させることができる。

いくつかの実施形態は、特定の入力デバイスに関連付けられたデフォルト表示設定をメモリから検索することを含んでもよい。一実施形態では、特定の入力デバイスに関連付けられたデフォルトの表示設定は、入力ユニット２０２のメモリから検索されてもよい。例えば、デフォルト表示設定は、装着型エクステンデッド・リアリティ機器と入力ユニット２０２との間のＮＦＣまたはブルートゥース接続などの直接無線接続を介して検索されてもよい。さらに別の例では、デフォルト表示設定は、装着型エクステンデッド・リアリティ機器と入力ユニット２０２との間のＵＳＢまたはＬＡＮ接続などの有線接続を介して入力ユニット２０２のメモリから検索されてもよい。別の実施形態では、特定の入力デバイスに関連付けられたデフォルト表示設定は、ＸＲユニット２０４に関連付けられたメモリから検索されてもよい。さらに別の実施形態では、特定の入力デバイスに関連付けられたデフォルト表示設定は、サーバ２１０に関連付けられたメモリから検索されてもよい。

いくつかの実施形態は、特定の入力デバイスがホームキーボードであるか職場のキーボードであるかを判定することを含んでもよい。特定の入力デバイスが家庭用キーボードであるか職場用キーボードであるかの判定は、デバイス情報、視覚コードまたは発光体などの検証コード、画像データの解析に基づく特定の入力デバイスの視覚的外観、装着型エクステンデッド・リアリティ機器の位置、時刻、曜日、または入力デバイスの利用率のうちの少なくとも１つに基づいてもよい。職場のキーボードは、ユーザの勤務先に関連付けられた入力デバイスであってもよい。ホームキーボードは、ユーザの居住地に関連付けられた入力デバイスであってもよい。特定の入力デバイスがホームキーボードであるという判定に応答して、いくつかの実施形態は、メモリから第１のデフォルト表示設定を検索することを含んでもよい。例えば、図６９を参照すると、入力デバイス６９１２Ｂはホームキーボードであると判定され得る。特定の入力デバイスが職場のキーボードであるという判定に応答して、いくつかの実施形態は、メモリから第２のデフォルト表示設定を検索することを含んでもよい。例えば、図６９を参照すると、キーボード６９１２Ｃは職場のキーボードであると判定され得る。いくつかの実施形態では、第２のデフォルト表示設定は、第１のデフォルト表示設定とは異なる。例えば、第２のデフォルト表示設定は、生産性ソフトウェア、開発ソフトウェア、ＶＰＮ、または他の職場アプリケーションなど、職場の活動に関連付けられた起動アプリケーションの選択を含むことができる。第１のデフォルト表示設定は、ビデオストリーミングサービス、音楽ストリーミングサービス、スマートホームアプリケーション、ビデオゲーム、メッセージングサービス（例えば、ビデオチャット、ＳＭＳ、電話、インスタントメッセージング）、または他の非職場アプリケーションなど、ユーザの家庭活動に関連付けられた起動アプリケーションの選択を含むことができる。いくつかの実施形態では、選択は相互に排他的である必要はなく、言い換えれば、ウェブブラウザおよびＶＰＮなどのいくつかのアプリケーションが重複してもよい。いくつかの実施形態では、起動アプリケーションの各選択は、ユーザの職場および／または家庭活動のために構成されてもよい。いくつかの実施形態では、第２のデフォルト表示設定は、ユーザの居住地とは異なり得るユーザの職場環境に対して調整されてもよい。例えば、ユーザが薄暗い地下研究室で働いているが、明るい照明のある家に住んでいる場合、提示される仮想コンテンツの視覚的明瞭さを改善するために、第２のデフォルト設定における輝度および不透明度設定は、第１のデフォルト表示設定とは異なり得る。

いくつかの実施形態は、特定の入力デバイスがプライベートキーボードであるかパブリックキーボードであるかを判定することを含んでもよい。特定の入力デバイスがプライベートキーボードであるかパブリックキーボードであるかの判定は、デバイス情報、ビジュアルコードまたは発光体などのペアリングコード、画像データの解析に基づく特定の入力デバイスの視覚的外観、装着型エクステンデッド・リアリティ機器の位置、時刻、曜日、または入力デバイスの利用率のうちの少なくとも１つに基づいてもよい。プライベートキーボードは、ユーザによって所有されているか、またはユーザの私有物に関連付けられている入力デバイスであり得る。パブリックキーボードは、他の当事者が所有し、ユーザに提供する入力デバイスであってもよい。いくつかの実施形態では、パブリックキーボードは、他のユーザ（例えば、共通キーボード）によってアクセス可能なキーボードであり得る。特定の入力デバイスがプライベートキーボードであるという判定に応答して、いくつかの実施形態は、メモリから第１のデフォルト表示設定を検索することを含んでもよい。

特定の入力デバイスがパブリックキーボードであるという判定に応答して、いくつかの実施形態は、メモリから第２のデフォルト表示設定を検索することを含んでもよい。いくつかの実施形態では、第２のデフォルト表示設定は、第１のデフォルト表示設定とは異なる。

例えば、第２のデフォルト表示設定は、生産性ソフトウェア、開発ソフトウェア、通信ソフトウェア、ＶＰＮ、または他の協調アプリケーションなどの公共活動に関連付けられた起動アプリケーションの選択を含むことができる。第１のデフォルト表示設定は、ビデオストリーミングサービス、音楽ストリーミングサービス、スマートホームアプリケーション、ビデオゲーム、または他の非協調アプリケーションなど、ユーザの私的な活動に関連付けられた起動アプリケーションの選択を含むことができる。いくつかの実施形態では、選択は相互に排他的である必要はなく、言い換えれば、ウェブブラウザまたは生産性ソフトウェアなどのいくつかのアプリケーションが重複してもよい。いくつかの実施形態では、起動アプリケーションの各選択は、ユーザの公的活動および／または私的活動のために構成されてもよい。別の例では、第２のデフォルト表示設定は、共通キーボード用に調整されてもよい。例えば、公的にアクセス可能なコンピュータ（例えば、公開ライブラリ内）用のキーボードが検出された場合、自動ログアウトカウントダウンタイマーは、第２のデフォルト表示設定の起動アプリケーションの選択の１つであり得る。対照的に、ユーザの個人用ラップトップキーボードが公共空間（例えば、コーヒーショップ）で検出された場合、自動ログアウトカウントダウンタイマーは、第１のデフォルト表示設定の起動アプリケーションの選択に含まれない場合がある。

いくつかの実施形態は、特定の入力デバイスがキーベースのキーボードであるかタッチスクリーンベースのキーボードであるかを判定することを含むことができる。特定の入力デバイスがキーベースのキーボードであるかタッチスクリーンベースのキーボードであるかの判定は、デバイス情報、ビジュアルコードまたは発光体などのペアリングコード、画像データの解析に基づく特定の入力デバイスの視覚的外観、装着型エクステンデッド・リアリティ機器の位置、時刻、曜日、または入力デバイスの利用率のうちの少なくとも１つに基づくことができる。キーベースのキーボードは、入力の主な手段として物理キーを含み利用する入力デバイス、例えば従来のキーボードであり得る。タッチベースのキーボードは、入力の主な手段として仮想キーを含み利用する入力デバイス、例えばオンスクリーンキーボードであってもよい。

特定の入力デバイスがキーベースのキーボードであるという判定に応答して、いくつかの実施形態は、メモリから第１のデフォルト表示設定を検索することを含んでもよい。特定の入力デバイスがタッチスクリーンベースのキーボードであるという判定に応答して、いくつかの実施形態は、メモリから第２のデフォルト表示設定を検索することを含んでもよい。いくつかの実施形態では、第２のデフォルト表示設定は、第１のデフォルト表示設定とは異なる。いくつかの実施形態では、第２のデフォルト表示設定は、タッチスクリーンベースとは異なり得るキーベースのキーボード用に調整され得る。例えば、キーベースのキーボードが検出された場合、提示された仮想コンテンツおよびキーベースのキーボードの視覚的明瞭性を向上させるために、第１のデフォルト設定における輝度および不透明度の設定が低減され得る。対照的に、タッチスクリーンベースのキーボードが検出された場合、第１のデフォルト設定の輝度および不透明度設定を増加させて、タッチスクリーンの輝度をカウントし、提示された仮想コンテンツおよびタッチスクリーンベースのキーボードの視覚的明瞭性を向上させることができる。

いくつかの実施形態は、少なくとも１つの使用パラメータの値および検索されたデフォルト表示設定に基づいて、仮想コンテンツを提示するための表示構成を決定することを含む。表示構成を決定することは、表示設定および少なくとも１つの使用パラメータの値に従って提示仮想コンテンツの配置を決定すること、または少なくとも１つの使用パラメータの値に基づいて特定の入力デバイスに関連付けられたデフォルト表示設定の変更を決定することを含むことができる。したがって、検索されたデフォルト表示設定と少なくとも１つの使用パラメータの値との組み合わせを使用して、表示構成を決定することができる。一例では、入力デバイスからの低バッテリ状態データなどの使用パラメータに関連付けられた表示構成は、デフォルト表示設定のいくつかの変更、例えば、変更された配色、仮想オブジェクトの変更された選択、変更された起動アプリケーション、または入力デバイス上の低バッテリ状態データに関連付けられた他の変更を含むことができる。仮想コンテンツの提示は、前述したように、仮想コンテンツの提示と同様のやり方で実行され得る。

いくつかの実施形態と一致して、表示構成を決定することは、少なくとも１つの使用パラメータの値に基づいて、検索されたデフォルト表示設定を変更することを含むことができる。例えば、使用パラメータの値が、入力デバイスのバッテリが低いことを示す場合、検索されたデフォルト表示設定は、仮想コンテンツの輝度を下げるように変更され得る。別の例では、使用パラメータの値が、入力デバイスが低バッテリを有することを示す場合、デフォルトの表示設定を変更して、入力デバイスに関連付けられたバッテリモニタを起動アプリケーションとして提示することができる。別の例では、使用パラメータの値が、装着型拡張仮想現実機器が明るい照明条件で動作していることを示す場合、検索されたデフォルト表示設定は、仮想コンテンツの不透明度を増加させるように変更され得る。別の例では、使用パラメータの値が座っているユーザの姿勢を示す場合、デフォルトの表示設定を変更して、ユーザの職場に関連付けられた起動アプリケーションを選択することができる。別の例では、使用パラメータの値が歩行ユーザの姿勢を示す場合、検索されたデフォルト表示設定は、仮想コンテンツの不透明度を減少させるように変更され、それによってユーザがどこを歩いているかを見ることを可能にすることができる。

いくつかの実施形態は、少なくとも１つの使用パラメータの値、デフォルト表示設定、および少なくとも１つの環境パラメータに基づいて表示構成を決定することを含むことができる。例えば、使用パラメータの値が明るい光の状態で座っているユーザを示す場合、検索されたデフォルト表示設定は、仮想コンテンツの不透明度を増加させるように変更され得る。別の例では、使用パラメータの値が、入力デバイスのバッテリ残量が少ないことを示し、環境パラメータが、入力デバイスが充電ステーションの近くにないことを示す場合、表示構成は、入力デバイスに関連付けられたバッテリモニタを起動アプリケーションとして提示するように変更されてもよい。

いくつかの実施形態では、少なくとも１つの使用パラメータが、先に論じたように、装着型エクステンデッド・リアリティ機器からの特定の入力デバイスの距離を反映する場合、いくつかの実施形態は、距離がしきい値よりも大きいときに第１の表示構成を決定することを含むことができる。前述したように、装着型エクステンデッド・リアリティ機器の画像データおよびセンサデータの解析を使用して、装着型エクステンデッド・リアリティ機器と特定の入力デバイスとの間の距離を決定することができる。距離が特定の入力デバイスからしきい値距離、例えば１メートルを超えて離れていると判定された場合、仮想コンテンツは、第１の表示構成を使用して提示され得る。一例では、ユーザが職場のキーボードから１メートル以上離れて歩いている場合、提示された仮想コンテンツは、仕事関連の仮想画面が提示されないように再配置されてもよい。いくつかの実施形態は、距離がしきい値未満であるときに第２の表示構成を決定することを含むことができる。距離が特定の入力デバイスからしきい値距離、例えば１メートル未満離れていると判定された場合、第２の表示構成を使用して仮想コンテンツを提示することができる。一例では、ユーザが職場のキーボードから１メートル以内まで歩いた場合、仮想コンテンツは、業務関連の仮想画面が提示されるように再配置されてもよい。いくつかの実施形態では、第２の表示構成は、上述したように第１の表示構成とは異なる。

いくつかの実施形態では、前述したように、少なくとも１つの使用パラメータが装着型エクステンデッド・リアリティ機器のユーザの姿勢を反映する場合、いくつかの実施形態は、第１の姿勢が識別されたときに第１の表示構成を決定することを含むことができる。前述したように、装着型エクステンデッド・リアリティ機器のセンサデータを使用して、装着型エクステンデッド・リアリティ機器を装着しているユーザの１つまたは複数の姿勢を決定することができる。第１の姿勢、例えば座っていることが識別されると、第１の表示構成を使用して仮想コンテンツを提示することができる。一例では、ユーザが職場に座っていると識別された場合、業務関連の仮想画面およびアプリケーションが提示されるように仮想コンテンツを配置することができる。

いくつかの実施形態は、第２の姿勢が識別されたときに第２の表示構成を決定することを含む。第２の姿勢が識別されると、第２の表示構成に従って仮想コンテンツを提示することができる。一例では、（例えば、会話において）ユーザが会話していると識別された場合、仮想コンテンツは、業務関連の仮想画面およびアプリケーションが提示されないように再配置されてもよい。いくつかの実施形態では、前述したように、第２の表示構成は第１の表示構成とは異なる。

いくつかの実施形態では、先に論じたように、少なくとも１つの使用パラメータが、特定の入力デバイスが配置される表面のタイプを反映する場合、いくつかの実施形態は、表面の第１のタイプが識別されたときに第１の表示構成を決定することを含んでもよい。第１のタイプの表面が識別されると、決定された第１の表示構成を使用して仮想コンテンツを提示することができる。一例では、ユーザはキーボードをベッド上に置き、仮想コンテンツは、娯楽関連の仮想画面およびアプリケーションが提示されるように配置されてもよい。

いくつかの実施形態は、表面の第２のタイプが識別されたときに第２の表示構成を決定することを含んでもよい。第２のタイプの表面が識別されると、決定された第２の表示構成を使用して仮想コンテンツを提示することができる。一例では、ユーザが自分のキーボードを机の上に置く場合、仮想コンテンツは、生産性関連の仮想画面およびアプリケーションが提示されるように配置されてもよい。いくつかの実施形態では、前述したように、第２の表示構成は第１の表示構成とは異なる。

いくつかの実施形態では、上述したように、少なくとも１つの使用パラメータが特定の入力デバイスに関連付けられたバッテリ充電データを反映する場合、いくつかの実施形態は、特定の入力デバイスがバッテリで動作するときに第１の表示構成を決定することを含むことができる。バッテリ充電データが、特定の入力デバイスが放電状態にあることを示す場合（例えば、バッテリ電源で動作している、または外部電源に接続されていない）、決定された第１の表示構成を使用して仮想コンテンツを提示することができる。一例では、装着型エクステンデッド・リアリティ機器がバッテリ電源で動作するタブレットとペアリングされている場合、仮想コンテンツは、タブレットに関連するバッテリ監視情報が仮想コンテンツの提示に含まれるように配置されてもよい。

いくつかの実施形態は、特定の入力デバイスが外部電源に接続されているときに第２の表示構成を決定することを含んでもよい。バッテリ充電データが、特定の入力デバイスが充電状態または充電状態にあることを示す場合（例えば、バッテリ電源で動作していない、または外部電源に接続されていない）、決定された第２の表示構成を使用して仮想コンテンツを提示することができる。一例では、装着型エクステンデッド・リアリティ機器が壁コンセントに接続されたタブレットとペアリングされている場合、タブレットに関連するバッテリ監視情報が仮想コンテンツの提示に含まれないように仮想コンテンツを配置することができる。いくつかの実施形態では、第２の表示構成は、第１の表示構成と異なっていてもよい。

いくつかの実施形態は、決定された表示構成に従って、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの提示を生じさせることを含む。

仮想コンテンツの提示は、表示構成の決定によって引き起こされ得る。決定された表示構成による仮想コンテンツの提示は、前述したように、仮想コンテンツを提示するのと同様のやり方で実行することができる。表示構成の決定は、様々な方法で仮想コンテンツの提示を変更することができる。

例えば、表示構成は、装着型エクステンデッド・リアリティ機器を装着したユーザが会話している間、画面の中央にコンテンツが表示されないように仮想コンテンツを配置することができる。さらに、環境センサは、仮想コンテンツの視覚的忠実度を向上させるために、照明条件を検出し、表示構成を変更して、特定の入力デバイスに関連付けられた表示設定に含まれるデフォルト仮想コンテンツの輝度および／または不透明度を調整することができる。

別の例では、表示構成は、ユーザが装着型エクステンデッド・リアリティ機器を装着して歩いている間に情報地図コンテンツ（例えば、関心地点、企業情報、顧客レビュー、通勤情報）が画面の中央に表示されるように仮想コンテンツを修正することができる。ユーザが歩いているという指示は使用パラメータであり、情報マップを含めることは、特定の入力デバイスに関連付けられたデフォルト表示設定の変更である。さらに、環境センサは、照明条件を検出し、仮想コンテンツの視覚的忠実度を向上させるために仮想コンテンツの輝度および／または不透明度を調整するように表示構成を変更することができる。

図７０は、装着型エクステンデッド・リアリティ機器のユーザに提示される表示構成の典型的な図である。図７０に示すように、ＸＲユニット２０４は、少なくとも１つの使用パラメータ（例えば、ランプ７０２０から放射される光の量に関連付けられた）の値および検索されたデフォルト表示設定（例えば、特定の入力デバイス入力デバイス６９１２Ｂに関連付けられている）に基づいて、表示構成７０００を決定し、仮想コンテンツ７０１０を提示することができる。この例では、ホームキーボードを持ってホームデスクに座っているユーザは、仮想コンテンツ７０１０がアプリケーション７０１４の周りのウィジェット７０１２Ａ～７０１２Ｊの配置を含む表示構成を提示されることができる。ウィジェット７０１２Ａ～７０１２Ｊは、設定ウィジェット７０１２Ａ、健康アプリケーション７０１２Ｂ、メールクライアント７０１２Ｃ、システムモニタ７０１２Ｄ、天候アプリケーション７０１２Ｅ、写真ビューア７０１２Ｆ、在庫追跡装置７０１２Ｇ、時間ユーティリティ７０１２Ｈ、メッセージングクライアント７０１２Ｉ、およびニュースアプリケーション７０１２Ｊを含む。

図７１は、装着型エクステンデッド・リアリティ機器のユーザに提示される表示構成の典型的な図である。図７１に示すように、ＸＲユニット２０４は、少なくとも１つの使用パラメータ（例えば、ランプ７１２０から放射される光の量に関連付けられた）の値および検索されたデフォルト表示設定（例えば、特定の入力デバイス入力デバイス６９１２Ａに関連付けられている）に基づいて、表示構成７１００を決定し、仮想コンテンツ７１１０を提示することができる。この例では、自分の職場のデスクに自分の職場のキーボードを持って座っているユーザは、仮想コンテンツ７１１０がアプリケーション７１１４の周りのウィジェット７１１２Ａ～７１１２Ｄの配置を含む表示構成を提示されることができる。ウィジェット７１１２Ａ～７１１２Ｄは、設定ウィジェット７１１２Ａ、メールクライアント７１１２Ｂ、メッセージングクライアント７１１２Ｃ、および天候ユーティリティ７１１２Ｄを含む。

いくつかの実施形態は、特定の入力デバイスを装着型エクステンデッド・リアリティ機器とペアリングすることを含むことができる。特定の入力デバイスは、キーボード、マウス、スタイラス、コントローラ、タッチスクリーン、または人間とコンピュータとの対話を容易にする他のデバイスのうちの少なくとも１つを含むことができる。ペアリングは、前述したように、複数のデバイスをペアリングするのと同様のやり方で実行することができる。

いくつかの実施形態は、複数の入力デバイスを異なるデフォルト表示設定に関連付ける記憶された情報にアクセスすることを含むことができる。複数の入力デバイスを異なるデフォルト表示設定に関連付ける記憶された情報は、ネットワークを介したダウンロードを介してリモートサーバからアクセスされてもよい。いくつかの実施形態では、記憶された情報は、装着型エクステンデッド・リアリティ機器と入力デバイスとの間のＮＦＣまたはブルートゥース接続などの直接無線接続を介して入力デバイスのメモリからアクセスされてもよい。さらに別の例では、記憶された情報は、装着型エクステンデッド・リアリティ機器と入力デバイスとの間のＵＳＢまたはＬＡＮ接続などの有線接続を介して入力デバイスのメモリからアクセスされてもよい。いくつかの実施形態では、記憶された情報は、装着型エクステンデッド・リアリティ機器に関連付けられたメモリからアクセスすることができる。

いくつかの実施形態は、アクセスされた記憶された情報およびペアリングされた特定の入力デバイスに関連付けられたデフォルト表示設定から検索することを含むことができる。ペアリングされた特定の入力デバイスに関連付けられたデフォルトの表示設定は、ネットワークを介したダウンロードを介して、リモートサーバ上のアクセスされた記憶情報から検索されてもよい。いくつかの実施形態では、ペアリングされた特定の入力デバイスに関連付けられたデフォルトの表示設定は、装着型エクステンデッド・リアリティ機器と入力デバイスとの間のＮＦＣまたはブルートゥース接続などの直接無線接続を介して、入力デバイスのメモリ上の記憶された情報から検索されてもよい。さらに別の例では、ペアリングされた特定の入力デバイスに関連付けられたデフォルトの表示設定は、装着型エクステンデッド・リアリティ機器と入力デバイスとの間のＵＳＢまたはＬＡＮ接続などの有線接続を介して、入力デバイスのメモリ上の記憶された情報から検索されてもよい。いくつかの実施形態では、ペアリングされた特定の入力デバイスに関連付けられたデフォルトの表示設定は、装着型エクステンデッド・リアリティ機器に関連付けられたメモリ上の記憶された情報から検索されてもよい。

いくつかの実施形態では、装着型エクステンデッド・リアリティ機器への特定の入力デバイスのペアリングは、画像データに描写された視覚コードの検出に基づく。いくつかの実施形態では、確認コードは視覚コードであってもよい。視覚的コードは、バーコード、ＱＲコード、英数字アクセスコード、または任意の他の固有の視覚的インジケータのうちの少なくとも１つを含むことができる。一例では、視覚コードは、画像データの画像解析を使用して検出または識別することができる。検出すると、視覚コードは、装着型エクステンデッド・リアリティ機器に１つまたは複数の命令を実行させて、特定の入力デバイスを装着型エクステンデッド・リアリティ機器にペアリングさせることができる。いくつかの実施形態では、視覚コードは、特定の入力デバイスの近傍にあってもよい。例えば、視覚コードは、特定の入力デバイスから所定の距離内にあってもよい。所定の距離は、１ｍｍ～２ｍの距離の範囲であってもよい。いくつかの実施形態では、視覚コードは、特定の入力デバイスに配置されてもよい。特定の入力デバイスの装着型エクステンデッド・リアリティ機器へのペアリングは、前述した複数の入力デバイスの装着型エクステンデッド・リアリティ機器へのペアリングと同様であり得る。一例では、装着型エクステンデッド・リアリティ機器は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信、またはセルラーネットワークなどの無線ネットワークを介して特定の入力デバイスとペアリングされてもよい。一例では、装着型エクステンデッド・リアリティ機器は、ＬＡＮまたはＵＳＢ接続などの有線ネットワークを介して特定の入力デバイスとペアリングされてもよい。

いくつかの実施形態では、特定の入力デバイスと装着型エクステンデッド・リアリティ機器とのペアリングは、特定の入力デバイスに含まれる発光体によって発せられ、装着型エクステンデッド・リアリティ機器に含まれるセンサによって取り込まれた光の検出に基づく。発光体は、ＬＥＤ、ＩＲ発光体、ＵＶ発光体、単色発光体、白熱電球、蛍光灯、ネオン光管、または他の人工発光体のうちの少なくとも１つを含むことができる。発光体の検出は、発光体を含む画像データの画像解析を含んでもよい。検出されると、装着型エクステンデッド・リアリティ機器は、１つまたは複数の命令を実行して、特定の入力デバイスの装着型エクステンデッド・リアリティ機器へのペアリングを可能にすることができる。いくつかの実施形態では、発光体は、特定の入力デバイスの近傍にあってもよい。例えば、発光体は、特定の入力デバイスから所定の距離内にあってもよい。所定の距離は、１ｍｍ～２ｍの距離の範囲であってもよい。いくつかの実施形態では、発光体は特定の入力デバイス上に配置されてもよい。特定の入力デバイスの装着型エクステンデッド・リアリティ機器へのペアリングは、特定の入力デバイスの装着型エクステンデッド・リアリティ機器へのペアリングのそれと同様であってもよく、これは、前述した画像データに描写された視覚コードの検出に基づく。

図７２は、図２に示すようなシステム２００の処理デバイスによって実行される仮想コンテンツを提示するための表示構成を決定するための例示的な方法７２００のフローチャートを提供する。システム２００の処理デバイスは、モバイル通信デバイス内のプロセッサ（例えば、モバイル通信デバイス２０６）、サーバ内のプロセッサ（例えば、サーバ２１０）、装着型エクステンデッド・リアリティ機器内のプロセッサ、または装着型エクステンデッド・リアリティ機器に関連付けられた入力デバイス内のプロセッサ（例えば、キーボード１０４）を含むことができる。様々な実施態様が可能であり、構成要素またはデバイスの任意の組み合わせを利用して例示的な方法を実施することができることは容易に理解されよう。図示した方法は、ステップの順序を変更し、ステップを削除し、または任意選択の実施形態に向けられたステップなどの追加のステップをさらに含むように変更することができることも容易に理解されよう。ステップ７２１２において、方法７２００は、装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップを含むことができる。ステップ７２１４において、方法２６－２－００は、表面上に配置された特定の入力デバイスを検出するために画像データを解析するステップを含むことができる。ステップ７２１６において、方法２６－２－００は、特定の入力デバイスの少なくとも１つの使用パラメータの値を決定するステップを含むことができる。ステップ７２１８において、方法７２００は、特定の入力デバイスに関連付けられたデフォルト表示設定をメモリから検索するステップを含むことができる。ステップ７２２０において、方法７２００は、少なくとも１つの使用パラメータの値および検索されたデフォルト表示設定に基づいて、仮想コンテンツを提示するための表示構成を決定することを含むことができる。ステップ７２２２において、方法７２００は、決定された表示構成に従って、装着型エクステンデッド・リアリティ機器を介して仮想コンテンツの提示を生じさせるステップを含むことができる。

いくつかの開示された実施形態は、エクステンデッド・リアリティ・ディスプレイで物理ディスプレイを拡張することを含んでもよい。物理ディスプレイは、電気信号を視覚画像に変換することができる任意のデバイスを含むことができる。例えば、物理ディスプレイは、情報端末ディスプレイ内の画面、デスクトップコンピュータディスプレイ、ラップトップコンピュータディスプレイ、携帯電話ディスプレイ、スマートフォンディスプレイ、タブレットパーソナルコンピュータディスプレイ、情報キオスクディスプレイ、ＡＴＭディスプレイ、車両ディスプレイ、医療デバイスディスプレイ、金融取引システムのディスプレイ、モバイルゲームコンソールのディスプレイ、プロジェクタ、テレビ、ウルトラモバイルパーソナルコンピュータのディスプレイ、装着型ディスプレイ、および視覚情報が提示される任意の他の物理的表面を含むことができる。

いくつかの実施形態では、物理ディスプレイは、例えば、液晶ディスプレイ、プラズマ技術、陰極線管、発光ダイオード、ホログラフィックディスプレイ、または情報を絵またはテキスト形式で表示する任意の他のタイプの出力デバイスを使用するモニタを含むことができる。例として、図７３に示すように、物理ディスプレイ７３１０は、コンピュータモニタの形態であってもよい。別の例では、図７４に示すように、物理ディスプレイ７４１０がスマートウォッチに含まれていてもよい。

いくつかの実施形態では、物理ディスプレイは、ハンドヘルド通信デバイスの一部であってもよい。図２に示すモバイル通信デバイス２０６などのハンドヘルド通信デバイスは、手で保持して動作するのに十分に小さいコンピュータであってもよい。典型的には、ハンドヘルド通信デバイスは、ＬＣＤもしくはＯＬＥＤフラットスクリーンインターフェース、またはタッチスクリーンインターフェースを提供する任意の他のディスプレイを含むことができる。ハンドヘルド通信デバイスはまた、デジタルボタン、デジタルキーボード、および／または物理キーボードと共に物理ボタンを含んでもよい。そのようなデバイスは、インターネットに接続し、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、セルラーネットワークまたは近距離通信（ＮＦＣ）を介して車の娯楽システムまたはヘッドセットなどの他のデバイスと相互接続することができる。ハンドヘルド通信デバイスは、（ｉ）タブレットコンピュータ、ネットブック、デジタルメディアプレーヤ、企業デジタルアシスタント、グラフ計算機、ハンドヘルドゲームコンソール、ハンドヘルドＰＣ、ラップトップ、モバイルインターネットデバイス（ＭＩＤ）、パーソナルデジタルアシスタント（ＰＤＡ）、ポケット計算機、ポータブルメディアプレーヤ、およびウルトラモバイルＰＣなどのモバイルコンピュータ、（ｉｉ）カメラフォン、フィーチャフォン、スマートフォン、およびファブレットなどの携帯電話、（ｉｉｉ）デジタルカムコーダ、デジタルスチルカメラ（ＤＳＣ）、デジタルビデオカメラ（ＤＶＣ）、前向きカメラなどのデジタルカメラ、（ｉｖ）ページャ、（ｖ）パーソナルナビゲーションデバイス（ＰＮＤ）、（ｖｉ）電卓時計、スマートウォッチ、ヘッドマウントディスプレイなどの装着型コンピュータ、ならびに（ｖｉｉ）スマートカードを含むことができる。

いくつかの実施形態では、物理ディスプレイは、固定機器の一部であってもよい。固定機器は、通常、動作中に動かないデバイスであってもよい。固定機器は、デスクトップパソコン、テレビ、冷蔵庫、オーブン、洗濯機、乾燥機、食器洗い機、キオスク、現金自動預け払い機（ＡＴＭ）、チェックアウトレジスタ、投票機、賭け機、およびガソリンポンプを含むことができる。

いくつかの実施形態では、物理ディスプレイは、物理ディスプレイ上に提示されるテキストを生成するように構成された入力デバイスの一部であってもよい。入力デバイスは、上述したように、ユーザまたはユーザの環境から入力を受信し、データを計算デバイスに提供するように構成された物理デバイスを含むことができる。テキストを生成するように構成された入力デバイスでは、データはテキストデータを含むことができる。テキストを生成するように構成された入力デバイスのいくつかの非限定的な例は、物理キーボード、仮想キーボード、ユーザに仮想キーボードを提供するように構成されたタッチスクリーン、音声認識アルゴリズムを使用してマイクロフォンを使用して取り込まれた音声からテキストを生成するように構成されたコンピューティングデバイスと一体化されたマイクロフォンなどを含んでもよい。いくつかの例では、入力デバイスは、例えば単一のハウジング内のコンピューティングデバイスまたは物理ディスプレイなどの他の電気的構成要素と一体化されてもよい。いくつかの実施形態では、物理ディスプレイは、仮想空間に仮想的に提示されるテキストを生成するように構成された入力デバイスの一部であってもよい。

例として、図７３に示すように、仮想空間７３２０は、物理ディスプレイ７３１０を少なくとも部分的に取り囲むことができる視覚的表示領域を提供することができる。別の例では、図７４に示すように、仮想空間７４２０は、物理ディスプレイ７４１０を少なくとも部分的に取り囲むことができる視覚的表示領域を提供することができる。

例えば、エクステンデッド・リアリティ・ディスプレイで拡張することは、物理ディスプレイの仮想空間を超える仮想空間上の追加の視覚的領域を提供することを含むことができる。いくつかの実施形態では、これは、例えば、物理ディスプレイ上に提供されるテキスト、画像、または他の情報に加えて、エクステンデッド・リアリティ空間（例えば、エクステンデッド・リアリティ機器によって生成された、またはエクステンデッド・リアリティ機器を使用して見ることができるディスプレイ）でテキスト、画像、または他の情報を仮想的に提示することを含んでもよい。いくつかの実施形態では、これは、例えば、物理ディスプレイから物理ディスプレイの外側の仮想空間内の仮想提示へのテキスト、画像、または他の情報を動かすことを含んでもよい。

いくつかの開示された実施形態は、物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信することを含む動作を実行することを含むことができる。いくつかの実施形態では、第１の信号は、デジタル信号またはアナログ信号であってもよい。デジタル信号は、情報を伝達する一連の伝送可能なデジタルを指すことができる。一例では、第１の信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、グラフィックデータ、幾何学的データ、または第１のオブジェクトに関連付けられた知覚可能な情報を提供する任意の他の形態のデータを表すことができる。別の例では、第１の信号は、第１のオブジェクトが物理ディスプレイ上に完全に提示されているという指示を含むことができる。いくつかの例では、第１の信号を受信することは、メモリから第１の信号を読み取ること、外部デバイスから第１の信号を受信すること、物理ディスプレイ上の提示の少なくとも一部を制御するソフトウェアまたはハードウェア構成要素から第１の信号を受信すること、または仮想空間を含むエクステンデッド・リアリティ環境を制御するソフトウェアまたはハードウェア構成要素から第１の信号を受信することのうちの少なくとも１つを含むことができる。

いくつかの実施形態では、第１の信号は、物理ディスプレイを制御するオペレーティングシステムから受信されてもよい。第１の信号は、例えば、無線または有線で送信される任意の電磁通信を介して、メモリユニットを介して、通信バスを介してなど受信することができる。オペレーティングシステムは、例えば、コンピュータハードウェア、ソフトウェアリソースを管理する、またはコンピュータプログラムに任意の他の共通サービスを提供するシステムソフトウェアを含むことができる。オペレーティングシステムは、物理ディスプレイの異なる態様を直接的または間接的に制御することができる。例えば、オペレーティングシステムは、物理ディスプレイのフレームレート、物理ディスプレイの表示解像度、物理ディスプレイの配色、物理ディスプレイの表示輝度、物理ディスプレイの表示コントラスト、または物理ディスプレイの任意の他の制御パラメータのうちの少なくとも１つを制御することができる。別の例では、オペレーティングシステムは、例えばコンテンツをレンダリングすることによって、コンテンツを提供すること（例えば、ビデオカードを介して、共有メモリを介して、通信ケーブルを介してなど）などによって、物理ディスプレイによって表示されるコンテンツを制御することができる。

いくつかの実施形態では、第１の信号は、装着型エクステンデッド・リアリティ機器に関連付けられたポインティングデバイスから受信されてもよい。ポインティングデバイスは、２次元または３次元の情報を入力するためのすべての可能なタイプのデバイスおよび機構を含むことができる。ポインティング入力デバイスの例は、コンピュータマウス、トラックボール、タッチパッド、トラックパッド、ジョイスティック、ポインティングスティック、スタイラス、ライトペン、または任意の他の物理的または仮想的入力機構を含むことができる。例えば、コンピュータマウスのクリックおよびドラッグは、ＶＲヘッドセット内で見えるアイコンを動かすことができる第１の信号を生成することができる。

いくつかの開示された実施形態は、物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信することを含むことができる。一例では、第１のオブジェクトは、仮想コンテンツの入射であってもよい。いくつかの例では、第１のオブジェクトは、ウィンドウ、入力制御要素、ナビゲーション構成要素、情報構成要素、アイコン、ウィジェットなどのユーザインターフェースの要素であり得るか、それらを含んでもよい。いくつかの例では、第１のオブジェクトは、テキスト、画像、ビデオ、またはグラフィック要素（例えば、２次元グラフィック要素、３次元グラフィック要素の２次元投影など）のうちの少なくとも１つであるか、それらを含んでもよい。

オブジェクトは、例えば、物理ディスプレイの視覚的境界内のオブジェクトの可視表現全体を提供することによって、物理ディスプレイ上に完全に提示され得る。例えば、完全に提示されたコンピュータモニタ上の正方形の表現は、コンピュータモニタ上に正方形の四辺すべておよび四隅すべてを表示するコンピュータモニタをもたらすことができる。

いくつかの実施形態では、第１のオブジェクトは、ウィジェットまたはアプリケーションのアイコンのうちの少なくとも１つを含むことができる。ソフトウェアウィジェットは、タスク指向のアプリケーションまたは構成要素であり得る。デスクアクセサリまたはアプレットは、スプレッドシートまたはワードプロセッサなどのより複雑なアプリケーションとは対照的に、単純なスタンドアロンウィジェットの一例であり得る。これらのウィジェットは、必ずしもユーザの注意を独占しない過渡的なアプリケーションおよび補助的なアプリケーションの典型的な例である。さらに、グラフィカル制御要素「ウィジェット」は、より複雑なアプリケーションを構築するために一緒に使用される再利用可能なモジュール式構成要素の例であり、プログラマが単純でより小さい構成要素を組み合わせることによってユーザインターフェースを構築することを可能にする。アイコンは、ユーザがコンピュータシステムをナビゲートするのを助けるためにディスプレイ上に表示されるピクトグラムまたは表意文字であってもよい。アイコン自体は、システム上でアクセス可能なソフトウェアツール、機能、またはデータファイルの迅速に理解可能な記号であってもよく、それが表す実際のエンティティの詳細な図よりも交通標識のようであってもよい。アイコンは、プログラムまたはデータにアクセスするための電子ハイパーリンクまたはファイルショートカットとして機能することができる。

例として、図７３に示すように、第１のオブジェクト７３３０、７３４０は、それぞれウィジェット７３３０またはアイコン７３４０の形態であってもよい。図７３に見られるように、第１のオブジェクト７３３０、７３４０、例えばウィジェットまたはアイコンの形態の仮想オブジェクトは、物理ディスプレイ７３１０の境界内で完全に視認可能であってもよい。別の例では、図７４に示すように、第１のオブジェクト７４３０、７４４０はウィジェットまたはアイコン７４４０の形態であってもよい。図７４に見られるように、例えばウィジェット７４３０またはアイコン７４４０の形態の第１のオブジェクト７４３０、７４４０は、物理ディスプレイ７４１０の境界内で完全に視認可能であり得る。

いくつかの開示された実施形態は、物理ディスプレイ上に提示された第１の部分と、物理ディスプレイの境界を越えて延在する第２の部分とを有する第２のオブジェクトを表す第２の信号を受信することを含む動作を実行することを含むことができる。第２の信号は、第１の信号と同様に、デジタル信号またはアナログ信号であってもよい。一例では、第２の信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、グラフィックデータ、幾何学的データ、または第２のオブジェクトに関連付けられた知覚可能な情報を提供する任意の他の形態のデータを表すことができる。別の例では、第２の信号は、第２のオブジェクトが物理ディスプレイ上に提示される第１の部分と、物理ディスプレイの境界を越えて延在する第２の部分とを有するという指示を含むことができる。さらに別の例では、第２の信号は、第２のオブジェクトの第１の部分および／または第２の部分に関連付けられた情報を含むことができる。いくつかの例では、第２の信号を受信することは、メモリから第２の信号を読み取ること、外部デバイスから第２の信号を受信すること、物理ディスプレイ上の提示の少なくとも一部を制御するソフトウェアまたはハードウェア構成要素から第２の信号を受信すること、または仮想空間を含むエクステンデッド・リアリティ環境を制御するソフトウェアまたはハードウェア構成要素から第２の信号を受信することのうちの少なくとも１つを含むことができる。いくつかの実施形態では、第２のオブジェクトは、第１のオブジェクトと同様に、仮想コンテンツの入射であってもよい。いくつかの例では、第２のオブジェクトは、ウィンドウ、入力制御要素、ナビゲーション構成要素、情報構成要素、アイコン、ウィジェットなどのユーザインターフェースの要素であり得るか、それらを含んでもよい。いくつかの例では、第２のオブジェクトは、テキスト、画像、ビデオ、またはグラフィック要素（例えば、２次元グラフィック要素、３次元グラフィック要素の２次元投影など）のうちの少なくとも１つであるか、それらを含んでもよい。いくつかの実施形態では、第２の信号は、例えば、第１の信号に関して上述したのと同様のやり方で、物理ディスプレイを制御するオペレーティングシステムから受信することができる。他の実施形態では、第２の信号は、例えば、第１の信号に関連して上述したものと同様のやり方で、装着型エクステンデッド・リアリティ機器に関連付けられたポインティングデバイスから受信されてもよい。

オブジェクトの第１の部分は、例えば、オブジェクトのグラフィカル表現または視覚的表現全体の小数部分を含むことができる。この小数部分は、１００％未満および０％を超える第２のオブジェクトの任意の割合に対応し得る。例えば、十字の表現は、例えば物理ディスプレイの視覚的境界内にＴ字形を有する全体の下位小数部分を含むことができる。オブジェクトの第２の部分は、（例えば、第１の部分または第１の部分の少なくとも一部が差し引かれると）例えば、オブジェクトのグラフィカル表現または視覚的表現全体の残りの部分を含むことができる。この小数部分は、１００％未満および０％を超える第２のオブジェクトの任意の割合に対応し得る。例えば、十字形の表現は、Ｔ字形を有する全体の下部小数部分と、逆Ｔ字形を有する残りの上部小数部分とを含むことができる。この例では、下部Ｔ字型部分および上部逆Ｔ字型部分は、十字形全体の全体を表すことができる。

例として、図７３に示すように、第２のオブジェクト７３５０はウィジェットの形態であってもよい。図７３に見られるように、第２のオブジェクト７３５０は、物理ディスプレイ７３１０内で見ることができる第１の部分７３５２と、物理ディスプレイ７３１０の境界を越えて延在する第２の部分７３５４とを含んでもよい。他の例では、図７４に示すように、第２のオブジェクト７４５０は、アイコン７４５０の形態であってもよい。図７４に見られるように、例えばアイコン７４５０の形態の第２のオブジェクト７４５０は、物理ディスプレイ７４１０内で見ることができる第１の部分７４５２と、物理ディスプレイ７４１０の境界を越えて延在する第２の部分７４５４とを含んでもよい。

いくつかの実施形態では、オブジェクトの第１の部分のみが物理ディスプレイ上に提示されてもよい。第２のオブジェクトが十字架の表現であり得る上記の例では、十字架の一部のみが物理ディスプレイ上に見える場合がある。この例では、十字形の第２のオブジェクトは、第１の部分（例えば、Ｔ字形の小数部分）のみが物理ディスプレイ上に見えるように、物理ディスプレイの上部に向かって配置されてもよい。この配置の結果として、第２の部分は、物理ディスプレイの境界を越えて延在することができる。第２のオブジェクトが十字架の表現であり得る上記の例では、十字架の残りの部分は物理ディスプレイ上で見えない場合がある。この例では、十字形の第２のオブジェクトは、第２の部分（例えば、逆Ｔ字形部分）のみが物理ディスプレイ上に見えないように、物理ディスプレイの上部に向かって配置されてもよい。いくつかの例では、オブジェクトの第１の部分のみが物理ディスプレイ上に提示されるとき、オブジェクトの第２の部分は、不可視であってもよく、まったく提示されなくてもよく、１つまたは複数の装着型エクステンデッド・リアリティ機器を介して仮想空間に提示されてもよく（したがって、１つまたは複数の装着型エクステンデッド・リアリティ機器のユーザには可視であってもよく、他の人には不可視であってもよい）、他の方法で表示されてもよいなどである。

いくつかの実施形態では、第２のオブジェクトは、例えば、第１のオブジェクトに関連して上述したように、ウィジェットまたはアプリケーションのアイコンのうちの少なくとも１つを含むことができる。例として、図７３に示すように、第２のオブジェクト７３５０はウィジェットの形態であってもよい。図７３に見られるように、第２のオブジェクト７３５０は、物理ディスプレイ７３１０内で見ることができる第１の部分７３５２と、物理ディスプレイ７３１０の境界を越えて延在する第２の部分７３５４とを含んでもよい。他の例では、図７４に示すように、第２のオブジェクト７４５０は、アイコン７４５０の形態であってもよい。図７４に見られるように、第２のオブジェクト７４５０は、物理ディスプレイ７４１０内で見ることができる第１の部分７４５２と、物理ディスプレイ７４１０の境界を越えて延在する第２の部分７４５４とを含んでもよい。上述したように、第２の部分７３５４および／または第２の部分７４５４は、まったく表示されなくてもよく、１つまたは複数の装着型エクステンデッド・リアリティ機器を介して仮想空間に提示されてもよく（したがって、１つまたは複数の装着型エクステンデッド・リアリティ機器のユーザに見える可能性があり、他の人には見えない可能性がある）、または他の方法で表示されてもよい。

いくつかの実施形態では、第２のオブジェクトは、第１のオブジェクトと部分的に重なってもよい。本開示で使用される「部分的に重なる」という用語は、同じ位置を仮想的に占める各オブジェクトの少なくとも一部を含むことができる。位置のこの共同占有は、これらのオブジェクトの一方または両方の部分を不明瞭にする可能性がある。例として、図７３に示すように、第２のオブジェクト７３５０は、物理ディスプレイ７３１０上の第１のオブジェクト７３３０と部分的に重なってもよい。

いくつかの開示された実施形態は、最初に物理ディスプレイ上に提示され、その後に物理ディスプレイの境界を越えて全体的に動いた第３のオブジェクトを表す第３の信号を受信することを含む動作を実行することを含むことができる。第３の信号は、第１および第２の信号と同様に、デジタル信号またはアナログ信号であってもよい。一例では、第３の信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、グラフィックデータ、幾何学的データ、または第３のオブジェクトに関連付けられた知覚可能な情報を提供する任意の他の形態のデータを表すことができる。別の例では、第３の信号は、第３のオブジェクトが最初に物理ディスプレイ上に提示され、その後に、物理ディスプレイの境界を越えて全体的に動くという指示を含むことができる。いくつかの例では、第３の信号を受信することは、メモリから第３の信号を読み取ること、外部デバイスから第３の信号を受信すること、物理ディスプレイ上の提示の少なくとも一部を制御するソフトウェアまたはハードウェア構成要素から第３の信号を受信すること、または仮想空間を含むエクステンデッド・リアリティ環境を制御するソフトウェアまたはハードウェア構成要素から第３の信号を受信することのうちの少なくとも１つを含むことができる。いくつかの実施形態では、第３のオブジェクトは、第１および第２のオブジェクトと同様に、仮想コンテンツの入射であってもよい。いくつかの例では、第３のオブジェクトは、ウィンドウ、入力制御要素、ナビゲーション構成要素、情報構成要素、アイコン、ウィジェットなどのユーザインターフェースの要素であり得るか、それらを含んでもよい。いくつかの例では、第３のオブジェクトは、テキスト、画像、ビデオ、またはグラフィック要素（例えば、２次元グラフィック要素、３次元グラフィック要素の２次元投影など）のうちの少なくとも１つであり得るか、それらを含んでもよい。いくつかの実施形態では、第３の信号は、例えば、第１の信号に関して上述したのと同様のやり方で、物理ディスプレイを制御するオペレーティングシステムから受信することができる。いくつかの実施形態では、第３の信号は、例えば、第１の信号に関して上述したものと同様のやり方で、装着型エクステンデッド・リアリティ機器に関連付けられたポインティングデバイスから受信されてもよい。

いくつかの実施形態では、第３のオブジェクトは、最初に物理ディスプレイ上に提示されてもよい。この最初の提示は、第３のオブジェクトの部分的な提示または全体的な提示を示すことができる。例えば、第３のオブジェクトがインターネットブラウザウィンドウである場合、インターネットブラウザウィンドウは、最初に（ｉ）物理ディスプレイ上に完全に見えるか、または（ｉｉ）物理ディスプレイの境界を越えて延在する可能性があるブラウザウィンドウの部分のために物理ディスプレイ上に部分的に見えるかのいずれかであり得る。一例では、第３のオブジェクトは、最初に物理ディスプレイ上に全体的に提示され、その後に、物理ディスプレイの境界を越えて全体的に動いてもよい。別の例では、第３のオブジェクトは、最初に物理ディスプレイ上に提示された１つの部分と、物理ディスプレイの境界を越えて延在する別の部分とを有することができ、その後に、物理ディスプレイの境界を越えて全体的に動くことができる。

いくつかの実施形態では、第３のオブジェクトは、その後に、物理ディスプレイの境界を越えて全体的に動いてもよい。第３のオブジェクトを物理ディスプレイの境界を全体的に越えて動かすことは、ユーザ入力（例えば、第３のオブジェクトを押したり引いたりするハンドジェスチャ、第３のオブジェクトをドラッグするカーソル、音声コマンドなど）、通信信号の受信、環境内のイベントの検出、または任意の他のタイプのトリガによってトリガされ得る。この後続の動きは、物理ディスプレイ上の第３のオブジェクトの部分的な提示または全体的な提示から物理ディスプレイ上の第３のオブジェクトの不在への並進を含むことができる。第３のオブジェクトがインターネットブラウザウィンドウであり得る上記の例では、インターネットブラウザウィンドウは、物理ディスプレイ上に完全に可視であるか、または物理ディスプレイ上に部分的に可視であるかのいずれかから、物理ディスプレイの境界を完全に超えて動くインターネットブラウザに起因して、物理ディスプレイ上に可視であるインターネットブラウザウィンドウの一部に動き得る。

いくつかの実施形態では、第３のオブジェクトは、例えば、第１のオブジェクトに関連して上述したように、ウィジェットまたはアプリケーションのアイコンのうちの少なくとも１つを含むことができる。例として、図７３に示すように、第３のオブジェクト７３６０はウィジェットの形態であってもよい。図７３に見られるように、第３のオブジェクト７３６０は、最初は第１のオブジェクト７３３０、７３４０の位置にあってもよく、または、第２のオブジェクト７３５０は、物理ディスプレイ７３１０の境界を越えた位置に再配置されている。別の例では、図７４に示すように、例えば、最初は第１のオブジェクト７４３０、７４４０の位置にあった可能性があるアイコン７４６０の形態の第３のオブジェクト７４６０、または第２のオブジェクト７４５０は、物理ディスプレイ７４１０の境界を越えた位置に移動した。

いくつかの実施形態では、第２のオブジェクトは、第３のオブジェクトと部分的に重なってもよい。例として、図７３に示すように、第２のオブジェクト７３５０は、物理ディスプレイ７４１０上のアイコン７４６０に部分的に重なってもよい。

いくつかの実施形態では、第１のオブジェクト、第２のオブジェクト、および第３のオブジェクトは、物理ディスプレイ上および仮想空間内に同時に提示されてもよい。例として、図７３に示すように、第１のオブジェクト７３３０、７３４０、第２のオブジェクト７３５０は、物理ディスプレイ７４１０上のアイコン７４６０に部分的に重なってもよい。

第２の信号の受信に応答して、いくつかの開示された実施形態は、第２のオブジェクトの第１の部分が物理ディスプレイ上に提示されている間に、第２のオブジェクトの第２の部分を仮想空間内の装着型エクステンデッド・リアリティ機器を介して提示させることを含むことができる。いくつかの実施形態では、第２のオブジェクトの第２の部分は、装着型エクステンデッド・リアリティ機器を介して仮想空間に提示され得る。この提示は、第２のオブジェクトの部分的な提示を示すことができる。例えば、第２のオブジェクトがインターネットブラウザウィンドウである場合、ウィンドウの右半分は、エクステンデッド・リアリティ機器上またはエクステンデッド・リアリティ機器内で見ることができる。いくつかの実施形態では、第２のオブジェクトの第２の部分のこの提示は、第２のオブジェクトの第１の部分が物理ディスプレイ上に提示されている間に行われてもよい。この提示は、第２のオブジェクトの部分的な提示を示すことができる。第２のオブジェクトがインターネットブラウザウィンドウであり得る上記の例では、ウィンドウの左半分が物理ディスプレイ上に視認可能であり得る。この例では、インターネットブラウザウィンドウの左部分と右部分との間の境界は、物理ディスプレイの左境界に対応することができる。

例として、図７３に示すように、第２のオブジェクト７３５０はウィジェットの形態であってもよい。図７３に見られるように、第２のオブジェクト７３５０は、物理ディスプレイ７３１０内で見ることができる第１の部分７３５２と、仮想空間７３２０内で見ることができる第２の部分７３５４とを含んでもよい。他の例では、図７４に示すように、第２のオブジェクト７４５０は、アイコン７４５０の形態であってもよい。図７４に見られるように、例えばアイコン７３５０の形態の第２のオブジェクト７４５０は、物理ディスプレイ７４１０内で見ることができる第１の部分７４５２と、仮想空間７４２０内で見ることができる第２の部分７４５４とを含んでもよい。

第３の信号の受信に応答して、いくつかの開示された実施形態は、物理ディスプレイ上に全体的に提示された第３のオブジェクトに続いて、仮想空間内の装着型エクステンデッド・リアリティ機器を介して第３のオブジェクトを全体的に提示させることを含むことができる。いくつかの実施形態では、第３のオブジェクトは、装着型エクステンデッド・リアリティ機器を介して仮想空間に全体的に提示されてもよい。この提示は、第３のオブジェクトの全体的な提示を示すことができる。例えば、第３のオブジェクトがインターネットブラウザウィンドウである場合、ウィンドウの全体がエクステンデッド・リアリティア機器内で見ることができる。いくつかの実施形態では、第３のオブジェクトのこの提示は、物理ディスプレイ上に全体的に提示された第３のオブジェクトに続いて行われてもよい。この提示は、第３のオブジェクトの全体的な提示を示すことができる。第３のオブジェクトがインターネットブラウザウィンドウであり得る上記の例では、ウィンドウ全体が物理ディスプレイ内で最初に見えていてもよい。この例では、第３のオブジェクトは、物理ディスプレイの境界を完全に横切って、エクステンデッド・リアリティ機器を介して排他的に見えるようになり得る。

例として、図７３に示すように、第３のオブジェクト７３６０は、完全に仮想空間７３２０内に位置するウィジェットの形態であってもよい。この位置に到達する前に、第３のオブジェクト７３６０は、物理ディスプレイ７３１０内に完全にある第１のオブジェクト７３３０の位置に最初に配置されていてもよい。

いくつかの開示された実施形態は、物理ディスプレイの画像を表す画像センサ信号を受信することを含むさらなる動作を実行することを含むことができる。画像センサ信号は、画像センサから発するか、または画像センサによって生成されるデジタル信号またはアナログ信号を含むことができる。いくつかの例では、画像センサ信号を受信することは、メモリから画像センサ信号を読み取ること、外部デバイスから画像センサ信号を受信すること、または画像センサを使用して画像センサ信号を取り込むことのうちの少なくとも１つを含むことができる。

いくつかの開示された実施形態は、物理ディスプレイの境界縁部を確認することを含むさらなる動作を実行することを含むことができる。物理ディスプレイの境界縁部は、物理ディスプレイの一部または全体を境界付ける外周部を指すことができる。そのような縁部は、画像センサデータ、記憶された座標、または物理ディスプレイの境界縁部を確立するために使用され得る任意の他の情報に基づいて計算または判定することによって確認され得る。いくつかの例では、受信された画像センサ信号または画像は、テンプレートマッチングを使用して解析され、物理ディスプレイの境界縁部を確認することができる。別の例では、受信した画像センサ信号または画像は、物理ディスプレイに対応する画像内の画素を決定するために意味的セグメント化アルゴリズムを使用して解析され、それによって物理ディスプレイの境界縁部を確認することができる。

いくつかの開示された実施形態は、確認された境界縁部に基づいて仮想空間を物理ディスプレイに登録することを含むことができる。仮想空間を物理ディスプレイに登録することは、仮想空間の境界を定義すること、仮想空間のサブセクションを作成すること、または物理ディスプレイの位置を描写することができる仮想空間の任意の他の操作を指すことができる。物理ディスプレイの境界を画定する外周部が外挿された上記の例では、その外周部は、例えば、画像を生成する装着型エクステンデッド・リアリティ機器内の領域から物理ディスプレイのフットプリントを除外するためにエクステンデッド・リアリティ空間に適用され得る。

例として、図７３に示すように、画像センサデータを使用して仮想空間７３２０の境界を描写し、物理ディスプレイ７３１０の境界によって画定される領域を除外することができる。したがって、第３のオブジェクト７３６０および第２のオブジェクト７３５０の第２の部分７３５４は仮想空間７３２０の境界内に収まり、一方、第１のオブジェクト７３４０および第２のオブジェクト７３５０の第１の部分７３５２は仮想空間の境界内に収まらない。さらに、図７４に示すように、画像センサデータを使用して仮想空間７４２０の境界を描写し、物理ディスプレイ７４１０の境界によって画定される領域を除外することができる。したがって、第３のオブジェクト７４６０および第２のオブジェクト７４５０の第２の部分７４５４は仮想空間７４２０の境界内に収まり、一方、第１のオブジェクト７４４０および第２のオブジェクト７４５０の第１の部分７４５２は仮想空間の境界内に収まらない。

いくつかの実施形態では、物理ディスプレイは、境界縁部を定義するフレームを含むことができる。いくつかの物理ディスプレイ（例えば、コンピュータモニタ、スマートフォン、スマートウォッチなど）は、画像生成画面を囲む「フレーム」を含むことができるが、一部の最新のスマートフォンなどの他の物理ディスプレイは、画面がデバイスの縁部まで完全に延在するように「フレームなし」画面を有することができる。例として、図７４に示すように、物理ディスプレイ７４１０は、ベゼル７４１２の形態のフレームを含む。

いくつかの実施形態では、第２のオブジェクトの第２の部分を仮想空間内に提示させることは、第２のオブジェクトの第２の部分の一部をフレームの一部の上に重ねることを含むことができる。フレームを含む物理ディスプレイでは、仮想空間内の提示は、物理ディスプレイの画面上の提示から仮想空間へのシームレスな遷移を提供するように、そのフレームとオーバーラップすることができる。例として、図７４に示すように、アイコン７４５０の第２の部分７４５４はベゼル７４１２と重なっている。

いくつかの開示された実施形態は、物理ディスプレイ上に提示された第２のオブジェクトの第１の部分の視覚パラメータを決定するために画像センサ信号を解析することを含むことができる。画像センサ信号を解析して視覚パラメータを決定することは、ソフトウェア、式、またはアルゴリズムを適用して、取り込まれた画像の特性に関する何らかのタイプの指標を識別することを指すことができる。そのような指標は、輝度、コントラスト、色範囲、色相、彩度、クロマティックアダプテーション、他の色外観現象、または取り込まれた画像に関連付けられた他の特性を含むことができる。デジタルカメラが物理ディスプレイを撮影することができる上記の例では、ソフトウェアを利用して、物理ディスプレイ上に配置されたウィジェットの一部の輝度レベルを決定することができる。一例では、画像センサ信号または画像は、例えばテンプレートマッチングアルゴリズムを使用して、物理ディスプレイ上に提示された第２のオブジェクトの第１の部分に対応する画像内の領域を検出するために解析され得る。検出された領域内の画素の値は、視覚パラメータを決定するために、例えば統計関数またはヒストグラムを使用して解析することができる。

いくつかの実施形態では、第２のオブジェクトの第２の部分を仮想空間に提示させることは、決定された視覚パラメータに基づいて第２のオブジェクトの第２の部分の表示パラメータを設定することを含む。一例では、物理ディスプレイの画像を解析して、物理ディスプレイ上のウィジェットの特定の輝度レベルを決定することができ、仮想空間に表示されるウィジェットの残りの部分の輝度は、物理ディスプレイ上のウィジェットの部分の輝度レベルと一致するように設定され得る。したがって、ウィジェットの２つの部分の輝度または配色などの特徴は、例えば、ウィジェットの見かけ上シームレスな提示を提示するように一致させることができる。例として、図７４に示すように、第１の部分７４５２と第２の部分７４５４とは、同一または類似の輝度、例えば輝度で表示されてもよい。

いくつかの開示された実施形態は、装着型エクステンデッド・リアリティ機器のユーザが物理ディスプレイから遠ざかっている（または他の方法で遠ざかっている）と判定することを含むさらなる動作を実行することを含むことができる。ユーザが歩いている（または動いている）という判定は、ユーザと物理ディスプレイとの間の距離、角度、または向きが変化している可能性があることを感知するために、装着型エクステンデッド・リアリティ・デバイスに関連付けられたセンサを利用することを含んでもよい。別の例では、装着型エクステンデッド・リアリティ・デバイスの位置決めデータまたはモーションデータは、（例えば、物理ディスプレイの既知の位置に基づいて）解析されて、ユーザが物理ディスプレイから離れて歩いている（または動いている）と判定することができる。

装着型エクステンデッド・リアリティ機器のユーザが物理ディスプレイから離れて歩いている（または動いている）という判定に応答して、いくつかの実施形態は、第１のオブジェクトが物理ディスプレイ上に残っている間に、ユーザと共に動くように仮想空間内の第２のオブジェクトの第１の部分と第２の部分の両方を提示することを含むことができる。したがって、物理ディスプレイに対するユーザの動き、位置決め、または視線に関係なく、両方のオブジェクトの全体図をユーザが完全に観察することができる。一例では、第２のオブジェクトは、ユーザが動くときにユーザの視野の同じ位置に留まるように動いてもよく、第１のオブジェクトは、ユーザの動きに関係なく物理ディスプレイ上の同じ位置に留まる。例えば、ユーザが物理ディスプレイから離れるにつれて、物理ディスプレイは、ユーザの視野内でより小さく見える場合がある。（ｉ）第２のオブジェクトは、最初は物理ディスプレイ上で部分的に見ることができ、仮想空間上で部分的に見ることができ、（ｉｉ）物理ディスプレイの境界はその後小さくなるように見えるので、第２のオブジェクトの第２の部分は、ユーザの視野に関して同じ位置に留まることができ、第２のオブジェクトの第１の部分は、物理ディスプレイの境界が離れて見えるために、仮想空間上の第２の部分の隣にも現れることができる。

開示された実施形態は、最初に第１の物理ディスプレイ上に提示され、後でエクステンデッド・リアリティにおいて仮想的に提示され、続いて第２の物理ディスプレイ上に提示される第４のオブジェクトを表す第４の信号を受信することと、第４の信号の受信に応答して、第４のオブジェクトを第２の物理ディスプレイ上に提示させることと、をさらに含んでもよい。第４の信号は、第１の信号、第２の信号、および第３の信号と同様に、デジタル信号またはアナログ信号であってもよい。一例では、第４の信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、グラフィックデータ、幾何学的データ、または第４のオブジェクトに関連付けられた知覚可能な情報を提供する任意の他の形態のデータを表すことができる。別の例では、第４の信号は、第４のオブジェクトが最初に第１の物理ディスプレイ上に提示され、後でエクステンデッド・リアリティにおいて仮想的に提示され、続いて第２の物理ディスプレイ上に提示されるという指示を含むことができる。いくつかの例では、第４の信号を受信することは、メモリから第４の信号を読み取ること、外部デバイスから第４の信号を受信すること、物理ディスプレイおよび／または第２の物理ディスプレイ上の提示の少なくとも一部を制御するソフトウェアまたはハードウェア構成要素から第４の信号を受信すること、または仮想空間を含むエクステンデッド・リアリティ環境を制御するソフトウェアまたはハードウェア構成要素から第４の信号を受信することのうちの少なくとも１つを含むことができる。いくつかの実施形態では、第４のオブジェクトは、第１、第２、および第３のオブジェクトと同様に、仮想コンテンツの入射であってもよい。いくつかの例では、第４のオブジェクトは、ウィンドウ、入力制御要素、ナビゲーション構成要素、情報構成要素、アイコン、ウィジェットなどのユーザインターフェースの要素であり得るか、それらを含んでもよい。いくつかの例では、第４のオブジェクトは、テキスト、画像、ビデオ、またはグラフィック要素（例えば、２次元グラフィック要素、３次元グラフィック要素の２次元投影など）のうちの少なくとも１つであり得るか、それらを含んでもよい。

例として、図７５Ａ～図７５Ｄに示すように、第４のオブジェクト７５４０は、この原点と目的地との間の仮想空間７５２０において仮想的に視認可能でありながら、第１の物理ディスプレイ７５１０から第２の物理ディスプレイ７５３０に動いてもよい。図７５Ａでは、第４のオブジェクト７５４０は、完全に第１の物理ディスプレイ７５１０上に提示されている。図７５Ｂでは、第４のオブジェクト７５４０は、第１の物理ディスプレイ７５１０上に部分的におよび仮想空間７５２０内に部分的に仮想的に提示されている。図７５Ｃでは、第４のオブジェクト７５４０は、仮想空間７５２０内に完全に仮想的に提示されている。図７５Ｄでは、第４のオブジェクト７５４０は、完全に第２の物理ディスプレイ７５３０上に提示されている。

いくつかの実施形態では、第４のオブジェクトを第２の物理ディスプレイ上に提示させることは、第４のオブジェクトを反映したデータを第２の物理ディスプレイに関連付けられたコンピューティングデバイスに送信することを含むことができる。コンピューティングデバイスは、コンピュータプログラム、アプリケーション、方法、プロセス、または他のソフトウェアを実行するように構成された少なくとも１つのプロセッサを有するデバイスを指すことができる。異なる処理デバイスが第１および第２の物理ディスプレイを制御することができるので、第４のオブジェクトが第２の物理ディスプレイ上に提示され得るように、第４のオブジェクトに関連付けられたデータが第２の物理ディスプレイに関連付けられた処理デバイスに送信され得る。一例では、データは、第１の物理ディスプレイを制御するデバイスから送信されてもよい。別の例では、データは、エクステンデッド・リアリティ環境を制御する集中システムから、装着型エクステンデッド・リアリティ機器から、または別のコンピュータ化されたデバイスから送信されてもよい。一例では、データは、第４のオブジェクトの画像またはビデオ、第４のオブジェクトのモデル（２次元または３次元）、第４のオブジェクトを制御するソフトウェア、第４のオブジェクトを制御するソフトウェアのパラメータ、または第４のオブジェクトの表示のうちの少なくとも１つを含むことができる。

いくつかの開示された実施形態はまた、タイプされたテキストを示す入力信号を受信することを含んでもよい。タイプされたテキストを示す入力信号は、情報交換用米国標準コード（ＡＳＣＩＩ）または別のフォーマットに準拠したものなどの文字符号化を表すデジタル信号またはアナログ信号を指すことができる。そのような入力信号は、キーボード、タッチパッド、または文字を選択することができる任意の他のデバイスから生成または送信され得る。

いくつかの開示された実施形態は、タイプされたテキストを第１のディスプレイおよび第２のディスプレイに同時に表示することをさらに含むことができ、第２のディスプレイは、キーボードに隣接して配置されたエクステンデッド・リアリティ表示領域である。タイプされたテキストを同時に表示することは、入力されたテキストを２つ以上のディスプレイ上に同時に提示し、２つ以上のディスプレイの各々にテキストを複製することを指すことができる。上述したように、キーボードという用語は、物理キーボード、仮想キーボードなどのテキストの文字を選択することができる任意のデバイスを指すことができる。いくつかの実施形態では、第１のディスプレイは物理ディスプレイであってもよい。例えば、タイプされたテキストは、テキスト編集アプリケーション、テキスト入力要素、または物理ディスプレイ上に提示された任意の他の要素に表示されてもよい。いくつかの実施形態では、第１のディスプレイは、第２のディスプレイ以外の仮想ディスプレイであってもよい。例えば、タイプされたテキストは、テキスト編集アプリケーション、テキスト入力要素、または仮想ディスプレイ上に提示された任意の他の要素に表示されてもよい。

いくつかの開示された実施形態は、第１の部分および第２の部分を有する第４のオブジェクトを表す第４の信号を受信することを含むことができ、最初に第４のオブジェクトは物理ディスプレイ上に全体的に提示される。第４の信号は、第１の信号、第２の信号、および第３の信号と同様に、デジタル信号またはアナログ信号であってもよい。一例では、第４の信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、グラフィックデータ、幾何学的データ、または知覚可能な情報を提供する任意の他の形態のデータを表すことができる。別の例では、第４の信号は、第４のオブジェクトが第１の部分および第２の部分を有すること、および／または第４のオブジェクトが最初に物理ディスプレイ上に全体的に提示されることの指示を含むことができる。さらに別の例では、第４の信号は、第４のオブジェクトの第１の部分および／または第２の部分に関連付けられた情報を含むことができる。いくつかの例では、第４の信号を受信することは、メモリから第４の信号を読み取ること、外部デバイスから第４の信号を受信すること、物理ディスプレイ上の提示の少なくとも一部を制御するソフトウェアまたはハードウェア構成要素から第４の信号を受信すること、または仮想空間を含むエクステンデッド・リアリティ環境を制御するソフトウェアまたはハードウェア構成要素から第４の信号を受信することのうちの少なくとも１つを含むことができる。いくつかの実施形態では、第４のオブジェクトは、第１、第２、および第３のオブジェクトと同様に、仮想コンテンツの入射であってもよい。いくつかの例では、第４のオブジェクトは、ウィンドウ、入力制御要素、ナビゲーション構成要素、情報構成要素、アイコン、ウィジェットなどのユーザインターフェースの要素であり得るか、それらを含んでもよい。いくつかの例では、第４のオブジェクトは、テキスト、画像、ビデオ、またはグラフィック要素（例えば、２次元グラフィック要素、３次元グラフィック要素の２次元投影など）のうちの少なくとも１つであり得るか、それらを含んでもよい。この仮想コンテンツは、前述のオブジェクトと同様に、ユーザがその全体を見ることができる。例として、図７５Ａに示すように、第４のオブジェクト７５４０は、両方とも物理ディスプレイ７５１０上に完全に最初に提示される第１の部分７５４２および第２の部分７５４４を有する。

いくつかの開示された実施形態は、第４のオブジェクトが、第４のオブジェクトの第１の部分が物理ディスプレイ上に提示され、第４のオブジェクトの第２の部分が物理ディスプレイの境界を越えて延伸している位置に動くことを示す第５の信号を受信することを含むことができる。第５の信号は、第１、第２、第３、および第４の信号と同様に、デジタル信号またはアナログ信号であってもよい。一例では、第５の信号は、第４のオブジェクトが第１の部分および第２の部分を有すること、および／または第４のオブジェクトが、第４のオブジェクトの第１の部分が物理ディスプレイ上に提示され、第４のオブジェクトの第２の部分が物理ディスプレイの境界を越えて延在する位置に動くことの指示を含むことができる。さらに別の例では、第５の信号は、第４のオブジェクトの第１の部分および／または第２の部分に関連付けられた情報を含むことができる。いくつかの例では、第５の信号を受信することは、メモリから第５の信号を読み取ること、外部デバイスから第５の信号を受信すること、物理ディスプレイ上の提示の少なくとも一部を制御するソフトウェアまたはハードウェア構成要素から第５の信号を受信すること、または仮想空間を含むエクステンデッド・リアリティ環境を制御するソフトウェアまたはハードウェア構成要素から第５の信号を受信することのうちの少なくとも１つを含むことができる。例として、図７５Ｂに示すように、第１の部分７５４２は物理ディスプレイ７５１０に表示されたままであってもよく、第２の部分７５４４は物理ディスプレイ７５１０の境界を越えて延びてもよい。

第５の信号に応答して、いくつかの実施形態は、第４のオブジェクトの第１の部分が物理ディスプレイ上に提示されている間に、第４のオブジェクトの第２の部分を仮想空間内の装着型エクステンデッド・リアリティ機器を介して提示させることを含むことができる。例として、図７５Ｂに示すように、第１の部分７５４２は物理ディスプレイ７５１０に表示されたままであってもよく、第２の部分７５４４は仮想空間７５２０に表示されてもよい。

いくつかの開示された実施形態は、第４のオブジェクトが物理ディスプレイの境界を越えて全体的に動いたことを示す第６の信号を受信することを含んでもよい。第６の信号は、第１、第２、第３、第４、および第５の信号と同様に、デジタル信号またはアナログ信号であってもよい。一例では、第６の信号は、第４のオブジェクトが物理ディスプレイの境界を越えて全体的に動いたという指示を含むことができる。いくつかの例では、第６の信号を受信することは、メモリから第６の信号を読み取ること、外部デバイスから第６の信号を受信すること、物理ディスプレイ上の提示の少なくとも一部を制御するソフトウェアまたはハードウェア構成要素から第６の信号を受信すること、または仮想空間を含むエクステンデッド・リアリティ環境を制御するソフトウェアまたはハードウェア構成要素から第６の信号を受信することのうちの少なくとも１つを含むことができる。第４のオブジェクトは、前述のオブジェクトと同様に、ある位置から別の位置に動いてもよく、その他の位置は、コンテンツが最初に提示されたディスプレイの表示境界を超えてもよい。例として、図７５Ｃに示すように、第４のオブジェクト７５４０は、物理ディスプレイ７５１０の境界を完全に越えて動いている。

第６の信号の受信に応答して、いくつかの実施形態は、第４のオブジェクトを仮想空間内の装着型エクステンデッド・リアリティ機器を介して全体的に提示させることを含むことができる。この第４のオブジェクトは、前述のオブジェクトと同様に、コンテンツが最初に提示されたディスプレイの表示境界を越えて動いた後であっても、ユーザによってその全体を見ることができる。例として、図７５Ｃに示すように、第４のオブジェクト７５４０は、仮想空間７５２０内に完全に動いている。

他の開示された実施形態は、エクステンデッド・リアリティ・ディスプレイで物理ディスプレイを拡張するためのシステムを含むことができ、システムは、物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信し、物理ディスプレイ上に提示された第１の部分および物理ディスプレイの境界を越えて延在する第２の部分を有する第２のオブジェクトを表す第２の信号を受信し、物理ディスプレイ上に最初に提示され、その後物理ディスプレイの境界を越えて全体的に動いた第３のオブジェクトを表す第３の信号を受信し、第２の信号の受信に応答して、第２のオブジェクトの第１の部分が物理ディスプレイ上に提示されている間に、第２のオブジェクトの第２の部分を仮想空間内の装着型エクステンデッド・リアリティ機器を介して提示させ、第３の信号の受信に応答して、物理ディスプレイ上に全体的に提示された第３のオブジェクトに続いて、仮想空間内の装着型エクステンデッド・リアリティ機器を介して第３のオブジェクトを全体的に提示させる、ように構成された少なくとも１つのプロセッサを含む。

いくつかの例では、仮想空間の範囲は、物理ディスプレイの近傍の他の物理オブジェクトの存在に基づいて選択されてもよい。例えば、物理ディスプレイは、別の物理ディスプレイ、壁、または任意の他の物理オブジェクトに隣接していてもよい。一実施形態では、画像センサ（例えば、装着型エクステンデッド・リアリティ機器に含まれる画像センサ、装着型エクステンデッド・リアリティ機器の外部の画像センサなど）を使用して取り込まれた画像データを解析して、物理ディスプレイの近傍の物理オブジェクトを検出することができる。画像データは、オブジェクト検出アルゴリズム、オブジェクト認識アルゴリズム、意味領域分割アルゴリズム、および任意の他の関連アルゴリズムのうちの少なくとも１つを使用して解析され得る。

別の実施形態では、レーダ、ライダーまたはソナーセンサを使用して、物理ディスプレイの近傍の物理オブジェクトを検出することができる。例えば、仮想空間は、検出された物理オブジェクトと重複しないように選択されてもよい。仮想空間は、検出された物理オブジェクトの少なくとも一部を隠さないように選択されてもよい。さらに別の例では、仮想空間は、検出された物理オブジェクトによって少なくとも部分的に隠されないように選択されてもよい。いくつかの例では、第１のタイプの物理オブジェクト（例えば、第２の物理ディスプレイ、ランプなど）に応答して、仮想空間は、検出された物理オブジェクトと重複しないように選択されてもよく、第２のタイプの物理オブジェクト（例えば壁、花瓶など）に応答して、仮想空間は、検出された物理オブジェクトと重複するように選択されてもよい。一実施態様では、物理オブジェクトのタイプは、オブジェクト認識アルゴリズムを使用して決定され得る。

他の開示された実施形態は、エクステンデッド・リアリティ・ディスプレイで物理ディスプレイを拡張するための方法を含むことができる。例として、図７６は、本開示のいくつかの実施形態と一致する、シーンの視点を変更するための典型的な方法７６００を示すフローチャートを示す。方法７６００は、物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信するステップ７６１０を含んでもよい。方法７６００は、物理ディスプレイ上に提示された第１の部分および物理ディスプレイの境界を越えて延在する第２の部分を有する第２のオブジェクトを表す第２の信号を受信するステップ７６１２を含んでもよい。方法７６００は、第２の信号の受信に応答して、第２のオブジェクトの第１の部分が物理ディスプレイ上に提示されている間に、第２のオブジェクトの第２の部分を仮想空間に装着型エクステンデッド・リアリティ機器を介して提示させるステップ７６１４を含んでもよい。方法７６００は、第３の信号の受信に応答して、物理ディスプレイ上に全体的に提示された第３のオブジェクトに続いて、仮想空間に装着型エクステンデッド・リアリティ機器を介して第３のオブジェクトを全体的に提示させるステップ７６１６を含むことができる。

他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、当業者によって一般的に理解されるのと同じ意味を有する。本明細書で提供される材料、方法、および例は例示にすぎず、限定することを意図するものではない。

本開示の方法およびシステムの実施態様は、特定の選択されたタスクまたはステップを手動で、自動的に、またはそれらの組み合わせで実行または完了することを含むことができる。さらに、本開示の方法およびシステムの好ましい実施形態の実際の機器および機器によれば、いくつかの選択されたステップは、任意のファームウェアの任意のオペレーティングシステム上のハードウェア（ＨＷ）またはソフトウェア（ＳＷ）によって、またはそれらの組み合わせによって実施することができる。例えば、ハードウェアとして、本開示の選択されたステップは、チップまたは回路として実施することができる。ソフトウェアまたはアルゴリズムとして、本開示の選択されたステップは、任意の適切なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実施することができる。いずれの場合でも、本開示の方法およびシステムの選択されたステップは、複数の命令を実行するためのコンピューティングデバイスなどのデータプロセッサによって実行されるものとして説明することができる。

本明細書で説明するシステムおよび技術の様々な実施態様は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実施態様は、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、それらにデータおよび命令を送信するように結合された、特殊または汎用であり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムでの実施態様を含むことができる。

本明細書で説明するシステムおよび技術は、（例えば、データサーバとして）バックエンド構成要素を含む、またはミドルウェア構成要素（例えば、アプリケーションサーバ）を含む、またはフロントエンド構成要素（例えば、ユーザが本明細書に記載のシステムおよび技術の実施態様と対話することができるグラフィカル・ユーザ・インターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含む、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムで実施することができる。システムの構成要素は、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが含まれる。コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いに遠隔にあり、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

記載された実施態様の特定の特徴が本明細書に記載されているように示されているが、多くの修正、置換、変更および等価物が当業者には思い浮かぶであろう。したがって、添付の特許請求の範囲は、実施態様の範囲内に含まれるすべてのそのような修正および変更を網羅することを意図していることを理解されたい。それらは限定ではなく例としてのみ提示されており、形態および詳細の様々な変更が行われ得ることを理解されたい。本明細書に記載の装置および／または方法の任意の部分は、相互に排他的な組み合わせを除いて、任意の組み合わせで組み合わせることができる。本明細書に記載の実施態様は、記載の異なる実施態様の機能、構成要素、および／または特徴の様々な組み合わせおよび／または部分的な組み合わせを含むことができる。

上記の説明は、例示を目的として提示されている。これは網羅的ではなく、開示された正確な形態または実施形態に限定されない。実施形態の変更および適合は、開示された実施形態の明細書および実施を考慮することから明らかであろう。例えば、記載された実施態様は、ハードウェアおよびソフトウェアを含むが、本開示と一致するシステムおよび方法は、ハードウェアのみとして実施されてもよい。

上述の実施形態は、ハードウェア、またはソフトウェア（プログラムコード）、またはハードウェアとソフトウェアとの組み合わせによって実施することができることを理解されたい。ソフトウェアによって実施される場合、上記のコンピュータ可読媒体に記憶することができる。ソフトウェアは、プロセッサによって実行されると、開示された方法を実行することができる。本開示に記載された計算ユニットおよび他の機能ユニットは、ハードウェア、またはソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実施することができる。当業者はまた、上述のモジュール／ユニットのうちの複数のものを１つのモジュールまたはユニットとして組み合わせることができ、上述のモジュール／ユニットの各々を複数のサブモジュールまたはサブユニットにさらに分割することができることを理解するであろう。

図中のブロック図は、本開示の様々な例示的な実施形態による、システム、方法、およびコンピュータハードウェアまたはソフトウェア製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を表すことができる。いくつかの代替実施態様では、ブロックに示されている機能は、図に示されている順序とは異なる順序で発生し得ることを理解されたい。例えば、連続して示されている２つのブロックは、関連する機能に応じて、実質的に同時に実行または実施されてもよく、または２つのブロックが逆の順序で実行される場合もある。また、一部のブロックを省略してもよい。ブロック図の各ブロック、およびブロックの組み合わせは、指定された機能または動作を実行する専用ハードウェアベースのシステムによって、または専用ハードウェアとコンピュータ命令の組み合わせによって実施され得ることも理解されたい。

前述の明細書では、実施形態は、実施態様ごとに異なり得る多数の特定の詳細を参照して説明されている。記載された実施形態の特定の適合および修正を行うことができる。他の実施形態は、本明細書の考察および本明細書に開示する本発明の実施から当業者には明らかであり得る。本明細書および実施例は、例としてのみ考慮されることが意図され、本発明の真の範囲および精神は、以下の特許請求の範囲によって示される。また、図に示されているステップの順序は、単に例示を目的としており、いかなる特定のステップの順序にも限定されることを意図していないことも意図されている。したがって、当業者は、これらのステップが同じ方法を実施しながら異なる順序で実行され得ることを理解することができる。

本開示の実施形態は、上記で説明され、添付の図面に示す正確な構造に限定されず、その範囲から逸脱することなく様々な修正および変更を行うことができることが理解されよう。また、他の実施形態は、本明細書の考察および本明細書に開示する開示された実施形態の実施から当業者には明らかであろう。本明細書および実施例は、典型例としてのみ考慮されることが意図され、開示された実施形態の真の範囲および趣旨は、添付の特許請求の範囲によって示される。

さらに、例示的な実施形態が本明細書に記載されているが、範囲は、本開示に基づく同等の要素、修正、省略、組み合わせ（例えば、様々な実施形態にわたる態様の）、適合または変更を有するありとあらゆる実施形態を含む。特許請求の範囲の要素は、特許請求の範囲で使用される言語に基づいて広く解釈されるべきであり、本明細書に記載された例または出願の審査中に限定されない。これらの例は非排他的であると解釈されるべきである。さらに、開示された方法のステップは、ステップの並べ替えまたはステップの挿入もしくは削除を含む任意のやり方で修正することができる。したがって、本明細書および実施例は、典型例としてのみ考慮され、真の範囲および趣旨は、添付の特許請求の範囲およびそれらの均等物の全範囲によって示されることが意図される。

Claims (260)

1. 一体型計算インターフェースデバイスであって、
   キー領域および非キー領域を有する可搬ハウジングと、
   前記ハウジングの前記キー領域に関連付けられたキーボードと、
   前記ハウジングの前記非キー領域に関連付けられたホルダであって、前記ホルダは、装着型エクステンデッド・リアリティ機器と選択的に係合および係合解除するように構成され、その結果、前記装着型エクステンデッド・リアリティ機器が前記ホルダを介して前記ハウジングと選択的に係合すると、前記装着型エクステンデッド・リアリティ機器が前記ハウジングと共に移送可能になる、ホルダと、を含む、一体型計算インターフェースデバイス。
2. 前記装着型エクステンデッド・リアリティ機器が、一対のスマートグラスを含み、前記一体型計算インターフェースデバイスが、前記ハウジングに関連付けられたトラックパッドをさらに含み、前記一体型計算デバイスが、前記一対のスマートグラスが前記ホルダを介して前記ハウジングと選択的に係合すると、前記スマートグラスのテンプルが前記トラックパッドに接触するようにさらに構成され、前記テンプルが各々遠位端に弾性トラックパッドプロテクタを含む、請求項１に記載の一体型計算インターフェースデバイス。
3. 前記ホルダが、前記一対のスマートグラスの前記テンプルと選択的に係合するように構成された少なくとも２つの把持要素を含む、請求項２に記載の一体型計算インターフェースデバイス。
4. 前記ホルダが、前記装着型エクステンデッド・リアリティ機器を前記ハウジングに選択的に接続するためのクリップを含む、請求項１に記載の一体型計算インターフェースデバイス。
5. 前記ホルダが、前記装着型エクステンデッド・リアリティ機器の少なくとも一部を選択的に囲むための区画を含む、請求項１に記載の一体型計算インターフェースデバイス。
6. 前記ホルダが、前記装着型エクステンデッド・リアリティ機器の一部の形状に対応する少なくとも１つの窪みを含む、請求項１に記載の一体型計算インターフェースデバイス。
7. 前記ホルダにノーズブリッジ突起をさらに含み、前記装着型エクステンデッド・リアリティ機器が一対のエクステンデッド・リアリティ・グラスを含み、前記少なくとも１つの窪みが前記ノーズブリッジ突起の両側に２つの窪みを含み、それによって前記エクステンデッド・リアリティ・グラスのレンズを受ける、請求項６に記載の一体型計算インターフェースデバイス。
8. 前記装着型エクステンデッド・リアリティ機器が、一対のエクステンデッド・リアリティ・グラスを含み、前記ホルダが、前記エクステンデッド・リアリティ・グラスのレンズが前記キーボードの片側に配置されると、前記エクステンデッド・リアリティ・グラスのテンプルが、その遠位端が前記キーボードの前記レンズの反対側に配置された状態で前記キーボードの上に延在するように構成される、請求項６に記載の一体型計算インターフェースデバイス。
9. 前記ハウジングに関連付けられ、前記装着型エクステンデッド・リアリティ機器が前記ホルダと選択的に係合したときに前記装着型エクステンデッド・リアリティ機器を充電するように構成された充電器をさらに含む、請求項１に記載の一体型計算インターフェースデバイス。
10. 前記ハウジング内にワイヤポートをさらに含み、前記ワイヤポートが、前記装着型エクステンデッド・リアリティ機器から延在するワイヤを受け取るためのものである、請求項１に記載の一体型計算インターフェースデバイス。
11. 前記ワイヤポートが、ユーザが前記キーボードでタイプしている間に前記ユーザに面するように構成された前記一体型計算インターフェースデバイスの前側に配置される、請求項１０に記載の一体型計算インターフェースデバイス。
12. 前記ハウジング内の少なくとも１つのモーションセンサと、前記ハウジングに動作可能に接続された少なくとも１つのプロセッサと、をさらに含み、前記少なくとも１つのプロセッサが、前記少なくとも１つのモーションセンサから受信した入力に基づいて動作モードを実施するようにプログラムされる、請求項１に記載の一体型計算インターフェースデバイス。
13. 前記少なくとも１つのプロセッサが、前記少なくとも１つのモーションセンサから受信した前記入力に基づいて、前記装着型エクステンデッド・リアリティ機器によって提示される仮想ディスプレイの設定を自動的に調整するようにプログラムされる、請求項１２に記載の一体型計算インターフェースデバイス。
14. 前記少なくとも１つのプロセッサが、前記装着型エクステンデッド・リアリティ機器が前記ホルダから係合解除されている間に前記一体型計算インターフェースデバイスがしきい値距離を超えて動いたときに通知を出力するようにプログラムされる、請求項１２に記載の一体型計算インターフェースデバイス。
15. 前記キーボードが少なくとも３０個のキーを含む、請求項１に記載の一体型計算インターフェースデバイス。
16. 前記少なくとも３０個のキーが、前記装着型エクステンデッド・リアリティ機器によるアクションを実行するための専用入力キーを含む、請求項１５に記載の一体型計算インターフェースデバイス。
17. 前記少なくとも３０個のキーが、前記装着型エクステンデッド・リアリティ機器によって投影される仮想ディスプレイの照明を変更するための専用入力キーを含む、請求項１５に記載の一体型計算インターフェースデバイス。
18. ２つの収納モードで動作可能な保護カバーをさらに含み、
    第１の収納モードでは、前記保護カバーが、前記ハウジング内の前記装着型エクステンデッド・リアリティ機器の上に重なり、
    第２の収納モードでは、前記保護カバーが前記ハウジングを持ち上げるように構成される、請求項１に記載の一体型計算インターフェースデバイス。
19. 前記保護カバーが、前記保護カバーに関連付けられた少なくとも１つのカメラを含む、請求項１８に記載の一体型計算インターフェースデバイス。
20. 前記ハウジングが、四辺形形状を有し、前記保護カバーと係合するために前記四辺形形状の３辺に磁石を含む、請求項１８に記載の一体型計算インターフェースデバイス。
21. 一体型計算インターフェースデバイスであって、
    キー領域および非キー領域を有するハウジングと、
    前記ハウジングの前記キー領域に関連付けられたキーボードと、
    少なくとも１つの画像センサと、
    前記少なくとも１つの画像センサを組み込んだ折り畳み可能な保護カバーであって、複数の折り畳み構成に操作されるように構成された保護カバーと、を含み、
    第１の折り畳み構成では、前記保護カバーが、前記キー領域と前記非キー領域の少なくとも一部とを収納するように構成され、
    第２の折り畳み構成では、ユーザが前記キーボードでタイプしている間に、前記保護カバーが、前記少なくとも１つの画像センサの光軸を前記一体型計算インターフェースデバイスの前記ユーザに概ね向けるように立つように構成される、一体型計算インターフェースデバイス。
22. 前記保護カバーが、一辺が前記ハウジングに接続された四辺形形状を有する、請求項２１に記載の一体型計算インターフェースデバイス。
23. 前記第２の折り畳み構成では、前記ハウジングが表面上に載置されると、前記ハウジングに接続された前記四辺形形状の前記辺に対向する前記保護カバーのセクタも前記表面上に載置されるように構成される、請求項２２に記載の一体型計算インターフェースデバイス。
24. 前記第２の折り畳み構成において前記表面上に載置されるように構成された前記保護カバーの前記セクタの面積が、前記保護カバーの全面積の少なくとも１０％である、請求項２３に記載の一体型計算インターフェースデバイス。
25. 前記少なくとも１つの画像センサが、前記ハウジングに接続された前記保護カバーの第１の辺の反対側の、前記保護カバーの第２の辺よりも前記第１の辺の近くに配置される、請求項２１に記載の一体型計算インターフェースデバイス。
26. 前記保護カバーの前記第１の辺の反対側の前記一体型計算インターフェースデバイスの前側に位置する前記ハウジング内のワイヤポートをさらに含み、前記ワイヤポートが、装着型エクステンデッド・リアリティ機器から延びるワイヤを受け取るように構成される、請求項２５に記載の一体型計算インターフェースデバイス。
27. 前記少なくとも１つの画像センサの電子機器が、前記保護カバーの第１の外層と前記保護カバーの第２の外層との間に挟まれている、請求項２１に記載の一体型計算インターフェースデバイス。
28. 前記第１の外層および前記第２の外層の各々が単一の連続した材料から作られ、前記電子機器が複数の分離された要素から作られた中間層上に位置する、請求項２７に記載の一体型計算インターフェースデバイス。
29. 前記第１の外層および前記第２の外層が第１の材料から作られ、前記中間層が前記第１の材料とは異なる第２の材料を含む、請求項２８に記載の一体型計算インターフェースデバイス。
30. 前記第１の材料が前記第２の材料よりも剛性が高い、請求項２９に記載の一体型計算インターフェースデバイス。
31. 前記少なくとも１つの画像センサが、少なくとも第１の画像センサおよび第２の画像センサを含み、前記第２の折り畳み構成では、前記第１の画像センサの第１の視野が、前記ユーザが前記キーボードでタイプしている間に前記ユーザの顔を取り込むように構成され、前記第２の画像センサの第２の視野が、前記ユーザが前記キーボードでタイプしている間に前記ユーザの手を取り込むように構成される、請求項２１に記載の一体型計算インターフェースデバイス。
32. 前記少なくとも１つの画像センサが、前記ユーザが前記保護カバーを動かすことなく前記少なくとも１つの画像センサの角度を変更することを可能にするように構成された少なくとも１つのジンバルに接続される、請求項２１に記載の一体型計算インターフェースデバイス。
33. 前記保護カバーが、複数の所定の折り畳み線に沿って前記保護カバーを折り畳むことを可能にする可撓性部分を含む、請求項２１に記載の一体型計算インターフェースデバイス。
34. 前記折り畳み線のうちの少なくともいくつかが互いに非平行であり、前記可撓性部分が、前記保護カバーを折り畳んで、装着型エクステンデッド・リアリティ機器を選択的に囲むための区画を含む３次元形状を形成することを可能にする、請求項３３に記載の一体型計算インターフェースデバイス。
35. 前記複数の所定の折り畳み線が、少なくとも２つの横断折り畳み線および少なくとも２つの非横断折り畳み線を含む、請求項３３に記載の一体型計算インターフェースデバイス。
36. 前記ハウジングの前記非キー領域内にホルダをさらに含み、前記ホルダが、装着型エクステンデッド・リアリティ機器と選択的に係合および係合解除するように構成され、その結果、前記装着型エクステンデッド・リアリティ機器が前記ホルダを介して前記ハウジングと選択的に係合すると、前記装着型エクステンデッド・リアリティ機器が前記キーボードと接続され、前記キーボードと共に移送可能になる、請求項２１に記載の一体型計算インターフェースデバイス。
37. 前記第１の折り畳み構成が２つの収納モードに関連付けられ、
    第１の収納モードでは、前記装着型エクステンデッド・リアリティ機器が前記ホルダを介して前記ハウジングと係合すると、前記保護カバーが前記装着型エクステンデッド・リアリティ機器および前記キーボードの上に重なり、
    第２の収納モードでは、前記装着型エクステンデッド・リアリティ機器が前記ハウジングから係合解除されると、前記保護カバーが前記キーボードの上に重なる、請求項３６に記載の一体型計算インターフェースデバイス。
38. 前記第１の折り畳み構成の前記第１の収納モードでは、前記少なくとも１つの画像センサの前記キーボードからの距離が２ｃｍ～５ｃｍであり、前記第１の折り畳み構成の前記第２の収納モードでは、前記少なくとも１つの画像センサの前記キーボードからの距離が１ｍｍ～１ｃｍであり、前記第２の折り畳み構成では、前記少なくとも１つの画像センサの前記キーボードからの距離が４ｃｍ～８ｃｍである、請求項３７に記載の一体型計算インターフェースデバイス。
39. 前記保護カバーが、前記装着型エクステンデッド・リアリティ機器が前記ハウジングと選択的に係合するときに、前記装着型エクステンデッド・リアリティ機器を前記第１の折り畳み構成に保持するように構成されたノッチを含む、請求項３６に記載の一体型計算インターフェースデバイス。
40. 一体型計算インターフェースデバイスのためのケースであって、
    少なくとも１つの画像センサと、
    前記少なくとも１つの画像センサを組み込んだ折り畳み可能な保護カバーであって、複数の折り畳み構成に操作されるように構成された保護カバーと、を含み、
    第１の折り畳み構成では、前記保護カバーが、キー領域および非キー領域を有する前記一体型計算インターフェースデバイスのハウジングを収納するように構成され、
    第２の折り畳み構成では、ユーザが前記キー領域に関連付けられたキーボードでタイプしている間に、前記保護カバーが、前記少なくとも１つの画像センサの光軸を前記一体型計算インターフェースデバイスの前記ユーザに概ね向けるように立つように構成される、ケース。
41. 温度に基づいて仮想コンテンツの表示を変更するための動作を少なくとも１つのプロセッサに実行させるための命令を含む非一時的コンピュータ可読媒体であって、前記動作が、
    装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを表示するステップであって、前記仮想コンテンツの表示中に、前記装着型エクステンデッド・リアリティ機器の少なくとも１つの構成要素によって熱が発生する、ステップと、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた温度を示す情報を受信するステップと、
    前記受信した情報に基づいて、前記仮想コンテンツの表示設定の変更の必要性を判定するステップと、
    前記判定に基づいて、目標温度を達成するように前記仮想コンテンツの前記表示設定を変更するステップと、を含む、非一時的コンピュータ可読媒体。
42. 前記装着型エクステンデッド・リアリティ機器に含まれる複数の発熱光源によって熱が発生し、前記動作が、前記発熱光源のうちの少なくとも１つの一組の作業パラメータを調整するステップをさらに含み、前記複数の発熱光源の前記一組の作業パラメータが、前記少なくとも１つの発熱光源に関連付けられた電圧、電流、または電力のうちの少なくとも１つを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
43. 前記装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つの処理デバイスによって熱が発生し、前記動作が、前記少なくとも１つの処理デバイスの一組の作業パラメータを調整するステップをさらに含み、前記少なくとも１つの処理デバイスの前記一組の作業パラメータが、前記少なくとも１つの処理デバイスに関連付けられた電圧、電流、電力、クロック速度、またはアクティブコアの数のうちの少なくとも１つを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
44. 前記装着型エクステンデッド・リアリティ機器に含まれる少なくとも１つの無線通信デバイスによって熱が発生し、前記動作が、前記少なくとも１つの無線通信デバイスの一組の作業パラメータを調整するステップをさらに含み、前記無線通信デバイスの前記一組の作業パラメータが、信号強度、帯域幅、または送信データ量のうちの少なくとも１つを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
45. 前記仮想コンテンツの前記表示設定を変更するステップが、前記仮想コンテンツの少なくとも一部の配色を変更するステップ、前記仮想コンテンツの少なくとも一部の不透明度値を低減するステップ、前記仮想コンテンツの少なくとも一部の強度値を低減するステップ、または前記仮想コンテンツの少なくとも一部の輝度値を低減するステップのうちの少なくとも１つを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
46. 前記仮想コンテンツの前記表示設定を変更するステップが、前記仮想コンテンツの少なくとも一部のフレームレート値を低減するステップを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
47. 前記仮想コンテンツの前記表示設定を変更するステップが、前記仮想コンテンツの少なくとも一部の表示サイズを縮小するステップを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
48. 前記仮想コンテンツの前記表示設定を変更するステップが、オブジェクトタイプまたはオブジェクト使用履歴のうちの少なくとも一方に基づいて、前記仮想コンテンツに含まれる表示された仮想オブジェクトに対する選択的変更を実施するステップを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
49. 前記仮想コンテンツの前記表示設定を変更するステップが、前記仮想コンテンツから、前記仮想コンテンツに含まれる複数の仮想要素のうちの少なくとも１つの仮想要素を除去するステップを含む、請求項４１に記載の非一時的コンピュータ可読媒体。
50. 前記少なくとも１つの仮想要素が、前記装着型エクステンデッド・リアリティ機器のユーザの注意を示す情報に基づいて前記複数の仮想要素から選択される、請求項４９に記載の非一時的コンピュータ可読媒体。
51. 前記動作が、前記複数の仮想要素の重要度をランク付けするステップをさらに含み、前記少なくとも１つの仮想要素が、前記決定された重要度に基づいて前記複数の仮想要素から選択される、請求項４９に記載の非一時的コンピュータ可読媒体。
52. 前記動作が、前記装着型エクステンデッド・リアリティ機器のユーザに関連付けられたユーザプロファイルに基づいて前記仮想コンテンツの表示設定変更を決定するステップをさらに含む、請求項４１に記載の非一時的コンピュータ可読媒体。
53. 前記動作が、前記表示設定への前記変更の実施後の期間にわたって、前記装着型エクステンデッド・リアリティ機器に関連付けられた前記温度を示す更新された情報を受信するステップと、前記表示設定のうちの少なくとも１つを初期値に変更するステップと、をさらに含む、請求項４１に記載の非一時的コンピュータ可読媒体。
54. 前記動作が、前記装着型エクステンデッド・リアリティ機器に関連付けられた前記温度が前記装着型エクステンデッド・リアリティ機器に関連付けられたしきい値に達する前に前記仮想コンテンツの表示設定を変更するステップをさらに含む、請求項４１に記載の非一時的コンピュータ可読媒体。
55. 前記動作が、前記装着型エクステンデッド・リアリティ機器のユーザに関連付けられたユーザプロファイルに基づいて前記しきい値の値を決定するステップをさらに含む、請求項５４に記載の非一時的コンピュータ可読媒体。
56. 前記仮想コンテンツの前記表示設定に対する変更の程度が、前記受信した情報によって示される前記温度に基づく、請求項４１に記載の非一時的コンピュータ可読媒体。
57. 前記仮想コンテンツの前記表示設定を変更するステップが、温度軌跡を示すデータに基づく、請求項４１に記載の非一時的コンピュータ可読媒体。
58. 前記動作が、
    前記装着型エクステンデッド・リアリティ機器が非アクティブになる時刻を予測するステップと、
    前記装着型エクステンデッド・リアリティ機器によって発生した前記熱が臨界値を超え、かつ前記予測時刻が臨界持続時間を超える場合に、前記仮想コンテンツの前記表示設定を変更するステップと、
    前記装着型エクステンデッド・リアリティ機器によって発生した前記熱が臨界値を超え、かつ前記予測時間が臨界持続時間を下回る場合に、現在の表示設定を維持するステップと、をさらに含む、請求項４１に記載の非一時的コンピュータ可読媒体。
59. 温度に基づいて仮想コンテンツの表示を変更するための方法であって、
    装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを表示するステップであって、前記仮想コンテンツの表示中に、前記装着型エクステンデッド・リアリティ機器の少なくとも１つの構成要素によって熱が発生する、ステップと、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた温度を示す情報を受信するステップと、
    前記受信した情報に基づいて、前記仮想コンテンツの表示設定の変更の必要性を判定するステップと、
    前記判定に基づいて、目標温度を達成するように前記仮想コンテンツの前記表示設定を変更するステップと、を含む方法。
60. 温度制御式装着型エクステンデッド・リアリティ機器であって、
    装着可能なフレームと、
    前記フレームに関連付けられた少なくとも１つのレンズと、
    前記フレーム内の複数の発熱光源であって、前記少なくとも１つのレンズに画像を投影するように構成された複数の発熱光源と、
    前記フレーム内にあり、前記複数の発熱光源によって発生した熱に関連付けられた温度を示す信号を出力するように構成された温度センサと、
    少なくとも１つのプロセッサであって、
    前記装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを表示し、前記仮想コンテンツの表示中に、前記装着型エクステンデッド・リアリティ機器の少なくとも１つの構成要素によって熱が発生し、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた温度を示す情報を受信し、
    前記受信した情報に基づいて、前記仮想コンテンツの表示設定を変更する必要性を判定し、
    前記判定に基づいて、目標温度を達成するように前記仮想コンテンツの前記表示設定を変更する、ように構成された少なくとも１つのプロセッサと、を含む温度制御式装着型エクステンデッド・リアリティ機器。
61. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、エクステンデッド・リアリティ環境においてハイブリッド仮想キーを実施するための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作が、
    第１の期間中に、タッチ感知面上の装着型エクステンデッド・リアリティ機器によって仮想的に投影された複数の仮想アクティブ化可能要素の前記タッチ感知面上の位置に対応する第１の信号を受信するステップと、
    前記第１の信号から、前記タッチ感知面上の前記複数の仮想アクティブ化可能要素の前記位置を決定するステップと、
    前記タッチ感知面を介してユーザのタッチ入力を受信するステップであって、前記タッチ入力が、前記タッチ感知面内の少なくとも１つのセンサとの相互作用の結果として生成される第２の信号を含む、ステップと、
    前記タッチ感知面内の前記少なくとも１つのセンサとの前記相互作用の前記結果として生成された前記第２の信号に基づいて前記タッチ入力に関連付けられた座標位置を決定するステップと、
    前記タッチ入力に対応する前記複数の仮想アクティブ化可能要素のうちの１つを識別するために、前記タッチ入力の前記座標位置を前記決定された位置のうちの少なくとも１つと比較するステップと、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの変更を生じさせるステップであって、前記変更が前記複数の仮想アクティブ化可能要素のうちの前記識別されたものに対応する、ステップと、を含む、非一時的コンピュータ可読媒体。
62. 前記タッチ感知面上に仮想的に投影された前記複数の仮想アクティブ化可能要素が、仮想アクティブ化可能要素のグループの適切なサブセットであり、前記サブセットが前記ユーザのアクションに基づいて決定される、請求項６１に記載の非一時的コンピュータ可読媒体。
63. 前記タッチ感知面上に仮想的に投影された前記複数の仮想アクティブ化可能要素が、仮想アクティブ化可能要素のグループの適切なサブセットであり、前記サブセットが前記ユーザの物理的位置に基づいて決定される、請求項６１に記載の非一時的コンピュータ可読媒体。
64. 前記タッチ感知面上に仮想的に投影された前記複数の仮想アクティブ化可能要素が、仮想アクティブ化可能要素のグループの適切なサブセットであり、前記サブセットが前記ユーザの環境内のイベントに基づいて決定される、請求項６１に記載の非一時的コンピュータ可読媒体。
65. 前記タッチ感知面上の前記複数の仮想アクティブ化可能要素の前記位置が、前記ユーザのアクション、前記ユーザの物理的位置、前記装着型エクステンデッド・リアリティ機器の物理的位置、前記タッチ感知面の物理的位置、または前記ユーザの環境内のイベントのうちの少なくとも１つに基づいて決定される、請求項６１に記載の非一時的コンピュータ可読媒体。
66. 前記動作が、前記タッチ入力の検出時に、アプリケーションを開くステップをさらに含み、前記仮想コンテンツの前記変更を生じさせるステップが、前記アプリケーションの前記開放に基づく、請求項６１に記載の非一時的コンピュータ可読媒体。
67. 前記動作が、前記タッチ入力の検出時に、出力パラメータを変更するステップをさらに含み、前記仮想コンテンツの前記変更を生じさせるステップが、前記出力パラメータの前記変更に基づく、請求項６１に記載の非一時的コンピュータ可読媒体。
68. 前記動作が、前記ユーザによって以前に選択されたデフォルトの配置に基づいて前記タッチ感知面上に前記複数の仮想アクティブ化可能要素を配置するステップをさらに含む、請求項６１に記載の非一時的コンピュータ可読媒体。
69. 前記仮想コンテンツが仮想ディスプレイを含み、前記動作が、前記タッチ感知面が前記仮想ディスプレイ内でカーソルをナビゲートすることを可能にするステップをさらに含む、請求項６１に記載の非一時的コンピュータ可読媒体。
70. 前記動作が、前記第２の信号に基づいて前記タッチ入力のタイプを決定するステップをさらに含み、前記仮想コンテンツの前記変更が、前記複数の仮想アクティブ化可能要素のうちの前記識別されたものおよび前記タッチ入力の前記決定されたタイプに対応する、請求項６１に記載の非一時的コンピュータ可読媒体。
71. 前記動作が、
    前記装着型エクステンデッド・リアリティ機器によって前記キーボードのキー上に仮想的に投影された追加の仮想アクティブ化可能要素の前記タッチ感知面に隣接するキーボード上の位置に対応する追加の信号を受信するステップと、
    前記追加の信号から、前記キーボードの前記キー上の前記追加の仮想アクティブ化可能要素の前記位置を決定するステップと、
    前記キーボードの少なくとも１つのキーを介してキー押下入力を受信するステップと、
    前記キー押下入力に対応する前記追加の仮想アクティブ化可能要素のうちの１つを識別するステップと、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた前記仮想コンテンツの第２の変更を生じさせるステップであって、前記第２の変更が前記追加の仮想アクティブ化可能要素のうちの前記識別されたものに対応する、ステップと、をさらに含む、請求項６１に記載の非一時的コンピュータ可読媒体。
72. 前記動作が、キーボード構成選択を受信するステップと、前記装着型エクステンデッド・リアリティ機器に、前記選択されたキーボード構成に対応する前記追加の仮想アクティブ化可能要素を仮想的に投影させるステップと、をさらに含む、請求項７１に記載の非一時的コンピュータ可読媒体。
73. 前記動作が、ユーザアクション、物理的ユーザ位置、前記装着型エクステンデッド・リアリティ機器の物理的位置、前記キーボードの物理的位置、またはユーザ環境内のイベントのうちの少なくとも１つに基づいて前記追加の仮想アクティブ化可能要素を選択するステップをさらに含む、請求項７１に記載の非一時的コンピュータ可読媒体。
74. 前記動作が、
    前記ユーザが前記装着型エクステンデッド・リアリティ機器の装着者であるかどうかを判定するステップと、
    前記ユーザが前記装着型エクステンデッド・リアリティ機器の装着者であるという判定に応答して、前記装着型エクステンデッド・リアリティ機器に関連付けられた前記仮想コンテンツの前記変更を生じさせるステップと、
    前記ユーザが前記装着型エクステンデッド・リアリティ機器の装着者ではないという判定に応答して、前記装着型エクステンデッド・リアリティ機器に関連付けられた前記仮想コンテンツの前記変更を生じさせるステップを取り止めるステップと、をさらに含む、請求項６１に記載の非一時的コンピュータ可読媒体。
75. 前記ユーザが第２の装着型エクステンデッド・リアリティ機器の装着者であり、前記第２の装着型エクステンデッド・リアリティ機器が前記タッチ感知面上に第２の複数の仮想アクティブ化可能要素を投影する場合、前記動作が、
    前記タッチ入力の前記座標位置に基づいて、前記タッチ入力が前記第２の複数の仮想アクティブ化可能要素のうちの特定の仮想アクティブ化可能要素に対応すると決定するステップと、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた前記仮想コンテンツの第２の変更を生じさせるステップであって、前記第２の変更が前記第２の複数の仮想アクティブ化可能要素のうちの前記特定の仮想アクティブ化可能要素に対応する、ステップと、をさらに含む、請求項７４に記載の非一時的コンピュータ可読媒体。
76. 前記動作が、前記複数の仮想アクティブ化可能要素が前記タッチ感知面上に投影されていない第２の期間中に、前記タッチ感知面の少なくとも一部の少なくとも１つの機能を非アクティブ化するステップをさらに含む、請求項６１に記載の非一時的コンピュータ可読媒体。
77. 前記動作が、異なる複数の仮想アクティブ化可能要素が前記装着型エクステンデッド・リアリティ機器によって前記タッチ感知面上に投影される第２の期間中に、前記タッチ感知面の少なくとも一部の少なくとも１つの機能を非アクティブ化するステップをさらに含む、請求項６１に記載の非一時的コンピュータ可読媒体。
78. 前記動作が、前記第１の期間の後であって前記異なる複数の仮想アクティブ化可能要素が前記タッチ感知面上に投影される前の第３の期間中に、前記タッチ感知面の前記少なくとも一部の前記少なくとも１つの機能を維持するステップをさらに含み、前記第３の期間中に、前記タッチ感応面が前記装着型エクステンデッド・リアリティ機器の視野外にあり、したがって前記複数の仮想アクティブ化可能要素が前記タッチ感知面上に投影されない、請求項７７に記載の非一時的コンピュータ可読媒体。
79. エクステンデッド・リアリティ環境においてハイブリッド仮想キーを実施するための方法であって、前記動作が、
    第１の期間中に、タッチ感知面上の装着型エクステンデッド・リアリティ機器によって仮想的に投影された複数の仮想アクティブ化可能要素の前記タッチ感知面上の位置に対応する第１の信号を受信するステップと、
    前記第１の信号から、前記タッチ感知面上の前記複数の仮想アクティブ化可能要素の前記位置を決定するステップと、
    前記タッチ感知面を介してユーザのタッチ入力を受信するステップであって、前記タッチ入力が、前記タッチ感知面内の少なくとも１つのセンサとの相互作用の結果として生成される第２の信号を含む、ステップと、
    前記タッチ感知面内の前記少なくとも１つのセンサとの前記相互作用の前記結果として生成された前記第２の信号に基づいて前記タッチ入力に関連付けられた座標位置を決定するステップと、
    前記タッチ入力に対応する前記複数の仮想アクティブ化可能要素のうちの１つを識別するために、前記タッチ入力の前記座標位置を前記決定された位置のうちの少なくとも１つと比較するステップと、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの変更を生じさせるステップであって、前記変更が前記複数の仮想アクティブ化可能要素のうちの前記識別されたものに対応する、ステップと、を含む方法。
80. エクステンデッド・リアリティ環境においてハイブリッド仮想キーを実施するためのシステムであって、
    少なくとも１つのプロセッサであって、
    第１の期間中に、タッチ感知面上の装着型エクステンデッド・リアリティ機器によって仮想的に投影された複数の仮想アクティブ化可能要素の前記タッチ感知面上の位置に対応する第１の信号を受信し、
    前記第１の信号から、前記タッチ感知面上の前記複数の仮想アクティブ化可能要素の前記位置を決定し、
    前記タッチ感知面を介してユーザのタッチ入力を受信し、前記タッチ入力が、前記タッチ感知面内の少なくとも１つのセンサとの相互作用の結果として生成される第２の信号を含み、
    前記タッチ感知面内の前記少なくとも１つのセンサとの前記相互作用の前記結果として生成された前記第２の信号に基づいて前記タッチ入力に関連付けられた座標位置を決定し、
    前記タッチ入力に対応する前記複数の仮想アクティブ化可能要素のうちの１つを識別するために、前記タッチ入力の前記座標位置を前記決定された位置のうちの少なくとも１つと比較し、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた仮想コンテンツの変更を生じさせ、前記変更が前記複数の仮想アクティブ化可能要素のうちの前記識別されたものに対応する、ように構成される少なくとも１つのプロセッサを含むシステム。
81. 仮想ディスプレイを制御するためにキーボードと装着型エクステンデッド・リアリティ機器との組み合わせと共に使用するように構成された非一時的コンピュータ可読媒体であって、前記コンピュータ可読媒体が、少なくとも１つのプロセッサによって実行されると前記少なくとも１つのプロセッサに動作を実行させる命令を含み、前記動作が、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた第１の手位置センサから、第１の手の動きを表す第１の信号を受信するステップと、
    前記キーボードに関連付けられた第２の手位置センサから、第２の手の動きを表す第２の信号を受信するステップであって、前記第２の手の動きがフィードバック構成要素との相互作用以外のアクションを含む、ステップと、
    前記第１の信号および前記第２の信号に基づいて前記仮想ディスプレイを制御するステップと、を含む、非一時的コンピュータ可読媒体。
82. 前記第１の手位置センサおよび前記第２の手位置センサの少なくとも一方が画像センサである、請求項８１に記載の非一時的コンピュータ可読媒体。
83. 前記第１の手位置センサおよび前記第２の手位置センサの少なくとも一方が近接センサである、請求項８１に記載の非一時的コンピュータ可読媒体。
84. 前記第２の手位置センサのタイプが、前記第１の手位置センサのタイプとは異なる、請求項８１に記載の非一時的コンピュータ可読媒体。
85. 前記動作が、
    前記キーボードの向きを決定するステップと、
    前記キーボードの前記向きに基づいて前記仮想ディスプレイに関連付けられた表示設定を調整するステップと、をさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
86. 前記第１の手の動きが、無フィードバックオブジェクトとの相互作用を含む、請求項８１に記載の非一時的コンピュータ可読媒体。
87. 前記キーボードが表面上に配置されているとき、前記第２の手の動きが前記表面との相互作用を含む、請求項８１に記載の非一時的コンピュータ可読媒体。
88. 前記動作が、前記第１の手の動きまたは前記第２の手の動きのうちの少なくとも一方に関連付けられた確実性レベルがしきい値を上回る場合、前記第１の信号および前記第２の信号に基づいて前記仮想ディスプレイを制御するステップをさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
89. 前記第１の手の動きおよび前記第２の手の動きのうちの少なくとも一方が前記第２の手位置センサによって検出され、前記第１の手位置センサによって検出されない場合、前記動作が、前記第２の信号のみに基づいて前記仮想ディスプレイを制御するステップをさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
90. 前記装着型エクステンデッド・リアリティ機器が前記キーボードに接続されていない場合、前記動作が、前記第１の信号のみに基づいて前記仮想ディスプレイを制御するステップをさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
91. 前記装着型エクステンデッド・リアリティ機器が、スペースバーに最も近い側に位置するコネクタを介して前記キーボードに選択的に接続可能である、請求項８１に記載の非一時的コンピュータ可読媒体。
92. 前記第１の信号および前記第２の信号に基づいて前記仮想ディスプレイを制御するステップが、
    前記第１の信号に基づいて前記仮想ディスプレイの第１の部分を制御するステップと、
    前記第２の信号に基づいて前記仮想ディスプレイの第２の部分を制御するステップと、を含む、請求項８１に記載の非一時的コンピュータ可読媒体。
93. 前記キーボードが、タッチパッドおよびキーを含む関連する入力領域を含み、前記動作が、前記入力領域の外側の領域内の前記第２の手の動きを検出するステップをさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
94. 前記動作が、
    前記第１の信号および前記第２の信号に基づいて手の少なくとも一部の３次元位置を決定するステップと、
    前記手の前記少なくとも一部の前記決定された３次元位置に基づいて前記仮想ディスプレイを制御するステップと、をさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
95. 前記動作が、
    手が仮想ウィジェットに関連付けられた物理オブジェクトの一部に触れていることを判定するために前記第２の信号を解析するステップと、
    前記手が前記装着型エクステンデッド・リアリティ機器のユーザに属するかどうかを判定するために前記第１の信号を解析するステップと、
    前記手が前記装着型エクステンデッド・リアリティ機器の前記ユーザに属するという判定に応答して、前記仮想ウィジェットに関連付けられたアクションを実行するステップと、
    前記手が前記装着型エクステンデッド・リアリティ機器の前記ユーザに属していないという判定に応答して、前記仮想ウィジェットに関連付けられた前記アクションを実行することを取り止めるステップと、をさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
96. 前記動作が、
    前記手が前記物理オブジェクトに触れている位置を決定するために前記第２の信号を解析するステップと、
    前記仮想ウィジェットに関連付けられた前記アクションを選択するために前記決定された位置を使用するステップと、をさらに含む、請求項９５に記載の非一時的コンピュータ可読媒体。
97. 前記キーボードが複数のキーを含み、前記動作が、
    前記複数のキーのうちの特定のキーを押下するユーザ意図を判定するために前記第２の信号を解析するステップと、
    前記装着型エクステンデッド・リアリティ機器に、前記判定されたユーザ意図に基づいて前記特定のキーを表す仮想指示を提供させるステップと、をさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
98. 前記キーボードが複数のキーを含み、前記動作が、
    前記複数のキーのうちのキーのグループのうちの少なくとも１つを押下するユーザ意図を判定するために前記第２の信号を解析するステップと、
    前記装着型エクステンデッド・リアリティ機器に、前記判定されたユーザ意図に基づいて前記キーのグループを表す仮想指示を提供させるステップと、をさらに含む、請求項８１に記載の非一時的コンピュータ可読媒体。
99. 仮想ディスプレイを制御するためにキーボードと装着型エクステンデッド・リアリティ機器との組み合わせを動作させるための方法であって、
    前記装着型エクステンデッド・リアリティ機器に関連付けられた第１の手位置センサから、第１の手の動きを表す第１の信号を受信するステップと、
    前記キーボードに関連付けられた第２の手位置センサから、第２の手の動きを表す第２の信号を受信するステップであって、前記第２の手の動きが、フィードバック構成要素との相互作用以外のアクションを含む、ステップと、
    前記第１の信号および前記第２の信号に基づいて前記仮想ディスプレイを制御するステップと、を含む方法。
100. 仮想ディスプレイを制御するためにキーボードと装着型エクステンデッド・リアリティ機器との組み合わせを動作させるためのシステムであって、
     少なくとも１つのプロセッサであって、
     前記装着型エクステンデッド・リアリティ機器に関連付けられた第１の手位置センサから、第１の手の動きを表す第１の信号を受信し、
     前記キーボードに関連付けられた第２の手位置センサから、第２の手の動きを表す第２の信号を受信し、前記第２の手の動きがフィードバック構成要素との相互作用以外のアクションを含み、
     前記第１の信号および前記第２の信号に基づいて前記仮想ディスプレイを制御する、ように構成された少なくとも１つのプロセッサを含むシステム。
101. 可動入力デバイスを装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための非一時的コンピュータ可読媒体であって、前記コンピュータ可読媒体が命令を格納し、前記命令が、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
     前記可動入力デバイスに関連付けられた動き信号を受信するステップであって、前記動き信号が前記可動入力デバイスの物理的動きを反映する、ステップと、
     第１の期間中に、前記装着型エクステンデッド・リアリティ機器に第１の表示信号を出力するステップであって、前記第１の表示信号が、前記装着型エクステンデッド・リアリティ機器に第１の向きでコンテンツを仮想的に提示させるように構成される、ステップと、
     前記第１の期間とは異なる第２の期間中に、前記装着型エクステンデッド・リアリティ機器に第２の表示信号を出力するステップであって、前記第２の表示信号が、前記装着型エクステンデッド・リアリティ機器に、前記第１の向きとは異なる第２の向きで前記コンテンツを仮想的に提示させるように構成される、ステップと、
     前記可動入力デバイスの前記受信した動き信号に基づいて、前記第１の表示信号の前記出力と前記第２の表示信号の前記出力とを切り替えるステップと、を実行させる、非一時的コンピュータ可読媒体。
102. 前記可動入力デバイスの前記動き信号が、前記可動入力デバイスに関連付けられた少なくとも１つのセンサを用いて取り込まれたデータの解析に基づいて決定される、請求項１０１に記載の非一時的コンピュータ可読媒体。
103. 前記可動入力デバイスに関連付けられた前記動き信号が、前記可動入力デバイスの画像の解析に基づいて決定される、請求項１０１に記載の非一時的コンピュータ可読媒体。
104. 前記動き信号が、前記第１の期間中に前記可動入力デバイスが配置された表面に対する前記可動入力デバイスの物理的動きを反映する、請求項１０１に記載の非一時的コンピュータ可読媒体。
105. 前記動き信号が、前記可動入力デバイスの傾斜運動、ロール運動、および横運動のうちの少なくとも１つを示す、請求項１０１に記載の非一時的コンピュータ可読媒体。
106. 前記動き信号が、前記第１の期間の後で、かつ前記第２の期間の前に受信される、請求項１０１に記載の非一時的コンピュータ可読媒体。
107. 前記命令が、前記装着型エクステンデッド・リアリティ機器が前記第２の期間中に追加の動き信号を受信することを可能にするように構成され、それにより、前記装着型エクステンデッド・リアリティ機器が前記コンテンツの仮想提示を連続的に調整することを可能にする、請求項１０１に記載の非一時的コンピュータ可読媒体。
108. 前記ステップが、前記第１の期間の前の前記可動入力デバイスの向きに基づいて前記第１の向きを決定するステップをさらに含む、請求項１０１に記載の非一時的コンピュータ可読媒体。
109. 前記ステップが、前記可動入力デバイスに関連付けられた前記受信した動き信号に基づいて前記仮想ディスプレイのサイズを変更するステップをさらに含む、請求項１０１に記載の非一時的コンピュータ可読媒体。
110. 前記ステップが、前記可動入力デバイスの前記物理的動きが少なくとも１つのしきい値よりも大きい場合に、前記第１の表示信号の前記出力と前記第２の表示信号の前記出力とを切り替えるステップをさらに含む、請求項１０１に記載の非一時的コンピュータ可読媒体。
111. 前記少なくとも１つのしきい値が、傾斜しきい値、ロールしきい値、および横運動しきい値の組み合わせを含む、請求項１１０に記載の非一時的コンピュータ可読媒体。
112. 前記可動入力デバイスが表面上に配置されるように構成され、前記少なくとも１つのしきい値の値が前記表面のタイプに基づく、請求項１１０に記載の非一時的コンピュータ可読媒体。
113. 前記少なくとも１つのしきい値が、前記第１の期間中の前記仮想ディスプレイの前記可動入力デバイスからの距離に基づいて選択される、請求項１１０に記載の非一時的コンピュータ可読媒体。
114. 前記少なくとも１つのしきい値が、前記第１の期間中の前記仮想ディスプレイの前記可動入力デバイスからの向きに基づいて選択される、請求項１１０に記載の非一時的コンピュータ可読媒体。
115. 前記少なくとも１つのしきい値が、前記コンテンツのタイプに基づいて選択される、請求項１１０に記載の非一時的コンピュータ可読媒体。
116. 前記装着型エクステンデッド・リアリティ機器が複数の可動入力デバイスとペアリングされるように構成され、前記第１の向きが、前記装着型エクステンデッド・リアリティ・デバイスとペアリングされた前記複数の可動入力デバイスのうちの１つに関連付けられたデフォルト仮想表示構成に基づいて決定される、請求項１００に記載の非一時的コンピュータ可読媒体。
117. 前記コンテンツが、前記可動入力デバイスを使用して入力されたテキスト入力の視覚的提示を可能にするように構成された仮想ディスプレイである、請求項１００に記載の非一時的コンピュータ可読媒体。
118. 前記ステップが、前記仮想ディスプレイが前記装着型エクステンデッド・リアリティ機器の視野外にあるときに前記可動入力デバイスを使用して入力されたテキスト入力の前記仮想ディスプレイの外側に視覚的指示を提供するステップをさらに含む、請求項１１７に記載の非一時的コンピュータ可読媒体。
119. 可動入力デバイスを、装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するための方法であって、
     前記可動入力デバイスに関連付けられた動き信号を受信するステップであって、前記動き信号が前記可動入力デバイスの物理的動きを反映する、ステップと、
     第１の期間中に、前記装着型エクステンデッド・リアリティ機器に第１の表示信号を出力するステップであって、前記第１の表示信号が、前記装着型エクステンデッド・リアリティ機器に第１の向きでコンテンツを仮想的に提示させるように構成される、ステップと、
     前記第１の期間とは異なる第２の期間中に、前記装着型エクステンデッド・リアリティ機器に第２の表示信号を出力するステップであって、前記第２の表示信号が、前記装着型エクステンデッド・リアリティ機器に、前記第１の向きとは異なる第２の向きで前記コンテンツを仮想的に提示させるように構成される、ステップと、
     前記可動入力デバイスの前記受信した動き信号に基づいて、前記第１の表示信号の前記出力と前記第２の表示信号の前記出力とを切り替えるステップと、を含む方法。
120. 可動入力デバイスを、装着型エクステンデッド・リアリティ機器を介して投影される仮想ディスプレイと一体化するためのシステムであって、
     少なくとも１つのプロセッサであって、
     前記可動入力デバイスに関連付けられた動き信号を受信し、前記動き信号が前記可動入力デバイスの物理的動きを反映し、
     第１の期間中に、前記装着型エクステンデッド・リアリティ機器に第１の表示信号を出力し、前記第１の表示信号が、前記装着型エクステンデッド・リアリティ機器に第１の向きでコンテンツを仮想的に提示させるように構成され、
     前記第１の期間とは異なる第２の期間中に、前記装着型エクステンデッド・リアリティ機器に第２の表示信号を出力し、前記第２の表示信号が、前記装着型エクステンデッド・リアリティ機器に、前記第１の向きとは異なる第２の向きで前記コンテンツを仮想的に提示させるように構成され、
     前記可動入力デバイスの前記受信した動き信号に基づいて、前記第１の表示信号の前記出力と前記第２の表示信号の前記出力とを切り替える、ようにプログラムされた少なくとも１つのプロセッサを含むシステム。
121. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、物理キーボードを仮想的に拡張するための動作を実行させる命令を格納する非一時的コンピュータ可読媒体であって、前記動作が、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、前記画像データが、表面に配置されたキーボードを表す、ステップと、
     前記キーボードが前記装着型エクステンデッド・リアリティ機器とペアリングされていると判定するステップと、
     前記キーボードに連動して仮想コントローラの表示をさせるための入力を受信するステップと、
     前記装着型エクステンデッド・リアリティ機器を介して、前記表面上の第１の位置に前記仮想コントローラを表示するステップであって、前記第１の位置では、前記仮想コントローラが前記キーボードに対して元の空間的向きを有する、ステップと、
     前記表面上の異なる位置への前記キーボードの動きを検出するステップと、
     前記キーボードの前記検出された動きに応答して、前記表面上の第２の位置に前記仮想コントローラを提示するステップであって、前記第２の位置では、前記キーボードに対する前記仮想コントローラの後続の空間的向きが前記元の空間的向きに対応する、ステップと、を含む、非一時的コンピュータ可読媒体。
122. 前記仮想コントローラが仮想トラックパッドであり、前記動作が、前記第２の位置での手の動きを検出するステップと、前記検出された手の動きに基づいて仮想カーソルの位置を変更するステップと、をさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
123. 前記仮想コントローラがユーザインターフェース要素であり、前記動作が、前記第２の位置での手の動きを検出するステップと、前記検出された手の動きに基づいて前記ユーザインターフェース要素に関連付けられた提示パラメータを変更するステップと、をさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
124. 前記受信した入力が、前記装着型エクステンデッド・リアリティ機器に関連付けられた前記画像センサからの画像データを含み、前記動作が、前記画像データから、前記キーボードに対する前記仮想コントローラの前記元の空間的向きを特徴付ける値を決定するステップをさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
125. 前記値が、前記仮想コントローラと前記キーボードとの間の距離を特徴付ける、請求項１２４に記載の非一時的コンピュータ可読媒体。
126. 前記動作が、前記受信した入力を使用して、前記仮想コントローラの前記キーボードからの距離、前記キーボードに対する前記仮想コントローラの角度向き、前記仮想コントローラが位置する前記キーボードの側面、または前記仮想コントローラのサイズのうちの少なくとも１つを決定するステップをさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
127. 前記キーボードが検出器を含み、前記キーボードの前記動きを検出するステップが前記検出器の出力に基づいて行われる、請求項１２１に記載の非一時的コンピュータ可読媒体。
128. 前記キーボードの前記動きを検出するステップが、前記装着型エクステンデッド・リアリティ機器に関連付けられた前記画像センサから取得されたデータに基づく、請求項１２１に記載の非一時的コンピュータ可読媒体。
129. 前記装着型エクステンデッド・リアリティ機器が、複数の異なるキーボードとペアリングするように構成され、前記動作が、キーボード選択を受信するステップと、前記受信したキーボード選択に基づいて複数の選択肢の中から前記仮想コントローラを選択するステップと、前記キーボード選択に基づいて前記仮想コントローラを表示するステップと、をさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
130. 前記動作が、
     前記第２の位置に関連付けられた表面領域に欠陥がないことを判定するために、前記画像データを解析するステップと、
     前記第２の位置に関連付けられた前記表面領域に欠陥がないという前記判定に応答して、前記装着型エクステンデッド・リアリティ機器に、前記第２の位置に前記仮想コントローラを仮想的に提示させるステップと、
     前記第２の位置に関連付けられた前記表面領域が欠陥を含むことを判定するために、前記画像データを解析するステップと、
     前記第２の位置に関連付けられた前記表面領域が欠陥を含むという前記判定に応答して、前記装着型エクステンデッド・リアリティ機器に、前記第２の位置における前記仮想コントローラの提示を回避するためのアクションを実行させるステップと、をさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
131. 前記アクションが、前記第２の位置に近接する第３の位置の別の表面領域上に前記仮想コントローラを仮想的に提示するステップを含む、請求項１３０に記載の非一時的コンピュータ可読媒体。
132. 前記アクションが、前記装着型エクステンデッド・リアリティ機器を介して通知を提供するステップであって、前記通知が、前記第２の位置が前記仮想コントローラの表示に適していないことを示す、ステップを含む、請求項１３０に記載の非一時的コンピュータ可読媒体。
133. 前記動作が、
     前記第２の位置に縁部がないことを判定するために、前記画像データを解析するステップと、
     前記第２の位置に縁部がないという前記判定に応答して、前記装着型エクステンデッド・リアリティ機器に、前記第２の位置に前記仮想コントローラを仮想的に提示させるステップと、
     前記第２の位置が縁部を含むことを判定するために、前記画像データを解析するステップと、
     前記第２の領域が縁部を含むという前記判定に応答して、前記装着型エクステンデッド・リアリティ機器に、前記第２の位置における前記仮想コントローラの提示を回避するためのアクションを実行させるステップと、をさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
134. 前記アクションが、前記第２の位置に近接する第３の位置に前記仮想コントローラを仮想的に提示するステップを含む、請求項１３３に記載の非一時的コンピュータ可読媒体。
135. 前記アクションが、前記装着型エクステンデッド・リアリティ機器を介して通知を提供するステップであって、前記通知が、前記第２の位置が前記仮想コントローラの表示に適していないことを示す、ステップを含む、請求項１３３に記載の非一時的コンピュータ可読媒体。
136. 前記動作が、
     前記第２の位置に物理オブジェクトがないことを判定するために、前記画像データを解析するステップと、
     前記第２の位置に物理オブジェクトがないという前記判定に応答して、前記装着型エクステンデッド・リアリティ機器に、前記第２の位置に前記仮想コントローラを仮想的に提示させるステップと、
     前記第２の位置が少なくとも１つの物理オブジェクトを含むことを判定するために、前記画像データを解析するステップと、
     前記第２の位置が少なくとも１つの物理オブジェクトを含むという前記判定に応答して、前記装着型エクステンデッド・リアリティ機器に、前記物理オブジェクトと前記仮想コントローラとの制御妨害干渉を回避するためのアクションを実行させるステップと、をさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
137. 前記アクションが、前記物理オブジェクトの表面上に前記仮想コントローラを仮想的に提示するステップを含む、請求項１３６に記載の非一時的コンピュータ可読媒体。
138. 前記動作が、
     前記第１の位置における前記表面のタイプを決定するために、前記画像データを解析するステップと、
     前記第１の位置における前記表面の前記タイプに基づいて前記仮想コントローラの第１のサイズを選択するステップと、
     前記第１のサイズで前記表面上の前記第１の位置に前記仮想コントローラを提示するステップと、
     前記第２の位置における前記表面のタイプを決定するために、前記画像データを解析するステップと、
     前記第２の位置における前記表面の前記タイプに基づいて前記仮想コントローラの第２のサイズを選択するステップと、
     前記第２のサイズで前記表面上の前記第２の位置に前記仮想コントローラを提示するステップと、をさらに含む、請求項１２１に記載の非一時的コンピュータ可読媒体。
139. 物理キーボードを仮想的に拡張するための方法であって、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、前記画像データが、表面に配置されたキーボードを表す、ステップと、
     前記キーボードが前記装着型エクステンデッド・リアリティ機器とペアリングされていると判定するステップと、
     前記キーボードに連動して仮想コントローラの表示をさせるための入力を受信するステップと、
     前記装着型エクステンデッド・リアリティ機器を介して、前記表面上の第１の位置に前記仮想コントローラを表示するステップであって、前記第１の位置では、前記仮想コントローラが前記キーボードに対して元の空間的向きを有する、ステップと、
     前記表面上の異なる位置への前記キーボードの動きを検出するステップと、
     前記キーボードの前記検出された動きに応答して、前記表面上の第２の位置に前記仮想コントローラを提示するステップであって、前記第２の位置では、前記キーボードに対する前記仮想コントローラの後続の空間的向きが前記元の空間的向きに対応する、ステップと、を含む方法。
140. 物理キーボードを仮想的に拡張するためのシステムであって、
     少なくとも１つのプロセッサであって、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信し、前記画像データが表面に配置されたキーボードを表し、
     前記キーボードが前記装着型エクステンデッド・リアリティ機器とペアリングされていると判定し、
     前記キーボードに連動して仮想コントローラの表示をさせるための入力を受信し、
     前記装着型エクステンデッド・リアリティ機器を介して、前記表面上の第１の位置に前記仮想コントローラを表示し、前記第１の位置では、前記仮想コントローラが前記キーボードに対して元の空間的向きを有し、
     前記表面上の異なる位置への前記キーボードの動きを検出し、
     前記キーボードの前記検出された動きに応答して、前記表面上の第２の位置に前記仮想コントローラを提示し、前記第２の位置では、前記キーボードに対する前記仮想コントローラの後続の空間的向きが前記元の空間的向きに対応する、ように構成された少なくとも１つのプロセッサを含むシステム。
141. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、仮想コンテンツ表示をモビリティステータスと調整するための動作を実行させる命令を格納する非一時的コンピュータ可読媒体であって、前記動作が、
     装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するために複数のユーザ・モビリティ・ステータスを複数の表示モードに関連付ける規則にアクセスするステップと、
     前記装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのセンサから第１のセンサデータを受信するステップであって、前記第１のセンサデータが、第１の期間中の前記装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映する、ステップと、
     前記第１のセンサデータに基づいて、前記第１の期間中に、前記装着型エクステンデッド・リアリティ機器の前記ユーザが第１のモビリティステータスに関連付けられていることを判定するステップと、
     前記第１のモビリティステータスに関連付けられた前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの第１の表示を生成するために少なくとも第１のアクセスされた規則を実施するステップと、
     前記少なくとも１つのセンサから第２のセンサデータを受信するステップであって、前記第２のセンサデータが、第２の期間中の前記ユーザの前記モビリティステータスを反映する、ステップと、
     前記第２のセンサデータに基づいて、前記第２の期間中に、前記装着型エクステンデッド・リアリティ機器の前記ユーザが第２のモビリティステータスに関連付けられていることを判定するステップと、
     前記第２のモビリティステータスに関連付けられた前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの第２の表示を生成するために少なくとも第２のアクセスされた規則を実施するステップであって、前記仮想コンテンツの前記第２の表示が前記仮想コンテンツの前記第１の表示とは異なる、ステップと、を含む、非一時的コンピュータ可読媒体。
142. 前記アクセスされた規則が、表示モードを、座位ステータス、立位ステータス、歩行ステータス、走行ステータス、サイクリングステータス、または運転ステータスのうちの少なくとも２つを含むユーザ・モビリティ・ステータスに関連付ける、請求項１４１に記載の非一時的コンピュータ可読媒体。
143. 前記動作が、前記ユーザに関連付けられた前記第１のセンサデータおよび履歴データに基づいて、前記第１の期間中の前記ユーザの前記モビリティステータスを決定するステップと、前記第２のセンサデータおよび前記履歴データに基づいて、前記第２の期間中の前記ユーザの前記モビリティステータスを決定するステップと、をさらに含む、請求項１４１に記載の非一時的コンピュータ可読媒体。
144. 前記少なくとも１つのセンサが、前記装着型エクステンデッド・リアリティ機器内に画像センサを含み、前記動作が、前記第１のモビリティステータスと前記第２のモビリティステータスとの間の切り替えを識別するために、前記画像センサを使用して取り込まれた画像データを解析するステップをさらに含む、請求項１４１に記載の非一時的コンピュータ可読媒体。
145. 前記少なくとも１つのセンサが、前記装着型エクステンデッド・リアリティ機器に接続可能なコンピューティングデバイスに含まれる少なくとも１つのモーションセンサを含み、前記動作が、前記第１のモビリティステータスと前記第２のモビリティステータスとの間の切り替えを識別するために、前記少なくとも１つのモーションセンサを使用して取り込まれたモーションデータを解析するステップをさらに含む、請求項１４１に記載の非一時的コンピュータ可読媒体。
146. 前記アクセスされた規則が、ユーザ・モビリティ・ステータスを、作業モード、娯楽モード、スポーツ活動モード、アクティブモード、スリープモード、追跡モード、固定モード、プライベートモード、またはパブリックモードのうちの少なくとも２つを含む前記複数の表示モードに関連付ける、請求項１４１に記載の非一時的コンピュータ可読媒体。
147. 前記複数の表示モードの各々が、複数の表示パラメータの値の特定の組み合わせに関連付けられ、前記動作が、少なくとも１つの表示モードに関連付けられた表示パラメータの値を調整するために前記ユーザからの入力を受信するステップをさらに含む、請求項１４１に記載の非一時的コンピュータ可読媒体。
148. 前記複数の表示パラメータが、不透明度レベル、輝度レベル、配色、サイズ、向き、解像度、表示された機能、またはドッキング挙動のうちの少なくともいくつかを含む、請求項１４７に記載の非一時的コンピュータ可読媒体。
149. 前記動作が、前記第１の期間中に作業モードで特定の仮想オブジェクトを表示するステップと、前記第２の期間中にスポーツ活動モードで前記特定の仮想オブジェクトを表示するステップと、をさらに含む、請求項１４１に記載の非一時的コンピュータ可読媒体。
150. 前記動作が、前記第１の期間中にアクティブモードで特定の仮想オブジェクトを表示するステップと、前記第２の期間中にスリープモードで前記特定の仮想オブジェクトを表示するステップと、をさらに含む、請求項１４１に記載の非一時的コンピュータ可読媒体。
151. 前記第１のモビリティステータスに関連付けられた前記第１の表示を生成するステップが、第１の仮想オブジェクトを表示するために第１の表示モードを使用するステップと、第２の仮想オブジェクトを表示するために第２の表示モードを使用するステップと、を含む、請求項１４１に記載の非一時的コンピュータ可読媒体。
152. 前記動作が、前記第２の期間中に、前記第１の仮想オブジェクトの前記第１の表示モードを変更し、前記第２の仮想オブジェクトの前記第２の表示モードを維持するステップをさらに含む、請求項１５１に記載の非一時的コンピュータ可読媒体。
153. 前記動作が、前記第２の期間中に、前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを表示するための第３の表示モードを使用するステップをさらに含む、請求項１５１に記載の非一時的コンピュータ可読媒体。
154. 前記アクセスされた規則が、異なる表示モードを異なるモビリティステータスの異なるタイプの仮想オブジェクトにさらに関連付ける、請求項１４１に記載の非一時的コンピュータ可読媒体。
155. 前記動作が、前記装着型エクステンデッド・リアリティ機器を介して、第１のタイプに関連付けられた第１の仮想オブジェクトと、第２のタイプに関連付けられた第２の仮想オブジェクトと、を提示するステップをさらに含み、前記第１のモビリティステータスに関連付けられた前記第１の表示を生成するステップが、前記第１および第２の仮想オブジェクトに単一の表示モードを適用するステップを含み、前記第２のモビリティステータスに関連付けられた前記第２の表示を生成するステップが、前記第１および第２の仮想オブジェクトに異なる表示モードを適用するステップを含む、請求項１５４に記載の非一時的コンピュータ可読媒体。
156. 前記アクセスされた規則が、環境コンテキストに基づいて、前記複数のユーザ・モビリティ・ステータスを複数の表示モードにさらに関連付ける、請求項１４１に記載の非一時的コンピュータ可読媒体。
157. 前記環境コンテキストが、前記装着型エクステンデッド・リアリティ機器に含まれる画像センサを使用して取り込まれた画像データ、または前記装着型エクステンデッド・リアリティ機器に含まれる音声センサを使用して取り込まれた音声データのうちの少なくとも一方の解析に基づいて決定される、請求項１５６に記載の非一時的コンピュータ可読媒体。
158. 前記環境コンテキストが、前記装着型エクステンデッド・リアリティ機器の環境における少なくとも一人の個人の少なくとも１つのアクションに基づく、請求項１５６に記載の非一時的コンピュータ可読媒体。
159. 仮想コンテンツ表示をモビリティステータスと協調させるための方法であって、
     装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するために複数のユーザ・モビリティ・ステータスを複数の表示モードに関連付ける規則にアクセスするステップと、
     前記装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのセンサから第１のセンサデータを受信するステップであって、前記第１のセンサデータが、第１の期間中の前記装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映する、ステップと、
     前記第１のセンサデータに基づいて、前記第１の期間中に、前記装着型エクステンデッド・リアリティ機器の前記ユーザが第１のモビリティステータスに関連付けられていることを判定するステップと、
     前記第１のモビリティステータスに関連付けられた前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの第１の表示を生成するために少なくとも第１のアクセスされた規則を実施するステップと、
     前記少なくとも１つのセンサから第２のセンサデータを受信するステップであって、前記第２のセンサデータが、第２の期間中の前記ユーザの前記モビリティステータスを反映する、ステップと、
     前記第２のセンサデータに基づいて、前記第２の期間中に、前記装着型エクステンデッド・リアリティ機器の前記ユーザが第２のモビリティステータスに関連付けられていることを判定するステップと、
     前記第２のモビリティステータスに関連付けられた前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの第２の表示を生成するために少なくとも第２のアクセスされた規則を実施するステップであって、前記仮想コンテンツの前記第２の表示が前記仮想コンテンツの前記第１の表示とは異なる、ステップと、を含む方法。
160. 仮想コンテンツの表示をモビリティステータスと協調させるためのシステムであって、
     少なくとも１つのプロセッサであって、
     装着型エクステンデッド・リアリティ機器を介して仮想コンテンツを提示するために複数のユーザ・モビリティ・ステータスを複数の表示モードに関連付ける規則にアクセスし、
     前記装着型エクステンデッド・リアリティ機器に関連付けられた少なくとも１つのセンサから第１のセンサデータを受信し、前記第１のセンサデータが、第１の期間中の前記装着型エクステンデッド・リアリティ機器のユーザのモビリティステータスを反映し、
     前記第１のセンサデータに基づいて、前記第１の期間中に、前記装着型エクステンデッド・リアリティ機器の前記ユーザが第１のモビリティステータスに関連付けられていることを判定し、
     前記第１のモビリティステータスに関連付けられた前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの第１の表示を生成するために少なくとも第１のアクセスされた規則を実施し、
     前記少なくとも１つのセンサから第２のセンサデータを受信し、前記第２のセンサデータが、第２の期間中の前記ユーザの前記モビリティステータスを反映し、
     前記第２のセンサデータに基づいて、前記第２の期間中に、前記装着型エクステンデッド・リアリティ機器の前記ユーザが第２のモビリティステータスに関連付けられていることを判定し、
     前記第２のモビリティステータスに関連付けられた前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの第２の表示を生成するために少なくとも第２のアクセスされた規則を実施し、前記仮想コンテンツの前記第２の表示が前記仮想コンテンツの前記第１の表示とは異なる、ように構成された少なくとも１つのプロセッサを含むシステム。
161. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、可動入力デバイスにドッキングされた仮想オブジェクトの表示を変更するための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作が、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、前記画像データが、支持面上の第１の位置に配置された入力デバイスを表す、ステップと、
     前記装着型エクステンデッド・リアリティ機器に、前記第１の位置に近接した少なくとも１つの仮想オブジェクトの提示を生成させるステップと、
     前記少なくとも１つの仮想オブジェクトを前記入力デバイスにドッキングするステップと、
     前記入力デバイスが前記支持面上の第２の位置にあることを判定するステップと、
     前記入力デバイスが前記第２の位置にあるという前記判定に応答して、前記少なくとも１つの仮想オブジェクトが前記第２の位置に近接して現れるように、前記少なくとも１つの仮想オブジェクトの前記提示を更新するステップと、
     前記入力デバイスが前記支持面から取り外された第３の位置にあることを判定するステップと、
     前記入力デバイスが前記支持面から取り外されたという前記判定に応答して、前記少なくとも１つの仮想オブジェクトの前記提示を変更するステップと、を含む、非一時的コンピュータ可読媒体。
162. 前記画像センサが、前記装着型エクステンデッド・リアリティ機器に含まれる、請求項１６１に記載の非一時的コンピュータ可読媒体。
163. 前記画像センサが、前記装着型エクステンデッド・リアリティ機器に接続可能な前記入力デバイスに含まれる、請求項１６１に記載の非一時的コンピュータ可読媒体。
164. 前記入力デバイスが、少なくとも３０個のキーおよびタッチセンサを含み、メディアコンテンツを提示するように構成された画面を除外する、請求項１６１に記載の非一時的コンピュータ可読媒体。
165. 前記動作が、第１の仮想オブジェクトを前記入力デバイスにドッキングするステップをさらに含み、前記第１の仮想オブジェクトが、前記支持面の上にある第１の仮想平面上に表示される、請求項１６１に記載の非一時的コンピュータ可読媒体。
166. 前記動作が、第２の仮想オブジェクトを前記入力デバイスにドッキングするステップをさらに含み、前記第２の仮想オブジェクトが、前記第１の仮想平面を横切る第２の仮想平面上に表示される、請求項１６５に記載の非一時的コンピュータ可読媒体。
167. 前記動作が、前記画像データの解析に基づいて、前記支持面上での前記入力デバイスの動きまたは前記支持面からの前記入力デバイスの取り外し動きの少なくとも一方を検出するステップをさらに含む、請求項１６１に記載の非一時的コンピュータ可読媒体。
168. 前記動作が、前記入力デバイスに関連付けられた少なくとも１つのモーションセンサから受信したモーションデータの解析に基づいて、前記支持面上での前記入力デバイスの動き、または前記支持面からの前記入力デバイスの取り外し動きの少なくとも一方を検出するステップをさらに含む、請求項１６１に記載の非一時的コンピュータ可読媒体。
169. 前記入力デバイスが前記第１の位置に配置されると、前記少なくとも１つの仮想オブジェクトは前記入力デバイスに対して元の空間特性を有し、前記動作が、前記入力デバイスが前記第２の位置にあるときに前記入力デバイスに対して前記少なくとも１つの仮想オブジェクトの前記元の空間特性を維持するステップをさらに含む、請求項１６１に記載の非一時的コンピュータ可読媒体。
170. 前記元の空間特性が、前記少なくとも１つの仮想オブジェクトの前記入力デバイスからの距離、前記入力デバイスに対する前記少なくとも１つの仮想オブジェクトの角度方向、前記少なくとも１つの仮想オブジェクトが位置する前記入力デバイスの側面、または前記入力デバイスに対する前記少なくとも１つの仮想オブジェクトのサイズのうちの少なくとも１つを含む、請求項１６９に記載の非一時的コンピュータ可読媒体。
171. 前記入力デバイスが前記支持面から取り外されたという前記判定に応答して前記少なくとも１つの仮想オブジェクトの前記提示を変更するステップが、前記少なくとも１つの仮想オブジェクトを前記支持面上に提示し続けるステップを含む、請求項１６１に記載の非一時的コンピュータ可読媒体。
172. 前記動作が、前記支持面上の前記入力デバイスの典型的な位置を決定するステップと、前記入力デバイスが前記支持面から取り外されたときに前記典型的な位置に近接して前記少なくとも１つの仮想オブジェクトを提示するステップと、をさらに含む、請求項１７１に記載の非一時的コンピュータ可読媒体。
173. 前記入力デバイスが前記支持面から取り外されたという前記判定に応答して前記少なくとも１つの仮想オブジェクトの前記提示を変更するステップが、前記少なくとも１つの仮想オブジェクトを消滅させるステップを含む、請求項１６１に記載の非一時的コンピュータ可読媒体。
174. 前記動作が、前記入力デバイスが前記第３の位置にある間に前記少なくとも１つの仮想オブジェクトと対話することを前記装着型エクステンデッド・リアリティ機器のユーザが望むことを示す入力を受信するステップと、前記少なくとも１つの仮想オブジェクトを再表示させるステップと、をさらに含む、請求項１７３に記載の非一時的コンピュータ可読媒体。
175. 前記入力デバイスが前記支持面から取り外されたという前記判定に応答して前記少なくとも１つの仮想オブジェクトの前記提示を変更するステップが、前記少なくとも１つの仮想オブジェクトの少なくとも１つの視覚特性を変更するステップを含む、請求項１６１に記載の非一時的コンピュータ可読媒体。
176. 前記少なくとも１つの視覚特性が、配色、不透明度レベル、輝度レベル、サイズ、または向きのうちの少なくとも１つを含む、請求項１７５に記載の非一時的コンピュータ可読媒体。
177. 前記入力デバイスが前記支持面から取り外されたという前記判定に応答して前記少なくとも１つの仮想オブジェクトの前記提示を変更するステップが、前記少なくとも１つの仮想オブジェクトの最小化バージョンを提示するステップを含む、請求項１６１に記載の非一時的コンピュータ可読媒体。
178. 前記動作が、前記少なくとも１つの仮想オブジェクトの前記最小化バージョンの選択を反映した入力を受信するステップと、前記少なくとも１つの仮想オブジェクトを拡張ビューで提示させるステップと、をさらに含む、請求項１７７に記載の非一時的コンピュータ可読媒体。
179. 可動入力デバイスにドッキングされた仮想オブジェクトの表示を変更するためのシステムであって、
     少なくとも１つのプロセッサであって、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信し、前記画像データが、支持面上の第１の位置に配置された入力デバイスを表し、
     前記装着型エクステンデッド・リアリティ機器に、前記第１の位置に近接した少なくとも１つの仮想オブジェクトの提示を生成させ、
     前記少なくとも１つの仮想オブジェクトを前記入力デバイスにドッキングし、
     前記入力デバイスが前記支持面上の第２の位置にあることを判定し、
     前記入力デバイスが前記第２の位置にあるという前記判定に応答して、前記少なくとも１つの仮想オブジェクトが前記第２の位置に近接して現れるように、前記少なくとも１つの仮想オブジェクトの前記提示を更新し、
     前記入力デバイスが前記支持面から取り外された第３の位置にあることを判定し、
     前記入力デバイスが前記支持面から取り外されたという前記判定に応答して、前記少なくとも１つの仮想オブジェクトの前記提示を変更する、ようにプログラムされた少なくとも１つのプロセッサを含むシステム。
180. 可動入力デバイスにドッキングされた仮想オブジェクトの表示を変更するための方法であって、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、前記画像データが、支持面上の第１の位置に配置された入力デバイスを表す、ステップと、
     前記装着型エクステンデッド・リアリティ機器に、前記第１の位置に近接した少なくとも１つの仮想オブジェクトの提示を生成させるステップと、
     前記少なくとも１つの仮想オブジェクトを前記入力デバイスにドッキングするステップと、
     前記入力デバイスが前記支持面上の第２の位置にあることを判定するステップと、
     前記入力デバイスが前記第２の位置にあるという前記判定に応答して、前記少なくとも１つの仮想オブジェクトが前記第２の位置に近接して現れるように、前記少なくとも１つの仮想オブジェクトの前記提示を更新するステップと、
     前記入力デバイスが前記支持面から取り外された第３の位置にあることを判定するステップと、
     前記入力デバイスが前記支持面から取り外されたという前記判定に応答して、前記少なくとも１つの仮想オブジェクトの前記提示を変更するステップと、を含む方法。
181. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、エクステンデッド・リアリティ環境において仮想オブジェクトを仮想表示画面にドッキングするための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作が、
     装着型エクステンデッド・リアリティ機器を介して提示するための仮想コンテンツを生成するステップであって、前記仮想コンテンツが、仮想ディスプレイと、前記仮想ディスプレイの外側に位置する複数の仮想オブジェクトと、を含む、ステップと、
     前記複数の仮想オブジェクトからの少なくとも１つの仮想オブジェクトの選択を受信するステップと、
     前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングするステップと、
     前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングした後に、前記少なくとも１つの仮想オブジェクトを動かす意図の表現なしに、前記仮想ディスプレイの位置を変更する意図を示す入力を受信するステップと、
     前記入力に応答して前記仮想ディスプレイの前記位置を変更するステップと、を含み、
     前記仮想ディスプレイの前記位置を変更するステップにより、前記少なくとも１つの仮想オブジェクトの前記仮想ディスプレイへの前記ドッキングの結果として、前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイと共に動かす、非一時的コンピュータ可読媒体。
182. 前記動作が、前記少なくとも１つの仮想オブジェクトを第１の位置から第２の位置へ動かすステップをさらに含み、前記第２の位置における前記仮想ディスプレイに対する前記少なくとも１つの仮想オブジェクトの空間的向きが、前記第１の位置における前記仮想ディスプレイに対する前記少なくとも１つの仮想オブジェクトの元の空間的向きに対応する、請求項１８１に記載の非一時的コンピュータ可読媒体。
183. 前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングした後に、前記動作が、
     前記仮想ディスプレイの前記位置の変更をトリガし、前記少なくとも１つの仮想オブジェクトの前記位置の変更をトリガするための第１のユーザ開始入力を受信するステップと、
     前記仮想ディスプレイの前記位置の変更をトリガするための第２のユーザ開始入力を受信するステップであって、前記第２のユーザ開始入力が、前記少なくとも１つの仮想オブジェクトの前記位置の変更のためのトリガを除外する、ステップと、
     前記第１のユーザ開始入力に応答して前記仮想ディスプレイおよび前記少なくとも１つの仮想オブジェクトの前記位置を変更するステップと、
     前記第２のユーザ開始入力に応答して前記仮想ディスプレイおよび前記少なくとも１つの仮想オブジェクトの前記位置を変更するステップと、をさらに含む、請求項１８１に記載の非一時的コンピュータ可読媒体。
184. 前記動作が、前記少なくとも１つの仮想オブジェクトの前記位置の変更をトリガするが、前記仮想ディスプレイの前記位置の変更を除外する第３のユーザ開始入力を受信するステップと、前記第３のユーザ開始入力に応答して、前記仮想ディスプレイおよび前記少なくとも１つの仮想オブジェクトの前記位置を変更するステップと、をさらに含む、請求項１８３に記載の非一時的コンピュータ可読媒体。
185. 前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングするステップが、データを交換するために前記少なくとも１つの仮想オブジェクトと前記仮想ディスプレイとの間の通信リンクを開き、前記動作が、前記通信リンクを介して前記少なくとも１つの仮想オブジェクトからデータを検索し、前記検索されたデータを前記仮想ディスプレイに表示するステップをさらに含む、請求項１８１に記載の非一時的コンピュータ可読媒体。
186. 前記少なくとも１つの仮想オブジェクトと前記仮想ディスプレイとの間の関連付けの持続期間は時間に依存する、請求項１８１に記載の非一時的コンピュータ可読媒体。
187. 前記動作が、
     第１の期間中の前記仮想ディスプレイの前記位置の変更に応答して、前記第１の期間中に前記仮想ディスプレイと共に前記少なくとも１つの仮想オブジェクトを動かすステップと、
     前記第１の期間とは異なる第２の期間中の前記仮想ディスプレイの前記位置の第２の変更に応答して、前記第２の期間中に前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイから分離するステップと、をさらに含む、請求項１８６に記載の非一時的コンピュータ可読媒体。
188. 前記仮想ディスプレイと共に前記少なくとも１つの仮想オブジェクトを選択的に動かすステップが地理的位置に依存する、請求項１８１に記載の非一時的コンピュータ可読媒体。
189. 前記動作が、
     第１の地理的位置にある前記装着型エクステンデッド・リアリティ機器が検出されると、前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイと共に動かすステップと、
     前記第１の地理的位置とは異なる第２の地理的位置にある前記装着型エクステンデッド・リアリティ機器が検出されると、前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイから分離するステップと、をさらに含む、請求項１８８に記載の非一時的コンピュータ可読媒体。
190. 前記動作が、
     前記複数の仮想オブジェクトから追加の仮想オブジェクトの選択を受信するステップと、
     前記追加の仮想オブジェクトを前記少なくとも１つの仮想オブジェクトにドッキングするステップと、
     前記追加の仮想オブジェクトを前記少なくとも１つの仮想オブジェクトにドッキングした後に、第２の入力を受信するステップであって、前記第２の入力が、前記少なくとも１つの仮想オブジェクトまたは前記追加の仮想オブジェクトのいずれかを動かす第２の意図の表現なしに、前記仮想ディスプレイの前記位置を変更する第２の意図を示す、ステップと、
     前記第２の入力に応答して前記仮想ディスプレイの前記位置を変更するステップと、をさらに含み、
     前記仮想ディスプレイの前記位置を変更するステップにより、前記少なくとも１つの仮想オブジェクトの前記仮想ディスプレイへのドッキングおよび前記追加の仮想オブジェクトの前記少なくとも１つの仮想オブジェクトへのドッキングの結果として、前記少なくとも１つの仮想オブジェクトおよび前記追加の仮想オブジェクトを前記仮想ディスプレイと共に動かす、請求項１８１に記載の非一時的コンピュータ可読媒体。
191. 前記動作が、
     前記仮想ディスプレイを物理オブジェクトにドッキングするステップと、
     前記仮想ディスプレイを前記物理オブジェクトにドッキングした後に、前記物理オブジェクトの動きを判定するために、前記装着型エクステンデッド・リアリティ機器によって取り込まれた画像データを解析するステップと、
     前記物理オブジェクトの前記判定された動きに応答して、前記仮想ディスプレイおよび前記少なくとも１つの仮想オブジェクトの前記位置を変更するステップと、をさらに含む、請求項１８１に記載の非一時的コンピュータ可読媒体。
192. 前記物理オブジェクトが入力デバイスであり、前記動作が、前記物理オブジェクトの前記判定された動きに応答して前記仮想ディスプレイおよび前記少なくとも１つの仮想オブジェクトの向きを変更するステップをさらに含む、請求項１９１に記載の非一時的コンピュータ可読媒体。
193. 前記仮想ディスプレイの前記物理オブジェクトへの前記ドッキングが、前記少なくとも１つの仮想オブジェクトの前記仮想ディスプレイへの前記ドッキングの前に行われ、前記動作が、前記仮想ディスプレイを前記物理オブジェクトからドッキング解除するための入力を受信するステップと、前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイから自動的にドッキング解除するステップと、をさらに含む、請求項１９１に記載の非一時的コンピュータ可読媒体。
194. 前記動作が、前記物理オブジェクトの前記判定された動きが選択されたしきい値よりも小さい場合に、前記仮想ディスプレイおよび前記少なくとも１つの仮想オブジェクトの前記位置を変更することを回避するステップをさらに含む、請求項１９１に記載の非一時的コンピュータ可読媒体。
195. 前記動作が、第１の仮想表面上に前記仮想ディスプレイを表示するステップと、前記第１の表面と少なくとも部分的に一致する第２の表面上に前記少なくとも１つの仮想オブジェクトを表示するステップと、をさらに含む、請求項１８１に記載の非一時的コンピュータ可読媒体。
196. 前記複数の仮想オブジェクトから選択された前記少なくとも１つの仮想オブジェクトが、第１の表面上に表示される第１の仮想オブジェクトと、前記第１の表面と少なくとも部分的に一致する第２の表面上に表示される第２の仮想オブジェクトと、を含む、請求項１８１に記載の非一時的コンピュータ可読媒体。
197. 前記動作が、前記第１の表面と前記第２の表面との間の平面カーソル動きを変更するステップをさらに含む、請求項１９６に記載の非一時的コンピュータ可読媒体。
198. 前記動作が、
     少なくとも前記仮想ディスプレイと前記複数の仮想オブジェクトのうちの特定の仮想オブジェクトとによって少なくとも部分的に遮られた実世界イベントを検出するために、前記装着型エクステンデッド・リアリティ機器によって取り込まれた画像データを解析するステップであって、前記特定の仮想オブジェクトが前記少なくとも１つの仮想オブジェクトとは異なる、ステップと、
     少なくとも前記仮想ディスプレイおよび前記特定の仮想オブジェクトによって少なくとも部分的に遮られた前記実世界イベントの前記検出に応答して、前記仮想ディスプレイおよび前記少なくとも１つの仮想オブジェクトを第１の方向に動かし、前記特定の仮想オブジェクトを第２の方向に動かすステップであって、前記第２の方向が前記第１の方向とは異なる、ステップと、をさらに含む、請求項１８１に記載の非一時的コンピュータ可読媒体。
199. エクステンデッド・リアリティ環境において仮想オブジェクトを仮想ディスプレイ画面にドッキングするための方法であって、
     装着型エクステンデッド・リアリティ機器を介して提示するための仮想コンテンツを生成するステップであって、前記仮想コンテンツが、仮想ディスプレイと、前記仮想ディスプレイの外側に位置する複数の仮想オブジェクトと、を含む、ステップと、
     前記複数の仮想オブジェクトからの少なくとも１つの仮想オブジェクトの選択を受信するステップと、
     前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングするステップと、
     前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングした後に、前記少なくとも１つの仮想オブジェクトを動かす意図の表現なしに、前記仮想ディスプレイの位置を変更する意図を示す入力を受信するステップと、
     前記入力に応答して前記仮想ディスプレイの前記位置を変更するステップと、を含み、
     前記仮想ディスプレイの前記位置を変更するステップにより、前記少なくとも１つの仮想オブジェクトの前記仮想ディスプレイへの前記ドッキングの結果として、前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイと共に動かす、方法。
200. エクステンデッド・リアリティ環境において仮想オブジェクトを仮想ディスプレイ画面にドッキングするためのシステムであって、
     少なくとも１つのプロセッサであって、
     装着型エクステンデッド・リアリティ機器を介して提示するための仮想コンテンツを生成し、前記仮想コンテンツが、仮想ディスプレイと、仮想ディスプレイの外側に位置する複数の仮想オブジェクトと、を含み、
     前記複数の仮想オブジェクトからの少なくとも１つの仮想オブジェクトの選択を受信し、
     前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングし、
     前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイにドッキングした後に、前記少なくとも１つの仮想オブジェクトを動かす意図の表現なしに、前記仮想ディスプレイの位置を変更する意図を示す入力を受信し、
     前記入力に応答して前記仮想ディスプレイの前記位置を変更し、
     前記仮想ディスプレイの前記位置を変更するステップにより、前記少なくとも１つの仮想オブジェクトの前記仮想ディスプレイへの前記ドッキングの結果として、前記少なくとも１つの仮想オブジェクトを前記仮想ディスプレイと共に動かす、ように構成された少なくとも１つのプロセッサを含むシステム。
201. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、選択的仮想オブジェクト表示変更を実施するための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作が、
     装着型エクステンデッド・リアリティ機器を介してエクステンデッド・リアリティ環境を生成するステップであって、前記エクステンデッド・リアリティ環境が、物理オブジェクトに関連付けられた第１の仮想平面と、アイテムに関連付けられた第２の仮想平面と、を含み、前記第２の仮想平面が前記第１の仮想平面を横切る方向に延在する、ステップと、
     前記第１の仮想平面に関連付けられた第１の位置に第１の組の仮想オブジェクトをドッキングするための第１の命令にアクセスするステップと、
     前記第２の仮想平面に関連付けられた第２の位置に第２の組の仮想オブジェクトをドッキングするための第２の命令にアクセスするステップと、
     前記物理オブジェクトの動きに関連付けられた第１の入力を受信するステップと、
     前記第１の入力の受信に応答して、前記第２の組の仮想オブジェクトを前記第２の位置に維持しながら、前記物理オブジェクトの前記動きに対応するやり方で前記第１の組の仮想オブジェクトの表示の変更を生じさせるステップと、
     前記アイテムの動きに関連付けられた第２の入力を受信するステップと、
     前記第２の入力の受信に応答して、前記第１の組の仮想オブジェクトの前記第１の位置を維持しながら、前記アイテムの前記動きに対応するやり方で前記第２の組の仮想オブジェクトの表示の変更を生じさせるステップと、を含む、非一時的コンピュータ可読媒体。
202. 前記第１の入力の受信に応答して前記第１の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップが、前記物理オブジェクトの前記動きに対応するやり方で前記第１の組の仮想オブジェクトを動かすステップを含み、前記第２の入力の受信に応答して前記第２の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップが、前記アイテムの前記動きに対応するやり方で前記第２の組の仮想オブジェクトを動かすステップを含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
203. 前記第１の入力の受信に応答して前記第１の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップが、前記第１の組の仮想オブジェクトの少なくとも１つの視覚特性を変更するステップを含み、前記第２の入力の受信に応答して前記第２の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップが、前記第２の組の仮想オブジェクトの少なくとも１つの視覚特性を変更するステップを含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
204. 前記第１の仮想平面が平坦であり、前記第２の仮想平面が湾曲している、請求項２０１に記載の非一時的コンピュータ可読媒体。
205. 前記物理オブジェクトが物理表面上に位置し、前記第１の仮想平面が前記物理表面の寸法を超えて延在する、請求項２０１に記載の非一時的コンピュータ可読媒体。
206. 前記物理オブジェクトがコンピューティングデバイスであり、前記第１の入力が前記コンピューティングデバイスに関連付けられた少なくとも１つのモーションセンサから受信したモーションデータを含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
207. 前記動作が、前記物理オブジェクトの前記動きがしきい値よりも大きいかどうかを判定するために前記モーションデータを解析するステップと、前記物理オブジェクトの前記動きが前記しきい値よりも大きい場合に前記第１の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップと、前記物理オブジェクトの前記動きが前記しきい値よりも小さい場合に前記第１の組の仮想オブジェクトの前記表示を維持するステップと、をさらに含む、請求項２０６に記載の非一時的コンピュータ可読媒体。
208. 前記物理オブジェクトは無生物であり、前記第１の入力が、前記装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから受信した画像データを含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
209. 前記動作が、前記物理オブジェクトの前記動きが前記装着型エクステンデッド・リアリティ機器のユーザによって促されたかどうかを判定するために前記画像データを解析するステップと、前記物理オブジェクトの前記動きが前記ユーザによって促された場合に前記第１の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップと、前記物理オブジェクトの前記動きが前記ユーザによって促されなかった場合に前記第１の組の仮想オブジェクトの前記表示を維持するステップと、をさらに含む、請求項２０８に記載の非一時的コンピュータ可読媒体。
210. 前記物理オブジェクトの前記動きが、前記物理オブジェクトの新しい位置への動きであり、前記動作が、
     前記第１の組の仮想オブジェクトが前記新しい位置に近接して現れるように、前記第１の組の仮想オブジェクトの前記表示を更新するステップと、
     前記新たな位置が、前記物理オブジェクトが元々位置していた物理的表面から分離されているという判定に応答して、前記第１の組の仮想オブジェクトの前記表示を変更するステップと、をさらに含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
211. 前記第１の組の仮想オブジェクトの前記表示を変更するステップが、前記第１の組の仮想オブジェクトを消滅させるステップ、前記第１の組の仮想オブジェクトの少なくとも１つの視覚特性を変更するステップ、または前記第１の組の仮想オブジェクトの最小化バージョンを表示するステップのうちの少なくとも１つを含む、請求項２１０に記載の非一時的コンピュータ可読媒体。
212. 前記アイテムが仮想オブジェクトであり、前記第２の入力が、前記装着型エクステンデッド・リアリティ機器に接続可能な入力デバイスから受信したポインティングデータを含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
213. 前記動作が、前記仮想オブジェクトの所望の動きを示すカーソルアクションを識別するために前記ポインティングデータを解析するステップと、前記仮想オブジェクトの前記所望の動きに対応するやり方で前記第２の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップと、をさらに含む、請求項２１２に記載の非一時的コンピュータ可読媒体。
214. 前記アイテムが仮想オブジェクトであり、前記第２の入力は前記装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから受信した画像データを含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
215. 前記動作が、前記仮想オブジェクトの所望の動きを示すハンドジェスチャを識別するために前記画像データを解析するステップと、前記仮想オブジェクトの前記所望の動きに対応するやり方で前記第２の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップと、をさらに含む、請求項２１４に記載の非一時的コンピュータ可読媒体。
216. 前記アイテムが仮想オブジェクトであり、前記仮想オブジェクトの前記動きが、前記仮想オブジェクトの寸法または向きの少なくとも一方の変更を含み、前記動作が、前記仮想オブジェクトの前記変更に対応するやり方で前記第２の組の仮想オブジェクトの寸法または向きの少なくとも一方を変更するステップをさらに含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
217. 前記エクステンデッド・リアリティ環境が、前記第１の仮想平面に関連付けられ、かつ前記アイテムにドッキングされた仮想オブジェクトを含み、前記動作が、
     前記第１の入力の受信に応答して、前記仮想オブジェクトの表示の位置を維持しながら、前記物理オブジェクトの前記動きに対応するやり方で前記第１の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップと、
     前記第２の入力の受信に応答して、前記第２の組の仮想オブジェクトの前記表示の前記変更を生じさせ、前記アイテムの前記動きに対応するやり方で前記仮想オブジェクトの前記表示を変更するステップと、をさらに含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
218. 前記エクステンデッド・リアリティ環境が、前記第２の仮想平面に関連付けられ、かつ前記物理オブジェクトにドッキングされた仮想オブジェクトを含み、前記動作が、
     前記第１の入力の受信に応答して、前記第１の組の仮想オブジェクトの前記表示の前記変更、および前記物理オブジェクトの前記動きに対応するやり方での前記仮想オブジェクトの表示の変更を生じさせるステップと、
     前記第２の入力の受信に応答して、前記仮想オブジェクトの前記表示の位置を維持しながら、前記アイテムの前記動きに対応するやり方で前記第２の組の仮想オブジェクトの前記表示の前記変更を生じさせるステップと、をさらに含む、請求項２０１に記載の非一時的コンピュータ可読媒体。
219. 選択的仮想オブジェクト表示変更を実施するための方法であって、
     装着型エクステンデッド・リアリティ機器を介してエクステンデッド・リアリティ環境を生成するステップであって、前記エクステンデッド・リアリティ環境が、物理オブジェクトに関連付けられた第１の仮想平面と、アイテムに関連付けられた第２の仮想平面と、を含み、前記第２の仮想平面が前記第１の仮想平面を横切る方向に延在する、ステップと、
     前記第１の仮想平面に関連付けられた第１の位置に第１の組の仮想オブジェクトをドッキングするための第１の命令にアクセスするステップと、
     前記第２の仮想平面に関連付けられた第２の位置に第２の組の仮想オブジェクトをドッキングするための第２の命令にアクセスするステップと、
     前記物理オブジェクトの動きに関連付けられた第１の入力を受信するステップと、
     前記第１の入力の受信に応答して、前記第２の組の仮想オブジェクトを前記第２の位置に維持しながら、前記物理オブジェクトの前記動きに対応するやり方で前記第１の組の仮想オブジェクトの表示の変更を生じさせるステップと、
     前記アイテムの動きに関連付けられた第２の入力を受信するステップと、
     前記第２の入力の受信に応答して、前記第１の組の仮想オブジェクトの前記第１の位置を維持しながら、前記アイテムの前記動きに対応するやり方で前記第２の組の仮想オブジェクトの表示の変更を生じさせるステップと、を含む方法。
220. 選択的仮想オブジェクト表示変更を実施するためのシステムであって、
     少なくとも１つのプロセッサであって、
     装着型エクステンデッド・リアリティ機器を介してエクステンデッド・リアリティ環境を生成し、前記エクステンデッド・リアリティ環境が、物理オブジェクトに関連付けられた第１の仮想平面と、アイテムに関連付けられた第２の仮想平面と、を含み、前記第２の仮想平面が前記第１の仮想平面を横切る方向に延在し、
     前記第１の仮想平面に関連付けられた第１の位置に第１の組の仮想オブジェクトをドッキングするための第１の命令にアクセスし、
     前記第２の仮想平面に関連付けられた第２の位置に第２の組の仮想オブジェクトをドッキングするための第２の命令にアクセスし、
     前記物理オブジェクトの動きに関連付けられた第１の入力を受信し、
     前記第１の入力の受信に応答して、前記第２の組の仮想オブジェクトを前記第２の位置に維持しながら、前記物理オブジェクトの前記動きに対応するやり方で前記第１の組の仮想オブジェクトの表示の変更を生じさせ、
     前記アイテムの動きに関連付けられた第２の入力を受信し、
     前記第２の入力の受信に応答して、前記第１の組の仮想オブジェクトの前記第１の位置を維持しながら、前記アイテムの前記動きに対応するやり方で前記第２の組の仮想オブジェクトの表示の変更を生じさせる、ように構成された少なくとも１つのプロセッサを含むシステム。
221. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、仮想コンテンツを提示するための表示構成を決定するための動作を実行させる命令を格納する非一時的コンピュータ可読媒体であって、前記動作が、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、前記装着型エクステンデッド・リアリティ機器が複数の入力デバイスとペアリングされるように構成され、各入力デバイスがデフォルト表示設定に関連付けられている、ステップと、
     表面上に配置された特定の入力デバイスを検出するために前記画像データを解析するステップと、
     前記特定の入力デバイスのための少なくとも１つの使用パラメータの値を決定するステップと、
     前記特定の入力デバイスに関連付けられたデフォルト表示設定をメモリから検索するステップと、
     前記少なくとも１つの使用パラメータの前記値および前記検索されたデフォルト表示設定に基づいて、仮想コンテンツを提示するための表示構成を決定するステップと、
     前記決定された表示構成に従って前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの提示を生じさせるステップと、を含む、非一時的コンピュータ可読媒体。
222. 前記動作が、前記特定の入力デバイスがホームキーボードであるか職場のキーボードであるかを判定するステップと、前記特定の入力デバイスがホームキーボードであるという判定に応答して、前記メモリから第１のデフォルト表示設定を検索するステップと、前記特定の入力デバイスが職場のキーボードであるという判定に応答して、前記メモリから第２のデフォルト表示設定を検索するステップであって、前記第２のデフォルト表示設定が前記第１のデフォルト表示設定とは異なる、ステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
223. 前記動作が、前記特定の入力デバイスが個人用キーボードであるか公共用キーボードであるかを判定するステップと、前記特定の入力デバイスが個人用キーボードであるという判定に応答して、前記メモリから第１のデフォルト表示設定を検索するステップと、前記特定の入力デバイスが公共用キーボードであるという判定に応答して、前記メモリから第２のデフォルト表示設定を検索するステップであって、前記第２のデフォルト表示設定が前記第１のデフォルト表示設定とは異なる、ステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
224. 前記動作が、前記特定の入力デバイスがキーベースのキーボードであるかタッチスクリーンベースのキーボードであるかを判定するステップと、前記特定の入力デバイスがキーベースのキーボードであるという判定に応答して、前記メモリから第１のデフォルト表示設定を検索するステップと、前記特定の入力デバイスがタッチスクリーンベースのキーボードであるという判定に応答して、前記メモリから第２のデフォルト表示設定を検索するステップであって、前記第２のデフォルト表示設定が前記第１のデフォルト表示設定とは異なる、ステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
225. 前記動作が、前記特定の入力デバイスを前記装着型エクステンデッド・リアリティ機器にペアリングするステップと、前記複数の入力デバイスを異なるデフォルト表示設定に関連付ける記憶された情報にアクセスするステップと、前記アクセスされた記憶された情報から、前記ペアリングされた特定の入力デバイスに関連付けられた前記デフォルト表示設定を検索するステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
226. 前記特定の入力デバイスの前記装着型エクステンデッド・リアリティ機器への前記ペアリングが、前記画像データに描かれた視覚コードの検出に基づく、請求項５に記載の非一時的コンピュータ可読媒体。
227. 前記特定の入力デバイスの前記装着型エクステンデッド・リアリティ機器への前記ペアリングが、前記特定の入力デバイスに含まれる発光体によって発光され、かつ前記装着型エクステンデッド・リアリティ機器に含まれるセンサによって取り込まれた光の検出に基づく、請求項５に記載の非一時的コンピュータ可読媒体。
228. 前記表示構成を決定するステップが、前記少なくとも１つの使用パラメータの前記値に基づいて前記検索されたデフォルト表示設定を変更するステップを含む、請求項１に記載の非一時的コンピュータ可読媒体。
229. 前記メモリから検索された前記デフォルト表示設定が、前記仮想コンテンツを提示するための前記装着型エクステンデッド・リアリティ機器からのデフォルト距離を含む、請求項１に記載の非一時的コンピュータ可読媒体。
230. 前記装着型エクステンデッド・リアリティ機器を介して提示される前記仮想コンテンツが１つまたは複数の仮想画面を含み、前記デフォルト表示設定が、デフォルトの仮想画面数、デフォルトの仮想画面サイズ、デフォルトの仮想画面の向き、またはデフォルトの仮想画面の境界の構成のうちの少なくとも１つを含む、請求項１に記載の非一時的コンピュータ可読媒体。
231. 前記メモリから検索された前記デフォルト表示設定が、前記仮想コンテンツのデフォルトの不透明度、前記仮想コンテンツのデフォルトの配色、または前記仮想コンテンツのデフォルトの輝度レベルのうちの少なくとも１つを含む、請求項１に記載の非一時的コンピュータ可読媒体。
232. 前記デフォルト表示設定が、前記仮想コンテンツのためのオペレーティングシステムのデフォルト選択、起動アプリケーションのデフォルト選択、起動仮想オブジェクトのデフォルト選択、またはエクステンデッド・リアリティ環境における前記選択された起動仮想オブジェクトのデフォルト配置のうちの少なくとも１つを含む、請求項１に記載の非一時的コンピュータ可読媒体。
233. 前記動作が、前記画像データ、前記特定の入力デバイスから受信したデータ、または前記装着型エクステンデッド・リアリティ機器から受信したデータの解析のうちの少なくとも１つに基づいて、前記特定の入力デバイスの前記少なくとも１つの使用パラメータの前記値を決定するステップをさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
234. 前記少なくとも１つの使用パラメータが、前記装着型エクステンデッド・リアリティ機器からの前記特定の入力デバイスの距離を反映しており、前記動作が、前記距離がしきい値よりも大きい場合に第１の表示構成を決定し、前記距離が前記しきい値よりも小さい場合に第２の表示構成を決定するステップをさらに含み、前記第２の表示構成が前記第１の表示構成とは異なる、請求項１に記載の非一時的コンピュータ可読媒体。
235. 前記少なくとも１つの使用パラメータが、前記装着型エクステンデッド・リアリティ機器のユーザの姿勢を反映しており、前記動作が、第１の姿勢が識別された場合に第１の表示構成を決定し、第２の姿勢が識別された場合に第２の表示構成を決定するステップをさらに含み、前記第２の表示構成が前記第１の表示構成とは異なる、請求項１に記載の非一時的コンピュータ可読媒体。
236. 前記少なくとも１つの使用パラメータが、前記特定の入力デバイスが配置される前記表面のタイプを反映しており、前記動作が、前記表面の第１のタイプが識別された場合に第１の表示構成を決定し、前記表面の第２のタイプが識別された場合に第２の表示構成を決定するステップをさらに含み、前記第２の表示構成が前記第１の表示構成とは異なる、請求項１に記載の非一時的コンピュータ可読媒体。
237. 前記少なくとも１つの使用パラメータが、前記特定の入力デバイスに関連付けられたバッテリ充電データを反映しており、前記動作が、前記特定の入力デバイスがバッテリで動作する場合に第１の表示構成を決定し、前記特定の入力デバイスが外部電源に接続されている場合に第２の表示構成を決定するステップをさらに含み、前記第２の表示構成が前記第１の表示構成とは異なる、請求項１に記載の非一時的コンピュータ可読媒体。
238. 前記複数の入力デバイスが、少なくとも第１の入力デバイスおよび第２の入力デバイスを含み、前記第１の入力デバイスおよび前記第２の入力デバイスは視覚的に類似しており、前記第１の入力デバイスおよび前記第２の入力デバイスは異なるデフォルト表示設定に関連付けられており、前記動作が、
     前記特定の入力デバイスの近傍にあるオブジェクトを識別するために、前記画像データを解析するステップと、
     前記特定の入力デバイスの前記近傍の前記オブジェクトの前記識別に基づいて、前記特定の入力デバイスが前記第１の入力デバイスであり、前記第２の入力デバイスではないと判定するステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
239. 仮想コンテンツを提示するための表示構成を決定するための方法であって、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信するステップであって、前記装着型エクステンデッド・リアリティ機器が複数の入力デバイスとペアリングされるように構成され、各入力デバイスがデフォルト表示設定に関連付けられている、ステップと、
     表面上に配置された特定の入力デバイスを検出するために前記画像データを解析するステップと、
     前記特定の入力デバイスのための少なくとも１つの使用パラメータの値を決定するステップと、
     前記特定の入力デバイスに関連付けられたデフォルト表示設定をメモリから検索するステップと、
     前記少なくとも１つの使用パラメータの前記値および前記検索されたデフォルト表示設定に基づいて、仮想コンテンツを提示するための表示構成を決定するステップと、
     前記決定された表示構成に従って前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの提示を生じさせるステップと、を含む方法。
240. 仮想コンテンツを提示するための表示構成を決定するためのシステムであって、
     少なくとも１つのプロセッサであって、
     装着型エクステンデッド・リアリティ機器に関連付けられた画像センサから画像データを受信し、前記装着型エクステンデッド・リアリティ機器が複数の入力デバイスとペアリングされるように構成され、各入力デバイスがデフォルト表示設定に関連付けられており、
     表面上に配置された特定の入力デバイスを検出するために前記画像データを解析し、
     前記特定の入力デバイスのための少なくとも１つの使用パラメータの値を決定し、
     前記特定の入力デバイスに関連付けられたデフォルト表示設定をメモリから検索し、
     前記少なくとも１つの使用パラメータの前記値および前記検索されたデフォルト表示設定に基づいて、仮想コンテンツを提示するための表示構成を決定し、
     前記決定された表示構成に従って前記装着型エクステンデッド・リアリティ機器を介して前記仮想コンテンツの提示を生じさせる、ように構成された少なくとも１つのプロセッサを含むシステム。
241. エクステンデッド・リアリティ・ディスプレイで物理ディスプレイを拡張するように構成された動作を実行するための命令を格納する非一時的コンピュータ可読媒体であって、前記動作が、
     物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信するステップと、
     前記物理ディスプレイ上に提示された第１の部分および前記物理ディスプレイの境界を越えて延在する第２の部分を有する第２のオブジェクトを表す第２の信号を受信するステップと、
     前記物理ディスプレイ上に最初に提示され、その後前記物理ディスプレイの境界を越えて全体的に動いた第３のオブジェクトを表す第３の信号を受信するステップと、
     前記第２の信号の受信に応答して、前記第２のオブジェクトの前記第１の部分が前記物理ディスプレイ上に提示されている間に、前記第２のオブジェクトの前記第２の部分を仮想空間内の装着型エクステンデッド・リアリティ機器を介して提示させるステップと、
     前記第３の信号の受信に応答して、前記物理ディスプレイ上に全体的に提示された前記第３のオブジェクトに続いて、前記仮想空間内の前記装着型エクステンデッド・リアリティ機器を介して前記第３のオブジェクトを全体的に提示させるステップと、を含む、非一時的コンピュータ可読媒体。
242. 前記第１のオブジェクト、前記第２のオブジェクト、または前記第３のオブジェクトのうちの少なくとも１つが、アプリケーションのウィジェットまたはアイコンのうちの少なくとも一方を含む、請求項１に記載の非一時的コンピュータ可読媒体。
243. 前記第２のオブジェクトが、前記第１のオブジェクトまたは前記第３のオブジェクトのうちの少なくとも一方と部分的に重なる、請求項１に記載の非一時的コンピュータ可読媒体。
244. 前記第１のオブジェクト、前記第２のオブジェクト、および前記第３のオブジェクトが、前記物理ディスプレイ上および前記仮想空間内に同時に提示される、請求項１に記載の非一時的コンピュータ可読媒体。
245. 前記物理ディスプレイが、前記物理ディスプレイ上に提示されるテキストを生成するように構成された入力デバイスの一部である、請求項１に記載の非一時的コンピュータ可読媒体。
246. 前記物理ディスプレイが、前記仮想空間に提示されるテキストを生成するように構成された入力デバイスの一部である、請求項１に記載の非一時的コンピュータ可読媒体。
247. 前記第１の信号、前記第２の信号、または前記第３の信号のうちの少なくとも１つが、前記物理ディスプレイを制御するオペレーティングシステムから受信される、請求項１に記載の非一時的コンピュータ可読媒体。
248. 前記第１の信号、前記第２の信号、または前記第３の信号のうちの少なくとも１つが、前記装着型エクステンデッド・リアリティ機器に関連付けられたポインティングデバイスから受信される、請求項１に記載の非一時的コンピュータ可読媒体。
249. 前記動作が、
     前記物理ディスプレイの画像を表す画像センサ信号を受信するステップと、
     前記物理ディスプレイの境界縁部を確認するステップと、
     前記確認された境界縁部に基づいて前記仮想空間を前記物理ディスプレイに登録するステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
250. 前記物理ディスプレイが、前記境界縁部を定義するフレームを含み、前記第２のオブジェクトの前記第２の部分を前記仮想空間内に提示させるステップが、前記フレームの一部の上に前記第２のオブジェクトの前記第２の部分の一部を重ねるステップを含む、請求項１１に記載の非一時的コンピュータ可読媒体。
251. 前記動作が、前記物理ディスプレイ上に提示される前記第２のオブジェクトの前記第１の部分の視覚パラメータを決定するために前記画像センサ信号を解析するステップをさらに含み、前記第２のオブジェクトの前記第２の部分を前記仮想空間内に提示させるステップが、前記決定された視覚パラメータに基づいて前記第２のオブジェクトの前記第２の部分の表示パラメータを設定するステップを含む、請求項１１に記載の非一時的コンピュータ可読媒体。
252. 前記動作が、
     前記装着型エクステンデッド・リアリティ機器のユーザが前記物理ディスプレイから歩いて遠ざかっていることを判定するステップと、
     前記判定に応答して、前記第２のオブジェクトの前記第１の部分および前記第２の部分の両方を前記仮想空間内に提示させ、前記第１のオブジェクトが前記物理ディスプレイ上に残っている間に前記ユーザと共に動かすステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
253. 前記動作が、
     最初に第１の物理ディスプレイ上に提示され、後でエクステンデッド・リアリティにおいて仮想的に提示され、続いて第２の物理ディスプレイ上に提示される第４のオブジェクトを表す第４の信号を受信するステップと、
     前記第４の信号の受信に応答して、前記第４のオブジェクトを前記第２の物理ディスプレイ上に提示させるステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
254. 前記第４のオブジェクトを前記第２の物理ディスプレイ上に提示させるステップが、前記第４のオブジェクトを反映したデータを前記第２の物理ディスプレイに関連付けられたコンピューティングデバイスへ送信するステップを含む、請求項１５に記載の非一時的コンピュータ可読媒体。
255. 前記動作が、
     タイプされたテキストを示す入力信号を受信するステップと、
     前記タイプされたテキストを第１のディスプレイおよび第２のディスプレイに同時に表示するステップであって、前記第２のディスプレイが、キーボードに隣接して配置されたエクステンデッド・リアリティ表示領域である、ステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
256. 前記第１のディスプレイが前記物理ディスプレイである、請求項１７に記載の非一時的コンピュータ可読媒体。
257. 前記第１のディスプレイが、前記第２のディスプレイ以外の仮想ディスプレイである、請求項１７に記載の非一時的コンピュータ可読媒体。
258. 前記動作が、
     第１の部分および第２の部分を有する第４のオブジェクトを表す第４の信号を受信するステップであって、最初に、前記第４のオブジェクトが前記物理ディスプレイ上に全体的に提示される、ステップと、
     前記第４のオブジェクトの前記第１の部分が前記物理ディスプレイ上に提示され、前記第４のオブジェクトの前記第２の部分が前記物理ディスプレイの前記境界を越えて延在している位置に、前記第４のオブジェクトが動いたことを示す第５の信号を受信するステップと、
     前記第５の信号に応答して、前記第４のオブジェクトの前記第１の部分が前記物理ディスプレイ上に提示されている間に、前記第４のオブジェクトの前記第２の部分を前記仮想空間内の前記装着型エクステンデッド・リアリティ機器を介して提示させるステップと、
     前記第４のオブジェクトが前記物理ディスプレイの前記境界を越えて全体的に動いたことを示す第６の信号を受信するステップと、
     前記第６の信号の受信に応答して、前記第４のオブジェクトを前記仮想空間内の前記装着型エクステンデッド・リアリティ機器を介して全体的に提示させるステップと、をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
259. エクステンデッド・リアリティ・ディスプレイで物理ディスプレイを拡張するためのシステムであって、前記システムが、
     少なくとも１つのプロセッサであって、
     物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信し、
     前記物理ディスプレイ上に提示された第１の部分および前記物理ディスプレイの境界を越えて延在する第２の部分を有する第２のオブジェクトを表す第２の信号を受信し、
     前記物理ディスプレイ上に最初に提示され、その後前記物理ディスプレイの境界を越えて全体的に動いた第３のオブジェクトを表す第３の信号を受信し、
     前記第２の信号の受信に応答して、前記第２のオブジェクトの前記第１の部分が前記物理ディスプレイ上に提示されている間に、前記第２のオブジェクトの前記第２の部分を仮想空間内の装着型エクステンデッド・リアリティ機器を介して提示させ、
     前記第３の信号の受信に応答して、前記物理ディスプレイ上に全体的に提示された前記第３のオブジェクトに続いて、前記仮想空間内の前記装着型エクステンデッド・リアリティ機器を介して前記第３のオブジェクトを全体的に提示させる、ように構成された少なくとも１つのプロセッサを含むシステム。
260. エクステンデッド・リアリティ・ディスプレイで物理ディスプレイを拡張するための方法であって、
     物理ディスプレイ上に完全に提示された第１のオブジェクトを表す第１の信号を受信するステップと、
     前記物理ディスプレイ上に提示された第１の部分および前記物理ディスプレイの境界を越えて延在する第２の部分を有する第２のオブジェクトを表す第２の信号を受信するステップと、
     前記物理ディスプレイ上に最初に提示され、その後前記物理ディスプレイの境界を越えて全体的に動いた第３のオブジェクトを表す第３の信号を受信するステップと、
     前記第２の信号の受信に応答して、前記第２のオブジェクトの前記第１の部分が前記物理ディスプレイ上に提示されている間に、前記第２のオブジェクトの前記第２の部分を仮想空間内の装着型エクステンデッド・リアリティ機器を介して提示させるステップと、
     前記第３の信号の受信に応答して、前記物理ディスプレイ上に全体的に提示された前記第３のオブジェクトに続いて、前記仮想空間内の前記装着型エクステンデッド・リアリティ機器を介して前記第３のオブジェクトを全体的に提示させるステップと、を含む方法。