(要約)
複合現実システムにおける深度面選択の種々の実施例が、開示される。
ディスプレイシステムは、仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成されることができる。ユーザの眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し得る。ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイと、ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、該1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、該眼のパラメータの推定値を取得するように構成される、処理電子機器とを含むことができる。いくつかの実装では、眼のパラメータは、角膜の曲率の中心(例えば、角膜頂点において測定されるような曲率の中心)を含む。いくつかの実装では、角膜の曲率の中心または角膜の中心は、角膜の一部の曲率の中心または角膜の表面の一部と一致する球状表面の曲率の中心を指す。例えば、いくつかの実装では、角膜の曲率の中心または角膜の中心は、角膜頂点の曲率の中心または角膜頂点の表面の一部と一致する球状表面の曲率の中心を指す。いくつかの実装では、眼のパラメータは、該眼の回転中心を含む。他のパラメータおよび情報も同様に、決定されてもよい。
いくつかの実装では、ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる。いくつかの実装では、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる。
下記に列挙される実施例等の、仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの片眼または両眼に投影する、ディスプレイシステムの種々の実施例が、本明細書に説明される。
パートI
実施例1:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第2の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例2:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ該第1および第2の眼追跡カメラの両方の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例3:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、複数の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
実施例4:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を第1および第2の眼追跡カメラから受信し、それぞれ、第1および第2の眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例5:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1および第2の場所において眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例6:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1の場所および第2の場所において眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ該眼追跡カメラの第1および第2の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例7:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
実施例8:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を眼追跡カメラから受信し、それぞれ、眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例9:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、少なくとも1つの眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1および第2の場所において少なくとも1つの眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該少なくとも1つの眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
パートII
実施例1:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、
第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第2の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心の場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例2:該処理電子機器は、
該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、
該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定する、
ように構成される、実施例1に記載のディスプレイシステム。
実施例3:該処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例2に記載のディスプレイシステム。
実施例4:該処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例3に記載のディスプレイシステム。
実施例5:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例6:該処理電子機器は、
第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、
第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束する、
ように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例7:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例8:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例9:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例10:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例11:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10に記載のディスプレイシステム。
実施例12:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例13:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例14:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例15:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例12、13、または14のいずれかに記載のディスプレイシステム。
実施例16:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例17:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
実施例18:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、
第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ該第1および第2の眼追跡カメラの両方の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例19:該眼の回転中心の推定値を取得するために、処理電子機器は、
複数の眼姿勢に関する複数の閃光反射に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定し、
該複数の眼姿勢に関するユーザの眼の角膜曲率の中心の複数の推定値に基づいて、ユーザの眼の回転中心の推定値を決定する、
ように構成される、実施例18に記載のディスプレイシステム。
実施例20:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、
該複数のエミッタの少なくとも一部および眼追跡カメラの第1のカメラの個別の場所に基づいて、角膜曲率の中心に向かう第1の方向を決定し、
該複数のエミッタの少なくとも一部および眼追跡カメラの第2のカメラの個別の場所に基づいて、角膜曲率の中心に向かう第2の方向を決定し、
該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の中心の推定値を決定する、
ように構成される、実施例19に記載のディスプレイシステム。
実施例21:該処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例20に記載のディスプレイシステム。
実施例22:該処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例21に記載のディスプレイシステム。
実施例23:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例20-22のいずれかに記載のディスプレイシステム。
実施例24:該眼の回転中心の推定値を取得するために、処理電子機器は、
角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成し、
3次元表面に基づいて、ユーザの眼の回転中心の推定値を決定する、
ように構成される、実施例19-23のいずれかに記載のディスプレイシステム。
実施例25:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例24に記載のディスプレイシステム。
実施例26:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球状表面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例24に記載のディスプレイシステム。
実施例27:ユーザの眼の回転中心の推定値を決定するために、処理電子機器は、
3次元表面に対する2つ以上の法線を決定し、
2つ以上の法線の収束の領域を決定する、
ように構成され、収束の領域は、ユーザの眼の回転中心の推定値を備える、実施例24-26のいずれかに記載のディスプレイシステム。
実施例28:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例21-27のいずれかに記載のディスプレイシステム。
実施例29:処理電子機器は、視線標的を使用して、ユーザの眼の角膜をマッピングするように構成される、実施例21-28のいずれかに記載のディスプレイシステム。
実施例30:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例18-29のいずれかに記載のディスプレイシステム。
実施例31:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、実施例18-30のいずれかに記載のディスプレイシステム。
実施例32:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、該角膜は、曲率の中心を有し、
ユーザの眼を結像するように構成される、複数の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、
複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップと、
を含み、該眼の回転中心の推定値を取得するステップは、
複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、
3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、
3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップと、
を含む、方法。
実施例33:ユーザの眼の角膜曲率の複数の推定値を決定するステップは、
複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第1のカメラの場所に基づいて、角膜曲率の中心に向かって指向される第1のベクトルを決定するステップと、
複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第2のカメラの場所に基づいて、角膜曲率の中心に向かって指向される第2のベクトルを決定するステップと、
第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するステップと、
を含む、実施例32に記載の方法。
実施例34:第1の方向は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例33に記載の方法。
実施例35:第2の方向は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例33に記載の方法。
実施例36:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、表面を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
実施例37:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、球体を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
実施例38:ユーザの眼の回転中心の推定値を決定するステップは、
3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、
3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の回転中心の推定値を備える、ステップと、
を含む、実施例32-37のいずれかに記載の方法。
実施例39:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例32-38のいずれかに記載の方法。
実施例40:視線標的を使用して、ユーザの眼の角膜をマッピングするステップをさらに含む、実施例32-39のいずれかに記載の方法。
実施例41:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、
ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、
ユーザの眼の複数の対の捕捉された画像を第1および第2の眼追跡カメラから受信し、
それぞれ、第1および第2の眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、
個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、
3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例42:該処理電子機器は、3次元表面を、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に適合させるように構成される、実施例41に記載のディスプレイシステム。
実施例43:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するために、処理電子機器は、
第1の眼追跡カメラから受信された第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第1のベクトルを決定し、
第2の眼追跡カメラから受信された第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、
第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼の角膜曲率の中心の推定値を取得する、
ように構成される、実施例41または42に記載のディスプレイシステム。
実施例44:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、
対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在する、
ように構成される、実施例43に記載のディスプレイシステム。
実施例45:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域を決定し、収束の領域は、第2のベクトルの方向に沿って延在する、
ように構成される、実施例44に記載のディスプレイシステム。
実施例46:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例41-45のいずれかに記載のディスプレイシステム。
実施例47:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、実施例41-46のいずれかに記載のディスプレイシステム。
実施例48:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
実施例49:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心の場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例50:該処理電子機器は、
該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、
該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定する、
ように構成される、実施例49に記載のディスプレイシステム。
実施例51:該処理電子機器は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例50に記載のディスプレイシステム。
実施例52:該処理電子機器は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例51に記載のディスプレイシステム。
実施例53:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例54:該処理電子機器は、
眼追跡カメラの場所から受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、
眼追跡カメラの場所から受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束する、
ように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例55:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例56:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例57:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例58:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例59:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58に記載のディスプレイシステム。
実施例60:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例61:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例62:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例63:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例60、61、または62のいずれかに記載のディスプレイシステム。
実施例64:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例65:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
実施例66:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の回転中心の場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例67:該眼の回転中心の推定値を取得するために、処理電子機器は、
複数の眼姿勢に関する複数の閃光反射に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定し、
該複数の眼姿勢に関するユーザの眼の角膜曲率の中心の複数の推定値に基づいて、ユーザの眼の回転中心の推定値を決定する、
ように構成される、実施例66に記載のシステム。
実施例68:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、
該複数のエミッタの一部の少なくとも個別の場所および眼追跡カメラの場所に基づいて、角膜曲率の中心に向かう第1の方向を決定し、
該複数のエミッタの少なくとも一部の少なくとも個別の場所および眼追跡カメラの場所に基づいて、角膜曲率の中心に向かう第2の方向を決定し、
該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の中心の推定値を決定する、
ように構成される、実施例67に記載のシステム。
実施例69:該処理電子機器は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例68に記載のディスプレイシステム。
実施例70:該処理電子機器は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例69に記載のディスプレイシステム。
実施例71:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例68-70のいずれかに記載のシステム。
実施例72:該眼の回転中心の推定値を取得するために、処理電子機器は、
角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成し、
3次元表面に基づいて、ユーザの眼の回転中心の推定値を決定する、
ように構成される、実施例19-71のいずれかに記載のシステム。
実施例73:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例72に記載のシステム。
実施例74:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球体を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例73に記載のシステム。
実施例75:ユーザの眼の回転中心の推定値を決定するために、処理電子機器は、
3次元表面に対する2つ以上の法線を決定し、
2つ以上の法線の収束の領域を決定する、
ように構成され、収束の領域は、ユーザの眼の回転中心の推定値を備える、実施例72-74のいずれかに記載のシステム。
実施例76:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例69-75のいずれかに記載のシステム。
実施例77:処理電子機器は、視線標的を使用して、ユーザの眼の角膜をマッピングするように構成される、実施例69-76のいずれかに記載のシステム。
実施例78:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例66-77のいずれかに記載のディスプレイシステム。
実施例79:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、実施例66-78のいずれかに記載のディスプレイシステム。
実施例80:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、該角膜は、曲率の中心を有し、
ユーザの眼を結像するように構成される、眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、
複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップと、を含み、該眼の回転中心の推定値を取得するステップは、
複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、
3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、
3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップと。
を含む、方法。
実施例81:ユーザの眼の角膜曲率の複数の推定値を決定するステップは、
複数の光エミッタの少なくとも一部の場所および眼追跡カメラの場所に基づいて、角膜曲率の中心に向かって指向される第1のベクトルを決定するステップと、
複数の光エミッタの少なくとも一部の場所および眼追跡カメラの場所に基づいて、角膜曲率の中心に向かって指向される第2のベクトルを決定するステップと、
第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するステップと、
を含む、実施例80に記載の方法。
実施例82:第1の方向は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例81に記載の方法。
実施例83:第2の方向は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例82に記載の方法。
実施例84:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、表面を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
実施例85:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、球体を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
実施例86:ユーザの眼の回転中心の推定値を決定するステップは、
3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、
3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の回転中心の推定値を備える、ステップと、
を含む、実施例81-85のいずれかに記載の方法。
実施例87:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例81-86のいずれかに記載の方法。
実施例88:視線標的を使用して、ユーザの眼の角膜をマッピングするステップをさらに含む、実施例81-87のいずれかに記載の方法。
実施例89:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、眼追跡カメラと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
ユーザの眼の複数の対の捕捉された画像を眼追跡カメラから受信し、
それぞれ、眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、
眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、
3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例90:該処理電子機器は、3次元表面を、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に適合させるように構成される、実施例89に記載のディスプレイシステム。
実施例91:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するために、処理電子機器は、
眼追跡カメラの場所から受信された第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第1のベクトルを決定し、
眼追跡カメラの場所から受信された第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、
第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼の角膜曲率の中心の推定値を取得する、
ように構成される、実施例89または90に記載のディスプレイシステム。
実施例92:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、
対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在する、
ように構成される、実施例91に記載のディスプレイシステム。
実施例93:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域を決定し、収束の領域は、第2のベクトルの方向に沿って延在する、
ように構成される、実施例92に記載のディスプレイシステム。
実施例94:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例89-93のいずれかに記載のディスプレイシステム。
実施例95:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、実施例89-94のいずれかに記載のディスプレイシステム。
実施例96:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
実施例97:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、少なくとも1つの眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
第1および第2の場所において少なくとも1つの眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該少なくとも1つの眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例98:該処理電子機器は、
該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第1の場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、
該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第2の場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定する、
ように構成される、実施例97に記載のディスプレイシステム。
実施例99:該処理電子機器は、
少なくとも1つの眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
少なくとも1つの眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例98に記載のディスプレイシステム。
実施例100:該処理電子機器は、
少なくとも1つの眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
少なくとも1つの眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例99に記載のディスプレイシステム。
実施例101:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例102:該処理電子機器は、
少なくとも1つの眼追跡カメラの第1の場所から受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、
少なくとも1つの眼追跡カメラの第2の場所から受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束する、
ように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例103:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例104:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例105:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例106:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例107:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106に記載のディスプレイシステム。
実施例108:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例109:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例110:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例111:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例108、109、または110のいずれかに記載のディスプレイシステム。
実施例112:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例113:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
実施例115:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例116:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる発散量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例117:該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
パートIII
実施例1:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、
第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第2の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、眼のパラメータを推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例2:該処理電子機器は、
該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、第1の方向を決定し、
該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、第2の方向を決定する、
ことによって、該眼のパラメータを推定するように構成される、実施例1に記載のディスプレイシステム。
実施例3:該処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例2に記載のディスプレイシステム。
実施例4:該処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例3に記載のディスプレイシステム。
実施例5:該処理電子機器は、該第1および第2の方向に基づいて、ユーザの眼の該パラメータの場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例6:該処理電子機器は、
第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、該第1の方向を決定し、
第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束する、
ように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例7:該処理電子機器は、第1および第2の方向の収束に基づいて、該パラメータの推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例8:該処理電子機器は、該第1および第2の方向の収束の領域を識別することによって、該パラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例9:該処理電子機器は、異なる眼姿勢に関するユーザの眼の他のパラメータの複数の決定に基づいて、ユーザの眼の付加的パラメータの推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例10:該処理電子機器は、異なる眼姿勢に関するユーザの眼のパラメータの推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例11:該処理電子機器は、異なる眼姿勢に関するユーザの眼の他のパラメータの推定値に対応する、該点の軌跡に基づいて、ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例10に記載のディスプレイシステム。
実施例12:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例13:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、該ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例14:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、該ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例15:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例12、13、または14のいずれかに記載のディスプレイシステム。
実施例16:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該付加的パラメータによって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例17:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
実施例18:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、
第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ該第1および第2の眼追跡カメラの両方の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の第1のパラメータの場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例19:該眼の第1のパラメータの推定値を取得するために、処理電子機器は、
複数の眼姿勢に関する複数の閃光反射に基づいて、ユーザの眼の第2のパラメータの複数の推定値を決定し、
該複数の眼姿勢に関するユーザの眼の第2のパラメータの複数の推定値に基づいて、ユーザの眼の第1のパラメータの推定値を決定する、
ように構成される、実施例18に記載のディスプレイシステム。
実施例20:該ユーザの眼の第2のパラメータの複数の推定値を決定するために、処理電子機器は、
該複数のエミッタの少なくとも一部および眼追跡カメラの第1のカメラの個別の場所に基づいて、第1の方向を決定し、
該複数のエミッタの少なくとも一部および眼追跡カメラの第2のカメラの個別の場所に基づいて、第2の方向を決定し、
該第1および第2の方向に基づいて、ユーザの眼の第2のパラメータの推定値を決定する、
ように構成される、実施例19に記載のディスプレイシステム。
実施例21:該処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例20に記載のディスプレイシステム。
実施例22:該処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例21に記載のディスプレイシステム。
実施例23:該ユーザの眼の第2のパラメータの複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の第2のパラメータの推定値を決定するように構成される、実施例20-22のいずれかに記載のディスプレイシステム。
実施例24:該眼の第1のパラメータの該推定値を取得するために、処理電子機器は、
眼の第2のパラメータの複数の推定値と関連付けられる、3次元表面を生成し、
3次元表面に基づいて、ユーザの眼の第1のパラメータの推定値を決定する、
ように構成される、実施例19-23のいずれかに記載のディスプレイシステム。
実施例25:眼の第2のパラメータの複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を第2のパラメータの複数の推定値に適合させるように構成される、実施例24に記載のディスプレイシステム。
実施例26:第2のパラメータの複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球状表面を第2のパラメータの複数の推定値に適合させるように構成される、実施例24に記載のディスプレイシステム。
実施例27:該ユーザの眼の第1のパラメータの推定値を決定するために、処理電子機器は、
3次元表面に対する2つ以上の法線を決定し、
2つ以上の法線の収束の領域を決定する、
ように構成され、収束の領域は、ユーザの眼の第1のパラメータの推定値を備える、実施例24-26のいずれかに記載のディスプレイシステム。
実施例28:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例21-27のいずれかに記載のディスプレイシステム。
実施例29:処理電子機器は、視線標的を使用するように構成される、実施例21-28のいずれかに記載のディスプレイシステム。
実施例30:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該眼の該第1のパラメータによって決定された位置を有する、実施例18-29のいずれかに記載のディスプレイシステム。
実施例31:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、実施例18-30のいずれかに記載のディスプレイシステム。
実施例32:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、該角膜は、曲率の中心を有し、
ユーザの眼を結像するように構成される、複数の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、
複数の閃光に基づいて、該眼の第1のパラメータを取得するステップと、
を含み、該眼の第1のパラメータを取得するステップは、
複数の閃光に基づいて、ユーザの眼の第2のパラメータの複数の推定値を決定するステップと、
3次元表面を第2のパラメータの複数の推定値から生成するステップと、
3次元表面を使用して、ユーザの眼の第1のパラメータの推定値を決定するステップと、
を含む、方法。
実施例33:ユーザの眼の第2のパラメータの複数の推定値を決定するステップは、
複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第1のカメラの場所に基づいて、指向される第1のベクトルを決定するステップと、
複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第2のカメラの場所に基づいて、指向される第2のベクトルを決定するステップと、
第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の第2のパラメータの推定値を決定するステップと、
を含む、実施例32に記載の方法。
実施例34:第1の方向は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例33に記載の方法。
実施例35:第2の方向は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例33に記載の方法。
実施例36:3次元表面を第2のパラメータの複数の推定値から生成するステップは、表面を第2のパラメータの複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
実施例37:3次元表面を第2のパラメータの複数の推定値から生成するステップは、球体を第2のパラメータの複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
実施例38:ユーザの眼の第1のパラメータの推定値を決定するステップは、
3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、
3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の第1のパラメータの推定値を備える、ステップと、
を含む、実施例32-37のいずれかに記載の方法。
実施例39:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例32-38のいずれかに記載の方法。
実施例40:視線標的を使用するステップをさらに含む、実施例32-39のいずれかに記載の方法。
実施例41:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、
ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、
ユーザの眼の複数の対の捕捉された画像を第1および第2の眼追跡カメラから受信し、
それぞれ、第1および第2の眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の第2のパラメータの推定値を取得し、
個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の推定される第2のパラメータに基づいて、3次元表面を決定し、
3D表面の曲率の中心を識別し、ユーザの眼の第1のパラメータの推定値を取得する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例42:該処理電子機器は、3次元表面を、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の推定される第2のパラメータに適合させるように構成される、実施例41に記載のディスプレイシステム。
実施例43:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の第2のパラメータの推定値を取得するために、処理電子機器は、
第1の眼追跡カメラから受信された第1の画像に基づいて、第1のベクトルを決定し、
第2の眼追跡カメラから受信された第2の画像に基づいて、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、
第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼の第2のパラメータの推定値を取得する、
ように構成される、実施例41または42に記載のディスプレイシステム。
実施例44:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、
対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在する、
ように構成される、実施例43に記載のディスプレイシステム。
実施例45:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域を決定し、収束の領域は、第2のベクトルの方向に沿って延在する、
ように構成される、実施例44に記載のディスプレイシステム。
実施例46:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該第1のパラメータによって決定された位置を有する、実施例41-45のいずれかに記載のディスプレイシステム。
実施例47:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる発散量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、または該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、実施例41-46のいずれかに記載のディスプレイシステム。
実施例48:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
実施例49:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼のパラメータの場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例50:該処理電子機器は、
該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、第1の方向を決定し、
該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、第2の方向を決定する、
ように構成される、実施例49に記載のディスプレイシステム。
実施例51:該処理電子機器は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例50に記載のディスプレイシステム。
実施例52:該処理電子機器は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例51に記載のディスプレイシステム。
実施例53:該処理電子機器は、該第1および第2の方向に基づいて、ユーザの眼の該パラメータの場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例54:該処理電子機器は、
眼追跡カメラの場所から受信された少なくとも1つの第1の画像に基づいて、該第1の方向を決定し、
眼追跡カメラの場所から受信された少なくとも1つの第2の画像に基づいて、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束する、
ように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例55:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の該パラメータの推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例56:該処理電子機器は、該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の該パラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例57:該処理電子機器は、異なる眼姿勢に関するユーザの眼のパラメータの複数の決定に基づいて、付加的パラメータの推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例58:該処理電子機器は、異なる眼姿勢に関するユーザの眼のパラメータの推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例59:該処理電子機器は、異なる眼姿勢に関するユーザの眼の他のパラメータの推定値に対応する、該点の軌跡に基づいて、ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例58に記載のディスプレイシステム。
実施例60:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例61:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例62:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例63:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例60、61、または62のいずれかに記載のディスプレイシステム。
実施例64:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該付加的パラメータによって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例65:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる発散量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、または該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例66:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ該眼追跡カメラの場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の第1のパラメータの場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例67:該眼の第1のパラメータの推定値を取得するために、処理電子機器は、
複数の眼姿勢に関する複数の閃光反射に基づいて、ユーザの眼の第2のパラメータの複数の推定値を決定し、
該複数の眼姿勢に関するユーザの眼の第2のパラメータの複数の推定値に基づいて、ユーザの眼の第1のパラメータの推定値を決定する、
ように構成される、実施例66に記載のシステム。
実施例68:該ユーザの眼の第2のパラメータの複数の推定値を決定するために、処理電子機器は、
該複数のエミッタの少なくとも一部の個別の場所および眼追跡カメラの場所に基づいて、第1の方向を決定し、
該複数のエミッタの少なくとも一部の少なくとも個別の場所および眼追跡カメラの場所に基づいて、角膜曲率の中心に向かう第2の方向を決定し、
該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の中心の推定値を決定する、
ように構成される、実施例67に記載のシステム。
実施例69:該処理電子機器は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例68に記載のディスプレイシステム。
実施例70:該処理電子機器は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例69に記載のディスプレイシステム。
実施例71:該ユーザの眼の第2のパラメータの複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の第2のパラメータの推定値を決定するように構成される、実施例68-70のいずれかに記載のシステム。
実施例72:該眼の第1のパラメータの推定値を取得するために、処理電子機器は、
第2のパラメータの複数の推定値と関連付けられる、3次元表面を生成し、
3次元表面に基づいて、ユーザの眼の第1のパラメータの推定値を決定する、
ように構成される、実施例19-71のいずれかに記載のシステム。
実施例73:第2のパラメータの複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を第1のパラメータの複数の推定値に適合させるように構成される、実施例72に記載のシステム。
実施例74:第2のパラメータの複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球体を第2のパラメータの複数の推定値に適合させるように構成される、実施例73に記載のシステム。
実施例75:ユーザの眼の第1のパラメータの推定値を決定するために、処理電子機器は、
3次元表面に対する2つ以上の法線を決定し、
2つ以上の法線の収束の領域を決定する、
ように構成され、収束の領域は、ユーザの眼の第1のパラメータの推定値を備える、実施例72-74のいずれかに記載のシステム。
実施例76:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例69-75のいずれかに記載のシステム。
実施例77:処理電子機器は、視線標的を使用するように構成される、実施例69-76のいずれかに記載のシステム。
実施例78:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該第1のパラメータによって決定された位置を有する、実施例66-77のいずれかに記載のディスプレイシステム。
実施例79:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる発散量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、または該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、実施例66-78のいずれかに記載のディスプレイシステム。
実施例80:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、該角膜は、曲率の中心を有し、
ユーザの眼を結像するように構成される、眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、
複数の閃光に基づいて、該眼の第1のパラメータの推定値を取得するステップと
を含み、該眼の第1のパラメータの推定値を取得するステップは、
複数の閃光に基づいて、ユーザの眼の第2のパラメータの複数の推定値を決定するステップと、
3次元表面を第2のパラメータの複数の推定値から生成するステップと、
3次元表面を使用して、ユーザの眼の第1のパラメータの推定値を決定するステップと、
を含む、方法。
実施例81:ユーザの眼の第2のパラメータの複数の推定値を決定するステップは、
複数の光エミッタの少なくとも一部の場所および眼追跡カメラの場所に基づいて、第1のベクトルを決定するステップと、
複数の光エミッタの少なくとも一部の場所および眼追跡カメラの場所に基づいて、第2のベクトルを決定するステップと、
第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の第2のパラメータの推定値を決定するステップと、
を含む、実施例80に記載の方法。
実施例82:第1の方向は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例81に記載の方法。
実施例83:第2の方向は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって決定される、実施例82に記載の方法。
実施例84:3次元表面を第2のパラメータの複数の推定値から生成するステップは、表面を第1のパラメータの複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
実施例85:3次元表面を第2のパラメータの複数の推定値から生成するステップは、球体を第2のパラメータの複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
実施例86:ユーザの眼の第1のパラメータの推定値を決定するステップは、
3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、
3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の第1のパラメータの推定値を備える、ステップと、
を含む、実施例81-85のいずれかに記載の方法。
実施例87:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例81-86のいずれかに記載の方法。
実施例88:視線標的をさらに使用する、実施例81-87のいずれかに記載の方法。
実施例89:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、眼追跡カメラと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
ユーザの眼の複数の対の捕捉された画像を眼追跡カメラから受信し、
それぞれ、眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼のパラメータの推定値を取得し、
眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の推定されるパラメータに基づいて、3次元表面を決定し、
3D表面の曲率の中心を識別し、ユーザの眼の付加的パラメータの推定値を取得する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例90:該処理電子機器は、3次元表面を、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の推定されるパラメータに適合させるように構成される、実施例89に記載のディスプレイシステム。
実施例91:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼のパラメータの推定値を取得するために、処理電子機器は、
眼追跡カメラから受信された第1の画像に基づいて、第1のベクトルを決定し、
眼追跡カメラから受信された第2の画像に基づいて、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、
第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼のパラメータの推定値を取得する、
ように構成される、実施例89または90に記載のディスプレイシステム。
実施例92:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、
対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、
眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在する、
ように構成される、実施例91に記載のディスプレイシステム。
実施例93:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、
眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域を決定し、収束の領域は、第2のベクトルの方向に沿って延在する、
ように構成される、実施例92に記載のディスプレイシステム。
実施例94:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該付加的パラメータによって決定された位置を有する、実施例89-93のいずれかに記載のディスプレイシステム。
実施例95:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる発散量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、または該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、実施例89-94のいずれかに記載のディスプレイシステム。
実施例96:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
実施例97:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、少なくとも1つの眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、
第1および第2の場所において少なくとも1つの眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、
該少なくとも1つの眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼のパラメータの場所を推定する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例98:該処理電子機器は、
該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第1の場所および該閃光反射を生産したエミッタの場所に基づいて、第1の方向を決定し、
該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第2の場所および該閃光反射を生産したエミッタの場所に基づいて、第2の方向を決定する、
ように構成される、実施例97に記載のディスプレイシステム。
実施例99:該処理電子機器は、
少なくとも1つの眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、
少なくとも1つの眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、
第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例98に記載のディスプレイシステム。
実施例100:該処理電子機器は、
少なくとも1つの眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、
少なくとも1つの眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、
第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例99に記載のディスプレイシステム。
実施例101:該処理電子機器は、該第1および第2の方向に基づいて、ユーザの眼の該パラメータの場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例102:該処理電子機器は、
少なくとも1つの眼追跡カメラの第1の場所から受信された少なくとも1つの第1の画像に基づいて、該第1の方向を決定し、
少なくとも1つの眼追跡カメラの第2の場所から受信された少なくとも1つの第2の画像に基づいて、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束する、
ように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例103:該処理電子機器は、第1および第2の方向の収束に基づいて、該パラメータの推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例104:該処理電子機器は、該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の該パラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例105:該処理電子機器は、異なる眼姿勢に関するユーザの眼の他のパラメータの複数の決定に基づいて、ユーザの眼の付加的パラメータの推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例106:該処理電子機器は、異なる眼姿勢に関するユーザの眼のパラメータの推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例107:該処理電子機器は、異なる眼姿勢に関するユーザの眼の他のパラメータの推定値に対応する、該点の軌跡に基づいて、ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例106に記載のディスプレイシステム。
実施例108:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の該パラメータの推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例109:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の付加的パラメータの推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例110:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の該パラメータの推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例111:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例108、109、または110のいずれかに記載のディスプレイシステム。
実施例112:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該付加的パラメータによって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例113:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
実施例115:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例116:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる発散量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例117:該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例118:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
実施例119:該第1のパラメータは、眼の回転中心を含む、上記実施例のいずれかに記載のディスプレイシステム。
実施例120:該第2のパラメータは、角膜の曲率の中心を含む、上記実施例のいずれかに記載のディスプレイシステム。
実施例121:該パラメータは、角膜の曲率の中心を含む、上記実施例のいずれかに記載のディスプレイシステム。
実施例122:該付加的パラメータは、眼の回転中心を含む、上記実施例のいずれかに記載のディスプレイシステム。
上記の実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例のいずれかは、単一深度面および/または1つ以上の可変深度面等の1つ以上の深度面を用いて実装されることができる(例えば、経時的に変動する遠近調節キューを提供する、可変集束力を伴う、1つ以上の要素)。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜曲率の中心、瞳孔中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定ではない。加えて、いくつかの実装では、角膜の曲率の中心または角膜の中心は、角膜の一部の曲率の中心または角膜の表面の一部と一致する球状表面の曲率の中心を指す。例えば、いくつかの実装では、角膜の曲率の中心または角膜の中心は、角膜頂点の曲率の中心または角膜頂点の表面の一部と一致する球状表面の曲率の中心を指す。加えて、本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜曲率の中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の(例えば、解剖学的、光学的、または幾何学的)値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい(例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい)。他のプロセスもまた、推定する、近似する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「~を決定する」および「~を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下の項目を提供する。
(項目1)
仮想画像コンテンツをユーザの視野内に表示するための光を前記ユーザの眼に投影するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される第1および第2の眼追跡カメラと、
複数の光エミッタと、
前記ディスプレイおよび前記第1および第2の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記第1および第2の眼追跡カメラによって捕捉された前記ユーザの眼の画像を受信することであって、異なる光エミッタの閃光反射が、前記第1および第2の眼追跡カメラによって捕捉された前記眼の画像内で観察可能である、ことと、
前記第1および第2の眼追跡カメラの両方によって生産された前記画像内の前記閃光反射の場所に基づいて、かつ前記第1および第2の眼追跡カメラの両方の場所および個別の閃光反射を生産した前記エミッタの場所に基づいて、前記ユーザの眼の角膜曲率の中心の場所を推定することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目2)
前記処理電子機器は、
前記第1の眼追跡カメラによって生産された1つ以上の画像内の前記閃光反射の場所に基づいて、かつ前記第1の眼追跡カメラの場所および前記閃光反射を生産した前記エミッタの場所に基づいて、前記ユーザの眼の角膜曲率の中心に向かう第1の方向を決定することと、
前記第2の眼追跡カメラによって生産された1つ以上の画像内の前記閃光反射の場所に基づいて、かつ前記第2の眼追跡カメラの場所および前記閃光反射を生産した前記エミッタの場所に基づいて、前記ユーザの眼の角膜曲率の中心に向かう第2の方向を決定することと
を行うように構成される、項目1に記載のディスプレイシステム。
(項目3)
前記処理電子機器は、
前記第1の眼追跡カメラ、第1の閃光反射の場所、および前記第1の閃光反射に対応する前記光エミッタの場所を含む第1の平面を画定することと、
前記第1の眼追跡カメラ、第2の閃光反射の場所、および前記第2の閃光反射に対応する前記光エミッタの場所を含む第2の平面を画定することと、
前記第1の平面および前記第2の平面の収束の領域を決定することであって、前記収束の領域は、前記第1の方向に沿って延在する、ことと
を行うことによって、前記第1の方向を決定するように構成される、項目2に記載のディスプレイシステム。
(項目4)
前記処理電子機器は、
前記第2の眼追跡カメラ、第3の閃光反射の場所、および前記第3の閃光反射に対応する前記光エミッタの場所を含む第3の平面を画定することと、
前記第2の眼追跡カメラ、第4の閃光反射の場所、および前記第4の閃光反射に対応する前記光エミッタの場所を含む第4の平面を画定することと、
前記第3の平面および前記第4の平面の収束の領域を決定することであって、前記収束の領域は、前記第2の方向に沿って延在する、ことと
を行うことによって、前記第2の方向を決定するように構成される、項目3に記載のディスプレイシステム。
(項目5)
前記処理電子機器は、前記ユーザの眼の角膜曲率の中心に向かう前記第1および第2の方向に基づいて、前記ユーザの眼の角膜曲率の前記中心の場所を推定するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目6)
前記処理電子機器は、
前記第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿って前記ユーザの眼の角膜曲率の中心が位置すると推定される前記第1の方向を決定することと、
前記第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿って前記ユーザの眼の角膜曲率の中心が位置すると推定される前記第2の方向を決定することであって、前記第1および第2の方向は、ある領域に向かって収束する、ことと
を行うように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目7)
前記処理電子機器は、前記第1および第2の方向の収束に基づいて、前記ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目8)
前記処理電子機器は、前記ユーザの眼の角膜曲率の中心に向かう前記第1および第2の方向の収束の領域を識別することによって、前記ユーザの眼の角膜曲率の前記中心の場所を推定するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目9)
前記処理電子機器は、異なる眼姿勢に関する前記ユーザの眼の角膜曲率の中心の複数の決定に基づいて、前記ユーザの眼の回転中心の推定値を取得するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目10)
前記処理電子機器は、異なる眼姿勢に関する前記ユーザの眼の角膜曲率の中心の推定値に対応する点の軌跡を決定するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目11)
前記処理電子機器は、異なる眼姿勢に関する前記ユーザの眼の角膜曲率の中心の推定値に対応する前記点の軌跡に基づいて、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目10に記載のディスプレイシステム。
(項目12)
前記処理電子機器は、前記点の軌跡に基づいて、表面を決定し、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目10または11に記載のディスプレイシステム。
(項目13)
前記処理電子機器は、前記点の軌跡に基づいて、表面を決定し、前記表面の曲率の中心を推定することによって、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目10または11に記載のディスプレイシステム。
(項目14)
前記処理電子機器は、前記点の軌跡に基づいて、表面を決定し、前記表面に対する複数の法線が収束する領域を決定することによって、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目10または11に記載のディスプレイシステム。
(項目15)
前記処理電子機器は、前記表面を前記点の軌跡に適合させ、前記表面を取得するように構成される、項目12、13、または14のいずれかに記載のディスプレイシステム。
(項目16)
前記処理電子機器は、レンダリングカメラを使用して、前記ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、前記レンダリングカメラは、前記回転中心によって決定された位置を有する、上記項目のいずれかに記載のディスプレイシステム。
(項目17)
前記ディスプレイは、前記表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目18)
前記ディスプレイは、前記表示される仮想画像コンテンツが異なる深度から生じるように現れるように、少なくとも1つの異なる発散量において、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目19)
前記ディスプレイは、発散する光を前記ユーザの眼の中に投影し、異なる深度から生じるように現れる仮想画像コンテンツを前記ユーザの視野に表示するようにコリメートされる光を前記ユーザの眼の中に投影するように構成される、上記項目のいずれかに記載のディスプレイシステム。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
(詳細な説明)
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
A.ウェアラブルシステムの3Dディスプレイの実施例
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ARデバイス(ARD)と同義的に使用されることができる。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100が、描写され、MR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図2は、ウェアラブルシステム200の実施例を図示し、これは、AR/VR/MR場面を提供するように構成されることができる。ウェアラブルシステム200はまた、ARシステム200と称され得る。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によって装着可能である、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられることができる。ディスプレイ220は、AR/VR/MRコンテンツをユーザに提示することができる。ディスプレイ220は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ(HMD)を備えることができる。
いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ220は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ(例えば、マイクロホン)232を含むことができる。いくつかの実施形態では、示されない1つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム200は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム200は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム464(図4に示される)を含むことができる。ウェアラブルシステム200はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム462(図4に示される)を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム462は、フレーム230に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ210の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール260または270と電気通信してもよい。内向きに面した結像システム462は、1つ以上のカメラを含んでもよい。例えば、少なくとも1つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
実施例として、ウェアラブルシステム200は、外向きに面した結像システム464または内向きに面した結像システム462を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ220は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得る、ローカルデータ処理モジュール260に動作可能に結合されることができる(250)。
ローカル処理およびデータモジュール260は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、(a)画像捕捉デバイス(例えば、内向きに面した結像システムおよび/または外向きに面した結像システム内のカメラ)、オーディオセンサ(例えば、マイクロホン)、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)ユニット、無線デバイス、またはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ、または、(b)可能性として、処理または読出後にディスプレイ220への通過のために、遠隔処理モジュール270または遠隔データリポジトリ280を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク262または264によって、遠隔処理モジュール270または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール280および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール270は、データまたは画像情報を分析および処理するように構成される、1つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ280は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
B.ウェアラブルシステムの例示的コンポーネント
図3は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図3は、ウェアラブルシステム200を示し、これは、ディスプレイ220と、フレーム230とを含むことができる。引き伸ばし図202は、ウェアラブルシステム200の種々のコンポーネントを図式的に図示する。ある実装では、図3に図示されるコンポーネントのうちの1つ以上のものは、ディスプレイ220の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム200のユーザまたはユーザの環境と関連付けられる種々のデータ(例えば、聴覚的または視覚的データ等)を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図3は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
図3は、例示的ウェアラブルシステム200を示し、これは、ディスプレイ220を含むことができる。ディスプレイ220は、ユーザの頭部、またはフレーム230に対応する、筐体またはフレーム230に搭載され得る、ディスプレイレンズ226を備えることができる。ディスプレイレンズ226は、筐体230によって、ユーザの眼302、304の正面に位置付けられる、1つ以上の透明ミラーを備えてもよく、投影された光338を眼302、304の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム338の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、2つの広視野マシンビジョンカメラ316(世界カメラとも称される)が、筐体230に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ316は、二重捕捉式可視光/非可視(例えば、赤外線)光カメラであることができる。カメラ316は、図4に示される外向きに面した結像システム464の一部であってもよい。世界カメラ316によって入手された画像は、姿勢プロセッサ336によって処理されることができる。例えば、姿勢プロセッサ336は、1つ以上のオブジェクト認識装置708を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。
図3を継続して参照すると、光338を眼302、304の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面(例えば、深度のために)光投影モジュールが、示される。描写される図はまた、ユーザの眼302、304を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光源326(発光ダイオード「LED」等)とペアリングされる、2つの小型赤外線カメラ324を示す。カメラ324は、図4に示される、内向きに面した結像システム462の一部であってもよい。ウェアラブルシステム200はさらに、センサアセンブリ339を特徴とすることができ、これは、X、Y、およびZ軸加速度計能力および磁気コンパスおよびX、Y、およびZ軸ジャイロスコープ能力を備え、好ましくは、200Hz等の比較的に高周波数でデータを提供し得る。センサアセンブリ339は、図2を参照して説明される、IMUの一部であってもよい。描写されるシステム200はまた、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、またはARMプロセッサ(高度縮小命令セット機械)等の頭部姿勢プロセッサ336を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス316から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ336は、ハードウェアプロセッサであることができ、図2に示されるローカル処理およびデータモジュール260の一部として実装されることができる。
ウェアラブルシステムはまた、1つ以上の深度センサ234を含むことができる。深度センサ234は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ234は、レーザスキャナ(例えば、LIDAR)、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ316が深度感知能力を有する、ある実装では、カメラ316はまた、深度センサ234と見なされ得る。
また、示されるものは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ339からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ332である。プロセッサ332は、図2に示される、ローカル処理およびデータモジュール260の一部であってもよい。ウェアラブルシステム200はまた、図3に示されるように、例えば、GPS337(全地球測位システム)等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、GPSはさらに、ユーザの環境についての遠隔ベース(例えば、クラウドベース)の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
ウェアラブルシステムは、GPS337および遠隔コンピューティングシステム(例えば、遠隔処理モジュール270、別のユーザのARD等)によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、GPSデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられる仮想オブジェクトを含む、世界マップを読み出すことができる(例えば、遠隔処理モジュール270と通信することによって)。別の実施例として、ウェアラブルシステム200は、世界カメラ316(図4に示される外向きに面した結像システム464の一部であってもよい)を使用して、環境を監視することができる。世界カメラ316によって入手された画像に基づいて、ウェアラブルシステム200は、環境内のオブジェクトを検出することができる(例えば、1つ以上のオブジェクト認識装置を使用することによって)。ウェアラブルシステムはさらに、GPS337によって入手されたデータを使用して、キャラクタを解釈することができる。
ウェアラブルシステム200はまた、レンダリングエンジン334を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン334は、ハードウェアプロセッサ(例えば、中央処理ユニットまたはグラフィック処理ユニット等)によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール260の一部である。レンダリングエンジン334は、ウェアラブルシステム200の他のコンポーネントに通信可能に結合されることができる(例えば、有線または無線リンクを介して)。例えば、レンダリングエンジン334は、通信リンク274を介して、眼カメラ324に結合され、通信リンク272を介して、投影サブシステム318(網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼302、304の中に投影することができる)に結合されることができる。レンダリングエンジン34はまた、それぞれ、リンク276および294を介して、例えば、センサ姿勢プロセッサ32および画像姿勢プロセッサ336等の他の処理ユニットと通信することができる。
カメラ324(例えば、小型赤外線カメラ)は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度(眼の輻輳・開散運動を用いて推定されてもよい)を含んでもよい。GPS337、ジャイロスコープ、コンパス、および加速度計339は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ316のうちの1つ以上のものは、画像および姿勢を入手することができ、これは、関連付けられるクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
図3に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの1つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図3に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ336、センサ姿勢プロセッサ332、およびレンダリングエンジン334は、ベルトパック内に位置付けられ、超広帯域、Wi-Fi、Bluetooth(登録商標)等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体230は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム200のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ240が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
ユーザの眼302、304の中への光338の投影に関して、いくつかの実施形態では、カメラ324は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の3次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼302、304に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)に説明される。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得る。相互に対する2つの眼の輻輳・開散運動移動(例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動)は、眼の水晶体の合焦(または「遠近調節」)と緊密に関連付けられる。通常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
さらに、約0.7ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ324を用いて追跡されてもよく、レンダリングエンジン334および投影サブシステム318は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい(例えば、意図的に作成されたぼけを使用して)。好ましくは、システム220は、ユーザに、約60フレーム/秒またはそれを上回るフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ324は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約20ミリ秒未満の待ち時間、約0.1度未満の角度整合、および約1弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム220は、位置特定システムと統合されてもよく、これは、GPS要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい(例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう)。
いくつかの実施形態では、ウェアラブルシステム200は、ユーザの眼の遠近調節に基づいて、1つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の3Dディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される1つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、1mの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を3mに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム200は、ユーザの眼がより自然な様式において機能することを可能にする。
そのようなウェアラブルシステム200は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム200の種々の実施形態は、1つ以上の可変焦点要素(VFE)を通して、仮想画像を可変焦点距離に投影するように構成される。1つ以上の実施形態では、3D知覚は、画像をユーザから固定された焦点面に投影する、多面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、z-方向に往復して移動される。
多面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム200は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム200は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム200のディスプレイの能力は、ユーザがオブジェクトを3Dにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を1つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
C.導波管スタックアセンブリ
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応し得、図4Aは、そのウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管の間に含んでもよい。いくつかの実施形態では、特徴458、456、454、452は、レンズであってもよい。他の実施形態では、特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層または構造)。
導波管432b、434b、436b、438b、440bまたは複数のレンズ458、456、454、452は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス420、422、424、426、428は、それぞれ、対応する導波管440b、438b、436b、434b、432bの中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス420、422、424、426、428は、例えば、1つ以上の光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス420、422、424、426、428のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ460は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、上部または底部主要表面に配置されてもよい、または導波管440b、438b、436b、434b、432bの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管440b、438b、436b、434b、432bは、材料のモノリシック片であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、その材料片の表面上または内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の上方の導波管434bから生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452および454の組み合わせられた屈折力は、眼/脳が、第3の導波管436bから生じる光が次の上方の導波管434bからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に構成され、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約力を補償してもよい。(補償レンズ層430およびスタックされた導波管アセンブリ480は、全体として、世界470から生じる光が、最初にスタックされた導波管アセンブリ480によって受光されたときに光が有していたものと実質的に同一レベルの発散(またはコリメーション)で眼410に伝達されるように構成され得る。)そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から外に再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管が、関連付けられる深度面に応じて、異なる量の発散を伴う光を出力する、光抽出光学要素の異なる構成を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、立体ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴または「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交差部で眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かって非常に均一なパターンの出射放出となり得る。
いくつかの実施形態では、1つ以上のDOEは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なDOEは、小液滴がホスト媒体内に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第1の深度面および第2の深度面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられる2つの深度面間を区別不能である場合、コントローラ460(ローカル処理およびデータモジュール260の実施形態であり得る)は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム400は、世界470の一部を結像する、外向きに面した結像システム464(例えば、デジタルカメラ)を含むことができる。世界470の本部分は、世界カメラの視野(FOV)と称され得、結像システム464は、時として、FOVカメラとも称される。世界カメラのFOVは、視認者210のFOVと同一である場合とそうではない場合があり、これは、視認者210が所与の時間に知覚する、世界470の一部を包含する。例えば、いくつかの状況では、世界カメラのFOVは、ウェアラブルシステム400の視認者210の視認者210より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに面した結像システム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム400は、オーディオセンサ232、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、1つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ232は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム400は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに面した結像システム464およびオーディオセンサ230の両方からの情報を使用することができる。例えば、ウェアラブルシステム400は、単独で、または話者の反射された画像(例えば、鏡に見られるように)と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム400は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム400は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別(例えば、名前または他の人口統計情報)を決定することができる。
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム466(例えば、デジタルカメラ)を含むことができる。内向きに面した結像システム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズおよび/または配向を決定するために使用されてもよい。内向きに面した結像システム466は、ユーザが見ている方向(例えば、眼姿勢)を決定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼410のみの瞳孔直径または配向(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、ユーザの両眼に関して類似すると仮定された。内向きに面した結像システム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム400はまた、IMU、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を決定してもよい。
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。マルチDOFコントローラは、コントローラの一部または全部の可能性として考えられる平行移動(例えば、左/右、前方/後方、または上/下)または回転(例えば、ヨー、ピッチ、またはロール)におけるユーザ入力を感知することができる。平行移動をサポートする、マルチDOFコントローラは、3DOFと称され得る一方、平行移動および回転をサポートする、マルチDOFコントローラは、6DOFと称され得る。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信することができる。
D.ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無有生オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの1つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明される。
E.眼画像の実施例
図5は、眼瞼504と、強膜508(「白眼」)と、虹彩512と、瞳孔516とを伴う、眼500の画像を図示する。曲線516aは、瞳孔516と虹彩512との間の瞳孔境界を示し、曲線512aは、虹彩512と強膜508との間の辺縁境界を示す。眼瞼504は、上側眼瞼504aと、下側眼瞼504bとを含む。眼500は、自然静置姿勢(例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される)に図示される。眼500の自然静置姿勢は、自然静置方向520によって示され得、該方向は、自然静置姿勢にあるときの眼500の表面に直交する方向(例えば、図5に示される眼500に対する面から直接外に出る)であり、本実施例では、瞳孔516内に心合される。
眼500が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向520に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する(かつ瞳孔516内に心合される)方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向524を参照して決定されることができる。図5Aに示される例示的座標系を参照すると、眼500の姿勢は、両方とも眼の自然静置方向520に対する、眼の眼姿勢方向524の方位角偏向および天頂偏向を示す、2つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ(基点方位角から決定される、方位角偏向)およびφ(時として、極性偏向とも称される、天頂偏向)として表され得る。いくつかの実装では、眼姿勢方向524の周囲の眼の角度ロールが、眼姿勢の決定に含まれることができ、角度ロールは、以下の分析に含まれることができる。他の実装では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。
眼画像は、任意の適切なプロセスを使用して、例えば、画像を1つ以上のシーケンシャルフレームから抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されることができる。任意の好適な眼追跡技法が、眼姿勢を決定するために使用されることができる。
F.眼追跡システムの実施例
図6は、眼追跡システムを含む、ウェアラブルシステム600の概略図を図示する。ウェアラブルシステム600は、少なくともいくつかの実施形態では、頭部搭載型ユニット602内に位置するコンポーネントと、非頭部搭載型ユニット604内に位置するコンポーネントとを含んでもよい。非頭部搭載型ユニット604は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム600のコンポーネントのうちのいくつかを非頭部搭載型ユニット604内に組み込むことは、頭部搭載型ユニット602のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット602および/または非頭部搭載型604の1つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム600内のいずれかに含まれる1つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット602のCPU612と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット604のCPU616を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム600の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図2を参照して上記に説明されたものに類似する様式において、1つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
図6に示されるように、ウェアラブルシステム600は、ユーザの眼610の画像を捕捉する、カメラ324を含む、眼追跡システムを含むことができる。所望に応じて、眼追跡システムはまた、光源326aおよび326b(発光ダイオード「LED」等)を含んでもよい。光源326aおよび326bは、閃光(例えば、カメラ324によって捕捉された眼の画像内に現れる、ユーザの眼からの反射)を生成し得る。カメラ324に対する光源326aおよび326bの位置は、既知であり得、その結果、カメラ324によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されてもよい(図7に関連して下記により詳細に議論されるであろうように)。少なくとも一実施形態では、1つの光源326と、ユーザの眼610の片方と関連付けられる1つのカメラ324とが存在してもよい。別の実施形態では、1つの光源326と、ユーザの眼610のそれぞれと関連付けられる1つのカメラ324とが存在してもよい。さらに他の実施形態では、1つ以上のカメラ324と、ユーザの眼610の一方またはそれぞれと関連付けられる1つ以上の光源326とが存在してもよい。具体的実施例として、2つの光源326aおよび326bと、ユーザの眼610のそれぞれと関連付けられる1つ以上のカメラ324とが存在してもよい。別の実施例として、光源326aおよび326b等の3つ以上の光源と、ユーザの眼610のそれぞれと関連付けられる1つ以上のカメラ324とが存在してもよい。本明細書に説明されるいくつかの実装では、2つ以上のカメラが、所与の眼を結像するために採用されてもよい。
眼追跡モジュール614は、画像を眼追跡カメラ324から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール614は、ユーザの眼姿勢、眼追跡カメラ324(および頭部搭載型ユニット602)に対するユーザの眼の3次元位置、合焦されているユーザの眼610の一方または両方の方向、ユーザの輻輳・開散運動深度(例えば、ユーザが合焦しているユーザからの深度)、ユーザの瞳孔の位置、ユーザの角膜および/または角膜球面の位置、ユーザの眼の一方またはそれぞれの回転中心、およびユーザの眼の一方またはそれぞれの視点の中心、またはそれらの任意の組み合わせを検出してもよい。眼追跡モジュール614は、図7-11および/または12-21に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図6に示されるように、眼追跡モジュール614は、頭部搭載型ユニット602内のCPU612を使用して実装される、ソフトウェアモジュールであってもよい。
1つのカメラ324が、眼を結像するように図6に示されるが、いくつかの実装では、本明細書に議論されるように、複数のカメラが、眼を結像し、角膜中心および/または回転中心測定等の測定のために使用される、または別様に眼追跡または他の目的のために使用されてもよい。
眼追跡モジュール614からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、ライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620のためのソフトウェアモジュールを含む、CPU616等の非頭部搭載型ユニット604内のコンポーネントに伝送されてもよい。
レンダリングコントローラ618は、レンダリングエンジン622(例えば、GPU620内のソフトウェアモジュールであり得、画像をディスプレイ220に提供し得る、レンダリングエンジン)によって、眼追跡モジュール614からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ618は、ユーザの回転中心または視点の中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ618は、ユーザの視点の中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく(例えば、ユーザの視点からの画像の収集をシミュレートする)、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。
時として、「ピンホール透視投影カメラ」(または単に、「透視投影カメラ」)または「仮想ピンホールカメラ」(または単に、「仮想カメラ」)とも称される、「レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、および可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。換言すると、レンダリングカメラは、そこからユーザまたは装着者がレンダリング空間の3D仮想コンテンツ(例えば、仮想オブジェクト)を視認すべきである、レンダリング空間内の視点を表し得る。レンダリングカメラは、レンダリングエンジンによって管理され、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされ得る。例えば、仮想画像は、固有のパラメータの具体的セット(例えば、焦点距離、カメラピクセルサイズ、主点座標、歪/歪曲パラメータ等)と、付帯パラメータの具体的セット(例えば、仮想世界に対する平行移動成分および回転成分)とを有する、ピンホールカメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされ得る。仮想画像は、レンダリングカメラの位置および配向(例えば、レンダリングカメラの付帯パラメータ)を有する、そのようなカメラの視点から撮影される。システムは、固有のおよび付帯レンダリングカメラパラメータを定義および/または調節し得るということになる。例えば、システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされるように、特定のセットの付帯レンダリングカメラパラメータを定義してもよい。システムは、後に、該具体的場所との位置合わせを維持するように、付帯レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、固有のレンダリングカメラパラメータも、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、開口(例えば、ピンホール)をユーザまたは装着者の眼に対する具体的場所(視点の中心または回転中心または他の場所等)に有するカメラの視点から捕捉されたかのようにレンダリングされる。
いくつかの実施形態では、システムは、ユーザの眼が、相互から物理的に分離され、したがって、一貫して異なる場所に位置付けられるにつれて、ユーザの左眼のための1つのレンダリングカメラおよびユーザの右眼のために別のレンダリングカメラを作成または動的に再位置付および/または再配向してもよい。少なくともいくつかの実装では、視認者の左眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、頭部搭載型ディスプレイ(例えば、頭部搭載型ユニット602)の左側の接眼レンズを通してユーザに提示され得、ユーザの右眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、そのような頭部搭載型ディスプレイの右側の接眼レンズを通してユーザに提示され得るということになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION」と題された米国特許出願第15/274,823号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。
いくつかの実施例では、システム600の1つ以上のモジュール(またはコンポーネント)(例えば、ライトフィールドレンダリングコントローラ618、レンダリングエンジン620等)は、ユーザの頭部および眼の位置および配向(例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように)に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。すなわち、システム600は、事実上、ユーザの頭部および眼の位置および配向を3D仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを3D仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉されるであろうにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界/仮想世界マッピングプロセスについて議論するさらなる詳細は、「SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE」と題された米国特許出願第15/296,869号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。実施例として、レンダリングコントローラ618は、画像が、画像を表示するために任意の所与の時間に利用される深度面(または複数の深度面)を選択することによって表示される、深度を調節してもよい。いくつかの実装では、そのような深度面切替は、1つ以上の固有のレンダリングカメラパラメータの調節を通して、行われてもよい。例えば、ライトフィールドレンダリングコントローラ618は、深度面切替または調節を実行するとき、レンダリングカメラの焦点距離を調節してもよい。下記にさらに詳細に説明されるように、深度面は、ユーザの決定された輻輳・開散運動または固視深度に基づいて、切り替えられてもよい。
位置合わせオブザーバ620は、眼追跡モジュール614からの情報を使用して、頭部搭載型ユニット602がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール614は、カメラ324に対するユーザの眼の3次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット602および眼追跡モジュール614は、場所情報を使用して、ディスプレイ220がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット602(またはヘッドセット)が滑脱している、または別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ220をユーザの眼から離れさせ、そこから下方に移動させている(望ましくあり得ない)かどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ220をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット602が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ620は、一般に、頭部搭載型ユニット602、特に、ディスプレイ220が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。換言すると、位置合わせオブザーバ620は、ディスプレイシステム220内の左ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム220内の右ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの眼に対する位置および/または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット602が適切に位置付けられているかどうかを決定してもよい。
少なくともいくつかの実施形態では、位置合わせオブザーバ620は、アラート、メッセージ、または他のコンテンツの形態におけるユーザフィードバックを生成してもよい。そのようなフィードバックは、ユーザに提供され、ユーザに、頭部搭載型ユニット602の任意の不整合を、不整合を補正する方法に関する随意のフィードバック(頭部搭載型ユニット602を特定の様式において調節するための提案等)とともに知らせてもよい。
位置合わせオブザーバ620によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、2017年9月27日に出願された、米国特許出願第15/717,747号(弁理士整理番号MLEAP.052A2)および2018年3月16日に出願された、米国仮特許出願第62/644,321号(弁理士整理番号MLEAP.195PR)(両方とも、参照することによってその全体として本明細書に組み込まれる)に説明される。
G.眼追跡モジュールの実施例
例示的眼追跡モジュール614の詳細なブロック図が、図7Aに示される。図7Aに示されるように、眼追跡モジュール614は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール614は、光源326および頭部搭載型ユニット602に対する眼追跡カメラ324の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約4.7mmの典型的距離またはユーザの回転中心と視点の中心との間の典型的距離等の仮定された眼寸法704、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ706等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール614によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に説明される。
画像前処理モジュール710は、画像を眼カメラ324等の眼カメラから受信してもよく、1つ以上の前処理(例えば、調整)動作を受信された画像上に実施してもよい。実施例として、画像前処理モジュール710は、ガウスぼけを画像に適用してもよい、画像をより低い分解能にダウンサンプリングしてもよい、アンシャープマスクを適用してもよい、縁シャープニングアルゴリズムを適用してもよい、または後の検出、位置特定、および眼カメラ324からの画像内の閃光、瞳孔、または他の特徴の標識化を補助する、他の好適なフィルタを適用してもよい。画像前処理モジュール710は、高周波数雑音を瞳孔境界516a(図5参照)等から除去し、それによって瞳孔および閃光決定を妨害し得る、雑音を除去し得る、オープンフィルタ等の低域通過フィルタまたは形態学的フィルタを適用してもよい。画像前処理モジュール710は、前処理された画像を瞳孔識別モジュール712および閃光検出および標識化モジュール714に出力してもよい。
瞳孔識別モジュール712は、前処理された画像を画像前処理モジュール710から受信してもよく、ユーザの瞳孔を含む、それらの画像の領域を識別してもよい。瞳孔識別モジュール712は、いくつかの実施形態では、カメラ324からの眼追跡画像内のユーザの瞳孔の位置の座標、すなわち、中心または重心の座標を決定してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712は、眼追跡画像内の輪郭(例えば、瞳孔虹彩境界の輪郭)を識別し、輪郭モーメント(例えば、質量中心)を識別し、スターバースト瞳孔検出および/またはCanny縁検出アルゴリズムを適用し、強度値に基づいて外れ値を除外し、サブピクセル境界点を識別し、眼カメラ歪曲(例えば、眼カメラ324によって捕捉された画像内の歪曲)を補正し、ランダムサンプルコンセンサス(RANSAC)反復アルゴリズムを適用し、楕円形を眼追跡画像内の境界に適合させ、追跡フィルタを画像に適用し、ユーザの瞳孔重心のサブピクセル画像座標を識別してもよい。瞳孔識別モジュール712は、(ユーザの瞳孔を示すと識別された前処理画像モジュール712の領域を示し得る)瞳孔識別データを、閃光検出および標識化モジュール714に出力してもよい。瞳孔識別モジュール712は、各眼追跡画像内のユーザの瞳孔の2D座標(例えば、ユーザの瞳孔の重心の2D座標)を閃光検出モジュール714に提供してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712はまた、同一種類の瞳孔識別データを座標系正規化モジュール718に提供してもよい。
瞳孔識別モジュール712によって利用され得る、瞳孔検出技法は、2017年2月23日に公開された米国特許公開第2017/0053165号および2017年2月23日に公開された米国特許公開第2017/0053166号(それぞれ、参照することによってその全体として本明細書に組み込まれる)に説明される。
閃光検出および標識化モジュール714は、前処理された画像をモジュール710から、瞳孔識別データをモジュール712から受信してもよい。閃光検出モジュール714は、本データを使用して、閃光(すなわち、光源326からの光のユーザの眼からの反射)をユーザの瞳孔を示す前処理された画像の領域内で検出および/または識別してもよい。実施例として、閃光検出モジュール714は、ユーザの瞳孔の近傍にある、時として、本明細書では、「ブロブ」または局所強度最大値とも称される、眼追跡画像内の明るい領域を検索してもよい。少なくともいくつかの実施形態では、閃光検出モジュール714は、瞳孔楕円形を再スケーリング(例えば、拡大)し、付加的閃光を包含してもよい。閃光検出モジュール714は、サイズおよび/または強度によって、閃光をフィルタリングしてもよい。閃光検出モジュール714はまた、眼追跡画像内の閃光のそれぞれの2D位置を決定してもよい。少なくともいくつかの実施例では、閃光検出モジュール714は、瞳孔-閃光ベクトルとも称され得る、ユーザの瞳孔に対する閃光の2D位置を決定してもよい。閃光検出および標識化モジュール714は、閃光を標識化し、標識された閃光を伴う前処理画像を3D角膜中心推定モジュール716に出力してもよい。閃光検出および標識化モジュール714はまた、モジュール710からの前処理された画像およびモジュール712からの瞳孔識別データ等のデータを伝えてもよい。いくつかの実装では、閃光検出および標識化モジュール714は、各識別された閃光を生産した(例えば、赤外線光源326aおよび326bを含む、システムの複数の光源の中の)光源を決定してもよい。これらの実施例では、閃光検出および標識化モジュール714は、閃光を関連付けられる光源を識別する情報で標識化し、標識された閃光を伴う前処理画像を3D角膜中心推定モジュール716に出力してもよい。
モジュール712および714等のモジュールによって実施されるような瞳孔および閃光検出は、任意の好適な技法を使用することができる。実施例として、縁検出が、眼画像に適用され、閃光および瞳孔を識別することができる。縁検出は、種々の縁検出器、縁検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Canny縁検出器が、画像に適用され、画像の線等の縁を検出することができる。縁は、局所最大導関数に対応する、線に沿って位置する点を含んでもよい。例えば、瞳孔境界516a(図5参照)が、Canny縁検出器を使用して、位置特定されることができる。瞳孔の場所が決定されると、種々の画像処理技法が、瞳孔116の「姿勢」を検出するために使用されることができる。眼画像の眼姿勢の決定は、眼画像の眼姿勢の検出とも称され得る。姿勢は、視線、向いている方向、または眼の配向とも称され得る。例えば、瞳孔は、オブジェクトに向かって左を見ている場合があり、瞳孔の姿勢は、左向き姿勢として分類され得る。他の方法も、瞳孔または閃光の場所を検出するために使用されることができる。例えば、同心リングが、Canny縁検出器を使用した眼画像内に位置し得る。別の実施例として、積分微分演算子が、瞳孔または虹彩の角膜輪部境界を見出すために使用されてもよい。例えば、Daugman積分微分演算子、Hough変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する、曲線を返すために使用されることができる。
3D角膜中心推定モジュール716は、検出された閃光データおよび瞳孔識別データを含む、前処理された画像を、モジュール710、712、714から受信してもよい。3D角膜中心推定モジュール716は、これらのデータを使用して、ユーザの角膜の3D位置を推定してもよい。いくつかの実施形態では、3D角膜中心推定モジュール716は、眼の角膜曲率またはユーザの角膜球面の中心、例えば、概して、ユーザの角膜と同延の表面部分を有する、想像上の球面の中心の3D位置を推定してもよい。3D角膜中心推定モジュール716は、角膜球面および/またはユーザの角膜の推定された3D座標を示すデータを、座標系正規化モジュール718、光学軸決定モジュール722、および/またはライトフィールドレンダリングコントローラ618に提供してもよい。3D角膜中心推定モジュール716の動作のさらなる詳細は、図11A-16Cに関連して本明細書に提供される。3D角膜中心推定モジュール716および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、角膜または角膜球面等の眼特徴の位置を推定するための例示的技法は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に議論される。
座標系正規化モジュール718は、随意に、(その破線輪郭によって示されるように)眼追跡モジュール614内に含まれてもよい。座標系正規化モジュール718は、ユーザの角膜の中心(および/またはユーザの角膜球面の中心)の推定された3D座標を示すデータを、3D角膜中心推定モジュール716から受信してもよく、また、データを他のモジュールから受信してもよい。座標系正規化モジュール718は、眼カメラ座標系を正規化してもよく、これは、ウェアラブルデバイスの滑脱(例えば、位置合わせオブザーバ620によって識別され得る、ユーザの頭部上のその通常静置位置からの頭部搭載型コンポーネントの滑脱)を補償することに役立ち得る。座標系正規化モジュール718は、座標系を回転させ、座標系のz-軸(例えば、輻輳・開散運動深度軸)と角膜中心(例えば、3D角膜中心推定モジュール716によって示されるように)を整合させてもよく、カメラ中心(例えば、座標系の原点)を30mm等の角膜中心から離れた所定の距離に平行移動させてもよい(例えば、モジュール718は、眼カメラ324が所定の距離より近くまたは遠くにあるように決定されるかどうかに応じて、眼追跡画像を拡大または収縮し得る)。本正規化プロセスを用いることで、眼追跡モジュール614は、比較的に、ユーザの頭部上に位置付けられるヘッドセットの変動から独立して、眼追跡データ内の一貫した配向および距離を確立することが可能であり得る。座標系正規化モジュール718は、角膜(および/または角膜球面)の中心の3D座標、瞳孔識別データ、および前処理された眼追跡画像を3D瞳孔中心ロケータモジュール720に提供してもよい。
3D瞳孔中心ロケータモジュール720は、正規化または非正規化座標系内において、ユーザの角膜(および/または角膜球面)の中心の3D座標、瞳孔場所データ、および前処理された眼追跡画像を含む、データを受信してもよい。3D瞳孔中心ロケータモジュール720は、そのようなデータを分析して、正規化または非正規化眼カメラ座標系内のユーザの瞳孔中心の3D座標を決定してもよい。3D瞳孔中心ロケータモジュール720は、瞳孔重心の2D位置(モジュール712によって決定されるように)、角膜中心の3D位置(モジュール716によって決定されるように)、典型的ユーザの角膜球面のサイズおよび角膜中心から瞳孔中心までの典型的距離等の仮定された眼寸法704、および角膜の屈折率(空気の屈折率に対する)等の眼の光学性質、または任意のこれらの組み合わせに基づいて、3次元におけるユーザの瞳孔の場所を決定してもよい。3D瞳孔中心ロケータモジュール720および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、瞳孔等の眼特徴の位置を推定するための技法は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に議論される。
光学軸決定モジュール722は、ユーザの角膜およびユーザの瞳孔中心の3D座標を示すデータを、モジュール716および720から受信してもよい。そのようなデータに基づいて、光学軸決定モジュール722は、角膜中心の位置から(例えば、角膜球面の中心から)、ユーザの眼の光学軸を定義し得る、ユーザの瞳孔中心までのベクトルを識別してもよい。光学軸決定モジュール722は、実施例として、ユーザの光学軸を規定する出力をモジュール724、728、730、および732に提供してもよい。
回転中心(CoR)推定モジュール724は、ユーザの眼の光学軸のパラメータ(例えば、頭部搭載型ユニット602に対して既知の関係を伴う座標系内の光学軸の方向を示すデータ)を含むデータを、モジュール722から受信してもよい。例えば、CoR推定モジュール724は、ユーザの眼の回転中心を推定し得る。回転中心は、ユーザの眼が左、右、上、および/または下に回転するとき、その周囲でユーザの眼が回転する、点を示し得る。眼が、単点の周囲で完璧に回転し得ない場合でも、単点が十分であり得ると仮定する。少なくともいくつかの実施形態では、CoR推定モジュール724は、瞳孔中心(モジュール720によって識別される)または角膜曲率の中心(モジュール716によって識別されるように)を網膜に向かって光学軸(モジュール722によって識別される)に沿って特定の距離だけ移動させることによって、眼の回転中心を推定し得る。本特定の距離は、仮定された眼寸法704であってもよい。一実施例として、角膜曲率の中心とCoRとの間の特定の距離は、約4.7mmであってもよい。本距離は、ユーザの年齢、性別、視覚処方箋、他の関連特性等を含む、任意の関連データに基づいて、特定のユーザのために変動され得る。上記に議論されるように、いくつかの実装では、角膜の曲率の中心または角膜の中心は、角膜の一部の曲率の中心または角膜の表面の一部と一致する球状表面の曲率の中心を指す。例えば、いくつかの実装では、角膜の曲率の中心または角膜の中心は、角膜頂点の曲率の中心または角膜頂点の表面の一部と一致する球状表面の曲率の中心を指す。
少なくともいくつかの実施形態では、CoR推定モジュール724は、ユーザの眼のそれぞれの回転中心のその推定値を経時的に精緻化してもよい。実施例として、時間が経過するにつれて、ユーザは、最終的に、その眼を回転させ(他の場所、より近く、より遠くの何らかのもの、またはある時に左、右、上、または下を見るため)、その眼のそれぞれの光学軸において偏移を生じさせるであろう。CoR推定モジュール724は、次いで、モジュール722によって識別される2つ(またはそれを上回る)光学軸を分析し、それらの光学軸の交差部の3D点を位置特定してもよい。CoR推定モジュール724は、次いで、その交差部の3D点にある回転中心を決定してもよい。そのような技法は、経時的に改良する正確度を伴う、回転中心の推定値を提供し得る。
種々の技法が、CoR推定モジュール724および左および右眼の決定されたCoR位置の正確度を増加させるために採用されてもよい。実施例として、CoR推定モジュール724は、種々の異なる眼姿勢に関して経時的に決定された光学軸の交差部の平均点を見出すことによって、CoRを推定してもよい。付加的実施例として、モジュール724は、推定されたCoR位置を経時的にフィルタリングまたは平均化してもよく、推定されたCoR位置の移動平均を経時的に計算してもよく、および/またはカルマンフィルタおよび眼および眼追跡システムの既知の動態を適用し、CoR位置を経時的に推定してもよい。いくつかの実装では、最小二乗アプローチが、光学軸の交差部の1つ以上の点を決定するためにとられ得る。そのような実装では、システムは、所与の時点において、所与のセットの光学軸までの二乗距離の和が光学軸交差部の点として低減または最小限にされる、場所を識別し得る。具体的実施例として、モジュール724は、決定されたCoRが、ユーザに関する眼追跡データが取得されるにつれて、仮定されたCoR位置(例えば、眼の角膜曲率の中心の4.7mm背後)からユーザの眼内の若干異なる場所に経時的にゆっくりと移り、それによって、CoR位置のユーザ毎精緻化を可能にし得るように、光学軸交差部の決定された点および仮定されたCoR位置(眼の角膜曲率の中心から4.7mm等)の加重平均を計算してもよい。
理想的条件下では、HMDに対するユーザの眼の真のCoRの3D位置は、ユーザがその眼を移動させるにつれて(例えば、ユーザの眼がその回転中心の周囲で回転するにつれて)、無視可能であるまたは最小限の量だけ経時的に変化するはずである。換言すると、眼移動の所与のセットに関して、(HMDに対する)ユーザの眼の真のCoRの3D位置は、仮説上、ユーザの眼の光学軸に沿った任意の他の点ほど経時的に変動しないはずである。したがって、光学軸に沿った点がユーザの眼の真のCoRから離れるほど、その3D位置は、ユーザがその眼を移動させるにつれて、より多くの変動量または分散量を経時的に呈するであろうということになる。いくつかの実施形態では、CoR推定モジュール724および/または眼追跡モジュール614の他のサブモジュールは、本統計的関係を利用して、CoR推定正確度を改良してもよい。そのような実施形態では、CoR推定モジュール724および/または眼追跡モジュール614の他のサブモジュールは、低変動量(例えば、低分散量または標準偏差)を有する、そのCoR推定値の変動量を識別することによって、CoR 3D位置のその推定値を経時的に精緻化してもよい。
第1の実施例として、CoR推定モジュール724が、複数の異なる光学軸の交差部(それぞれ、異なる方向を見ているユーザと関連付けられる)に基づいて、CoRを推定する、実施形態では、CoR推定モジュール724は、共通オフセットを光学軸のそれぞれの方向に導入し(例えば、各軸をある均一量だけ偏移させる)、オフセットされた光学軸が、低変動量、例えば、低分散量または標準偏差を有する交点において相互に交差するかどうかを決定することによって、本統計的関係(真のCoRは、低分散量を有するはずである)を利用してもよい。これは、光学軸の方向の計算におけるわずかな体系的誤差を補正し、CoRの推定される位置が真のCoRにより近くなるように精緻化することに役立ち得る。
第2の実施例として、CoR推定モジュール724が、光学軸(または他の軸)に沿って特定の距離(例えば、角膜曲率の中心とCoRとの間の距離等)だけ移動させることによって、CoRを推定する、実施形態では、システムは、推定されるCoR位置の変動量、例えば、分散量および/または標準偏差を低減または最小限にするような様式において、角膜曲率の中心とCoRとの間の特定の距離を経時的に変動させる、最適化する、調整する、または別様に調節してもよい(例えば、異なる時間において捕捉された眼の大規模な画像のグループに関して)。例えば、CoR推定モジュール724が、最初に、4.7mmの特定の距離値(角膜曲率の中心から、光学軸に沿って)を使用し、CoR位置推定値を取得するが、所与のユーザの眼の真のCoRが、眼の角膜曲率の中心の4.9mm背後に位置付けられ得る(光学軸に沿って)場合、CoR推定モジュール724によって取得されるCoR位置推定値の初期セットは、比較的に高量の変動量、例えば、分散量または標準偏差を呈し得る。そのような比較的に高量の変動量(例えば、分散量または標準偏差)の検出に応答して、CoR推定モジュール724は、より低量の変動量(例えば、分散量または標準偏差)を有する、光学軸に沿った1つ以上の点を探索および識別してもよく、最低変動量(例えば、分散量または標準偏差)を有する、4.9mm距離を識別してもよく、したがって、利用される特定の距離値を4.9mmに調節してもよい。
CoR推定モジュール724は、現在のCoR推定値が比較的に高量の変動量(例えば、分散量または標準偏差)を有することを検出することに応答して、より低い変動量(例えば、分散量および/または標準偏差)を有する、代替CoR推定値を探索してもよい、または初期CoR推定値を取得後、当然のように、より低い変動量(例えば、分散量または標準偏差)を有する、代替CoR推定値を探索してもよい。いくつかの実施例では、そのような最適化/調節は、経時的に徐々に発生してもよい一方、他の実施例では、そのような最適化/調節は、初期ユーザ較正セッションの間に行われることができる。そのようなプロシージャが較正プロシージャの間に行われる、実施例では、CoR推定モジュール724は、最初に、任意の仮定される特定の距離に賛同/遵守しなくてもよく、むしろ、眼追跡データのセットを経時的に収集し、統計的分析を眼追跡データのセット上で実施し、統計的分析に基づいて、最も少ない可能性として考えられる量(例えば、大域的最小値)の変動量(例えば、分散量または標準偏差)を伴うCoR位置推定値をもたらす、特定の距離値を決定してもよい。
瞳孔間距離(IPD)推定モジュール726は、ユーザの左および右眼の回転中心の推定された3D位置を示すデータを、CoR推定モジュール724から受信してもよい。IPD推定モジュール726は、次いで、ユーザの左および右眼の回転中心間の3D距離を測定することによって、ユーザのIPDを推定してもよい。一般に、ユーザの左眼の推定されたCoRとユーザの右眼の推定されたCoRとの間の距離は、ユーザが光学無限遠を見ている(例えば、ユーザの眼の光学軸が相互に略平行である)とき、ユーザの瞳孔中心間の距離と概ね等しくあり得、これは、瞳孔間距離(IPD)の典型的定義である。ユーザのIPDは、ウェアラブルシステム内の種々のコンポーネントおよびモジュールによって使用されてもよい。実施例として、ユーザのIPDは、位置合わせオブザーバ620に提供され、ウェアラブルデバイスがユーザの眼と整合されている程度(例えば、左および右ディスプレイレンズが、ユーザのIPDに従って適切に離間されているかどうか)を査定する際に使用されてもよい。別の実施例として、ユーザのIPDは、輻輳・開散運動深度推定モジュール728に提供され、ユーザの輻輳・開散運動深度を決定する際に使用されてもよい。モジュール726は、CoR推定モジュール724に関連して議論されるもの等の種々の技法を採用し、推定されたIPDの正確度を増加させてもよい。実施例として、IPD推定モジュール724は、正確な様式におけるユーザのIPDの推定の一部として、フィルタリング、経時的な平均、仮定されたIPD距離を含む、加重平均、カルマンフィルタ等を適用してもよい。
輻輳・開散運動深度推定モジュール728は、データを眼追跡モジュール614内の種々のモジュールおよびサブモジュール(図7Aに関連して示されるように)から受信してもよい。特に、輻輳・開散運動深度推定モジュール728は、瞳孔中心の推定された3D位置(例えば、上記に説明されるモジュール720によって提供されるように)、光学軸の1つ以上の決定されたパラメータ(例えば、上記に説明されるモジュール722によって提供されるように)、回転中心の推定された3D位置(例えば、上記に説明されるモジュール724によって提供されるように)、推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって提供されるように)、および/または光学軸および/または視軸の1つ以上の決定されたパラメータ(例えば、下記に説明されるモジュール722および/またはモジュール730によって提供されるように)を示すデータを採用してもよい。輻輳・開散運動深度推定モジュール728は、ユーザの眼が合焦されるユーザからの距離であり得る、ユーザの輻輳・開散運動深度の測定値を検出または別様に取得してもよい。実施例として、ユーザが、彼らの正面から3フィートのオブジェクトを見ているとき、ユーザの左および右眼は、3フィートの輻輳・開散運動深度を有する一方、ユーザが遠距離の景観を見ている(例えば、ユーザの眼の光学軸が、ユーザの瞳孔中心間の距離が、ユーザの左および右眼の回転中心間の距離と概ね等しくあり得るように、相互に略平行である)とき、ユーザの左および右眼は、無限遠の輻輳・開散運動深度を有する。いくつかの実装では、輻輳・開散運動深度推定モジュール728は、ユーザの瞳孔の推定された中心(例えば、モジュール720によって提供されるように)を示すデータを利用し、ユーザの瞳孔の推定された中心間の3D距離を決定してもよい。輻輳・開散運動深度推定モジュール728は、瞳孔中心間のそのような決定された3D距離と推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって示されるように)を比較することによって、輻輳・開散運動深度の測定値を取得してもよい。瞳孔中心間の3D距離および推定されたIPDに加え、輻輳・開散運動深度推定モジュール728は、既知の、仮定された、推定された、および/または決定された幾何学形状を利用して、輻輳・開散運動深度を計算してもよい。実施例として、モジュール728は、瞳孔中心間の3D距離、推定されたIPD、および三角法計算における3D CoR位置を組み合わせて、ユーザの輻輳・開散運動深度を推定(例えば、決定)してもよい。実際、推定されたIPDに対する瞳孔中心間のそのような決定された3D距離の評価は、光学無限遠に対するユーザの現在の輻輳・開散運動深度の測定値を示す役割を果たし得る。いくつかの実施例では、輻輳・開散運動深度推定モジュール728は、単に、輻輳・開散運動深度のそのような測定値を取得する目的のために、ユーザの瞳孔の推定された中心間の推定された3D距離を示すデータを受信する、またはそれにアクセスしてもよい。いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸を比較することによって、輻輳・開散運動深度を推定してもよい。特に、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸が交差する(または水平平面等の平面上のユーザの左および右光学軸の投影が交差する)、ユーザからの距離を位置特定することによって、輻輳・開散運動深度を推定してもよい。モジュール728は、ゼロ深度をユーザの左および右光学軸がユーザのIPDによって分離される深度であると設定することによって、本計算において、ユーザのIPDを利用してもよい。少なくともいくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、眼追跡データを、既知のまたは導出された空間関係とともに三角測量することによって、輻輳・開散運動深度を決定してもよい。
いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザが合焦している距離のより正確なインジケーションを提供し得る、ユーザの視軸の交差部に基づいて(その光学軸の代わりに)、ユーザの輻輳・開散運動深度を推定してもよい。少なくともいくつかの実施形態では、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。図10に関連してさらに詳細に議論されるように、ユーザの光学軸および視軸は、概して、整合されない。視軸は、それに沿って人物が見ている軸である一方、光学軸は、その人物の水晶体および瞳孔中心によって定義され、人物の網膜の中心を通して進み得る。特に、ユーザの視軸は、概して、ユーザの網膜の中心からオフセットされ、それによって、異なる光学および視軸をもたらし得る、ユーザの中心窩の場所によって定義される。これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。光学軸/視軸マッピングモジュール730は、ユーザの光学軸と視軸との間の差異を補正し、輻輳・開散運動深度推定モジュール728およびライトフィールドレンダリングコントローラ618等のウェアラブルシステム内の他のコンポーネントに対するユーザの視軸に関する情報を提供してもよい。いくつかの実施例では、モジュール730は、光学軸と視軸との間の内向きの(鼻側に、ユーザの鼻に向かって)約5.2°の典型的オフセットを含む、仮定された眼寸法704を使用してもよい。換言すると、モジュール730は、ユーザの左および右光学軸の方向を推定するために、ユーザの左光学軸を5.2°鼻に向かって(鼻側に)右に、ユーザの右光学軸を5.2°鼻に向かって(鼻側に)左に偏移させ得る。他の実施例では、モジュール730は、光学軸(例えば、上記に説明されるモジュール722によって示されるように)を視軸にマッピングする際、ユーザ毎較正データ706を利用してもよい。付加的実施例として、モジュール730は、ユーザの光学軸を鼻側に4.0°~6.5°、4.5°~6.0°、5.0°~5.4°等、またはこれらの値のいずれかによって形成される任意の範囲だけ偏移させてもよい。いくつかの配列では、モジュール730は、少なくとも部分的に、その年齢、性別、視覚処方箋、または他の関連特性等の特定のユーザの特性に基づいて、偏移を適用してもよく、および/または少なくとも部分的に、特定のユーザのための較正プロセス(例えば、特定のユーザの光学軸-視軸オフセットを決定するため)に基づいて、偏移を適用してもよい。少なくともいくつかの実施形態では、モジュール730はまた、左および右光学軸の原点を偏移させ、ユーザのCoRの代わりに、ユーザのCoP(モジュール732によって決定されるように)に対応させてもよい。
随意の視点中心(CoP)推定モジュール732が、提供されるとき、ユーザの左および右視点中心(CoP)の場所を推定してもよい。CoPは、ウェアラブルシステムのための有用な場所であって、少なくともいくつかの実施形態では、瞳孔の真正面の位置であり得る。少なくともいくつかの実施形態では、CoP推定モジュール732は、ユーザの瞳孔中心の3D場所、ユーザの角膜曲率の中心の3D場所、またはそのような好適なデータ、またはそれらの任意の組み合わせに基づいて、ユーザの左および右視点中心の場所を推定してもよい。実施例として、ユーザのCoPは、角膜曲率の中心の正面の約5.01mm(例えば、角膜球面中心から、眼の角膜に向かい、光学軸に沿った方向に5.01mm)にあり得、光学または視軸に沿ってユーザの角膜の外面の約2.97mm背後にあり得る。ユーザの視点中心は、その瞳孔中心の真正面にあり得る。実施例として、ユーザのCoPは、ユーザの瞳孔から約2.0mm未満、ユーザの瞳孔から約1.0mm未満、またはユーザの瞳孔から約0.5mm未満、またはこれらの値のいずれかの間の任意の範囲であり得る。別の実施例として、視点中心は、眼の前房内の場所に対応し得る。他の実施例として、CoPは、ユーザの瞳孔から1.0mm~2.0mm、約1.0mm、0.25mm~1.0mm、0.5mm~1.0mm、または0.25mm~0.5mmにあり得る。
(レンダリングカメラのピンホールの潜在的に望ましい位置およびユーザの眼内の解剖学的位置としての)本明細書に説明される視点中心は、望ましくない視差偏移を低減および/または排除する役割を果たす、位置であり得る。特に、ユーザの眼の光学系は、レンズの正面のピンホールが画面上に投影することによって形成される理論的システムにほぼ概ね匹敵し、ピンホール、レンズ、および画面は、それぞれ、ユーザの瞳孔/虹彩、水晶体、および網膜に概ね対応する。さらに、ユーザの眼から異なる距離における2つの点光源(またはオブジェクト)が、ピンホールの開口部を中心として厳密に回転する(例えば、ピンホールの開口部からのその個別の距離と等しい曲率半径に沿って回転される)とき、殆どまたは全く視差偏移が存在しないことが望ましくあり得る。したがって、CoPは、眼の瞳孔中心に位置するはずであると考えられるであろう(およびそのようなCoPが、いくつかの実施形態では、使用されてもよい)。しかしながら、ヒトの眼は、水晶体および瞳孔のピンホールに加え、付加的屈折力を網膜に向かって伝搬する光に付与する、角膜を含む。したがって、本段落に説明される理論的システム内のピンホールの解剖学的均等物は、ユーザの眼の角膜の外面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域であり得る。例えば、ピンホールの解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。本明細書で議論される種々の理由から、CoPをユーザの眼の前房内のそのような位置に設定することが所望され得る。
上記に議論されるように、眼追跡モジュール614は、左および右眼回転中心(CoR)の推定された3D位置、輻輳・開散運動深度、左および右眼光学軸、ユーザの眼の3D位置、ユーザの角膜曲率の左および右中心の3D位置、ユーザの左および右瞳孔中心の3D位置、ユーザの左および右視点中心の3D位置、ユーザのIPD等のデータを、ウェアラブルシステム内のライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620等の他のコンポーネントに提供してもよい。眼追跡モジュール614はまた、ユーザの眼の他の側面と関連付けられるデータを検出および生成する、他のサブモジュールを含んでもよい。実施例として、眼追跡モジュール614は、ユーザが瞬目する度に、フラグまたは他のアラートを提供する、瞬目検出モジュールと、ユーザの眼がサッカードする(例えば、焦点を別の点に迅速に偏移させる)度に、フラグまたは他のアラートを提供する、サッカード検出モジュールとを含んでもよい。
眼追跡および回転中心を決定する他の方法も、可能性として考えられる。故に、眼追跡モジュール614は、異なってもよい。下記に説明される眼追跡モジュールの種々の実装では、例えば、回転中心の推定値は、複数の角膜曲率の中心値に基づいて決定される。いくつかの実装では、例えば、図17A-19Dを参照して議論されるように、眼追跡モジュール614は、可能性として、異なる眼姿勢に関する、複数の角膜の曲率の中心に適合される表面の表面法線ベクトルの間の収束または交差部を決定することによって、眼の回転中心を推定し得る。なお、上記または本明細書のいずれかの場所に説明される眼追跡モジュール614からの1つ以上の特徴が、眼追跡モジュールの他の実装に含まれてもよい。
H.レンダリングコントローラの実施例
例示的ライトフィールドレンダリングコントローラ618の詳細なブロック図が、図7Bに示される。図6および7Bに示されるように、レンダリングコントローラ618は、眼追跡情報を眼追跡モジュール614から受信してもよく、出力をレンダリングエンジン622に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ618は、輻輳・開散運動深度、左および右眼回転中心(および/または視点中心)、および瞬目データ、サッカードデータ等の他の眼データを受信してもよい。
深度面選択モジュール750は、輻輳・開散運動深度情報および他の眼データを受信してもよく、そのようなデータに基づいて、レンダリングエンジン622に、特定の深度面(例えば、特定の遠近調節または焦点距離)を伴うコンテンツをユーザに伝達させてもよい。図4に関連して議論されるように、ウェアラブルシステムは、それぞれ、可変レベルの波面曲率を伴う画像情報を伝達する、複数の導波管によって形成される、複数の離散深度面を含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、経時的に変動するレベルの波面曲率を伴う画像情報を伝達する、光学要素等の1つ以上の可変深度面を含んでもよい。これらおよび他の実施形態では、深度面選択モジュール750が、レンダリングエンジン622に、部分的に、ユーザの輻輳・開散運動深度に基づいて、コンテンツを選択された深度においてユーザに伝達させてもよい(例えば、レンダリングエンジン622に、ディスプレイ220に深度面を切り替えるように指示させる)。少なくともいくつかの実施形態では、深度面選択モジュール750およびレンダリングエンジン622は、コンテンツを異なる深度にレンダリングし、また、深度面選択データを生成し、および/またはディスプレイ220等のディスプレイハードウェアに提供してもよい。ディスプレイ220等のディスプレイハードウェアは、深度面選択モジュール750およびレンダリングエンジン622等のモジュールによって生成および/または提供される深度面選択データ(制御信号であり得る)に応答して、電気深度面切替を実施してもよい。
一般に、深度面選択モジュール750が、ユーザが正確な遠近調節キューを提供されるように、ユーザの現在の輻輳・開散運動深度に合致する深度面を選択することが望ましくあり得る。しかしながら、また、慎重かつ目立たない様式において深度面を切り替えることが望ましくあり得る。実施例として、深度面間の過剰な切替を回避することが望ましくあり得、および/または瞬目または眼サッカードの間等のユーザが切替に気付く可能性が低い時間に深度面を切り替えることが望ましくあり得る。
ヒステリシス帯交差部検出モジュール752は、特に、ユーザの輻輳・開散運動深度が2つの深度面間の中点または遷移点で変動するとき、深度面間の過剰な切替を回避することに役立ち得る。特に、モジュール752は、深度面選択モジュール750に、ヒステリシスを深度面のその選択に呈させてもよい。実施例として、モジュール752は、深度面選択モジュール750に、ユーザの輻輳・開散運動深度が第1の閾値を通過した後のみ、第1のより遠い深度面から第2のより近い深度面に切り替えさせてもよい。同様に、モジュール752は、深度面選択モジュール750に(ひいては、ディスプレイ220等のディスプレイに指示し得る)、ユーザの輻輳・開散運動深度が第1の閾値よりユーザから遠い第2の閾値を通過した後のみ、第1のより遠い深度面に切り替えさせてもよい。第1の閾値と第2の閾値との間の重複領域では、モジュール750は、深度面選択モジュール750に、いずれかの深度面が選択された深度面として現在選択されているように維持させ、したがって、深度面間の過剰な切替を回避してもよい。
眼球イベント検出モジュール750は、他の眼データを図7Aの眼追跡モジュール614から受信してもよく、深度面選択モジュール750に、眼球イベントが生じるまで、いくつかの深度面切替を遅延させてもよい。実施例として、眼球イベント検出モジュール750は、深度面選択モジュール750に、ユーザ瞬目が検出されるまで、計画された深度面切替を遅延させてもよく、眼追跡モジュール614内の瞬目検出コンポーネントから、ユーザが現在瞬目していることを示す、データを受信してもよく、それに応答して、深度面選択モジュール750に、瞬目イベントの間、計画された深度面切替を実行させてもよい(モジュール750に、瞬目イベントの間、ディスプレイ220に深度面切替を実行するように指示させることによって等)。少なくともいくつかの実施形態では、ウェアラブルシステムは、ユーザが偏移を知覚する可能性が低いように、瞬目イベントの間、コンテンツを新しい深度面上に偏移させることが可能であり得る。別の実施例として、眼球イベント検出モジュール750は、眼サッカードが検出されるまで、計画された深度面切替を遅延させてもよい。眼瞬目に関連して議論されるように、そのような配列は、深度面の離散偏移を促進し得る。
所望に応じて、深度面選択モジュール750は、眼球イベントの不在下であっても、深度面切替を実行する前に、限定された時間周期にわたってのみ、計画された深度面切替を遅延させてもよい。同様に、深度面選択モジュール750は、眼球イベントの不在下であっても、ユーザの輻輳・開散運動深度が、現在選択されている深度面外に実質的にあるとき(例えば、ユーザの輻輳・開散運動深度が、深度面切替のための通常閾値を超える所定の閾値を超えたとき)、深度面切替を実行してもよい。これらの配列は、眼球イベント検出モジュール754が、深度面切替を無限に遅延させず、大遠近調節誤差が存在するとき、遅延深度面切替を遅延させないことを確実にすることに役立ち得る。
レンダリングカメラコントローラ758は、ユーザの左および右眼の場所を示す情報を、レンダリングエンジン622に提供してもよい。レンダリングエンジン622は、次いで、カメラをユーザの左および右眼の位置においてシミュレートし、シミュレートされたカメラの視点に基づいて、コンテンツを生成することによって、コンテンツを生成してもよい。上記に議論されるように、レンダリングカメラは、可能性として、仮想世界内のオブジェクトのデータベースから仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。レンダリングカメラは、レンダリングエンジン内に含まれ、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされてもよい。例えば、仮想画像は、仮想世界内のオブジェクトを視認する、開口、レンズ、および検出器を有する、カメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされてもよい。仮想画像は、「レンダリングカメラ」の位置を有する、そのようなカメラの視点から撮影される。例えば、仮想画像は、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所(本明細書に議論されるような視点中心または回転中心または他の場所等)に開口を有する、カメラ視点から捕捉されたかのようにレンダリングされる。
レンダリングカメラコントローラ758は、CoR推定モジュール724によって決定された左および右眼回転中心(CoR)に基づいて、および/またはCoP推定モジュール732によって決定された左および右眼視点中心(CoP)に基づいて、左および右カメラの位置を決定してもよい。いくつかの実施形態では、レンダリングカメラコントローラ758は、種々の要因に基づいて、CoR場所とCoP場所との間で切り替えてもよい。実施例として、レンダリングカメラコントローラ758は、種々のモードでは、レンダリングカメラをCoR場所に常時位置合わせする、レンダリングカメラをCoP場所に常時位置合わせする、種々の要因に基づいて、経時的に、CoR場所へのレンダリングカメラの位置合わせとCoP場所へのレンダリングカメラの位置合わせとの間でトグルする、または離散的に切り替える、または種々の要因に基づいて、経時的に、CoR場所とCoP場所との間で光学(または視)軸に沿った異なる位置の範囲のいずれかにレンダリングカメラを動的に位置合わせしてもよい。CoRおよびCoP位置は、随意に、平滑フィルタ756を通して通過し得(レンダリングカメラ位置付けのための前述のモードのいずれかにおいて)、これは、CoRおよびCoP場所を経時的に平均し、これらの位置における雑音を低減させ、シミュレートされたレンダリングカメラをレンダリングする際のジッタを防止し得る。
少なくともいくつかの実施形態では、レンダリングカメラは、眼追跡モジュール614によって識別される推定されたCoRまたはCoPの位置に配置されるピンホールを伴うピンホールカメラとしてシミュレートされてもよい。CoPは、CoRからオフセットされるため、レンダリングカメラの位置がユーザのCoPに基づくときは常時、レンダリングカメラおよびそのピンホールの両方の場所が、ユーザの眼が回転するにつれて偏移する。対照的に、レンダリングカメラの位置が、ユーザのCoRに基づくときは常時、レンダリングカメラのピンホールの場所は、眼回転に伴って移動しないが、レンダリングカメラ(ピンホールの背後)は、いくつかの実施形態では、眼回転に伴って移動し得る。レンダリングカメラの位置がユーザのCoRに基づく、他の実施形態では、レンダリングカメラは、ユーザの眼に伴って移動(すなわち、回転)しなくてもよい。
I.光学軸と視軸との間の差異の実施例
図7Aの光学軸/視軸マッピングモジュール730に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸(その瞳孔中心およびその角膜曲率の中心によって定義される)が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図8は、眼の光学軸902と、眼の視軸904と、これらの軸間のオフセットとを図示する、眼900の実施例である。加えて、図8は、眼の瞳孔中心906と、眼の角膜曲率の中心908と、眼の平均回転中心(CoR)910とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心908は、寸法912によって示されるように、眼の平均回転中心(CoR)910の正面の約4.7mmにあり得る。加えて、眼の視点中心914は、眼の角膜曲率の中心908の正面の約5.01mm、ユーザの角膜の外面916の約2.97mm背後、および/またはユーザの瞳孔中心906の真正面(例えば、眼900の前房内の場所に対応する)にあり得る。付加的実施例として、寸法912は、3.0mm~7.0mm、4.0~6.0mm、4.5~5.0mm、または4.6~4.8mm、またはこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心(CoP)914は、少なくともいくつかの実施形態では、レンダリングカメラをCoPに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
図8はまた、それとレンダリングカメラのピンホールが整合され得る、ヒトの眼900内のそのような場所を図示する。図8に示されるように、レンダリングカメラのピンホールは、ヒトの眼900の(a)瞳孔または虹彩906の中心および(b)角膜曲率の中心908の両方より角膜の外面に近い、ヒトの眼900の光学軸902または視軸904に沿った場所914と位置合わせされてもよい。例えば、図8に示されるように、レンダリングカメラのピンホールは、角膜916の外面から後方に約2.97ミリメートルおよび角膜曲率の中心908から前方に約5.01ミリメートルにある、ヒトの眼900の光学軸902に沿った場所914と位置合わせされてもよい。レンダリングカメラのピンホールの場所914および/またはそれに対して場所914が対応するヒトの眼900の解剖学的領域は、ヒトの眼900の視点中心を表すと見なされ得る。図8に示されるようなヒトの眼900の光学軸902は、角膜曲率の中心908および瞳孔または虹彩906の中心を通る最短線を表す。ヒトの眼900の視軸904は、ヒトの眼900の中心窩から瞳孔または虹彩906の中心まで延在する線を表すため、光学軸902と異なる。
J.例示的ウェアラブルデバイス構成
図9A-Eは、眼追跡モジュール614による使用のための眼画像データを捕捉するための例示的ウェアラブルデバイス2000のコンポーネントの例示的構成を図示する。例えば、図9Aに図示されるように、ウェアラブルデバイス2000は、図2-4を参照して上記に説明されるようなウェアラブルシステムの一部であってもよい。ウェアラブルデバイス2000は、左接眼レンズ2010Aと、右接眼レンズ2010Bとを含んでもよい。左接眼レンズ2010Aは、ユーザの左眼を結像することが可能であり得、右接眼レンズ2010Bは、ユーザの右眼を結像することが可能であり得る。
図9Bに図示されるように、左接眼レンズ2010Aは、1つ以上の照明源2022を含んでもよい。同様に、右接眼レンズ2010Bは、1つ以上の照明源2024を含んでもよい。例えば、4つの照明源2022と、4つの照明源2024とが、存在してもよい。照明源2022は、左接眼レンズ2010A内に位置付けられ、光をユーザの左眼2012Aに向かって放出してもよい。照明源2022は、左接眼レンズ2010Aを通したユーザのビューを妨害しないように位置付けられてもよい。例えば、照明源2022は、ディスプレイを通したユーザのビューを妨害しないように、左接眼レンズ2010A内のディスプレイの辺縁の周囲に位置付けられてもよい。同様に、照明源2024は、右接眼レンズ2010B内に位置付けられ、光をユーザの右眼2012Bに向かって放出してもよい。照明源2024は、右接眼レンズ2010Bを通したユーザのビューを妨害しないように位置付けられてもよい。例えば、照明源20204は、ディスプレイを通したユーザのビューを妨害しないように、右接眼レンズ2010B内のディスプレイの辺縁の周囲に位置付けられてもよい。照明源2022、2024は、可視または非可視光内の光を放出してもよい。例えば、照明源2022、2024は、赤外線(IR)LEDであってもよい。照明源はまた、異なるように、位置する、または構成されてもよい。
図9Bに図示されるように、左接眼レンズ2010Aは、左眼結像システムを含んでもよい。左眼結像システムは、1つ以上の内向きに面したカメラ(2014、2016)を含むことができる。例えば、左眼結像システムは、左接眼レンズ2010Aのための左眼追跡カメラ2014と、左接眼レンズ2010Aのための右眼追跡カメラ2016とを含むことができる。左眼追跡カメラ2014および右眼追跡カメラ2016は、それぞれ、相互の左および右、可能性として、それぞれ、左接眼レンズの中心の左および右に位置してもよい。同様に、右接眼レンズ2010Bは、右眼結像システムを含んでもよい。右眼結像システムは、1つ以上の内向きに面したカメラ(2018、2020)を含むことができる。例えば、右眼結像システムは、右接眼レンズ2010Bのための左眼追跡カメラ2018と、右接眼レンズ2010Bのための右眼追跡カメラ2020とを含むことができる。左眼追跡カメラ2018および右眼追跡カメラ2020は、それぞれ、相互の左および右、可能性として、それぞれ、右接眼レンズの中心の左および右に位置してもよい。左眼追跡システム2010A内の1つ以上のカメラおよび右眼追跡システム2010B内の1つ以上のカメラは、ユーザの眼の画像を捕捉する邪魔にならないように、ウェアラブルデバイス2000内に置かれてもよい。他の構成も、可能性として考えられる。
左接眼レンズ2010Aのための結像システムの視野は、多くの異なる眼姿勢位置において、ユーザの左眼2012Aの全てまたは有用な部分を結像することが可能であり得る(必ずしも、眼追跡のために有用な右眼またはその一部を結像するとは限らない)。同様に、右接眼レンズ2010Bのための結像システムの視野は、多くの異なる眼姿勢位置において、ユーザの右眼2012Bの全てまたは有用な部分を結像することが可能であり得る(必ずしも、眼追跡のために有用な左眼またはその一部を結像するとは限らない)。例えば、ユーザは、通常移動の間、任意の方向に、中心視線から最大50度まで、その眼を移動させることが可能であり得る。結像システムは、集合的に、その通常移動の間、ユーザの眼の(例えば、50度の)完全運動範囲の実質的に全てを結像するように置かれてもよい。
図9Cは、左接眼レンズ2010Aの右眼追跡カメラ2016の例示的視野2030と、右接眼レンズ2010Bの右眼追跡カメラ2020の例示的視野2032とを図示する。図9Dは、左接眼レンズ2010Aの右眼追跡カメラ2014の例示的視野2040と、右接眼レンズ2010Bの右眼追跡カメラ2018の例示的視野2042とを図示する。図9Eは、左接眼レンズ2010Aの左眼追跡カメラ2014および右眼追跡カメラ2016からの視野2030および2040が、ユーザの左眼2012Aの実質的に全てを結像するように、それぞれ、重複し得る様子を図示する。加えて、図9Eは、右接眼レンズ2010Bの左眼追跡カメラ2018および右眼追跡カメラ2020からの視野2040および2042が、画像ユーザの右眼2012Bの実質的に全てを結像するように、それぞれ、重複し得る様子を図示する。変形例も、可能性として考えられる。例えば、カメラの数および場所は、異なり得る。他のタイプの結像システムもまた、使用されてもよい。
K.眼追跡システムを用いて回転中心を位置特定する実施例
眼追跡システム(または眼追跡モジュール614内のプロセス)を簡略化するために、ヒトの眼の回転中心(CoR)を決定するために要求される変数の数を低減させることが望ましくあり得る。有利なこととして、CoRを決定するために使用される変数の数を低減させることはまた、眼追跡正確度を改良することができる。例えば、CoRは、眼追跡において使用するための視線ベクトルを決定するために使用され得るため、CoRにおける増加された誤差は、あまり正確ではない眼追跡をもたらし得る。CoRにおける誤差は、CoRを計算するために使用される変数の決定の間に導入される、誤差から生じ得る。例えば、CoR計算は、瞳孔円中心を抽出し、角膜球面をモデル化するステップを伴い得る。それらのプロセスは両方とも、誤差を導入し、不正確度に寄与し得る。したがって、限定された数の変数を使用して、CoRを抽出することが有利であり得る。
本明細書に説明されるものは、主にまたは全体的に、角膜データから、CoRを抽出するためのシステムおよび方法である。有利なこととして、上記に議論されるものと類似理由に起因して、本システムは、眼追跡システムの正確度を改良することができる。例えば、本システムは、いくつかの仮定を要求し、したがって、誤差の導入の潜在性を低減させ得る。改良された正確度に加えて、またはその代替として、本システムは、眼追跡システムの他の側面を改良することができる。例えば、本システムは、照明源へのより短い眼暴露に依拠し得る。より短い眼暴露は、照明源への長期眼暴露と関連付けられる、リスクを低減させ、照明電力消費を低減させ、かつ高周囲光阻止率を提供することができる。別の実施例では、本システムは、広視野を要求しなくてもよい。低減された視野要件は、ウェアラブルシステムのハードウェア設計におけるより多くの柔軟性を可能にすることができる。
いくつかの実施例では、ヒトの眼の回転中心(CoR)は、角膜データから抽出されることができる。図10は、眼追跡モジュール614によって実施され得る、例示的CoR抽出システム1000のグラフィック図を示す。例えば、ウェアラブルシステムは、1つ以上の照明源を備える、照明システムを使用して、2つ以上の閃光をユーザの眼1010の角膜1020上に生成してもよい。種々の実装では、照明システムは、光が出力される、複数の別個の領域を備える。これらの領域は、分離された光エミッタまたは光源に対応し得る。閃光検出および標識化モジュール714が、眼1010の角膜1020上の閃光場所を抽出してもよい。下記に説明されるように、3D角膜中心推定モジュール716は、閃光場所に基づいて、近似角膜曲率1018を決定し、その近似される角膜曲率1018の推定される中心1012を計算してもよい。異なる眼姿勢は、異なる近似される角膜曲率1018および角膜曲率1012の関連付けられる推定される中心を提供し得る。CoR推定モジュール724は、表面を推定される中心1012に適用させ、表面に対して法線方向の表面法線ベクトル1014のセットの収束または交差部の領域1016を決定することによって、角膜曲率1012の複数の推定される中心に基づいて、推定されるCoRを決定してもよい。推定されるCoRは、本領域1016から取得されてもよい、例えば、推定されるCoRは、本領域1016またはその中にあり得る。
随意に、CoR推定は、眼追跡モジュール614を使用して、さらにチェックされてもよい。例えば、下記にさらに詳細に説明されるように、CoRが、ウェアラブルデバイスの使用の間、本デバイスに対して移動していた場合、角膜中心1012の新しい測定が、新しく計算された角膜中心1012と計算された角膜中心1012のセットに適合された表面との間の距離を測定することによって、試験されてもよい。距離が、大きすぎる場合、眼追跡モジュール614は、眼追跡を一時停止する、またはCoRを決定する異なる方法または異なる眼追跡方法に切り替えてもよい。いくつかの実施例では、切替は、十分なデータが全体的誤差を低減させるために収集されるまでの一時的であってもよい。
有利なこととして、CoR抽出1000は、1つ以上の仮定を採用してもよい。例えば、CoR抽出1000は、閃光抽出が、正確である、眼1010の幾何学形状が、既知である、角膜の半径(または角膜非点収差の場合、2つの半径)が、既知である、またはデータが、ユーザの視線の通常またはランダム運動の間に収集されたと仮定してもよい。
L.例示的眼追跡環境
上記に議論されるように、CoRは、角膜曲率1012の複数の推定される中心から決定されてもよい。例えば、表面は、角膜曲率1012の推定される中心に適合されてもよく、本表面に対して法線方向の複数の表面法線ベクトル1014が、取得されてもよい。これらの表面法線ベクトル1014のセットの収束の領域1016が、識別されてもよい。推定されるCoRは、本収束の領域1016から取得されてもよい、例えば、推定されるCoRは、本領域1016またはその中にあり得る。
角膜曲率1012の複数の推定される中心を取得するために、閃光が、照明源を使用して、眼上に生産され、上記に説明されるようなカメラによって結像されてもよい。図11は、推定される回転中心を決定するための眼追跡モジュールによって使用される、任意の眼上の閃光の例示的画像を示す。例えば、上記に議論されるように、ウェアラブルシステムは、結像システムを含んでもよい。結像システムは、ユーザの眼1110を結像し、眼画像1101を生産してもよい。ウェアラブルシステムは、光を出力する空間的に別個の領域を備える、1つ以上の照明源1102を含んでもよい。故に、照明源1102からの光は、光を照射するこれらの空間的に別個の領域の反射である、1つ以上の閃光1104をユーザの眼1110上に生産してもよい。
ウェアラブルシステムの結像システムは、眼追跡アセンブリの一部であってもよい(例えば、図9A-Eに示されるように)。結像システムは、1つ以上のカメラを含んでもよい。例えば、結像システムは、ユーザの眼1110と関連する場所1106に、単一カメラを含むことができる。別の実施例では、結像システムは、ユーザの眼1110に関連する異なる場所に位置し得る、複数のカメラを含むことができる。
照明源1102は、発光ダイオード(LED)等の1つ以上の光源を含むことができる。照明源は、可視または非可視光内の光(例えば、赤外線(IR)光)を放出してもよい。例えば、照明源1102は、赤外線(IR)LEDであることができる。照明源1102は、眼追跡アセンブリの一部であることができる(例えば、図9A-Eに図示されるように)。
照明源1102は、1つ以上の鏡面反射1104をユーザの眼1110の角膜上に生産してもよい。鏡面反射1104は、閃光とも称され得る。例えば、2つの照明源(1102A、1102B)が、存在してもよい。照明源は、2つ以上の離散閃光(1104A、1104B)をユーザの眼1110上に生産するように構成されてもよい。図11は、その上に閃光を伴う、ユーザの眼の画像を示す。図11はまた、眼1110およびその上の閃光1104A、1104Bの場所と比較して、かつその相対的場所における照明源1102A、1102Bに対して、カメラ1106(座標系の原点によって表される)の図を示す。
M.単一カメラを使用した、それに沿って角膜中心が位置する、ベクトルの例示的抽出
上記に議論されるように、場所1106におけるカメラは、照明源1102A、1102Bによって生産される、ユーザの眼1110上の閃光1104A、1104Bを結像してもよい。図12A-Dでは、閃光1104A、場所1106における閃光の画像を捕捉するカメラ、および閃光を生産する照明源1102Aの場所を含む、第1の平面1220が、決定されることができる。特に、モジュールは、第1の照明源1102Aおよび第1の閃光1104Aを含む、第1の平面1220を決定してもよい。同様に、図13A-Dに図示されるように、閃光1104B、場所1106における閃光の画像を捕捉するカメラ、および閃光を生産する照明源1102Bの場所を含む、第2の平面1320が、決定されることができる。特に、モジュール716は、第2の照明源1102Bおよび第2の閃光1104Bに基づいて、第2の平面1320を決定してもよい。図14A-Cに図示されるように、モジュール716は、第1の平面1220と第2の平面1320との間の交差部を決定してもよい。第1の平面1220と第2の平面1320との間の交差部は、角膜中心が位置する場所に沿って指向される、ベクトル1410を画定し得る。図14A-Cに示されるように、本ベクトル1410はまた、カメラの場所1106を含む、方向に沿って延在し得る。
いくつかの実装では、モジュール716は、第1の照明源1102Aと、第1の閃光1104Aと、カメラ場所1106との間の線1210、1212、1214のセットを決定することによって、第1の平面1220を決定してもよい。図12Aに図示されるように、モジュール716は、カメラ場所1106と、第1の照明源1102Aによって生産され得る、第1の閃光1104Aの像面1101A内の場所との間に延在する、第1の線1210を決定してもよい。図12Bに図示されるように、モジュール716は、カメラ場所1106と、第1の閃光1104Aを生産した照明源1102Aの場所との間に延在する、第2の線1212を決定してもよい。図12Cに図示されるように、モジュール716は、照明源1102Aの像面1101A内の場所と第1の閃光1104Aとの間に投射される、第3の線1214を決定してもよい。図12Dに図示されるように、これらの線1210、1210、および1214のうちの任意の2つのものは、その中に角膜中心が存在し得る、平面1220を画定し得る。
同様に、いくつかの実装では、モジュール716は、第2の照明源1102Bと、第2の閃光1104Bと、カメラ場所1106との間の線1310、1312、1314のセットを決定することによって、第2の平面1320を決定してもよい。図13Aに図示されるように、モジュール716は、カメラ場所1106と、第2の照明源1102Bによって生産され得る、第2の閃光1104Bの像面1101A内の場所との間に延在する、第1の線1310を決定してもよい。図13Bに図示されるように、モジュール716は、カメラ場所1106と、第2の閃光1104Aを生産した第2の照明源1102Bの場所との間に延在する、第2の線1313を決定してもよい。図13Cに図示されるように、モジュール716は、第2の閃光1104Bの像面1101A内の場所と第2の照明源1102Bとの間に延在する、第3の線1314を決定してもよい。図13Dに図示されるように、線1310、1310、および1314は、その中に角膜中心が存在し得る、平面1320を画定し得る。
しかしながら、いくつかの実装では、第1の平面1220は、必ずしも、線1210、1210、および1214を別個に画定せずに、第1の照明源1102Aおよび第1の閃光1104Aの場所およびカメラ場所1106から、直接、決定されることができる。同様に、第2の平面1320は、必ずしも、線1310、1310、および1314を別個に画定せずに、第2の照明源1102Bおよび第2の閃光1104Bの場所およびカメラ場所1106から、直接、決定されることができる。
モジュール716は、第1および第2の平面1220と1320との間の交差部を識別してもよい。図14Aおよび14Bに図示されるように、第1の平面1220と第2の平面1320の交差部は、カメラ場所1106の原点を伴う、または別様にカメラ場所を含み得る方向に沿って延在する、ベクトル1410を画定し得る。図14Cに示されるように、ベクトル1410は、角膜中心場所に向かって指し得る。
モジュール716は、複数回、推定プロセスを繰り返し、1つ以上の角膜ベクトル1410を生成してもよい。例えば、モジュール716は、第1の平面1220を決定してもよく、それを用いて、複数の異なるカメラ場所1106を伴う第1の照明源1102Aおよび第1の閃光1104Aに基づいて、ベクトルを画定する。カメラ場所1106は、ユーザの眼1110に関連して(例えば、ユーザの眼1110までの距離、または眼に対する水平または垂直位置、またはそれらの任意の組み合わせに関して)、または照明源(1102A、1102B)の場所に関して変動されることができる。モジュール716は、カメラ場所1106のうちの1つ以上のものに関するベクトル1410を決定してもよい。モジュール716は、次いで、上記に説明されるように、2つ以上のベクトルの交差部から、角膜中心を決定してもよい。2つ以上のベクトルが、交差しない場合、角膜中心は、ベクトルデータから補間または別様に外挿されてもよい。加えて、または代替として、眼追跡モジュール614は、より多くのデータを収集および分析し、角膜中心を決定してもよい。
モジュール716は、眼追跡環境1100と関連付けられる、1つ以上のパラメータを変動させながら、推定プロセスを繰り返してもよい。例えば、モジュール716は、異なるカメラ場所を用いて、またはユーザの眼の異なる視線方向に関して、プロセスを繰り返してもよい。眼追跡モジュール614は、視線標的を利用して、パラメータが変動される間、ユーザがその眼姿勢を維持することを確実にしてもよい。例えば、眼追跡モジュール614は、カメラの場所1106または照明源1102の場所等のパラメータを変動させながら、ユーザがその視線を視線標的に指向する間、1つ以上のベクトル1410を推定してもよい。加えて、または代替として、眼追跡モジュール614は、ウェアラブルデバイスの使用中、ユーザが、自然に、その視線を移動させている間、1つ以上のベクトル1410を推定してもよい。例えば、眼追跡モジュール614は、ユーザの眼の自然移動の間、異なるパラメータと関連付けられる、データを捕捉してもよい。
繰り返される推定プロセスは、特定の眼姿勢と関連付けられる角膜中心に向いている、複数のベクトル1410をもたらし得る。モジュール716は、複数のベクトル1410の交差部または収束の領域を決定し、角膜曲率の推定される中心を生成してもよい。
N.複数のカメラを使用した、それに沿って角膜中心が位置する、ベクトルの例示的抽出
種々の実装では、複数のカメラが、眼を結像するために採用されてもよく、複数のカメラからの画像は、その眼の角膜曲率の中心を決定するために使用されてもよい。特に、モジュール716は、それに沿って角膜中心が位置し得る、ベクトル(1510、1530)を決定してもよい。図15A-16Cは、複数のカメラを用いてそのようなベクトルを決定するための例示的プロセスにおけるステップを図示する。例えば、図15Aに図示されるように、第1の場所1506における第1のカメラは、照明源1502A、1502Bによって生産される、ユーザの眼1501上の閃光1504A、1504Bを結像してもよく、場所1526における第2のカメラは、照明源1522A、1522Bによって生産される、ユーザの眼1501上の閃光1524A、1524Bを結像してもよい。モジュール716は、場所1506における第1のカメラおよび照明源1502A、1502Bと関連付けられる、データに基づいて、第1のベクトル1510を決定してもよく、場所1526における第2のカメラおよび照明源1522A、1522Bと関連付けられる、第2のベクトル1530を決定してもよい。図15Bに図示されるように、モジュール716は、第1のベクトル1510と第2のベクトル1530との間の収束または交差部を決定することによって、角膜中心1520を推定し得る。
第1のベクトル1510を取得するために、モジュール716は、第1の照明源1502Aと、像面1503A内の第1の閃光場所1504Aと、第1の場所1506における第1のカメラとの間の線(図示せず)のセットを決定することによって、第1の平面1512を識別してもよい。モジュール716は、第2の照明源1502Bと、像面1503A内の第2の閃光場所1504Bと、第2のカメラ場所1506との間の線(図示せず)のセットを決定することによって、第2の平面1514を決定してもよい。モジュール716は、これらの第1および第2の平面1512と1514との間の交差部を決定することによって、ベクトル1510を決定してもよい。これらの平面1512と1514の交差部は、角膜曲率の中心場所に向かって指す、カメラ場所1506における原点を伴う、ベクトル1510を画定し得る。
しかしながら、いくつかの実装では、第1の平面1512は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1502A、第1の閃光1504A、および第1のカメラ1106の場所から、直接、決定されることができる。同様に、第2の平面1514は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1502B、第2の閃光1504B、および第1のカメラ1506の場所から、直接、決定されることができる。
モジュール716は、同様に、第1の照明源1522Aと、像面1503B内の第1の閃光場所1524Aと、場所1526における第1のカメラとの間の線(図示せず)のセットを決定することによって、第1の平面1532を決定してもよい。モジュール716は、第2の照明源1522Bと、像面1503B内の第2の閃光場所1524Bと、カメラ場所1526との間の線(図示せず)のセットを決定することによって、第2の平面1534を決定してもよい。モジュール716は、これらの第1および第2の平面1532と1534との間の交差部を決定することによって、第2のベクトル1530を決定してもよい。平面1532と1534の交差部は、角膜曲率の中心場所に向かって指し得る、カメラ場所1526に原点を伴う、ベクトル1530を画定し得る。しかしながら、いくつかの実装では、第1の平面1532は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1522A、第1の閃光1524A、および第2のカメラ1526の場所から、直接、決定されることができる。同様に、第2の平面1534は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1522B、第2の閃光1524B、および第2のカメラ1526の場所から、直接、決定されることができる。
図15Bに図示されるように、モジュール716は、これらの第1および第2のベクトル1510および1530に基づいて、角膜曲率の中心場所を決定してもよい。例えば、モジュール716は、これらのベクトル1510と1530の収束または交差部1520を決定してもよい。収束または交差部1520は、近似角膜中心場所に対応し得る。ベクトル1510および1530が、交差しない場合、角膜曲率の中心は、ベクトルデータから補間または別様に外挿されてもよい。加えて、または代替として、眼追跡モジュール614は、より多くのデータを収集および分析し、角膜曲率の中心1520を決定してもよい。
図16A-16Cは、複数のカメラを使用して角膜曲率の中心を決定するための別の例示的プロセスを図示する。図16Aに図示されるように、ウェアラブルシステムは、複数の眼カメラと併用され得る、共有照明源1602A、1602Bのセットを有してもよい。共有照明源1602A、1602Bは、加えて、または代替として、1つ以上のカメラと関連付けられる、別個の照明源のセットであってもよい。共有照明源1602A、1602Bのセットは、閃光1604A、1604B、1604C、1604Dをユーザの眼上に生産してもよい。
図16Bに図示されるように、モジュール716は、共有照明源1602A、1602Bを使用して、平面のセットを決定してもよい。例えば、モジュール716は、第1の照明源1602Aと、像面1503A内の第1の閃光場所1604Aと、場所1506における第1のカメラとの間の線(図示せず)のセットを決定することによって、第1の平面1630を決定してもよい。モジュール716は、第2の照明源1602Bと、第1の像面1503A内の第2の閃光場所1604Bと、第1のカメラ場所1506との間の線(図示せず)のセットを決定することによって、第2の平面1632を決定してもよい。
しかしながら、いくつかの実装では、第1の平面1630は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1602A、第1の像面1503A内の第1の閃光1604A、および第1のカメラ1506の場所から、直接、決定されることができる。同様に、第2の平面1632は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1602B、第2の閃光1604B、および第1のカメラ1506の場所から、直接、決定されることができる。
モジュール716は、第1の照明源1602Aと、像面1503B内の第1の閃光場所1604Cと、場所1526における第2のカメラとの間の線(図示せず)のセットを決定することによって、異なる第1の平面1634を決定してもよい。モジュール716は、第2の照明源1602Bと、第2の像面1503B内の第2の閃光場所1604Dと、第2のカメラ場所1526との間の線(図示せず)のセットを決定することによって、別個の異なる平面1636を決定してもよい。
しかしながら、いくつかの実装では、異なる第1の平面1634は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1602A、像面1503B内の第1の閃光1604C、および第2のカメラ1526の場所から、直接、決定されることができる。同様に、異なる第2の平面1636は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1602B、第2の閃光1604D、および第2のカメラ1526の場所から、直接、決定されることができる。
図16Cに図示されるように、モジュール614は、平面1630と1632との間の交差部を決定し、ベクトル1610を決定してもよい。平面1630と1632の交差部は、角膜中心場所に向かって指し得る、カメラ場所1506に原点を伴う、ベクトル1610を画定し得る。同様に、モジュール614は、平面1634と1636との間の交差部を決定し、ベクトル1630を決定してもよい。平面1634と1636の交差部は、角膜中心場所に向かって指し得る、カメラ場所1526に原点を伴う、ベクトル1630を画定し得る。
図16Cを継続して参照すると、モジュール716は、ベクトル1610および1630に基づいて、角膜曲率の中心場所を決定してもよい。例えば、モジュール716は、第1および第2のベクトル1610と1630の収束または交差部1620を決定してもよい。収束または交差部1620は、角膜曲率の近似中心場所に対応し得る。第1および第2のベクトル1610および1630が、交差しない場合、角膜曲率の中心は、ベクトルデータから補間または別様に外挿されてもよい。加えて、または代替として、眼追跡モジュール614は、より多くのデータを収集および分析し、角膜曲率の中心を決定してもよい。
モジュール716は、ユーザの眼の複数の視線方向のための推定プロセスを繰り返してもよい。例えば、ウェアラブルシステムは、それに対してユーザがその視線を指向させ得る、1つ以上の視線標的を表示してもよい。眼追跡モジュール614は、ユーザがその視線を視線標的に指向する間、1つ以上のベクトル1410を推定してもよい。加えて、または代替として、眼追跡モジュール614は、ウェアラブルデバイスの使用中、ユーザが、自然に、その視線を移動させている間、1つ以上のベクトル1410を推定してもよい。例えば、眼追跡モジュール614は、ユーザの眼の自然移動の間、異なるパラメータと関連付けられるデータを捕捉してもよい。下記に説明されるように、ユーザの眼の異なる眼姿勢または視線ベクトルにおいて捕捉されたデータは、複数の角膜中心を計算するために使用されてもよく、これは、CoRを推定するために、CoR推定モジュール724によって使用されてもよい。
O.回転中心の推定
回転中心(CoR)推定モジュール724は、角膜曲率1012の推定される中心に基づいて、推定される回転中心を決定してもよい。例えば、CoR推定モジュール724は、表面を曲率の1つ以上の推定される角膜中心に適合させ、適合される表面に対して法線方向の表面法線ベクトルのセットを決定してもよい。表面法線ベクトルは、推定されるCoRに対応し得る、点または領域において、収束または交差し得る。
表面を決定するために、モジュール614は、複数の眼画像を分析してもよい。例えば、ウェアラブルシステムは、ユーザの眼1501が1つ以上の眼姿勢にある間、ユーザの眼1501を結像してもよい(例えば、内向きに面した結像システム462を用いて)。いくつかの実装では、モジュール614は、ウェアラブルデバイスのディスプレイ上での視線標的の表示を通して、1つ以上の眼姿勢または視線方向をプロンプトしてもよい。加えて、または代替として、モジュール614は、ウェアラブルデバイスの使用中に自然に生じる、1つ以上の眼姿勢と関連付けられるデータを収集してもよい。
図17Aおよび17Bに図示されるように、モジュール614は、ユーザの眼が1つ以上の眼姿勢にある間、ウェアラブルシステムによって収集されたデータに基づいて、曲率1712の複数の角膜中心を決定してもよい。例えば、モジュール614は、複数回(例えば、ユーザの眼1501の異なる視線方向または眼姿勢に関して)、上記に説明されるように、モジュール716の一部として、1つ以上のカメラを用いて、角膜曲率の中心推定プロセスを実施してもよい。モジュール716の角膜中心推定プロセスの出力は、曲率1712の複数の推定される角膜中心を含んでもよい。
曲率1712の複数の角膜中心は、3次元(3D)空間の領域1710内に置かれ得る。領域1710は、角膜球面1022内に該当し得る。任意の特定の科学的理論に賛同するわけではないが、曲率1712の複数の角膜中心は、角膜曲率1018の形状に従って、領域1710内にほぼ整合し得る。例えば、曲率1712の複数の角膜中心は、角膜1020の形状と略平行または実質的に同一の形状の輪郭を描くように、領域1710内に整合し得る。角膜が、略球状である場合、複数の角膜中心1712は、角膜の半径にほぼ相当する距離において、角膜曲率1018にほぼ追従し得る。非点収差の場合(または角膜が略球状ではない場合)、複数の角膜中心1712は、角膜幾何学形状の1つ以上の半径にほぼ匹敵する距離において、角膜曲率1018にほぼ追従し得る。
種々の実装では、モジュール614は、複数の角膜中心1712が、角膜の表面1022から角膜球面の中心1022までの予期される距離の決定された許容差内に該当するかどうかを決定してもよい。例えば、角膜球面1022は、球状または非点収差であり得る(例えば、球状形状以外の幾何学形状を有する)。予期される距離は、角膜球面1022の幾何学形状の中心までの距離に対応し得る。例えば、角膜幾何学形状が、球状である場合、予期される距離は、角膜球面1022の半径であり得る。角膜中心1712が、決定された許容差外に該当する場合、モジュール614は、さらなる分析において、外れ値の寄与を低減させ得る。例えば、モジュール614は、外れ値データ点をさらなる分析から除外してもよい。加えて、または代替として、閾値数の角膜中心1712が、決定された許容差外に該当する場合、モジュール614は、さらなるデータが、入手される、または回転中心を決定する異なる方法に切り替えるまで、分析を停止してもよい。
図17Bに示されるように、モジュール724は、3D表面1714を複数の角膜中心1712に適合させてもよい。モジュール724は、例えば、回帰分析を使用して、3D表面を適合させてもよい。モジュール724は、好適な表面または曲線適合技法を利用して、適合を決定してもよい。モジュール724は、例えば、多項式回帰を使用して、角膜中心1712を低次多項式3D表面1714に適合させてもよい。別の実施例では、モジュール724は、幾何学的適合を角膜中心1712に適用してもよい(例えば、全最小二乗適合)。いくつかの実施例では、表面1714は、角膜曲率1018と類似曲率を有し得る。他の実施例では、表面1714は、角膜曲率1018と異なる形状を有し得る。
モジュール724は、表面1714に対して法線方向である、表面法線ベクトルのセットを決定してもよい。図18Aは、表面法線ベクトル1814を使用した、CoR(または眼球中心「EBC」)の例示的計算1800を図示する。例えば、モジュール716は、推定される角膜中心1812のセットを決定してもよい。モジュール724は、表面1714(図17Bに示されるように)を推定される角膜中心1812に適合させてもよい。モジュール724は、次いで、表面1714に対して法線方向である、1つ以上の表面法線ベクトル1814を決定してもよい。表面法線ベクトル1814は、角膜曲率1812の推定される中心から生じ得る。例えば、モジュール724は、表面1714を決定するために使用される角膜曲率1812の推定される中心毎に、表面法線ベクトル1814を決定してもよい。より少ない表面法線が、ある実装では使用されてもよい。加えて、または代替として、表面法線ベクトル1814は、表面1714上の他の点から生じ得る。
モジュール724は、表面法線ベクトル1814の収束の領域1802を決定してもよい。例えば、図18Aの差込図1801に図示されるように、表面法線ベクトル1814のいくつかまたは全てが、3D空間の領域1802内で収束または交差し得る。3D空間の領域1802は、法線ベクトルが交差および/または収束する、交差部の点または3D空間のボリューム(例えば、図19Cおよび19Dにおけるボリューム1920)であり得る。3D空間のボリュームは、表面法線ベクトル1814の交差部または収束の中央点の周囲に心合され得る。3D空間のボリュームは、交点の大部分を包含するために十分に大きくあり得る。
収束の領域1802は、異なる視線方向または眼姿勢に対応する、収束または交差部の異なる面積を含むことができる。例えば、収束の領域1802は、第1の視線方向(例えば、下方視線)に対応する、サブ領域1820と、第2の視線方向(例えば、上方視線)に対応する、サブ領域1822とを含むことができる。いくつかの実施例では、サブ領域1820、1822は、ウェアラブルデバイスのディスプレイの領域と関連付けられる、近似されるCoRに対応し得る。例えば、第1のサブ領域1820は、ディスプレイの上側領域に対応し得、第2のサブ領域1822は、ディスプレイの下側領域に対応し得る。
モジュール724は、収束の領域1802を分析することによって、CoRを決定してもよい。例えば、モジュール724は、ベクトル1814の収束または交点の最頻値または中央値を決定することによって、CoRを決定してもよい。加えて、または代替として、モジュール724は、最初に、サブ領域1820、1822内のベクトル1814の収束または交点の最頻値または中央値等の視線ベースの収束または交点を決定し、次いで、それらの視線ベースの収束または交点に基づいて、最頻値または中央値を決定することによって、CoRを決定してもよい。加えて、または代替として、モジュール724は、収束または交点の異なる分析を実施し、CoRを決定してもよい。例えば、モジュール724は、機械学習アルゴリズムを利用して、CoRを決定してもよい。
いくつかの実施例では、曲率の計算された角膜中心における変動は、交差部の単一点とは対照的に、より広い収束の領域1824をもたらし得る。図18Bは、領域1824を用いた例示的CoR計算1803を図示する。例えば、曲率1832の計算される角膜中心は、適合される3D表面1830に対して雑音が多くあり得る。雑音が多い角膜中心1832は、その中でCoRまたは眼球中心(EBC)が角膜中心1832に原点を伴うベクトル(図示せず)の交差部に基づく可能性が高い、領域1824をもたらし得る。いくつかの実装では、モジュール614は、視線方向を計算する際に、領域1824を使用してもよい。例えば、モジュール614は、領域1824または領域1824内または上または別様にそれに基づくある他の場所の中心として、CoRを決定してもよい。
種々の実装では、モジュール724は、推定される角膜中心1910の一部を選択し、CoRを決定してもよい。図19A-1および19A-2は、データ低減プロセスを使用して選択され得る、推定される角膜中心1910の一部に適合される、例示的表面1912を図示する。図19B-1および19B-2は、表面1912に対して法線方向であり得る、例示的ベクトル1916を示す。ベクトル1916は、選択された推定される角膜中心1910に生じ得る。図19C-1および19C-2は、ベクトル1916の領域収束または交差部の点に基づいて、推定されるCoR領域1920を図示する。モジュール724が表面1912に適合させるための角膜中心1910を選択しない、図19D-1および19D-2に示されるように、ベクトル1922の多くは、領域1920内で収束または交差し得ない。
種々の実装では、モジュール724は、法線ベクトル1916の収束の決定された領域に基づいて、推定される角膜中心1910を選択してもよい。例えば、モジュール724は、その中で法線ベクトル1922が交差する、大領域を決定してもよい。いくつかの実装では、大領域が、閾値ボリュームを上回るボリュームを有する場合、モジュール724は、角膜中心1910のより小さいセットを決定し、それを用いて、CoRを決定してもよい。ある実装では、閾値ボリュームは、そのCoRに基づいて、視線追跡の閾値正確度と関連付けられる、CoRを決定するための好適なボリュームを含むことができる。例えば、ユーザの眼のボリュームの30パーセントのボリュームは、視線追跡における正確度の80%減少と関連付けられ得る。決定されたボリュームが、閾値ボリュームを上回る場合、モジュール724は、下記に説明されるように、任意の数の好適なデータ選択基準に基づいて、角膜中心1910のより小さいセットを選択してもよい。
加えて、または代替として、モジュール724は、機械学習アルゴリズムまたはフィルタレーションプロセス等の任意の数のデータ低減プロセスを使用して、分析のために、推定される角膜中心1910を選択してもよい。例えば、モジュール724は、データをフィルタリングし、外れ値を排除してもよい。フィルタは、所与の角膜中心1910と関連付けられる、信頼度スコアを決定し、その信頼度スコアに基づいて、角膜中心1910を選択するステップを含んでもよい。いくつかの実施例では、信頼度スコアは、二次計算からの曲率1910の角膜中心の偏差または曲率1910または表面1912の角膜中心の決定に基づいて決定されてもよい。いくつかの実施例では、信頼度スコアは、適合表面1912に関連した曲率1910の角膜中心の場所(例えば、適合表面1912からの角膜中心1910の偏差)に基づいてもよい。いくつかの実施例では、信頼度スコアは、曲率1910の角膜中心を決定するための利用される、閃光抽出内で計算された誤差に基づいて決定されてもよい。例えば、閃光抽出は、閃光を抽出するために分析される眼画像内に誤差が存在する場合(例えば、ぼけ、画像内の障害物、歪曲、または他の雑音源に起因して)、高誤差を有し得る。
P.回転抽出の角膜曲率の中心の例示的用途
図20は、眼追跡モジュール614によって実装され得る、例示的回転中心抽出プロセス2100を図示する。例えば、回転中心抽出プロセス2100は、1つ以上の角膜中心推定プロセス2108と、適用ブロック2116と、ベクトル決定ブロック2118と、収束または交差部決定ブロック2120と、回転中心決定ブロック2122とを含むことができる。
モジュール614は、1つ以上の角膜中心推定プロセス2108の一部として、いくつかのブロックを実施することができる。例えば、角膜中心推定プロセス2108は、画像受信ブロック2110と、閃光決定ブロック2112と、角膜中心決定ブロック2114とを含むことができる。
画像受信ブロック2110では、モジュール614は、ユーザの眼の1つ以上の画像を受信することができる。画像は、ユーザによって装着されるウェアラブルデバイスと関連付けられる、結像システムから取得されることができる。例えば、ウェアラブルデバイスは、図9A-9Dに図示されるように、内向きに面したカメラ2014、2016、2018、および2020を含む、結像システムを伴う、左接眼レンズ2010Aと、右接眼レンズ2010Bとを含む、頭部搭載型ディスプレイであることができる。モジュール614は、随意に、品質に関して画像を分析することができる。例えば、モジュール614は、画像が品質閾値に合格するかどうかを決定することができる。閾値は、ぼけ、障害物、望ましくない閃光に関連する画像の品質のためのメトリック、または回転中心分析の正確度に影響を及ぼし得る、他の品質メトリックを含むことができる。モジュール614が、画像が画質閾値に合格することを決定する場合、モジュール614は、さらなる分析において、画像を使用してもよい。
閃光決定ブロック2112では、モジュール614は、ブロック2110から受信された画像を分析し、画像内の1つ以上の閃光の場所を決定してもよい。図12A-16Cを参照して上記に説明されるように、閃光場所は、像面内の1つ以上の照明源によって生産された1つ以上の閃光の場所に対応し得る。加えて、または代替として、閃光場所は、ユーザの眼の座標フレーム内の1つ以上の照明源によって生産される、1つ以上の閃光の場所に対応し得る。閃光はまた、異なるカメラおよび/または異なるカメラ場所に関して取得されることができる。
角膜中心決定ブロック2114では、モジュール614は、閃光場所を分析し、角膜曲率の推定される中心を決定することができる。図12A-16Cを参照して上記に説明されるように、決定は、閃光、照明源、およびカメラ場所に基づいて、それに沿って角膜曲率の中心が位置する、ベクトルを決定するステップを伴うことができる。決定はまた、それらのベクトルのうちの1つ以上のものの交差場所に基づいて、角膜曲率の推定される中心を決定するステップを伴うことができる。
加えて、または代替として、モジュール614は、複数回、1つ以上のブロックを実施することができる。例えば、モジュール614は、複数回、ブロック2110、2112、および2114を実施してもよい。例えば、モジュール614は、曲率の1つ以上の角膜中心を計算するために、ブロック2110からの眼画像または眼画像のセット毎に、複数回、2112および2114を実施してもよい。別の実施例では、モジュール614は、複数の眼姿勢または条件に関して、ブロック2110、2112、および2114を実施してもよい。例えば、モジュール614は、異なる眼姿勢または異なる視線方向におけるユーザの眼の画像を受信することができる。加えて、または代替として、モジュール614は、異なるカメラ視点および/または異なる場所および/または視点を有する異なるカメラを提供し得る、ユーザの眼からのカメラ距離、ユーザの眼に対する垂直または水平場所、またはそれらの任意の組み合わせ等の異なるカメラ条件を用いて、ユーザの眼の画像を受信することができる。上記に説明されるように、ウェアラブルデバイスは、例えば、視線標的の表示をディスプレイの異なる領域内に生じさせることによって、ユーザに、異なる眼姿勢に従事するようにプロンプトすることができる。例えば、ウェアラブルデバイスは、ディスプレイの上側中心領域、ディスプレイの下側中心領域、ディスプレイの中心領域、ディスプレイの中心領域の左、およびディスプレイの中心領域の右に対応する、5つの視線標的を表示することができる。5つの視線標的は、ユーザの5つの異なる眼姿勢に対応し得る。加えて、または代替として、ウェアラブルシステムは、ウェアラブルシステムの使用中、ユーザの眼の自然移動の間に生じる、異なる眼姿勢を捕捉してもよい。
モジュール614は、閾値基準が満たされるまで、データを収集し続けてもよい。例えば、閾値基準は、誤差の許容差、データ点の数、または眼姿勢の最小値、閾値、または標的多様度を含むことができる。いくつかの実施例では、誤差の許容差は、曲率の計算された角膜中心の最小値、閾値、または標的数、計算された回転中心または適合された表面からの曲率の角膜中心の偏差内で達成される、最小値、閾値、または標的誤差レベル、それらのある組み合わせ、または同等物に対応し得る。他のアプローチも、可能性として考えられる。
ブロック2116では、モジュール614は、表面をプロセス2108から出力された1つ以上の角膜中心に適合させてもよい。図17Aおよび17Bを参照して上記に説明されるように、モジュール614は、回帰分析を実施し、適合された表面を生成してもよい。例えば、モジュール614は、多項式回帰を実施し、角膜中心に対する低次多項式3D表面を生成してもよい。しかしながら、他の技法も、使用されてもよい。
ブロック2118では、モジュール614は、表面法線ベクトルをブロック2116における表面適合から決定してもよい。図18Aを参照して上記に説明されるように、モジュール614は、曲率の角膜中心において生じる、またはそれを通して進む、適合された表面に対して法線方向である、表面法線ベクトルを決定してもよい。加えて、または代替として、モジュール614は、適合された表面上の任意の点から生じる、表面法線ベクトルを決定してもよい。他のアプローチもまた、可能性として考えられる。
ブロック2120では、モジュール614は、ブロック2118において決定された表面法線ベクトルの収束の領域を決定してもよい。図19A-19Eを参照して上記に説明されるように、モジュール614は、表面法線ベクトルの収束の点または領域を決定してもよい。収束の領域は、その中で表面法線ベクトルの実質的部分が収束および/または交差する、空間のボリュームであり得る。収束の点または領域は、ユーザの眼の回転中心にほぼ対応する、またはそれを推定することを補助し得る。
ブロック2122では、モジュール614は、ブロック2120から決定された収束の領域に基づいて、回転中心を決定してもよい。回転中心は、例えば、収束の領域、その中、またはその上にあり得る。他の場所もまた、収束の領域に基づいて、回転中心のために決定されてもよい。いくつかの実装では、上記に説明されるように、モジュール614は、閾値基準(例えば、誤差)に関して収束の領域を分析してもよい。モジュール614が、収束の領域が閾値基準を満たさないことを決定する場合(例えば、誤差および/またはボリュームに関して)、モジュール614は、回転中心を出力しなくてもよい。モジュール614が、収束の領域が閾値基準を満たすことを決定する場合、モジュール614は、回転中心が収束の領域の中心であることを決定し得る。
Q.回転中心抽出のために角膜曲率の中心を使用した例示的眼追跡プロセス
図21は、回転中心抽出のために角膜曲率の中心を決定するプロセス2100(例えば、図20を参照して上記に説明されるように)を使用し得る、例示的眼追跡プロセス2200を図示する。プロセス2200は、本実施例では、回転中心決定ブロック2210と、誤差決定ブロック2212と、閾値決定ブロック2214と、代替眼追跡ブロック2216と、角膜眼追跡ブロック2218とを含むことができる。
回転中心決定ブロック2210では、モジュール614は、角膜データを使用して、回転中心を決定することができる。例えば、モジュール614は、図21を参照して上記に説明されるプロセス2100を使用して、回転中心を決定してもよい。誤差決定ブロック2212では、モジュール614は、ブロック2210からの回転中心と関連付けられる、誤差を決定することができる。ブロック2214では、モジュール614は、ブロック2212からの誤差を分析し、閾値誤差値を超えるかどうかを決定することができる。いくつかの実装では、閾値誤差値は、予期される値からの回転中心の偏差(例えば、最高または閾値偏差)と関連付けられる、値に対応し得る。いくつかの実装では、予期される値は、異なる回転中心決定プロセスに基づく回転中心、眼幾何学形状に基づく予期される回転中心、ユーザの母集団を横断した平均回転中心、または別の好適な回転中心値の場所を含むことができる。他の閾値が、使用されてもよい。誤差が閾値を超える場合、モジュール614は、ブロック2216において、代替眼追跡または回転中心推定方法を利用してもよい。誤差が閾値を超えない場合、モジュール614は、ブロック2218において、ブロック2210から計算された回転中心を利用してもよい。
R.眼追跡が利用不可能であるときの実施例
いくつかの実施形態では、眼追跡は、提供されない場合がある、または一時的に利用不可能である場合がある。実施例として、眼追跡カメラ324または光源326が、曇る、損傷される、またはユーザによって無効にされる、環境の照明条件が、眼追跡を著しく困難にし得る、ウェアラブルシステムが、眼追跡を妨害するように不適切にフィットされ得る、ユーザが、睇視している、または容易に追跡されない眼の状態を有し得ること等が、挙げられる。そのようなとき、ウェアラブルシステムは、眼追跡データの不在下、レンダリングカメラを位置付け、深度面を選択するための種々の方略に依拠するように構成されてもよい。
例えば、レンダリングカメラに関して、ウェアラブルシステムは、ユーザの瞳孔が、数秒または典型的瞬眼より長い時間等、所定の閾値より長い時間にわたって検出されない場合、レンダリングカメラをデフォルト位置に位置付けてもよい。ウェアラブルシステムは、可能性として、例えば、過減衰発振器モデルに追従し得る平滑な移動において、レンダリングカメラをデフォルト位置に移動させてもよい。いくつかの実装では、デフォルト位置は、特定のユーザに対するウェアラブルシステムの較正プロセスの一部として決定されてもよい。しかしながら、デフォルト位置は、ユーザの左および右眼の回転中心であってもよい。これらは、単なる例証的実施例である。
S.周囲環境内のオブジェクトを検出するためのコンピュータビジョン
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ(例えば、カメラ、オーディオセンサ、温度センサ等)を含む、種々の技法を使用して遂行されてもよい。
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して、検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの前向きに面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を決定するように構成されてもよい。ディスプレイシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および/または眼認識を実施し、ユーザの視野内の顔および/またはヒトの眼の存在および場所を決定するように構成されてもよい。1つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
これらのコンピュータビジョン技法のうちの1つ以上のものはまた、他の環境センサ(例えば、マイクロホン等)から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および決定してもよい。
本明細書に議論されるように、周囲環境内のオブジェクトは、1つ以上の基準に基づいて、検出されてもよい。ディスプレイシステムが、コンピュータビジョンアルゴリズムを使用して、または1つ以上のセンサアセンブリ(ディスプレイシステムの一部である場合とそうではない場合がある)から受信されたデータを使用して、周囲環境内の基準の存在または不在を検出するとき、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
T.機械学習
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k-平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Gneralization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ(例えば、特定のユーザ)、データセット(例えば、取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
オブジェクトを検出するための基準は、1つ以上の閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に達したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および/または定質的測定値を伴ってもよい。例えば、閾値条件は、反射および/またはオブジェクトが環境内に存在する尤度と関連付けられるスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および/またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および/またはユーザの周囲環境との相互作用に基づいて決定されてもよい。
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストのために特殊化されてもよい。例えば、診断コンテキストでは、コンピュータビジョンアルゴリズムは、刺激に対するある応答を検出するために特殊化されてもよい。別の実施例として、ディスプレイシステムは、本明細書に議論されるように、顔認識アルゴリズムおよび/またはイベントトレーシングアルゴリズムを実行し、刺激に対するユーザの反応を感知してもよい。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、遠隔データリポジトリ(160)のうちの1つ以上のものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
U.他の考慮点
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能性として考えられる組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴の群も、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等の本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つ以上の実施形態に対していかようにも要求されること、または1つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図されない。用語「~を備える(comprising)」、「~を含む(including)」、「~を有する(having)」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、例えば、要素のリストを接続するために使用されると、用語「または」が、リスト内の要素のうちの1つ、いくつか、または全てを意味するように、その包括的意味で使用される(かつその排他的意味で使用されない)。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「~のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、およびA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図するものではない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、または連続的順序で実施される必要がない、または全ての図示される動作が実施される必要はないことを認識されたい。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。
V.実施例
下記に列挙される実施例等の、仮想画像コンテンツを該ユーザの視野内に表示するためのディスプレイシステムの実施例が、本明細書に説明される。
実施例1:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第2の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例2:該処理電子機器は、該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定するように構成される、実施例1に記載のディスプレイシステム。
実施例3:該処理電子機器は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例2に記載のディスプレイシステム。
実施例4:該処理電子機器は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例3に記載のディスプレイシステム。
実施例5:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例6:該処理電子機器は、第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例7:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例8:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例9:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例10:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例11:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10に記載のディスプレイシステム。
実施例12:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例13:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例14:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
実施例15:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例12、13、または14のいずれかに記載のディスプレイシステム。
実施例16:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例17:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
実施例18:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ該第1および第2の眼追跡カメラの両方の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例19:該眼の回転中心の推定値を取得するために、処理電子機器は、複数の眼姿勢に関する複数の閃光反射に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定し、該複数の眼姿勢に関するユーザの眼の角膜曲率の中心の複数の推定値に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例18に記載のシステム。
実施例20:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、該複数のエミッタの少なくとも一部および眼追跡カメラの第1のカメラの個別の場所に基づいて、角膜曲率の中心に向かう第1の方向を決定し、該複数のエミッタの少なくとも一部および眼追跡カメラの第2のカメラの個別の場所に基づいて、角膜曲率の中心に向かう第2の方向を決定し、該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例19に記載のシステム。
実施例21:該処理電子機器は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例20に記載のディスプレイシステム。
実施例22:該処理電子機器は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例21に記載のディスプレイシステム。
実施例23:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例20-22のいずれかに記載のシステム。
実施例24:該眼の回転中心の推定値を取得するために、処理電子機器は、角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成し、3次元表面に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例19-23のいずれかに記載のシステム。
実施例25:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例24に記載のシステム。
実施例26:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球体を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例24に記載のシステム。
実施例27:ユーザの眼の回転中心の推定値を決定するために、処理電子機器は、3次元表面に対する2つ以上の法線を決定し、2つ以上の法線の収束の領域を決定するように構成され、収束の領域は、ユーザの眼の回転中心の推定値を備える、実施例24-26のいずれかに記載のシステム。
実施例28:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例21-27のいずれかに記載のシステム。
実施例29:処理電子機器は、視線標的を使用して、ユーザの眼の角膜をマッピングするように構成される、実施例21-28のいずれかに記載のシステム。
実施例30:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例18-29のいずれかに記載のディスプレイシステム。
実施例31:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例18-30のいずれかに記載のディスプレイシステム。
実施例32:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、複数の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
実施例33:ユーザの眼の角膜曲率の複数の推定値を決定するステップは、複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第1のカメラの場所に基づいて、角膜曲率の中心に向かって指向される第1のベクトルを決定するステップと、複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第2のカメラの場所に基づいて、角膜曲率の中心に向かって指向される第2のベクトルを決定するステップと、第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するステップとを含む、実施例32に記載の方法。
実施例34:第1の方向は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって決定される、実施例33に記載の方法。
実施例35:第2の方向は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって決定される、実施例33に記載の方法。
実施例36:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、表面を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
実施例37:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、球体を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
実施例38:ユーザの眼の回転中心の推定値を決定するステップは、3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の回転中心の推定値を備える、ステップとを含む、実施例32-37のいずれかに記載の方法。
実施例39:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例32-38のいずれかに記載の方法。
実施例40:視線標的を使用して、ユーザの眼の角膜をマッピングするステップをさらに含む、実施例32-39のいずれかに記載の方法。
実施例41:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を第1および第2の眼追跡カメラから受信し、それぞれ、第1および第2の眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例42:該処理電子機器は、3次元表面を、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に適合させるように構成される、実施例41に記載のディスプレイシステム。
実施例43:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するために、処理電子機器は、第1の眼追跡カメラから受信された第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第1のベクトルを決定し、第2の眼追跡カメラから受信された第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、実施例41または42に記載のディスプレイシステム。
実施例44:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在するように構成される、実施例43に記載のディスプレイシステム。
実施例45:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域を識別し、収束の領域は、第2のベクトルの方向に沿って延在するように構成される、実施例44に記載のディスプレイシステム。
実施例46:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例41-45のいずれかに記載のディスプレイシステム。
実施例47:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例41-46のいずれかに記載のディスプレイシステム。
実施例48:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
実施例49:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1および第2の場所において眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例50:該処理電子機器は、該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの第2の場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定するように構成される、実施例49に記載のディスプレイシステム。
実施例51:該処理電子機器は、眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例50に記載のディスプレイシステム。
実施例52:該処理電子機器は、眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例51に記載のディスプレイシステム。
実施例53:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例54:該処理電子機器は、眼追跡カメラの第1の場所から受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、眼追跡カメラの第2の場所から受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例55:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例56:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例57:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例58:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例59:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58に記載のディスプレイシステム。
実施例60:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例61:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例62:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
実施例63:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例60、61、または62のいずれかに記載のディスプレイシステム。
実施例64:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例65:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
実施例66:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1の場所および第2の場所において眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ該眼追跡カメラの第1および第2の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例67:該眼の回転中心の推定値を取得するために、処理電子機器は、複数の眼姿勢に関する複数の閃光反射に基づいてユーザの眼の角膜曲率の中心の複数の推定値を決定し、該複数の眼姿勢に関するユーザの眼の角膜曲率の中心の複数の推定値に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例66に記載のシステム。
実施例68:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、該複数のエミッタの少なくとも一部の個別の場所および眼追跡カメラの第1の場所に基づいて、角膜曲率の中心に向かう第1の方向を決定し、該複数のエミッタの少なくとも一部の少なくとも個別の場所および眼追跡カメラの第2の場所に基づいて、角膜曲率の中心に向かう第2の方向を決定し、該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例67に記載のシステム。
実施例69:該処理電子機器は、眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例68に記載のディスプレイシステム。
実施例70:該処理電子機器は、眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例69に記載のディスプレイシステム。
実施例71:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例68-70のいずれかに記載のシステム。
実施例72:該眼の回転中心の推定値を取得するために、処理電子機器は、角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成し、3次元表面に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例19-71のいずれかに記載のシステム。
実施例73:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例72に記載のシステム。
実施例74:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球体を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例73に記載のシステム。
実施例75:ユーザの眼の回転中心の推定値を決定するために、処理電子機器は、3次元表面に対する2つ以上の法線を決定し、2つ以上の法線の収束の領域を決定するように構成され、収束の領域は、ユーザの眼の回転中心の推定値を備える、実施例72-74のいずれかに記載のシステム。
実施例76:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例69-75のいずれかに記載のシステム。
実施例77:処理電子機器は、視線標的を使用して、ユーザの眼の角膜をマッピングするように構成される、実施例69-76のいずれかに記載のシステム。
実施例78:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例66-77のいずれかに記載のディスプレイシステム。
実施例79:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例66-78のいずれかに記載のディスプレイシステム。
実施例80:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
実施例81:ユーザの眼の角膜曲率の複数の推定値を決定するステップは、複数の光エミッタの少なくとも一部の場所および眼追跡カメラの第1の場所に基づいて、角膜曲率の中心に向かって指向される第1のベクトルを決定するステップと、複数の光エミッタの少なくとも一部の場所および眼追跡カメラの第2の場所に基づいて、角膜曲率の中心に向かって指向される第2のベクトルを決定するステップと、第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するステップとを含む、実施例80に記載の方法。
実施例82:第1の方向は、眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって決定される、実施例81に記載の方法。
実施例83:第2の方向は、眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって決定される、実施例82に記載の方法。
実施例84:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、表面を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
実施例85:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、球体を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
実施例86:ユーザの眼の回転中心の推定値を決定するステップは、3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の回転中心の推定値を備える、ステップとを含む、実施例81-85のいずれかに記載の方法。
実施例87:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例81-86のいずれかに記載の方法。
実施例88:視線標的を使用して、ユーザの眼の角膜をマッピングするステップをさらに含む、実施例81-87のいずれかに記載の方法。
実施例89:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を眼追跡カメラから受信し、それぞれ、眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例90:該処理電子機器は、3次元表面を、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に適合させるように構成される、実施例89に記載のディスプレイシステム。
実施例91:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するために、処理電子機器は、眼追跡カメラの第1の場所から受信された第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第1のベクトルを決定し、眼追跡カメラの第2の場所から受信された第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、実施例89または90に記載のディスプレイシステム。
実施例92:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在するように構成される、実施例91に記載のディスプレイシステム。
実施例93:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域を識別し、収束の領域は、第2のベクトルの方向に沿って延在するように構成される、実施例92に記載のディスプレイシステム。
実施例94:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例89-93のいずれかに記載のディスプレイシステム。
実施例95:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例89-94のいずれかに記載のディスプレイシステム。
実施例96:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
実施例97:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、少なくとも1つの眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1および第2の場所において少なくとも1つの眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該少なくとも1つの眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例98:該処理電子機器は、該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第1の場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第2の場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定するように構成される、実施例97に記載のディスプレイシステム。
実施例99:該処理電子機器は、少なくとも1つの眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、少なくとも1つの眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例98に記載のディスプレイシステム。
実施例100:該処理電子機器は、少なくとも1つの眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、少なくとも1つの眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例99に記載のディスプレイシステム。
実施例101:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例102:該処理電子機器は、少なくとも1つの眼追跡カメラの第1の場所から受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、少なくとも1つの眼追跡カメラの第2の場所から受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例103:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例104:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例105:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例106:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
実施例107:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106に記載のディスプレイシステム。
実施例108:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例109:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例110:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
実施例111:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例108、109、または110のいずれかに記載のディスプレイシステム。
実施例112:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
実施例113:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
上記の実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例のいずれかは、単一深度面および/または1つ以上の可変深度面を用いて実装されることができる(例えば、経時的に変動する遠近調節キューを提供する、可変集束力を伴う、1つ以上の要素)。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜曲率の中心、瞳孔中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定ではない。加えて、いくつかの実装では、角膜の曲率の中心または角膜の中心は、角膜の一部の曲率の中心または角膜の表面の一部と一致する球状表面の曲率の中心を指す。例えば、いくつかの実装では、角膜曲率の中心または角膜の中心は、角膜頂点の曲率の中心または角膜頂点の表面の一部と一致する球状表面の曲率の中心を指す。本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜曲率の中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の(例えば、解剖学的、光学的、または幾何学的)値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用されてもよい。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい(例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい)。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「~を決定する」および「~を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。