JP2019141620A - 三次元物体上の注視点決定方法及び装置 - Google Patents

Abstract

【課題】三次元空間の任意の三次元物体の注視端点を決定できる方法を提供する。【解決手段】被検者の注視端点を決定するシステムは、被験者の単眼又は両眼の注視方向を決定するよう構成されたアイトラッキングユニットと、参照座標系に対してアイトラッカーの場所と方位から成る位置を決定するよう構成されたヘッドトラッキングユニットと、参照座標系のシーンの物体の三次元構造及び位置を利用してシーンの三次元構造表示を提供する三次元構造表示ユニットとを備え、注視方向、アイトラッカー位置及び三次元構造表示に基づき、シーンの三次元構造表示の物体の注視端点を算出又は物体自身を決定する。【選択図】図３

Description

本発明は、注視端点の決定方法及び装置に関し、特に空間内の三次元物体上における被験者の注視端点の決定に関する。

（移動時と想定される）人間が注視する点又は物体、より詳細には物体面の特定部を見つけ出すという課題の解決策が存在する。以下に説明する解決策は、いくつかに分類可能である。

最初に、人間の注視方向（瞳孔/ＣＲの組み合わせ、角膜中心及び瞳孔/角膜輪郭などによる表現）が検出される。

注視方向の決定に、アイトラッカーを使用することができる。注視方向を算出するため、アイトラッカーは、瞳孔、角膜輪郭、強膜血管、眼球、又は光源反射（角膜反射）など、眼の特徴を観察する。

この注視方向は、頭部装着シーンカメラ又は任意の場所に固定されたシーンカメラに取り込まれたシーンの画像にマッピングされる。頭部装着シーンカメラは頭部に固定されるので、対応するキャリブレーションが実行されると、上記マッピングを実行することができる。キャリブレーションを実行するには、ユーザは、頭部装着カメラによって取り込まれたシーン画像に示された、いくつかの点を注視しなければならない。検出された各注視方向の利用により、キャリブレーションが実行可能となり、シーン画像内の対応点に注視方向をマッピングする変換が実行される。このような手法では、注視方向を頭部装着シーンカメラの画像にマッピングできれば、任意の種類のアイトラッカーを使用することができる。

上記手法により、頭部装着シーンカメラで撮影されたシーン画像の注視点を決定することができる。

頭部装着シーンカメラで取り込まれ、被験者の移動により変化するシーン画像の注視点を、移動することなく「実世界の」物体又はその画像に対応する（静止）参照画像の点へとマッピングすることが次の工程となる。このような参照画像は、一般的に頭部装着シーンカメラで撮影されたシーン画像とは異なるカメラ位置で撮影される。これは、シーンカメラがユーザの頭部と共に移動するためである。

頭部が動く場合、その移動後でも頭部装着シーンカメラで撮影された特定シーン画像について、注視方向の検出に基づき、移動しない参照画像内の注視点を決定する周知の方法がある。
注視される点を決定する有力な手法としては、アイトラッカーについて定められた仮想シーン面と注視方向とを交差させることが考えられる。ＷＯ２０１０／０８３８５３Ａ１は、この目的のため、例えば本棚への取付けなど、特定の場所に固定された作動時のＩＲマーカの使用が開示されている。これらのマーカの所在は、二つのラインセンサの最大強度を検出することにより二つの直交角度を検出する二つの直交ＩＲライン検出器を使用して、頭部装着カメラにより得られる「参照」画像として機能する「試験シーン」について最初に検出される。ＩＲソースの検出角は、参照画像の場所に対応する。マーカの角度は、異なる場所から頭部装着カメラで撮影される、後に検出されたシーンについて検出される。これにより、後のシーン画像におけるＩＲソースの場所が検出される。頭部装着カメラが異なる場所にあるときには、後で撮影される画像（シーン画像）で検出されるＩＲソースの場所を、試験画像（参照画像）のＩＲ光源の場所に変換するマッピングとして「透視投影」が決定される。この変換により、シーン画像について後で決定される注視点もまた、試験画像の対応（実際の）注視点に変換することができる。

実際の「シーン画像」から経時不変の安定参照画像への注視点のマッピングは、この注視点がアイトラッカー（ＥＴ）の代わりに、シーン安定マーカについてマッピングされる面を定めることで可能となる。このように、参照画像面が経時的に安定し、他の参加者の注視もこの面にマッピングが可能なため、従来は固定位置に配置されたアイトラッカーによってのみ可能だったことが、経時的にも参加者についても、注視点情報を集計することが可能となった。
この目的のため、ＷＯ２０１０／０８３８５３Ａ１に開示された従来技術は、最大出射角を検出する直交ＩＲライン検出器によってその場所が検出可能である人工マーカとしてＩＲソースを使用している。

シーン画像から参照画像への注視点の変換を決定するマーカとしてＩＲソースを使用することは複雑かつ不便である。

参照により本願に組み込まれる、欧州特許出願ＥＰ１１１５８９２２．２「Method and Apparatus for Gaze Point Mapping」（出願人：SensoMotoric Instruments Gesellschaft fur innovative Sensorik mbH）では、異なる手法が開示されている。この手法では、被験者のシーン画像の注視点を、参照画像の注視点にマッピングする装置が設けられており、前記シーン画像と前記参照画像は、異なる位置からカメラで撮影されている。
前記装置は、
前記参照画像における複数の特徴とそれらの位置とを識別するため、前記参照画像の特徴検出アルゴリズムを実行するモジュールと、
前記シーン画像の前記複数の特徴と、それらの位置とを再識別するため、前記シーン画像の前記特徴検出アルゴリズムを実行するモジュールと、
前記参照画像と前記シーン画像において検出された前記複数の特徴の場所に基づき、前記シーン画像と前記参照画像間の点の位置を変換する、点変換マッピングを決定するモジュールと、
前記点変換マッピングを使用して、前記シーン画像で決定された注視点を前記参照画像の対応点にマッピングするモジュールと、を備える。

これにより、任意の人工ＩＲソースやＩＲ検出器を不要とする、注視点マッピングを実行することができる。この注視点マッピングは、可視周波数レンジで作動する通常のＣＣＤカメラにより撮影される自然シーンの通常かつ無補正の画像で作動可能である。この手法の詳細な説明については、欧州特許出願ＥＰ１１１５８９２２．２に示されている。

このような手法でも、移動する被験者の注視を、予め定められた特定の静止面へとマッピングすることができるだけで、三次元空間における任意の物体の注視端点の決定はできない。
従って本発明の目的は、三次元空間の任意の三次元物体の注視端点を決定できる方法を提供することにある。

一実施例において、被験者の単眼又は両眼の注視方向を決定するよう構成されたアイトラッキングユニットと、参照座標系についてヘッド及び/又はアイトラッキングユニットの場所と方位からなる位置を決定するよう構成されたヘッドトラッキングユニットと、参照座標系の座標により、三次元位置及び/又はその三次元構造を通して実世界のシーンの物体を表示することで、実世界のシーンと、シーンに含まれる物体を表示して、シーンの三次元構造の表示を提供する、三次元シーン構造表示ユニットと、注視方向、アイトラッカー位置及び三次元シーン構造表示に基づき、注視端点を算出し、及び/又は、注視方向、アイトラッカー位置及び三次元シーン構造表示に基づき、被験者が注視する三次元シーンの物体を決定する、算出ユニットと、を備える、被験者の注視端点を決定するシステムが提供される。
アイトラッカー及びヘッドトラッカーという三次元表示を用いることで、二次元面の注視点だけでなく、被験者が注視する物体及び/又は三次元の注視端点を決定することができる。

一実施例においてシステムは、シーンの三次元構造表示の物体上の注視端点を算出するモジュールを備え、三次元構造シーン表示の物体と、注視方向との交点に基づき、前記注視端点を算出する。

注視方向と三次元表示との交差において、注視が三次元構造に「ヒット」又は交差し、従って実際の注視端点が得られる場所を幾何学的に算出する手法が提供される。これにより、シーンにおける三次元物体の実際の注視端点を決定することができる。

一実施例においてこのシステムは、被験者の両眼の注視方向の交点に基づき、注視端点を算出するモジュール及び/又は、算出された注視端点及び、実世界シーンの物体の三次元位置及び/又は三次元構造に基づき、被験者が注視している物体を決定するモジュールを備える。

両眼転導を利用して被験者の両眼の注視方向の交点を算出することで、注視端点を決定することができる。この注視端点は、ユーザが注視する物体の決定に利用される。

一実施例において、被検者が注視している物体は、三次元位置及び/又は構造が、算出された注視端点に最も近い物体を被検者が注視している物体として選択することで決定される。

一実施例において、前記被験者の前記単眼又は両眼の注視方向を決定するよう構成されている前記アイトラッキングユニットは、前記単眼又は両眼の前記注視方向の確率分布を決定するよう構成され、注視されている物体を決定する前記算出ユニットは、一つ以上の物体について、注視端点の確率分布に基づき、注視されている前記物体の確率を決定する。

このようにして、被験者が特定の物体を注視している確率を示す確率分布を決定できる。

一実施例においてこのシステムは、任意の視点からのシーンの一つ以上の画像を取得するよう構成されたシーンカメラと、シーンカメラにより撮影されるシーン画像の画像面へと三次元注視端点をマッピングするモジュールとを更に備える。

このように、三次元構造の三次元注視端点が決定されるだけでなく、シーンカメラで撮影された任意のシーン画像の対応場所も決定できる。これにより、任意の視座から、すなわち任意の場所からカメラで撮影されたシーン画像の注視点を決定することができる。

一実施例において、特定位置の決定又は物体トラッキング機構によってシーンカメラの位置が把握されるか決定され、三次元注視端点を前記シーンカメラの画像に投影することでマッピングが実行される。

このように、三次元注視端点から、任意の場所のカメラで撮影されたシーン画像の対応点が得られる。

一実施例においてシステムは、三次元構造表示に基づき、任意の視点から見られるシーン画像を生成するモジュールと、前記シーン画像生成モジュールにより生成された画像の画像面へと三次元注視端点をマッピングするモジュールとを備え、三次元注視端点を前記シーン画像生成モジュールによって生成された前記シーン画像の画像面へと投影することで、マッピングが実行される。

このように任意のシーン画像は、シーンカメラを使用して画像を撮影することで生成されるのではなく、三次元構造の表示に基づき生成することができる。このシーン画像において、注視端点をシーン画像に投影させることで、又は、例えば、シーン画像において注視された三次元構造物体として決定された物体を強調表示することで、注視端点又は注視される物体を示唆又は可視化することができる。

一実施例において、前記アイトラッカーは、頭部装着アイトラッカーであり、及び/又は、前記シーンカメラは、頭部装着シーンカメラである。
頭部装着アイトラッカー及び頭部装着シーンカメラは、このような装置の便利な実践である。更に、アイトラッカーが頭部に装着される場合、ヘッドトラッカーもまた自動的にアイトラッカーの位置/方位を提供する。シーンカメラの場合も同様である。ヘッドトラッカーにより決定された頭部の位置（場所と方位）により、アイトラッカーの座標系において頭部装着アイトラッカーにより決定された注視方向に基づき、ヘッドトラッカーの参照座標系の対応注視方向を決定することができる。ヘッドトラッカーにより決定された頭部の場所と方位を利用して、アイトラッカーの座標系からヘッドトラッカーの座標系へと注視方向を変換する簡単な変換によって上記を実行することができる。ヘッドトラッカーにより提供される位置により、所定の構成を通してアイトラッカーの位置も自動的に提供される。この構成において、アイトラッカーは、例えば、装着フレームを介して頭部に固定され、頭部との間に空間が形成される。

一実施例において前記三次元シーン構造表示ユニットは、実世界のシーンの三次元構造表示を得るため、参照座標系のシーンの物体の三次元構造及び位置又はそれらの幾何学的表面構造を決定するよう構成された三次元シーン構造検出器を備える。

このように構造検出器により、三次元構造又は少なくともこれに関連する可視部を、シーンから直接取得することができる。

一実施例において前記三次元構造検出器は、場合によりカメラと組合わされるレーザスキャナー、光源出射構造化ライトを有する光学スキャナー、ステレオカメラシステム、超音波検出器、三次元物体検出の任意の実装機構のうち一つを備える。

これらは三次元構造検出器の便利な実施例である。

実施例においてシステムは、複数の異なるシーンカメラで撮影された一つ以上のシーン画像及び/又は異なる視点から撮影されたシーン画像にマッピングされる三次元注視端点と、複数の異なる被験者について、同じシーン画像にマッピングされる三次元注視端点と、異なる被験者について、同じシーン画像にマッピングされるか、経時的に集計される三次元注視端点のうち、一つ以上を備える。

これにより、異なるユーザ及び/又は異なる場所の異なるシーンカメラにおいて注視端点をマッピングすることで、手法の自由度という利点が得られる。異なる被験者についても、注視端点の記録及び一つ以上と想定される異なるシーン画像へのマッピングが経時的に実行可能であるため、所望の形式で注視データの表示が得られる。

一実施例において対応するビューの頻度又は異なる被験者で識別されている、累積されたビューの時間と共に三次元注視端点を視覚化することで、経時的にマッピングされた三次元注視端点がシーン画像で可視化される。

これにより、計測された注視端点及びそれらがマッピングされたシーンの場所を可視化することができる。

一実施例において前記可視化は、ヒートマップと、フォーカスマップと、注視の重心と、ビューの時間の自動形状化のうち一つ以上を使用する。

これらは、可視化の実施に最適なものである。

一実施例において前記三次元構造検出器は、前記三次元シーンが静止していなくても、前記アイトラッカー及び前記ヘッドトラッカーを使用して、リアルタイムの注視点検出を可能とする前記三次元構造を繰り返し決定し、又は前記三次元シーン構造検出器は、前記三次元構造を最初に決定し、物体トラッカーは、シーン内の一つ以上の物体の動きをトラッキングすることで、トラッキングされた物体と経時的にトラッキングされた注視方向を利用して、経時的に注視点決定を可能とする。
このように、非静止シーンについてもオンライン計測を実施することができる。

一実施例において、前記三次元構造検出器は、一つ以上のシーンカメラと、前記一つ以上のカメラの画像に基づき、前記三次元構造を算出する演算装置とを備える。

このように、三次元構造検出器は、シーンカメラと演算装置を除く特定のハードウェアがなくても実施可能である。実施例にかかるシーンカメラは、後に注視端点がマッピングされるシーン画像の撮影に使用されるシーンカメラと同じものでもよい。

一実施例において前記演算装置は、前記三次元構造及び/又はシーンカメラの位置を算出する視覚ＳＬＡＭ（視覚同期ローカライゼーション及びマッピング）アルゴリズムを使用する。

シーンカメラ及び演算装置により、三次元構造検出器が適切に実施される。

一実施例においてシステムは、参照モデルの統計データを可視化することで、一人以上の人間からの注視データを表示する表示装置を有し、前記可視化は、物体面への投影に基づく可視化と、三次元構造のフライスルー視覚化に基づく可視化とを含む。

上記手法は、計測された注視端点の可視化実施に最適である。

一実施例において、一台以上のシーンカメラの画像を、一つ又は複数のシーン画像として使用されるパノラマ又は多重視点画像など一つ以上のより大きな画像と組み合わせ、及び/又は前記三次元構造表示装置は、参照座標系のシーンの物体の三次元構造及び位置を利用して、事前に決定されたシーンの三次元構造表示を提供する。
これらは、計測された注視端点の可視化の実施に最適な手法である。

構造決定装置の代わりに三次元構造表示装置を使用することで、事前に定められた三次元データを使用することができる。

図１Ａ及び１Ｂは、本発明の実施例にかかる物体の表示を概略的に示す。 図２Ａ及び２Ｂは、本発明の実施例にかかる注視端点決定システムを概略的に示す。 図３は、本発明の他の実施例にかかる注視端点決定システムを概略的に示す。

本発明の実施例について以下に説明する。
一実施例において、注視端点の決定について定められ、そして、一実施例では、平面ではなく、三次元空間の一般物体に対する注視端点のマッピングについて定められている。更に、一実施例では、被験者が三次元空間のどの物体を注視しているかを決定することができる。

一実施例において、上記目的のため、三次元構造検出器、被験者の頭部とその方位をトラッキングする物体トラッカー（「ヘッドトラッカー」）及びアイトラッカーが使用される。ヘッドトラッカーによる頭部の動き及びアイトラッカーによる被験者の眼の注視方向をトラッキングすることで、三次元空間での被験者の注視方向が得られる。この注視方向は投影され、又は三次元構造検出器から得られ、被験者によって視認される「世界」の三次元モデルと交差させることができる。被験者の注視が方向付けられ、三次元構造の「物体にヒット」する点が決定される。このように「注視端点」そして被験者が注視する物体についても決定することができる。

更に別の実施例によれば、注視端点は、両眼転導に基づき決定される。この実施例において、アイトラッカーは、被験者の両眼の注視方向を検出する。被験者が特定の物体を見ているときは、両眼の注視方向は平行ではなく、同じ物体に向けられている。すなわちこれらの方向は、被験者による注視点で交差していることを意味する。アイトラッカーにより両眼の注視方向が得られる場合、このように取得した三次元空間での注視方向の交点の算出により、実質的に三次元空間における注視点が供給される。

被験者の両眼において決定された二つの注視方向が、空間の特定点で実際に交差しない場合も起こりうる。これは、実際に交差していない、すなわち二つの注視方向が実際に収束せず、空間の同じ点で交差していないか、計測エラーにより、交点ができないことが理由とされうる。ただし両者の場合、例えば、二つの注視方向間の距離ベクトルの途中にある点、すなわち二つの注視方向の最も近くにある三次元空間の点を選択することで、交点に基づく注視端点を決定することができる。

このように決定された注視端点と三次元空間の物体の表示を使用することで、被験者がどの物体を注視しているかを決定できる。この表示は、例えば、構造発生装置により得られる、本実施例からなる十分な三次元構造表示となりうる。物体の三次元構造表示により、その物体の構造が定義される（例えば境界）。注視端点が正しく決定され、エラーがない場合、この点は、三次元構造の物体面に存在し、被験者が注視する点として決定される。注視端点が決定されると、三次元構造の表示から、注視端点を有する物体、ユーザが注視する物体の決定と続く。

注視端点が物体に存在しない場合もある。これには、両眼転導で決定された注視端点が全く正確ではなく、このように決定された注視端点は、物体が存在しない空き空間に存在する可能性があるなど、様々な理由がある。一実施例によれば、上記のような状況でも、例えば注視端点に最も近い物体を、注視されている物体として決定することができる。この物体を、被験者が注視していると決定された物体として選択することができる。

被験者が注視している物体を決定するその他の手法において、二つの注視ベクトルと物体自体が交差しているかチェックされる。この場合、二つの注視ベクトルと交差する物体は、ユーザが注視している物体と決定される。

一実施例において、両眼の注視方向を、「組み合わされた」注視方向の決定に使用することができる。例えば両眼の注視方向の交点としての両眼転導に基づき、注視端点を最初に算出することで、上記が可能となる。このように得られた注視端点を、両眼の注視方向、すなわち「組み合わされた注視方向」に基づく注視方向の決定に使用することができる。被験者の両眼の間から、交点に基づき決定された注視端点を通過するベクトルを注視方向として選択することで、一実施例において上記を実行することができる。注視される物体を決定するため、このようにして組み合わされた注視方向を、三次元構造の物体との交点の算出に使用することができる。

一実施例によれば、被験者の単眼又は両眼の注視方向を決定するよう構成されたアイトラッキングユニットは、単眼又は両眼の注視方向の確率分布を決定するような仕組みになっている。この確率分布は、決定された注視方向がどの程度正確かを示すものである。例えば、アイトラッカーの精度又は「誤差分布」（周知又は推定）に基づき、これを求めることができる。上記精度は、計測値（例えば注視方向）に対して確率分布の形で正確さの度合を付与し、異なる値について、計測値が正しい確率を示唆する。このような確率分布を使用することで、計測された注視方向に三次元空間の点が存在する確率を示すことができる。

一実施例における確率分布は、複数の物体について、それぞれ注視される確率の決定に使用される。計測された注視方向の確率分布は、異なる注視端点の確率分布に対応している。上記確率分布は、計測された注視方向の誤差分布を反映させることができる。例えば、特定の注視方向が計測される場合、誤差分布は、特定の計測誤差（誤差分布又は「確率分布」として示されている）により、注視方向がそれぞれ異なる確率を示している。このように異なる注視方向において、注視端点が異なる結果となるため、異なる注視端点と、対応する確率に基づき、注視されている対応物体の個々の確率を得ることができる。このことは、物体の全表面にわたり、その表面に属する各点の注視確率を積分することによって行われる。このように、注視方向確率分布に基づき注視端点確率分布が得られ、三次元空間の様々な物体について、それぞれ注視される確率を示す確率分布の決定に利用される。この実施例では、「注視される物体を決定する算出装置」により、「注視されている物体を決定」する際、注視される物体の確率が実質的に決められている。すなわち本実施例は、注視されている物体を決定する算出装置の具体例である。

一実施例において、注視方向の確率分布は、被験者の両眼について定められた注視方向に対しても使用可能である。この実施例において、上記二つの注視方向は、それぞれ特定の注視方向の正しさの確率を反映する、独自の確率分布を有している。これに基づき、三次元空間の各点について、二つの注視方向の交点としての注視端点である確率を算出することができる。すなわちこれにより、三次元空間の点を示す確率分布が、注視端点である確率を示唆する結果となる。一実施例にかかる確率分布は、注視されている特定物体の確率を決めるために利用される。これは、注視端点の確率分布から直接得られる。

一実施例において、前述のように、注視方向の確率分布は、注視方向の計測の「精度」又は「誤差」を反映する。これは、誤差分布の計測により決定するか、推定するだけでもよい。更なる実施例において、確率分布に反映された特定の誤差により注視方向が決定されるだけでなく、三次元空間内の物体の位置も決定される。三次元空間の各物体について、一実施例では、物体の位置についての確率分布により反映されている精度は不確実性を有する。この確率分布は、注視方向の確率分布又は注視端点の確率分布と組み合わせることができ、両者の不確実性が反映された、注視された特定物体について組み合わされた確率が得られる。

更なる実施例において、物体の形状、場所及び方位を完全に三次元で表示する必要はないが、各物体を、三次元空間の物体の場所を示す、空間内の一つの代表点によって示すことができる。例えば、三次元物体の重心を代表点としてよい。あるいは、ユーザが定義又は選択した点で、三次元空間の物体の位置を示すものであれば、任意の点を選択することができる。このように、複数の物体の位置を三次元空間で表示することができる。両眼転導により決定された注視端点に基づき、注視端点に最も近い物体を表す点が決定される。このように、被験者によるこの物体の注視を決定することができる。

物体は、単一の点で表示されなくてもよく、中心としての代表点を有する平面領域又は球のような三次元形状など、二次元又は三次元で拡張性を有する特定の代表的な三次元表示とすることができる。物体を表現するために使用可能なシーン物体に基づき、任意の空間テッセレーションを使用することができる。

これについて図１Ａ及び図１Ｂを参照して説明する。図１Ａは、三次元の実世界シーンを示す。このシーンには、実世界の物体として、机及び天井から吊るされたランプが含まれている。図１Ｂは、これらの物体を三次元で表現している。ランプは、三次元空間において中心Ｃ及び半径Ｒを有する球体として表現されている。机は、角部Ｘ１，Ｘ２、Ｘ３及びＸ４を有する矩形として表示されている。Ｘ１からＸ４及びＣの座標は、三次元座標を決める特定の計測によって定めることができる。半径Ｒは、「本物のランプ」の形状を想起させるように選択してよい。

この結果、三次元空間で表示された三次元の場所に存在する二つの物体を図１Ｂに示す。この図には、被験者Ｓの頭部も示されている。三次元空間での頭部の位置と方位は、特定の物体トラッカー（図示せず）で決めることができ、注視方向は、頭部装着アイトラッカー（図示せず）などの特定のアイトラッカーで取得される。アイトラッカーで取得された注視方向と、ヘッドトラッカー（独自の座標系）からの位置と方位とを使用して、三次元空間での注視方向Ｌ１、Ｌ２を決定することができる。これについては、後でより詳細に説明する。

そして注視方向交点Ｇが、両眼転導に基づき注視点として決定される。図１Ａが示すように、物体を表すランプや机の上に、この点は存在しない。注視点Ｇから机及びランプまでの距離が決定される。机Ｄ１までの距離は、ランプまでの距離よりも近いので、システムは、被験者が机を注視していると結論付けることができる。

このようにシステムは、三次元空間においてユーザが注視している物体を決定することができる。
他の実施例において、物体の三次元表現では、三次元の物体表面をメッシュで表現するなど、より高い細分性による高精度な表現が使用される。原理上、システムを同様に操作することができる。注視点が更に高精度で決定され、三次元で表現された物体の表面上又は近くに存在する場合、このシステムは被験者が注視している物体を決定するだけでなく、ユーザが注視する物体の位置も決定することができる。

他の実施例について、より詳細に説明する。この実施例では、物体は三次元構造として表現され、被験者が注視している物体は、両眼転導に基づくというよりは、三次元物体表示と注視方向の交点に基づき決定される。
すなわちこの手法では、「実世界」の物体を示す三次元構造として決定され、交差された注視方向に基づき、三次元物体上での注視端点を決定することができる。一実施例において、このように決定された注視端点は、シーンの任意の画像において、対応位置へマッピングすることができる。更に、このように、注視される物体を識別する課題が、物体/物体の一部の名前付けに帰着する。これは、この手法において、注視方向とユーザが注視している物体とが交差しているため、その注視物体が直接提供されるからである。

一実施例において、三次元物体に注視をマッピングするシステムの作動を以下に説明する。

三次元シーン構造を計測する検出器（三次元検出器）は、シーン内の全ての物体又は関係する全ての物体（例：選択された物体又は最小サイズより大きな物体）の表面構造、位置及び方位などの決定に使用され、参照モデル（三次元構造又は「実世界」の「三次元構造のモデル」）が得られる。この参照モデルは、ユーザが注視している「世界」を表し、例えばメッシュなど、「世界」の物体の表示から構成されている。

これは、例えば「参照座標系」として表示される。参照座標系は、被験者の頭部と共に動く、頭部に装着されたアイトラッカーの座標系とは異なり、経時的に不変かつ静止している。

単眼の位置（複数の眼についても同様）は、三次元検出器に関して、また単眼位置を三次元検出器の位置及び/又はヘッドトラッカーの位置と関連付けるヘッドトラッカー（従って参照座標系の位置も提供される）を利用することで検出されたシーン物体に拡張させることで、任意の時間に計測可能である。ヘッドトラッカーにより、場所だけではなく頭部又は頭部装着アイトラッカーの方位を取得することが望ましい。また、ヘッドトラッカー座標系は、三次元構造検出器の参照座標系として、経時的に不変であることが望ましい。一実施例において、両者の座標系は同一であり、別の実施例では、ヘッドトラッカー座標系を、三次元構造検出器へと、あるいはその逆に変換し、この変換が経時的に不変であることが望ましい。

三次元検出器とヘッドトラッカーとを、注視方向を計測するアイトラッカーと組み合わせることで、三次元構造の物体表面との注視交点を算出することができる。頭部装着アイトラッカーは、ヘッド/アイトラッカーの座標系での注視方向を出力する。頭部位置とその方位はヘッドトラッカーから把握されるので、頭部に装着されたアイトラッカーの既知の構成により、アイトラッカーの場所と方位も既知となる。ヘッドトラッカーからの情報を使用して、アイトラッカー座標系を参照座標系へと単に変換することで、アイトラッカー座標系のアイトラッカーにより決定される注視方向に基づき、参照座標系（三次元構造が表現された系）の注視方向を取得することができる。ヘッドトラッカーにより計測された頭部の場所及び方位の計測に続き、上記変換が実行される。

三次元構造の物体上の三次元注視端点を検出するため、この注視方向を、シーンの三次元構造表示と交差させることができる。従って、物体自身のパラメータと共に、シーンの三次元物体上における人（被験者）の単眼の注視端点を計測する計測装置が提供されている。
これは、注視点を決定するための非常に新規な手法である。各画像について手動で物体を指定する必要があるため、シーンの画像上の注視点を把握することとは大きく異なる。

上記手法は、三次元構造検出器で検出された三次元構造上の三次元注視端点を検出することで、現実のシーン面の注視点を決定する従来の手法に拡大適用される。シーン面を用いる従来の手法は、二次元空間においてのみ実施されるため、現実のシーンで通常多く見られる平面から離れた物体の点により引き起こされた視差を有する点は、適用外である。従って、この手法により、上記視差の問題が克服される。

三次元物体上の注視端点が決定されると、この注視端点は、カメラによって任意の位置から撮影されたシーンの任意の画像へとマッピングされる。このため、カメラのパラメータと、シーンに関連する位置とが必要となる。これらは構成/キャリブレーションの定義により把握できる。シーン構造で得られた画像から両者を算出、もしくは計測できる。

更に別の実施例によれば、シーン画像はシーンカメラによって撮影されず、例えば（任意の）シーン画像の画像面へと構造を投影するなど、三次元構造の表現に基づき生成される。この任意のシーン画像において、注視されている物体と決定された三次元構造の物体を強調表示することができる。あるいは、三次元構造からシーン画像に投影することで被験者の注視端点を可視化することができる。

一実施例によれば、ユーザは物体、より詳細には、三次元構造の物体部分に手動で名前を付けることができる。このように、物体に名前の「タグ」付けが可能であり、名前の付けられた物体に対して注視が「ヒット」すると、対応する物体の名前に戻る。物体は時間が経過しても同じであると仮定すると、これを一度実行する必要があり、任意の物体の注視について、参加者全員について、またシーンを観察した任意の参加者についていつでも決定することができる。これは、物体の真の三次元モデルは、ユーザによって撮影しうる全てのシーンに対応できるからである。

手動でのタグやラベルのない無名の物体については、実施例のシステムによりデフォールトの名前を付けることができる。

一実施例にかかる静止シーンについて、参照モデルをオフラインで作成することができる。図２にこの概略を示す。図２の上部が示すように、実際の注視計測（ステップａに示す）の前に、三次元構造検出器を使って三次元モデル/参照モデルが「オフライン」で作成される。三次元構造検出器は以後不要となる。ＥＴ（アイトラッカー）及びＨＴ(ヘッドトラッカー)を組み合わせることで、ステップａ）で決定された三次元構造上の三次元注視端点を十分決定することができる。これは、三次元構造の注視端点の決定を示す図２に示されたステップｂ）の上部に示されている。
シーンカメラによって撮影されたシーン画像への注視端点のマッピングを実行することができる。このため、カメラの位置とパラメータを使用した、三次元構造の二次元シーン画像へのマッピングを実行する任意の三次元投影方法を使用することができる。このように、注視が三次元構造にヒットする場所を、シーンカメラで撮影されたシーン画像の対応場所へとマッピングすることができる。図２は、三次元構造のシーン画像へのマッピング工程（例えば、三次元投影によって実行される）を説明するステップｂ）を示し、その下部に、マッピング工程の概略が示されている。

上記手法は静止シーンについて機能する。動画シーンのコンテンツに関連する場合、一実施例では、ＥＴとＨＴに並行して三次元構造検出器が機能する。この概略を図３に示す。この図では、三次元構造がＥＴによる注視の決定、ＨＴの頭部位置の決定、注視端点のシーン画像へのマッピングと並行して三次元構造が決定される様子が示されている。

一実施例において、シーンの動的変化を別の機構によって検討することができる。この実施例では、三次元構造が最初に一度だけ決定される。ただし三次元空間のシーンの関連する物体の位置や方位については、一台以上の物体トラッカーによって経時的に検出やトラッキングしてよい。注視方向もまた経時的にトラッキングされる。このように得られたトラッキングデータに基づき、注視方向と移動物体との交点を経時的に決定し、動的注視端点を決定する、オフライン工程を実行することができる。

以下に説明する実施例では、構成要素について、より詳細に記載されている。

本実施例の構成要素は、注視トラッカー、ヘッドトラッカー及び三次元構造検出器である。注視トラッキングは、従来の任意のアイトラッカーにより実現可能である。キャリブレーションが必要な場合、アイトラッカーを周知の空間面にキャリブレーションすることで、その面上の注視点から注視方向を算出することができる。

ヘッドトラッカーとして、以下の装置を使用することができる。
‐ 磁気ヘッドトラッカー、又は
‐ 光学ヘッドトラッカー、
‐ 三次元構造検出器（又はシーン内の物体）についてＥＴ（又は単眼自体）の位置及び方位を計測することができる任意の種類の装置

一実施例において、シーンカメラの位置及び方位を算出するため、検出された物体と組み合わせ、シーンカメラが使用される。このカメラは、後に注視端点がマッピングされるシーン画像の撮影に使用されるシーンカメラと同じものでもよい。カメラ位置を決定するため、視覚ＳＬＡＭ手法を使用することができる。視覚ＳＬＡＭ手法については、「Real-Time Simultaneous Localisation and Mapping with a Single Camera」 Andrew J. Davison、ICCV2003又は「Live Dense Reconstruction with a Single Moving Camera」Richard A. Newcombe、Andrew J. Davison、CVPR2010に記載されている。

別の実施例によれば、例えばカメラの内部センサ（ＧＰＳセンサ）によりカメラの位置だけを計測することができる。あるいは、その他の方法で（例えば慣性計測装置や物体トラッカー）決定することもできる。

一実施例において、シーンカメラに関連するＥＴ位置は、カメラ位置（両方とも同じフレームに装着）から把握される。

三次元構造を決定するため、例えば以下に示す計測装置など、いくつかの装置/手法を使用することができる。
‐ 三次元スキャナー（レーザスキャナー、構造化ライトスキャナーなど）
‐ ステレオカメラシステム
‐ 単眼カメラシステム（視覚ＳＬＡＭ）
‐ 手動計測
手動計測について、例えば建物の平面図は、施工計画により事前に把握されているか、特定の「手動計測」によって平面が把握されている。実際の構造を決定することなく、事前に計測され、格納された三次元構造データを「取得」又は「読み込む」装置に、三次元構造検出器を組み入れることができる。

三次元構造検出器の代わりに、三次元構造と、シーンの三次元構造を表示する参照座標系のシーン内の物体の位置を使用する、三次元構造表示ユニットを使用してもよい。三次元構造の計測を事前に実行しておくことができ、この構造表示ユニットは、三次元構造を表示するため、事前計測データを使用する。

一実施例において、関連シーン部分の動画を取り込み、視覚ＳＬＡＭ手法を使ってシーン構造を算出するため、静止シーン向けカメラ（例：シーンカメラ）が使用される。この手法により、シーンの画像を撮影するカメラ位置を画像自身から算出することができる。

動画シーンについて、オンラインで構造を計測することができる。これは、動的変化を考慮するため、三次元構造が繰り返し決定されることを意味する。
そうでなければ、オフライン（初期）三次元検出と興味の物体（物体トラッカーの補助として）のトラッキングとの組み合わせを使用することができる。スーパーマーケットの棚のように経時的に不変の静止シーンについては、この構造を一度事前に計測することができる。

上記の手法は、以下に示すように、既存の手法に比べていくつかの利点がある。

・シーン全体において物体は一意的であり、拡大解釈すれば、物体に対する注視端点も同様となる。ユーザの位置及びシーンカメラで撮影されたシーン画像に関係なく、物体/物体の部分の分類が定義される場合、この物体/物体の部分毎に自動的に注視が分類される。
・注視端点は、シーンカメラ画像から分離される。物体の画像ではなく、注視が物体にマッピングされる。シーンカメラを有するＥＴについて、参照モデル物体からシーンカメラ画像の画像面へと注視を再マッピングすることができる。このことは、注視点がシーン画像から逸脱した場合でも適用される。
・注視端点は幾何学的に正しく算出されるため、無視差ではないアイトラッカーが使用されている場合でも、注視マッピングで視差のエラーは発生しない。
・両眼転導を利用して複数の物体が注視経路と交差するように、複数の関連物体が整列されている背景のシーンにおいても、実際にどの物体が注視されているかを識別することが可能である。注視方向が，別の物体の前方に位置する物体と交差し、両眼転導による二つの注視点の交点が後方の物体に存在する場合、実際の注視点は、後方の物体であると仮定できる。
・注視データを新たに可視化することができる。
・ 時間及び/又は参加者について集計
・ 物体表面（例：ヒートマップ）
・ 空間での注視射線、空間での物体、マッピングされた注視データにより加工された物体（ヒートマップ、フォーカスマップなど）の三次元視覚化
・ シーン画像に投影された物体の自動輪郭、重心など
・ 物体の周囲をフライスルーするような動的な視覚化
・ 任意のシーン画像/シーン動画の注視データの集計（参加者のシーンカメラからの動画は特例）

構成要素と共に実施例について以下に説明する。

まずシステムは、頭部の座標フレームについて人間の注視方向を提供するアイトラッカーを有する。頭部に関する座標系に変換可能であれば、注視方向を間接的に定義することができる。

更にシステムは、頭部又はアイトラッカーの座標系の位置及びシーン座標系に関する方位を検出するヘッドトラッカーを有する。これはセンサを使って実施できる。これらのセンサがシーンに対する固有位置を検出し、センサを頭部に装着する必要がある場合も想定される。ただし、任意のヘッドトラッキング装置を使用することができる。

更にシステムは、物体の三次元表面構造を計測する三次元構造検出器を有する。この構造は、場所、方位及び表面部（点、パッチ、平面又は三次元構造の説明に使用される同様の特徴）近接部から構成される。この検出器は、物体の外観も計測可能である。

このシステムもまた、シーンの参照画像を作成するシーンカメラ（位置と方位が明らかになるような位置検出装置との組み合わせを想定）を任意に有する。

上記構成要素を使用して、三次元構造の注視点を決定することができる。更にシーン画像とシーンカメラの位置を利用して、三次元注視点をシーン画像にマッピングすることができる。

例えば三次元注視点をシーン画像に三次元投影することで、シーン画像を撮影するカメラの位置がわかっている場合、任意のシーン画像について上記マッピングを実行することができる。

更に別の一実施例によれば、任意のシーン画像における注視点の位置は、わずかに異なる方法で決定できる。最初のシーン画像での注視点がすでに決定されていると仮定すると、異なる位置から撮影された第二のシーンについて、欧州特許出願１１１５８９２２．２に記載されているように、注視点マッピング手順を使用することができる。

三次元構造検出器、ヘッドトラッカー及び位置検出器は、画像から必要な情報を抽出する適正な方法と組合わされたカメラによってすべて実施される点に注意すべきである。この実施例において、アイトラッカーを、シーンカメラと、三次元構造、カメラ位置及びヘッド位置などデータ抽出方法を実行する装置（適切にプログラムされたコンピュータ）と組み合わせることが必要である。

一実施例において、頭部装着アイトラッカーの代わりに、リモートアイトラッカーを使用することができる。このリモートアイトラッカーが固定位置に配され、固定された座標系を有する場合、その座標系は、参照座標系又は少なくとも三次元構造検出器の参照座標系と周知の空間関係を有するものとして使用することができる。リモートアイトラッカーが自身の経時的に不変な座標系において注視方向を直接取得できる場合、「分離」ヘッドトラッカーは不要であり、アイトラッカーによって実行される眼の位置と方位との決定により、アイトラッカーは同時にヘッドトラッキングユニットを実行することになる。

一実施例において、シーンカメラはアイトラッカーに対して移動可能である。その位置は、物体トラッカーによって決定することができ、位置とは関係なく、上述の通り、注視点をシーン画像へと投影することができる。

Claims (20)

1. 被験者の両眼の注視方向を決定するためのアイトラッカーと、
   参照座標系における前記被験者のヘッド及び/又は前記アイトラッカーの場所と方位を含む位置を決定するための被験者トラッカーと、
   前記参照座標系における座標を介して、三次元位置及び/又は構造を通して実世界の複数の物体を表示してシーンの三次元構造表示を提供する、三次元シーン構造検出器と、
   注視端点プロセッサと、を備え、
   前記注視端点プロセッサは、
   前記被験者の両眼の前記注視方向と前記位置の交点に基づいて前記参照座標系における注視端点を決定し、
   前記注視端点と前記複数の物体との間の複数のそれぞれの距離を決定し、
   そして、前記注視端点と前記複数の物体との間の前記それぞれの距離に基づいて、被験者が前記複数の物体のうちのどの物体を注視しているのかを決定する、ことを特徴とするシステム。
2. 前記被験者が注視している、複数の物体の内の前記物体が、前記注視端点と前記物体との間の最小の距離を有する物体を抽出することによって、決定されることを特徴とする、請求項１に記載のシステム。
3. 前記アイトラッカーは前記注視端点の確率分布を決定するためのものあり、前記注視端点プロセッサは、それぞれの確率前記注視端点の確率分布に基づいて、前記複数の物体の内の１つ以上の物体が、被験者の両眼の注視している複数の物体の内のどの物体であるという、それぞれの確率を決定するためのものである、ことを特徴とする請求項１に記載のシステム。
4. さらに、任意の視点からのシーンの画像を取得するためのシーンカメラと、
   前記シーンの画像の画像面へと前記参照座標系における前記注視端点をマッピングするマッピングプロセッサとを備え、
   前記シーンカメラの位置は、いくつかの位置決定または物体トラッキング機構により知られまたは決定され、前記シーンカメラの画像上に前記参照座標系の前記注視端点の投影を実行することによって前記マッピングが達成されることを特徴とする、請求項１に記載のシステム。
5. さらに、前記三次元構造表示に基づく任意の視点からの前記シーンの画像を生成するためのシーン画像生成装置と、
   前記シーンの画像の画像面上の前記参照座標系に前記注視端点をマッピングするマッピングプロセッサと、を備え、
   前記シーンの画像の前記画像面上に前記参照座標系の前記注視端点の投影を実行することによって前記マッピングが達成されることを特徴とする、請求項１に記載のシステム。
6. 前記アイトラッカーは頭部装着アイトラッカーを備えており、及び／又は前記シーンカメラは、頭部装着シーンカメラを備えていることを特徴とする、請求項４に記載のシステム。
7. 前記三次元シーン構造検出器は前記シーンの物体の三次元構造及び位置、または前記参照座標系におけるそれらの幾何学的表面構造を決定して、前記シーンの三次元構造表示を取得するようになっており、そして、前記三次元シーン構造検出器は、
   カメラと組合わせ可能なレーザスキャナー、
   光源出射構造化ライトを有する光学スキャナー、
   ステレオカメラシステム、
   超音波検出器、及び
   三次元物体を検出する任意の機械実装のうちの少なくとも一つを備えていることを特徴とする、請求項１に記載のシステム。
8. 三次元注視端点は、複数の異なるシーンカメラによって取られた１つ以上のシーン画像及び／又は異なる視点から取られたシーン画像にマッピングされ、
   三次元注視端点は、複数の異なる被験者について同じシーン画像にマッピングされ、及び／又は
   三次元注視端点は、同じシーン画像にマッピングされるか、あるいは経時的に集計されることを特徴とする、請求項１に記載のシステム。
9. 前記マッピングされた経時的三次元注視端点は、対応するビューの頻度又は異なる被験者で識別されている、累積されたビューの時間と共に三次元注視端点を視覚化することによって前記シーン画像において可視化されることを特徴とする、請求項８に記載のシステム。
10. 前記可視化は、
    ヒートマップと、
    フォーカスマップと、
    注視の重心と、
    ビューの時間の自動形状化と、の一つ以上を使用することを特徴とする、請求項９に記載のシステム。
11. 前記三次元シーン構造検出器は、三次元シーンが静止していなくても、前記アイトラッカー及びヘッドトラッカーを使用して、リアルタイムの注視点検出を可能とする前記三次元構造を繰り返し決定し、又は前記三次元シーン構造検出器は、前記三次元構造を一回決定し、物体トラッカーは、シーン内の一つ以上の物体の動きをトラッキングすることで、トラッキングされた物体と経時的にトラッキングされた注視方向を利用して、経時的に注視点決定を可能とすることを特徴とする、請求項１に記載のシステム。
12. 前記三次元シーン構造検出器は、一つ以上のシーンカメラと、前記一つ以上のカメラの画像に基づき、前記三次元構造を算出するための視覚ローカライゼーション及びマッピングプロセッサを備え、及び/又は
    前記視覚ローカライゼーション及びマッピングプロセッサは、視覚ＳＬＡＭ（視覚同期ローカライゼーション及びマッピング）アルゴリズムを使用して、前記三次元構造及び/又はシーンカメラの位置を算出することを特徴とする、請求項１に記載のシステム。
13. さらに、一台以上のシーンカメラを備えており、該一台以上のシーンカメラの画像は、一つ又は複数のシーン画像として使用されるパノラマ又は多重視点画像など一つ以上のより大きな画像と組み合わせられ、及び/又は前記三次元シーン構造検出器は、参照座標系のシーンの物体の三次元構造及び位置を使用して、事前に決定されたシーンの三次元構造表示を提供することを特徴とする、請求項１に記載のシステム。
14. アイトラッカーを用いて被験者の両眼の注視方向を決定し、
    該被験者のヘッド及び／又は参照座標系におけるアイトラッカーの場所と方位を含む位置を決定し、
    前記参照座標系における座標を介して、三次元位置及び/又は構造を通して実世界の複数の物体を表示してシーンの三次元構造を表示し、
    前記被験者の両眼の前記注視方向と前記位置の交点に基づいて前記参照座標系における注視端点を決定し、
    前記注視端点と前記複数の物体との間の複数のそれぞれの距離を決定し、そして、
    前記注視端点と前記複数の物体との間の前記それぞれの距離に基づいて、被験者が前記複数の物体のうちのどの物体を注視しているのかを決定する、ことを特徴とする方法。
15. 前記被験者が注視している、複数の物体の内の前記物体が、前記注視端点と前記物体との間の最小の距離を有する物体を抽出することによって、決定されることを特徴とする、請求項１４に記載の方法。
16. 前記注視端点の確率分布を決定し、それぞれの確率前記注視端点の確率分布に基づいて、前記複数の物体の内の１つ以上の物体が、被験者の両眼の注視している複数の物体の内のどの物体であるという、それぞれの確率を決定することをさらに含む、ことを特徴とする請求項１４に記載の方法。
17. 前記注視端点が前記シーンの前記三次元構造表示の空間内にある、請求項１に記載のシステム。
18. 前記注視端点プロセッサが、前記注視端点と前記参照座標系の座標との間の複数の距離を決定することによって、前記注視端点と前記複数の物体との間の前記複数のそれぞれの距離を決定するように構成されている請求項１に記載のシステム。
19. 前記注視端点プロセッサがさらに、前記注視端点に基づいて被験者が注視している物体の場所を決定するように構成されている、請求項１に記載のシステム。
20. 前記注視端点に基づいて被験者が注視している物体の場所を決定することを更に含む、請求項１４に記載の方法。

Images