JP4649319B2 - 視線検出装置、視線検出方法、および視線検出プログラム - Google Patents

Description

本発明は、利用者が見ている方向を検出するための視線検出装置、視線検出方法、および視線検出プログラムに関するものである。

従来、コンピュータを操作するためのインターフェースの一種として視線インターフェースがある。この視線インターフェースは、利用者の視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。

視線インターフェースにおいては、利用者の眼球に赤外線を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線の反射光と瞳孔との距離から算出される方向データを利用者の推定視線データとして検出する技術が用いられている。

この技術により算出される推定視線データと、実際の利用者の実視線データとの間には、利用者ごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、メガネのレンズによる光の屈折、中心窩の位置に関する個人差など様々な要素がある。

そこで、実視線データに対する推定視線データの誤差を補正するために、利用者別の補正用パラメータを予め算出しておき、算出された推定視線データをこの補正用パラメータで補正するキャリブレーションと呼ばれる処理が行われる。

キャリブレーション処理は、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から算出される補正用パラメータを用いることにより行われる。

キャリブレーション処理を行うことにより、利用者の実際の視線により近い方向データを視線データとして検出することが可能になる。

しかし、精度の高い視線データを検出するためには、補正用パラメータを生成する際に利用者に５点から２０点程のマーカを注視させる必要があり、利用者の負担が大きかった。

そこで、特許文献１には、角膜表面での光の屈折を考慮して瞳孔輪郭位置を補正することにより誤差をある程度補正しながら推定視線データを算出した後、さらにキャリブレーション処理を行う技術が記載されている。

この技術により、キャリブレーション処理における補正量を減少させることができ、利用者に注視させるマーカの数を２点に減らしても実際の視線に近いデータを算出することが可能になった。
特開２００３−７９５７７号公報

しかし、キャリブレーション処理においてはさらに利用者の負担を軽減させることが望まれていた。そのためには、より精度の高い推定視線データを算出することが必要である。

よって本発明の目的は、精度の高い推定視線データを算出することが可能な視線検出装置、視線検出方法、および視線検出プログラムを提供することである。

また、本発明の他の目的は、精度の高い推定視線データを算出することにより、利用者のキャリブレーション処理の負担を軽減させることができる視線検出装置、視線検出方法、および視線検出プログラムを提供することである。

上記課題を解決するために請求項１に記載の本発明の視線検出装置は、近赤外線光を利用者の眼球に照射する第１近赤外線光源および第２赤外線光源と、この第１近赤外線光源と第２赤外線光源とを結ぶライン上の中心位置に設置され照射された赤外線光が反射した眼球を撮影する眼球撮影用カメラとを有する眼球撮影装置と、眼球撮影装置から眼球までの距離である眼球距離を計測する距離計測部と、眼球撮影用カメラで撮影された眼球の画像から瞳孔の中心位置を算出する瞳孔位置算出部と、眼球撮影用カメラで撮影された眼球の画像から、第１近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第１反射像位置と第２近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第２反射像位置とを検出し、第１反射像位置と第２反射像位置との中心位置を仮想反射像位置として検出するとともに、第１反射像位置と第２反射像位置との間の距離である反射像間距離を計測する反射像位置検出部と、第１近赤外線光源と第２赤外線光源との間の距離である光源間距離と眼球距離とから推定される角膜表面の反射像間距離を推定反射像間距離として算出するとともに、この推定反射像間距離の反射像間距離に対する比率を補正比率として算出する補正比率算出部と、仮想反射像位置から瞳孔位置までの距離を補正比率で補正することにより仮想反射像位置に対する補正された瞳孔の中心位置である補正瞳孔位置を算出し、この補正瞳孔位置と仮想反射像位置とから推定される推定視線を算出する推定視線算出部と、算出された推定視線を、利用者毎の誤差補正のために予め算出された個人パラメータで補正する推定視線補正部と、補正された推定視線を利用者の視線として検出する視線検出部とを備えることを特徴とする。

また、請求項２は請求項１に記載の視線検出装置において、距離計測部は撮影用カメラの位置情報を記憶し、推定視線補正部で用いられる個人パラメータは、予め位置情報が記憶された１点のマーカを利用者が注視したときに推定視線算出部で算出される推定視線と、マーカの位置情報と、撮影用カメラの位置情報とから算出されることを特徴とする。

また、請求項３は請求項１または２に記載の視線検出装置において、個人パラメータを記憶する個人パラメータ記憶部を有し、推定視線補正部は、個人パラメータ記憶部から利用者の個人パラメータを取得して推定視線を補正することを特徴とする。

また、請求項４は請求項１〜３いずれか１項にに記載の視線検出装置において、瞳孔位置算出部は、眼球撮影用カメラで撮影された眼球の画像から瞳孔輪郭位置を検出する瞳孔輪郭位置検出部と、瞳孔輪郭位置を、角膜における光の屈折を考慮して補正する瞳孔輪郭補正部と、補正された瞳孔輪郭位置を基に瞳孔の中心位置を算出する補正瞳孔位置算出部とを有することを特徴とする。

また、請求項５は請求項２〜４いずれか１項に記載の視線検出装置において、ディスプレイに接続され、予め記憶されたマーカの位置情報に基づいて、ディスプレイにマーカを表示させるマーカ表示部を有することを特徴とする。

また、請求項６は請求項１〜５いずれか１項に記載の視線検出装置において、眼球撮影装置内の眼球撮影用カメラはオートフォーカスカメラであり、距離計測部は、オートフォーカスカメラで算出されるフォーカス値に基づいて眼球距離を計測することを特徴とする。

また、請求項７に記載の視線検出方法は、第１近赤外線光源および第２赤外線光源から近赤外線光を利用者の眼球に照射し、この第１近赤外線光源と第２赤外線光源とを結ぶライン上の中心位置に設置された眼球撮影用カメラで照射された赤外線光が反射した眼球を撮影し、視線検出装置が、第１近赤外線光源、第２赤外線光源、および眼球撮影用カメラを有する眼球撮影装置から眼球までの距離である眼球距離を計測し、眼球撮影用カメラで撮影された眼球の画像から瞳孔の中心位置である瞳孔位置を算出し、眼球撮影用カメラで撮影された眼球の画像から、第１近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第１反射像位置と第２近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第２反射像位置とを検出し、第１反射像位置と第２反射像位置との中心位置を仮想反射像位置として検出するとともに、第１反射像位置と第２反射像位置との間の距離である反射像間距離を計測し、第１近赤外線光源と第２赤外線光源との間の距離である光源間距離と眼球距離とから推定される角膜表面の反射像間距離を推定反射像間距離として算出するとともに、この推定反射像間距離の反射像間距離に対する比率を補正比率として算出し、仮想反射像位置から瞳孔位置までの距離を補正比率で補正することにより仮想反射像位置に対する補正された瞳孔の中心位置である補正瞳孔位置を算出し、この補正瞳孔位置と仮想反射像位置とから推定される推定視線を算出し、算出された推定視線を、利用者毎の誤差補正のために予め算出された個人パラメータで補正し、補正された推定視線を利用者の視線として検出することを特徴とする。

また、請求項８は請求項７に記載の視線検出方法において、視線検出装置は、撮影用カメラの位置情報を記憶し、個人パラメータを、予め位置情報が記憶された１点のマーカを利用者が注視したときに算出される推定視線と、マーカの位置情報と、撮影用カメラの位置情報とから算出することを特徴とする。

また、請求項９に記載の視線検出プログラムは、第１近赤外線光源および第２赤外線光源から近赤外線光が照射された利用者の眼球を、この第１近赤外線光源と第２赤外線光源とを結ぶライン上の中心位置に設置された眼球撮影用カメラで撮影された画像から、瞳孔の中心位置である瞳孔位置を算出する機能と、眼球撮影用カメラで撮影された眼球の画像から、第１近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第１反射像位置と第２近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第２反射像位置とを検出し、第１反射像位置と第２反射像位置との中心位置を仮想反射像位置として検出するとともに、第１反射像位置と第２反射像位置との間の距離である反射像間距離を計測する機能と、第１近赤外線光源、第２赤外線光源、および眼球撮影用カメラを有する眼球撮影装置から眼球までの距離である眼球距離を計測する機能と、第１近赤外線光源と第２赤外線光源との間の距離である光源間距離と眼球距離とから推定される角膜表面の反射像間距離を推定反射像間距離として算出するとともに、この推定反射像間距離の反射像間距離に対する比率を補正比率として算出する機能と、仮想反射像位置から瞳孔位置までの距離を補正比率で補正することにより仮想反射像位置に対する補正された瞳孔の中心位置である補正瞳孔位置を算出し、この補正瞳孔位置と仮想反射像位置とから推定される推定視線を算出する機能と、算出された推定視線を、利用者毎の誤差補正のために予め算出された個人パラメータで補正する機能と、補正された推定視線を利用者の視線として検出する機能とをコンピュータに実現させる。

また、請求項１０は請求項９に記載の視線検出プログラムにおいて、撮影用カメラの位置情報を記憶する機能を有し、個人パラメータは、予め位置情報が記憶された１点のマーカを利用者が注視したときに算出される推定視線と、マーカの位置情報と、撮影用カメラの位置情報とから算出することを特徴とする。

本発明の視線検出装置、視線検出方法、および視線検出プログラムによれば、精度の高い推定視線データを算出することができる。

また、本発明の視線検出装置、視線検出方法、および視線検出プログラムによれば、キャリブレーション処理の際に、利用者に注視させるマーカの数を１点にすることができ、利用者の負担を軽減することができる。

〈第１実施形態〉
《第１実施形態による視線検出装置の構成》
本発明の第１実施形態による視線検出装置１の構成について、図１〜図４を参照して説明する。

本実施形態による視線検出装置１は、眼球撮影装置１０と、瞳孔位置算出部１１と、反射像位置検出部１２と、光源間距離記憶部１３と、補正比率算出部１４と、推定視線ベクトル算出部１５と、較正用方向ベクトル算出部１６と、マーカ位置座標記憶部１７と、個人パラメータ算出部１８と、個人パラメータ記憶部１９と、推定視線ベクトル補正部２０と、視線ベクトル検出部２１とを備える。

眼球撮影装置１０は、近赤外線を利用者４の眼球に照射する第１近赤外線光源１０１および第２近赤外線光源１０２と、近赤外線光源が照射された眼球を撮影する眼球撮影用カメラ１０３と、眼球撮影用カメラ１０３の位置であるカメラ位置座標Ｃを記憶するとともに眼球撮影装置１０から利用者４の眼球までの距離である眼球距離ｅを計測する距離計測部１０４とを有する。第１赤外線光源と第２赤外線光源とは、眼球撮影用カメラ１０３から等距離の対称位置に設置されている。

また、第１近赤外線光源１０１および第２近赤外線光源１０２の面積は、眼球撮影用カメラ１０３で利用するレンズの焦点距離などにより眼球の角膜反射像が撮影可能な大きさになるように設定され、１cm四方から３cm四方程度が好ましい。

眼球撮影用カメラ１０３としては、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いた赤外線光を撮像可能なカメラが利用される。

距離計測部１０４における眼球距離ｅの計測方法としては、超音波距離センサを用いる計測、ステレオカメラを用いる計測、ビデオカメラで合焦したレンズ位置から被写体までの距離を算出する計測（depth from focus method）などが利用される。

瞳孔位置算出部１１は、眼球撮影装置１０の眼球撮影用カメラ１０３で撮影された眼球の画像から、図２に示すように瞳孔の中心位置である瞳孔位置座標Ｐを検出する。

反射像位置検出部１２は、眼球撮影装置１０の眼球撮影用カメラ１０３で撮影された眼球の画像から、図２に示すように第１近赤外線光源１０１からの近赤外線光の角膜反射像の中心位置である第１反射像位置座標Ｑ１と第２近赤外線光源１０２からの近赤外線光の角膜反射像の中心位置である第２反射像位置座標Ｑ２とを検出するとともに、図３に示すように第１反射像位置座標Ｑ１と第２反射像位置座標Ｑ２との中心位置を仮想角膜反射像の中心位置である仮想反射像位置座標Ｑとして検出する。さらに、この第１反射像位置座標Ｑ１と第２反射像位置座標Ｑ２との間の距離である反射像間距離ｄを計測する。

光源間距離記憶部１３は、第１近赤外線光源１０１の中心と第２近赤外線光源１０２の中心との間の距離である光源間距離ａ（図４参照）を記憶する。

補正比率算出部１４は、光源間距離ａおよび眼球距離ｅにより算出される推定の角膜反射像間の距離である推定反射像間距離ｄ₀と、眼球撮影装置１０で撮影された眼球の画像から得られる反射像間距離ｄとの比率を個人差による誤差の補正比率ｓとして算出する。

推定視線ベクトル算出部１５は、補正比率ｓを用いて補正された瞳孔位置座標Ｐ’を算出し、この瞳孔位置座標Ｐ’に基づいて利用者４の視線と推定される推定視線ベクトルを算出する。

マーカ位置座標記憶部１７は、キャリブレーション処理のために利用者４が注視するマーカ５の位置であるマーカ位置座標Ｍを記憶する。

較正用方向ベクトル算出部１６は、距離計測部１０４において計測された眼球距離ｅとカメラ位置座標Ｃとを基に算出された利用者４の眼球位置座標Ｅと、カメラ位置座標Ｃと、マーカ位置座標記憶部１７に記憶されたマーカ位置座標Ｍとから、較正用の方向ベクトルを算出する。

個人パラメータ算出部１８は、個人パラメータを算出するために利用者４がマーカ５を注視したときに推定視線ベクトル算出部１５でそれぞれ算出された推定視線ベクトルと、較正用方向ベクトル算出部１６で算出された較正用の視線ベクトルとから、個人パラメータを算出する。

推定視線ベクトル補正部２０は、利用者４の視線を検出するときに推定視線ベクトル算出部１５で算出された推定視線ベクトルを、個人パラメータ算出部１８で算出された個人パラメータでキャリブレーション処理を行う。

視線ベクトル検出部２１は、推定視線ベクトル補正部２０でキャリブレーション処理されたデータを、利用者４の視線ベクトルとして検出する。

《第１実施形態による視線検出装置の動作》
本実施形態における視線検出装置１の動作について図５および図６のフローチャートを参照して説明する。

本実施形態による視線検出装置１は、個人パラメータを算出して記憶する処理と、記憶された個人パラメータを用いて利用者４の視線を検出する処理とを行う。

（１）個人パラメータの算出
利用者４の個人パラメータを算出する処理について図５のフローチャートを参照して説明する。個人パラメータを算出するため、利用者４がマーカ５を注視したときの推定視線ベクトルが算出される（Ｓ１）。

ここで、ステップＳ１の推定視線ベクトルを算出する処理について図６のフローチャートを参照して詳述する。

まず、利用者４によりマーカ５が注視されている状態で、第１近赤外線光源１０１と第２赤外線光源とから利用者４の眼球に近赤外線光が照射される（Ｓ１１）。

近赤外線光が照射された眼球が眼球撮影用カメラ１０３により撮影される（Ｓ１２）。

次に、距離計測部１０４において、眼球撮影装置１０から眼球までの距離である眼球距離ｅが計測される（Ｓ１３）。

次に、眼球撮影用カメラ１０３で撮影された眼球の画像から、瞳孔位置算出部１１において瞳孔の中心位置である瞳孔位置座標Ｐが算出される（Ｓ１４）。

また、眼球撮影用カメラ１０３で撮影された眼球の画像から、反射像位置検出部１２において第１反射像位置座標Ｑ１と第２反射像位置座標Ｑ２とが検出されるとともに、第１反射像位置座標Ｑ１と第２反射像位置座標Ｑ２との中心位置が仮想反射像位置座標Ｑとして算出される（Ｓ１５）。

この仮想反射像位置座標Ｑは、第１反射像位置座標Ｑ１と第２反射像位置座標Ｑ２とから算出される仮想の反射像の位置座標であり、下記式（１）により算出される。

さらに、反射像位置検出部１２において、第１反射像位置座標Ｑ１と第２反射像位置座標Ｑ２との間の距離である反射像間距離ｄが計測される（Ｓ１６）。

次に、光源間距離記憶部１３に記憶されている第１近赤外線光源１０１の中心から第２近赤外線光源１０２の中心までの距離である光源間距離ａと距離計測部１０４で計測された眼球距離ｅとから、角膜曲率半径をｂとしたときの推定反射像間距離ｄ₀が補正比率算出部１４において算出される（Ｓ１７）。

この推定反射像間距離ｄ₀の算出処理について説明する。

ここで、第１近赤外線光源１０１および第２近赤外線光源１０２を物体とし、眼球の角膜を凸面鏡とすると、第１反射像および第２反射像は凸面鏡に映った物体の虚像であると考えることができる。

一般的に、物体の大きさをｐ、凸面鏡の焦点距離をｆ、物体から凸面鏡までの距離をｃとすると、物体を凸面鏡に映したときの虚像の大きさｐ’は、下記式（２）で表される。

また、凸面鏡の曲率半径をｒとすると、凸面鏡の焦点距離ｆは下記式（３）で表される。

従って、図２に示す光源間距離ａを物体の大きさとし、眼球距離ｅを物体から凸面鏡までの距離とし、眼球の曲率半径をｂとすると、推定される虚像の大きさとしての推定反射像間距離ｄ₀は、式（２）および式（３）より下記式（４）で表される。

式（４）において眼球の曲率半径として推定したｂの値が利用者４の角膜曲率半径と一致していれば、推定反射像間距離ｄ₀と反射像間距離ｄとの値も一致する。しかし、角膜曲率半径には個人差があり実際には一致しない。

そこで、反射像間距離ｄに対する推定反射像間距離ｄ₀の比率が、個人差による角膜反射像の大きさの誤差を補正するための補正比率ｓとして下記式（５）に示すように求められる（Ｓ１８）。

次に、瞳孔位置算出部１１において検出された瞳孔位置座標Ｐと、反射像位置検出部１２で検出された仮想反射像位置座標Ｑとの間の距離ｍが算出され、補正比率ｓで補正された距離ｍ’が下記式（６）に示すように算出される。

ここで、角膜曲率半径をｂとした場合の仮想反射像位置座標Ｑに対する瞳孔位置座標を補正瞳孔位置座標Ｐ’とすると、補正された距離ｍ’は補正瞳孔位置座標Ｐ’と仮想反射像位置座標Ｑとの間の距離となり、この距離は下記式（７）で表される。

上記式（７）から、補正瞳孔位置座標Ｐ’が下記式（８）に示すように推定視線ベクトル算出部１５において求められる（Ｓ１９）。

さらに、眼球撮影用カメラ１０３のレンズの中心から仮想反射像位置座標Ｑを通る直線を考えたとき、仮想反射像位置座標Ｑから角膜曲率半径ｂだけ先の位置を角膜曲率中心座標Ｆとして、推定視線ベクトル算出部１５において算出される。

さらに、推定視線ベクトル算出部１５において、補正瞳孔位置座標Ｐ’と角膜曲率中心座標Ｆとを通る方向ベクトルが、利用者４がマーカ５を注視したときの第１推定視線ベクトルＰ１（θ₁,φ₁）として算出される（Ｓ２０）。

上述のようにして推定視線ベクトルが算出されると、次に、利用者４の眼球からマーカ５への方向ベクトルが較正用方向ベクトルとして算出される（Ｓ２）。

較正用方向ベクトルの算出の際には、予め視線検出装置１の１点が基準点として定められ、この基準点に基づく３次元座標系が用いられる。

まず、較正用方向ベクトル算出部１６において、距離計測部１０４に記憶されているカメラ位置座標Ｃと眼球距離ｅとから、眼球の位置である眼球位置座標Ｅが算出される。

次に、較正用方向ベクトル算出部１６において、マーカ位置座標記憶部１７からマーカ位置座標Ｍが取得される。

さらに、較正用方向ベクトル算出部１６において、眼球位置座標Ｅとマーカ位置座標Ｍとから、眼球からマーカ５への方向ベクトルが第１較正用方向ベクトルＰ１’（θ’₁,φ’₁）として下記式（９）に示すように算出される（Ｓ３）。

次に、利用者４が眼球撮影用カメラ１０３を注視している場合を考えると、眼球撮影用カメラ１０３と近赤外線光源の位置座標が一致していれば算出される推定視線ベクトルである第２推定視線ベクトルＰ２（θ₂,φ₂）は、実際の眼球位置座標Ｅからカメラ位置座標Ｃへの方向ベクトルである第２較正用方向ベクトルＰ２’（θ’₂,φ’₂）と一致する。

従って、利用者４が眼球撮影用カメラ１０３を注視している場合の第２推定視線ベクトルＰ２は下記式（１０）で表される。

このようにして算出された第１推定視線ベクトルＰ１（θ₁,φ₁）と、第２推定視線ベクトルＰ２（θ₂,φ₂）と、第１較正用方向ベクトルＰ１’（θ’₁,φ’₁）と、第２較正用方向ベクトルＰ２’（θ’₂,φ’₂）とから、最小二乗法により４つのパラメータα₀、α、β₀、βが個人パラメータ算出部１８において算出される（Ｓ４）。

算出されたパラメータは利用者毎の識別情報とともに個人パラメータ記憶部１９に記憶される（Ｓ５）。

（２）視線検出
まず、視線を検出したい利用者４の眼球に近赤外線光を照射して、図６のフローチャートに従い推定視線ベクトル算出部１５において推定視線ベクトルが算出される。

次に、推定視線ベクトル補正部２０において個人パラメータ記憶部１９に記憶されている利用者４のパラメータα₀、α、β₀、βが取得され、このパラメータα₀、α、β₀、βで推定視線ベクトルがキャリブレーション処理される。

算出された推定視線ベクトルを極座標（v,ｗ）、キャリブレーション処理により補正された視線ベクトルを極座標（v’,w’）とすると、v’およびw’は下記式（１１）および（１２）で表される。

得られたデータは視線ベクトルとして視線ベクトル検出部２１で検出される。

図７は、本実施形態による視線検出結果を１９インチディスプレイ（EIZO FlexScan L767,有効画面サイズ 横376mm×303mm,解像度横 1280ドット×1024ドット）を用いて表示した例である。図７において、菱形マーカは予め設定された確認マーカであり、四角マーカはキャリブレーション処理を行わなかった場合に算出された視線ベクトルとディスプレイとの交点であり、三角マーカはキャリブレーション処理を行った場合に算出された視線ベクトルとディスプレイとの交点である。丸マーカは、個人パラメータを算出するために利用者が注視するマーカである。

視線を検出するときは、まず、座標（644,100）の位置に表示された丸マーカを利用して個人パラメータを算出した。

次に、画面上に表示された１２個の確認マーカを利用者が順次注視し、それぞれの確認マーカについてキャリブレーション処理を行った場合と行わない場合との視線ベクトルを算出した。

図７の結果より、キャリブレーション処理を行わない場合は視野角の平均が1.77度であったが、キャリブレーション処理を行った場合は視野角の平均は0.89度であった。この結果より、１点のみの注視により算出された個人パラメータを用いたキャリブレーション処理でも視野角を1度以下にすることができ、視線検出の精度が向上していることがわかる。

以上の第１実施形態によれば、角膜表面上での個人差による反射像の大きさの誤差を補正して精度の高い推定視線データを算出することができる。また、精度の高い推定視線データを算出可能なことにより、キャリブレーション処理の際に利用者が注視するマーカの数を１点にすることができ、利用者の負担を軽減することができる。

〈第２実施形態〉
本発明の第２実施形態による視線検出装置は、角膜における光の屈折を考慮して瞳孔の中心位置を検出することにより、さらに精度の高い推定視線ベクトルを算出するものである。

《第２実施形態による視線検出装置の構成》
本実施形態による視線検出装置２について図８を参照して説明する。

本実施形態による視線検出装置２の構成は、瞳孔位置算出部１１に瞳孔輪郭位置検出部１１ａ、瞳孔輪郭補正部１１ｂ、および補正瞳孔位置算出部１１ｃを有する他は第１実施形態と同様であるため詳細な説明は省略する。

瞳孔輪郭位置検出部１１ａは、眼球撮影装置１０の眼球撮影用カメラ１０３で撮影された眼球の画像から瞳孔を検出し、検出した瞳孔の輪郭を求める。

瞳孔輪郭補正部１１ｂは、瞳孔輪郭位置検出部１１ａで検出された瞳孔の輪郭を角膜表面における光の屈折を考慮して補正し、実際の瞳孔輪郭位置を推定して算出する。

補正瞳孔位置算出部１１ｃは、補正された瞳孔輪郭位置を基に瞳孔の中心位置を算出する。

《第２実施形態による視線検出装置の動作》
本実施形態における視線検出装置２の動作について説明する。

本実施形態による視線検出装置２の動作は、図６のフローチャートに示される推定視線ベクトル算出処理のステップＳ１４の瞳孔位置座標Ｐ算出の方法の他は第１実施形態と同様であるため詳細な説明を省略する。

本実施形態による瞳孔位置座標Ｐの算出について説明する。

まず、瞳孔輪郭位置検出部１１ａにおいて、眼球撮影用カメラ１０３で撮影された眼球の画像上で周辺より暗い領域を連結することでセグメント化が行われ、セグメント化された各領域の中で瞳孔の形状に最も近い領域が瞳孔の領域として検出される。

さらに瞳孔輪郭位置検出部１１ａにおいて、瞳孔の領域からエッジ検出が行われ、瞳孔の輪郭座標ｐ_i（I＝１〜n，n＝５〜４０程度）が求められる。

次に、瞳孔輪郭補正部１１ｂにおいて、空気の屈折率と角膜内の房水の屈折率とが用いられて補正された瞳孔の輪郭座標ｐ_i’が求められる。具体的な処理については、特許３７１１０５３号の段落００５８〜段落００７０に記載の瞳孔輪郭補正手段における瞳孔輪郭の補正処理を用いることができる。

次に、補正瞳孔位置算出部１１ｃにおいて、補正された複数の瞳孔輪郭座標ｐ_i’から瞳孔の中心位置である瞳孔位置座標Ｐが求められ、第１実施形態の処理に従ってさらに補正された補正瞳孔位置座標Ｐ’が求められる。

さらに推定視線ベクトル算出部１５においてこの補正瞳孔位置座標Ｐ’を用いて推定視線ベクトルが算出された後、推定視線ベクトル補正部２０でキャリブレーション処理が行われて視線ベクトル検出部２１で視線ベクトルが検出される。

以上の第２実施形態によれば、角膜表面における光の屈折を考慮する補正と、角膜表面上での個人差による反射像の大きさの誤差を考慮した補正とを行うことにより、第１実施形態よりもさらに精度の高い視線ベクトルを算出することが可能になる。

〈第３実施形態〉
本発明の第３実施形態による視線検出装置は、接続されたディスプレイに個人パラメータを算出する際に使用するマーカを表示させるものである。

本実施形態における視線検出装置３について図９を参照して説明する。

本実施形態による視線検出装置３の構成は、ディスプレイ６に接続されたマーカ表示部２２を有する他は第１実施形態と同様であるため詳細な説明は省略する。

マーカ表示部２２は、マーカ位置座標記憶部１７に記憶されたマーカ位置座標に従って、ディスプレイ６にマーカ５を表示させる。

較正用方向ベクトル算出部１６では、マーカ位置座標記憶部１７に記憶されたディスプレイ６上のマーカ位置を基に較正用方向ベクトルが算出され、個人パラメータの算出に用いられる。

以上の第３実施形態によれば、視線検出装置に接続されたディスプレイを用いてマーカの表示を行うことで、マーカの位置の指定や変更を容易に行うことができる。

〈第４実施形態〉
本発明の第３実施形態による視線検出装置は、眼球撮像装置の眼球撮影用カメラとしてオートフォーカスカメラを用いるものである。

本実施形態による視線検出装置は、眼球撮影用カメラとしてオートフォーカスカメラを用いる他は第１実施形態の視線検出装置１の構成と同様であるため、詳細な説明は省略する。

眼球撮影用カメラ１０３としてのオートフォーカスカメラは、オートフォーカス機能を用いて利用者４の眼球に合焦した画像を撮影し、撮影したときのフォーカス値を距離計測部１０４に出力する。

距離計測部１０４は、取得したフォーカス値を用いて眼球撮影装置１０から利用者４の眼球までの眼球距離ｅを算出する。

ここで、距離の異なる複数のターゲットを撮影したときの距離と、得られたフォーカス値との対応関係を予め取得しておき、この対応関係に基づいて眼球距離ｅが算出される。

以上の第４実施形態によれば、利用者の眼球位置が変化した場合でも、オートフォーカスカメラを利用することにより再度眼球位置に合焦させれば容易に眼球距離を算出することができる。

合焦処理を行っている間、一時的には眼球距離が不正確になるが、合焦後は正確な眼球距離を取得することができる。

また、上記の第１実施形態〜第４実施形態の視線検出装置の機能構成をプログラム化してコンピュータに組み込むことにより、当該コンピュータを視線検出装置として機能させる視線検出プログラムを構築することも可能である。

本発明の第１実施形態による視線検出装置の構成を示すブロック図である。 本発明の第１実施形態による視線検出装置の眼球撮像装置により撮影された眼球の画像を示す正面図である。 本発明の第１実施形態による視線検出装置の眼球撮像装置により撮影された眼球の画像を示す正面図である。 本発明の第１実施形態による視線検出装置の眼球撮像装置を示す正面図である。 本発明の第１実施形態による視線検出装置の眼球撮像装置における個人パラメータ算出の動作を示すフローチャートである。 本発明の第１実施形態による視線検出装置の眼球撮像装置における推定視線ベクトル算出の動作を示すフローチャートである。 本発明の第１実施形態による視線検出装置の眼球撮像装置における視線検出結果をディスプレイに表示した状態を示す表示図である。 本発明の第２実施形態による視線検出装置の構成を示すブロック図である。 本発明の第３実施形態による視線検出装置の構成を示すブロック図である。

符号の説明

Ｐ…瞳孔位置座標
Ｐ’…補正瞳孔位置座標
Ｐ１…第１推定視線ベクトル
Ｐ１’…第１較正用方向ベクトル
Ｐ２…第２推定視線ベクトル
Ｐ２’…第２較正用方向ベクトル
Ｑ…仮想反射像位置座標
Ｑ１…第１反射像位置座標
Ｑ２…第２反射像位置座標
１…視線検出装置
２…視線検出装置
３…視線検出装置
４…利用者
５…マーカ
６…ディスプレイ
１０…眼球撮影装置
１１…瞳孔位置算出部
１１ａ…瞳孔輪郭位置検出部
１１ｂ…瞳孔輪郭補正部
１２…反射像位置検出部
１３…光源間距離記憶部
１４…補正比率算出部
１５…推定視線ベクトル算出部
１６…較正用方向ベクトル算出部
１７…マーカ位置座標記憶部
１８…個人パラメータ算出部
１９…個人パラメータ記憶部
２０…推定視線ベクトル補正部
２１…視線ベクトル検出部
２２…マーカ表示部
１０１…第１近赤外線光源
１０２…第２近赤外線光源
１０３…眼球撮影用カメラ
１０４…距離計測部

Claims (10)

1. 近赤外線光を利用者の眼球に照射する第１近赤外線光源および第２赤外線光源と、この第１近赤外線光源と第２赤外線光源とを結ぶライン上の中心位置に設置され照射された赤外線光が反射した前記眼球を撮影する眼球撮影用カメラとを有する眼球撮影装置と、
   前記眼球撮影装置から前記眼球までの距離である眼球距離を計測する距離計測部と、
   前記眼球撮影用カメラで撮影された眼球の画像から瞳孔の中心位置を算出する瞳孔位置算出部と、
   前記眼球撮影用カメラで撮影された眼球の画像から、前記第１近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第１反射像位置と前記第２近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第２反射像位置とを検出し、前記第１反射像位置と前記第２反射像位置との中心位置を仮想反射像位置として検出するとともに、前記第１反射像位置と前記第２反射像位置との間の距離である反射像間距離を計測する反射像位置検出部と、
   前記第１近赤外線光源と前記第２赤外線光源との間の距離である光源間距離と前記眼球距離とから推定される角膜表面の反射像間距離を推定反射像間距離として算出するとともに、この推定反射像間距離の前記反射像間距離に対する比率を補正比率として算出する補正比率算出部と、
   前記仮想反射像位置から前記瞳孔位置までの距離を前記補正比率で補正することにより前記仮想反射像位置に対する補正された瞳孔の中心位置である補正瞳孔位置を算出し、この補正瞳孔位置と前記仮想反射像位置とから推定される推定視線を算出する推定視線算出部と、
   算出された推定視線を、利用者毎の誤差補正のために予め算出された個人パラメータで補正する推定視線補正部と、
   前記補正された推定視線を前記利用者の視線として検出する視線検出部と、
   を備えることを特徴とする視線検出装置。
2. 請求項１に記載の視線検出装置において、
   前記距離計測部は前記撮影用カメラの位置情報を記憶し、
   前記推定視線補正部で用いられる個人パラメータは、予め位置情報が記憶された１点のマーカを利用者が注視したときに前記推定視線算出部で算出される推定視線と、前記マーカの位置情報と、前記撮影用カメラの位置情報とから算出される
   ことを特徴とする視線検出装置。
3. 請求項１または２に記載の視線検出装置において、
   前記個人パラメータを記憶する個人パラメータ記憶部を有し、
   前記推定視線補正部は、前記個人パラメータ記憶部から前記利用者の個人パラメータを取得して前記推定視線を補正する
   ことを特徴とする視線検出装置。
4. 請求項１〜３いずれか１項に記載の視線検出装置において、
   前記瞳孔位置算出部は、
   前記眼球撮影用カメラで撮影された眼球の画像から瞳孔輪郭位置を検出する瞳孔輪郭位置検出部と、
   前記瞳孔輪郭位置を、角膜における光の屈折を考慮して補正する瞳孔輪郭補正部と、
   補正された瞳孔輪郭位置を基に瞳孔の中心位置を算出する補正瞳孔位置算出部と、
   を有することを特徴とする視線検出装置。
5. 請求項２〜４いずれか１項に記載の視線検出装置において、
   ディスプレイに接続され、
   予め記憶されたマーカの位置情報に基づいて、前記ディスプレイにマーカを表示させるマーカ表示部を有する
   ことを特徴とする視線検出装置。
6. 請求項１〜５いずれか１項に記載の視線検出装置において、
   前記眼球撮影装置内の眼球撮影用カメラはオートフォーカスカメラであり、
   前記距離計測部は、前記オートフォーカスカメラで算出されるフォーカス値に基づいて前記眼球距離を計測する
   ことを特徴とする視線検出装置。
7. 第１近赤外線光源および第２赤外線光源から近赤外線光を利用者の眼球に照射し、この第１近赤外線光源と第２赤外線光源とを結ぶライン上の中心位置に設置された眼球撮影用カメラで照射された赤外線光が反射した前記眼球を撮影し、
   視線検出装置が、
   前記第１近赤外線光源、前記第２赤外線光源、および前記眼球撮影用カメラを有する眼球撮影装置から前記眼球までの距離である眼球距離を計測し、
   前記眼球撮影用カメラで撮影された眼球の画像から瞳孔の中心位置である瞳孔位置を算出し、
   前記眼球撮影用カメラで撮影された眼球の画像から、前記第１近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第１反射像位置と前記第２近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第２反射像位置とを検出し、前記第１反射像位置と前記第２反射像位置との中心位置を仮想反射像位置として検出するとともに、前記第１反射像位置と前記第２反射像位置との間の距離である反射像間距離を計測し、
   前記第１近赤外線光源と前記第２赤外線光源との間の距離である光源間距離と前記眼球距離とから推定される角膜表面の反射像間距離を推定反射像間距離として算出するとともに、この推定反射像間距離の前記反射像間距離に対する比率を補正比率として算出し、
   前記仮想反射像位置から前記瞳孔位置までの距離を前記補正比率で補正することにより前記仮想反射像位置に対する補正された瞳孔の中心位置である補正瞳孔位置を算出し、この補正瞳孔位置と前記仮想反射像位置とから推定される推定視線を算出し、
   算出された推定視線を、利用者毎の誤差補正のために予め算出された個人パラメータで補正し、
   前記補正された推定視線を前記利用者の視線として検出する
   ことを特徴とする視線検出方法。
8. 請求項７に記載の視線検出方法において、
   視線検出装置は、
   前記撮影用カメラの位置情報を記憶し、
   前記個人パラメータを、予め位置情報が記憶された１点のマーカを利用者が注視したときに算出される推定視線と、前記マーカの位置情報と、前記撮影用カメラの位置情報とから算出する
   ことを特徴とする視線検出方法。
9. 第１近赤外線光源および第２赤外線光源から近赤外線光が照射された利用者の眼球を、この第１近赤外線光源と第２赤外線光源とを結ぶライン上の中心位置に設置された眼球撮影用カメラで撮影された画像から、瞳孔の中心位置である瞳孔位置を算出する機能と、
   前記眼球撮影用カメラで撮影された眼球の画像から、前記第１近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第１反射像位置と前記第２近赤外線光源から照射された近赤外線光の角膜反射像の中心位置である第２反射像位置とを検出し、前記第１反射像位置と前記第２反射像位置との中心位置を仮想反射像位置として検出するとともに、前記第１反射像位置と前記第２反射像位置との間の距離である反射像間距離を計測する機能と、
   前記第１近赤外線光源、前記第２赤外線光源、および前記眼球撮影用カメラを有する眼球撮影装置から前記眼球までの距離である眼球距離を計測する機能と、
   前記第１近赤外線光源と前記第２赤外線光源との間の距離である光源間距離と前記眼球距離とから推定される角膜表面の反射像間距離を推定反射像間距離として算出するとともに、この推定反射像間距離の前記反射像間距離に対する比率を補正比率として算出する機能と、
   前記仮想反射像位置から前記瞳孔位置までの距離を前記補正比率で補正することにより前記仮想反射像位置に対する補正された瞳孔の中心位置である補正瞳孔位置を算出し、この補正瞳孔位置と前記仮想反射像位置とから推定される推定視線を算出する機能と、
   算出された推定視線を、利用者毎の誤差補正のために予め算出された個人パラメータで補正する機能と、
   前記補正された推定視線を前記利用者の視線として検出する機能と、
   をコンピュータに実現させるための視線検出プログラム。
10. 請求項９に記載の視線検出プログラムにおいて、
    前記撮影用カメラの位置情報を記憶する機能を有し、
    前記個人パラメータは、予め位置情報が記憶された１点のマーカを利用者が注視したときに算出される推定視線と、前記マーカの位置情報と、前記撮影用カメラの位置情報とから算出する
    ことを特徴とする視線検出プログラム。

Images