JP3179182B2 - 視線検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮影者の視線方向を検
出し、該視線方向の情報に基づいて例えばカメラ等に種
々の指示を与える視線検出装置に関する。

【０００２】

【従来の技術】近年、ファインダを覗く観察者の視線を
検出して、その視線情報に基づいてカメラに指示を与え
る技術が、例えば特開平３−１０７９０９号公報により
開示されている。図６は、同公報により開示された装置
の構成を示す図である。

【０００３】同図に示すように、観察光学系では、撮影
レンズ１０１を通過した光の光路上に跳ね上げミラー１
０２が配置されており、該跳ね上げミラー１０２の反射
光の光路上には、ピント板１０３、コンデンサレンズ１
０４、ペンタプリズム１０５が設けられている。そし
て、上記ペンタプリズム１０５の反射面で反射した光の
光路上には、視線検出を行うための光学部材を兼ねた接
眼レンズ１４が設けられている。

【０００４】一方、視線検出光学系は、観察者に対して
不感の光源である赤外発光ダイオード（ＬＥＤ）１０と
投光レンズ１１とからなる照明部と、ラインセンサ１
５、ハーフミラー１２及び受光レンズ１３とからなる受
光部とから構成されており、ダイクロックミラーよりな
るビームスプリッタ１４ａを有する接眼レンズ１４の上
方に配置されている。

【０００５】このような構成において、観察光学系にお
いて、撮影レンズ１０１を通過した被写体光は、跳ね上
げミラー１０２によって反射され、ピント板１０３に結
像される。そして、ピント板１０３にて拡散した被写体
光は、コンデンサレンズ１０４、ペンタプリズム１０
５、ビームスプリッタ１４ａを有する接眼レンズ１４を
介して、観察者の眼球２００におけるアイポイント２０
１に導かれる。

【０００６】一方、視線検出光学系において、ＬＥＤ１
０から照射された赤外光は、投光レンズ１１により並行
光束となり、接眼レンズ１４のビームスプリッタ１４ａ
において反射され、観察者の眼球２００に照射される。
そして、この眼球２００で反射した赤外光の一部は、ビ
ームスプリッタ１４ａで再反射して、受光レンズ１３、
ハーフミラー１２を介してラインセンサ１５上に結像さ
れる。図７は、上記ラインセンサ１５で得られた検出像
の様子を示す図である。

【０００７】同図に示すように、検出像は、眼球２００
に入射する可視光の強度によって瞳孔像が大きく変化し
て、暗いときには高レベルの眼底反射像が検出され、明
るいときには低レベルの瞳孔像が検出される。尚、同図
では眼底反射光が示されており、このような出力信号に
基づいて中央演算処理装置（ＣＰＵ）９により観察者の
視線方向が算出される。

【０００８】この他、例えば特開平２−５号公報では、
視線方向を角膜表面の反射光（第１プルキンエ像）の位
置と、虹彩像の中心位置とから算出する技術が開示され
ている。同公報により開示された技術では、図８に示す
ように、眼球２００の角膜２０１に光軸ｌに平行な光束
５１を照射した場合に、光学的に無限距離にある像が角
膜２０１の曲率中心５４と角膜頂点との間の中点５３に
生じる交点を第１プルキンエ像として検出する。

【０００９】

【発明が解決しようとする課題】しかしながら、前述の
ような従来の装置では、観察光学系の光軸と受光光学系
の光軸とがビームスプリッタ１４から眼球まで間で共軸
となっている為、受光光学系は、ほぼ正面から眼球像を
観察していることになる。

【００１０】従って、検出像に図９（ａ），（ｂ）に示
すような観察者のまつ毛の像が重なってしまい、図１０
に示すように検出像より瞳孔エッジなどの特徴点を検出
することが困難になってしまう。さらに、観察者が被写
体を注視するときに目を細めた場合や、ファインダを上
の方から覗いた場合にはこのような影響が顕著に現れ
る。

【００１１】本発明は上記問題に鑑みて成されたもの
で、その目的とするところは、簡単な構成により、観察
者のまつ毛の影響を受けにくい光学系を構成すること
で、検出精度、信頼性を向上した視線検出装置を提供す
ることにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の態様では、ファインダを覗く観察者
の眼球に照明光を照射する投光手段と、上記投光手段に
より投光された光の眼球からの反射光を受光光学系を通
して受光し、光電変換する光電変換手段と、上記光電変
換手段からの信号に基づいて観察者の視線方向を検出す
る視線方向検出手段と、を有する視線検出装置におい
て、上記受光光学系の光軸と上記ファインダの光軸との
間に観察者の眼球の下方方向に所定角度をもって上記受
光光学系が配設されることを特徴とする視線検出装置が
提供される。第２の態様では、上記第１の態様におい
て、上記所定の角度とは、５乃至３０°の範囲内の角度
であることを特徴とする視線検出装置が提供される。

【００１３】

【作用】即ち、本発明の第１の態様では、投光手段によ
りファインダを覗く観察者の眼球に照明光が照射され、
光電変換手段により上記投光手段により投光された光の
眼球からの反射光が受光光学系を通して受光され、光電
変換され、視線方向検出手段により上記光電変換手段か
らの信号に基づいて観察者の視線方向が検出され、特に
上記受光光学系の光軸と上記ファインダの光軸との間に
観察者の眼球の下方方向に所定角度をもって上記受光光
学系が配設される。第２の態様では、上記第１の態様に
おいて、上記所定の角度が５乃至３０°の範囲内の角度
で定義される。

【００１４】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。図１は本発明の第１の実施例の構成を示
す図である。

【００１５】同図に示すように、投光部１から投光され
た光の光路上にはハーフミラー２が配置されており、該
ハーフミラー２により反射された光が進む観察系光軸Ｌ
１上に観察者の眼球２００が位置する。そして、上記眼
球２００により反射された光が進む受光系光軸Ｌ２上に
は受光光学系３を介して受光部４が設けられており、該
受光部４には演算部５が接続されている。

【００１６】そして、本実施例では、特に上記観察系光
軸Ｌ１と受光系光軸Ｌ２とが共軸とならないようにして
あり、まつ毛の影響を低減するために観察光学系Ｌ１に
対して受光光学系Ｌ２は５〜３０°程度の角度を持たせ
ている。

【００１７】このような構成において、投光部１より投
光された光はハーフミラー２により反射され、該反射光
は観察系光軸Ｌ１上を進み、観察者の眼球２００へと導
かれる。そして、眼球２００からの反射光は受光系光軸
Ｌ２上を進み、受光光学系３を介して受光部４の受光面
に結像される。そして、演算部５において、上記受光部
４からの出力に基づいて観察者の視線方向が検出され
る。上述のように、本実施例によれば、まつ毛による像
の乱れが著しく低減される為、視線検出の信頼性と精度
が向上する。図２は本発明の第２の実施例の構成を示す
図である。

【００１８】同図に示すように、観察光学系では、撮影
レンズ１０１を通過した光の光路上に跳ね上げミラー１
０２が配置されており、該跳ね上げミラー１０２の反射
光の光路上には、ピント板１０３、コンデンサレンズ１
０４、ペンタプリズム１０５が設けられている。そし
て、上記ペンタプリズム１０５の反射面で反射した光の
光路上には、視線検出を行うための光学部材を兼ねた接
眼レンズ１４が設けられている。

【００１９】一方、視線検出光学系は、観察者に対して
不感の光源である赤外発光ダイオード（ＬＥＤ）１０と
投光レンズ１１とからなる照明部と、イメージセンサ１
５、可視光カットフィルタ１６、ハーフミラー１２及び
受光レンズ１３とからなる受光部とから構成されてお
り、ダイクロックミラーよりなるビームスプリッタ１４
ａを有する接眼レンズ１４の上方に配置されている。

【００２０】ここで、受光系光軸Ｌ２は、観察光学系光
軸Ｌ１とは共軸とならないように配置されている。即
ち、光軸Ｌ２は光軸Ｌ１よりも観察者の眼球の下方に５
〜３０°の範囲内の角度を持たせている。

【００２１】このような構成において、観察光学系にお
いて、撮影レンズ１０１を通過した被写体光は、跳ね上
げミラー１０２によって反射され、ピント板１０３に結
像される。そして、ピント板１０３にて拡散した被写体
光は、コンデンサレンズ１０４、ペンタプリズム１０
５、ビームスプリッタ１４ａを有する接眼レンズ１４を
介して、観察者の眼球２００におけるアイポイント２０
１に導かれる。

【００２２】一方、視線検出光学系において、ＬＥＤ１
０から照射された赤外光は、投光レンズ１１を介して並
行光束となり、接眼レンズ１４のビームスプリッタ１４
ａにおいて反射され、観察者の眼球２００に照射され
る。そして、この眼球２００で反射した赤外光の一部
は、ハーフミラー１２にて反射され、受光レンズ１３、
可視光カットフィルタ１６を介してイメージセンサ１５
上に結像される。尚、この可視光カットフィルタ１６で
は検出範囲以外の光による像が除去される。

【００２３】こうして、イメージセンサ１５で得られた
検出像の情報は、不図示のインターフェイスを介してデ
ィジタル化された後、ＣＰＵ９に取り込まれる。そし
て、該ＣＰＵ９において、後述するような所定のアルゴ
リズムに従って、検出像の特徴座標が抽出され観察者の
視線方向が算出される。以下、図３のフローチャートを
参照して、本実施例のメインシーケンスについて説明す
る。

【００２４】スイッチオン等の割り込みによって、視線
検出のシーケンスが始まると、まず、照明光用のＬＥＤ
１０をオンして（ステップＳ１０１）、眼球像を検出す
るイメージセンサ１５をリセットして光量積分を開始す
る（ステップＳ１０２）。このイメージセンサ１５は光
量モニタ手段を有しており、積分が終了するとＣＰＵ９
に伝える。

【００２５】ＣＰＵ９はセンサ積分終了を待ち（ステッ
プＳ１０３）、センサ積分終了後、ＬＥＤ１０をオフし
（ステップＳ１０４）、続いてイメージセンサ１５から
像信号を読み取る（ステップＳ１０５）。

【００２６】そして、この得られた眼球像より、プルキ
ンエ像位置、虹彩中心位置の特徴座標を検出する（ステ
ップＳ１０６）。ここで、必要に応じて記憶しておいた
ノイズ光のみの像データを用いてノイズ除去の処理が像
データに施される。こうして、視軸の補正等を加えて視
線方向を算出し（ステップＳ１０７）、以上で一回の検
出を終了する。

【００２７】上述のように、本実施例では、まつ毛が眼
球のプルキンエ像、瞳孔象、虹彩像などに重なることを
防ぐことで検出の精度を向上させることができる。ま
た、副次的な効果として、受光系と投光系とが共軸にな
っていないので、共軸部分での反射によるノイズ光の心
配がない。

【００２８】さらに、イメージセンサとして１次元ライ
ンセンサを例に挙げ説明したが、複数のラインセンサや
エリアセンサであっても良い。そして、複数のラインか
ら最適な１ラインを選択して像の検出をすることで、よ
り正確な視線方向の情報を得ることができる。図４は本
発明の第３の実施例の構成を示す図である。

【００２９】同図に示すように、観察光学系では、撮影
レンズ１０１を通過した光の光路上に跳ね上げミラー１
０２が配置されており、該跳ね上げミラー１０２の反射
光の光路上には、ピント板１０３、コンデンサレンズ１
０４、Ｍ字型反射のプリズム１０６が設けられている。
そして、上記Ｍ字型反射のプリズム１０６の反射面で反
射した光の光路上には、視線検出を行うための光学部材
を兼ねた接眼レンズ１４が設けられている。

【００３０】一方、視線検出光学系は、観察者に対して
不感の光源であるＬＥＤ１０と投光レンズ１１とからな
る照明部と、イメージセンサ１５、可視光カットフィル
タ１６、受光レンズ１３とからなる受光部とから構成さ
れており、ダイクロックミラーよりなるビームスプリッ
タ１４ａを有する接眼レンズ１４の上方に照明部が配置
されており、観察系光軸Ｌ１に対して観察者の眼球の下
方に５〜３０°の範囲内の角度を持たせた受光系光軸Ｌ
２上に受光部が配置されている。

【００３１】このような構成において、観察光学系で
は、撮影レンズ１０１を通過した被写体光は、跳ね上げ
ミラー１０２によって反射され、ピント板１０３に結像
される。そして、ピント板１０３にて拡散した被写体光
は、コンデンサレンズ１０４、Ｍ字型反射のプリズム１
０５、ビームスプリッタ１４ａを有する接眼レンズ１４
を介して、観察者の眼球２００におけるアイポイント２
０１に導かれる。

【００３２】一方、視線検出光学系において、ＬＥＤ１
０から照射された赤外光は、投光レンズ１１を介して並
行光束となり、接眼レンズ１４のビームスプリッタ１４
ａにおいて反射され、観察者の眼球２００に照射され
る。そして、この眼球２００で反射した赤外光の一部
は、受光レンズ１３、可視光カットフィルタ１６を介し
てイメージセンサ１５上に結像される。尚、この可視光
カットフィルタ１６では検出範囲以外の光による像が除
去される。

【００３３】こうして、イメージセンサ１５で得られた
検出像の情報は、不図示のインターフェイスを介してデ
ィジタル化された後、ＣＰＵ９に取り込まれる。そし
て、該ＣＰＵ９において、後述するような所定のアルゴ
リズムに従って、検出像の特徴座標が抽出され観察者の
視線方向が算出される。

【００３４】上述のように、本実施例では、受光系の光
軸をずらすことによって上まぶたのまつ毛が眼球のプル
キンエ像、瞳孔像、虹彩像と重なることを防いでいる。
さらに、Ｍ字型の反射プリズムと、その下部に配置した
受光系との構成により、装置の規模を縮小することがで
きる。図５は本発明の第４に実施例の構成を示す図であ
る。

【００３５】同図に示すように、観察光学系では、撮影
レンズ１０１を通過した光の光路上に跳ね上げミラー１
０２が配置されており、該跳ね上げミラー１０２の反射
光の光路上には、ピント板１０３、コンデンサレンズ１
０４、Ｍ字型反射のプリズム１０６が設けられている。
そして、上記Ｍ字型反射のプリズム１０６の反射面で反
射した光の光路上には、接眼レンズ１７が設けられてい
る。

【００３６】一方、視線検出光学系は、観察者に対して
不感の光源であるＬＥＤ１０と投光レンズ１１とからな
る照明部と、イメージセンサ１５、可視光カットフィル
タ１６、受光レンズ１３とからなる受光部とから構成さ
れており、接眼レンズ１７の下方に配置されている。

【００３７】このような構成において、観察光学系で
は、撮影レンズ１０１を通過した被写体光は、跳ね上げ
ミラー１０２によって反射され、ピント板１０３に結像
される。そして、ピント板１０３にて拡散した被写体光
は、コンデンサレンズ１０４、Ｍ字型反射のプリズム１
０５、接眼レンズ１７を介して、観察者の眼球２００に
おけるアイポイント２０１に導かれる。

【００３８】一方、視線検出光学系において、ＬＥＤ１
０から照射された赤外光は、投光レンズ１１を介して並
行光束となり、ハーフミラー１２を透過して、観察者の
眼球２００に照射される。そして、この眼球２００で反
射した赤外光の一部は、ハーフミラー１２により反射さ
れ、受光レンズ１３、可視光カットフィルタ１６を介し
てイメージセンサ１５上に結像される。尚、この可視光
カットフィルタ１６では検出範囲以外の光による像が除
去される。

【００３９】こうして、イメージセンサ１５で得られた
検出像の情報は、不図示のインターフェイスを介してデ
ィジタル化された後、ＣＰＵ９に取り込まれる。そし
て、該ＣＰＵ９において、後述するような所定のアルゴ
リズムに従って、検出像の特徴座標が抽出され観察者の
視線方向が算出される。上述のように、本実施例では受
光系の光軸をずらすことによって、上まぶたのまつ毛が
眼球のプルキンエ像、瞳孔像、虹彩像と重なることを防
いでいる。さらに、照明光の投光系も偏向させたので、
照明光がまつ毛で妨げられて影ができることも防止でき
る。以上、本発明の第１乃至第４の実施例について説明
したが、本発明はこれに限定される事なく種々の改良、
変更が可能であることは勿論である。例えば、カメラの
縦位置、横位置を考慮して、それぞれファインダの光軸
より下になる方に受光系を配置してもよい。また、実施
例の説明ではカメラを例に挙げたが、本発明はカメラに
限定されることなく、例えば接眼部を有する光学系装置
等に広く適用することができる。

【００４０】以上詳述したように、本発明では、受光光
学系の光軸を観察光学系の光軸から偏向させることで、
観察者のまつ毛の像が視線検出像に重なり精度が低下す
ることを防止することができる。

【００４１】

【発明の効果】本発明によれば、簡単な構成により、観
察者のまつ毛の影響を受けにくい光学系を構成すること
で、検出精度、信頼性を向上した視線検出装置を提供す
ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示す図である。

【図２】本発明の第２の実施例の構成を示す図である。

【図３】第２の実施例のメインシーケンスを示すフロー
チャートである。

【図４】本発明の第３の実施例の構成を示す図である。

【図５】本発明の第４の実施例の構成を示す図である。

【図６】従来の視線検出装置の構成を示す図である。

【図７】検出された角膜反射像の様子を示す図である。

【図８】観察者の視線方向を角膜表面の反射光である第
１プルキンエ像の位置と虹彩像の中心位置とから算出す
る様子を説明するための図である。

【図９】（ａ）及び（ｂ）は、観察者の目及びまつ毛を
示す図である。

【図１０】まつ毛の像の影響により検出像が歪む様子を
示す図である。

【符号の説明】

１…投光部、２…ハーフミラー、３…受光光学系、４…
受光部、５…演算部。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 ファインダを覗く観察者の眼球に照明光
   を照射する投光手段と、 上記投光手段により投光された光の眼球からの反射光を
   受光光学系を通して受光し、光電変換する光電変換手段
   と、 上記光電変換手段からの信号に基づいて観察者の視線方
   向を検出する視線方向検出手段と、 を有する視線検出装置において、 上記受光光学系の光軸と上記ファインダの光軸との間に
   観察者の眼球の下方方向に所定角度をもって上記受光光
   学系が配設されることを特徴とする視線検出装置。
2. 【請求項２】 上記所定の角度とは、５乃至３０°の範
   囲内の角度であることを特徴とする請求項１に記載の視
   線検出装置。