JP2974383B2

JP2974383B2 - 視線検出装置及び視線検出装置を有する機器

Info

Publication number: JP2974383B2
Application number: JP2220790A
Authority: JP
Inventors: 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-08-21
Filing date: 1990-08-21
Publication date: 1999-11-10
Anticipated expiration: 2014-11-10
Also published as: JPH04101126A; US5857120A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は視線検出装置または視線検出装置を有するス
チル・カメラ，ビデオ・カメラなどにおいて、使用者も
しくは撮影者の注視点を特定するものに関する。

〔従来の技術〕従来より使用者（撮影者）が観察面上のどの位置を観
察しているのかを検知する、いわゆる視線検出装置が種
々提案されている。

例えば特開昭61−172552号公報においては、光源から
の平行光束を被検眼の前眼部へ投射し、角膜からの反射
光に基づく角膜反射像と瞳孔中心の位置の結像状態を利
用して視軸（注視点）を求めている。

第８図は同公報で提案されている視線検出方法の原理
説明図である。

同図において704は観察者に対して不感の赤外光を放
射する発光ダイオード等の光源であり、投光レンズ706
の焦点面に配置されている。

光源704より発光した赤外光は投光レンズ706により平
行光となりハーフミラー710で反射し、眼球700の角膜70
1を照射する。このとき角膜701の表面で反射した赤外光
の一部はハーフミラー710を透過し受光レンズ707により
集光されてイメージセンサ709上の位置ｄ′に結像す
る。

また、虹彩703の端部a,bからの光束はハーフミラー71
0、受光レンズ707を介してイメージセンサ709上に導光
され、その位置ａ′,b′に該端部a,bの像を結像する。
受光レンズ707の光軸アに対する眼球の光軸イの回転角
θが小さい場合、虹彩703の端部a,bのＺ座標をZa,Zbと
すると、虹彩703の中心位置ｃの座標Zcはと表わされる。

また、角膜反射像の発生位置ｄのＺ座標をZd、角膜70
1の曲率中心Ｏと虹彩703の中心Ｃまでの距離を▲▼
とすると眼球光軸イの回転角θは ▲▼・sinθ≒Zc−Zd …（１）の関係式を略満足する。このためイメージセンサ709上
に投影された各特異点（角膜反射像の発生位置ｄ及び虹
彩の端部a,bのイメージセンサ709上の像Zd′,Za′,Z
b′）の位置を検出することにより眼球光軸イの回転角
θを求め、これより被検者の視線を求めることができ
る。この時（１）式はとかきかえられる。但し、βは角膜反射像の発生位置ｄ
と受光レンズ707との距離ｌと受光レンズ707とイメージ
センサ709との距離l₀で決まる倍率で、通常ほぼ一定の
値となっている。

このように観察者の被検眼の視線の方向（注視点）を
検出することにより、例えば一眼レフカメラにおいては
撮影者がピント面上のどの位置を観察しているかを知る
ことができる。

これは例えば自動焦点検出装置において測距点を画面
中心のみならず画面内の複数箇所に設けた場合、観察者
がそのうちの１つの測距点を選択して自動焦点検出を行
うとする場合、その１つを選択入力する手間を省き観察
者が観察している点を測距点と見なし、該測距点を自動
的に選択して自動焦点検出を行うのに有効である。

又、撮影範囲内を複数の領域に分割し、各領域におい
て測光を行う分割測光においても各領域の測光情報の重
み付けに前述した注視点の情報を用いることにより、観
察者の意図する範囲に露出が合う確率が著しく向上する
等の効果がある。

〔発明が解決しようとしている課題〕

しかしながら、一般に人の眼球の運動には、画像特徴
を抽出する際に生じる運動で最高速度が300度／秒に達
する跳躍的運動と、30〜35度／秒／以下の移動対象に対
して生じる低速平滑な随徒運動があり、そのほかに中心
窩に対象物体を捉えつづけるために付随意的に生じる不
規則な微少運動である固視微動等が存在する。またスチ
ルカメラ、ビデオカメラ等においては、フアインダー内
の視野外の表示を見る事もある。このため従来例に示す
様な視線検出装置では、観察者（すなわち撮影者）の意
図する対象に対する視線方向、すなわち注視点を正確に
検出することが困難であった。

〔課題を解決するための手段〕

本発明は、画面を見ている使用者の視線を検出する視
線検出装置または視線検出装置を有する機器において、
前記使用者の視線情報を時系列的に複数検出する視線検
出手段と、前記視線検出手段にて検出された使用者の複
数の視線情報から、分割された画面内の各エリア毎に前
記視線の経時的な変化を表す複数種の視線情報を形成
し、前記複数種の視線情報を用いて使用者の注視点を含
むエリアを抽出する抽出手段とを有することを特徴とし
ている。

〔実施例〕

本発明第１実施例の構成図を第１図、動作のフローチ
ヤートを第２図に示す。１はマイクロプロセツシングユ
ニツト（M.P.U）、２はメモリー、３はA/D変換機能を有
するインターフエイス回路、４はイメージセンサー及び
その駆動回路、５は赤外発光ダイオードの発生制御回
路、６はカメラの横位置，縦位置を検出する位置セン
サ、７は赤外発光ダイオード、８は測光センサ、９は測
光センサの出力に応じてイメージセンサの積分時間を制
御する積分時間制御回路、10はズーム情報検知手段、11
はパンニング情報検知手段、SWは視線モードスイツチで
ある。

次に動作手順について説明する。（第２図（Ａ）参
照）カメラに設けられた視線モードスイツチSWが押される
などの視線検出要求が有ると（ステツプ１）、M.P.U1は
視線検出−注視点抽出のルーチンへ制御を移す。

まず、初期化の処理を行い、すべての変数の値を零に
する（ステツプ２）。そしてそのときのカメラの位置
（縦位置か横位置か）の情報を位置センサ６から受け発
光する赤外発光ダイオード（IRED）７の設定をした発光
制御回路５にイメージセンサーの積分時間に同期した発
光制御信号を与える。これによりそのときのカメラの位
置に対応した赤外発光ダイオードがイメージセンサーの
蓄積に同期して発光される（ステツプ３）。つづいてイ
メージセンサー４上に結像したプルキニエ像の生じた眼
球前眼部の画像をインターフエイス回路３を介して読み
込む（ステツプ４）。そしてその画像を処理することに
より、プルキニエ像の位置Ｐと少なくとも３つの瞳孔輪
部（いわゆる瞳孔のエツジ）の位置D₁,D₂,D₃を検出する
（ステツプ５）。この検出された諸量より眼球の水平方
向、鉛直方向の回転角θ_H,θ_Ｖを算出する（ステツプ6,
7）。その算出の仕方は従来例と同様に上記（２）式が
適用される。本実施例の様にカメラに適用される視線検
出装置においては眼球の回転角と同時に、カメラ本体に
対する眼球の相対的変位量も求めなければならない。な
ぜなら、カメラにおいてはカメラ本体と撮影者の位置関
係が自由なので、撮影者がフアインダーをのぞく位置に
よって視線の位置が変わるからである。しかしカメラの
フアインダーの場合はその光学的特性により回転角が同
じであれば相対的変位量が異なっていても、ピント板上
での見ている点が一致するので、眼球の回転角のみを求
めてやれば良い。

そしてこの後、算出された視線が例えば第３図の様に
多分割された観察画面のどの位置にあるのかを求め、そ
の分割画面の番号をijとしてメモリーに記憶する（ステ
ツプ８）。さらにM.P.U1は頻度、停留時間、軌跡の視線
に関する情報の算出をΔｔ秒毎に行い、その結果を記憶
する（ステツプ９〜11）。この視線算出、エリア判別、
視線情報算出の動作はレリーズの要求があるまで繰返さ
れる。

頻度Ｎ（ij）の算出は分割画面数と同じ数のメモリー
領域をつくり、視線が算出される毎に、その分割画面に
対応するメモリーに１を加えていく。すなわち、視線検
出開始からレリーズ要求の有るまでの間、Δｔ秒の間各
分割画面に視線が存在した回数をカウントするのであ
る。

停留時間Ｔ（ij）の算出については第２図（Ｂ）に示
してある。停留時間算出のルーチンに入るとまず、それ
が第１回の視線算出であったか否かを判別し（ステツプ
20）、この判断はメモリーｊの値が「１」か「０」で行
う。ｊ＝０ならば第１回の視線算出である。ステツプ20
にて第１回と判断されたならばメモリーＴの値に「０」
をセツトし（ステツプ21）、さらに現在、視線の存在す
る分割画面の番号ijをi_j-1（一回前の視線算出のときに
視線の存在した分割画面番号）として記憶する。また第
２回以降（すなわちｊ＝１）の場合は、それが前回の視
線の存在した分割画面i_j-1と等しいか否かを判断し（ス
テツプ22）、もし等しければ（ij＝i_j-1）メモリーＴの
値に「１」を加え、その値を新たなメモリーＴの値とす
る（ステツプ23）。そして、分割画面の数だけ用意され
た停留時間算出の為のメモリーのうち、現在視線の存在
する分割画面に対応するメモリーＴ（ij）とＴの値を比
較する（ステツプ24）。もしＴの値がＴ（ij）より大き
ければ、Ｔ（ij）の値をＴの値で置換える（ステツプ2
5）。そして最後に現在視線の存在する分割画面番号ij
をi_j-1として記憶する（ステツプ26）。また現在視線の
存在する分割画面ijが前回のそれi_j-1と等しくない（ij
≠i_j-1）場合は、メモリーＴの値を「０」としたのち、
ijをi_j-1として記憶し、ルーチンを抜ける。

すなわちこのルーチンでは、Δｔ秒の間である分割画
面の中に視線が停留した時間の最大値を求めている。

軌跡情報Ｌ（ij）の算出については第２図（Ｃ），
（Ｄ）に示す。第２図（Ｃ）は現在の視線の位置と直前
の視線の位置を比較し、その相関度を求めるもの。第２
図（Ｄ）は現在の視線の位置と跳躍後の第一点（相関が
零となった最初の点）との相関度を求めるものである。

第２図（Ｃ）の方法ではまず、算出された視線が第１
回のものか否かを判断し（ステツプ30）、第１回であっ
たならばｊの値を「０」から「１」に変えたのち（ステ
ツプ31）、ij（現在の視線の存在する分割画面番号）を
i_j-1（前回の視線の存在する分割画面番号）として記憶
してルーチンを抜ける（ステツプ35）。逆に第２回以降
の場合は、まずljとi_j-1の相関係数ｆ（ij,l_j-1）を求
める（ステツプ32）。例えば、これは第４図に示す様な
値をとる。図中の斜線部は前回の視線の位置、すなわち
i_j-1であり、現在の視線の位置ijがi_j-1と一致していれ
ばｆ（ij,i_j-1）＝１となり、この斜線部より離れるに
従って値がｆ（ij,i_j-1）＝0.5,f（ij,i_j-1）＝0.2,…
と小さくなる様、そしてある一定値以上離れたらｆ（i
j,i_j-1）＝０となる様になっている。この様にｆ（ij,i
_j-1）は２つの値ijとi_j-1の間隔の逆数に比例する様な
形で定められている。この様にして求められた相関係数
ｆ（ij,i_j-1）をijに対する軌跡情報Ｌ（ij）,i_j-1に対
する軌跡情報Ｌ（i_j-1）に各々加え（ステツプ33,3
4）、それを新たなij,i_j-1に対する軌跡情報Ｌ（ij）,L
（i_j-1）とする。その後ijをi_j-1として記憶して（ステ
ツプ35）ルーチンを抜ける。

第２図（Ｄ）の方法でも、まず算出された視線が第１
回のものか否かを判断し（ステツプ40）、第１回のもの
であったなら、ｊの値を「０」から「１」に変えたのち
（ステツプ41）、ijをik（跳躍後の最初の視線の存在す
る分割画面番号）として記憶して（ステツプ44）、ルー
チンを抜ける。逆に第２回以降の場合はijとikの相関係
数ｆ（ij,ik）を求める（ステツプ42）。この値は第２
図（Ｃ）と同様に、ijとikの間隔の逆数に比例する様な
形で定められる。ついでこの求められた相関係数ｆ（i
j,ik）が零か否かを判定し（ステツプ43）、零の場合に
はijをikとして記憶する（ステツプ44）。すなわち、そ
れまで相関係数の算出に用いられていた視線の位置ikよ
りある一定間隔以上の間隔が生じ相関係数が零になった
際はその視線の位置から大きく移動したと判断して、現
在の視線の位置ijを新たな相関係数算出の視線位置とす
るのである。そして、このikの変更が終了したら軌跡情
報算出のルーチンを抜ける。また零でない場合には、求
められた相関係数ｆ（ij,ik）を、ijに対する軌跡情報
Ｌ（ij）,ikに対する軌跡情報Ｌ（ik）に各々加え（ス
テツプ45、46）、その結果を新たな軌跡情報Ｌ（ij）,L
（ik）として記憶したのち、ルーチンを抜ける。

また、上記の第２図（Ｃ），（Ｄ）の方法を併用して
もよい。その場合のフローチヤートを第２図（Ｅ）に示
す。（Ｃ），（Ｄ）同様に（Ｅ）の方法の場合もまず第
１回の視線算出か否かの判断を行い（ステツプ50）、第
１回のものであったならば、ｊの値を「０」から「１」
に変えたのち（ステツプ51）、ijをikとして記憶し（ス
テツプ56）、さらにi_j-1としても記憶し（ステツプ5
9）、そののちルーチンを抜ける。逆に第２回以降の場
合はijとi_j-1の相関係数ｆ（ij,i_j-1）、ijとikの相関
係数ｆ（ij,ik）を算出する（ステツプ52,53）。これら
の値は（Ｃ），（Ｄ）同様にijとi_j-1,ijとikの間隔の
逆数に比例する様な形で定められる。ついで、ijとi_j-1
の相関係数ｆ（ij,i_j-1）に任意の定数ａ（ただし０≦
ａ≦１）を掛けたものをij,i_j-1に対する軌跡情報Ｌ（i
j）,L（i_j-1）に各々加える（ステツプ53、54）。そし
てijとikの相関係数ｆ（ij,ik）が零か否か調べ（ステ
ツプ55）、零でなければijとikの相関係数ｆ（ij,ik）
に任意の定数ｂ（ただし０≦ｂ≦１、かつａ＋ｂ＝１）
を掛けたものをij,ikに対する軌跡情報Ｌ（ij）,L（i
k）に各々加える（ステツプ57、58）。また、零の場合
は、ijを新たな相関係数算出の視線位置とするためにik
として記憶する（ステツプ56）。そして最後にijをi_j-1
として記憶して（ステツプ59）、ルーチンを抜ける。

第２図（Ａ）のフローチヤートに戻る。

この様な軌跡情報の算出をΔｔ秒毎に行い（ステツプ
15）、各々の値をメモリーするのである。パンニング、
ズーミングが行われるとパンニング検知手段11、ズーミ
ング検知手段12がそれを検知し、割込みの指示を与える
（ステツプ12）。この割込みが生じるとM.P.U1は、それ
までに算出された視線に関する頻度、停留時間、軌跡の
情報などを全てクリアし、定数の設定を行い、視線算出
のルーチンを初期の状態にする（ステツプ２）。その
後、視線算出、エリア判別、頻度算出、停留時間算出、
軌跡情報算出の処理及び記憶（ステツプ16）、定数の設
定（ステツプ17）をレリーズ要求があるまで繰返す。

以上の様にして頻度、停留時間、軌跡の視線に関する
情報が求められる。

レリーズの要求があると（ステツプ12）M.P.U1は注視
点抽出を以下の様にして行う。

M.P.U1はメモリーに記憶されている各分割画面の各時
間毎の頻度、停留時間、軌跡の各情報を用いて、トータ
ルの頻度N_T（ｉ）、停留時間T_T（ｉ）、軌跡情報L
_T（ｉ）を次式の様にして求める。

ただしN_m（ｉ）,T_m（ｉ）,L_m（ｉ）は最後（レリーズ
直前）の頻度、停留時間、軌跡情報N_m-k（ｉ）,T
_m-k（ｉ）,L_m-k（ｉ）はそのｋ番目前の情報である。レ
リーズ直前とそのひとつ前の情報の重みを“1"にするの
はレリーズのタイミングによらず、レリーズの直前Δｔ
の情報を重視するためである。そして、その前のΔｔ秒
間の情報も用いることで、撮影者の意志をより一層反映
している。なおＡは1/2程度の値が望ましい。

ついでM.P.U1はメモリに記憶されている各分割画面の
頻度、停留時間、軌跡の各情報の加重平均をの様にしてとり各分割画面の注視度数Ｗ（ｉ）を求める
（ステツプ13）。そして、この注視度数が最大となる分
割画面を、もしくは最大に近い分割画面群を注視点とみ
なす（ステツプ14）。分割画面群は、最大の注視度数と
の差が一定値Ｋ（これは撮影レンズの焦点距離、絞り
値、視線算出を行った期間などより定める）以内のもの
であるが、この中で注視度数最少のものとの差が一定値
Ｋ以内のものは分割画面群に含める。さらに新たに求め
た分割画面群の中で注視度数最少のものとの差が一定値
Ｋ以内のものも含めてもよい。よって注視点は複数の場
合もある。

例えば、W₁＞W₂＞W₃＞W₄＞W₅＞W₆…と各分割画面に対
する注視度数が求まっている場合、最大値W₁に対して以
下の様であれば W₁−W₂≦Ｋ W₁−W₃≦ｋ W₁−W₄＞Ｋ W₃−W₄≦Ｋ W₄−W₅＞Ｋ W₁,W₂,W₃,W₄の注視度数をもつ分割画面を注視点と見
なす（ステツプ14）。

その後カメラの制御はレリーズの他のルーチンへ移行
し、上記の様にして求められた注視点で測距，測光を行
い、その結果に基づいて焦点制御，露出制御などが行わ
れる。

またレリーズ動作が行われたあとは、カメラのメイン
スイツチがオフされない限り、視線検出要求待ちの状態
となる。

なお視線検出装置は、第５図に示すようにイメージセ
ンサー４、赤外発光ダイオード、受光レンズ12、ダイク
ロイツクミラー13（可視透過赤外反射）などで構成され
ており、ペンタプリズム14付近に配置されている。

〔他の実施例〕本発明第２実施例のブロツク図、回路図を第６図
（Ａ），（Ｂ），（Ｃ），（Ｄ），（Ｅ）に示す。

40はイメージセンサーの駆動回路、41はイメージセン
サー、21は視線算出回路、22は視線エリア判別回路、10
0,110,120,130は頻度算出回路、200,210,220,230は停留
時間算出回路、240は停留判別回路、300,310,320,330は
軌跡情報算出回路、350は相関係数を求める際の対象と
なるエリアを求める相関対象演算回路、360は演算回路3
50で決定されたエリアとの相関係数を求める相関係数演
算回路、370,400はデコーダー、410,411,412,413は加重
平均回路、420はデコーダ410〜413で求められた加重平
均値が最大のもの、すなわち注視点であるエリアを抽出
するための最大値エリア判定回路である。

駆動回路41からの読み出し信号によりイメージセンサ
ー40から眼球前眼部の画像が読み出されると、視線算出
回路21によって、プルキニエ像，瞳孔中心についで視線
位置が算出される。また駆動回路41からは読み出し終了
に同期してエリア確定信号が出力され、これに同期して
視線エリア判別回路22よりエリアに対応する信号が出力
される。この信号はデコーダ400でデコードされ、その
エリアに対応する頻度算出回路、停留時間算出回路、軌
跡情報算出回路へデコード出力が送られる。

デコード出力が送られてきた頻度算出回路では、その
内部のカウンターでデコード出力がカウントされ、頻度
Ｎ（ｉ）が求められる。このカウンターはレリーズ、ズ
ーミング、パンニングやREAD信号の発生などによりCLEA
R信号が生じるとその出力を消去する。（READ信号やレ
リーズやΔｔ秒が経過したとき生じる。第６図（Ｂ）参
照）第６図（Ｃ）に示す様に停留判別回路240ではデイレ
イ回路241を通った一つ前のエリア情報と現在のエリア
情報を比較し、それが等しければ停留時間算出回路へカ
ウントアツプを指示する信号を送出する。デコード出力
が送られてきた停留時間算出回路200では、AND回路201
の出力がHighとなるのでカウンター202がカウントアツ
プされる。なお、このカウンター202は停留判別回路
で、一つ前のエリアと現在のエリアが等しくないと判断
されたとき及びCLEAR信号が生じた際にクリアされる。
カウンター202の出力は、カウントアツプされたのちメ
モリー205に記憶されている。それまでの停留時間の最
大値と比較され、カウンターの出力の方が大きければ新
たな最大値としてバツフア204を介してメモリー205に記
憶される。このメモリーの内容はカウントアツプされた
時のほか、レリーズが指示された際（READ信号が生じた
際）にも読み出される。またCLEAR信号が生じたときに
は消去される。

第６図（Ｄ）に直前（ひとつ前）のエリア情報との相
関係数を求める場合の軌跡情報算出回路について示す。

相関係数演算回路360はデイレイ回路351を通った一つ
前のエリア情報と現在のエリア情報の差を減算器361で
求めその差に対応する相関係数をROMにより構成された
相関係数演算器362で演算する。またデイレイ回路351の
出力はデコーダー370にも入力する。デコーダー370,400
の出力のORをOR回路305でとることにより、現在のエリ
アとその直前のエリアの双方に、上記演算器362の演算
結果が加算される。すなわちOR回路305の出力がHighに
なるとメモリー303からそれまでのデータ（軌跡情報）
が読み出され、加算器301で該演算器362の演算結果との
和が求められる。OR回路305の出力はデイレイ回路304を
通り、その一定時間後にメモリー303のWRITE端子に与え
られるので、加算器301の結果はこのタイミングでバツ
フア302を介してメモリーに記憶される。このメモリー
の内容はレリーズが指示された際（READ信号が生じた
際）にも読み出される。またCLEAR信号が生じたときに
はその内容が消去される。

第６図（Ｅ）に相関係数が零になった点（大きく視線
が動いたあとの第一点）との相関係数を求める場合の軌
跡情報算出回路について示す。

相関係数演算回路360では、メモリー352に記憶されて
いるエリア情報と現在のエリア情報の差を減算器361で
求め、その差に対応する相関係数を相関係数演算器362
で演算する。この結果が零であった場合はメモリー352
のWRITE端子にWRITE命令が与えられ、バツフア353を介
してそのときのエリア情報をメモリー352に記憶する。
よってメモリー352には相関係数が零となった際のエリ
ア情報、すなわち視線が大きく移動し、それまでの視線
の軌跡との相関関係の無くなったあとの第一点の情報が
記憶されることになる。また相関係数演算器362の結果
は加算器301にも与えられる。一方、現在のエリアの情
報はデコーダー400にメモリー352のエリア情報はデコー
ダー370に入力する。そして、この二つのデコーダーの
出力のORを305でとることにより、現在のエリア、メモ
リー352に記憶されたエリアの双方に362の演算結果が加
算される。すなわち、OR回路305の出力がHighとなると
メモリー303からそれまでの軌跡情報が読み出され、加
算器301で362の演算結果との和が求められ、305の出力
がデイレイ回路304を通ることで、読み出しの一定時間
後にバツフア302を介してメモリー303に記憶される。な
お、このメモリー303の内容はレリーズが指示された際
（READ信号が生じた際）にも読み出され、CLEAR信号が
生じた際にはその内容が消去される。また、CLEAR信号
が生じた際には、メモリー352の内容も消去される。

以上の様にして頻度算出回路、停留時間算出回路、軌
跡情報算出回路で求められた数値は、READ信号が生じる
と、それぞれのエリアに対応する加重平均回路へ送られ
る。例えば、第０エリアであれば加重平均回路410、第
１エリアであれば411、第２エリアであれば412、第３エ
リアであれば413へといった具合である。そして各々の
加重平均回路ではREAD信号に同期してそのとき入力され
た頻度、停留時間、軌跡の各情報をメモリーする。

そしてレリーズ信号が生じた際には頻度算出回路、停
留時間算出回路、軌跡情報算出回路で求められた数値は
再びそれぞれのエリアに対する加重平均回路へ送られ
る。加重平均回路はそれまでにメモリーされた演算結果
のうちから最後の２つを読み出し、トータルの頻度、停
留時間、軌跡情報、ついで各々のエリアにおける注視度
数Ｗ（ｉ）を求める。この演算結果を送られた最大値エ
リア判定回路420では、各々の注視度数の比較を行い、
その最大値を与えるエリア（注視点エリア）を判定しそ
のエリアの番号を出力する。

なお、READ信号はレリーズが指示された場合と、計時
回路においてΔＴが計時されたとき、すなわちレリーズ
時と視線検知が開始されてからΔＴ間隔に出力される。
またCLEAR信号はカメラのレリーズ動作が終了した際、
ズーミング、パンニングが行われた際に生じる様になっ
ている。

本発明第３実施例のブロツク図を第７図に示す。

第３実施例の特徴はM.P.U1で視線算出並びにエリアの
判定を行い、その結果をインターフエイス回路３を介し
て、注視点抽出のための回路群へ送信している点であ
る。

M.P.U1はイメージセンサー４の出力画像をインターフ
エイス回路３を介して読み込み、この画像をもとにプル
キンエ像、瞳孔中心、そして視線を算出し、この視線が
画面上のどのエリアに位置するかを求め、その値を注視
点抽出のための回路群へ送信する。M.P.U1からの信号を
受けた回路群では、第２実施例と同様の動作により、頻
度、停留時間、軌跡情報が算出され、その結果が加重平
均回路、さらに最大値エリア判定回路に送られ、注視点
エリアが求められる。

なお第３実施例においては、CLEAR信号、READ信号な
どはM.P.U1より与えられる。

第４実施例はフアジイー理論を用いて撮影者の注視点
を決定するものである。すなわち、ある時刻ｔ＝Ｔにお
ける視線の位置を（i,j）としたときのT_stast≦ｔ≦T
_finalにおける（i,j）における頻度Ｎ（i,j）、停留時
間Ｔ（i,j）から注視点（ic,jc）をフアジイ理論を用い
て決定するものである。

フアジイー理論は1965年カリフオルニア大学バークレ
イ校のL.A.Zadch教授によって提唱された理論で、例え
ば「行動軽量学13巻２号（通巻25号）1986PP64〜PP89に
フアジイ理論とその応用」として発表されている。フア
ジイ理論は言葉のもっているノウハウを定量化するのに
適している。そこで以下に示すノウハウをルール１、ル
ール２として定量化する。

（１）注視点とその視線頻度は関係がある。すなわち頻
度が高ければ高いほど注視点の可能性が高い。

（２）注視点とその停留時間は関係がある。すなわち停
留時間が長いほど、注視点の可能性が高い。

（３）注視点とシヤツターを切るまでの時間は関係があ
る。すなわち、シヤツターを切る直前の視線ほど、注視
点の可能性が高い。

ルール１は「シヤツターを切る直前の頻度の高い点ほ
ど注視点の可能性が高い」と表現される。すなわち、T
_start≦ｔ≦T_finalにおける（i,j）点の頻度Ｎ（i,j）
の評価関数Eval N（i,j）はとなる。ここで、fn（ｔ）は、例えば第９図（Ａ）に示
す様なフアジイ集合で表わした関数である。ただし、fn
（ｔ）はシヤツターを切る時刻に応じた関数であるので
上記例に限るものではなく、第９図（Ｂ），（Ｃ）の様
な関数でもかまわない。

ルール２は「シヤツターを切る直前の停留時間の長い
点ほど、注視点の可能性が高い」と表現される。すなわ
ち、T_start≦ｔ≦T_finalにおける（i,j）点の停留時間
Ｔ（i,j）の評価関数Eval T（i,j）はと表わされる。ここでf_n（ｔ）はルール１同様フアジイ
集合で表わした関数である。注視点はルール１・ルール
２のMax演算で求められるので、Max（Eval N（i,j）Eva
l T（i,j））を最大とする（i,j）を求めれることによ
り注視点（ic,jc）を決定する。

M.P.U1は、イメージセンサー４の出力画像をインター
フエイス回路３を介して読み込みこの画像を処理するこ
とにより、プルキニエ像、瞳孔中心、そして視線の位置
（i,j）を算出する。そののちM.P.U1は上記のフアジイ
演算を行い注視点の位置（ic,jc）を求める。すなわち
第10図に示すようにレリーズ要求後に頻度、停留時間の
評価関数Eval N（i,j）、Eval T（i,j）を求める（ステ
ツプ60、61）。そのためにまず、そのときの時刻Ｓと、
そのときの視線のエリアを記憶し（ステツプ64）、レリ
ーズ要求後のこの値を用いてEval N（i,j）を Eval N（i,j）＝Eval N（i,j）＋ｆ（ｓ）の演算をＳ＝１からＳ＝Ｓまで繰返すことにより求める
（ステツプ66）。また停留時間は第１実施例と同様にし
て求め、この値Ｔ（S,i,j）とそのときの時刻Ｓを記憶
する（ステツプ64）。そしてレリーズ要求後としてEval T（i,j）を求める（ステツプ61）。そし
て、その後Max（Eval N（i,j）、Eval T（i,j）を算出
し（ステツプ62）、この値が最大となる（i,j）を求
め、この（i,j）を注視点とする（ステツプ63）。

〔発明の効果〕

以上、説明したように、本発明は、前記使用者の視線
情報を時系列的に複数検出する視線検出手段と、前記視
線検出手段にて検出された使用者の複数の視線情報か
ら、分割された画面内の各エリア毎に前記視線の経時的
な変化を表す複数種の視線情報を形成し、前記複数種の
視線情報を用いて使用者の注視点を含むエリアを抽出す
る抽出手段とを有することにより、使用者の意図する注
視点が含まれるエリアを正確に抽出することが可能とな
る。

【図面の簡単な説明】

第１図は本発明のブロツク図、第２図は本発明の動作を示すフローチヤート、第３図は画面分割の一例を示す図、第４図は相関係数の一例を示す図、第５図は視線検知装置の配置図、第６図は本発明第２実施例の回路ブロツク図、第７図は本発明第３実施例の回路ブロツク図、第８図は従来例の説明図、第９図はフアジイー集合で表わされた関数を示す図、第10図は第４実施例のフローチヤートである。１はマイクロ・プロセツシング・ユニツト（M.P.U）、
２はメモリー、３はインターフエイス回路、４はイメー
ジセンサー及びその駆動回路、５は発光制御回路、６は
位置センサ、７は赤外発光ダイオード、８は測光セン
サ、９は積分時間制御回路、10はズーム情報検知手段、
11はパンニング情報検知手段である。

Claims

(57)【特許請求の範囲】

【請求項１】画面を見ている使用者の視線を検出する視
線検出装置において、前記使用者の視線情報を時系列的に複数検出する視線検
出手段と、前記視線検出手段にて検出された使用者の複数の視線情
報から、分割された画面内の各エリア毎に前記視線の経
時的な変化を表す複数種の視線情報を形成し、前記複数
種の視線情報を用いて使用者の注視点を含むエリアを抽
出する抽出手段とを有することを特徴とする視線検出装
置。
【請求項２】前記複数種の視線情報のひとつとして、前
記各エリアにおける視線の存在する頻度の情報を用いた
ことを特徴とする請求項（１）に記載の視線検出装置。
【請求項３】前記複数種の視線情報のひとつとして、前
記各エリアにおける視線の停留時間の情報を用いたこと
を特徴とする請求項（１）または（２）に記載の視線検
出装置。
【請求項４】前記複数種の視線情報のひとつとして、前
記各エリアにおける視線の軌跡の情報を用いたことを特
徴とする請求項（１）ないし（３）の何れかに記載の視
線検出装置。
【請求項５】前記抽出手段は、前記各エリア毎の複数種
の視線情報を所定時間間隔で求めて、メモリーに記憶す
ることを特徴とする請求項（１）ないし（４）の何れか
に記載の視線検出装置。
【請求項６】画面を見ている使用者の視線を検出する視
線検出装置を有する機器において、前記使用者の視線情報を時系列的に複数検出する視線検
出手段と、前記視線検出手段にて検出された使用者の複数の視線情
報から、分割された画面内の各エリア毎に前記視線の経
時的な変化を表す複数種の視線情報を形成し、前記複数
種の視線情報を用いて使用者の注視点を含むエリアを抽
出する抽出手段とを有することを特徴とする視線検出装
置を有する機器。
【請求項７】前記複数種の視線情報のひとつとして、前
記各エリアにおける視線の存在する頻度の情報を用いた
ことを特徴とする請求項（６）に記載の視線検出装置を
有する機器。
【請求項８】前記複数種の視線情報のひとつとして、前
記各エリアにおける視線の停留時間の情報を用いたこと
を特徴とする請求項（６）または（７）に記載の視線検
出装置を有する機器。
【請求項９】前記複数種の視線情報のひとつとして、前
記各エリアにおける視線の軌跡の情報を用いたことを特
徴とする請求項（６）ないし（８）の何れかに記載の視
線検出装置を有する機器。
【請求項１０】前記抽出手段は、前記各エリア毎の複数
種の視線情報を所定時間間隔で求めて、メモリーに記憶
することを特徴とする請求項（６）ないし（９）の何れ
かに記載の視線検出装置を有する機器。
【請求項１１】前記視線検出装置を有する機器はカメラ
であって、ズーミングまたはパンニングを検出する手段
を有し、前記手段によりズーミングまたはパンニングを
検出した場合、前記抽出手段は前記メモリーに記憶した
複数種の視線情報をクリアすることを特徴とする請求項
（10）に記載の視線検出装置を有する機器。
【請求項１２】前記視線検出装置を有する機器はカメラ
であって、前記抽出手段は、レリーズ直前の視線情報を
重視して前記複数種の視線情報を形成することを特徴と
する請求項（６）ないし（11）の何れかに記載の視線検
出装置を有する機器。