JPH08322796A

JPH08322796A - 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置

Info

Publication number: JPH08322796A
Application number: JP7130474A
Authority: JP
Inventors: Michiaki Mukai; 理朗向井; Junji Mitani; 純司三谷
Original assignee: GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Sharp Corp
Current assignee: GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Sharp Corp
Priority date: 1995-05-29
Filing date: 1995-05-29
Publication date: 1996-12-10
Anticipated expiration: 2017-04-08
Also published as: JP3272906B2

Abstract

(57)【要約】【目的】頭部に装置を装着することなく人間の視線方
向を検出することが可能となる視線方向検出手段および
これを用いた画面制御装置、マルチモーダル対話装置を
提供することを目的とする。【構成】画像入力部２から画像を入力し、画像処理部
３においてその画像のエッジを抽出し、濃淡化等の処理
を行う。獲得されたエッジ画像から顔における目の位置
を推定し、濃淡画像から目における黒目の位置情報を獲
得する。視線方向判定部４において、水平方向、垂直方
向それぞれの位置情報と標準パターンとを比較すること
により視線の方向を検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は視線方向を検出する視線
方向検出方法及び装置及びそれを含むマンマシンインタ
ーフェース装置に関する。

【０００２】

【従来の技術】従来から、人間の視線方向を検出しよう
とする試みは行なわれていた。その目的の一つは、人間
の無意識の視線の動きを客観的に調査研究しようとする
ものである。

【０００３】このような試みは研究レベルで行なわれて
おり、実用化されているが、工業製品、例えばコンピュ
ータ入力装置として、実用化されているものは少ない。
人間の自然な状態の情報を得るためには視線検出用光源
を持つゴーグルなどを頭部に装着することはあまり望ま
しくない。

【０００４】例えば、図１７は従来の視線方向検出装置
の構成を示す。図１７において、７１は眼球で、この眼
球はいわゆる黒目である角膜７２を有し、この眼球を有
する図示しない頭部に、同じく図示しないゴーグルをか
け、このゴーグルにより視線検出部７８を、眼球の前方
下部に位置固定させている。この視線検出部７８の、眼
球との対向面の上部には水平方向検出用光源としての赤
外発光ダイオード７４およびこの赤外発光ダイオード両
側には位置された水平方向検出用センサとしてフォトダ
イオード７３、７５とこれらフォトダイオードの下部に
設けられた垂直方向検出光源としての赤外発光ダイオー
ド７６および垂直方向検出用センサとしてのフォトダイ
オード７７とが設けられている。この視線検出部７８の
検出原理は眼球７２からの反射光量の変化を３つのフォ
トダイオード７３、７５、７７でとらえ、これらフォト
ダイオードの検出データをマイクロコンピュータ７９に
与え、このマイクロコンピュータにより比較演算処理を
行なって視線位置を検出し、これを画像出力装置８０に
出力するものである。そして３つのフォトダイオード７
３、７５、７７への入射光量は、角膜の位置によりそれ
ぞれ変化するので、あらかじめ数箇所の視線位置に対し
て非線形処理による校正を行なっておけば、視線方向を
検出することができる。

【０００５】さらに、図１８は別の従来例を示す。赤外
発光ダイオード等の検出用光源８２から眼球７１に対し
て光を照射し、眼球の角膜面７２による光の反射方向を
ＣＣＤアレイ８６によって検出し、ＣＣＤドライバおよ
び処理部８７により視線方向としてとらえるものであ
る。ここで、８３及び８５はレンズ、８４はハーフミラ
ーを示す。

【０００６】これら従来の視線方向検出装置は、いずれ
も専用の光源が必要であり、光源および反射光をとらえ
るゴーグル状の装置を装着する必要がある。しかし、こ
のような装置を装着することは、例えばコンピュータ入
力装置といて用いる場合、オペレータに違和感を持たせ
ることとなる。

【０００７】

【発明が解決しようとする課題】このように、従来の視
線方向検出装置は、人間の頭部に視線検出用の赤外線光
源等を有するゴーグル型の装置を装着しなければなら
ず、使用者に違和感を持たせるという問題点があった。

【０００８】また、視線方向を利用した画面制御装置、
視線方向を入力モードのひとつとする対話装置はその例
がなかった。

【０００９】本発明は、頭部に装置を装着することなく
人間の視線方向を検出することが可能となる視線方向検
出手段およびこれを用いた画面制御装置、マルチモーダ
ル対話装置等のマンマシンインターフェース装置を提供
することを目的とする。

【００１０】

【課題を解決するための手段】請求項１に記載の発明の
方法は、顔の部分の画像から目の部分の画像を切り出す
ステップと、目の位置情報を表す特徴量を抽出するステ
ップと、前記特徴量と標準パターンとの比較を行うステ
ップと、前記比較の結果に基づいて視線方向を出力する
ステップとを含むことを特徴とする。

【００１１】請求項２に記載の発明の装置は、顔の部分
の画像を取り込む画像入力手段と、取り込んだ顔の部分
の画像から目の部分の画像を切り出す目部分切りだし手
段と、目の位置情報を表す特徴量を抽出する特徴量抽出
手段と、前記特徴量と標準パターンとの比較を行うマッ
チング手段と、前記比較の結果に基づいて視線方向を出
力する視線方向出力手段とを含むことを特徴とする。

【００１２】請求項３に記載の発明の装置は、視線方向
検出装置の検出した視線の方向に基づいて画面の制御を
行うことを特徴とする。

【００１３】請求項４に記載の発明の装置は、視線方向
検出装置によって検出された使用者の視線方向が、表示
装置の表示画面にない場合に、使用者によって入力され
た文字を音声出力装置に出力し、入力された文字を使用
者が音声で確認できるようにすることを特徴とする。

【００１４】請求項５に記載の発明の装置は、視線方向
検出装置によって検出された視線の方向と前記顔方向検
出装置によって検出された顔の方向とから、使用者の状
態を把握することを特徴とする。

【００１５】請求項６に記載の発明の装置は、視線方向
検出装置によって検出された視線の方向と前記顔方向検
出装置によって検出された顔の方向とから、対話時にお
ける使用者の状態を理解することを特徴とする。

【００１６】

【作用】請求項１に記載の発明の方法においては、目の
部分の画像から目の位置情報を表す特徴量を抽出して、
特徴量と標準パターンとの比較を行い、比較の結果に基
づいて視線方向を出力するように構成されている。した
がって、頭部に装置を装着することなく人間の視線方向
を検出することが可能となる。

【００１７】請求項２に記載の発明の装置においては、
目部分切りだし手段によって目の部分の画像を切り出
し、特徴量抽出手段によって目の位置情報を表す特徴量
を抽出し、マッチング手段によって特徴量と目の位置の
標準パターンとの比較を行い、視線方向出力手段によっ
て比較の結果に基づいて視線方向を出力する。したがっ
て、頭部に装置を装着することなく人間の視線方向を検
出する装置が実現される。

【００１８】請求項３に記載の画面制御装置において
は、視線の位置を有効に活用して、画面の制御を行い、
作業効率をあげることができる。

【００１９】請求項４に記載の文書処理装置において
は、使用者が画面を見ずに入力している場合には、音声
出力装置を用いて入力文字を音声出力することにより画
面の確認を不要とするため、入力が容易となり、誤入力
を減少させることができる。

【００２０】請求項５に記載の視線一致検出装置におい
ては、視線方向検出装置によって検出された視線の方向
と前記顔方向検出装置によって検出された顔の方向とか
ら、使用者の状態を把握することができ、マンマシンの
対話をスムーズに進行させることが可能となる。

【００２１】請求項６に記載のマルチモーダル対話装置
においては、視線があっているかどうかの判定や何を見
ているかという使用者の状態を総合的に把握することが
可能となる。

【００２２】

【実施例】以下、本発明の視線方向検出装置及び方法の
一実施例を図面を参照しながら説明する。

【００２３】図１は、本発明の視線方向検出装置の構成
の概要を示す図である。図２は、本発明のより詳細な構
成を示す図である。図２において、視線方向検出装置
は、画像入力手段１８、エッジ抽出手段１９、目部分切
り出し手段２０、ノイズ除去手段２１、濃淡化手段２
２、特徴量抽出手段２３、マッチング手段２４及び方向
出力手段２５から構成される。これらの内、エッジ抽出
手段１９、目部分切り出し手段２０、ノイズ除去手段２
１、濃淡化手段２２及び特徴量抽出手段２３は、図１の
画像処理部３に含まれる。また、マッチング手段２４及
び方向出力手段２５は、図１の視線方向判定部４に含ま
れる。

【００２４】図３は、本発明の視線方向検出方法を示す
フローチャートである。図３において画像入力手段１８
で入力された画像（Ｓ１）に対し、目の位置を推定する
ためエッジ抽出手段１９によりエッジ部分を強調したエ
ッジ画像を生成する（Ｓ２）。ここで、エッジ画像の生
成方法について図４に基づいて説明する。図４におい
て、まず、目の高さを推定するため、エッジ画像２６の
水平成分を加えることにより垂直方向の分布図２７を生
成する（Ｓ３）。エッジが目、はな、口の部分に集中す
る特徴から目の上下の高さを推定する（Ｓ４）。目の高
さ付近において垂直成分を加算することにより、目の水
平方向の分布図２８を生成する（Ｓ５）。目らしき部分
が多数ある場合、目の上下の幅と長さの比から２つの目
の位置を推定する（Ｓ６）。

【００２５】また、図３に戻って、画像入力手段１８で
入力された画像を濃淡化することにより得た濃淡画像と
前述の位置情報から目のいわゆる黒目がどこにあるかを
推定する（Ｓ７、Ｓ８）。その際、まぶたの影や濃淡化
によるノイズが発生することがあるので、まず、黒目検
出に関係のある顔の部分の肌の色の部分を削除する（Ｓ
７）。その後、濃淡化手段２２により黒目の特徴量を獲
得するため濃淡画像を生成する（Ｓ８）。

【００２６】つぎに、特徴量抽出手段２３において目部
分切り出し手段２０による位置情報と濃淡化手段２２に
よる濃淡画像から目における黒目の位置を水平方向、垂
直方向それぞれについて特徴抽出する（Ｓ９）。

【００２７】図５は、切り出された濃淡画像の目の部分
２９の黒目に対応する水平方向、垂直方向それぞれの濃
度分布３０、３１及びあらかじめ用意されているそれぞ
れの標準パターン分布３２、３３を示す。濃度分布３
０、３１は、黒目が目全体のどの位置にあるかという水
平方向、垂直方向それぞれの濃度分布を表し、前述の位
置情報及び濃淡画像から作成される。前述の濃度分布３
０、３１と前述の水平方向標準パターン３２、垂直方向
標準パターン３３とをマッチング手段１４において比較
し（Ｓ１０、Ｓ１１）、類似度を算出する（Ｓ１２）。
類似度がもっとも高いものを視線の方向として出力する
（Ｓ１３）。

【００２８】つぎに、本発明の第２の実施例について説
明する。

【００２９】図６は、視線方向検出装置を有する画面制
御装置の実施例を示す。表示用画面３５の上部に視線検
出用カメラ３４をもち、視線方向検出装置３６により視
線方向を検出する。検出された視線の方向により画面制
御装置３８によって画面３５を制御する。例えば、図７
に示すように、使用者が画面上の任意の場所を見ること
により、その部分３９を拡大した表示４０を行なうこと
ができる。また、図８に示すように、使用者が上下左右
の任意の部分を見ることにより、その部分３９が画面の
中央にくるよう画面を移動させ、常に画面の中央に対象
物がくるよう制御する。これらの機能は切替えスイッチ
部３７により切替えることができる。切替えスイッ部３
７は例えば片目だけ目を閉じる、あるいはスイッチのオ
ンオフにより切替えることができる。

【００３０】つぎに、本発明の第３の実施例について説
明する。

【００３１】図９は、視線方向検出装置を有する文書処
理装置の構成の実施例を示す。図１０は、視線方向検出
装置を有する文書処理装置の処理のフローチャートを示
す。使用者が原稿を見ながら入力する場合（Ｓ２１）、
タイプミスをすることが多く発生する。そこで、視線方
向検出装置によって視線方向を検出し（Ｓ２２）、使用
者が原稿を見ている場合、すなわち、視線が表示装置４
３を向いていない場合に、入力している文字を読み上げ
るための音声出力装置４４をつうじて音声を出力するこ
とができる。したがって、文字入力部４０から入力して
いる文字を視覚で確認することなく音声で確認できるた
め、処理を効率的に行うことができる。例えば、視線方
向認識装置４１により「視線がモニター部（表示装置）
にない。」と判定された場合（Ｓ２３）、入力された文
字を音声出力する（Ｓ２４）。「視線がモニター部に戻
った。」と判定されると（Ｓ２３）、音声出力を中断
し、例えば一定時間カーソルを別の色で点滅させてカー
ソル位置を見つけやすく表示する（Ｓ２５）。これによ
りモニター部を見ることなく入力されたものを確認する
ことが可能となる。

【００３２】つぎに、第４の実施例について説明する。

【００３３】図１１は、視線方向検出装置５０と顔方向
検出装置５１を有する視線一致検出装置５２の構成を示
す図である。図１２は、顔方向検出装置５１の構成を示
す図である。顔方向検出装置は、画像入力手段５３とエ
ッジ抽出手段５４ａと顔部分切りだし手段５４ｂと特徴
量抽出手段５５とマッチング手段５６ａと方向出力手段
５６ｂとから構成される。顔方向検出装置では顔付近の
画像をもとに、エッジ抽出手段５４ａによってエッジ情
報を抽出し、顔部分切りだし手段５４ｂによって顔部分
を切り出す。特徴量抽出手段５５において前述のエッジ
情報を標準化し、マッチング手段５６ａにおいて標準パ
ターンとの類似度を算出し、類似度のもっとも高いもの
を顔方向出力手段によって顔方向として出力する。前述
の視線方向検出装置及び顔方向検出装置の出力により
「視線の一致」やいわゆる「目の泳ぎ」（考え中）を例
えば図１３に示される対応表により出力する。

【００３４】つぎに、第５の実施例について説明する。

【００３５】上記視線方向判定方法を用いた視線方向判
定装置、顔方向認識装置、音声認識装置を有するマルチ
モーダル対話装置について図面を参照して説明する。こ
こでいうマルチモーダル対話装置とは、従来の単入力に
よる対話装置に対して音声、顔の向き、視線の方向、う
なずきといった多元的な情報を入力とする対話装置であ
る。

【００３６】図１４は、コンピュータとの対話装置にお
いて自然な顔の向き、視線の動きからオペレータの情報
を得るためのマルチモーダル対話装置を示す。図１４に
示すように、マルチモーダル対話装置は、前述の視線方
向検出装置５０と顔方向検出装置５１、音声認識装置５
９、マルチモーダル対話制御装置６０、画像出力装置６
１及び音声出力装置６２から構成される。

【００３７】図１５は、音声入力手段６３、音声解析手
段６４とキーワード抽出手段６５を有する音声認識装置
５９の構成を示す図である。対話における発話を音声入
力手段６３により取り込み、音声解析手段６４によって
発話内容を解析する。解析された発話内容よりキーワー
ド抽出手段６５においてキーワードを抽出する。

【００３８】図１４に戻って、視線方向検出装置５０で
はスクリーンに対してどの方向を見ているかという視線
の方向を検出し、顔方向検出装置５１ではスクリーンに
対する顔の向きを検出する。これらの検出結果を基に対
話の際に、例えば図１３に示すように、顔の向きが正面
を向き、視線の向きが正面を向いているなら視線が一致
していると判断し対話を継続する。顔は正面を向いてい
るが、視線が外れている時には「考え中」であると判断
し、対話制御装置６０において対話の進行を止める。顔
の向き視線とも外れている時には顔の向き、視線が正面
を向くまで対話を中断する。

【００３９】図１６は、発話（それ）の指示オブジェク
トを推定する方法のフローチャートを示す。音声認識装
置５９において例えば「それ」という発話を検出した場
合（Ｓ３１）、その検出時刻における顔の向き、視線の
方向を顔方向検出装置５１、視線方向検出装置５０によ
って検出し（Ｓ３３、Ｓ３４）、これを総合的に判断す
ることにより、指定オブジェクトジェクトを推定する
（Ｓ３５）、すなわち、使用者が何を指して「それ」と
発話したかを理解することができる。

【００４０】

【発明の効果】請求項１に記載の発明の方法によれば、
頭部に装置を装着することなく人間の視線方向を検出す
ることが可能となる。

【００４１】請求項２に記載の発明の装置によれば、頭
部に装置を装着することなく人間の視線方向を検出する
装置が実現される。

【００４２】請求項３に記載の画面制御装置によれば、
視線の位置を有効に活用して、切替えスイッチにより視
線部分を拡大表示する機能と視線部分をスクロールさせ
視線部分が中央に位置する機能とを使い分けることがで
きる。したがって、編集作業を容易に行うことができ、
作業効率をあげることができる。

【００４３】請求項４に記載の文書処理装置によれば、
画面を見ずに入力している場合には音声出力装置を用い
て入力文字を音声出力することにより画面の確認を不要
とするため入力が容易となり、誤入力を減少させること
ができる。したがって、編集作業を容易に行うことがで
きる。

【００４４】請求項５に記載の視線一致検出装置によれ
ば、視線方向検出装置によって検出された視線の方向と
前記顔方向検出装置によって検出された顔の方向とか
ら、使用者の状態を把握することができ、マンマシンの
対話をスムーズに進行させることが可能となる。

【００４５】請求項６に記載のマルチモーダル対話装置
によれば、視線があっているかどうかの判定や何を見て
いるかという使用者の状態を総合的に把握することが可
能となる。したがって、使用者の顔の動きや目の動きを
理解して、コンピュータと使用者との自然な対話を実現
することができる。

【図面の簡単な説明】

【図１】本発明の視線方向検出装置の構成の概要を示す
図である。

【図２】本発明の視線方向検出装置の構成の詳細を示す
図である。

【図３】本発明の視線方向検出方法を示すフローチャー
トである。

【図４】目部分を切り出すための画像処理を示す図であ
る。

【図５】抽出された特徴量と標準パターンとを示す図で
ある。

【図６】視線入力による画面（スクリーン）制御装置を
示す図である。

【図７】画面制御装置のズーミング機能の例を示す図で
ある。

【図８】画面制御装置のスクロール機能を示す図であ
る。

【図９】視線方向判定装置を有する文書処理装置の構成
を示す図である。

【図１０】音声出力機能を持つ文書処理装置の処理のフ
ローを示す図である。

【図１１】視線一致検出装置の構成を示す図である。

【図１２】顔方向判定部の構成を示す図である。

【図１３】視線の向きと顔の向きを統合した場合の装置
の判断の一例を示す図である。

【図１４】本発明のマルチモーダル対話装置の構成を示
す図である。

【図１５】音声入力部の構成を示す図である。

【図１６】発話タイミングによる指示物の推定フローチ
ャートである。

【図１７】従来例の視線方向検出装置の構成を示す図で
ある。

【図１８】別の従来例の視線方向検出装置の動作原理を
示す図である。

【符号の説明】

１撮像装置２画像入力部３画像処理部４視線方向判定部１８画像入力手段１９エッジ抽出手段２０目部切り出し手段２１ノイズ除去手段２２濃淡化手段２３特徴量抽出手段２４マッチング手段２５方向出力手段

Claims

【特許請求の範囲】

【請求項１】視線がどの方向を向いているかを検出す
る視線方向検出手法であって、顔の部分の画像から目の
部分の画像を切り出すステップと、目の位置情報を表す
特徴量を抽出するステップと、前記特徴量と標準パター
ンとの比較を行うステップと、前記比較の結果に基づい
て視線方向を出力するステップとを含む視線方向検出方
法。
【請求項２】視線がどの方向を向いているかを検出す
る視線方向検装置であって、顔の部分の画像を取り込む
画像入力手段と、取り込んだ顔の部分の画像から目の部
分の画像を切り出す目部分切りだし手段と、目の位置情
報を表す特徴量を抽出する特徴量抽出手段と、前記特徴
量と標準パターンとの比較を行うマッチング手段と、前
記比較の結果に基づいて視線方向を出力する視線方向出
力手段とを含む視線方向検出装置。
【請求項３】請求項２に記載の視線方向検出装置を備
えた画像制御装置であって、前記視線方向検出装置の検
出した視線の方向に基づいて画面の制御を行う画面制御
装置。
【請求項４】請求項２に記載の視線方向検出装置と文
字入力装置と表示装置と音声出力装置とを備えた文書処
理装置であって、前記視線方向検出装置によって検出さ
れた使用者の視線方向が、前記表示装置の表示画面にな
い場合に、使用者によって入力された文字を前記音声出
力装置に出力し、入力された文字を使用者が音声で確認
できるようにすることを特徴とする文書処理装置。
【請求項５】請求項２に記載の視線方向検出装置と顔
の向きを判定する顔方向検出装置とを備えた視線一致検
出装置であって、前記視線方向検出装置によって検出さ
れた視線の方向と前記顔方向検出装置によって検出され
た顔の方向とから、使用者の状態を把握することを特徴
とする視線一致検出装置。
【請求項６】請求項２に記載の視線方向検出装置と顔
の向きを判定する顔方向検出装置とを備えたマルチモー
ダル対話装置であって、前記視線方向検出装置によって
検出された視線の方向と前記顔方向検出装置によって検
出された顔の方向とから、対話時における使用者の状態
を理解することを特徴とするマルチモーダル対話装置。