JP4582137B2

JP4582137B2 - 眠気度判定装置

Info

Publication number: JP4582137B2
Application number: JP2007265764A
Authority: JP
Inventors: 史也永井; 拓寛大見
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-10-11
Filing date: 2007-10-11
Publication date: 2010-11-17
Anticipated expiration: 2027-10-11
Also published as: US20090097701A1; JP2009090028A; US8094883B2

Description

本発明は、車両のドライバなどの眠気度を判定する眠気度判定装置に関する。

従来、運転中のドライバの居眠りを未然に防止し、低覚醒状態から眠気度を推定する技術が提案されている。例えば、眠気度の検出にドライバの目（まばたきやまぶた）の動きを検出し、その検出時の動きの状態と運転初期などの覚醒時における動きの状態とを比較して眠気度を推定する。

眠気度の推定では、個人差や誤検出によって推定値が真値からずれてしまう場合がある。そこで、例えば、特許文献１に記載の覚醒度情報提示装置では、画像処理の検出信頼度を覚醒度判定の信頼度として求め、この信頼度を覚醒度と共にドライバに提供することで、ドライバは、正確でない覚醒度が表示されたとしても、その覚醒度が正確でないことを知ることができる、としている。
特開２００６−１７４９６０号公報

しかしながら、上記特許文献１に記載の覚醒度情報提示装置では、画像からドライバの目を検出するのに要した時間を反映した検出時間比を求めることによって信頼度を判定するため、画像処理装置の性能や外乱光の影響など、覚醒度判定以外の要素に左右されてしまう。従って、覚醒度推定の信頼度を正確に示していない問題がある。

本発明は、上記の問題を鑑みてなされたもので、その目的は、正確な眠気度判定の信頼度を示すことができる眠気度判定装置を提供することにある。

上記目的を達成するため、請求項１に記載の眠気度判定装置は、
所定の撮像時間間隔でドライバの顔が映し出された顔画像に所定の画像処理を施して、顔画像における目の画像を検出する検出手段と、
検出手段の検出した目の画像から、１回のまばたきにおける、まばたきの開始から終了までのまばたき区間、閉眼持続時間、閉速度、開速度を含む複数の異なる目に関する特徴量を算出する特徴量算出手段と、
特徴量算出手段の算出した複数の異なる目に関する特徴量を説明変数とする所定の推定関数に基づいて、複数の眠気度のレベルのなかから該当する眠気度を判定する眠気度判定手段と、
眠気度判定手段が眠気度を判定したとき、眠気度のレベル毎に、複数の異なる目に関する特徴量の各々の分布を求めるとともに、それら分布毎に、各分布を代表する代表特徴量を決定する代表特徴量決定手段と、
眠気度判定手段の判定した眠気度に対して代表特徴量決定手段が決定した個々の代表特徴量に対する、眠気度を判定したときの個々の目に関する特徴量の近さから、眠気度判定手段の判定した眠気度の信頼度を算出する信頼度算出手段と、を備えることを特徴とする。

このように、目に関する特徴量に基づいて眠気度を判定する際、その目に関する特徴量の統計値から、眠気度の信頼度を算出する。こうすることで、眠気度の判定そのものに対する信頼度が算出されることになり、正確な眠気度判定の信頼度とすることができる。

また、複数の異なる目に関する特徴量から眠気度を判定するのは、ロバスト性の高い眠気度の判定をするためには、複数の異なる目に関する特徴量（例えば、目の開閉度、瞬き回数など。）を用いて眠気度を判定することが望ましいからである。

また、各特徴量の分布を代表する代表特徴量（例えば、分布の中心的な特徴量。平均値や中央値など。）に対する、眠気度を判定したときの個々の目に関する特徴量の近さ（尤もらしさ）から眠気度の信頼度が算出されるため、その算出された信頼度は、眠気度の信頼度を忠実に表したものとなる。

また、請求項２に記載の眠気度判定装置では、
眠気度判定手段が眠気度を判定するときの複数の異なる目に関する特徴量ごとの寄与率を算出する寄与率算出手段を備え、
信頼度算出手段は、眠気度を判定したときの個々の目に関する特徴量の寄与率から、眠気度の信頼度を算出する。

このように、眠気度を判定したときの個々の目に関する特徴量の寄与率（眠気度を重回帰式から推定する場合における重回帰式の信頼性の目安）から眠気度の信頼度を算出することで、その算出された信頼度は、眠気度の信頼度を忠実に表したものとなる。

請求項３に記載の眠気度判定装置は、
複数の異なる目に関する特徴量のうち、個々の代表特徴量に対する眠気度を判定したときの個々の目に関する特徴量の近さが、高い信頼度の目安となる近さの閾値に満たないものを特定する低信頼度特徴量特定手段を備え、
眠気度判定手段は、低信頼度特徴量特定手段の特定した目に関する特徴量を、その判定対象から除外して最終的な眠気度を判定することを特徴とする。

このように、信頼度の低い目に関する特徴量を、眠気度の判定対象から除外することで、より正確な眠気度とすることが可能となる。

請求項４に記載の眠気度判定装置では、
眠気度判定手段は、複数の異なる目に関する特徴量毎に眠気度を判定し、
複数の異なる目に関する特徴量のうち、眠気度判定手段の判定した個々の目に関する特徴量から判定した眠気度のなかで一致しないものを特定する不一致特徴量特定手段を備え、
眠気度判定手段は、不一致特徴量特定手段の特定した目に関する特徴量を、その判定対象から除外して最終的な眠気度を判定し、
信頼度算出手段は、不一致特徴量特定手段の特定した目に関する特徴量を、その算出対象から除外して最終的な眠気度の信頼度を算出することを特徴とする。

このように、個々の目に関する特徴量から判定した眠気度のなかで一致しないものを、眠気度の判定対象や信頼度の算出対象から除外することで、より正確な眠気度とその信頼度とすることか可能となる。

請求項５に記載の眠気度判定装置では、
検出手段による目の画像の検出率を算出する検出率算出手段を備え、
信頼度算出手段は、検出率算出手段の算出した検出率を加味して、眠気度の信頼度を算出することを特徴とする。

これにより、目の画像の検出率を加味した眠気度の信頼度を算出するようになるため、眠気度の信頼度は、より正確なものとなる。

以下、本発明の実施形態について図面を用いて説明する。本実施形態では、車両のドライバの眠気度を判定する眠気度判定装置について説明する。図１は、眠気度判定装置の全体構成を示すブロック図である。図１に示すように、眠気度判定装置は、カメラ１０、制御回路部２０、警報発生部３０、投光制御回路４０、投光器５０によって構成される。

カメラ１０は、図２に示すように、車両のドライバの顔画像を撮像するために用いられ、車室内のインストルメントパネル付近に配置される。このカメラ１０は、高速撮像が可能なイメージャを採用しており、１フレームあたり約３００マイクロ秒の撮像時間で、約３０マイクロ秒毎の撮像時間間隔での撮像が可能となっている。

制御回路部２０は、カメラ１０で撮像した顔画像の画像情報を画像メモリ（図示せず）に記憶し、この画像メモリに記憶した画像情報を読み出して、顔画像における目の画像を検出するための画像処理や、検出した目の画像から目に関する特徴量を算出する処理などを実行する。また、投光制御回路４０による照射状態の調整に同期して、カメラ１０の撮像タイミングを制御するほか、カメラ１０の露光時間や出力ゲインなどの調整についても行う。

さらに、制御回路部２０では、目に関する特徴量に基づいてドライバの眠気度を判定（推定）するとともに、この目に関する特徴量の統計値から、眠気度の信頼度を算出する。そして、眠気度に応じた警報をドライバに対して実施するかどうかを、眠気度の信頼度を加味して判定する。

警報発生部３０は、アンプ及び車室内の適宜の位置に配置されたスピーカーから構成され、制御回路部２０からの入力信号に従って、警報音や警告メッセージの音声を発生する。

投光制御回路４０は、図２、図３に示すように、カメラ１０と並列に配置された投光器５０の点灯・消灯や点灯時における光量（光の強さ）を調整するものである。投光制御回路４０は、カメラ１０の撮像タイミングと同期して、ドライバの顔に照射される光の照射状態を調整する。

図３に示すように、投光器５０は、複数の光源（中心波長が８５０〜９５０ｎｍ程度である近赤外光、あるいは赤外光を照射できるもの）を備えており、その複数の光源は、ドライバの顔の縦方向に並んで配置され、ドライバの顔に光源からの光を照射する。

次に、眠気度判定装置の動作について説明する。図４は、制御回路部２０の機能構成を示したものである。先ず、画像取得部２０１は、カメラ１０の撮像した顔画像の画像情報を取得する。画像処理部２０２では、取得した画像情報から顔画像のおける目の画像を検出する画像処理を実行する。目の動き検出部２０３では、画像処理部２０２にて検出した目の画像から、まぶたの高さ（目の開閉度）や視線を検出する。なお、視線については、フロントガラス（車両前方）、ルームミラー、サイドミラーなど、ドライバが目を向けている車両の部位を検出する。

画像処理の検出エラー演算部２０４では、ドライバの挙動や環境光などの影響を受けたことにより目の動き検出部２０３が検出できなくなったフレームに対してフラグを立てる。このフラグを参照することで、目の動き検出部２０３が検出できたフレームであるのか、検出できなかったフレームであるのかの判断が可能となる。

目の特徴量算出部２０５は、例えば、図５に示すように、１回のまばたきにおける個々の特徴量（まばたき開始から終了までの時間c1、閉眼持続時間c2、閉速度c3、開速度c4）のほか、視線位置、単位時間あたりのまばたき回数、単位時間あたりの開閉度の平均値、視線停留時間など、目に関する各種の特徴量c1〜cn（n=1,2,・・・,i）を算出する。なお、フラグの立てられたフレームからは、このような目に関する特徴量を算出することができないため、その前後のフレームから算出した目に関する特徴量から補間して求めることとする。

目の特徴量の信頼度算出部２０６では、各まばたき区間の検出率を算出する。具体的には、図５において、まばたき開始から終了までの時間c1をまばたき区間とした場合、その区間内におけるフラグの立てられていないフレームが占める割合を検出率E（0〜1）とする。

眠気度判定部２０７は、各特徴量c1〜cnを説明変数とする重回帰式（＝推定関数）fにより眠気度Dを判定（推定）する。この推定関数fは数式１のように示される。

眠気度D=f（特徴量c1、特徴量c2、・・・、特徴量cn）（数式１）
この推定関数fは、図７に示す眠気度D（=1,2,3,4,5）に対応するドライバの行動特徴がみられるときの各特徴量c1〜cnを実験などによって求めることで得られる。なお、図７に示すように、眠気度が高いほどドライバの状態は眠い傾向にある。このように、複数の異なる目に関する特徴量から眠気度Ｄを判定することで、ロバスト性の高い眠気度の判定をすることができる。

眠気度の信頼度算出部２０８は、眠気度判定部２０７が眠気度Dを判定したとき、その眠気度Dのレベル毎に、各特徴量c1〜cnの度数分布を求めるとともに、その各分布の代表する代表特徴量x1〜xn（分布の中心的な特徴量。平均値や中央値など。）を決定する。

そして、眠気度の信頼度算出部２０８は、眠気度判定部２０７が判定した眠気度Dに対して決定した代表特徴量x1〜xnに対する、眠気度Dを判定したときの各特徴量c1〜cnの近さから、眠気度Dの信頼度Rを算出する。

すなわち、図６に示すように、例えば、眠気度D=f（特徴量c1、特徴量c2、・・・、特徴量cn）=3の場合、眠気度D=3における各特徴量c1〜cnの度数分布の代表特徴量x1〜xnに対する該当区間の各特徴量c1〜cnの近さを算出する。そして、信頼度Rは、検出率Eを加味した数式２から算出される。この数式２におけるk1、k2、・・・、knは、眠気度Dを判定するときの各特徴量c1〜cnの寄与率（眠気度Dを重回帰式から推定する場合における重回帰式の信頼性の目安）に比例して設定されるものである。

信頼度R＝｛［k1×(特徴量c1の分布の代表特徴量x1からの近さ)＋k2×(特徴量c2の分布の代表特徴量x2からの近さ)＋・・・＋kn×(特徴量cnの分布の代表特徴量xnからの近さ)］｝×検出率E （数式２）
なお、各特徴量c1〜cnの分布の代表特徴量からの近さは、例えば、分散σを用いて表すことができる。例えば、各特徴量c1〜cnの分布が正規分布に従う場合には、その特徴量が±１σ以内であれば、その近さ（重み）を”１”とし、特徴量が±２σ以内であれば、その近さ（重み）を”１／２”とし、特徴量が±３σ以内であれば、その近さ（重み）を”１／３”とし、特徴量が±３σを超える場合には、その近さ（重み）を”０”とする。

このように、各特徴量c1〜cnの分布を代表する代表特徴量x1〜xnに対する、眠気度Dを判定したときの個々の特徴量c1〜cnの近さ（尤もらしさ）から眠気度Dの信頼度Rを算出されるため、その算出された信頼度Rは、眠気度Dの信頼度を忠実に表したものとなる。

信頼度の閾値判定部２０９では、各特徴量c1〜cnのうち、高い信頼度の目安となる近さの閾値（例えば、±１σ）以内に含まれない、低信頼度の特徴量を判定（特定）する。そして、各特徴量c1〜cnに信頼度の低いものが含まれる（閾値未満の特徴量がある）場合には、低信頼度除去眠気度判定部２１１にて、低信頼度の特徴量を除いた推定関数fによって、最終的な眠気度D'を算出する。例えば、低信頼度の特徴量が１つである場合、このときの推定関数fは数式３のように示される。

眠気度D'=f(特徴量c1、特徴量c2、・・・、特徴量cn-1）=3.5 （数式３）
このように、信頼度の低い特徴量を、眠気度の判定対象から除外することで、より正確な眠気度とすることが可能となる。

警報判定部２１０では、眠気度D又はD'に応じた警報や警告メッセージの音声をドライバに対して実施するかどうかを判定する。このとき、信頼度Rを加味して決定する。例えば、眠気度Dが３以上であるとき、過去１分間以内の信頼度が９０％以上であるときに警報や警告メッセージの音声を発生させる。これにより、ドライバの警報に対する違和感を低減することができるようになる。なお、警報は、音響のほか、表示や振動によって発生するものであってもよい。

このように、本実施形態の眠気度判定装置は、各特徴量c1〜cnに基づいて眠気度Dを判定する際、その各特徴量c1〜cnの統計値、すなわち、各特徴量c1〜cnの度数分布を代表する代表特徴量x1〜xnに対する、眠気度Dを判定したときの各特徴量c1〜cnの近さから、眠気度Dの信頼度Rを算出する。こうすることで、眠気度の判定そのものに対する信頼度が算出されることになり、正確な眠気度判定の信頼度とすることができる。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、以下の変形例１〜３のように、種々変形して実施することができる。

（変形例１）
図８に、本変形例における制御回路部２０の機能構成を示す。上記実施形態と異なる主な点は、信頼度の閾値判定部２０９及び低信頼度除去眠気度判定部２１１を備えず、眠気度の不一致判定部２２１、不一致除去眠気度判定部２２２を備える点で異なる。以下、上記実施形態との共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。

先ず、眠気度判定部２０７では、上記数式１から眠気度Dを判定（推定）するとともに、個々の特徴量c1〜cnから眠気度D1〜Dnを判定（推定）する。眠気度の不一致判定部２２１は、個々の特徴量c1〜cnから判定（推定）した眠気度D1〜Dnを比較して、一致しないものの有無を判定（特定）する。ここで、一致しない眠気度が有る場合には、不一致除去眠気度判定部２２２にて、一致しない眠気度を判定（推定）した特徴量を除いた推定関数fによって、最終的な眠気度D'を判定（推定）する。例えば、眠気度D1=f(特徴量c1)=3、眠気度D2=f(特徴量c2)=3、・・・、眠気度Dn=f(特徴量cn)=1の場合には、特徴量cnから算出した眠気度Dnが他の眠気度D1〜Dn-1と一致しないので、数式４に示すように、特徴量cnを除いた推定関数fによって、最終的な眠気度D'を算出する。

眠気度D'=f(特徴量c1、特徴量c2、・・・、特徴量cn-1）=3.5 （数式４）
ここで、個々の特徴量c1〜cnから判定（推定）した眠気度D1〜Dnが全て異なるレベルであったり、眠気度D1=3、眠気度D2=3、眠気度D3=2、眠気度D4=2のように一致しない特徴量を特定することができない場合には、推定関数fにおける各特徴量の寄与率を踏まえて、除外すべき特徴量を特定すればよい。

眠気度の信頼度算出部２０８は、眠気度の判定（推定）に使用した特徴量及びその寄与率と検出率Eから、信頼度Rを算出する（数式５）。

信頼度R'=｛［k1×(特徴量c1の寄与率）＋k2×(特徴量c2の寄与率）＋・・・＋kn-1×(特徴量cnの寄与率）］｝×検出率E （数式５）
このように、眠気度D又はD'を判定したときの個々の特徴量の寄与率（眠気度を重回帰式から推定する場合における重回帰式の信頼性の目安）から眠気度Dの信頼度Rを算出することで、その算出された信頼度は、眠気度の信頼度を忠実に表したものとなる。

また、個々の特徴量c1〜cnから判定した眠気度D1〜Dnのなかで一致しないものを、眠気度の判定対象や信頼度の算出対象から除外することで、より正確な眠気度とその信頼度とすることか可能となる。

（変形例２）
上記実施形態や変形例１では、検出エラー算出部の算出した検出率Eを加味して眠気度Dの信頼度Rを算出しているが、この検出率Eを加味することなく、各特徴量c1〜cnの統計値のみから眠気度Dの信頼度Rを算出するようにしてもよい。検出率Eを加味しなくても、その信頼度Rは眠気度判定の信頼度を正確に示すことができるからである。

眠気度判定装置の全体構成を示すブロック図である。車室内に配置されたカメラ１０と投光器５０を示した図である。ドライバからみたカメラ１０の光軸と投光器５０の位置関係を示した図である。制御回路部２０の機能構成を示した図である。１回のまばたきにおける個々の特徴量を説明するための図である。眠気度D=f(特徴量c1、特徴量c2、・・・、特徴量cn)=3の場合の各特徴量の度数分布の代表特徴量x1〜xnに対する該当区間の各特徴量c1〜cnの近さを示した図である。眠気度Dに対応するドライバの状態と行動特徴の関係を示した図である。変形例１における制御回路部２０の機能構成を示した図である。

符号の説明

１０カメラ
２０制御回路部
３０警報発生部
４０投光制御回路
５０投光器

Claims

所定の撮像時間間隔でドライバの顔が映し出された顔画像に所定の画像処理を施して、前記顔画像における目の画像を検出する検出手段と、
前記検出手段の検出した目の画像から、１回のまばたきにおける、まばたきの開始から終了までのまばたき区間、閉眼持続時間、閉速度、開速度を含む複数の異なる目に関する特徴量を算出する特徴量算出手段と、
前記特徴量算出手段の算出した複数の異なる目に関する特徴量を説明変数とする所定の推定関数に基づいて、複数の眠気度のレベルのなかから該当する眠気度を判定する眠気度判定手段と、
前記眠気度判定手段が眠気度を判定したとき、眠気度のレベル毎に、前記複数の異なる目に関する特徴量の各々の分布を求めるとともに、それら分布毎に、各分布を代表する代表特徴量を決定する代表特徴量決定手段と、
前記眠気度判定手段の判定した眠気度に対して前記代表特徴量決定手段が決定した個々の代表特徴量に対する、前記眠気度を判定したときの個々の目に関する特徴量の近さから、前記眠気度判定手段の判定した眠気度の信頼度を算出する信頼度算出手段と、を備えることを特徴とする眠気度判定装置。
前記眠気度判定手段が眠気度を判定するときの前記複数の異なる目に関する特徴量ごとの寄与率を算出する寄与率算出手段を備え、
前記信頼度算出手段は、前記眠気度を判定したときの個々の目に関する特徴量の寄与率から、眠気度の信頼度を算出することを特徴とする請求項１記載の眠気度判定装置。
前記複数の異なる目に関する特徴量のうち、前記個々の代表特徴量に対する前記眠気度を判定したときの個々の目に関する特徴量の近さが、高い信頼度の目安となる近さの閾値に満たないものを特定する低信頼度特徴量特定手段を備え、
前記眠気度判定手段は、前記低信頼度特徴量特定手段の特定した目に関する特徴量を、その判定対象から除外して最終的な眠気度を判定することを特徴とする請求項１記載の眠気度判定装置。
前記眠気度判定手段は、前記複数の異なる目に関する特徴量毎に眠気度を判定し、
前記複数の異なる目に関する特徴量のうち、前記眠気度判定手段の判定した個々の目に関する特徴量から判定した眠気度のなかで一致しないものを特定する不一致特徴量特定手段を備え、
前記眠気度判定手段は、前記不一致特徴量特定手段の特定した目に関する特徴量を、その判定対象から除外して最終的な眠気度を判定し、
前記信頼度算出手段は、前記不一致特徴量特定手段の特定した目に関する特徴量を、その算出対象から除外して最終的な眠気度の信頼度を算出することを特徴とする請求項２記載の眠気度判定装置。
前記検出手段による目の画像の検出率を算出する検出率算出手段を備え、
前記信頼度算出手段は、前記検出率算出手段の算出した検出率を加味して、眠気度の信頼度を算出することを特徴とする請求項１〜４のいずれか１項に記載の眠気度判定装置。