JP5270415B2 - 眠気判定装置及びプログラム - Google Patents

Description

本発明は、眠気判定装置及びプログラムに係り、特に、車両の運転者の眠気状態を判定する眠気判定装置及びプログラムに関する。

従来より、検出された瞬目から、瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目を判定し、瞬目群発の瞬目と長時間閉眼を伴う瞬目の履歴情報から被検出者の覚醒低下を判定する覚醒低下検出装置が知られている（特許文献１）。

特開２００８−７３３３５号公報

しかしながら、上記の特許文献１に記載の技術では、通常の瞬目と群発性瞬目とを分けずに瞬目を抽出しており、抽出方法が群発性瞬目に関して特化されていないため、群発性瞬目時に多く見られる閉眼から半眼に折り返して閉眼に戻るような瞬目現象を逃してしまい、群発性瞬目を精度良く検出することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、精度良く群発性瞬目を検出でき、精度よく眠気状態を判定することができる眠気判定装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る眠気判定装置は、判定対象者の眼を含む領域を連続して撮像する撮像手段と、前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とを含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、判定対象者の眼を含む領域を連続して撮像する撮像手段により撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段、及び前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、撮像手段によって、判定対象者の眼を含む領域を連続して撮像し、開度検出手段によって、撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する。

そして、群発性瞬目検出手段によって、開度検出手段によって検出された瞼の開度の時系列データに基づいて、瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する。眠気状態判定手段によって、群発性瞬目検出手段による検出結果に基づいて、判定対象者の眠気状態を判定する。

このように、瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、極大値及び極小値の間に設定された閾値を用いて群発性瞬目を検出することにより、精度良く群発性瞬目を検出でき、精度よく眠気状態を判定することができる。

上記の所定の閾値を、瞼の開度に関する標準の閉眼閾値とすることができる。

上記の群発性瞬目検出手段は、瞼の開度が持続して所定の閾値未満となる範囲であって、かつ、第２の所定時間以上の範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出することができる。

上記の群発性瞬目検出手段は、瞼の開度が持続して前記所定の閾値未満となる範囲から、最小単位時間で決定される複数の抽出区間の各々について、極大値及び極小値を抽出すると共に、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出することができる。これによって、抽出区間毎に、極大値及び極小値の間に閾値を設定して、群発性瞬目を検出することができる。

第３の発明に係る眠気判定装置は、判定対象者の眼を含む領域を連続して撮像する撮像手段と、前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極小値を抽出し、抽出された極小値の間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とを含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、判定対象者の眼を含む領域を連続して撮像する撮像手段により撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極小値を抽出し、抽出された極小値の間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段、及び前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段として機能させるためのプログラムである。

第３の発明及び第４の発明によれば、撮像手段によって、判定対象者の眼を含む領域を連続して撮像し、開度検出手段によって、撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する。

そして、群発性瞬目検出手段によって、開度検出手段によって検出された瞼の開度の時系列データに基づいて、瞼の開度が持続して所定の閾値未満となる範囲から、極小値を抽出し、抽出された極小値の間隔が所定時間以内となる群発性瞬目を検出する。眠気状態判定手段によって、群発性瞬目検出手段による検出結果に基づいて、判定対象者の眠気状態を判定する。

このように、瞼の開度が所定の閾値未満となる範囲から極小値を抽出し、抽出された極小値の間隔に基づいて群発性瞬目を検出することにより、精度良く群発性瞬目を検出でき、精度よく眠気状態を判定することができる。

上記の眠気判定装置は、開度検出手段によって検出された瞼の開度の時系列データに基づいて、所定の閾値を用いて、瞬目を抽出し、抽出された瞬目に基づいて、群発性瞬目を検出する第２の群発性瞬目検出手段を更に含み、眠気状態判定手段は、群発性瞬目検出手段による検出結果及び第２の群発性瞬目検出手段による検出結果に基づいて、判定対象者の眠気状態を判定することができる。

上記の眠気判定装置は、開度検出手段によって検出された瞼の開度の時系列データに基づいて、群発性瞬目とは異なる瞬目特徴量を抽出する瞬目特徴量抽出手段を更に含み、眠気状態判定手段は、群発性瞬目検出手段による検出結果及び瞬目特徴量抽出手段によって抽出された前記瞬目特徴量に基づいて、判定対象者の眠気状態を判定することができる。

以上説明したように、本発明の眠気判定装置及びプログラムによれば、精度良く群発性瞬目を検出でき、精度よく眠気状態を判定することができる、という効果が得られる。

本発明の第１の実施の形態に係る眠気判定装置の構成を示す概略図である。 開閉眼状態の状態遷移とポイントとの関係を示す表である。 瞼開度の時系列データにおける極大値及び極小値を示すグラフである。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける閾値計算処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける第１の群発性瞬目検出処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける開閉眼状態判定処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける第２の群発性瞬目検出処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける閉眼率抽出処理ルーチンの内容を示すフローチャートである。 閉眼状態となる区間に設定される抽出区間を示すイメージ図である。 本発明の第２の実施の形態に係る眠気判定装置のコンピュータにおける第２の群発性瞬目検出処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る眠気判定装置のコンピュータにおける第２の群発性瞬目検出処理ルーチンの内容を示すフローチャートである。 瞼開度の時系列データにおける包絡線を示すグラフである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された眠気判定装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る眠気判定装置１０は、例えば判定対象者としての運転者の斜め前方に設置され、その運転者の顔を斜め下から連続して撮像する撮像装置１２と、撮像装置１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ２０とを備えている。

コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する閾値計算処理ルーチン、閉眼率抽出処理ルーチン、第１の群発性瞬目検出処理ルーチン、及び第２の群発性瞬目検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、顔画像から運転者の目を表す目領域を抽出する目領域抽出部２２と、瞼が開いている度合いを示す瞼開度を検出して記録する瞼開度検出部２４と、予め設定された閉眼閾値及び開眼閾値を用いて、検出された瞼開度の時系列データから、各瞼開度の開閉眼状態を判定して、開閉眼状態の時系列データを記録する開閉眼状態判定部２６と、記録された開閉眼状態の時系列データから、群発性瞬目を検出する第１の群発性瞬目検出部２８と、記録された開閉眼状態の時系列データ及び瞼開度の時系列データから、群発性瞬目を検出する第２の群発性瞬目検出部３０と、記録された開閉眼状態の時系列データから、閉眼率を抽出する閉眼率抽出部３２と、第１の群発性瞬目検出部２８及び第２の群発性瞬目検出部３０の検出結果、並びに閉眼率抽出部３２により抽出された閉眼率に基づいて、眠気状態を判定する眠気判定部３４と、眠気が強い状態であると判定された場合に、表示装置４０に警告情報を表示させる表示制御部３６とを備えている。なお、第１の群発性瞬目検出部２８は、本発明の第２の群発性瞬目検出手段の一例であり、第２の群発性瞬目検出部３０は、本発明の群発性瞬目検出手段の一例である。

瞼開度検出部２４では、予め定められた全開時の上まぶたと下まぶたとの距離に対する目領域の画像から検出される上まぶたと下まぶたとの距離の割合に基づいて、瞼開度を連続して検出して、瞼開度の時系列データを記録する。瞼開度検出部２４は、眼が全開であるときを１００％とし、閉眼時を０％とした場合の瞼開度を検出し、半眼で眠気をこらえているような場合には、例えば約５０％の瞼開度が検出される。なお、上まぶたと下まぶたとの距離を、瞼開度として検出しても良い。

開閉眼状態判定部２６は、予め設定された固定閉眼閾値及び固定開眼閾値を用いて、検出された瞼開度の時系列データから、各瞼開度の開閉眼状態を判定して、開閉眼状態の時系列データを記録する。瞼開度が固定開眼閾値以上であれば、開眼状態であると判定され、瞼開度が固定開眼閾値未満であり固定閉眼閾値以上であれば、半眼状態であると判定される。また、瞼開度が固定閉眼閾値未満であれば、閉眼状態であると判定される。なお、固定閉眼閾値及び固定開眼閾値は、瞼開度に関する標準の閉眼閾値及び開眼閾値であり、従来既知の方法により決定すればよい。

第１の群発性瞬目検出部２８は、固定閉眼閾値及び固定開眼閾値を用いて判定された開閉眼状態の時系列データから、瞬目回数を算出し、算出された瞬目回数が、例えば１秒などの一定時間内に一定の値以上になれば、群発性瞬目が起きたと判断され、群発性瞬目が検出される。ここで、第１の群発性瞬目検出部２８は、開閉眼状態の状態遷移から、状態遷移が起きるごとに、図２に示す各状態遷移に付与されたポイントを加算し、２分することで、瞬目回数を算出する。また、人が眠気を感じている時に瞬きを短時間に複数回繰り返す現象がみられる。この現象を群発性瞬目といい、ある時間中に発生していることがわかると、精度よく眠気状態を判定することが可能となる。

ここで、図３に示すように、瞬目がある閾値の中に埋もれて分離できない場合、群発性瞬目の検出のためには、固定閉眼閾値よりさらに低い閾値を設定する必要がある。そこで、第２の群発性瞬目検出部３０は、以下に説明するように、群発性瞬目の検出を行なう。

まず、第１の群発性瞬目検出部３０と同様に、固定閉眼閾値及び固定開眼閾値を用いて判定された開閉眼状態の時系列データから、瞬目を抽出し、抽出された瞬目の閉眼持続時間が第２の所定時間としての１秒以上だった場合、その閉眼持続の区間（瞼開度が持続して固定閉眼閾値以下となる範囲であって、かつ、１秒以上の範囲）における瞼開度の時系列データから、その区間に含まれる極大値及び極小値を求める（例えば、微分などにより変曲点から求める）。

閉眼持続時間が所定時間（例えば１秒）以上となる区間に複数の極小値が存在した場合には、求められた極大値（図３の極大値１参照）から極小値（図３の極小値１参照）に向かって、ある決まったステップずつ低い値にスライドさせていく要領で、可変閉眼閾値を設けながら、各可変閉眼閾値に対して、可変閉眼閾値を往復する瞬目を抽出し、瞬目間間隔を求める。

求められた瞬目間間隔が所定時間以下（例えば１秒以下）であって、かつ、０．２秒以上であれば、群発性瞬目が起きたと判断し、群発性瞬目が検出される。

以上のように、第２の群発性瞬目検出部３０では、閉眼持続時間が長い瞬目があった場合、その瞬目間間隔の区間において、固定閉眼閾値より低い可変閉眼閾値を設定して、群発性瞬目の検出を行なう。

閉眼率抽出部３２は、固定閉眼閾値及び固定開眼閾値を用いて判定された開閉眼状態の時系列データから、一定時間内で閉眼している割合である閉眼率（Ｐｅｒｃｌｏｓ）を抽出する。

眠気判定部３４は、抽出した閉眼率について、閾値判定を行い、閉眼率が閉眼率に関する閾値以上であれば、判定対象者である運転者の眠気が強い状態であると判定する。また、眠気判定部３４は、第１の群発性瞬目検出部２８及び第２の群発性瞬目検出部３０の少なくとも一方で、群発性瞬目が検出されれば、判定対象者である運転者の眠気が強い状態であると判定する。

次に、第１の実施の形態に係る眠気判定装置１０の作用について説明する。まず、撮像装置１２によって運転者の顔を連続して撮像し、コンピュータ２０において、図４に示す閾値計算処理ルーチンを実行する。

ステップ１００において、撮像装置１２から顔画像を取得し、ステップ１０２で、取得した顔画像から、目領域を抽出する。

そして、ステップ１０４で、抽出された目領域の画像に基づいて、瞼開度を算出して、メモリ（図示省略）に記録する。次のステップ１０６では、処理を開始してから所定時間経過したか否かを判定し、所定時間経過していない場合には、ステップ１００へ戻るが、所定時間経過した場合には、ステップ１０８へ移行する。

上記ステップ１００〜ステップ１０６により、所定期間において検出された瞼開度の時系列データがメモリに記録される。

ステップ１０８では、メモリに記録された瞼開度の時系列データから、瞼開度の頻度分布を算出し、ステップ１１０において、上記ステップ１１０で算出された瞼開度の頻度分布を用いて、標準的な固定開眼閾値及び固定閉眼閾値の各々を算出する。

そして、ステップ１１２において、上記ステップ１１０で算出された固定開眼閾値及び固定閉眼閾値をメモリに記憶して、閾値計算処理ルーチンを終了する。

上記の閾値計算処理ルーチンによって固定開眼閾値及び固定閉眼閾値が一度計算されると、撮像装置１２によって運転者の顔を連続して撮像すると共に、コンピュータ２０において、図５に示す第１の群発性瞬目検出処理ルーチンを実行する。

ステップ１２０において、開閉眼状態判定処理が行われる。上記ステップ１２０は、図６に示す開閉眼状態判定処理ルーチンで実現される。

ステップ１３０において、撮像装置１２から顔画像を取得し、ステップ１３２で、取得した顔画像から、目領域を抽出する。そして、ステップ１３４で、抽出された目領域の画像に基づいて、瞼開度を検出して、メモリ（図示省略）に記録する。次のステップ１３６では、上記ステップ１３４で検出された瞼開度と、固定開眼閾値及び固定閉眼閾値の各々とを比較して、開閉眼状態を判定し、メモリ（図示省略）に記録して、開閉眼状態判定処理ルーチンを終了する。

そして、第１の群発性瞬目検出処理ルーチンのステップ１２２において、処理を開始してから所定時間（例えば１０秒）経過したか否かを判定し、所定時間経過していない場合には、ステップ１２０へ戻るが、所定時間経過した場合には、ステップ１２４へ移行する。このとき、メモリには、所定時間分の瞼開度の時系列データと開閉眼状態の時系列データとがメモリに記録されている。

ステップ１２４では、上記ステップ１２０で記録された開閉眼状態の時系列データから、瞬目回数をカウントし、ステップ１２６において、上記ステップ１２４でカウントされた瞬目回数に基づいて、瞬目回数が一定時間（例えば１秒）内に一定の値以上になったか否かを判定することにより、群発性瞬目を検出して、ステップ１２０へ戻る。

また、コンピュータ２０において、図７に示す第２の群発性瞬目検出処理ルーチンを実行する。まず、ステップ１２０で、開閉眼状態判定処理を行う。そして、１２２で、処理を開始してから所定時間（例えば１０秒）経過したか否かを判定し、所定時間経過していない場合には、ステップ１２０へ戻るが、所定時間経過した場合には、ステップ１２４へ移行する。ステップ１２４では、上記ステップ１２０で記録された開閉眼状態の時系列データから、瞬目回数をカウントする。なお、上記のステップ１２０〜１２４の処理は、第１の群発性瞬目検出処理ルーチンと同様であり、共通の処理として構成すればよい。

そして、ステップ１４０において、上記ステップ１２４でカウントされた瞬目回数に基づいて、所定時間（例えば１秒）以上の閉眼持続時間があるか否かを判定する。カウントされた瞬目の中に、所定時間（例えば１秒）以上となる閉眼持続時間が存在しない場合には、群発性瞬目が起きていないと判断し、ステップ１２０へ戻る。一方、所定時間（例えば１秒）以上となる閉眼持続時間が存在する場合には、ステップ１４２において、上記ステップ１２０で記録された瞼開度の時系列データのうち、１秒以上となる閉眼持続の区間の瞼開度の時系列データから、極大値及び極小値を抽出する。

そして、ステップ１４４において、上記ステップ１４２で複数の極小値が抽出されたか否かを判定し、複数の極小値が抽出されなかった場合には、群発性瞬目が起きていないと判断し、上記ステップ１２０へ戻る。一方、１秒以上となる閉眼持続の区間の瞼開度の時系列データから、複数の極小値が抽出された場合には、ステップ１４６において、抽出された極大値から極小値に向かって、スライドさせて可変閉眼閾値を設けながら、各可変閉眼閾値に対して瞬目を抽出し、瞬目間間隔を求める。瞬目間間隔が例えば０．２秒以上１秒以下であれば、群発性瞬目が起きたと判断し、群発性瞬目が検出される。このように群発性瞬目の検出が行なわれると、上記ステップ１２０へ戻る。

また、コンピュータ２０において、図８に示す閉眼率抽出処理ルーチンを実行する。まず、ステップ１２０で、開閉眼状態判定処理を行う。そして、１２２で、処理を開始してから所定時間（例えば１０秒）経過したか否かを判定し、所定時間経過していない場合には、ステップ１２０へ戻るが、所定時間経過した場合には、ステップ１５０へ移行する。なお、上記のステップ１２０、１２２の処理は、第１の群発性瞬目検出処理ルーチンと同様であり、共通の処理として構成すればよい。

ステップ１５０では、上記ステップ１２０で記録された開閉眼状態の時系列データから、閉眼率を抽出する。次のステップ１５２では、上記ステップ１５０で抽出された閉眼率について、閾値判定を行い、閉眼率が、閉眼率に関して定められた閾値以上であるか否かを判定し、上記ステップ１２０へ戻る。

上記のように、第１の群発性瞬目検出処理ルーチン、第２の群発性瞬目検出処理ルーチン、及び閉眼率抽出処理ルーチンの各々が実行されると、コンピュータ２０では、第１の群発性瞬目検出処理ルーチンにおける群発性瞬目の検出結果、第２の群発性瞬目検出処理ルーチンにおける群発性瞬目の検出結果、及び閉眼率抽出処理ルーチンにおける閾値判定の結果を取得し、群発性瞬目が検出された場合、又は、閉眼率が閉眼率に関する閾値以上であると判定された場合に、運転者の眠気が強い状態であると判断し、表示装置４０に警告メッセージを表示させて、眠気に対する注意を運転者に促す。

以上説明したように、第１の実施の形態に係る眠気判定装置によれば、瞼開度が持続して固定閉眼閾値未満となり閉眼状態となる範囲の瞼開度の時系列データから、極大値及び極小値を抽出し、極大値及び極小値の間に設定された可変閉眼閾値を用いて群発性瞬目を検出することにより、精度良く群発性瞬目を検出でき、精度よく眠気状態を判定することができる。瞼開度の時系列データから瞬目が群発している現象を、漏れなく抽出することが可能となり、その結果、ドライバの眠気状態をよりよく判定することができる。

本発明では、群発性瞬目を２種類に分けて、それぞれ異なる方法で検出している。一つは、開眼状態と閉眼状態を繰り返す比較的大きな瞼開度変化を伴う群発性瞬目であり、この群発性瞬目は、固定閉眼閾値を往復した回数をカウントする方法で抽出する。もう一つは、閉眼状態に近い状態で微小な開度変化を繰り返す群発性瞬目である。この群発性瞬目は、閉眼閾値以下の極大値と極小値の間にさらに検出用の可変閉眼閾値を設けて、その可変閉眼閾値を往復した回数をカウントする方法で抽出する。これによって、眠気判定の指標として群発性瞬目を精度良く検出することができる。

次に第２の実施の形態について説明する。なお、第２の実施の形態に係る眠気判定装置の構成は、第１の実施の形態に係る眠気判定装置と同様の構成であるため、同一符号を付して説明を省略する。

第２の実施の形態では、閉眼持続時間が所定時間（例えば１秒）以上となる区間における、最小単位時間で決定される複数の抽出区間の各々から、可変閉眼閾値を変更しながら瞬目を抽出して、群発性瞬目を検出している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る眠気判定装置の第２の群発性瞬目検出部３０では、以下に説明するように、群発性瞬目の検出を行なう。

まず、第１の群発性瞬目検出部３０と同様に、固定閉眼閾値及び固定開眼閾値を用いて判定された開閉眼状態の時系列データから、瞬目を抽出し、抽出された瞬目の閉眼持続時間が所定時間（例えば１秒）以上だった場合、その区間内に、図９に示すように、設定されている最小単位時間の抽出区間を複数設定する。

そして、設定された抽出区間の各々について、瞼開度の時系列データにおける当該抽出区間に含まれる極大値及び極小値を求め、当該抽出区間に複数の極小値が存在した場合には、求められた極大値から極小値に向かって、ある決まったステップずつ低い値にスライドさせていく要領で、可変閉眼閾値を設けながら、各可変閉眼閾値に対して、可変閉眼閾値を往復する瞬目を抽出する。また、抽出された瞬目の瞬目間間隔を求め、求められた瞬目間間隔が例えば０．２秒以上１秒以下であれば、群発性瞬目が起きたと判断し、群発性瞬目が検出される。

以上説明したように、第２の群発性瞬目検出部３０は、各抽出区間に対して、群発性瞬目の検出が行われる。

また、ユーザがコンピュータ２０を操作することにより、上記図９のように、最小単位時間の設定を変更することができる。これによって、極値を抽出する抽出区間を変化させて、計算量を調整することができる。

次に、第２の実施の形態に係る第２の群発性瞬目検出処理ルーチンについて図１０を用いて説明する。なお、第１の実施の形態と同様の処理については同一符号を付して詳細な説明を省略する。

まず、ステップ１２０で、開閉眼状態判定処理を行う。そして、ステップ１２２で、処理を開始してから所定時間経過したか否かを判定し、所定時間経過していない場合には、ステップ１２０へ戻るが、所定時間経過した場合には、ステップ１２４へ移行する。ステップ１２４では、上記ステップ１２０で記録された開閉眼状態の時系列データから、瞬目回数をカウントする。

そして、ステップ１４０において、所定時間（例えば１秒）以上の閉眼持続時間があるか否かを判定する。カウントされた瞬目の中に、所定時間（例えば１秒）以上となる閉眼持続時間が存在しない場合には、群発性瞬目が起きていないと判断し、ステップ１２０へ戻る。一方、所定時間（例えば１秒）以上となる閉眼持続時間が存在する場合には、ステップ２００において、１秒以上となる閉眼持続の区間において、設定されている最小単位時間となる抽出区間を設定し、ステップ２０２で、上記ステップ１２０で記録された瞼開度の時系列データのうち、上記ステップ２００で設定された抽出区間の瞼開度の時系列データから、極大値及び極小値を抽出する。

そして、ステップ２０４において、上記ステップ２０２で複数の極小値が抽出されたか否かを判定し、複数の極小値が抽出されなかった場合には、群発性瞬目が起きていないと判断し、上記ステップ２００へ戻り、抽出区間をずらして設定する。

一方、抽出区間の瞼開度の時系列データから、複数の極小値が抽出された場合には、ステップ２０６において、抽出された極大値から極小値に向かって、スライドさせて可変閉眼閾値を設けながら、各可変閉眼閾値に対して瞬目を抽出し、瞬目間間隔を求める。瞬目間間隔が例えば０．２秒以上１秒以下であれば、群発性瞬目が起きたと判断し、群発性瞬目が検出される。このように群発性瞬目の検出が行なわれると、ステップ２０８へ移行し、１秒以上となる閉眼持続の区間に設定される全ての抽出区間について上記の抽出処理が行われたか否かを判定し、上記の処理が行われていない抽出区間がある場合には、上記ステップ２００へ戻り、抽出区間をずらして設定する。一方、全ての抽出区間について上記の処理が行われたと判定された場合には、上記ステップ１２０へ戻る。

なお、第２の実施の形態に係る眠気推定装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、閉眼持続時間が所定時間以上となる区間に複数の抽出区間を設定し、抽出区間毎に、極大値及び極小値の間に可変閉眼閾値を設定して、群発性瞬目をより精度良く検出することができる。

次に第３の実施の形態について説明する。なお、第３の実施の形態に係る眠気判定装置の構成は、第１の実施の形態に係る眠気判定装置と同様の構成であるため、同一符号を付して説明を省略する。

第３の実施の形態では、閉眼持続時間が所定時間（例えば１秒）以上となる区間における、極小値の間隔に基づいて、群発性瞬目を検出している点が、第１の実施の形態と異なっている。

第３の実施の形態に係る眠気判定装置の第２の群発性瞬目検出部３０では、以下に説明するように、群発性瞬目の検出を行なう。

まず、第１の群発性瞬目検出部３０と同様に、固定閉眼閾値及び固定開眼閾値を用いて判定された開閉眼状態の時系列データから、瞬目を抽出し、抽出された瞬目の閉眼持続時間が所定時間（例えば１秒）以上だった場合、瞼開度の時系列データにおける、その閉眼持続の区間に対し、その区間に含まれる極小値を求める。

閉眼持続時間が所定時間（例えば１秒）以上となる区間に複数の極小値が存在した場合には、極小値の間隔を求める。求められた極小値の間隔が例えば０．２秒以上１秒以下であれば、群発性瞬目が起きたと判断し、群発性瞬目が検出される。

以上のように、第２の群発性瞬目検出部３０では、閉眼持続時間が長い瞬目があった場合、閉眼持続の区間において、極小値の間隔に基づいて、群発性瞬目の検出を行なう。

次に第３の実施の形態に係る第２の群発性瞬目検出処理ルーチンについて図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。

まず、ステップ１２０で、開閉眼状態判定処理を行う。そして、１２２で、処理を開始してから所定時間経過したか否かを判定し、所定時間経過していない場合には、ステップ１２０へ戻るが、所定時間経過した場合には、ステップ１２４へ移行する。ステップ１２４では、上記ステップ１２０で記録された開閉眼状態の時系列データから、瞬目回数をカウントする。そして、ステップ１４０において、所定時間（例えば１秒）以上の閉眼持続時間があるか否かを判定する。カウントされた瞬目の中に、所定時間（例えば１秒）以上となる閉眼持続時間が存在しない場合には、群発性瞬目が起きていないと判断し、ステップ１２０へ戻る。

一方、所定時間（例えば１秒）以上となる閉眼持続時間が存在する場合には、ステップ３００において、上記ステップ１２０で記録された瞼開度の時系列データのうち、１秒以上となる閉眼持続の区間の瞼開度の時系列データから、極小値を抽出する。

そして、ステップ１４４において、上記ステップ３００で複数の極小値が抽出されたか否かを判定し、複数の極小値が抽出されなかった場合には、群発性瞬目が起きていないと判断し、上記ステップ１２０へ戻る。一方、１秒以上となる閉眼持続の区間の瞼開度の時系列データから、複数の極小値が抽出された場合には、ステップ３０２において、抽出された極小値の間隔を求める。極小値の間隔が例えば０．２秒以上１秒以下であれば、群発性瞬目が起きたと判断し、群発性瞬目が検出される。このように群発性瞬目の検出が行なわれると、上記ステップ１２０へ戻る。

なお、第３の実施の形態に係る眠気推定装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、瞼開度が固定閉眼閾値未満となる範囲の瞼開度の時系列データから極小値を抽出し、抽出された極小値の間隔に基づいて群発性瞬目を検出することにより、精度良く群発性瞬目を検出でき、精度よく眠気状態を判定することができる。

次に第４の実施の形態について説明する。なお、第４の実施の形態に係る眠気判定装置の構成は、第１の実施の形態に係る眠気判定装置と同様の構成であるため、同一符号を付して説明を省略する。

第４の実施の形態では、瞼開度の時系列データに対して、包絡線を用いてノイズを分離してから、極大値及び極小値を求めている点が、第１の実施の形態と異なっている。

第４の実施の形態に係る眠気推定装置の第２の群発性瞬目検出部３０では、固定閉眼閾値及び固定開眼閾値を用いて判定された開閉眼状態の時系列データから、瞬目を抽出し、抽出された瞬目の閉眼持続時間が所定時間（例えば１秒）以上だった場合、その閉眼持続の区間における瞼開度の時系列データに対して、図１２に示すように包絡線を用いてノイズを分離する。そして、その閉眼持続の区間における瞼開度の時系列データの包絡線から、その区間に含まれる極大値及び極小値を求め、求められた極大値及び極小値を用いて、可変閉眼閾値をスライドさせながら設け、各可変閉眼閾値に対して、可変閉眼閾値を往復する瞬目を抽出し、瞬目間間隔を求める。求められた瞬目間間隔に基づいて、群発性瞬目が検出される。

なお、第４の実施の形態に係る眠気推定装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、瞼開度の時系列データに対して、包絡線を用いてノイズを分離することにより、ノイズによる極大値及び極小値を分離することができるため、より精度良く群発性瞬目を検出することができる。

なお、上記の第１の実施の形態〜第４の実施の形態では、瞬目特徴量として、閉眼率を抽出して閾値判定を行う場合を例に説明したが、これに限定されるものではなく、瞬目特徴量として、最大閉眼時間、瞬目回数、開眼時間の分散値、又は最大開眼時間を抽出して閾値判定を行うようにしてもよい。

また、群発性瞬目の検出有無を求める場合を例に説明したが、これに限定されるものではなく、群発性瞬目の検出有無と共に、群発性瞬目回数を計測するようにしてもよい。この場合には、群発性瞬目回数から瞬目群発率（単位時間あたりの瞬目群発数）を検出するようにしてもよい。

また、本発明に係るプログラムを、記憶媒体に格納して提供するようにしてもよい。

１０ 眠気判定装置
１２ 撮像装置
２０ コンピュータ
２２ 目領域抽出部
２４ 瞼開度検出部
２６ 開閉眼状態判定部
２８ 第１の群発性瞬目検出部
３０ 第２の群発性瞬目検出部
３２ 閉眼率抽出部
３４ 眠気判定部

Claims (9)

1. 判定対象者の眼を含む領域を連続して撮像する撮像手段と、
   前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、
   前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、
   前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段と、
   を含む眠気判定装置。
2. 前記所定の閾値を、前記瞼の開度に関する標準の閉眼閾値とした請求項１記載の眠気判定装置。
3. 前記群発性瞬目検出手段は、前記瞼の開度が持続して前記所定の閾値未満となる範囲であって、かつ、第２の所定時間以上の範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が前記所定時間以内となる群発性瞬目を検出する請求項１又は２記載の眠気判定装置。
4. 前記群発性瞬目検出手段は、前記瞼の開度が持続して前記所定の閾値未満となる範囲から、最小単位時間で決定される複数の抽出区間の各々について、極大値及び極小値を抽出すると共に、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が前記所定時間以内となる群発性瞬目を検出する請求項１〜請求項３の何れか１項記載の眠気判定装置。
5. 判定対象者の眼を含む領域を連続して撮像する撮像手段と、
   前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、
   前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極小値を抽出し、抽出された極小値の間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、
   前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段と、
   を含む眠気判定装置。
6. 前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記所定の閾値を用いて、瞬目を抽出し、抽出された瞬目に基づいて、群発性瞬目を検出する第２の群発性瞬目検出手段を更に含み、
   前記眠気状態判定手段は、前記群発性瞬目検出手段による検出結果及び前記第２の群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する請求項１〜請求項５の何れか１項記載の眠気判定装置。
7. 前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、群発性瞬目とは異なる瞬目特徴量を抽出する瞬目特徴量抽出手段を更に含み、
   前記眠気状態判定手段は、前記群発性瞬目検出手段による検出結果及び前記瞬目特徴量抽出手段によって抽出された前記瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する請求項１〜請求項６の何れか１項記載の眠気判定装置。
8. コンピュータを、
   判定対象者の眼を含む領域を連続して撮像する撮像手段により撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段、
   前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段、及び
   前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段
   として機能させるためのプログラム。
9. コンピュータを、
   判定対象者の眼を含む領域を連続して撮像する撮像手段により撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段、
   前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極小値を抽出し、抽出された極小値の間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段、及び
   前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段
   として機能させるためのプログラム。

Images