JP6399311B2 - 居眠り検知装置 - Google Patents

Description

本発明は、居眠り検知装置、特に車両運転中における運転者の居眠りを検知し、居眠り運転を未然に防止するための装置に関する。

居眠り運転の検知装置としては、運転者の顔をカメラで撮影し、画像から居眠り状態を判定する装置や、運転者の脈拍の変化から居眠り状態を判定する装置など、種々の居眠り運転検知装置が提案されている。

例えば、特許文献１には、運転者の開眼度の度数分布より極値を抽出し、極値の時間変化を検出することで運転者の状態変化を推定することが開示されている。この技術では、開眼時の極値と閉眼時の極値を抽出し、閉眼状態の極値が高くなる傾向にある場合に運転者が眠気を催していると判定するようにしている。

しかし、上記技術では、例えば、瞬きを連続的に繰り返す場合のような、閉眼状態と開眼状態が短時間のうちに繰り返される場合にも、閉眼状態の極値が高くなっていると誤判定してしまう問題がある。また、外乱光によって一時的に検出が途切れる場合もあり、連続的に計測が継続されるとは限らない。

さらに、一定の計測時間における頻度分布から閉眼状態を判定しているため、計測時間の経過後でなければ閉眼状態を検出できない問題もある。すなわち、計測時間内のどの時点で閉眼状態に移行したか特定できず、実際に閉眼状態に移行した時刻と閉眼状態を検出した時刻に時間差が生じ、遅れが発生する虞がある。

一方、特許文献２では、瞬きや外乱光の影響をノイズとして排除するために閾値を用いているが、閉眼状態を判定する際に閾値を用いると、閾値の定義に起因した誤差は避けられない。そもそも、目の大きさには個人差があり、表情や姿勢を始め、様々な要因に影響されるので、閾値を設定すること自体が難しい。

時開２００８−９９８８４号公報 特開２０１０−１８４０６７号公報

本発明は、上記のような実状に鑑みてなされたものであって、その目的は、居眠り検知装置において、瞬きや外乱光などの影響を排除し、検出精度および応答性を向上させることにある。

上記課題を解決するため、本発明に係る居眠り検知装置は、
対象者の両眼画像から瞼開度を検出する手段と、
前記瞼開度を所定フレームレートで時系列データとして記録する手段と、
前記時系列データの最新フレームを含む連続した所定数の検知対象フレームを先行グループと後続グループに区分する境界フレームであって、前記先行グループの時系列データと前記後続グループの時系列データとの分離度が最大となるような境界フレームを閉眼開始時刻として抽出する居眠り判定手段と、を備えた。

上記構成によれば、居眠り検知装置の通常の実施において、検知開始直後に居眠りが始まることはないので、開始直後は、瞼開度が検知対象フレーム全体で開眼レベルにあり、先行グループと後続グループの分離度はごく小さい値をとり続けるが、居眠りの傾向が表れると、後続グループに瞼開度の低いレベルが出現し分離度が上昇する。したがって、連続した時系列データから直接的に前後の変化点を検出でき、検出精度および応答性を向上する上で有利である。

しかも、瞬きのような短時間の変化や外乱光によるデータの欠落では分離度は殆ど変化しないことに加えて、眼の大きさや開き具合などの個人差や、姿勢変化、顔の傾け動作などで画像に取得される大きさの違いが生じても、それらは先行グループのデータとして時系列で記録される時点で予め考慮されるので、それらを排除するための処理手順や前処理が不要であり、処理や装置を簡素化できるとともに、誤検出を防止する上で有利である。

本発明の好適な態様では、前記居眠り判定手段は、前記所定数の検知対象フレームの全フレームについて、各フレームが境界フレームであるものとして、前記先行グループの時系列データと前記後続グループの時系列データとの間の分離度として分散を求め、前記分散が最大となる境界フレームを閉眼開始時刻として抽出するように構成されている。この態様によれば、先行グレープと後続グループの分離度の判定に、各グループにフレーム数の重み付けがなされるので、瞬きなどの一時的かつ散発的な変動による影響を排除して安定的な居眠り検知を行う上で有利である。

本発明に係る居眠り検知装置は、
対象者の両眼画像から瞼開度を検出するステップと、
前記瞼開度を所定フレームレートで時系列データとして記録するステップと、
前記時系列データの記録手段から、最新フレームを含む連続した所定数の検知対象フレームの時系列データを読み込むステップと、
前記所定数の検知対象フレームの全フレームについて、各フレームが境界フレームであるものとして、前記の検知対象フレームの時系列データを先行グループと後続グループに区分し、前記先行グループの時系列データと前記後続グループの時系列データとの間の分離度を算出するステップと、
前記各先行グループと後続グループの時系列データの分離度が最大となる境界フレームを閉眼開始時刻として抽出するステップと、
を実行可能な演算処理装置（コンピュータ）を備えることによっても実施可能である。

また、本発明のさらに好適な態様では、前記所定数の検知対象フレームのフレーム数Ｎ、前記先行グループの時系列データの平均値μ１、前記後続グループの時系列データの平均値μ２、前記境界フレームｋにおける分離度ηｋは、次式
ηｋ＝（μ１−μ２）^２
（但し、μ２＞μ１ならば、ηｋ＝０）
から算出されるように構成されている。この態様によれば、検出精度を維持しつつ計算および処理を簡素化できる利点がある。

本発明の好適な態様では、前記居眠り判定手段は、前記閉眼開始時刻を検出後、所定時間閉眼状態が経過した後に居眠り判定するように構成されている。この態様によれば、所定時間を、居眠り検出装置の使用目的に応じて許容され得る時間に設定することで、当該使用目的に影響を与えないレベルの閉眼動作を排除することができる。

本発明に係る居眠り検知装置は、車両の居眠り運転防止システムとして実施するのに好適である。例えば、前記対象者が車両の運転者であり、前記居眠り判定手段による居眠り判定時に、前記運転者への警報または前記車両への制御信号が出力されるように構成されている。

本発明に係る居眠り検知装置の実施形態を示すブロック図である。 本発明に係る居眠り検知装置が実施される車両を示す概略図である。 瞼開度の検出を示す概略図である。 本発明に係る居眠り検知装置の動作を示すフローチャートである。 瞼開度の経時的変化を示すグラフである。 本発明に係る居眠り検知装置における閉眼開始時刻の検出プロセスを示すフローチャートである。 クラス分離度と閉眼開始時刻の検出を示すグラフである。 姿勢が変化した場合における瞼開度の経時的変化を示すグラフである。 時系列（ａ）〜（ｄ）における瞼開度の経時的変化を示すグラフ（左側）および分離度の経時的変化を示すグラフ（右側）である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図２は、本発明に係る居眠り検知装置１を居眠り運転防止システムとして実施した車両４の概略を示しており、図において、居眠り運転防止システムは、居眠り検知装置１、車両情報検出手段２０、カメラ２１、および、警報装置２２等から構成されており、カメラ２１に撮影される画像から、運転者３０の瞼開度を経時的に検出し、運転者３０が居眠り状態に移行しつつあると判断された場合に、警報装置２２を通じて運転者３０に覚醒を促す等の防止策を実行するものである。

車両情報検出手段２０は、車両各部のセンサ出力を有線または無線信号として取得するものであり、例えば、車速、ハンドル操舵角、アクセル開度、ブレーキスイッチ、ウィンカースイッチの操作状態などの車両情報を無線信号として取得する車載ネットワーク（ＣＡＮ）が好適に用いられる。

カメラ２１は、運転者３０の少なくとも両眼部分を撮影できるように、運転者３０の顔に向けて、インストルメントパネルやコラムカバーに設置され、ＣＣＤやＣＭＯＳなどの固体撮像素子を用いたデジタルカメラが好適に用いられる。

居眠り検知装置１は、図１に示すように、車両情報記録部１０、画像記録部１１、瞼開度検出部１２、時系列データ記録部１３、クラス分離度算出部１４、閉眼開始時刻検出部１５、閉眼終了時刻検出部１６、居眠り状態判定部１７、信号出力部１８から主に構成されている。

これらは、好適には、それぞれの機能を実行するように動作可能なプログラムおよびデータを格納するＲＯＭ、演算処理を行うＣＰＵ、前記プログラムが読み出され前記ＣＰＵの作業領域および演算結果の一時記憶領域となるＲＡＭ、入力側外部機器（２０，２１）が接続される入力インターフェース、出力側外部機器（２２）が接続される出力インターフェースなどからなるコンピュータで構成される。

以下、居眠り検知装置１の各部の動作について、図１のブロック図および図４のフローチャートを参照しながら詳細に説明する。

車両情報記録部１０は、車両情報検出手段２０を通じて取得される車両情報を記録し、例えば、車速がゼロの場合は停車中と見做し、ハンドル操舵角、アクセル開度、ブレーキスイッチ、ウィンカースイッチ等の操作が検出されている場合は、運転者３０は覚醒中と見做して居眠り検知装置１を不作用とする（Ｓ１０１）。また、車速に応じて後述の居眠り状態判定における継続時間を変更することもできる。

画像記録部１１は、カメラ２１を通じて取得される画像を所定のフレームレートで時系列データとして記録する（Ｓ１０２）。後述する居眠り判定に必要なフレーム数のデータが一時的に保持され順次更新される方式でも良いし、所定の記憶容量まで記憶された後に順次上書きされる方式でも良い。

瞼開度検出部１２は、記録された画像を処理して瞼開度を求める画像処理を行う（Ｓ１０３）。瞼開度を求める画像処理手順は、画像処理および画像認識に係る公知の技術を利用できる。例えば、図３に示されるような両眼２Ｌ，２Ｒの画像を二値化すると、瞼のラインと瞳部分は黒色画素となる。そこで、得られた二値画像において、両眼２Ｌ，２Ｒを上下に横切る各画素列における黒色画素数の最大値は、左右の瞳の中央の上下方向幅に対応し、瞼開度Ｏ_Ｌ，Ｏ_Ｒとなる。

なお、記録開始直後（運転開始直後）は、図中３´で示されるような覚醒状態にあると見做せるので、この場合の瞼開度（Ｏ_ＬＭＡＸ，Ｏ_ＲＭＡＸ）に対する割合を瞼開度Ｏ_Ｌ，Ｏ_Ｒ（％）としても良いが、本発明では、後述のように、開眼状態と閉眼状態の分離度を検出するため、瞼開度の絶対値やそれを基準とした瞼開度自体を求める必要はなく、黒色画素数の最大値をそのまま瞼開度Ｏ_Ｌ，Ｏ_Ｒとして用いることができる。また、左右の瞼開度Ｏ_Ｌ，Ｏ_Ｒの平均値を採用しても良いし、何れか一方が開眼状態にあればよいという観点から、左右のうち大きい方の値を採用することもできる。逆に、左右のうち小さい方の値を採用しても良い。

時系列データ記録部１３は、瞼開度検出部１２で求めた瞼開度Ｏ_Ｌ，Ｏ_Ｒを所定のフレームレートで時系列データとして記録する（Ｓ１０４）。フレームレートは、特に限定されるものではないが、瞬き動作の特性を考慮して１０〜３０フレーム／秒が好適である。フレームレートが高過ぎると、装置への負荷が増大し、必要な処理速度を確保するのに必要な装置コストが増大することになる。

また、時系列データ記録部１３では、居眠り状態を判定するために必要な最小限のフレーム数だけデータが保持され、それより過去のデータは順次消去され、現在フレームのデータが新たに追加される。それにより、過去一定時間分の時系列データを絶えず更新しながら保持するよう動作する。

図５は、瞼開度の時系列データの一例を示すグラフであり、現在時刻を基準に−１０〜−３秒付近では、瞼開度が９０％前後の開眼状態であり、瞬きによる瞬間的な瞼開度の低下や外乱光などによる一時的なデータの欠落が見られる。このような開眼状態から、−３秒以降では、閉眼状態に大きく変化している。

後に詳述するが、車速などを考慮して、閉眼状態が２秒以上継続する場合を分離度から検知するためには、その少なくとも２倍の４秒分の時系列データが保持されることが好ましい。本実施形態では、確実な検出が行えるように、５秒分の時系列データが保持される場合を想定し、３０フレーム／秒のフレームレートにおいてＮ＝１５０フレームの時系列データが保持される。

クラス分離度算出部１４は、上記のように取得されたＮフレーム分の時系列データを、図７に示すように、先行グループＣ１と後続グループＣ２に区分し、先行グループＣ１の時系列データと後続グループＣ２の時系列データの分離度を算出し、この分離度が最大となる境界値を求める（Ｓ１０５）。基本的に、運転開始時には、運転者３０は覚醒していると見做せるので、検知開始当初は、先行グループＣ１には瞼開度が高い開眼状態クラスの時系列データが記録されており、居眠りが検知される場合には、後続グループに瞼開度が低い閉眼状態クラスの時系列データが出現することになる。

２つのクラス間の分離度は、クラス間分散σ_Ｂ ^２と全分散σ_Ｔ ^２の比ηとして次式により求めることができる。
η＝σ_Ｂ ^２／σ_Ｔ ^２＝ω_１ω_２（μ１−μ２）^２／（ω_１十ω_２）^２σ_Ｔ ^２
ここで、μ１，μ２は各クラスの平均値、ω_１，ω_２は各クラスのデータ数である。

この分離度ηが最大となるようなクラス間の境界値を求めることにより、開眼状態クラスから閉眼状態クラスへの変化点を特定することができる。このとき、全分散σ_Ｔ ^２は個々のデータに対して一定値であるため、クラス間分散σ_Ｂ ^２における各クラスの平均値μ１，μ２の差の二乗が最大となる境界値を求めればよい。

具体的に、クラス分離度算出部１４は、検出対象とするＮフレームを先行グループＣ１と後続グループＣ２に区分する境界フレームｋが０〜Ｎの各フレームである場合について、先行グループＣ１の時系列データと後続グループＣ２の時系列データの分離度ηを算出し、分離度ηが最大となる境界フレームｋを閉眼開始時刻とする。

閉眼開始時刻検出部１５は、クラス分離度算出部１４によって求められた閉眼開始時刻（開始フレーム）からの時間経過を計測する（Ｓ１０６）。居眠り状態判定部１７では、分離度ηの最大値が、車速に応じて設定される所定時間（所定フレーム）以上に亘って継続的に検出された場合に、居眠りが発生したものと判定する（Ｓ１０９）。

なお、閉眼開始時刻検出部１５が閉眼開始時刻（開始フレーム）を検出した後に、閉眼状態クラスから開眼状態クラスへの変化点が、閉眼終了時刻検出部１６によって検出された場合には（Ｓ１０７）、その間の所要時間を算出し（Ｓ１０８）、居眠りが発生したものと判定する（Ｓ１０９）。

信号出力部１８では、居眠り状態判定部１７で居眠り状態が判定された場合、車両情報記録部１０に取得されている現在の車両情報を参照し（Ｓ１１０）、車両が走行中であって、ハンドル、アクセル、ブレーキ、ウィンカー等の操作が行われていない場合には、警報装置２２に制御信号を出力し（Ｓ１１１）、運転者に覚醒を促すための警報を発する。同時に、車両の表示部に警告表示を行っても良いし、車両を自動停車させる等の処理を実行しても良い。一方、車両情報から運転中であると判断される場合には、制御信号は出力しない。

次に、時系列データから閉眼開始時刻を検出するプロセスの具体例について、図６のフローチャートおよび図７のグラフを参照しながら説明する。

先ず、時系列データ記録部１３に記録されている一定フレーム数（０〜Ｎ）の瞼開度データを読み出す（Ｓ２０１）。ここで、居眠り状態を２秒以上とし、その居眠り状態を検出するために、３０フレーム／秒のフレームレートにおいて５秒に相当するフレーム数（Ｎ＝１５０）のデータが読み出される。なお、図示例では、現在のフレーム番号を０とし、過去に遡るに従ってフレーム番号が大きくなるようにしているが、時刻とフレーム番号の対応が取れれば、最も古いフレーム番号を０としてもよい。

次に、先行グループＣ１（開眼状態クラス）と後続グループＣ２（閉眼状態クラス）との境界フレームに対応する計算用フラグｋを初期化する（Ｓ２０２）。

次いで、後続グループＣ２（０〜ｋ）の範囲の瞼閉度データの平均値μ２を計算し（Ｓ２０３）、先行グループＣ１（ｋ十１〜Ｎ）の範囲の瞼開度データの平均値μ１を計算する（Ｓ２０４）。

境界フレームに対応する計算フラグｋにおける分離度ηｋを次式により計算し、記録する（Ｓ２０５）。
ηｋ＝（μ１−μ２）^２
但し、μ２＞μ１ならば、ηｋ＝０

境界フレームに対応する計算フラグｋの値をカウントアップする（Ｓ２０６）。

境界フレームに対応する計算フラグｋの値がＮに達したか判定し（Ｓ２０７）、計算フラグｋの値がＮに達していない場合は、ステップ（Ｓ２０３）に戻り、ステップ（Ｓ２０６）までのループ処理を繰り返す。

境界フレームに対応する計算フラグｋの値がＮに達した場合は、ループ処理を終了し、ループ処理で求めた分離度η１〜ηＮ−１の中から、分離度が最大となる境界フレームｋｍａｘを決定する（Ｓ２０８）。

境界フレームｋｍａｘを閉眼開始時刻として出力する（Ｓ２０９）。

（顔向きが上下に変化した場合への対応）
次に、図８は、顔向きが上下に変化した場合における瞼開度の経時的変化を示している。運転者３０の顔向きが上向きまたは下向きになった場合、図３の画像は見かけ上、眼が細くなったように映るので、瞼開度検出部１２に検出される瞼開度Ｏ_Ｌ，Ｏ_Ｒは、初期状態における瞼開度（Ｏ_ＬＭＡＸ，Ｏ_ＲＭＡＸ）に比べて全体的に低い値となる。

しかし、本発明に係る居眠り検知装置１では、瞼開度Ｏ_Ｌ，Ｏ_Ｒ自体を閾値判定することなく、先行グループＣ１と後続グループＣ２の分離度を求めることによって、直接的に閉眼開始時刻（境界フレームｋ）を検出できるため、顔向きが上下に変化した場合は勿論、運転者が交代した場合に個人差が生じても、パラメータ調整やキャリブレーション等を必要としない。

（閉眼開始時刻の検出、居眠り判定例）
図９の（ａ）〜（ｄ）の左側４段のグラフは、それぞれ１秒（３０フレーム）ずつの時間差で推移する瞼開度の経時的変化を示しており、以下、閉眼開始時刻の検出および居眠り判定結果例について図面を参照しながら説明する。

先ず、図９（ａ）では、瞬きによる瞬間的な閉眼状態や外乱光によるデータ欠落を経過しながらも、それらは分離度には有意な影響を与えるには至らず、開眼状態が継続しているが、時刻Ａにおいて瞼開度が下がり、分離度が最大となる。この時、時刻Ａが閉眼開始時刻とされるものの、後続の図から明らかなように、その後に時刻Ａが最大分難度でなくなった時点で、閉眼開始時刻から除外されることになる。

一方、図９（ｂ）では、時刻Ｂにおいて分難度が最大となり、閉眼開始時刻とされ、後続の図９（ｃ）および（ｄ）においても、時刻Ｂの最大分難度が継続しており、（ｄ）では所定時間（２秒）の閉眼状態の継続をもって居眠り状態であると判定される。

なお、上記実施形態では、分離度ηが最大となるようなクラス間の境界値として、各クラスの平均値μ１，μ２の差の二乗が最大となる境界値を求めることにより、開眼状態クラスから閉眼状態クラスへの変化点を特定する場合について述べたが、各クラスの平均値μ１，μ２の差の絶対値が最大となる境界値を求めることにより、開眼状態クラスから閉眼状態クラスへの変化点を特定することもできる。但し、分離度ηの変化は小さくなる。

一方、分離度を、クラス間分散σ_Ｂ ^２と全分散σ_Ｔ ^２の比ηとして求める場合には、各クラスのデータ数ω_１，ω_２が反映されるため、開眼状態クラスから閉眼状態クラスへの変化点に達した後、分離度が、図９（ｂ）に示されるように急激に上昇することはないが、瞬きなどの一時的な変動に対する安定性は高いと言える。

以上、本発明の実施形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能である。

例えば、上記実施形態では、車両の居眠り運転防止システムに実施する場合について述べたが、本発明に係る居眠り検知装置は、モニターを注視することが求められるオペレーター業務など、車両以外における居眠り検知にも実施できる。

１ 居眠り検知装置
２Ｌ，２Ｒ 両眼
３ 上瞼
４ 車両
１０ 車両情報記録部
１１ 画像記録部
１２ 瞼開度検出部
１３ 時系列データ記録部
１４ クラス分離度算出部
１５ 閉眼開始時刻検出部
１６ 閉眼終了時刻検出部
１７ 居眠り状態判定部
１８ 警報表示制御信号出力部
２０ 車両情報検出手段
２１ カメラ
２２ 警報装置
３０ 運転者
Ｎ 検知対象フレーム数
Ｏ_Ｌ，Ｏ_Ｒ 瞼開度
η，ηｋ 分離度
μ１，μ２ 平均値

Claims (6)

1. 対象者の両眼画像から瞼開度を検出する手段と、
   前記瞼開度を所定フレームレートで時系列データとして記録する手段と、
   前記時系列データの最新フレームを含む連続した所定数の検知対象フレームを先行グループと後続グループに区分する境界フレームであって、前記先行グループの時系列データと前記後続グループの時系列データとの分離度が最大となるような境界フレームを閉眼開始時刻として抽出する居眠り判定手段と、
   を備えた居眠り検知装置。
2. 前記居眠り判定手段は、前記所定数の検知対象フレームの全フレームについて、各フレームが境界フレームであるものとして、前記先行グループの時系列データと前記後続グループの時系列データとの間の分離度として分散を求め、前記分散が最大となる境界フレームを閉眼開始時刻として抽出するように構成されていることを特徴とする請求項１記載の居眠り検知装置。
3. 対象者の両眼画像から瞼開度を検出するステップと、
   前記瞼開度を所定フレームレートで時系列データとして記録するステップと、
   前記時系列データの記録手段から、最新フレームを含む連続した所定数の検知対象フレームの時系列データを読み込むステップと、
   前記所定数の検知対象フレームの全フレームについて、各フレームが境界フレームであるものとして、前記の検知対象フレームの時系列データを先行グループと後続グループに区分し、前記先行グループの時系列データと前記後続グループの時系列データとの間の分離度を算出するステップと、
   前記各先行グループと後続グループの時系列データの分離度が最大となる境界フレームを閉眼開始時刻として抽出するステップと、
   を実行可能な演算処理装置を備えた居眠り検知装置。
4. 前記所定数の検知対象フレームのフレーム数Ｎ、前記先行グループの時系列データの平均値μ１、前記後続グループの時系列データの平均値μ２、前記境界フレームｋにおける分離度ηｋは、次式
   ηｋ＝（μ１−μ２）^２
   但し、μ２＞μ１ならば、ηｋ＝０
   から算出されるように構成されていることを特徴とする請求項１または３記載の居眠り検知装置。
5. 前記居眠り判定手段は、前記閉眼開始時刻を検出後、所定時間閉眼状態が経過した後に居眠り判定するように構成されていることを特徴とする請求項１〜４の何れか一項記載の居眠り検知装置。
6. 前記対象者が車両の運転者であり、前記居眠り判定手段による居眠り判定時に、前記運転者への警報または前記車両への制御信号が出力されるように構成されていることを特徴とする請求項１〜５の何れか一項記載の居眠り検知装置。

Images