JP4702100B2 - 居眠り判定装置および居眠り運転警告装置 - Google Patents

Description

本発明は、居眠り判定装置および居眠り運転警告装置に係り、特に、運転者の顔を撮影する撮影手段により撮影された顔画像から運転者の居眠りを判定する居眠り判定装置、および、居眠りを行う運転者に対して居眠りからの覚醒を促す居眠り運転警告装置に関する。

従来から、車両運転者の顔を撮影する撮影部を備え、その撮影部により撮影された顔の状態に基づいてその運転者の居眠りを判定する装置が知られている（例えば、特許文献１参照）。この装置においては、まず、運転者の顔を撮影する撮影手段により撮影された画像から運転者の眼の位置を検出し、その位置の移動状態を把握する。そして、その眼の移動状態に基づいて運転者が居眠りを行っているか否かを判定する。
特開２００５−１８６５６号公報

ところで、運転者の眼の位置やその移動状態は、車両の走行状態に応じて変化する。例えば、運転者は、覚醒しているときにも、車両がカーブ路を走行する状況では眼を左右に移動させる機会や量が多い一方、車両が直進路を走行する状況では眼を左右に移動させる機会や量は少ない。また、車両が歩道や信号機のある一般道を走行する状況では眼を左右上下に移動させる機会や量が多い一方、車両が歩道や信号機のない高速道路を走行する状況では眼を左右上下に移動させる機会や量は少ない。従って、カーブ路と直進路との区別なく或いは一般道と高速道路との区別なく眼の移動状態のみから運転者の居眠り判定を行うシステムでは、運転者がカーブ路や一般道での走行時に覚醒状態にあるにもかかわらず居眠りが行われているとの誤判定がなされないように、眼の移動状態に関する閾値を予め高くしておくことが必要となる。しかし、かかる構成では、車両が直進路や高速道路を走行する状況で運転者が居眠りしているときに、その居眠りが行われていると判定され難いものとなるおそれがある。

本発明は、上述の点に鑑みてなされたものであり、運転者の居眠り判定を車両の走行状態に対応させて適切に行う居眠り判定装置、および、その居眠りする運転者を覚醒させる居眠り運転警告装置を提供することを目的とする。

上記の目的は、運転者の顔を撮影する撮影手段により撮影された顔の画像データに基づいて該運転者の居眠りを判定する居眠り判定装置であって、前記撮影手段により撮影される顔の画像データから該運転者の顔内部位の位置変化を検出する顔位置変化検出手段と、前記顔移動検出手段により検出される前記顔内部位の位置変化に基づいて、運転者の居眠りを判定する居眠り判定手段と、車両の走行する道路が直進路であるかカーブ路であるかを判定する走行状態検出手段と、前記走行状態検出手段により車両の走行する道路がカーブ路であると判定する状況では、該道路が直進路であると判定する状況に比べて、前記顔内部位の左右位置変化に関する運転者の居眠りを判定するための閾値を上げる左右閾値変更手段と、を備える居眠り判定装置により達成される。

この態様の発明において、運転者の居眠りの判定は、撮影手段により撮影された運転者の顔の画像データから検出した顔内部位の位置変化と車両の走行状態とに基づいて行われる。このため、顔内部位の位置変化に基づく運転者の居眠り判定を車両の走行状態に対応させて適切に行うことが可能となる。

また、本発明によれば、カーブ路走行時に運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、直進路走行時に運転者が居眠りしているときに確実に居眠りが生じていると判定することができる。

また、上記した居眠り判定装置において、前記左右閾値変更手段により前記閾値を上げるときには、運転者の居眠りを判定するために必要なパラメータである前記顔内部位の全位置変化要素のうち左右位置変化の重み付けを大きくする重み付け変更手段を備えることとすれば、カーブ路走行時に居眠りする運転者の頭や顔は左右に移動し易くかつその量も多い傾向となるので、カーブ路走行時に運転者が居眠りする際に居眠りが生じていると判定し易くすることができる。

また、上記の目的は、運転者の顔を撮影する撮影手段により撮影された顔の画像データに基づいて該運転者の居眠りを判定する居眠り判定装置であって、前記撮影手段により撮影される顔の画像データから該運転者の顔内部位の位置変化を検出する顔位置変化検出手段と、前記顔移動検出手段により検出される前記顔内部位の位置変化に基づいて、運転者の居眠りを判定する居眠り判定手段と、車両の走行する道路が一般道であるか高速道路であるかを判定する走行状態検出手段と、前記走行状態検出手段により車両の走行する道路が高速道路であると判定する状況では、該道路が一般道であると判定する状況に比べて、前記顔内部位の位置変化に関する運転者の居眠りを判定するための閾値を下げる閾値変更手段と、を備える居眠り判定装置により達成される。
この態様の発明においては、一般道走行時に運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、高速道路走行時に運転者が居眠りしているときに確実に居眠りが生じていると判定することができる。

ところで、上記した居眠り判定装置において、顔内部位は、顔の左右両端位置、顔の上下位置、又は眉上と目下との間の領域であることとすればよい。

尚、上記した居眠り判定装置の備える前記居眠り判定手段により運転者が居眠りを行っていると判定される場合に、該運転者に対して居眠りからの覚醒を促す警告を行う警告手段を備える居眠り運転警告装置は、居眠りを行う運転者に対して覚醒を促すうえで好適である。

本発明によれば、顔内部位の位置変化に基づく運転者の居眠り判定を車両の走行状態に対応させて適切に行うことができる。また、居眠りする運転者に対して覚醒を促すことができる。

以下、図面を用いて、本発明の具体的な実施の形態について説明する。

図１は、本発明の第１実施例である車両に搭載されるシステムの構成図を示す。また、図２は、本実施例のシステムの有する車載カメラの搭載構造を示す。尚、図２（Ａ）には車両横方向から見た際の図を、また、図２（Ｂ）には図２（Ａ）に示す矢視IIIの方向へ見た際の図を、それぞれ示す。本実施例のシステムは、車載カメラを用いて車両シートに着座する車両運転者の顔を撮影してその顔の位置変化を検出し、主にその位置変化に基づいて運転者の居眠りを判定すると共に、運転者が居眠りしているときにはその覚醒を促す居眠り判定システムである。

図１に示す如く、本実施例の居眠り判定システムは、車両シートに着座する運転者の顔を撮影するために設けられた顔向きカメラ１０を備えている。顔向きカメラ１０は、例えばステアリングコラムアッパカバーの上面又はコンビネーションメータ内に配置されており、ステアリングホイールの表面に運転者がそのステアリングホイールを握るためかつコンビネーションメータを視認するために開口する開口部を通して、車両進行方向と正対する方向かつ車両運転者の頭部が存在する方向へ指向されており、車両運転者の顔をほぼ正面から撮影することが可能である。尚、夜間撮影のため、車両運転者の顔へ向けて赤外線を投光するランプを設けることとしてもよい。

顔向きカメラ１０は、顔向きＥＣＵ１２に接続されている。顔向きカメラ１０の撮影した映像信号は、顔向きＥＣＵ１２に供給される。顔向きＥＣＵ１２は、コンピュータを主体に構成されており、顔向きカメラ１０から供給される映像信号を処理して、後に詳述する如く運転者の顔の状態を検知する。

本実施例の居眠り判定システムは、また、心拍数センサ１４を備えている。心拍数センサ１４は、例えば運転者の握るステアリングホイールに配設されており、ステアリングホイールを手で握る運転者の心拍数を検知してその心拍数に応じた信号を出力する。

本実施例の居眠り判定システムは、また、ナビゲーションＥＣＵ１６を備えている。ナビゲーションＥＣＵ１６には、ＨＤＤやＤＶＤなどの記録媒体からなる地図データベース１８が接続されている。地図データベース１８には、地図データとして、道路のリンク情報と共に、道路リンクが所定距離以上の直進路であるか、所定曲率以上のカーブ路であるか、国道や県道などの一般道であるか、自動車専用道路や首都高速などの高速道路であるかなどの道路種別データが格納されている。ナビゲーションＥＣＵ１６は、ＧＰＳ受信機や方位センサ，速度センサなどからの信号に基づいて、地図データベース１８に格納されている地図データを参照して、自車両の現在位置を検出する。

顔向きＥＣＵ１２、心拍数センサ１４、及びナビゲーションＥＣＵ１６には、ＣＡＮバス２０を介して、居眠り検知ＥＣＵ２２が接続されている。顔向きＥＣＵ１２の検知した運転者の顔の情報、心拍数センサ１４の検知した運転者の心拍数の情報、及びナビゲーションＥＣＵ１６の検知した自車位置の情報は、居眠り検知ＥＣＵ２２に供給される。居眠り検知ＥＣＵ２２は、コンピュータを主体に構成されており、各種センサやＥＣＵ１２〜１６から供給される情報に基づいて、運転者が居眠りしているか否かを判定する。

居眠り検知ＥＣＵ２２には、ＣＡＮバス２０を介して、コンピュータを主体に構成された、メータＥＣＵ２４、シートベルトＥＣＵ２６、及びブレーキＥＣＵ２８が接続されている。居眠り検知ＥＣＵ２２は、運転者が居眠りを行っていると判定するときは、その情報を各ＥＣＵ２４〜２８に供給する。

メータＥＣＵ２４には、車室内に設けられた警報ブザー３０が接続されている。メータＥＣＵ２４は、運転者が居眠りしている旨の情報を受信した場合、警報ブザー３０に対して駆動を指令する信号を供給する。警報ブザー３０は、メータＥＣＵ２４からの指令に従ってブザー吹鳴を行うことで運転者に対する注意喚起を行う。シートベルトＥＣＵ２６には、運転者のシートベルトを巻き取るモータ３２が接続されている。シートベルトＥＣＵ２６は、運転者が居眠りしている旨の情報を受信した場合、モータ３２に対して間欠駆動を指令する信号を供給する。モータ３２は、シートベルトＥＣＵ２６からの指令に従って運転席シートベルトを断続的に巻き取ることで運転者に対する注意喚起を行う。また、ブレーキＥＣＵ２８には、車両を制動させるブレーキアクチュエータ３４が接続されている。ブレーキＥＣＵ２８は、運転者が居眠りしている旨の情報を受信した場合、ブレーキアクチュエータ３４に対して間欠駆動を指令する信号を供給する。ブレーキアクチュエータ３４は、ブレーキＥＣＵ２８からの指令に従って断続的に車両制動を行うことで運転者に対する注意喚起を行う。

尚、本実施例において、上記した居眠り判定システムを搭載する車両には、走行する道路に描かれた白線や黄線などの車線と自車両との相対位置を検知して、自車両をその車線に沿って走行するように自動操舵させるレーンキープシステムが搭載されている。かかるレーンキープシステムによれば、車両を運転者のステアリング操作によることなく車線に沿って走行させることが可能となる。

次に、本実施例のシステムにおける具体的な動作を説明する。図３は、運転者の覚醒時と居眠り時とでカメラ撮像画像に写る状態の違いを説明するための図を示す。

一般に、運転者が居眠りするとき、その眼はある程度長い時間継続して閉じられると共に、その頭は左右或いは上下に位置移動する傾向にある（図３参照）。従って、運転者の眉上と目下との間の距離（Ｙ１−Ｙ２間の距離）が比較的長い状態から比較的短い状態へ移行した後にその状態が長時間継続するときは、眼の閉じられた状態が長時間継続していると判断し、運転者が居眠りしている可能性は高いと判断できる。また、運転者の顔の輪郭について左右両端位置（Ｘ１，Ｘ２）或いは上下位置（Ｙ１，Ｙ２，Ｙ３）が通常時に比べて大きく移動するときは、運転者が居眠りしている可能性は高いと判断できる。また、人は落ち着いているときに居眠りするものであるので、居眠りが生ずると、その心拍数は低い値で安定したものとなる。従って、運転者の心拍数が低い値で安定すれば、運転者が居眠りしている可能性は高いと判断できる。

そこで、本実施例においては、顔向きカメラ１０の撮像画像からその画像をエッジ処理することによりその画像内での運転者の（ａ）顔左右両端位置（Ｘ１，Ｘ２）、（ｂ）顔上下位置（Ｙ１，Ｙ２，Ｙ３）、及び（ｃ）眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）をそれぞれ検出すると共に、心拍数センサ１４を用いて（ｄ）運転者の心拍数Ｎを検出して、それらの検出値を総合して運転者の居眠り判定を行う。具体的には、上記（ａ）〜（ｄ）の運転者の居眠り判定を行うために必要な各項目についてそれぞれ重み付け係数Ａ〜Ｄ（０≦Ａ〜Ｄ≦１；Ａ＋Ｂ＋Ｃ＋Ｄ＝１）を設定し、かつ、各項目についてその検出値に対応した居眠り確度Ｐａ〜Ｐｄ（％）をそれぞれ算出して、下記（１）式に従って運転者が居眠りしている可能性（信頼度）Ｔを計算する。そして、その信頼度Ｔが所定の閾値Ｔ０以上であるときに運転者が居眠りをしていると判定する。

Ｔ＝Ａ・Ｐａ＋Ｂ・Ｐｂ＋Ｃ・Ｐｃ＋Ｄ・Ｐｄ ・・・（１）
例えば、Ａ＝０．１、Ｂ＝０．２、Ｃ＝０．５、及びＤ＝０．２と設定する。また、顔左右両端位置についてその移動量ΔＸ１，ΔＸ２が所定量ａ未満であるときは居眠り確度Ｐａをゼロとする一方でその移動量ΔＸ１，ΔＸ２が所定量ａ以上であるときは居眠り確度Ｐａを１００とする。また、顔上下位置についてその移動量ΔＹ１，ΔＹ２，ΔＹ３が所定量ｂ未満であるときは居眠り確度Ｐｂをゼロとする一方でその移動量ΔＹ１，ΔＹ２，ΔＹ３が所定量ｂ以上であるときは居眠り確度Ｐｂを１００とする。また、眉上−目下間の領域についてその領域内におけるエッジ数がイグニションオン後の初期値に比べてあまり減少していないとき或いはその初期値に比べて所定量ｃ以上減少しているがその状態が所定時間継続しないときは居眠り確度Ｐｃをゼロとする一方でそのエッジ数が初期値に比べて所定量ｃ以上減少している状態が所定時間継続するときは居眠り確度Ｐｃを１００とする。更に、運転者の心拍数についてその心拍数Ｎが所定数ｄ以上であるときは居眠り確度Ｐｄをゼロとする一方でその心拍数Ｎが所定量ｄ未満であるときは居眠り確度Ｐｄを１００とする。そして、設定されている重み付け係数Ａ〜Ｄと上記の各条件に従って算出した居眠り確度Ｐａ〜Ｐｄとに基づいて上記の信頼度Ｔを計算し、その計算した信頼度Ｔが所定の閾値Ｔ０以上であるときに運転者が居眠りをしていると判定する。

このように、本実施例のシステムにおいては、顔向きカメラ１０の撮像画像の処理に基づいて検出される、運転者の顔左右両端位置の移動量、顔上下位置の移動量、及び眉上−目下間の領域縮小の継続時間、並びに、心拍数センサ１４からの信号に基づいて検出される心拍数の安定度から、各項目についての居眠り確度Ｐａ〜Ｐｄを算出し、そして、それらの居眠り確度Ｐａ〜Ｐｄに基づいて総合的に運転者が居眠りしている信頼度Ｔを計算する。従って、本実施例のシステムによれば、運転者の居眠り時に生ずる眼の閉じや顔の移動など各種の状況を総合的に判断して、その居眠りの有無を適切に判定することが可能となっている。

ところで、運転者の眼や顔の位置やその移動状態は、車両の走行状態に応じて変化する。具体的には、運転者は、覚醒時、車両がカーブ路を走行する状況では顔を左右に移動させる機会や量が多い一方、車両が直進路を走行する状況では顔を左右に移動させる機会や量は少ない。従って、カーブ路と直進路との区別なく上記の手法に従って運転者の居眠り判定を行うときには、運転者がカーブ路走行時に覚醒状態にあるにもかかわらず居眠りが行われているとの誤判定がなされないように、眼の移動状態に関する閾値を予め高くしておくことが必要となる。しかし、かかる構成では、車両が直進路を走行する状況で運転者が居眠りしているときに、その居眠りが行われていると判定され難いものとなるおそれがある。

そこで、本実施例のシステムにおいては、運転者の居眠り判定を直進路走行時とカーブ路走行時とでそれぞれ対応させて適切に行うことに特徴を有している。以下、図４乃至図６を参照して、本実施例の特徴部について説明する。図４は、本実施例の居眠り判定システムにおいて居眠り検知ＥＣＵ２２が実行する制御ルーチンの一例のフローチャートを示す。

本実施例のシステムにおいて、顔向きＥＣＵ１２は、所定時間ごとに、顔向きカメラ１０から入力される映像信号としての撮像画像について２値化処理や特徴点抽出処理を行ってそのエッジ情報を抽出する。そして、そのエッジ情報から運転者の顔の左右両端位置（Ｘ１，Ｘ２）、上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び顔中心位置（鼻の位置；Ｘ３）をそれぞれ算出し、それらの各情報をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。

居眠り検知ＥＣＵ２２は、顔向きＥＣＵ１２から供給される情報に基づいて、運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び顔中心位置（鼻の位置；Ｘ３）をそれぞれ検出する（ステップ１００）。そして次に、特に顔左右両端位置（Ｘ１，Ｘ２）と顔中心位置Ｘ３とに基づいて、撮像画像に写し出された運転者の顔の左右間隔比率を算出して、円筒形モデルを参照して運転者の顔が向く方向すなわち正面からの顔向き角度θ（尚、運転者が車両真正面に顔を向けたときを０°とする。）を検出する。

居眠り検知ＥＣＵ２２は、予め、カメラ撮像画像から運転者の居眠りを判定することが可能な顔向き角度の許容値θ０（例えば、±１５°）を格納している。居眠り検知ＥＣＵ２２は、運転者の顔向き角度θを検出するごとに、その顔向き角度θをしきい値θ０と比較する（ステップ１０２）。その結果、｜θ｜≦｜θ０｜が成立しないときは、以後、運転者の居眠り判定を適切に行うことができないとして、処理を終了する。一方、｜θ｜≦｜θ０｜が成立するときは、運転者の顔がほぼ正面方向に向いているとして、次にステップ１０４の処理を実行する。

すなわち、心拍数センサ１４は、所定時間ごとに、運転者の心拍数を検知して、その心拍数に応じた信号をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。居眠り検知ＥＣＵ２２は、心拍数センサ１４から供給される情報に基づいて、運転者の心拍数Ｎを検出する（ステップ１０４）。

また、ナビゲーションＥＣＵ１６は、ＧＰＳ受信機や方位センサ，速度センサなどからの信号に基づいて、地図データベース１８の地図データを参照して、自車位置を検出すると共に、その自車位置における道路或いはその自車位置から所定時間経過後に走行する予定の道路の道路種別（具体的には、自車両が走行する或いは走行する予定の道路が直進路であるかカーブ路であるか）を地図データベース１８から読み出す。そして、それらの情報をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。

居眠り検知ＥＣＵ２２は、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両が走行する或いは走行する予定の道路が直進路であるかカーブ路であるかを判定する（ステップ１０６）。

図５は、本実施例における顔左右両端位置の位置変化（前回からの移動量）ΔＸ１，ΔＸ２と居眠り確度Ｐａとの関係を表したマップを直進路とカーブ路とで比較した図を示す。また、図６は、本実施例において居眠りの信頼度Ｔを算出するうえで必要な顔左右両端位置に関する重み付け係数Ａを直進路とカーブ路とで比較した図を示す。

本実施例において、居眠り検知ＥＣＵ２２には、居眠り確度Ｐａ〜Ｐｄをそれぞれ算出するための閾値である所定量ａ〜ｄの情報が予め記憶格納されているが、顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａとしては、直進路に対応するａ１と、カーブ路に対応するａ２とが設けられている。このカーブ路に対応する所定量ａ２は、カーブ路走行時に運転者が顔を車幅方向（左右方向）に移動させる機会や量が直進路走行時よりも多いことを考慮して、居眠り確度Ｐａの誤算出が生じないように、直進路に対応する所定量ａ１に比べて大きな値に設定されている（図５参照）。

また、居眠り検知ＥＣＵ２２には、運転者の居眠り判定を行うために必要な上記の各項目に対してそれぞれ設定された重み付け係数Ａ〜Ｄが記憶格納されているが、これらの重み付け係数Ａ〜Ｄにはそれぞれ、直進路に対応するＡ１〜Ｄ１と、カーブ路に対応するＡ２〜Ｄ２とが設けられている。具体的には、顔左右両端位置についての重み付け係数Ａは、直進路に対応するＡ１よりもカーブ路に対応するＡ２の方を全体に対する重み付けが大きくなるように設定されており（例えば、Ａ１＝０．１、Ａ２＝０．２；図６参照）、他の重み付け係数Ｂ〜Ｄの少なくとも何れか一つは、直進路に対応するＢ１〜Ｄ１よりもカーブ路に対応するＢ２〜Ｄ２の方を全体に対する重み付けが小さくなるように設定されている（例えば、Ｂ１＝０．２、Ｂ２＝０．１）。

居眠り検知ＥＣＵ２２は、上記ナビゲーションＥＣＵ１６からの情報に基づく判定の結果、自車両の走行する道路が直進路であるときは、顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａを比較的少なめのａ１に設定し、かつ、その重み付け係数Ａを直進路に対応した比較的小さめのＡ１に設定すると共に、他の項目の重み付け係数Ｂ〜Ｄを適宜直進路に対応したものに設定する（ステップ１０８）。一方、自車両の走行する道路がカーブ路であるときは、顔左右両端位置についての居眠り確度Ｐａを算出するうえでの所定量ａを比較的多めのａ２に設定し、かつ、その重み付け係数Ａをカーブ路に対応した比較的大きめのＡ２に設定すると共に、他の項目の重み付け係数Ｂ〜Ｄを適宜カーブ路に対応したものに設定する（ステップ１１０）。

そして、各項目の重み付け係数Ａ〜Ｄ及び居眠り確度判定閾値の設定後、検出した運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び心拍数Ｎから、各項目ごとに設けられた図５に示す如きマップを参照して、各検出値に応じた居眠り確度Ｐａ〜Ｐｄをそれぞれ算出したうえで、上記（１）式に従って運転者が居眠りしている可能性である信頼度Ｔを算出する（ステップ１１２）。

居眠り検知ＥＣＵ２２は、上記の如く算出した信頼度Ｔを、運転者の居眠り判定のための閾値である所定値Ｔ０と比較する（ステップ１１４）。尚、この所定値Ｔ０は、予め運転者が居眠りしている状態と覚醒している状態との境界値に設定されている。その結果、Ｔ≧Ｔ０が成立しないと判別された場合は、運転者が覚醒していると判定する（ステップ１１６）。

一方、Ｔ≧Ｔ０が成立すると判別された場合は、運転者が居眠りしていると判定し（ステップ１１８）、運転者の居眠り情報をメータＥＣＵ２４、シートベルトＥＣＵ２６、及びブレーキＥＣＵ２８に対して供給する。各ＥＣＵ２４〜２８はそれぞれ、居眠り検知ＥＣＵ２２から運転者が居眠りしている旨の情報を受信した場合、アクチュエータ３０〜３４に対して駆動を指令する信号を供給する。そして、各アクチュエータ３０〜３４はそれぞれ、ＥＣＵ２４〜２８からの指令に従って、運転者に対して居眠りの注意喚起を行うべくすなわちその居眠りからの覚醒を促すべく、ブザー吹鳴を行い、シートベルトを断続的に巻き取り、また、車両を断続的に制動させる。

このように、本実施例のシステムにおいては、運転者の居眠り時に生ずる眼の閉じや顔の移動など各種の状況を総合的に判断してその居眠りの有無を判定するうえで、その居眠り判定の基準となる閾値を、車両が直進路を走行しているときとカーブ路を走行しているときとで異ならせることができる。具体的には、運転者の顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａを、直進路走行時は比較的少なめのａ１に設定し、また、カーブ路走行時は比較的多めのａ２に設定することで、その居眠り確度Ｐａの算出のためひいては居眠り判定のための閾値をカーブ路走行時は直進路走行時に比べて上げることができる。

上記の如く、運転者が覚醒していても、カーブ路走行時は、直進路走行時に比べて、その顔を左右に移動させる機会やその量が多い。これに対して、本実施例においては、上述の如く、運転者の顔左右両端位置についての居眠り確度Ｐａを算出するうえでの閾値である所定量ａを、カーブ路走行時は直進路走行時に比べて多めに設定する。このため、本実施例のシステムによれば、顔などを左右に移動させる量の比較的多いカーブ路走行時に、運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、また、顔などを左右に移動させる量の比較的少ない直進路走行時に、運転者が居眠りしているときに確実に居眠りしていると判定することができる。

また、本実施例のシステムにおいては、運転者の居眠りを判定するために必要な各項目の重み付け係数Ａ〜Ｄのうち顔左右両端位置についての重み付け係数Ａを、車両が直進路を走行しているときとカーブ路を走行しているときとで異ならせることができる。具体的には、その顔左右両端位置についての重み付け係数Ａを、直進路走行時は比較的小さめのＡ１に設定し、また、カーブ路走行時は比較的大きめのＡ２に設定することができる。

運転者は居眠りすると、カーブ路走行時は車両に作用する横方向の力によって、直進路走行時に比べてその頭や顔が左右方向に移動し易くなりかつその量も多くなる傾向がある。これに対して、本実施例においては、上述の如く、全項目のうちの顔左右両端位置についての重み付け係数Ａを、カーブ路走行時は直進路走行時に比べて大きめに設定する。このため、本実施例のシステムによれば、カーブ路走行時に運転者が居眠りする際に居眠りしていると判定し易くすることができる。

従って、本実施例のシステムによれば、運転者の居眠り判定を、車両の走行状態具体的には道路が直進路であるかカーブ路であるかに対応させて適切に行うことが可能となっている。

本実施例のシステムにおいて、運転者が居眠りしていると判定されると、警報ブザー３０を用いてブザー吹鳴がなされ、モータ３２を用いて運転者のシートベルトが断続的に巻き取られ、また、ブレーキアクチュエータ３４を用いて車両が断続的に制動される。この点、本実施例では、居眠りしている運転者に対して居眠りの注意喚起を行うことができ、これにより、その居眠りからの覚醒を促すことが可能となっている。

尚、上記の第１実施例においては、顔向きカメラ１０が特許請求の範囲に記載した「撮影手段」に、運転者の顔左右両端位置、顔上下位置、眉上−目下間の領域が特許請求の範囲に記載した「顔内部位」に、それぞれ相当している。

また、上記の第１実施例においては、居眠り検知ＥＣＵ２２が、顔向きカメラ１０の撮像画像の処理に基づいて、運転者の顔左右両端位置の移動量、顔上下位置の移動量、及び眉上−目下間の領域縮小を検出することにより特許請求の範囲に記載した「顔位置変化検出手段」が、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両が走行する或いは走行する予定の道路が直進路であるかカーブ路であるかを判定することにより特許請求の範囲に記載した「走行状態検出手段」が、図４に示すルーチン中ステップ１０６〜１１８の処理を実行することにより特許請求の範囲に記載した「居眠り判定手段」が、ステップ１０８の処理を実行することにより特許請求の範囲に記載した「左右閾値変更手段」及び「重み付け変更手段」が、ステップ１２０の処理を実行することにより特許請求の範囲に記載した「警告手段」が、それぞれ実現されている。

ところで、上記の第１実施例においては、顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａを、直進路用とカーブ路用とで２つに切り替えることとしているが、本発明はこれに限定されるものではなく、車両の走行する道路の曲率に応じて段階的に或いはリニアに変化させるものであってもよい。かかる構成によれば、運転者の居眠り判定を、カーブ路の状況に対応させて適切に行うことが可能となる。

また、同様に、運転者の居眠り判定を行うために必要な顔左右両端位置についての重み付け係数Ａを、直進路用とカーブ路用とで２つに切り替えることとしているが、本発明はこれに限定されるものではなく、車両の走行する道路の曲率に応じて段階的に或いはリニアに変化させるものであってもよい。かかる構成によれば、運転者の居眠り判定を、カーブ路の状況に対応させて適切に行うことが可能となる。

上記した第１実施例では、ナビゲーションＥＣＵ１６から供給される情報に基づいて自車両の走行する道路が直進路であるかカーブ路であるかを判定して、その判定結果に応じて適切に運転者の居眠り判定を行う。これに対して、本実施例の第２実施例においては、ナビゲーションＥＣＵ１６から供給される情報に基づいて自車両の走行する道路が一般道であるか高速道路であるかを判定して、その判定結果に応じて適切に運転者の居眠り判定を行うこととしている。尚、本実施例において、上記の第１実施例で用いられた符号については、同一の符号を付して、その説明を省略または簡略する。

ところで、運転者は、覚醒時、車両が特に歩道や信号機のある一般道を走行する状況では顔を左右上下に移動させる機会や量が多い一方、車両が特に歩道や信号機のない高速道路を走行する状況では顔を左右上下に移動させる機会や量は少ない。従って、一般道と高速道路との区別なく運転者の居眠り判定を行うときには、運転者が一般道走行時に覚醒状態にあるにもかかわらず居眠りが行われているとの誤判定がなされないように、眼の移動状態に関する閾値を予め高くしておくことが必要となる。しかし、かかる構成では、車両が高速道路を走行する状況で運転者が居眠りしているときに、その居眠りが行われていると判定され難いものとなるおそれがある。

そこで、本実施例の運転者の居眠り判定を一般道走行時と高速道路走行時とでそれぞれ対応させて適切に行うことに特徴を有している。以下、図７を参照して、本実施例の特徴部について説明する。図７は、本実施例の居眠り判定システムにおいて居眠り検知ＥＣＵ２２が実行する制御ルーチンの一例のフローチャートを示す。

すなわち、本実施例のシステムにおいて、ナビゲーションＥＣＵ１６は、ＧＰＳ受信機や方位センサ，速度センサなどからの信号に基づいて、地図データベース１８の地図データを参照して、自車位置を検出すると共に、その自車位置における道路の種別（具体的には、自車両が走行する道路が一般道であるか高速道路であるか）を地図データベース１８から読み出す。そして、それらの情報をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。

居眠り検知ＥＣＵ２２は、ステップ１０４の処理後、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両が走行する道路が一般道であるか高速道路であるかを判定する（ステップ２００）。

本実施例において、居眠り検知ＥＣＵ２２には、居眠り確度Ｐａ〜Ｐｄをそれぞれ算出するための閾値である一定の所定量ａ〜ｄの情報が予め記憶されていると共に、運転者の居眠り判定を行うために必要な上記の各項目に対してそれぞれ設定された一定の重み付け係数Ａ〜Ｄが記憶格納されている。また、居眠り検知ＥＣＵ２２には、運転者が居眠りしている可能性としての総合的な信頼度Ｔに関する閾値が記憶格納されているが、この閾値としては、一般道に対応するＴ１０と、高速道路に対応するＴ１１とが設けられている。この一般道に対応する閾値Ｔ１０は、一般道走行時に運転者が顔を左右上下に移動させる機会や量が高速道路走行時よりも多いことを考慮して、居眠りの誤判定が生じないように、高速道路に対応する閾値Ｔ１１に比べて大きな値に設定されている。

居眠り検知ＥＣＵ２２は、上記ナビゲーションＥＣＵ１６からの情報に基づく判定の結果、自車両の走行する道路が一般道であるときは、信頼度Ｔの閾値を比較的大きめのＴ１０に設定する。また、検出した運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び心拍数Ｎから、各検出値に応じた居眠り確度Ｐａ〜Ｐｄをそれぞれ算出したうえで、上記（１）式に従って運転者が居眠りしている可能性である信頼度Ｔを算出する（ステップ２０２）。そして、その算出した信頼度Ｔを、運転者の居眠り判定のための閾値Ｔ１０と比較する（ステップ２０４）。

一方、自車両の走行する道路が高速道路であるときは、信頼度Ｔの閾値を比較的小さめのＴ１１に設定する。また、検出した運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び心拍数Ｎから、各検出値に応じた居眠り確度Ｐａ〜Ｐｄをそれぞれ算出したうえで、上記（１）式に従って運転者が居眠りしている可能性である信頼度Ｔを算出する（ステップ２０６）。そして、その算出した信頼度Ｔを、運転者の居眠り判定のための閾値Ｔ１１と比較する（ステップ２０８）。

ステップ２０４及びステップ２０８の処理の結果、Ｔ≧Ｔ１０が成立しない場合或いはＴ≧Ｔ１１が成立しない場合は、運転者が覚醒していると判定する（ステップ１１６）。一方、Ｔ≧Ｔ１０が成立する場合或いはＴ≧Ｔ１１が成立する場合は、運転者が居眠りしていると判定し（ステップ１１８）、運転者の居眠り情報をメータＥＣＵ２４、シートベルトＥＣＵ２６、及びブレーキＥＣＵ２８に対して供給することにより、各アクチュエータ３０〜３４を用いて、運転者に対して居眠りの注意喚起を行うべくすなわちその居眠りからの覚醒を促すべく、ブザー吹鳴を行い、シートベルトを断続的に巻き取り、また、車両を断続的に制動させる。

このように、本実施例のシステムにおいては、運転者の居眠り時に生ずる眼の閉じや顔の移動など各種の状況を総合的に判断してその居眠り判定を行ううえで、その居眠り判定のための閾値を、車両が一般道を走行しているときと高速道路を走行しているときとで異ならせることができる。具体的には、居眠り判定のために必要な信頼度Ｔの閾値を、一般道走行時は比較的大きめのＴ１０に設定し、また、高速道路走行時は比較的小さめのＴ１１に設定することで、高速道路走行時は一般道走行時に比べて下げることができる。

上記の如く、運転者が覚醒していても、一般道走行時は、高速道路走行時に比べて、その顔を左右上下に移動させる機会や量が多い。これに対して、本実施例においては、上述の如く、居眠り判定のための信頼度Ｔの閾値を、高速道路走行時は一般道走行時に比べて下げる。このため、本実施例のシステムによれば、顔などを左右上下に移動させる量の比較的多い一般道走行時に、運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、また、顔などを左右上下に移動させる量の比較的少ない高速道路走行時に、運転者が居眠りしているときに確実に居眠りしていると判定することができる。従って、運転者の居眠り判定を、車両の走行状態具体的には道路が一般道であるか高速道路であるかに対応させて適切に行うことが可能となっている。

尚、上記の第２実施例においては、居眠り検知ＥＣＵ２２が、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両の走行する道路が一般道であるか高速道路であるかを判定することにより特許請求の範囲に記載した「走行状態検出手段」が、図７に示すルーチン中ステップ２００〜２０８、１１６、及び１１８の処理を実行することにより特許請求の範囲に記載した「居眠り判定手段」が、居眠り判定のために必要な信頼度Ｔの閾値をＴ１０からＴ１１へ下げることにより特許請求の範囲に記載した「閾値変更手段」が、それぞれ実現されている。

ところで、上記の第１及び第２実施例においては、居眠りしている運転者の覚醒を促す警告の手法として、ブザー吹鳴やシートベルトの断続的な巻き取り，車両の断続的な制動を行うこととしているが、本発明はこれに限定されるものではなく、オーディオボリュームの増大や車両シートの振動などを行うこととしてもよい。

また、上記の第１及び第２実施例においては、居眠り判定に用いる車両の走行状態として、道路の直進路とカーブ路との別及び一般道と高速道路との別を用いることとしたが、道路の平坦と勾配との別に適用することとしてもよい。

本発明の第１実施例である車両に搭載されるシステムの構成図である。 本実施例の有する車載カメラの搭載構造を示す図である。 運転者の覚醒時と居眠り時とでカメラ撮像画像に写る状態の違いを説明するための図である。 本実施例の居眠り判定装置において実行される制御ルーチンの一例のフローチャートである。 本実施例における顔左右両端位置の位置変化と居眠り確度との関係を表したマップを直進路とカーブ路とで比較した図である。 本実施例において居眠りの信頼度を算出するうえで必要な顔左右両端位置に関する重み付け係数を直進路とカーブ路とで比較した図である。 本発明の第２実施例の居眠り判定装置において実行される制御ルーチンの一例のフローチャートである。

符号の説明

１０ 顔向きカメラ
１２ 顔向きＥＣＵ
１６ ナビゲーションＥＣＵ
１８ 地図データベース
２２ 居眠り判定ＥＣＵ
３０ 警報ブザー
３２ モータ
３４ ブレーキアクチュエータ

Claims (5)

1. 運転者の顔を撮影する撮影手段により撮影された顔の画像データに基づいて該運転者の居眠りを判定する居眠り判定装置であって、
   前記撮影手段により撮影される顔の画像データから該運転者の顔内部位の位置変化を検出する顔位置変化検出手段と、
   前記顔移動検出手段により検出される前記顔内部位の位置変化に基づいて、運転者の居眠りを判定する居眠り判定手段と、
   車両の走行する道路が直進路であるかカーブ路であるかを判定する走行状態検出手段と、
   前記走行状態検出手段により車両の走行する道路がカーブ路であると判定する状況では、該道路が直進路であると判定する状況に比べて、前記顔内部位の左右位置変化に関する運転者の居眠りを判定するための閾値を上げる左右閾値変更手段と、
   を備えることを特徴とする居眠り判定装置。
2. 前記左右閾値変更手段により前記閾値を上げるときには、運転者の居眠りを判定するために必要なパラメータである前記顔内部位の全位置変化要素のうち左右位置変化の重み付けを大きくする重み付け変更手段を備えることを特徴とする請求項１記載の居眠り判定装置。
3. 運転者の顔を撮影する撮影手段により撮影された顔の画像データに基づいて該運転者の居眠りを判定する居眠り判定装置であって、
   前記撮影手段により撮影される顔の画像データから該運転者の顔内部位の位置変化を検出する顔位置変化検出手段と、
   前記顔移動検出手段により検出される前記顔内部位の位置変化に基づいて、運転者の居眠りを判定する居眠り判定手段と、
   車両の走行する道路が一般道であるか高速道路であるかを判定する走行状態検出手段と、
   前記走行状態検出手段により車両の走行する道路が高速道路であると判定する状況では、該道路が一般道であると判定する状況に比べて、前記顔内部位の位置変化に関する運転者の居眠りを判定するための閾値を下げる閾値変更手段と、
   を備えることを特徴とする居眠り判定装置。
4. 顔内部位は、顔の左右両端位置、顔の上下位置、又は眉上と目下との間の領域であることを特徴とする請求項１乃至３の何れか一項記載の居眠り判定装置。
5. 請求項１乃至４の何れか一項記載の居眠り判定装置の備える前記居眠り判定手段により運転者が居眠りを行っていると判定される場合に、該運転者に対して居眠りからの覚醒を促す警告を行う警告手段を備えることを特徴とする居眠り運転警告装置。

Images