JP2018518205A - 動力車両の運転手の覚醒レベルを予知する装置および方法 - Google Patents

Abstract

本発明は、運転手の覚醒レベルを予知する装置（１０）であって、運転手の画像を取得するカメラ（１１）と、取得された画像から、運転手の生理学的データを特徴付ける画像処理モジュール（１３．１）と、較正フェーズにおける運転テストの過程で、一群の標準的運転手について、同期させて取得した脳波および生理学的データの変化のプロフィールを記憶する手段と、運転手の生理学的データの変化を記憶された生理学的データの変化のプロフィールと比較することができ、それによって、類似度基準を満たす少なくとも１つのプロフィールを特定し、類似度基準を満たした生理学的データの変化のプロフィールに対応する記憶された脳波データのプロフィールの解析から、運転手の覚醒レベルの変化の統計学的予知を行う検出モジュール（１３．２）とを備える装置に関する。【選択図】図１

Description

本発明は、動力車両の運転手の覚醒レベルを予知する装置および方法に関する。

本発明の方法の用途は、特に、運転手の低覚醒状態を防止することを目的とする。低覚醒状態は、通常、目覚めと眠りとの変わり目に対応し、その間、身体的にその認知および分析能力が著しく減退している。目覚めている状態から眠りへの無意識の移行によって生じる覚醒レベルのこの低下が、道路上の多数の事故を招いている。したがって、運転手の安全を向上するために、運転手のこの危険な状態を検出し防止することができることが極めて重要なのは明らかである。

したがって、運転行為に適合する覚醒および目覚めレベルを維持するために、運転手は、自分の運転時間に配慮する必要があり、規則的な休憩を取るべきであり、通常、２時間ごとの休憩が推奨される。しかし、この要件は、行程を可能な限り速やかに完了するという目的としばしば背反する。車両の運転時間が２時間を超過した時、運転手に警告することを可能にする車搭載システムが知られているが、これら警告システムはそれら自体不十分であり、殊に、それら警告システムは、運転手の実際の覚醒レベルを検出することも、運転手の覚醒レベルの変化をリアルタイムで監視することも可能にはしない。

また、人間の覚醒状態を詳しく表す指標をもたらすことが可能であると実際に認められている脳波測定法、すなわち脳の活動の解析（脳波図またはＥＥＧ）によって記録されたデータを使用する、低覚醒状態を検出することを可能にするシステムが知られている。しかし、この技法は、高い精度で人物の覚醒レベルを評価することを可能にはするものの、ＥＥＧによる特性評価では、頭皮に配置された電極を使用してＥＥＧを作成することを必要とする。したがって、この方法は、あまり人間工学的ではなく、運転中の運転手に適用した場合に危険でさえあると思われる。

また、運転手への刺激を発生し、車両内に搭載されたカメラによって得られる運転手の映像信号の解析に基づいて、発生させた刺激に対する運転手の反応を検出することによって、運転手の覚醒レベルを特定することが可能な、動力車両用の警告装置が、米国特許第８，００９，０５１号から知られている。様々な画像処理および診断技法に基づいて、この警告装置は、たとえば、目の瞬きまたは頭もしくは口の動きなど、運転手によって行われる所定の動きを基に、刺激に対する運転手の反応を検出するように設計されている。しかし、運転手の覚醒レベルの変化は、個々人によって異なる。また、このシステムを一群の運転手に適用することを可能にするために、運転手は、システムによって行われる覚醒レベルの判定を確認し、または無効にすることによるシステムとの相互作用を必要とし、それが、運転手の気を散らす原因になり、したがって潜在的に事故の原因になる。

車両内に搭載されたカメラを使用することが、また、目の瞬き、欠伸、運転手が見ている方向など、覚醒の低下の視覚的指標に基づく覚醒レベル検出システムを開発することも可能にした。しかし、特に、低覚醒状態が、それぞれの個人で異なる態様で現れ、それが、この現象を検出する共通基準システムの設定を困難にすることが原因で、現在に至るまで、いかなるシステムも十分に効果的でないことが分かっている。

やはり、一群の運転手に対して良好な性能を提供することが可能な、運転手の覚醒レベルを予知する方法に対する必要性が存在する。

このために、本発明は、運転手の覚醒レベルを予知する方法において、
較正ステップであって、該ステップにおける運転テスト中に、
一群の標準的運転手について、該標準的運転手が目覚めている正常状態にある時のテスト時間の開始と該標準的運転手が低覚醒状態になった時のテスト時間の終了との間の脳波データの変化のプロフィールと、
カメラを用いて、標準的運転手に関する生理学的データの変化のプロフィールと
を同時に取得する、ステップと、
運転手の覚醒レベルのリアルタイム監視を行うステップであって、該ステップ中、連続的に、
運転手の生理学的データの変化をカメラを用いて取得し、
運転手の生理学的データの変化を、較正ステップ中に取得した生理学的データの変化の様々なプロフィールと比較し、それによって、これらプロフィールの中から、類似度基準を満足する少なくとも１つのプロフィールを特定し、
運転手の覚醒レベルの変化の統計学的予知を、類似度基準を満足した生理学的データの変化のプロフィールに対応する較正ステップ中に取得された脳波データのプロフィールの解析に基づいて行う、
ステップと
を含む方法に関する。

この方法の利点は、低覚醒状態の良好な検出率に加えて、適合させたり習熟させたりする必要のないことである。有利には、この方法は、運転手側の慣熟を必要としないことが確認される。

有利には、覚醒レベルの変化の統計学的予知が、正常な目覚め状態または高度の目覚め状態を表す値と低覚醒状態または居眠り状態を表す値との間の範囲における連続的尺度で運転手の覚醒レベルを定義するのに適した運転手の蓋然的覚醒度の計算を含む。

好ましくは、本方法は、運転手の蓋然的覚醒度が急激に変化した場合に警告信号を発生するステップを含み得る。

有利には、本方法は、運転状態の運転手の少なくとも顔を撮影するように配置された高解像度カメラと、カメラの視野を照明するように意図された複数の赤外線ＬＥＤとを設けるステップを含む。

好ましくは、本方法は、少なくとも、運転手の目の瞬き、および／または運転手の欠伸、および／または運転手の頭部の位置と動きを特徴付けるのに適した、運転手に関する生理学的データのリアルタイムな計算を含む、カメラによって取得された画像を処理するステップを含む。

一実施形態によれば、運転手に関する生理学的データのリアルタイム計算が、運転手の瞼の開閉の頻度、速度、加速度、および持続時間についてのパラメータ、欠伸の頻度および欠伸中の口の開閉の持続時間についてのパラメータ、ならびに運転手の頭部の３軸Ｘ、Ｙ、およびＺに沿った位置および動きについてのパラメータの算定を含む。

有利には、本方法は、運転手に、定期間隔で、運転手自身が判定した自分の覚醒レベルを知らせるようにとの要求を送信し、運転手が知らせた判定された覚醒レベルを受信することを含む、統計学的予知を個人化するステップを含み得る。

また、本発明は、運転手の覚醒レベルを予知する装置において、運転手の画像を取得することができるカメラと、取得画像に基づいて運転手の生理学的データを特徴付けるのに適した画像処理モジュールと、較正フェーズにおける運転テストの過程で、運転状態に置かれた一群の標準的運転手についての、該運転手が目覚めている正常状態にある時のテスト時間の開始と該運転手が低覚醒状態になった時のテスト時間の終了との間の、同期させて取得した脳波データおよび生理学的データの変化のプロフィールをデータベースに記憶する記憶手段と、運転手の生理学的データの変化をデータベースに記憶された生理学的データの変化のプロフィールと比較することができ、それによって、これらプロフィールの中から、類似度基準を満たす少なくとも１つのプロフィールを特定し、類似度基準を満たした生理学的データの変化のプロフィールに対応するデータベースに記憶された脳波データのプロフィールの解析に基づいて、運転手の覚醒レベルの変化の統計学的予知を行う検出モジュールとを備えることを特徴とする装置に関する。

有利には、本装置は、テスト運転手の覚醒レベルの変化の統計学的予知の読出し手段と通信するのに適した通信インターフェースを備える。

好ましくは、読出し手段が、携帯端末のレベルに配置されたマンマシンインターフェースを備える。

本発明の他の特徴および利点が、本発明による運転手の覚醒レベルを検出する装置を構成図的に示す一枚だけの添付図を参照して、非限定的な開示として以降に示される本発明の特定の実施形態の説明を読むことによって明らかになるであろう。

車両内に配置するように意図された、運転手の覚醒状態を予知するための装置１０の構成図である。

一枚だけの図面は、車両内に配置するように意図された、運転手の覚醒状態を予知するための装置１０の構成図である。図に示された構成によれば、予知装置１０は、車両内に搭載するようになされ、運転手に面して向けられ、車両の運転手の映像、特に運転手の胸から上に位置する運転手の部分の映像を、とりわけ運転手の頭部を含んで、得るように意図されたカメラ１１を備える。使用されるカメラ１１は、好ましくは、白黒画像を連続的に撮影する高解像度カメラである。好ましくは、カメラ１１の視野は、該高解像度カメラに同期され、カメラ１１の両側に配置された赤外線ＬＥＤタイプ１２の複数の光源によって、照明される。このようにして、これらＬＥＤは、路上運転状況における光環境の大きな変化による反照およびコントラストの大きな変化を排除して、カメラが高品質の画像を撮影することを可能にする。

装置１０は、カメラ１１によって取得された画像を画像処理アルゴリズムを用いて処理するように設計された画像処理モジュール１３．１を備える処理装置１３を具備する。このアルゴリズムは、取得された画像においてリアルタイムに運転手の生理学的データを検出するように設計されており、そのデータは、運転手の可視行為に関係し、好ましくは、少なくとも目の瞬きおよび／もしくは欠伸、ならびに／またはテスト運転手の頭部の位置および動きを特徴付けることができる。詳細には、一実施形態によれば、画像処理アルゴリズム１３．１は、運転手の瞼の開閉の頻度、速度、加速度、および持続時間についてのパラメータ、欠伸の頻度および欠伸中の口の開閉の持続時間についてのパラメータ、ならびに運転手の頭部の３軸Ｘ、Ｙ、およびＺに沿った位置および動きについてのパラメータを、リアルタイムに計算するように設計されている。これら様々なパラメータの特徴付けは、高解像度カメラによって得られた運転手の顔の映像信号の解析に基づいて可能になる。前記パラメータの計算のために使用される顔や目を検出するための様々な既知の技法は、本明細書では説明しないが、当業者は、この主題についての既存の文献を有効に参照することができる。

このように、これらパラメータの特徴付けは、車両を運転中の運転手の可視行為に関して明らかにする運転手の生理学的データの変化の監視をリアルタイムに実行することを可能にする。画像処理アルゴリズム１３．１によってこのように計算されたこれらパラメータは、統計学的検出アルゴリズムを用いて運転手の覚醒レベルを特定するように設計された検出モジュール１３．２にリアルタイムで送られる。

運転手の覚醒レベルのこの検出は、たとえば数百の、一群の標準的運転手または較正運転手とも呼ばれる運転手の同期された映像記録と脳波記録とを含む運転データベースに基づいて実行される。より正確には、較正ステップに際し、この一群の標準的運転手について、運転テストにおいて、運転手が目覚めている正常状態にある時のテスト時間の開始と運転手が低覚醒状態になった時のテスト時間の終了との間、運転状態に置かれたこの一群の標準的運転手の脳波と映像との同期記録を含むデータを取得する作業が行われる。したがって、目覚めた状態から低覚醒状況に向かうこれら運転テスト中、全ての標準的運転手は、それら運転手の脳波データの変化のプロフィールを取得するために、頭皮に電極を装着される。また、標準的運転手は、標準的運転手に関する生理学的データの変化のプロフィールを、これら運転テストの過程で同時に取得するために、たとえば高解像度カメラを用いて撮影され、その生理学的データの変化のプロフィールは、それら標準的運転手の可視行為に関係し、画像処理モジュール１３．１を参照して上記で説明した実施形態に従って、運転手の瞼の開閉の頻度、速度、加速度、および持続時間についてのパラメータ、欠伸の頻度および欠伸中の口の開閉の持続時間についてのパラメータ、ならびに運転手の頭部の３軸Ｘ、Ｙ、およびＺに沿った位置および動きについてのパラメータによって特徴付けることができる。

このように、運転データベースの各記録は、目覚めている正常状態での運転時間の開始と低覚醒状態での運転時間の終了の間、運転状況に置かれていた各標準的運転手に関して、両方を同期させて取得した脳波データの変化のプロフィールと映像シーケンスとを含み、映像シーケンスは、上述の生理学的データのパラメータに従って当該の標準的運転手の可視行為の変化のプロフィールを特徴付けることを可能にする。

次いで、検出モジュール１３．２が、運転テスト中に取得され運転データベースに記憶された生理学的データと脳波データとの複合解析によって構築された統計学的予知アルゴリズムを使用する。生理学的データの変化のプロフィールと脳波データの変化のプロフィールとを比較することにより、統計学的予知アルゴリズムは、標準的運転手の運転テスト中に取得された生理学的データの変化の関数として、覚醒状態の統計学的予知のためのいくつかのモデルを決定することができる。より明確には、運転手の監視フェーズ中、その間その運転手の可視行為がカメラ１１によって撮影されており、統計学的検出モジュール１３．２は、上記で説明された画像処理モジュール１３．１によって収集されるその運転手の可視行為に関する生理学的データのパラメータの変化を、装置の較正フェーズ中に運転データベースに前以て記録された生理学的データの変化の様々なプロフィールとリアルタイムで比較し、それによって、それら記録されたプロフィールの中から、類似度基準を満たす１つまたは複数を特定するように設計されている。次いで、モジュール１３．２が、類似度基準を満足した生理学的データの変化のプロフィールに対応する、データベースに記憶されている脳波データのプロフィールの解析に基づいて、運転手の覚醒レベルの統計学的予知を実行する統計学的予知モデルを適用する。統計学的予知アルゴリズムは、正常な目覚め状態または高度の目覚め状態（過覚醒状態）を表す値と低覚醒状態または居眠り状態を表す値との間の範囲における連続的尺度で運転手の覚醒レベルを定義することを可能にする、運転手の蓋然的覚醒度を計算するように設計されている。たとえば、運転手の蓋然的覚醒度は、低覚醒状態に対応する０から、過覚醒状態に対応する１００までの連続的尺度で示される。

また、検出装置１０の処理装置１３は、統計学的検出モジュール１３．２によって確定された運転手の蓋然的覚醒度に基づいて警告事態を検出し、運転手の蓋然的覚醒度が急変した場合、特に蓋然的覚醒度が急低下した時、運転手に与えられる警告信号を発生することを可能にするモジュール１３．３を備える。

予知装置１０は、特にスマートフォンまたはタブレットタイプの携帯端末１５と通信可能な、特にブルートゥースまたはＷｉＦｉタイプの無線通信インターフェース１４、または有線通信インターフェースを備え、その携帯端末には、覚醒レベルの読取りおよび／または管理専用のソフトウェアアプリケーションがインストールされている。携帯端末１５は、運転手が蓋然的覚醒度を読み出すことを可能にする、たとえばタッチスクリーン１６などの、マンマシンインターフェースを備える。携帯端末１５は、また、運転手に予知装置１０の通信インターフェース１４とのデータ交換を可能にする通信モジュールを備える。このように、検出装置は、判定された運転手の蓋然的覚醒度を通信インターフェース１４を介して携帯端末１５に送信することができ、携帯端末１５は、専用ソフトウェアアプリケーションを介して携帯端末１５のスクリーン１６上にこの覚醒度を表示させることができる。したがって、携帯端末によるマンマシンインターフェースは、運転手に、予知装置１０によって判定された本人の覚醒レベルをリアルタイムで知らせることを可能にする。

また、携帯端末のマンマシンインターフェースは、定期的に、かつまた、たとえば高度の目覚め、正常、疲労、極度の疲労の諸レベルのうちで、覚醒レベルの判定された遷移の際に、運転手に、本人の覚醒レベルに関する本人自身の感覚について尋ねるために使用することができる。このようにして、マンマシンインターフェースを経由して、運転手に、覚醒レベルのこれらの遷移を確認すること、または逆に取り消すことを要求し、それによって、覚醒レベルの検出の個人化に関する統計学的予知アルゴリズムの性能を向上させることができる。このようにして、時間と共にかつ使用するほどに、予知アルゴリズムは、一群の標準的運転手の多面的プロフィール解析に基づく総体的なアルゴリズムから個人化されたアルゴリズムに進化する。

Claims (10)

1. 運転手の覚醒レベルを予知する方法において、
   較正ステップであって、該ステップにおける運転テスト中に、
   一群の標準的運転手について、該標準的運転手が目覚めている正常状態にある時のテスト時間の開始と該標準的運転手が低覚醒状態になった時のテスト時間の終了との間の脳波データの変化のプロフィールと、
   カメラを用いて、前記標準的運転手に関する生理学的データの変化のプロフィールと
   を同時に取得する、ステップと、
   前記運転手の前記覚醒レベルのリアルタイム監視を行うステップであって、該ステップ中、連続的に、
   前記運転手の生理学的データの変化をカメラ（１１）を用いて取得し、
   前記運転手の生理学的データの変化を、前記較正ステップ中に取得した生理学的データの変化の様々なプロフィールと比較し、それによって、前記プロフィールの中から、類似度基準を満足する少なくとも１つのプロフィールを特定し、
   前記運転手の覚醒レベルの変化の統計学的予知を、前記類似度基準を満足した前記生理学的データの変化のプロフィールに対応する前記較正ステップ中に取得された前記脳波データのプロフィールの解析に基づいて行う、
   ステップと
   を含むことを特徴とする方法。
2. 前記覚醒レベルの変化の統計学的予知が、正常な目覚め状態または高度の目覚め状態を表す値と低覚醒状態または居眠り状態を表す値との間の範囲における連続的尺度で前記運転手の覚醒レベルを定義するのに適した前記運転手の蓋然的覚醒度の計算を含むことを特徴とする、請求項１に記載の方法。
3. 前記運転手の前記蓋然的覚醒度が急激に変化した場合に警告信号を発生するステップを含むことを特徴とする、請求項２に記載の方法。
4. 運転状態の前記運転手の少なくとも顔を撮影するように配置された高解像度カメラ（１１）と、前記カメラの視野を照明するように意図された複数の赤外線ＬＥＤ（１２）とを設けるステップを含むことを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 少なくとも、前記運転手の目の瞬き、および／または前記運転手の欠伸、および／または前記テスト運転手の頭部の位置と動きを特徴付けるのに適した、前記運転手に関する前記生理学的データのリアルタイムな計算を含む、前記カメラ（１１）によって取得された画像を処理するステップを含むことを特徴とする、請求項１から４のいずれか一項に記載の方法。
6. 前記運転手に関する前記生理学的データの前記リアルタイム計算が、前記運転手の瞼の開閉の頻度、速度、加速度、および持続時間についてのパラメータ、前記欠伸の頻度および欠伸中の口の開閉の持続時間についてのパラメータ、ならびに前記運転手の頭部の３軸Ｘ、Ｙ、およびＺに沿った位置および動きについてのパラメータの算定を含むことを特徴とする、請求項５に記載の方法。
7. 前記運転手に、定期間隔で、前記運転手自身が判定した自分の覚醒レベルを知らせるようにとの要求を送信し、前記運転手が知らせた前記判定された覚醒レベルを受信することを含む、前記統計学的予知を個人化するステップを含むことを特徴とする、請求項１から６のいずれか一項に記載の方法。
8. 運転手の覚醒レベルを予知する装置（１０）において、前記運転手の画像を取得することができるカメラ（１１）と、前記取得画像に基づいて前記運転手の生理学的データを特徴付けるのに適した画像処理モジュール（１３．１）と、較正フェーズにおける運転テストの過程で、運転状態に置かれた一群の標準的運転手についての、該運転手が目覚めている正常状態にある時のテスト時間の開始と該運転手が低覚醒状態になった時のテスト時間の終了との間の、同期させて取得した脳波データおよび生理学的データの変化のプロフィールをデータベースに記憶する記憶手段と、前記運転手の前記生理学的データの変化を前記データベースに記憶された前記生理学的データの変化のプロフィールと比較することができ、それによって、前記プロフィールの中から、類似度基準を満たす少なくとも１つのプロフィールを特定し、前記類似度基準を満たした前記生理学的データの変化のプロフィールに対応する前記データベースに記憶された前記脳波データのプロフィールの解析に基づいて、前記運転手の前記覚醒レベルの変化の統計学的予知を行う検出モジュール（１３．２）とを備えることを特徴とする装置。
9. 前記運転手の前記覚醒レベルの変化の前記統計学的予知の読出し手段（１５）と通信するのに適した通信インターフェース（１４）を備えることを特徴とする、請求項８に記載の検出装置。
10. 前記読出し手段が、携帯端末のレベルに配置されたマンマシンインターフェース（１６）を備えることを特徴とする、請求項９に記載の装置。

Images