JP4701694B2 - 覚醒度判定装置及び覚醒度判定方法 - Google Patents

Description

本発明は、覚醒度判定装置及び覚醒度判定方法に関する。

従来から、心拍数に基づいて被験者の覚醒度を判定する技術が用いられている（例えば、特許文献１参照）。特許文献１に記載の技術によれば、被験者である運転者の心拍数の変動度合いを表わす心拍ゆらぎ量が演算され、この心拍ゆらぎ量が所定の判定値より大きいときに、運転者が居眠り状態にあると判定される。
特開平７−２０１０００号公報

上記技術によれば、被験者の現在の覚醒度、即ち居眠り状態であるか否を検出することができる。しかしながら、覚醒している被験者の覚醒度が、今後、低下するか否かを予測することはできない。

本発明は、上記問題点を解消する為になされたものであり、被験者の覚醒度が比較的高いときに、今後、覚醒度が低下するか否かを予測することができる覚醒度判定装置及び覚醒度判定方法を提供することを目的とする。

本発明に係る覚醒度判定装置は、心拍信号を取得する心拍信号取得手段と、心拍信号から心拍周期時系列のパワースペクトルを取得し、該パワースペクトルを所定の２つの周波数帯域に分割し、各周波数帯域の帯域パワーの比を演算してその時系列を取得し、該帯域パワー比時系列の所定区間ごとに標準偏差を求めて心拍ゆらぎ区間標準偏差を取得する心拍信号処理手段と、心拍信号処理手段により求められた心拍ゆらぎ区間標準偏差に基づいて、覚醒度が低下するか否かを予測する覚醒度低下予測手段とを備え、覚醒度低下予測手段が、覚醒度が高い区間での心拍ゆらぎ区間標準偏差の平均値及び標準偏差を求め、この平均値及び標準偏差に基づいてレベルしきい値を設定すると共に、上記区間において心拍ゆらぎ区間標準偏差がレベルしきい値を下回る時間に応じて時間しきい値を設定するしきい値設定手段を有し、心拍ゆらぎ区間標準偏差がレベルしきい値を下回る時間が、時間しきい値以上継続した場合に、覚醒度が低下すると判定することを特徴とする。

また、本発明に係る覚醒度判定方法は、心拍信号を取得する心拍信号取得ステップと、心拍信号から心拍周期時系列のパワースペクトルを取得し、該パワースペクトルを所定の２つの周波数帯域に分割し、各周波数帯域の帯域パワーの比を演算してその時系列を取得し、該帯域パワー比時系列の所定区間ごとに標準偏差を求めて心拍ゆらぎ区間標準偏差を取得する心拍信号処理ステップと、心拍信号処理ステップで求められた心拍ゆらぎ区間標準偏差に基づいて、覚醒度が低下するか否かを予測する覚醒度低下予測ステップとを有し、覚醒度低下予測ステップが、覚醒度が高い区間での心拍ゆらぎ区間標準偏差の平均値及び標準偏差を求め、この平均値及び標準偏差に基づいてレベルしきい値を設定すると共に、上記区間において心拍ゆらぎ区間標準偏差がレベルしきい値を下回る時間に応じて時間しきい値を設定するしきい値設定ステップを有し、心拍ゆらぎ区間標準偏差がレベルしきい値を下回る時間が、時間しきい値以上継続した場合に、覚醒度が低下すると判定することを特徴とする。

本発明に係る覚醒度判定装置又は覚醒度判定方法によれば、心拍信号から取得された心拍ゆらぎ区間標準偏差に基づいて、覚醒度が低下するか否かが予測される。ここで、上述した演算により取得された心拍ゆらぎ区間標準偏差は、将来の覚醒度変化と相関関係を有するので、被験者の覚醒度が比較的高いときに、今後、覚醒度が低下するか否かを予測することが可能となる。

覚醒度が高い区間においてレベル及び時間のしきい値を設定し、心拍ゆらぎ区間標準偏差がレベルしきい値を下回る時間が、時間しきい値以上継続した場合に、覚醒度が低下すると判定することによって、より正確に、覚醒度が低下するか否かを予測することが可能となる。

本発明によれば、心拍信号から、将来の覚醒度変化と相関関係を有する心拍ゆらぎ区間標準偏差を取得し、取得された心拍ゆらぎ区間標準偏差に基づいて、覚醒度が低下するか否かを予測する構成としたので、被験者の覚醒度が比較的高いときに、今後、覚醒度が低下するか否かを予測することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。

まず、図１を用いて、本実施形態に係る覚醒度判定装置１の全体構成について説明する。図１は、覚醒度判定装置１の全体構成を示すブロック図である。以下、覚醒度判定装置１を車両に搭載し、車両の運転者の覚醒度低下を予測する場合を例にして説明する。

覚醒度判定装置１は、運転者から得られた心拍信号に基づいて運転者の覚醒度が今後低下するか否かを予測し、予測結果を運転者に呈示する。そのために、覚醒度判定装置１は、心拍センサ１０、電子制御装置（以下「ＥＣＵ」という）２０を備えており、ＥＣＵ２０に心拍信号処理部２２、しきい値設定部２４、覚醒度低下予測部２６が構成されている。また、覚醒度判定装置１は、予測結果の呈示手段として出力装置３０を備えている。

心拍センサ１０は、心筋収縮時に発生するパルス状の電圧（心電位）を検出する電位式心拍センサであり、運転者の心拍信号（心電位のＲ波）を取得するものである。心拍センサ１０は、例えば車両のステアリングホイールなどに取り付けられている電極から心電位を検出する。心拍センサ１０は、取得した心拍信号をＥＣＵ２０に出力する。心拍センサ１０は、心拍信号取得手段として機能し、心拍信号取得ステップを実行する。

ＥＣＵ２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及びバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。

心拍信号処理部２２は、心拍センサ１０からの心拍信号を一定時間毎に読み込み、心拍信号から心拍周期時系列のパワースペクトルを取得し、該パワースペクトルを所定の２つの周波数帯域に分割し、各周波数帯域の帯域パワーの比を演算してその時系列を取得し、該帯域パワー比時系列の所定区間ごとに標準偏差を求めて心拍ゆらぎ区間標準偏差（以下「心拍ゆらぎＳＤ（standard deviation）」という）を取得する。すなわち、心拍信号処理部２２は心拍信号処理手段として機能し、心拍信号処理ステップを実行する。心拍信号処理部２２において取得された心拍ゆらぎＳＤは、覚醒度低下予測部２６に出力される。

覚醒度低下予測部２６は、しきい値設定部２４を有して構成され、心拍信号処理部２２により取得された心拍ゆらぎＳＤに基づいて、運転者の覚醒度が低下するか否かを予測するものである。すなわち、覚醒度低下予測部２６は、覚醒度低下予測手段として機能し、覚醒度低下予測ステップを実行する。

しきい値設定部２４は、覚醒度が高い区間での心拍ゆらぎＳＤの平均値及び標準偏差を求め、この平均値及び標準偏差に基づいてレベルしきい値を設定すると共に、上記区間において心拍ゆらぎ区間標準偏差がレベルしきい値を下回る時間に応じて時間しきい値を設定する。すなわち、しきい値設定部２４は、しきい値設定手段として機能し、しきい値設定ステップを実行する。しきい値設定手段において設定されたレベルしきい値及び時間しきい値は、覚醒度低下予測部２６で使用される。

覚醒度低下予測部２６では、心拍ゆらぎＳＤがレベルしきい値を下回る時間が、時間しきい値以上継続した場合に、覚醒度が低下すると判定する

出力装置３０は、ＥＣＵ２０から入力された覚醒度低下情報を運転者に呈示するものである。出力装置３０は、文字情報や映像情報を表示するためのディスプレイ、音声情報を再生するためのスピーカ、ハンドルやシート等に振動を与えるアクチュエータなどを有して構成される。

次に、図２を用いて覚醒度判定装置１の動作及び覚醒度判定方法について説明する。図２は、覚醒度判定装置１による覚醒度低下予測処理の処理手順を示すフローチャートである。この処理は、ＥＣＵ２０によって行われるものであり、ＥＣＵ２０の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。

ステップＳ１００では、心拍センサ１０から心拍信号が読み込まれる。続くステップＳ１０２では、ステップＳ１００で読み込まれた心拍信号から心拍周期時系列が取得される。具体的には、まず、心拍信号のレベルが所定のしきい値を超えた場合を１とし、しきい値以下の場合を０とすることにより、心拍信号を２値化処理して２値化信号を取得する。次に、２値化信号の周期から心拍間隔ｄｔ（秒）を求め、心拍間隔ｄｔの逆数に６０を乗じて１分間あたりの心拍数を算出する。そして、上記演算を繰り返すことにより得られた心拍数の時系列を補間して心拍周期時系列を取得する。図３（ａ）に心拍信号の一例を示し、図３（ｂ）に（ａ）の心拍信号を２値化処置することにより取得された２値化信号を示す。また、図３（ｃ）に（ｂ）の２値化信号から取得された心拍周期時系列を示す。

次に、ステップＳ１０４では、ステップＳ１０２で取得された心拍周期時系列を単位区間（例えば、区間幅１分）ごとにＦＦＴ（Fast Fourier Transform）してパワースペクトルを取得する。図４に、図３（ｃ）の心拍周期時系列をＦＦＴして取得されたパワースペクトルを示す。

続くステップＳ１０６では、まず、ステップＳ１０４で取得されたパワースペクトルを周波数が０．０１Ｈｚ〜０．１５Ｈｚの低周波帯域（ＬＦ）と、周波数が０．１５Ｈｚ〜０．５０Ｈの高周波帯域（ＨＦ）とに分割（図４参照）し、それぞれの帯域を積分して低周波帯域のパワー面積Ｐ_ＬＯＷ及び高周波帯域のパワー面積Ｐ_ＨＩＧＨを求める。次に、両帯域のパワー面積比（帯域パワー比）を次式（１）により算出し、その時系列変化（以下「心拍ゆらぎＬ／Ｈ」という）を取得する。図５に取得された心拍ゆらぎＬ／Ｈを示す。

続いてステップＳ１０８では、ステップＳ１０６で取得された心拍ゆらぎＬ／Ｈの単位区間ＴＲ（図５参照）ごとに区間標準偏差を求め、その時系列変化（心拍ゆらぎＳＤ）を取得する。図６に取得された心拍ゆらぎＳＤを示す。

次に、ステップＳ１１０では、運転開始からの経過時間ｔが所定時間ｔｍを超えているか否かについての判断が行われる。ここで、運転開始後の経過時間ｔが所定時間ｔｍを超えている場合には、ステップＳ１１６に処理が移行する。一方、経過時間ｔが所定時間ｔｍを超えていないときには、ステップＳ１１２に処理が移行する。

ステップＳ１１２では、運転開始からの経過時間ｔが所定時間ｔｍであるか否かについての判断が行われる。ここで、運転開始後の経過時間ｔが所定時間ｔｍである場合には、ステップＳ１１４に処理が移行する。一方、経過時間ｔが所定時間ｔｍではないとき、すなわち運転開始後まだ所定時間ｔｍ経っていないときには、ステップＳ１００に処理が移行し、上述したステップＳ１００〜Ｓ１１２の処理が繰り返し実行される。

ステップＳ１１４では、まず、覚醒度が高い区間ＴＭにおける心拍ゆらぎＳＤの平均値Ｍ_ＴＨ及び標準偏差ＳＤ_ＴＨが算出される。そして、平均値Ｍ_ＴＨ及び標準偏差ＳＤ_ＴＨに基づいてレベルしきい値σＴＨが設定されると共に、上記区間ＴＭにおいて心拍ゆらぎＳＤがレベルしきい値σＴＨを下回る時間に応じて時間しきい値ｔｒが設定される。

本実施形態では、運転開始から運転開始後所定時間ｔｍ経過するまでの区間を、覚醒度が高い区間ＴＭとして選定した。これは、運転開始直後は覚醒度が高いと考えられるためである。また、区間ＴＭの長さを決定する所定時間ｔｍは、長いことが好ましいが、区間ＴＭ中に覚醒度が低下している区間が含まれないように設定する。

ここで、図７を参照して、レベルしきい値σＴＨ及び時間しきい値ｔｒの設定方法について具体的に説明する。まず、覚醒度が高い区間ＴＭにおける心拍ゆらぎＳＤの平均値Ｍ_ＴＨ及び標準偏差ＳＤ_ＴＨを算出する。そして、平均値Ｍ_ＴＨ及び標準偏差ＳＤ_ＴＨから、次式（２）によりレベルしきい値σＴＨを設定する。なお、（２）式は一例であり、他の関数を用いてもよい。

次に、区間ＴＭにおいて、心拍ゆらぎＳＤがレベルしきい値σＴＨを下回る区間、及び各区間長（時間）Ｌｎ（ｎ＝１，２，・・・，Ｎ）を抽出する。そして、抽出された各区間長Ｌｎから、次式（３ａ）により時間しきい値ｔｒを設定する。なお、（３ａ）式に代えて、（３ｂ）式又は他の演算式を用いてもよい。

図２に戻って説明を続ける。ステップＳ１１０が肯定された場合、ステップＳ１１６では、覚醒度の低下予測を行うために、心拍ゆらぎＳＤが、ステップＳ１１４で設定されたレベルしきい値σＴＨを下回っているか否かについての判断が行われる。ここで、心拍ゆらぎＳＤがレベルしきい値σＴＨ未満の場合には、ステップＳ１１８に処理が移行する。一方、心拍ゆらぎＳＤがレベルしきい値σＴＨ以上のときには、ステップＳ１００に処理が移行し、ステップＳ１００〜Ｓ１１０、及びＳ１１６の処理が繰り返し実行される。

ステップＳ１１８では、心拍ゆらぎＳＤがレベルしきい値σＴＨを下回っている時間が時間しきい値ｔｒ以上継続しているか否か、すなわち心拍ゆらぎＳＤがレベルしきい値σＴＨを下回っている区間ＴＳ（図８参照）の区間長が時間しきい値ｔｒ以上であるか否かについての判断が行われる。

ここで、区間ＴＳの区間長が時間しきい値ｔｒ未満の場合には、運転者の覚醒度が低下すると判定されることなく、ステップＳ１００に処理が移行する。そして、ステップＳ１００〜Ｓ１１０、及びＳ１１４，Ｓ１１６の処理が繰り返し実行される。

一方、区間ＴＳの区間長が時間しきい値ｔｒ以上である場合には、この先、運転者の覚醒度が低下すると判定される。そして、ステップＳ１２０において、例えば、出力装置３０を構成するディスプレイに覚醒度の低下が予想される旨の情報などが表示される。その後、本処理から抜ける。

本実施形態によれば、覚醒度が高い区間ＴＭにおける心拍ゆらぎＳＤの平均値Ｍ_ＴＨ及び標準偏差ＳＤ_ＴＨに基づいてレベルしきい値σＴＨ及び時間のしきい値ｔｒが設定され、心拍ゆらぎＳＤがレベルしきい値σＴＨを下回る区間ＴＳの長さが時間しきい値ｔｒ以上であるときに、今後覚醒度が低下すると判定される。ここで、心拍ゆらぎＳＤは、将来の覚醒度変化と相関関係を有するので、運転者の覚醒度が比較的高いときに、今後、覚醒度が低下するか否かを予測することが可能となる。

図９〜図１２を参照して、本実施形態により、運転者の覚醒度が比較的高いときに、覚醒度の低下を予測することが可能であることを、実施例１，２によって具体的に示す。実施例１，２では、運転者の心拍信号から求めた心拍ゆらぎＳＤと、覚醒度（眠気レベル）とを測定した。なお、運転者の眠気レベルの評価には「覚醒度客観評価のための顔面表情評定，ＮＥＤＯ（独立行政法人 新エネルギー・産業技術総合開発機構），人間感覚計測マニュアル第１編第２章第１４６頁」を用いた。

（実施例１）
運転シミュレータでの模擬走行試験（試験条件：周回コース、他車両なし）により、運転者の心拍信号を検出して心拍ゆらぎＳＤを取得した。覚醒度が高いと評価された運転開始直後の区間（図９参照）において、心拍ゆらぎＳＤの平均値Ｍ_ＴＨ１及び標準偏差ＳＤ_ＴＨ１を求め、レベルしきい値σＴＨ１及び時間しきい値ｔｒ１を設定した。本実施例での平均値Ｍ_ＴＨ１は７．６９２、標準偏差ＳＤ_ＴＨ１は３．４６２７であり、レベルしきい値σＴＨ１を４．２２９、時間しきい値ｔｒ１を１分１０秒と設定した。なお、レベルしきい値σＴＨ１の設定には上記（２）式を用いた。その際、係数Ａは１とした。また、時間しきい値ｔｒ１の設定には上記（３ａ）式を用いた。その際、Ｎは４であった。

心拍ゆらぎＳＤを継続して取得したところ、図１０に示されるように、レベルしきい値σＴＨ１を約５分４０秒連続して（時間しきい値ｔｒ１以上）下回る区間ＴＳ１が検出された。この時点で、覚醒度判定装置１は、今後、覚醒度が低下すると判定した。区間ＴＳ１が検出された時点での眠気レベルは約４であり、覚醒度は比較的高い状態であった。区間ＴＳ１が検出された後、約３０分経過後から眠気レベルが低下し始め、約４０分経過後に眠気レベルは約１まで低下した。以上のことから、本実施形態の有効性が確認された。

（実施例２）
実施例１と同様に、運転シミュレータでの模擬走行試験（試験条件：周回コース、他車両なし）により、運転者の心拍信号を検出して心拍ゆらぎＳＤを取得した。覚醒度が高いと評価された運転開始直後の区間（図１１参照）において、心拍ゆらぎＳＤの平均値Ｍ_ＴＨ２及び標準偏差ＳＤ_ＴＨ２を求め、レベルしきい値σＴＨ２及び時間しきい値ｔｒ２を設定した。本実施例での平均値Ｍ_ＴＨ２は２．１９５、標準偏差ＳＤ_ＴＨ２は１．１７１であり、レベルしきい値σＴＨ２を１．０２３、時間しきい値ｔｒ２を１分３６０秒と設定した。なお、レベルしきい値σＴＨ２の設定には上記（２）式を用いた。その際、係数Ａは１とした。また、時間しきい値ｔｒ２の設定には上記（３ａ）式を用いた。その際、Ｎは６であった。

心拍ゆらぎＳＤを継続して取得したところ、図１２に示されるように、レベルしきい値σＴＨ２を約６分５０秒連続して（時間しきい値ｔｒ２以上）下回る区間ＴＳ２が検出された。この時点で、覚醒度判定装置１は、今後、覚醒度が低下すると判定した。区間ＴＳ２が検出された時点での眠気レベルは約６であり、覚醒度は高い状態であった。区間ＴＳ２が検出された後眠気レベルが低下し始め、約５０分経過後に眠気レベルは約２まで低下した。以上のことから、本実施形態の有効性が確認された。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、覚醒度判定装置の搭載場所は車両に限られるものではなく、覚醒度の低下予測が行われる被験者も、車両の運転者に限られない。

また、レベルしきい値σＴＨ及び時間しきい値ｔｒを設定する区間ＴＭの選定方法は、上記実施形態に限られない。例えば、運転者の脳波、ステアリングホイールの操舵角速度や視線移動などから、覚醒度が高い状態を認識して区間ＴＭを選定してもよい。

さらに、運転者の心拍信号を取得するセンサとしては、電位式心拍センサの他、心拍に応じて周期的に変化する赤外線の反射光量を検出する赤外線式心拍センサや運転者の血圧を検出するセンサ等を用いることができる。

実施形態に係る覚醒度判定装置の全体構成を示すブロック図である。 実施形態に係る覚醒度判定装置による覚醒度低下予測処理の処理手順を示すフローチャートである。 （ａ）は心拍信号の一例を示す図である。（ｂ）は（ａ）の心拍信号を２値化処置して取得された２値化信号を示す図である。（ｃ）は（ｂ）の２値化信号から取得された心拍周期時系列を示す図である。 心拍周期時系列のパワースペクトルの一例を示す図である。 心拍ゆらぎＬ／Ｈの一例を示す図である。 心拍ゆらぎＳＤの一例を示す図である。 レベルしきい値及び時間しきい値の設定方法を説明するための図である。 覚醒度の低下判定方法を説明するための図である。 覚醒度が高い区間の眠気レベルと心拍ゆらぎＳＤを示す図である。 心拍ゆらぎＳＤと覚醒度低下の関係を示す図である。 覚醒度が高い区間の眠気レベルと心拍ゆらぎＳＤを示す図である。 心拍ゆらぎＳＤと覚醒度低下の関係を示す図である。

符号の説明

１…覚醒度判定装置、１０…心拍センサ、２０…ＥＣＵ、２２…心拍信号処理部、２４…しきい値設定部、２６…覚醒度低下予測部。

Claims (2)

1. 心拍信号を取得する心拍信号取得手段と、
   前記心拍信号から心拍周期時系列のパワースペクトルを取得し、該パワースペクトルを所定の２つの周波数帯域に分割し、各周波数帯域の帯域パワーの比を演算してその時系列を取得し、該帯域パワー比時系列の所定区間ごとに標準偏差を求めて心拍ゆらぎ区間標準偏差を取得する心拍信号処理手段と、
   前記心拍信号処理手段により求められた心拍ゆらぎ区間標準偏差に基づいて、覚醒度が低下するか否かを予測する覚醒度低下予測手段と、を備え、
   前記覚醒度低下予測手段は、
   覚醒度が高い区間での前記心拍ゆらぎ区間標準偏差の平均値及び標準偏差を求め、この平均値及び標準偏差に基づいてレベルしきい値を設定すると共に、前記区間において前記心拍ゆらぎ区間標準偏差が前記レベルしきい値を下回る時間に応じて時間しきい値を設定するしきい値設定手段を有し、
   前記心拍ゆらぎ区間標準偏差が前記レベルしきい値を下回る時間が、前記時間しきい値以上継続した場合に、覚醒度が低下すると判定する
   ことを特徴とする覚醒度判定装置。
2. 心拍信号を取得する心拍信号取得ステップと、
   前記心拍信号から心拍周期時系列のパワースペクトルを取得し、該パワースペクトルを所定の２つの周波数帯域に分割し、各周波数帯域の帯域パワーの比を演算してその時系列を取得し、該帯域パワー比時系列の所定区間ごとに標準偏差を求めて心拍ゆらぎ区間標準偏差を取得する心拍信号処理ステップと、
   前記心拍信号処理ステップで求められた心拍ゆらぎ区間標準偏差に基づいて、覚醒度が低下するか否かを予測する覚醒度低下予測ステップと、を有し、
   前記覚醒度低下予測ステップは、
   覚醒度が高い区間での前記心拍ゆらぎ区間標準偏差の平均値及び標準偏差を求め、この平均値及び標準偏差に基づいてレベルしきい値を設定すると共に、前記区間において前記心拍ゆらぎ区間標準偏差が前記レベルしきい値を下回る時間に応じて時間しきい値を設定するしきい値設定ステップを有し、
   前記心拍ゆらぎ区間標準偏差が前記レベルしきい値を下回る時間が、前記時間しきい値以上継続した場合に、覚醒度が低下すると判定する
   ことを特徴とする覚醒度判定方法。

Images