JP7095200B2

JP7095200B2 - 信号検出装置

Info

Publication number: JP7095200B2
Application number: JP2017216833A
Authority: JP
Inventors: 拓磨秋月; 忠章; 弘毅高橋
Original assignee: Toyohashi University of Technology NUC
Current assignee: Toyohashi University of Technology NUC
Priority date: 2017-11-09
Filing date: 2017-11-09
Publication date: 2022-07-05
Anticipated expiration: 2037-11-09
Also published as: JP2019084271A

Description

本発明は、人体から得られる微小な信号を検出する検出装置に関する。とくに、車両などの乗員の覚醒状態を判定するために乗員の生体情報および動作などから得られる微小な信号を検出するものである。

従来、車両を運転中の運転者の注意が散漫状態にあることを検出し、警告等の通知を発する技術が開示されていて、散漫状態に関わる運転者の覚醒度や注意力の低下を検出する方法は、運転操作や車両動作の情報を用いる方法と、運転者の生体情報を用いる方法などがある。

運転操作の情報を用いる方法では、運転者によるアクセルやブレーキペダル、ステアリング等の操作情報を使い、多変量解析手法の一種である自己組織化マップによって運転者の注意力状態を推定する技術が示されている（例えば、非特許文献１を参照）。

また、車両動作の情報を用いる方法では、運転者が居眠りや脇見運転に陥るときには、走行中の車両がある程度の規則性を持って蛇行することから、例えば、加速度センサにより車両挙動を検出し、周波数分析することで蛇行の振幅と周期性を求め、数ヘルツ以下の周波数範囲に特異な傾向を示すことを利用して運転者の意識状態を判定する装置が開示されている（例えば、特許文献１を参照）。

一方、非特許文献２には、ステアリングの操作情報と、車載カメラやレーザーレーダの情報と組み合わせて、車両の蛇行や修正操舵の量、ウィンカ等の操作頻度から、操舵の単調度の指標を求め、運転者の覚醒状態を推定する技術が示されている。しかしながら、運転操作や車両動作の情報を用いる方法では、カメラやレーザーレーダ、ステアリング角度などの種々の検出装置を車両に設置する必要があった。また、検出情報を少なくし車両の蛇行パターンの周波数分析により意識状態を判定する技術も、その検出手段を車両に設置する必要があり、そのため可搬性を備えることができない問題があった。

さらに、運転者の生体情報を用いる方法では、特許文献２には、撮影した顔画像から漫然運転、居眠り運転および脇見運転を判定する運転者状態検出装置が開示されている。また、非特許文献３に車両を運転中の運転者の腕の動きの大きさを加速度センサで検出し、ある一定の時間区間（数分程度）ごとに積算することで運転者の覚醒度合いを推定する技術が示されている。非特許文献３に記載の方法では、眠気の変化と比べて動きの変化が微小なぼんやりとした意識状態である漫然状態を検出できない問題があった。

特開平６－１７１３９３号公報特開２００５－１８６５６号公報

熊坂暁歩、三宅哲夫、章忠、秋月拓磨、「自己組織化マップによる漫然運転状態の解析」、第５９回自動制御連合講演会、５７５／５７８山本恵一、「運転注意力モニタのヒューマンインタフェース」、自動車技術５６（３）、７４／７８長澤潤、秋月拓磨、章忠、三宅哲夫、高橋弘毅、「ドライバの身体動作計測による漫然運転状態検出手法の検証」、ロボティクス・メカトロニクス講演会２０１６、１Ｐ１－１２ａ５

本発明は上記先行技術の問題点を鑑みてなされたものであり、乗員とくに運転者の意識状態を判定するため、検出手段を車両に設置する必要が無く、すなわち可搬性を有して運転者等の特定部位に関する微小信号を検出することで、運転者等の乗員における意識状態を高精度に検出する検出装置を提供することを課題としている。

上記の目的を達成するために、本発明は、車両などを操作する運転者または車両等に乗車する乗員などの被測定者における意識状態を把握するための被測定者から発せられる微小な信号の検出装置であって、被測定者に装着され、被測定者の二以上の特徴的動作を計測するセンサと、該センサによって計測される計測結果を処理する処理装置を備え、該処理装置は、一定時間に取得された前記センサによる計測結果のうち二以上の異なる種類の測定値の多変量に基づいて二以上の状態特徴量を算出する状態特徴量算出手段と、前記状態特徴量の集合について特異値分解する特異値分解手段と、前記特異値分解手段に基づき主成分空間を作成する主成分空間作成手段と、前記主成分空間を記憶する記憶手段と、被測定者の通常時における前記主成分空間に対し、測定時間ごとに算出される状態特徴量を射影する状態特徴量射影手段と、前記状態特徴量射影手段による射影結果により、前記主成分空間の属否に基づく被測定者の特異状態を判定する判定手段とを備えることを特徴とする。

また、本発明は、前記被測定者の特徴的動作は、該被測定者の利き腕の動作および心拍であることを特徴とする。

また、本発明は、前記被測定者の特徴的動作は、該被測定者の両腕の動作および心拍であることを特徴とする。

また、本発明は、前記被測定者の利き腕または両腕の動作の測定は、加速度および角速度を測定するモーションセンサであることを特徴とし、さらに、前記被測定者の心拍の測定は、心電センサであることを特徴とする。

また、本発明は、前記特異状態を判定する判定手段に基づく結果は、車両を操作する運転者の意識状態を判定するものであり、該意識状態の判定によって該運転者の特異信号を検出するものであることを特徴とする

本発明によれば、被測定者に対して二以上の特徴的動作を計測するセンサにより、例えば、特定部の位置情報と生理情報などを測定し、これらが測定した二以上の状態特徴量の変化を処理することにより、被測定者の微小な状態変化に係る信号を検出することができる。この信号検出の結果、例えば複数の意識判定（第一意識判定手段と第二意識判定手段と第三意識判定手段）により被測定者の意識状態を判定することで、可搬性を有する意識状態検出が可能となる。

また、被測定者の特徴的動作として、利き腕または両腕と、心拍とを測定することにより、体動その他の状態特徴を検出することが可能となる。このとき、判定手段による判定結果が、車両を操作する運転者の意識状態を判定するものであり、該意識状態の判定によって該運転者の異常な信号を検出する構成の場合には、例えば、第一意識判定手段が体動判定、第二意識判定手段が眠気判定、第三意識判定手段が漫然判定などの各種判定を可能とするものである。

なお、被測定者が正常状態にある時に取得され記憶された状態特徴量と被測定者の意識状態を検出する時に取得された状態特徴量との間の距離を適当な距離尺度（例えば、マハラノビス距離やＴ２統計量）により意識状態を判定することで、少ない数の検出手段のまま精度よく意識状態を検出することが可能となる。

また、位置情報および生理情報を受信し且つ前記情報処理装置に送信可能な信号受信部と、前記情報処理装置において被測定者の意識状態を判定した結果を表示可能な表示部を有する情報処理装置を備えることで、意識状態検出装置の小型化および低コスト化が可能となる。

第１の意識状態検出装置１０の概略ブロック図である。意識状態判定プロセスを示す流れ図である。学習フェーズにおける信号処理部５０、状態推定部６０、記憶部７０の各計算手順を示す図である。識別フェーズにおける信号処理部５０、状態推定部６０、記憶部７０の各計算手順を示す図である。被測定者の運転中の反応時間を走行条件（表１）ごとに累積した頻度分布の測定結果の例を示す図である。状態推定部６０で体動特徴量の主成分空間１２２に入力データを射影２２１し、体動判定２２２における体動生起状態６７が識別された結果の例を示す図である。ここで主成分空間とは、対象の多変量データを主成分分析による次元圧縮を行い、主成分で張られる部分空間のことを意味する。被測定者の意識状態を変化させるための実験手順の例を示す図である。漫然特徴量計算１４０および２４０における被測定者が漫然生起状態６５に陥った場合の右前腕の加速度データ、および漫然特徴量の算出結果の例を示す図である。漫然特徴量計算１４０および２４０における被測定者が非漫然生起状態（漫然なし）の場合の右前腕の加速度データ、および漫然特徴量の算出結果の例を示す図である。状態推定部６０の眠気判定２３２における被測定者の眠気状態の判定結果の例を示す図である。状態推定部６０の漫然判定２４２における被測定者の漫然状態の判定結果の例を示す図である。第２の意識状態検出装置１０の概略ブロック図である。

本発明に係る信号検出装置は、複数の各種センサおよびパーソナルコンピュータなどの情報処理装置が電気的に接続され、かつ、ＭＡＴＬＡＢ（登録商標）あるいはプログラム言語Ｃ言語などにより構築されて、前記センサおよびパーソナルコンピュータなどの情報処理装置を電気的に逐次動作させてなるものである。以下、本発明をその好ましい実施形態に基づき図面を参照しながら説明する。

（装置構成）
図１は、本発明の意識状態検出装置１０の一例を示した概略ブロック図である。本実施形態では、車両の運転者等の被測定者である人体に取り付けられ、人体の特定部位の位置情報を検出することが可能となる複数の位置情報検出器２０からなる位置情報検出手段と、人体に取り付けられ、人体の生理情報を検出することが可能となる生理情報検出器２１からなる生理情報検出手段と、位置情報検出手段および生理情報検出手段から得られる検出信号に基づき被測定者の意識状態を判定するための情報処理装置３０を備えている。位置情報検出器２０は、例えば加速度センサや角速度センサ、それらを統合したモーションセンサを用いることができる。生理情報検出器２１は、例えば心電センサや心拍センサ、脳波計や光トポグラフィー、それらを統合した脳活動計測装置を用いることができる。

（情報処理装置）
情報処理装置３０は、位置情報検出手段および生理情報検出手段から得られる検出信号を受信することが可能な信号受信部４０と、該検出信号から被測定者の意識状態を特徴付ける状態特徴量を演算する信号処理部５０と、状態特徴量から被測定者の意識状態を推定する状態推定部６０と、状態推定部６０における意識状態判定の基準情報を格納する記憶部７０と、状態推定部６０において推定した被測定者の意識状態を被測定者に知らせる表示部８０を有している。

（信号受信部）
信号受信部４０は、位置情報検出手段および生理情報検出手段から得られる検出信号を情報処理装置３０に受信できる手段であれば特に限定されないが、好ましくはＢｌｕｅｔｏｏｔｈ（登録商標）通信など無線により受信できる形態がよい。

（信号処理部）
信号処理部５０は、複数の位置情報検出器２０からの検出信号を、それぞれ個別に演算し、位置情報検出器２０が取り付けられた人体の特定部位の動きに応じた各状態特徴量を選択する。状態特徴量は、例えば、複数の位置情報検出器２０からの検出信号から、一定時間の時間経過に対する検出信号の変化（人体の特定部位が動く加速度や角速度等の動的変化量）に対する平均値（Ｍｅａｎ）、標準偏差（Ｓｔｄ）、分散（Ｖａｒ）、歪度（Ｓｋｅｗ）、尖度（Ｋｕｒｔ）などを算出する。また、これらの算出値は被測定者の意識状態の変化に伴い変化するが、特に変化が顕著な状態特徴量を選ぶことで、被測定者ごとに異なる人体の特定部位の特徴的な動作を示す状態特徴量を選択することができる。

（状態推定部と記憶部）
状態推定部６０において被測定者の意識状態を判定するため、予め、被測定者が平常時に車両などを運転している際の検出信号を取得し、被測定者ごとの判定基準として、記憶部７０に格納しておく。これは被測定者の注意が散漫である状態を一意に定義することが難しく、またその傾向も個人によって異なるためである。被測定者の意識状態は、被測定者ごとの判定基準に対する逸脱度を評価することで判定する。その判定には体動判定６１、眠気判定６２、漫然判定６３の３つの判定プロセス（図２）を設けることで、特に被測定者の漫然生起状態６５を、眠気を感じていない（非眠気生起状態）にも関わらず体動が無く（非体動生起状態）、正常状態６４とは異なる状態として判定が可能となる。

具体的には、推定処理部６０は、各種測定値を処理する処理装置として機能し、被測定者の特異状態を判定するものである。そのため、推定処理部６０は、一定時間に取得されたセンサによる計測結果のうち二以上の異なる種類の測定値の多変量に基づいて二以上の状態特徴量を算出する状態特徴量算出手段を構成している。また、状態特徴量の集合について特異値分解する特異値分解手段をも構成している。さらに、この特異値分解手段に基づき主成分空間を作成する主成分空間作成手段を構成するととともに、通常時における主成分空間に対し、測定時間ごとに算出される状態特徴量を射影する状態特徴量射影手段を構成している。そして、状態特徴量射影手段による射影結果により、主成分空間の属否に基づく被測定者の特異状態を判定する判定手段を構成する。なお、主成分空間は記憶部（記憶手段）７０に記憶され、この記憶部７０は、通常時における主成分空間、測定時間ごとに算出される状態特徴量、およびその他測定結果などを記憶するものである。

以下において、被測定者（車両等を操作する運転者）に対する特異信号を検出するための手段として、上述の信号検出装置を使用する形態を説明する。なお、本発明において、特異状態とは体動生起状態６７や眠気生起状態６６および漫然生起状態６５のような状態を表す。また、特異信号とは特異状態を示す信号のことを示す。以下では、被測定者ごとの判定基準を得るための主成分空間を求める手順を学習フェーズとし、主成分空間に射影した結果により主成分空間の属否を判定する手順を識別フェーズとして説明する。

（学習フェーズ）
図３の学習フェーズでは、被測定者が平常時に車両などを運転している際に位置情報検出器２０および生理情報検出器２１から得られる検出信号をＭＬ秒計測１００する。ＭＬ秒計測１００は、できる限り短い時間で且つ安定した判定基準を得るために１８０秒程度が好適であるが、安定した判定基準が得られるならば、その計測時間に制限はない。受信１１０された検出信号に基づき、検出信号ごとにノイズ除去を目的としたフィルタリング処理１１１、およびＲＲ間隔算出１１２等の前処理を行い、体動特徴量計算１２０、眠気特徴量計算１３０および漫然特徴量計算１４０の各状態特徴量をそれぞれ算出した後、各状態特徴量の集合に対してそれぞれ特異値分解手段として、特異値分解（ＳＶＤ）や固有値分解する方法があるが、ここでは特異値分解することで主成分空間を作成し、記憶領域７０に記憶させ被測定者ごとの判定基準を作成する。この被測定者の判定基準となる主成分空間を求める処理を学習フェーズと呼ぶ。なお、本発明において、被測定者が正常状態６４にあるとは、例えば車両の運転者の場合、頭や顔を触るなど、ハンドルから手を離して運転操作と関係のない動作をするような体動がなく、瞼の開き具合やあくびなどの表情や仕草に現れ読み取ることができる眠気がなく、点滅光のような瞬間的に発生する外的刺激に対して反応する時間が３００ミリ秒から４００ミリ秒前後であり、その反応時間がおおよそ一定である状態のことをいう。

（識別フェーズ）
被測定者の意識状態をリアルタイムで判定する手順は図４に示す。例えば、車両などを運転中の被測定者の意識状態を判定するためには、被測定者に取り付けられた位置情報検出器２０および生理情報検出器２１から得られる検出信号をＭＣ秒計測２００する。ＭＣ秒計測２００は、できる限り短い時間で且つ学習フェーズで得た主成分空間と比較可能な状態特徴量を得るために３秒間程度が好適であるが、被測定者ごとに異なる判定基準となる主成分空間に対し比較可能な体動特徴量計算２２０、眠気特徴量計算２３０および漫然特徴量計算２４０の各状態特徴量が計算できるならば、その計測時間に制限はない。計算された各状態特徴量２２０、２３０および２４０は、学習フェーズのＳＶＤの際に得られた右特異ベクトルを使って、同じく学習フェーズで求めた主成分空間上に射影する（２２１、２３１および２４１）。射影された各状態特徴量と学習フェーズで求めた判定基準を比較することで体動判定２２２、眠気判定２３２および漫然判定２４２を行う。各状態特徴量と判定基準との比較は、射影された点と正常時の分布間の距離を適当な距離尺度を用いて定義し、射影された点が判定基準の正常時の分布に近い場合は正常、また正常時の分布から遠く離れていれば異常と判定する。この処理を識別フェーズと呼ぶ。体動判定２２２、眠気判定２３２および漫然判定２４２の比較結果から、図２の流れ図に従い被測定者の意識状態を判定し提示する。

以上、本発明をその好ましい実施形態に基づき説明したが、本発明は前記実施形態に制限されない。

以下、実施例により本発明を更に詳細に説明する。

（状態特徴量の選定手法）
本発明は、体動判定６１、眠気判定６２、漫然判定６３の３つの判定を組み合わせ、関連のある複数の変数を管理することから、各判定モデルに主成分分析を用いた多変量統計的プロセス管理（ＭｕｌｔｉｖａｒｉａｔｅＳｔａｔｉｓｔｉｃａｌＰｒｏｃｅｓｓＣｏｎｔｒｏｌ：ＭＳＰＣ）のフレームワークを取り入れた。具体的には、生理情報（例えば、心電図データまたは心拍データ）に加えて、身体動作の情報として加速度・角速度データを取得し、これらの情報を総合的に判定することで、車両などを運転中の運転者等の意識状態を評価する。

（多変量統計的プロセス管理）
主成分分析を用いたＭＳＰＣでは、主成分分析によって多変量データを低次元空間に縮約し、Ｔ２統計量とＱ統計量を求め、この２つの指標がそれぞれに設定された管理限界を超えたときに異常であると判定する。このうち、以下の実施例では異常判定にＴ２統計量を用いることとし、以下の手順で求める。

はじめに、多変量データをまとめたｎ行ｐ列のデータ行列Ｘを構成する。ここで、ｐは変数の数、ｎはサンプル数であり、各変数は平均０および標準偏差が１の大きさに標準化されているとする。データ行列Ｘは特異値分解（ＳｉｎｇｕｌａｒＶａｌｕｅＤｅｃｏｍｐｏｓｉｔｉｏｎ；ＳＶＤ）により以下のように分解できる。

ただし、行列ＵとＶは直交行列であり、対角行列Ｓの対角要素には、特異値Ｓｉ（ｉ＝１，２，…，ｐ）が降順に並んでいる。また、数１、以下の数３、数４内で変数の右肩にある記号Ｔは行列・ベクトルの転置を表す。ここで、採用する主成分の数をｒとすると、第１主成分から第ｒ主成分までの主成分得点は次式より求められる。

ここで、行列Ｔｒは主成分得点からなるｎ行ｒ列の行列で、ｒは主成分の数、ｎはサンプル数を表す。主成分得点は、ｐ次元のデータをｒ次元の主成分空間に射影して得られたｒ次元空間内の座標値を表す。また、次元圧縮後のｒ次元のデータを元のｐ次元空間上の座標で表現すると、データ行列Ｘｒｃｓは次式で定義される。

ここで、新たに測定されたサンプルをｘ（ｐ次元の列ベクトル）とすると、ｒ次元の主成分空間内における原点から、r次元の主成分空間内に射影されたサンプルｘまでの距離は次のＨｏｔｅｌｌｉｎｇのＴ２統計量で求められる。

また、Ｔ２統計量に上限値（管理限界）を設定し、この上限値を超えた場合にはサンプルｘが異常であると判定する。

（検証用データの収集）
ドライビングシミュレータ（以下、ＤＳと記す。）上で意識低下を起こしやすい状況を再現し、被験者実験により検証用データの収集を行う。高速道路上での定常走行運転は、ドライバ（被測定者）の機能低下を誘発する単調作業とされている。そこで、ＤＳ上で高速道路を模した一周約３０［ｋｍ］の実験コースを作成し、走行条件を変化させることで正常、眠気、漫然状態の運転状態を再現する。以下の実験では、実験実施者が表１に示す条件下で運転するように被測定者に指示する。

図７を参照し、実験の流れを説明する。はじめに、実験実施者が被測定者にモーションセンサと心電センサを装着した後、着座安静時の心拍数を測定する。次に、ＤＳの操作に慣れてもらうために５分間の練習走行を行うよう、実験実施者が被測定者に指示する。その後、表１に示す条件Ａから条件Ｃ下での走行（セッション）を実験実施者が被測定者に指示する。なお、各走行の間には３分間の休憩を挟む。走行条件は、条件Ａを正常運転の基準とし、条件Ｂを３０分間の走行により漫然運転が生じやすい状況として設定している。また、条件Ｃは追従速度の変更や隣接車線に他車を配置することで注意力を高めるねらいがある。各条件とも、指定した先行車両と適切な車間距離を取るように実験実施者が被測定者に指示する。

（モーションセンサ）
被測定者である運転者の身体動作計測には位置情報検出器として加速度および角速度センサが内蔵されたモーションセンサ（ＡＴＲ－Ｐｒｏｍｏｔｉｏｎｓ社製ＴＳＮＤ１２１）を用いる。当該センサを図１に示す被測定者の右上腕（Ｓ１）、左上腕（Ｓ２）、右前腕（Ｓ３）、左前腕（Ｓ４）、右足甲部（Ｓ５）の計５箇所に装着する。また各モーションセンサで３軸（Ｘ・Ｙ・Ｚ軸方向）分の加速度および角速度（加速度・角速度データ）をそれぞれサンプリング周波数１００［Ｈｚ］で計測し、これをＢｌｕｅｔｏｏｔｈ（登録商標）通信により情報処理装置３０へリアルタイムで送信する。その後、収集した加速度・角速度データに対して、フィルタリング処理１１１、２１１で身体動作と関係のない高周波成分を、例えば、カットオフ周波数１２．５［Ｈｚ］のローパスフィルタにより除去する。同様に、フィルタリング処理１１１、２１１で道路形状に沿うような比較的ゆっくりとしたハンドル操作（具体的には高速道路上のカーブを曲がる場合など）に対応する低周波成分を、例えば、カットオフ周波数０．１［Ｈｚ］のハイパスフィルタにより除去する。これらのフィルタリング処理１１１、２１１の結果、車両の振動成分のほか、センサの取付位置の違いや道路形状に依存して変化する成分を加速度・角速度データから除去できる。

（心電センサ）
生理情報の測定には、生理情報検出器として心電センサを用い、具体的にはＴＳＮＤ１２１の外部入力端子に心電計測用アンプ（ＡＴＲ－Ｐｒｏｍｏｔｉｏｎｓ社製ＴＳ－ＥＭＧ０１）を接続し、心電図データを計測する。心電図データはサンプリング周波数１［ｋＨｚ］で計測し、データ収集後にＲＲ間隔算出１１２、２１２でＲ波を検出してＲ－Ｒ間隔値（ＲＲＩ）を算出する。心電計測用アンプを接続したＴＳＮＤ１２１は被測定者の腹部（Ｓ－ｅｃｇ）に装着する。なお、心電センサの代わりに心拍センサを用いた場合は、ＲＲ間隔算出１１２、２１２の処理でＲ波を検出せずに、心拍間隔をＲＲＩとする。

（判定精度検証のための評価指標作成）
状態推定部６０の判定精度を評価するために、実験中の被測定者の疲労や眠気、注意力の変化を数値化して記録する。このために、実験実施者によって、眠気指標と漫然指標の２つの指標を以下の手順でそれぞれ作成し、判定精度の評価に用いる。具体的には、眠気指標から眠気ラベルを、漫然指標から漫然ラベルをそれぞれ作成し、各ラベルの値（０または１）と眠気判定６２、および漫然判定６３の各判定結果（０または１）の値が一致した場合を判定成功とする。

（眠気指標）
運転中の被測定者の顔映像を複数名の実験実施者（例えば、３名）が観察し、表情や仕草から眠気レベルを５秒間隔で次の６段階に評価する：「全く眠くなさそう（０）」「ぼんやりしてそう（１）」「やや眠そう（２）」「眠そう（３）」「かなり眠そう（４）」「非常に眠そう（５）」。その後、複数名の実験実施者の評価値を平均した値を眠気の基準変数（眠気指標）とする。

（眠気ラベルの作成）
被測定者の眠気指標が０または１（全く眠くなさそう、または、ぼんやりしてそう）の場合を非眠気状態（正常）とし、これを眠気ラベル「０」と定義する。一方、眠気指標が２以上の場合を眠気生起状態６６（異常）とし、これを眠気ラベル「１」と定義する。

（漫然指標）
実験実施者が、運転中の被測定者にランダムに点灯するＬＥＤを提示し、ＬＥＤが点灯したタイミングで手元のスイッチをできるだけ素早く押すよう指示する。これによって、１種類の刺激が提示されてから１種類の反応をするまでの時間、いわゆる単純反応時間（以下、単に反応時間という）を測定する。また、測定した反応時間を注意力の基準変数とする。

（漫然ラベルの作成）
次に、図５に示した反応時間の頻度分布情報から、反応時間の遅延が基準値以上の場合を漫然生起状態６５とし、これを検出対象と定義する。ただし、反応時間の遅延の基準値を求めるにあたり、反応時間の分布は図５に示すように正の値方向に偏りがあり非対称形の分布形状を示す。そこで、分布の非対称性を抑制するために横軸を対数変換したのち、被測定者ごとに反応時間の平均と標準偏差（ＳＤ）を求め、これを反応時間の遅延の基準値とする。すなわち、被測定者ごとに平均±１ＳＤ範囲内の反応時間を非漫然状態（正常）とし、これを漫然ラベル「０」と定義する。一方、平均＋１ＳＤ以上の反応時間を漫然生起状態６５（異常）とし、これを漫然ラベル「１」と定義する。なお、平均－１ＳＤ以下の反応時間はなお早反応（フライング）の可能性が高いため、検出対象からは除外する。

（漫然特徴量）
漫然判定６３における、漫然特徴量計算１４０および２４０では、加速度・角速度データから被測定者の不注意状態における動きや姿勢の特徴を表す指標（動作特徴量）を求める。動作特徴量としては、ある時間区間内での加速度・角速度データの平均値や分散、また周波数エントロピーなど種々の特徴量を求めることができる。しかし、ハンドル操作などある一定の姿勢または動きを続けている中で発生する意識低下に伴う動きの変化は非常に小さく、従来の行動識別等で用いられる動作特徴量ではその変化を捉えることが非常に難しい。そこで、ある時間区間内での手足の姿勢や動きの時間変化量に着目し、以下の手順で漫然特徴量を求める。

（漫然特徴量の算出）
図８および９を参照し、漫然特徴量の算出手順を説明する。図８および９の（ａ）は運転中の被測定者のある時間区間における反応時間の推移を表し、図中の水平線は漫然指標における正常または異常の判定閾値を表す。このうち、図８（ａ）では反応時間の遅延が閾値を超えている区間があり、この時に漫然生起状態が生じていると定義する。次に、測定したｐ個の変数からなる時系列データ（加速度・角速度データ）から、窓幅Ｗ［秒］分のデータを切り出し、これを部分時系列Ｘｗとする。図８および９の（ｂ）では右前腕のｘ軸加速度をＷ＝３０［秒］分切り出した例を示す。ただし、図８および９（ａ）（ｂ）の横軸はそれぞれサンプル番号で、ｎ＝０，１，…，（Ｗ×ｆｓ）-１であり、ｆｓは測定値のサンプリング周波数［Ｈｚ］を表す。図８および９（ａ）（ｂ）ではｆｓ＝１００［Ｈｚ］である。次に、部分系列Ｘｗを時間方向にサブウィンドウ幅Ｗｓ［秒］ごとに分割し、サブウィンドウごとに平均値ｘｍ（ｉ，ｋ）を求める。ただし、ｉ＝１，２，…，ｐであり、ｋ＝１，２，…，ｆｌｏｏｒ（Ｗ／Ｗｓ）とし、ｆｌｏｏｒ（ａ）はａ以下の最大の整数を表す。図８および９（ｃ）は、（ｂ）の時系列データをサブウィンドウ幅Ｗｓ＝０．５［秒］ごとに平均化した例を示す。次に、隣り合うサブウィンドウ間での変化量：Ｄｘｍ（ｉ，ｋ）＝ｘｍ（ｉ，ｋ＋１）-ｘｍ（ｉ，ｋ）を求める。ただし、ｋ＝１，２，…，ｆｌｏｏｒ（Ｗ／Ｗｓ）-１、である。また、以下では、変化量Ｄｘｍ（ｉ，ｋ）を動的変化量と呼ぶ。図８および９（ｄ）は、（ｃ）の平均化された時系列データについて動的変化量を求めた例を示す。その後、変数ｉ（ｉ＝１，２，…，ｐ）ごとに（ｆｌｏｏｒ（Ｗ／Ｗｓ）-１）個の動的変化量Ｄｘｍ（ｉ，ｋ）のヒストグラム形状を規定する統計量（平均，分散，歪度，尖度など）を求める。

（漫然特徴量の選定）
次に、被測定者ごとに各モーションセンサの加速度・角速度データから漫然特徴量（動的変化量）を求め、漫然ラベル「０」が付与されたデータと漫然ラベル「１」が付与されたデータごとにそれぞれ平均値を計算し、平均値の差の検定を実施した。被測定者５名分でこの操作を行い、漫然判定６３に重要な特徴量の探索を行った。また、実用性を考慮し探索対象とするセンサを左右前腕のセンサ（Ｓ３およびＳ４）に絞り、表２の７０種の特徴量について検討した。ここで、表２では動的変化量Ｄｘｍ（ｉ，ｋ）の平均値をＤｉｆＭｅａｎ、標準偏差値をＤｉｆＳｔｄ、分散値をＤｉｆＶａｒ、歪度をＤｉｆＳｋｅｗ、尖度をＤｉｆＫｕｒｔとそれぞれ表記している。また、ａｘ、ａｙ、ａｚは３軸加速度を、Ｍａｇは３軸合成加速度を、ｇｘ、ｇｙ、ｇｚは３軸角速度をそれぞれ表す。表２の各特徴量について、漫然ラベル「０」と「１」とで動的変化量の平均値の差を検定し、有意水準５％で有意な差が認められた特徴量（表２内の太字の特徴量）から、ＤｉｆＭｅａｎ（動的変化量の平均値）とＤｉｆＳｋｅｗ（動的変化量の歪度）を漫然判定６３のための特徴量として採用した。窓幅Ｗ＝６０［秒］、サブウィンドウ幅Ｗｓ＝１［秒］とし、スライド幅１秒ごとに動的変化量の平均値と歪度を、右前腕（Ｓ３）および左前腕（Ｓ４）で計測された加速度・角速度データごとに求めた（（３軸加速度＋３軸角速度）×左右２センサ×２特徴量の計２４次元）。

（体動特徴量）
体動判定６１における、体動特徴量計算１２０および２２０では、右前腕（Ｓ３）および左前腕（Ｓ４）で計測された加速度・角速度データについて、窓幅内での分散値を軸ごとに求めた。窓幅、スライド幅ともに３秒とした（（３軸加速度＋３軸角速度）×左右２センサの計１２次元）。

（眠気特徴量）
眠気判定６２における、眠気特徴量計算１３０および２３０は、心電図データからＲＲ間隔（ＲＲＩ）算出１１２、２１２を実行し、ＲＲＩの平均値（ｍｅａｎＮＮ）、ＲＲＩの標準偏差（ＳＤＮＮ）、ＲＲＩの差分（ＲＲＩ［ｎ＋１］－ＲＲＩ［ｎ］）のＲＭＳ（ＲＭＳＳＤ）、ＲＲＩの分散（ＴｏｔａｌＰｏｗｅｒ）、ＲＲＩの差分（ＲＲＩ［ｎ＋１］－ＲＲＩ［ｎ］）が５０ｍｓｅｃを越える数（ＮＮ５０）、心拍変動の低周波成分（０．０４Ｈｚ以上０．１５Ｈｚ未満）のパワー（ＬＦ）、心拍変動の高周波成分（０．１５Ｈｚ以上０．４Ｈｚ未満）のパワー（ＨＦ）、ＬＦとＨＦの比（ＬＦ／ＨＦ）の８特徴量を求めた。窓幅１２０秒、スライド幅１秒とした（計８次元）。

（漫然判定のための状態特徴量一覧：サブウィンドウ幅Ｗｓ＝０．５［秒］の場合）

（状態検出アルゴリズム）
車両などの運転者等の不注意状態を一意に定義することは難しく、またその傾向も個人によって異なる。このことから、被測定者が平常時に車両などを運転している際に取得したデータから判定モデルを構築し、平常時の状態からの逸脱度を評価することで、被測定者の不注意状態を検出する。この時、モーションセンサと心電センサの測定値を判定モデルへの入力値とする。ただし、モーションセンサの測定値（加速度や角速度）には、ハンドルの持ち替えやハンドル操作以外の手や体の動きも反映されている。そのため、測定値から直ちに漫然状態を判定することは難しいため、以下の３つの判定プロセスにより段階的に被測定者の状態を判定する。

（Ｓｔｅｐ０：体動判定６１）
被測定者である車両などの運転者がハンドル持ち替え、頭をかく、坐り直しなどの運転操作以外の比較的大きな動きがあった場合、加速度や角速度が大きく変化する。このことから、まず体動の有無を評価し、体動生起状態６７と判定した場合、その区間ではその後の眠気判定６２、漫然判定６３のプロセスを実行しない。また体動有無の判定（体動判定６１）には、例えば、正常状態６４を再現した表１の条件Ａで取得した被測定者のデータを用いて、主成分分析によるＭＳＰＣ手法を適用した。

（Ｓｔｅｐ１：眠気判定６２）
眠気有無の判定（眠気判定６２）には、例えば、正常状態６４を再現した表１の条件Ａで取得した被測定者のデータを用いて、主成分分析によるＭＳＰＣ手法を適用する。また非眠気状態と判定した場合、その区間では漫然判定６３を行う。

（Ｓｔｅｐ２：漫然判定６３）
漫然有無の判定（漫然判定６３）には、例えば、正常状態６４を再現した表１の条件Ａで取得した被測定者のデータを用いて、主成分分析によるＭＳＰＣ手法を適用する。最終的にＳｔｅｐ１で非眠気状態と判定されたが反応時間が遅延した場合を、漫然生起状態６５として判定する。以上の判定プロセスは図２のように整理できる。

（学習フェーズ）
判定モデルの構築を図３および４を使い説明する。まず、図３では正常状態６４を再現した表１の条件Ａで取得した被測定者の心電図データ、加速度・角速度データを使って、体動判定６１、眠気判定６２および漫然判定６３におけるそれぞれの正常時の主成分空間を作成し記憶１２２、１３２および１４２する。主成分空間の作成には、例えば、眠気判定６２ではＭＬ＝１８０秒分の心電図データから、窓幅１２０秒、スライド幅１秒として、８つの眠気特徴量を６０サンプル分求め、それらをＳＶＤによる主成分分析によって次元削減することでｒ次元の主成分空間を求める。これが非眠気状態時の特徴量の分布となる。体動判定６１や漫然判定６３のアルゴリズムにおいても入力データや算出する状態特徴量が違うだけで同じ手法で正常時の主成分空間を作成し記憶する。

（識別フェーズ）
次に、図４の処理では、ＭＣ秒毎に体動判定６１、眠気判定６２および漫然判定６３におけるそれぞれの状態特徴量２２０、２３０および２４０を求め、それを学習フェーズのＳＶＤの際に得られた右特異ベクトルを使って、同じく学習フェーズで求めた主成分空間上に射影する。射影された点と正常時の分布との距離をＴ２統計量により求め、距離が近い場合は正常、遠く離れてＴ２統計量の上限値（管理限界）を超えていれば異常と判定する。このとき、管理限界は任意に設定できるが、例えば、正常状態６４を再現した表１の条件Ａで取得されたデータの９９％または９５％が正常であると判定されるように設定する。

（被測定者の状態判定）
図６は図３および図４のアルゴリズムを実行した結果、状態推定部６０にて構成された体動判定６１の主成分空間１２２、２２２の一例である。図６内で黒丸（●）は学習フェーズにおいて得られたデータ（状態特徴量）をそれぞれ主成分空間上に射影した結果を表す。なお、学習フェーズにおける体動判定６１のための主成分空間１２２を構成する際は、ハンドルから手を離して運転操作と関係のない動作をするような体動がない時に得られたデータを主に用いる。一方、白丸（○）は識別フェーズで新しく得られたデータ（状態特徴量）を主成分空間上に射影した結果を表す。また、射影された白丸と黒丸群の距離で体動・眠気・漫然状態を判定する。例えば、図６の体動判定６１の主成分空間１２２、２２２において、学習フェーズで得られたデータの分布と大きく離れている白丸（○）のデータは体動生起状態６７と判定される。

このうち、図１０および１１内の（ａ）は、表１の条件Ｂ中のＴ２統計量の時間変化を示しており、図中の水平線はＴ２統計量の管理限界を表す。また、両図内の（ｂ）は、それぞれ状態推定部６０の精度検証のためにデータに付与された眠気ラベル、および漫然ラベルを表し、「１」が眠気生起状態６６（漫然生起状態６５）、「０」が非眠気状態（非漫然状態）を表す。たとえば、図１０（ａ）においてＴ２統計量が管理限界を超えた区間は、眠気判定６２で「眠気生起状態（１）」と判定される。

また、図１０（ａ）では、同図（ｂ）の実験実施者が評価した眠気ラベルよりも数分早いタイミングでＴ２統計量が管理限界を超えて眠気生起状態６６を事前に検知できることを示している。また、図１１（ａ）では、Ｔ２統計量の推移が同図（ｂ）の漫然ラベルの推移とよく一致しており、漫然生起状態６５を精度よく検出できることを示している。このことから、被測定者の眠気生起状態６４、および漫然生起状態６５を精度よく検出することができ、被測定者が不注意状態に陥った際に迅速な注意喚起が可能となる。

図１２は第２の意識状態検出装置１０の概略ブロック図である。第１の意識状態検出装置と異なり、信号処理部５０、状態推定部６０、記憶部７０が備わる情報処理装置３１と、信号受信部４０と表示部８０が備わる情報処理端末３０とで構成される。

本実施例では、モーションセンサおよび心電センサの各計測値はＢｌｕｅｔｏｏｔｈ（登録商標）通信で情報処理端末３０に送られる。情報処理端末３０上では、送られてきたデータを信号受信部４０にてＳｅｎｓｏｒＳｅｒｖｅｒ（ＡＴＲ－Ｐｒｏｍｏｔｉｏｎｓ社製）というアプリケーションで受信しバイナリデータをテキスト形式のデータに変換する。これをＴＣＰ／ＩＰ方式で情報処理装置３１に送信する。その後、情報処理装置３１内の信号処理部５０でデータの前処理を行い、状態推定部６０で状態推定の計算を行う。前処理では、おもに各センサの時刻同期と欠損値補完、およびハイパスフィルタおよびローパスフィルタによるノイズ除去処理を行う。その後、状態推定部６０の計算では図３および図４に示すアルゴリズムにしたがって、各センサデータから各状態特徴量を算出し、主成分空間へ射影する。入力データが投射された位置と正常状態の集合との距離尺度（Ｔ２統計量）に基づき、体動、眠気、漫然状態の各判定を行う。またこれらの計算結果は記憶部７０のバッファファイルに逐次書き込まれ、それを情報処理端末３０から定期的に呼び出すことで表示部８０にてユーザに判定結果を提示する。

この構成により情報処理装置３１はインターネットを介して備えることが可能であり、情報処理端末３０には高い演算能力を必要としなくなるため、意識状態検出装置をより小型に且つ安価に提供可能となる。

以上、本発明を実施例に基づき説明したが、本発明はこれら実施例に制限されるものではない。例えば図１ないし図１２に示す実施例は、本発明を、主として車両の運転者に適用した場合のものであったが、本発明の意識状態装置は、被測定者が車両の運転者に限られず、プラント運転状態の監視者や航空管制、船舶運行などの長時間に渡り注意を維持し、単調な繰り返し作業を要する作業者等の意識状態の検出にも同様に適用できる。

１０意識状態検出装置
２０位置情報検出器
２１生理情報検出器
３０情報処理装置、情報処理端末
３１情報処理装置

Claims

被測定者に装着され、被測定者の特定部位に取り付けられた加速度センサ、角速度センサ、もしくはそれらを統合したモーションセンサのいずれか一以上による位置情報検出器と、被測定者に取り付けられた心電センサ、心拍センサ、脳波計、光トポグラフィー、もしくはそれらを統合した脳活動計測装置のいずれか一以上による生理情報検出器と、前記各検出器によって計測される計測結果を処理する処理装置を備え、
該処理装置は、
一定時間に取得された前記各検出器による計測結果から、時間経過に対する計測結果の変化によって被測定者の意識状態を特徴付ける状態特徴量を算出するとともに、多変量統計的プロセス管理を用いて二以上の状態特徴量を選択する状態特徴量算出手段と、
前記状態特徴量の集合について特異値分解する特異値分解手段と、
前記特異値分解手段に基づき主成分空間を作成する主成分空間作成手段と、
前記主成分空間を記憶する記憶手段と、
被測定者の通常時における前記主成分空間に対し、測定時間ごとに算出される状態特徴量を射影する状態特徴量射影手段と、
前記状態特徴量射影手段による射影結果により、通常時の状態特徴量の分布と射影された測定時間における状態特徴量の分布とを比較し、通常時における主成分空間の分布と投影された点との距離をＴ２統計量により求めたうえで、その距離が予め定めたＴ２統計量の管理限界を超えて離れているか否かにより被測定者の測定時間における意識状態について、正常、体動異常、眠気異常および漫然異常を判定する判定手段と
を備えることを特徴とする信号検出装置。
前記位置情報検出器は、被測定者の利き腕に取り付けられており、前記生理情報検出器は、心電センサであることを特徴とする請求項１に記載の信号検出装置。
前記位置情報検出器は、該被測定者の両腕に取り付けられており、前記生理情報検出器は、心電センサであることを特徴とする請求項１に記載の信号検出装置。
前記意識状態に係る正常、体動異常、眠気異常および漫然異常を判定する判定手段に基づく結果は、車両を操作する運転者の意識状態に係る正常、体動異常、眠気異常および漫然異常を判定するものであり、該意識状態の判定によって該運転者の異常な信号を検出するものであることを特徴とする請求項１から３に記載の信号検出装置。