[go: up one dir, main page]

JP5444898B2 - 状態検出装置、状態検出方法及びプログラム - Google Patents

状態検出装置、状態検出方法及びプログラム Download PDF

Info

Publication number
JP5444898B2
JP5444898B2 JP2009163143A JP2009163143A JP5444898B2 JP 5444898 B2 JP5444898 B2 JP 5444898B2 JP 2009163143 A JP2009163143 A JP 2009163143A JP 2009163143 A JP2009163143 A JP 2009163143A JP 5444898 B2 JP5444898 B2 JP 5444898B2
Authority
JP
Japan
Prior art keywords
class
monitored person
group
state
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009163143A
Other languages
English (en)
Other versions
JP2011018240A (ja
Inventor
宏次 小栗
圭史 岸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2009163143A priority Critical patent/JP5444898B2/ja
Priority to EP10796952.9A priority patent/EP2453427A4/en
Priority to KR1020127003098A priority patent/KR101311552B1/ko
Priority to PCT/JP2010/055010 priority patent/WO2011004641A1/ja
Priority to CN201080031025.8A priority patent/CN102473354B/zh
Priority to US13/383,085 priority patent/US8786448B2/en
Publication of JP2011018240A publication Critical patent/JP2011018240A/ja
Application granted granted Critical
Publication of JP5444898B2 publication Critical patent/JP5444898B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/0245—Measuring pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1103—Detecting muscular movement of the eye, e.g. eyelid movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Social Psychology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)

Description

本発明は、状態検出装置、状態検出方法及びプログラムに関し、更に詳しくは、被監視者の状態を検出する状態検出装置、被監視者の状態を検出するための状態検出方法及びプログラムに関する。
近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数自体は依然として高い水準で推移している。事故の原因は様々であるが、運転者が漫然な状態（漫然状態）で車両の運転を行うことも、事故を誘発する原因の１つである。漫然状態は、運転中の会話や、携帯電話の使用など、運転者が運転以外の行動を行うことにより、運転に対する注意力が散漫になる状態と、疲労や眠気などによって運転者の注意力が低下する状態とに概ね二分することができる。
後者に関しては、運転者の意識向上のみでは改善が困難であることから、運転者の眠気や、注意力の低下などの事象を検出し、運転者の活性度を評価しようとする技術が種々提案されている（例えば特許文献１、特許文献２、及び非特許文献１参照）。
特許文献１に記載された技術は、進行方向に直交する方向へ移動する車両の移動量の標準偏差を算出し、標準偏差の最小値及び最大値を閾値と比較した結果に基づいて車両の運転者の覚醒度合いを検出するものである。
特許文献２に記載された技術は、運転者の視線方向を所定の期間継続して検出し、視線方向の分布を示す視線分布情報を生成する。そして、視線分布情報によって示される視線の方向性から、運転者が漫然に車両を運転しているかどうかを判断するものである。
非特許文献１に記載された技術は、運転者の精神的負荷によって変動する心拍数を特徴量として検出し、ＡｄａＢｏｏｓｔを用いて特徴量のマッチングを行うことで、運転者の運転負荷を検出するものである。
特開２００８−２５０８５９号公報 特開２００８−２４３０３１号公報
情報処理学会論文誌vol.50 No. pp.171-180 (2009)
しかしながら、特許文献１及び２に開示された技術では、運転者によって、運転の傾向や、覚醒の度合いに応じた行動パターンなどが異なるにもかかわらず、運転者の状態は一様に検出される。このため、運転者固有の状態を正確に検出することができない場合がある。
また、非特許文献１に記載の技術は、運転者個々の傾向などを学習した結果に基づいて、運転者の運転状態を検出する。このため、運転者固有の運転状態をある程度正確に検出することができる。しかしながら、この技術では、運転者の状態を、通常運転を行っている状態と、非通常運転を行っている状態の二種類の状態に分類するに止まり、非通常運転における運転者の負担度のレベルを検出することができない。
本発明は、上述の事情の下になされたもので、被監視者の状態を、度合い別に検出することを目的とする。
上記目的を達成するため、本発明の状態検出装置は、被監視者に関する情報を特徴量として検出する検出手段と、前記特徴量を入力値とし、前記被監視者の活性度合を指標として定められた３つ以上のクラスのいずれかが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、識別した結果と信頼度を含む情報を出力値として出力する複数の識別手段と、前記識別手段の個数と、前記クラスの個数に基づいて定まる符号表に基づいて、前記クラスを分類する分類手段と、前記出力値から損失値を算出する損失値算出手段と、前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出する検出手段と、を備える。
また、複数の前記クラスは、複数通りのパターンで前記第１グループと前記第２グループとに分類されることとしてもよい。
また、前記損失値算出手段は、前記損失値を、指数関数で定義することとしてもよい。
また、前記被監視者に関する情報は、前記被監視者の生体情報であることとしてもよい。
また、前記生体情報は、前記被監視者の視線情報を含むこととしてもよい。
また、前記生体情報は、前記被監視者の心拍情報を含むこととしてもよい。
上記目的を達成するため、本発明の状態検出方法は、被監視者に関する情報を特徴量として検出する工程と、識別手段を用いて、前記特徴量を入力値とし、前記被監視者の活性度合を指標として定められた３つ以上のクラスのいずれかが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、識別した結果と信頼度を含む情報を出力値として出力する工程と、前記識別手段の個数と、前記クラスの個数に基づいて定まる符号表に基づいて、前記クラスを分類する工程と、前記出力値から損失値を算出する工程と、前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出する工程と、を含む。
上記目的を達成するため、本発明のプログラムは、状態検出装置の制御手段に、被監視者に関する情報を特徴量として検出させる手順と、識別手段を用いて、前記特徴量を入力値とし、前記被監視者の活性度合を指標として定められた３つ以上のクラスのいずれかが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、識別した結果と信頼度を含む情報を出力値として出力する手順と、前記識別手段の個数と、前記クラスの個数に基づいて定まる符号表に基づいて、前記クラスを分類する手順と、前記出力値から損失値を算出する手順と、前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出する手順と、を実行させる。
本発明によれば、被監視者の状態を、度合い別に検出することができる。
第１の実施形態に係る状態検出装置のブロック図である。 識別ユニットのブロック図である。 識別器の動作を説明するための図である。 損失値の算出方法を説明するための図である。 第２の実施形態に係る状態検出装置のブロック図である。 識別装置の動作を説明するためのフローチャートである。
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図４を参照しつつ説明する。図１は本実施形態にかかる状態検出装置１０の概略的な構成を示すブロック図である。状態検出装置１０は、例えば自動車を運転する被監視者としての運転者の生体情報などに代表される情報を取得する。そして、取得した情報に基づいて運転者が非通常運転を行っているか否かを、その度合いとともに検出する装置である。なお、非通常運転とは、眠気、疲労、急ぎ、ストレスなど、交通事故を誘発する可能性が高い運転をいう。
図１に示されるように、状態検出装置１０は、運転者の生体情報を取得して特徴量として出力する生体情報取得装置２０、特徴量に基づいて運転者の運転状態を検出し出力する識別装置３０を備えている。
生体情報取得装置２０は、運転者の生体情報として、例えば眠気に起因する瞼の開度に関する情報、及び心拍の周波数に関する情報などを特徴量として検出し出力する。
例えば、上述の瞼の開度に関する情報は、眼瞼映像を画像解析することで検出することができ、生体情報取得装置２０は、運転者の瞼の開度を０から１の範囲に正規化した値を特徴量ａ１として検出する。また、心拍の周波数に関する情報は、ＲＲ間隔を解析することにより得ることができる。そこで、生体情報取得装置２０は、心拍変動のパワースペクトルから、運転者の心拍の間隔変動の低周波領域での周波数を特徴量ａ２として検出し、高周波領域での周波数を特徴量ａ３として検出する。そして、生体情報取得装置２０は、検出した特徴量に関する入力情報ｘ（ａ１，ａ２，ａ３）を、識別装置３０へ出力する。なお、説明の便宜上入力情報ｘ（ａ１，ａ２，ａ３）は、以下単に入力情報ｘと表示する。
識別装置３０は、例えば運転者の運転状態が運転者の活性度を指標として区分された３つのクラス（クラス１、クラス２、クラス３）のうちから、運転者の運転状態が属するクラスを検出し出力する装置である。この識別装置３０は、識別ユニット４０と、クラス検出ユニット５０とを有している。
なお、上述の活性度とは、運転者が外部からの入力に対して行動を起こす場合に、その行動を起こすまでの時間（反応時間）の長短などによって定義することができる。この反応時間は、眠気や、注意力の低下などによって、長くなる傾向がある。本実施形態では、例えば、さまざまな状況で運転者の反応時間を計測し、最も反応時間が短いときの運転者の状態（通常状態）をクラス１とし、最も反応時間が長いときの運転者の状態（最漫然状態）をクラス３とする。また、クラス１とクラス３との間の状態（漫然状態）をクラス２とする。これにより、運転者の状態は３つに区分されることになる。
なお、ここで、３つのクラスの別の例として、例えば、クラス１は、通常運転状態（正常な運転ができる状態）、クラス２は、非通常運転状態（居眠り、漫然運転、疲労運転、急ぎ運転、ストレス、注意散漫等）のうち考え事やぼんやりしている状態、クラス３は、非通常運転状態のうち他人と会話中の状態とすることもできる。
図２は識別ユニット４０のブロック図である。図２に示されるように、識別ユニット４０は、符号器４１と、６個の識別器４２１〜４２６と、復号器４３とを含んで構成されている。
符号器４１は、次式（１）で示される符号表Ｗを用いて符号化処理を行う。なお、ｐは識別器の個数であり、Ｇはクラスの数である。また、符号表Ｗの各行には、１と−１の双方が含まれる。本実施形態では、上述したように運転状態が属するクラスの数は３であり、識別器の数が６である。このため、次式（１）の一般式で示される符号表Ｗは、具体的には次式（２）に示されるように、６行３列のマトリクス状に配置された１８の要素から構成される。
Figure 0005444898
Figure 0005444898
図３を参照するとわかるように、符号表Ｗの各行の３つの要素は、左から右に向かって順に、それぞれクラス１、クラス２、クラス３に対応している。そして、３つのクラスは、値が１の要素に対応するクラスからなる第１グループと、値が−１の要素に対応するクラスからなる第２グループに分類される。なお、各グループのクラスの数は１つであっても複数（２つ）であってもよい。また、値が０の要素に対応するクラスは、分類から除外される。例えば、符号表Ｗの１行目の３つの要素は、クラス１が第１グループに分類され、クラス２及びクラス３が第２グループに分類されることを意味する。
同様に、符号表Ｗの２行目の３つの要素は、クラス２が第１グループに分類され、クラス１及びクラス３が第２グループに分類されることを意味する。また、符号表Ｗの３行目の３つの要素は、クラス３が第１グループに分類され、クラス１及びクラス２が第２グループに分類されることを意味する。また、符号表Ｗの４行目の３つの要素は、クラス１が第１グループに分類され、クラス２が第２グループに分類されることを意味する。また、符号表Ｗの５行目の３つの要素は、クラス１が第１グループに分類され、クラス３が第２グループに分類されることを意味する。また、符号表Ｗの６行目の３つの要素は、クラス２が第１グループに分類され、クラス３が第２グループに分類されることを意味する。
符号器４１は、入力情報ｘが入力されると、符号表Ｗの１行目の３つの要素からなるコード１［１、−１、−１］と入力情報ｘとの関連づけを行う。そして、コード１が関連づけられた入力情報ｘを識別器４２１へ出力する。
同様に、符号器４１は、符号表Ｗの２行目〜６行目それぞれの３つの要素からなるコード２［−１、１、−１］、コード３［−１、−１、１］、コード４［１、−１、０］、コード５［１、０、−１］、コード６［０、１、−１］それぞれと入力情報ｘとの関連付けを行う。そして、コード２〜コード６がそれぞれ関連づけられた入力情報ｘを、それぞれ識別器４２２〜４２６へ出力する。
識別器４２１〜４２６は、例えばＡｄａＢｏｏｓｔによる学習済みの二値判別器である。これらの識別器４２１〜４２６は、コード１〜６がそれぞれ関連づけられた入力情報ｘが入力されると、コード１〜６に基づいて、クラス１〜３を２つのグループに分類する。そして、入力情報ｘに基づいて、運転者の運転状態が、２つのグループのうちのいずれに属するかを識別し、識別した結果と、信頼度を出力する。
例えば、識別器４２１は、コード１［１、−１、−１］に基づいて、クラス１を第１グループに分類し、クラス２及びクラス３を第２グループに分類する。そして、識別器４２１は、入力情報ｘに基づいて、運転者の運転状態が、第１グループに属するか、第２グループに属するかを識別し、識別結果に応じた出力値ｈ１（ｘ）を出力する。
この出力値ｈ１（ｘ）の符号は、コード１の要素の符号と対応している。そして、出力値ｈ１（ｘ）の符号が＋（＞０）である場合には、運転者の運転状態は、コード１の、値が１である要素に対応するクラス１から構成される第１グループに属していると考えることができる。一方、出力値ｈ１（ｘ）の符号が−（＜０）である場合には、運転者の運転状態は、コード１の、値が−１である要素に対応するクラス２及びクラス３から構成される第２グループに属していると考えることができる。また、出力値ｈ１（ｘ）の絶対値は、識別結果としての信頼度を示す。
同様に、識別器４２２〜４２６それぞれは、コード２〜６に基づいて、クラス１〜３を第１グループに属するクラスと、第２グループに属するクラスに分類する。そして、識別器４２２〜４２６それぞれは、入力情報ｘに基づいて、運転者の運転状態が、第１グループに属するか、第２グループに属するかを識別し、識別結果に応じた出力値ｈ２（ｘ）〜ｈ６（ｘ）を出力する。
復号器４３は、上記式（２）で示される符号表Ｗを用いて複合化処理を行う。符号表Ｗの１列目にある６つの要素それぞれは、クラス１が、第１グループ及び第２グループのうちのいずれのグループに分類されたかを表している。また、符号表Ｗの２列目にある６つの要素それぞれは、クラス２が、第１グループ及び第２グループのうちのいずれのグループに分類されたかを表している。また、符号表Ｗの３列目にある６つの要素それぞれは、クラス３が、第１グループ及び第２グループのうちのいずれのグループに分類されたかを表している。
また、一般に識別器４２１〜４２６からの出力値は、識別平面からのユークリッド距離を表し、この値は識別結果の信頼度を表す。したがって、上述のようにグループ１が、値が１である要素によって規定され、グループ２が、値が−１である要素によって規定されている場合には、識別器４２１〜４２６からの出力値ｈｎ（ｘ）は、その符号が正でその値が大きいほど、運転者の運転状態が第１グループに属する傾向が強いことを意味する。また、識別器４２１〜４２６からの出力値ｈｎ（ｘ）は、その符号が負でその値が小さいほど、運転者の運転状態が第２グループに属する傾向が強いことを意味する。
そこで、復号器４３は、各識別器からの出力値と、符号表Ｗの列方向に配列された要素を用いて、クラス１〜３それぞれに対応する損失値Ｌ１〜Ｌ３を算出する。この損失値Ｌ１〜Ｌ３の算出は、次式（３）で示される関数が用いられる。
Figure 0005444898
図４を参照するとわかるように、例えば、出力値ｈ１（ｘ）〜ｈ６（ｘ）それぞれが、−２、−７、０．５、−１、−９、１２である場合には、クラス１に対応した損失値Ｌ１は、次式（４）のように計算される。
Figure 0005444898
復号器４３は、同様の要領で、クラス２、クラス３にそれぞれ対応する損失値Ｌ２、損失値Ｌ３をそれぞれ算出すると、算出した損失値Ｌ１〜Ｌ３をクラス検出ユニット５０へ出力する。
図１に戻り、識別装置３０のクラス検出ユニット５０は、識別ユニット４０の復号器４３から出力された損失値Ｌ１〜Ｌ３のうちから、最も値が小さい損失値に対応したクラスを、運転者の運転状態が属するクラスとして検出し出力する。例えば、クラス１に対応する損失値Ｌ１が７０１８、クラス２に対応する損失値Ｌ２が−１６１６６７、クラス３に対応する損失値Ｌ３が１５３５４６である場合には、クラス検出ユニット５０は、損失が最小となった損失値Ｌ２に対応するクラス２を、運転者の運転状態が属するクラスとして検出し外部へ出力する。
以上説明したように、本第１の実施形態にかかる状態検出装置１０では、例えば運転者の瞼の開度、心拍の周波数などの生体情報などに代表される運転者に関する特徴量に基づいて、現在の運転者の運転状態が属するクラスが検出される。このクラスは、運転者の活性度を指標として運転者の運転状態が複数のクラスに区分されたうちの一つである。したがって、検出されたクラスに基づいて、運転者の活性度がどの程度低下しているかという推定結果を、個人間差、個人内差にかかわらず、度合い別に検出することができる。これにより、運転者にとってより適切な運転支援を提供することが可能となる。
なお、上述の特徴量の傾向や変化量は、運転者の運転状態によって異なる。したがって、運転者の生体情報としては、上述した、瞼の開度、心拍の周波数に限らず、例えば、血圧、体温など複数の生体情報を更に取得し、これらの生体情報も加味して運転状態の属するクラスを検出することで、より正確に、またより多段階に運転者の運転状態を検出することができる。
また、本第１の実施形態では、識別器４２１〜４２６は、Ａｄａｂｏｏｓｔによる学習済みの二値判別器であるものとして説明した。しかしながら、本発明はこれに限定されるものではなく、識別器４２１〜４２６は、例えばＳＶＭ（Support Vector Machine）などの二値判別器であってもよい。
なお、本実施形態では、二値判別器を多値へ拡張するための手法の１つであるＥＣＯＣ法を扱っている。
また、本第１の実施形態では、運転者の運転状態を、活性度を指標として定められたクラス１〜３の３つのクラスに区分した。しかしながら、本発明はこれに限定されるものではなく、運転者の運転状態は、活性度を指標として、４つ以上のクラスに区分されていてもよい。具体的には、運転者の運転状態を、例えば、新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の定義にしたがって、全く眠くなさそうな状態、やや眠そうな状態、眠そうな状態、かなり眠そうな状態、非常に眠そうな状態に対応する５つのクラスに、活性度を指標として区分することが考えられる。
なお、識別器の個数をｐ、クラスの数をＧとすると、符号表ＷのサイズＷＳＩＺＥは次式で求めることができる。
Figure 0005444898
また、発明者等は、本発明の有効性を検証するため、本発明の状態検出装置とドライビングシュミレータを用いた実験を行った。被験者は男女３名（２１〜２３歳）で、１回の実験の実施時間は２０分である。また、被験者１名につき１０回の実験を行った。また、ドライビングシュミレータには、ランダムなＳ字カーブを含む単調な高速道路を設定した。
本実験では、正解率（Accuracy）を評価するため、以下の評価式を用いた。なお、ｔは実験の回数（実験番号）、Ｔはｔの最大値、ｎはサンプリング回数、ｙｔはｔの正解ラベル、Ｈｔはｔの仮説（状態を推定した結果）である。なお、本実験では、２０分間の間に１０秒ごとにデータのサンプリングを行ったので、ｎは１２０である。
Figure 0005444898
本実験の結果、下記の表を参照するとわかるように、本発明の状態検出装置は９３．５６％の正解率で運転者の運転状態を検出することができた。この正解率は、他の手法と比較して、１．５〜３倍程度高いものである。
Figure 0005444898
《第２の実施形態》
次に、本発明の第２の実施形態を、図５及び図６を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
本実施形態にかかる状態検出装置１０は、識別装置３０が、一般的なコンピュータ、又はマイクロコンピュータなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる状態検出装置１０と相違している。
図５は、状態検出装置１０の物理的な構成を示すブロック図である。図５に示されるように、状態検出装置１０は、生体情報取得装置２０と、コンピュータからなる識別装置３０とから構成されている。
識別装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、生体情報取得装置２０によって取得された入力情報ｘに対して、後述する処理を実行する。
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、生体情報取得装置２０から出力される入力情報ｘ、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。生体情報取得装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
図６のフローチャートは、ＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図６を参照しつつ、識別装置３０が実行する処理について説明する。なお、この処理は、ＣＰＵ３０ａが、生体情報取得装置２０に生体情報の取得を指示し、生体情報取得装置２０から入力情報ｘが出力された後に実行される。
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、符号表Ｗの１行目〜６行目それぞれの３つの要素からなる、コード［１、−１、−１］、コード２［−１、１、−１］、コード３［−１、−１、１］、コード４［１、−１、０］、コード５［１、０、−１］、コード６［０、１、−１］それぞれと入力情報ｘとの関連付けを行う。
次のステップＳ１０２では、ＣＰＵ３０ａは、コード１〜６に基づいて、クラス１〜３を第１グループに属するクラスと、第２グループに属するクラスに分類する。そして、ＣＰＵ３０ａは、入力情報ｘに基づいて、運転者の運転状態が、第１グループに属するか、第２グループに属するかを識別し、識別結果に応じた識別値ｈ１（ｘ）〜ｈ６（ｘ）を算出する。
次のステップＳ１０３では、ＣＰＵ３０ａは、識別値ｈ１（ｘ）〜ｈ６（ｘ）と、符号表Ｗの列方向に配列された要素を用いて、クラス１〜３それぞれに対応する損失値Ｌ１〜Ｌ３を算出する。図４を参照するとわかるように、例えば、識別値ｈ１（ｘ）〜ｈ６（ｘ）それぞれが、−２、−７、０．５、−１、−９、１２である場合には、クラス１に対応した損失値Ｌ１は、上記式（４）のように計算される。
次のステップＳ１０４では、ＣＰＵ３０ａは、算出した損失値Ｌ１〜Ｌ３のうちから、最も値が小さい損失値に対応したクラスを、運転者の運転状態が属するクラスとして検出する。例えば、クラス１に対応する損失値Ｌ１が７０１８、クラス２に対応する損失値Ｌ２が−１６１６６７、クラス３に対応する損失値Ｌ３が１５３５４６である場合には、ＣＰＵ３０ａは、損失が最小となった損失値Ｌ２に対応するクラス２を、運転者の運転状態が属するクラスとして検出する。
次のステップＳ１０５では、ＣＰＵ３０ａは、検出したクラスに関する情報を外部装置などへ出力する。以降、ＣＰＵ３０ａは、ステップＳ１０１〜ステップＳ１０５までの処理を繰り返し実行する。
以上説明したように、本第２の実施形態では、例えば運転者の瞼の開度、心拍の周波数などの生体情報などに代表される運転者に関する特徴量に基づいて、現在の運転者の運転状態が属するクラスが検出される。このクラスは、運転者の活性度を指標として運転者の運転状態が複数のクラスに区分されたうちの一つである。したがって、検出されたクラスに基づいて、運転者の活性度がどの程度低下しているかという事実を、個人間差、個人内差にかかわらず、度合い別に検出することが可能となる。これにより、運転者にとってより適切な運転支援を提供することが可能となる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
例えば、上記各実施形態では、運転者に関する情報として生体情報を用いた。しかしながら、本発明はこれに限定されるものではなく、運転者に関する情報として、例えば、操舵角、車両のふらつき度合い、ブレーキのタイミング、車両の速度及び加速度などの車両に関する情報、車室内の気温及び湿度などの運転者の周囲の環境に関する情報、オーディオやエアコンの操作など、運転以外の機器の操作に関する情報などを取得し、これら情報を加味して、運転状態が属するクラスを識別することとしてもよい。
また、上記各実施形態では、状態検出装置１０は、自動車を運転する運転者の状態を検出することとした。しかしながら、本発明の状態検出装置は、列車、飛行機などの移動手段を運転する運転者やオペレータの状態の検出にも好適である。また、移動手段の運転者等に限らず、例えば、室内などで被監視者の睡眠深度を検出することも可能である。
また、上記各実施形態では、活性度を反応速度や、眠気を感じている状態、すなわち傾眠状態などで定義したが、活性度は、他の要素に基づいて定義してもよい。例えば、被監視者の動作の正確性や注意力などに基づいて定義してもよい。要するに活性度は、例えば被監視者の眠気、疲労度などによって変化する指標に基づいて決定されていればよい。
また、上記各実施形態では、損失値を指数関数で計算したが、これに限らず、例えば、シグモイド関数等を用いて算出してもよい。
また、上記各実施形態に係る識別装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
また、第２の実施形態において識別装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明の状態検出装置、状態検出方法及びプログラムは、被監視者の状態を検出するのに適している。
１０ 状態検出装置
２０ 生体情報取得装置
３０ 識別装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
４０ 識別ユニット
４１ 符号器
４２１〜４２６ 識別器
４３ 復号器
５０ クラス検出ユニット

Claims (8)

  1. 被監視者に関する情報を特徴量として検出する検出手段と、
    前記特徴量を入力値とし、前記被監視者の活性度合を指標として定められた３つ以上のクラスのいずれかが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、識別した結果と信頼度を含む情報を出力値として出力する複数の識別手段と、
    前記識別手段の個数と、前記クラスの個数に基づいて定まる符号表に基づいて、前記クラスを分類する分類手段と、
    前記出力値から損失値を算出する損失値算出手段と、
    前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出する検出手段と、
    を備える状態検出装置。
  2. 複数の前記クラスは、複数通りのパターンで前記第１グループと前記第２グループとに分類される請求項１に記載の状態検出装置。
  3. 前記損失値算出手段は、前記損失値を、指数関数で定義する請求項１又は２に記載の状態検出装置。
  4. 前記被監視者に関する情報は、前記被監視者の生体情報である請求項１乃至３のいずれか一項に記載の状態検出装置。
  5. 前記生体情報は、前記被監視者の視線情報を含む請求項４に記載の状態検出装置。
  6. 前記生体情報は、前記被監視者の心拍情報を含む請求項４又は５に記載の状態検出装置。
  7. 被監視者に関する情報を特徴量として検出する工程と、
    識別手段を用いて、前記特徴量を入力値とし、前記被監視者の活性度合を指標として定められた３つ以上のクラスのいずれかが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、識別した結果と信頼度を含む情報を出力値として出力する工程と、
    前記識別手段の個数と、前記クラスの個数に基づいて定まる符号表に基づいて、前記クラスを分類する工程と、
    前記出力値から損失値を算出する工程と、
    前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出する工程と、
    を含む状態検出方法。
  8. 状態検出装置の制御手段に、
    被監視者に関する情報を特徴量として検出させる手順と、
    識別手段を用いて、前記特徴量を入力値とし、前記被監視者の活性度合を指標として定められた３つ以上のクラスのいずれかが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、識別した結果と信頼度を含む情報を出力値として出力する手順と、
    前記識別手段の個数と、前記クラスの個数に基づいて定まる符号表に基づいて、前記クラスを分類する手順と、
    前記出力値から損失値を算出する手順と、
    前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出する手順と、
    を実行させるためのプログラム。
JP2009163143A 2009-07-09 2009-07-09 状態検出装置、状態検出方法及びプログラム Active JP5444898B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009163143A JP5444898B2 (ja) 2009-07-09 2009-07-09 状態検出装置、状態検出方法及びプログラム
EP10796952.9A EP2453427A4 (en) 2009-07-09 2010-03-23 STATUS DETECTION DEVICE, STATUS RECOGNITION PROCESS AND PROGRAM THEREFOR
KR1020127003098A KR101311552B1 (ko) 2009-07-09 2010-03-23 상태검출장치, 상태검출방법 및 기록매체
PCT/JP2010/055010 WO2011004641A1 (ja) 2009-07-09 2010-03-23 状態検出装置、状態検出方法及びプログラム
CN201080031025.8A CN102473354B (zh) 2009-07-09 2010-03-23 状态检测装置、状态检测方法
US13/383,085 US8786448B2 (en) 2009-07-09 2010-03-23 State detecting device, state detecting method, and non-transitory computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009163143A JP5444898B2 (ja) 2009-07-09 2009-07-09 状態検出装置、状態検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011018240A JP2011018240A (ja) 2011-01-27
JP5444898B2 true JP5444898B2 (ja) 2014-03-19

Family

ID=43429066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009163143A Active JP5444898B2 (ja) 2009-07-09 2009-07-09 状態検出装置、状態検出方法及びプログラム

Country Status (6)

Country Link
US (1) US8786448B2 (ja)
EP (1) EP2453427A4 (ja)
JP (1) JP5444898B2 (ja)
KR (1) KR101311552B1 (ja)
CN (1) CN102473354B (ja)
WO (1) WO2011004641A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2925736B1 (fr) * 2007-12-21 2010-09-24 Eads Secure Networks Procede de production d'une preuve de presence ou de fonctionnement d'une entite dans une zone identifiee pendant une duree superieure a un seuil donne, et systeme de surveillance
JP2012166579A (ja) * 2011-02-09 2012-09-06 Aisin Seiki Co Ltd 状態判定装置、状態判定方法及びプログラム
JP5627511B2 (ja) * 2011-03-03 2014-11-19 アイシン精機株式会社 状態推定装置、状態推定方法及びプログラム
JP5720462B2 (ja) * 2011-07-20 2015-05-20 日産自動車株式会社 運転者疲労度推定装置
CN103077603A (zh) * 2012-06-06 2013-05-01 王晓原 基于动态人车环境协同推演的自由流状态汽车驾驶倾向性辨识系统
KR20140092634A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 전자장치와 그 제어방법
EP2980770B1 (en) 2013-03-28 2019-05-08 Panasonic Intellectual Property Management Co., Ltd. Presentation information learning method, server, and terminal device
CN103426004B (zh) * 2013-07-04 2016-12-28 西安理工大学 基于纠错输出编码的车型识别方法
DE102014201650A1 (de) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Verfahren zum Ermitteln des Belastungszustands des Fahrers
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US20150294547A1 (en) * 2014-04-15 2015-10-15 Denso Corporation Driver condition detection apparatus, driving assistance apparatus, driver condition detection method, and driving assistance method
KR101659027B1 (ko) 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
CN105313898B (zh) 2014-07-23 2018-03-20 现代摩比斯株式会社 驾驶员状态感应装置及其方法
KR102401607B1 (ko) * 2014-12-04 2022-05-25 현대모비스 주식회사 운전자의 운행 집중도 레벨 분석방법
KR101646401B1 (ko) 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법
CN104464194A (zh) * 2014-12-15 2015-03-25 宇龙计算机通信科技(深圳)有限公司 报警提示方法、报警提示系统、终端和可穿戴设备
CN105788364B (zh) * 2014-12-25 2019-05-14 中国移动通信集团公司 一种预警信息的发布方法及装置
JP6399311B2 (ja) * 2015-05-07 2018-10-03 スズキ株式会社 居眠り検知装置
DE102015224739A1 (de) * 2015-12-09 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Auslösen von Fußgängerschutzmitteln und/oder Fußgängerwarnmitteln
DE102015225109A1 (de) 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
CN105361863B (zh) * 2015-12-17 2016-09-07 海安欣凯富机械科技有限公司 飞机机长生理参数监控系统
CN105564659B (zh) * 2016-01-02 2017-07-28 万嘉鹏 用于飞机上的弹簧式紧急报警装置
US10357195B2 (en) * 2017-08-01 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition
CN107730835B (zh) * 2017-11-14 2019-07-02 吉林大学 一种基于应激反应能力的汽车驾驶员疲劳识别方法
CN109620269B (zh) * 2019-01-28 2021-10-22 锦图计算技术(深圳)有限公司 疲劳检测方法、装置、设备及可读存储介质
KR102171236B1 (ko) * 2019-03-14 2020-10-28 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치
JP7358958B2 (ja) * 2019-12-11 2023-10-11 トヨタ自動車株式会社 運転意識推定装置
US20220261657A1 (en) * 2021-02-17 2022-08-18 International Business Machines Corporation Monte-carlo adversarial autoencoder for multi-source domain adaptation
WO2023188130A1 (ja) * 2022-03-30 2023-10-05 株式会社Subaru 診断装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416861A (en) * 1994-04-29 1995-05-16 University Of Cincinnati Optical synchronous clock distribution network and high-speed signal distribution network
US6580973B2 (en) 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
US6925425B2 (en) 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
US6909947B2 (en) 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US20020151297A1 (en) 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
CN100411589C (zh) 2003-10-23 2008-08-20 株式会社三角工具加工 疲劳度测定装置、疲劳检测装置及方法
DE10355221A1 (de) * 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4702100B2 (ja) * 2006-02-27 2011-06-15 トヨタ自動車株式会社 居眠り判定装置および居眠り運転警告装置
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
CN100453043C (zh) 2007-01-23 2009-01-21 武汉理工大学 汽车驾驶员疲劳实时监测系统
JP4905832B2 (ja) * 2007-03-01 2012-03-28 株式会社エクォス・リサーチ 運転者状態判定装置、及び運転支援装置
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
JP2008243031A (ja) 2007-03-28 2008-10-09 Toyota Central R&D Labs Inc 漫然運転判定装置
JP2008250859A (ja) 2007-03-30 2008-10-16 Toyota Central R&D Labs Inc 覚醒度判定装置
WO2009003170A1 (en) * 2007-06-27 2008-12-31 Radow Scott B Stationary exercise equipment
US8744738B2 (en) * 2007-09-28 2014-06-03 The Boeing Company Aircraft traffic separation system
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
JP4948379B2 (ja) * 2007-12-18 2012-06-06 キヤノン株式会社 パターン識別器生成方法、情報処理装置、プログラム及び記憶媒体
JP5157458B2 (ja) 2008-01-09 2013-03-06 大日本印刷株式会社 高色濃度カラーフィルタ、およびその修正方法
CN101281646A (zh) 2008-05-09 2008-10-08 山东大学 基于视觉的驾驶员疲劳实时检测方法
CN101375796B (zh) * 2008-09-18 2010-06-02 浙江工业大学 疲劳驾驶实时检测系统
JP5270415B2 (ja) 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム

Also Published As

Publication number Publication date
KR101311552B1 (ko) 2013-09-26
KR20120046230A (ko) 2012-05-09
WO2011004641A1 (ja) 2011-01-13
US20120105234A1 (en) 2012-05-03
CN102473354B (zh) 2014-07-16
US8786448B2 (en) 2014-07-22
EP2453427A1 (en) 2012-05-16
EP2453427A4 (en) 2015-01-21
JP2011018240A (ja) 2011-01-27
CN102473354A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
JP5444898B2 (ja) 状態検出装置、状態検出方法及びプログラム
Xing et al. Identification and analysis of driver postures for in-vehicle driving activities and secondary tasks recognition
Min et al. Driver fatigue detection through multiple entropy fusion analysis in an EEG-based system
Craye et al. A multi-modal driver fatigue and distraction assessment system
Carlos et al. How smartphone accelerometers reveal aggressive driving behavior?—The key is the representation
Rigas et al. Towards driver′ s state recognition on real driving conditions
Atiquzzaman et al. Real-time detection of drivers’ texting and eating behavior based on vehicle dynamics
JP6737906B2 (ja) 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法
Braunagel et al. Online recognition of driver-activity based on visual scanpath classification
Fung et al. Driver identification using vehicle acceleration and deceleration events from naturalistic driving of older drivers
Li et al. Driver fatigue detection based on convolutional neural network and face alignment for edge computing device
Martin et al. Understanding head and hand activities and coordination in naturalistic driving videos
CN111931639A (zh) 驾驶员行为检测方法、装置、电子设备及存储介质
Wu et al. Driving behaviour‐based event data recorder
JP6519434B2 (ja) 運転支援装置
CN107233103A (zh) 高铁调度员疲劳状态测评方法及系统
Schmidt et al. Classifying cognitive load for a proactive in-car voice assistant
JP5917932B2 (ja) 状態推定装置、状態推定方法及びプログラム
JP2012166579A (ja) 状態判定装置、状態判定方法及びプログラム
CN110384478B (zh) 状态预测装置以及状态预测方法
Vasudevan et al. Driver drowsiness monitoring by learning vehicle telemetry data
JP5627511B2 (ja) 状態推定装置、状態推定方法及びプログラム
Das et al. Multimodal detection of drivers drowsiness and distraction
Sathyanarayana et al. Automatic driving maneuver recognition and analysis using cost effective portable devices
US20220351614A1 (en) Accident risk diagnosis method, accident risk diagnosis apparatus, and accident risk diagnosis system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131209

R151 Written notification of patent or utility model registration

Ref document number: 5444898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151