CN101980660A - 注意力分散检测装置、注意力分散检测方法及计算机程序 - Google Patents
注意力分散检测装置、注意力分散检测方法及计算机程序 Download PDFInfo
- Publication number
- CN101980660A CN101980660A CN2009801108595A CN200980110859A CN101980660A CN 101980660 A CN101980660 A CN 101980660A CN 2009801108595 A CN2009801108595 A CN 2009801108595A CN 200980110859 A CN200980110859 A CN 200980110859A CN 101980660 A CN101980660 A CN 101980660A
- Authority
- CN
- China
- Prior art keywords
- attention
- driver
- rule
- driving
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Navigation (AREA)
Abstract
本发明提供一种注意力分散检测装置及方法。其中注意力分散检测装置具备:脑电波检测部,检测驾驶员的脑电波信号;清醒度推测部,保持对脑电波信号和清醒度进行对应的第一规则,并基于检测出的脑电波信号和第一规则,推测清醒度;注意力分配推测部,保持对脑电波信号和注意力分配的程度进行关联的第二规则,并基于检测出的脑电波信号和第二规则,推测注意力分配的程度;驾驶员状态推测部,保持用于根据清醒度和注意力分配导出注意力量的第三规则,并基于推测出的清醒度、注意力分配和第三规则,推测驾驶员对于驾驶的注意力量,将驾驶员的状态分类为通常状态、注意力量降低状态和清醒度降低状态;和输出部,基于驾驶员状态分类部的分类结果,对驾驶员进行影响。由此,通过脑电波测量判别驾驶员的注意力分散状态和睡意并进行适合于各个驾驶员状态的驾驶支援的动作。
Description
技术领域
本发明涉及一种利用脑电波测量驾驶员的状态、以进行安全驾驶支援的设备。
背景技术
近几年,在有关汽车驾驶的事故防止装置中,正在研究测量驾驶员的状态并基于该测量结果进行驾驶支援的方法。
作为推测驾驶员的状态的方法,具有获得间接反映汽车的操作状况的方向盘转向角或行驶速度的变化等的方法。该方法以在设备侧易获得的信息例如与白线检测组合在一起而能够支援驾驶的稳定性评价等。
另一方面,也有直接测量驾驶员状态而不是测量汽车状态的方法。例如,通过朝向驾驶员的照相机检测视线的方向或眨眼的状态,试着检测出驾驶员在看别处或有睡意等。
进而,作为直接测量驾驶员状态的方法,可以假设测量驾驶员脑电波的方法。脑电波是在头部能够测量的头皮上的电位变化,假设能够反映脑活动,则能够很好地实现驾驶员的状态。
在本发明中,目的在于提供一种对驾驶员的驾驶的注意力分散检测装置。驾驶员在驾驶时的注意力状况是通过方向盘转向角等汽车状况或照相机等外部测量难以知道的状况之一,因此认为注意力分散状况的检测会成为对安全驾驶支援很有效的信息。
以到此为止的注意力检测为目的的申请例如有专利文献1所公开的发明。是根据车辆状况和驾驶员的视线或脸部的动作来检测驾驶员的注意力分配的发明。
此外,在专利文献2所公开的发明中,通过具备预先存储有脑的活动状况与驾驶员的车辆操作之间的关系的数据库,从而根据车辆的举动获取推测脑内活动的方法。
专利文献1:日本特开2004-178367号公报(根据视线或脸部的动作检测注意力分配)
专利文献2:日本特开2005-228003号公报(根据车的操作信息推测脑活动)
但是,根据上述的专利文献1,在注意力已分散的情况下,即使视线朝向前方,也很难应对注意力没有朝向前方的情况等。
此外,根据专利文献2,由于车辆的举动和脑内活动并不是一对一的对应,因此认为推测结果中存在模糊性。例如,在制动操作比较迟的情况下,只要不能进行当时的驾驶员的测量,就无法区分是驾驶员判断为存在足够的余量,还是漫不经心地进行了驾驶。
如上所述,在注意力分散检测中,谋求更准确的测量方法。
发明内容
本发明是为了解决上述课题而完成的,其目的在于正确检测驾驶员的注意力是否分散,并向驾驶员提供适当的安全驾驶支援。
本发明的注意力分散检测装置,具备:脑电波检测部,其检测驾驶员的脑电波信号;清醒度推测部,其保持对脑电波信号和清醒度进行对应的第一规则,并基于检测出的所述脑电波信号和所述第一规则,推测清醒度;注意力分配推测部,其保持对脑电波信号和注意力分配的程度进行关联的第二规则,并基于检测出的所述脑电波信号和所述第二规则,推测注意力分配的程度;驾驶员状态推测部,其保持用于根据清醒度和注意力分配导出注意力量的第三规则,并基于推测出的所述清醒度、所述注意力分配和所述第三规则,推测所述驾驶员对于驾驶的注意力量,并将所述驾驶员的状态分类为通常状态、注意力量降低状态和清醒度降低状态;和输出部,其基于所述驾驶员状态分类部的分类结果,对所述驾驶员进行影响。
所述第一规则也可以预先对脑电波信号的频率强度和清醒度进行对应,所述清醒度推测部也可以计算检测出的所述脑电波信号的频率强度,并基于计算结果和所述第一规则推测所述清醒度。
也可以在所述清醒度推测部中预先设置根据脑电波信号的频率强度决定的多个组合,所述清醒度推测部将在多个时刻计算出的所述脑电波信号的各频率强度分类为所述多个组合中的任一个,并且基于被分类为所述多个组合中的任一个的至少一个频率强度和所述第一规则,推测所述清醒度。
所述第二规则也可以预先对脑电波信号的现象关联电位的振幅和注意力分配进行对应,所述注意力分配推测部也可以计算所检测出的所述脑电波信号的现象关联电位的振幅,并基于计算结果和所述第二规则,推测所述注意力分配的程度。
所述注意力分配推测部也可以预先设置根据所述现象关联电位的振幅而决定的多个组合,所述注意力分配推测部也可以将在多个时刻计算出的所述脑电波信号的现象关联电位的各振幅分类为所述多个组合中的任一个,并基于被分类为所述多个组合中的一个的至少一个现象关联电位的振幅和所述第二规则,推测所述注意力分配的程度。
所述注意力分散检测装置还具备检测外部环境的外部环境检测部,所述驾驶员状态推测部也可以预先具备基于所检测出的外部环境导出所需注意力量的规则,比较通过对由所述外部环境检测部检测出的外部环境适用所述规则而导出的所需注意力量、和由所述驾驶员状态推测部推测出的对于驾驶的注意力量,判定驾驶员是否对外部环境的复杂度集中了注意力。
所述驾驶员状态推测部也可以通过在由所述清醒度推测部推测出的清醒度上乘以由所述注意力分配推测部推测出的对于驾驶的注意力分配,从而计算驾驶员对于驾驶的注意力量。
所述注意力分配推测部也可以预先具备将对于驾驶以外的注意力分配和对于驾驶的注意力分配之间的关系进行对应的规则,并基于对于所述驾驶以外的注意力分配和所述规则,能够推测对于所述驾驶的注意力分配,所述驾驶员状态推测部也可以通过在对于所述驾驶以外的注意力分配和基于所述规则推测出的对于所述驾驶的注意力分配上乘以由所述清醒度推测部推测出的清醒度,从而计算所述驾驶员对于驾驶的注意力量。
本发明的注意力分散检测方法,具备:准备对脑电波信号和清醒度进行对应的第一规则的步骤;准备对脑电波信号和注意力分配的程度进行关联的第二规则的步骤;准备用于根据清醒度和注意力分配导出注意力量的第三规则;检测驾驶员的脑电波信号的步骤;基于检测出的所述脑电波信号和所述第一规则推测清醒度的步骤;基于检测出的所述脑电波信号和所述第二规则推测注意力分配的程度的步骤;基于推测出的所述清醒度、所述注意力分配和所述第三规则推测所述驾驶员对于驾驶的注意力量,并将所述驾驶员的状态分类为通常状态、注意力降低状态和清醒度降低状态的步骤;和基于分类的所述步骤的分类结果对所述驾驶员进行影响的步骤。
由计算机执行的本发明的计算机程序使所述计算机执行如下步骤:接收驾驶员的脑电波信号的步骤;基于检测出的驾驶员的脑电波信号、以及对脑电波信号和清醒度进行对应的第一规则推测清醒度的步骤;基于检测出的驾驶员的脑电波信号、以及对脑电波信号和注意力分配的程度进行关联的第二规则推测注意力分配的程度的步骤;基于推测出的所述清醒度、所述注意力分配以及根据清醒度和注意力分配导出注意力量的第三规则推测所述驾驶员对于驾驶的注意力量,并将所述驾驶员的状态分类为通常状态、注意力量降低状态以及清醒度降低状态的步骤;和基于所分类的所述步骤的分类结果对所述驾驶员进行影响的步骤。
(发明效果)
根据本发明的注意力分散检测装置,仅靠脑电波传感器就能够更准确地判定驾驶员的状态,因此能够实施对应于状态的适当的支援。此外,通过由设备适当地支援驾驶员,从而增加用户的信赖,并且驾驶员侧也能够适当地应对设备的信息,可实现安全驾驶。
附图说明
图1是(a)是表示判定方法的一例的图,(b)是表示组合了清醒度判定和注意力分配判定的判定方法的一例的图。
图2是表示与课题对应的难易度的设定的图。
图3是表示与清醒度相关的实验结果的图。
图4是表示与注意分配相关的实验结果的图。
图5是以波形表示图4的实验结果的一部分的图。
图6是表示在跟踪前方车辆的驾驶课题中将以前方车辆的制动器灯为起点的现象关联电位平均之后的图表的一例的图。
图7是表示注意力判定结果的图。
图8是实施方式1的注意力分散检测装置100的结构图。
图9是说明注意力量的分配的图。
图10是注意力分散检测装置100的处理的整体的流程图。
图11是表示清醒度推测部3的处理顺序的流程图。
图12是说明注意力分配推测部4的处理顺序的流程图。
图13是说明用于从脑电波信号获得现象关联电位的振幅的处理的图。
图14是表示驾驶员状态推测部5的处理顺序的流程图。
图15是实施方式2中的注意力分散检测装置200的结构图。
图16是注意力分散检测装置200的处理的整体的流程图。
图17是表示保存了左右外部状况的几个要因和与其相对应的必要注意力量的表格的图。
图18是实施方式2的驾驶员状态推测的流程图。
图中:1-驾驶员;2-生物体信号检测部;3-清醒度推测部;4-注意力量推测部;5-驾驶员状态推测部;6-输出部;7-外部环境检测部。
具体实施方式
在说明本发明的实施方式之前,首先说明由本申请的发明人进行的实验,并说明从该实验的结果获得的本申请的发明人的见解。
本申请的发明人关注于使脑活动反映时间良好且能够时间分辨率高地测量的脑电波,研究了是否能够利用于注意力分散的检测中。
在脑电波的研究领域之一中具有注意力研究。例如,在“测量对影像的注意力-使用了现象关联电位的探针刺激法的应用例”(入户野,生理心理学与精神心理学,2006,24(1),5-18)中,记载了使用探针刺激法,根据以影像提示的时刻为起点进行测量的现象关联电位,测量注意力分配的方法。
其中,“探针刺激法”是指设定主课题和次课题这两个课题,并根据次课题的注意力分配来推测主课题的注意力分配的方法。此外,“现象关联电位”是指与外在或内在的现象时间上相关连而生成的脑的暂时性电位变动。在该文献中,以影像提示的时刻为起点,切出300ms前后的脑电波,并从该脑电波的波形形状(振幅)中读取信息。将该脑电波成分称作现象关联电位的P300成分。
本申请的发明人想到若将上述的见解应用到驾驶场景,则能够根据脑电波测量注意力分配。所以,建立对于驾驶的注意力量是能够根据相对于驾驶以外的任务的注意力分配来推测的假设之后,实施利用了驾驶模拟装置的实验,从而确认了其有效性。
但是,发现仅靠注意力分散存在如下的不足点。即,在判定为驾驶时的注意力不足的情形下,考虑到注意力集中于驾驶以外的任务而注意力分散的情况和由于整体上睡意很强而导致注意力不足的情况这两者,若不能分离这两者,则无法进行适当的驾驶支援。
此外,在注意力分配的研究中具有前提条件。就是被实验者的清醒度成最大化。该前提成立时,能够根据次课题的注意力分配推测主课题的注意力。但是,在驾驶场景下,清醒度最大通常是不成立的。
基于事例说明这些课题。注意力检测和类似的概念中具有清醒度检测。清醒度检测与睡意检测以大致相同的意义使用,认为清醒度的下降是睡意变强的状态。例如,在日本特开2007-000280号公报中公开了利用脑电波判定清醒度的降低的方法。这些清醒度降低的检测和注意力量降低的检测若被独立地判定,则对于驾驶员而言,会进行错误的信息提示。
图1(a)表示判定方法的一例。该情况下,针对在探针刺激下所想到的驾驶以外的课题的振幅的大小,判断注意力是否足够。
但是,仅靠该判定并不能覆盖虽然注意力分配很足但因清醒度很低而注意力量还不足够的情况,或者虽然注意力分配少但因整体的清醒度高而不会特别成为问题的情况。
如上所述,在使清醒度判定和注意力判定分别独立地进行动作的情况下,成为不会正确地反映驾驶员的状态的判定的可能性提高。搭载了这些判定装置的安全驾驶支援系统无法适当地进行动作,会降低驾驶员的信赖。对驾驶员的安全驾驶支援系统的信赖是在原本想向驾驶员发出警告时驾驶员左右是否会适当地对应的重要属性。
对此,在日本特开2007-265377号公报中,公开了使用清醒度、注意力集中度、反映驾驶能力的驾驶员信息的驾驶员状态判定装置。清醒度根据脑电波、心跳状态、闭眼时间比例、脸部表情睡意值等来检测。此外,注意力集中度通过头部加速度、头部图像、颈部肌电图等来进行判定。在该文献中指出通过这些的组合能够判定驾驶员的多个状态。但是,需要导入与分别想要检测的多个信息相对应的多个传感器,并且基于心率计和照相机的脸部表情检测或基于加速度传感器的动作的检测间接反映驾驶员的注意力的状态。例如,仅靠照相机或加速度传感器,在当前时刻很难正确检测睡意或注意力。
因此,本申请的发明人研究了:以驾驶员的当前的清醒度为基础综合判定驾驶员对驾驶分配了多少注意力,更准确地推测驾驶员的状态的方法。具体而言,本申请的发明人仅利用认为最直接反映驾驶员的状态的脑电波传感器,研究了利用分别不同的分析方法综合判定清醒度和注意力集中度这两者,从而是否能够更准确简单地推测驾驶员的状态。
图1(b)表示组合了清醒度判定和注意力分配判定的判定方法的一例。其中,具有仅靠脑电波才能判定虽然注意力分配足够但清醒度低的状态(单元11)、和虽然注意力分配少但整体的清醒度高而不存在问题的情况(单元12)的特征。
本申请的发明人进行了使用驾驶模拟装置的实验。实验以上述文献所记载的探针刺激法的想法为基础,对驾驶时的状况应用了如下的两种课题。
首先,作为与驾驶相关的课题,设定了已搭乘驾驶模拟装置的驾驶员与显示在画面上的前方车辆将车间距离保持在20~30m的一定距离内的同时进行跟踪的课题。在跟踪前方车辆的操作中,需要对制动操作和加速进行反应来驾驶。
此外,作为与驾驶以外的任务相关的课题(对应于探针刺激法中的次课题,以下称作“非驾驶课题”),设定了在设置于驾驶模拟装置的仪表板的显示器上所显示的上下左右的箭头中向特定的方向按下设置在方向盘上的按钮的显示器可见度课题。这表示假设了车辆导航仪进行方向指示,并且提示了饭店或加油站的信息的情况下驾驶员操作按钮的操作,在相对于这些驾驶以外的任务的注意力很大的情况下,设置为对应于对驾驶的注意力分配不足。
相对于这样的两个课题的每一个,为了使驾驶时的注意力分配实验性的变化,使难易度分别按三个阶段来变化。即,针对驾驶课题,使前方车辆的速度变化,而作为非驾驶课题,使方向指示的箭头的显示间隔变化。
在该设定中,遵循探针刺激法的观点,获取进行非驾驶课题时的现象关联电位,并通过利用其振幅,首先求出对于非驾驶课题的注意力分配量,之后求出对于驾驶的注意力分配量。
实验中,对八名30多岁~40多岁的被实验者进行测量实验,针对除没有很好地进行前方车辆的跟踪课题的两名以外的六个人的脑电波数据进行了分析。
脑电波测量使用生物体信号收录装置(Polymate,ポリメイト)AP-112(Digitex(デジテツクス)制),测量电极装载在Pz(基于国际10-20法的场所标记,以下相同)上,基准电极装载在A1(右耳)上,设置电极装载在FPz(前额部)上。采样频率为200Hz,时间常数为3秒,滤波器是30Hz的低通滤波器。
图2与实验课题的难易度相关,表示与课题对应的难易度的设定。对于作为主课题的驾驶课题和作为次课题的非驾驶课题(显示器可见度课题),将难易度分别独立地设定为三阶段,通过实施所有各三种状况的组合,从而实施九种不同的注意力分配状况下的实验。
驾驶模拟装置的路线设定前方车辆行驶在高速路的路线上的状况,由于前方车辆进行加速或制动的同时行驶,因此谋求对该前方车辆的运动进行反应的同时进行跟踪的驾驶。每一次试行为约五分钟左右。
首先,图3表示关于清醒度的实验结果。纵轴表示α波段(8~13Hz的频率的强度的总值),横轴表示NASA-TLX的精神负担的主观负担的评价值。“NASA-TLX”是指能够利用由NASA埃姆斯氏研究所(Ames Research Center of NASA)开发的Task Load Index评价心理负担的指标。通过观察与该指标的相关,作为根据脑电波能够推测多少程度的清醒度的指标。
赋予给各点的记号由两个文字的拉丁字母构成,分别表示实验条件。第一文字表示对于驾驶课题的难易度。第二文字表示非驾驶课题(显示器可见度课题)的难易度。都是用L/M/H表示各自的难易度的低、中、高。根据该两个文字的组合,能够确认在何种状况下可观察到什么样的强度。
由图3可知,α波的强度与NASA-TLX的主观负担以相关系数0.78取相关,通过脑电波的频率分析,能够推测相当于清醒度的值。
接着,图4表示与注意力分配相关的实验结果。纵轴画出了以200-500ms区间的P3的最大振幅。由于这些也需要作参考,因此表示与按钮的反应时间的相关。相关系数为-0.77。可以说注意力分配也会表现在现象关联电位的振幅中。按钮的反应时间短时判断为注意力充分朝向了前方。由此,可以观察反应时间与振幅之间具有相关,因此可知振幅作为注意力分配也是有效的。
接着,图5以波形表示图4的实验结果的一部分。实验条件是(a)条件ML、(b)条件MM、(c)条件MH。驾驶课题的难易度固定为中程度(M),使非驾驶课题(显示器可见度课题)变化为难易度L、M、H。各图表的横轴为从提示在显示器上的刺激(箭头)被点亮的时刻开始的经过时间,单位是ms,纵轴是脑电波的电位,单位是μV。在各图表中描绘了两根线,在显示器可见度课题中,用实线表示与请求按下按钮的特定方向(在实验中是右箭头)的刺激提示对应的反应,用虚线表示与未请求按下按钮的刺激提示对应的反应。在图5中,对应于显示器的可见度,在400~500ms间可观察到被认为是具有阳性峰值的P300的一种的电位变化,并且可知显示器可见度课题越难(在图5中是随着从(a)变化到(c)),其振幅的大小就越大。认为该振幅与对应于非驾驶课题(显示器可见度课题)的注意力分配量相关联地变化。
接着,说明不同于图4的结果的对于驾驶的注意力分配量的测量结果。图6表示在对于跟踪前方车辆的驾驶的课题中,对以前方车辆的制动器灯为起点的现象关联电位进行平均后的图表的一例。实验条件与图5相同。即,(a)条件ML、(b)条件MM、(c)条件MH,驾驶课题的难易度固定为中程度(M),使非驾驶课题(显示器可见度课题)变化为难易度L、M、H。各图表的横轴为从前方车辆的制动器灯被点亮的时刻开始的经过时间,单位是ms,纵轴是脑电波的电位,单位是μV。在图6中,若非驾驶课题变难,则驾驶所需的注意力量就会减少,因此例如假设条件NH比条件ML在驾驶中所需的注意力量更少,振幅也减少。但是,虽然作为倾向可观察到振幅减少,但并没有观察到图5中的P300那样明显的阳性电位变化。
如上所述,在对于驾驶以外的任务的现象关联电位(图5)和对于驾驶任务的现象关联电位(图6)中,表示了P300的显现容易度中存在的差异。其原因是在对于驾驶以外的任务的现象关联电位中,显示器可见度课题即由车内设定的显示器统一管理的刺激是在提示的条件下测量出的,而相对于此,在对于驾驶任务的现象关联电位中,前方车辆的制动器灯即起点本身虽然明确,但是作为可见度的条件并非是稳定的。
这是因为,虽然设定了指示为使参加者尽量将与前方车辆间的距离保持一定而驾驶,但是由于前方车辆反复进行减速或加速,因此也存在很多不满足该条件的时间带。因此,伴随制动器灯的点亮的视觉刺激根据与前方车辆的距离而有时在远处发光,有时在近处发光,并不是固定的。此外,除了驾驶课题以外也执行显示器可见度课题,在驾驶画面中,除了前方车辆以外,也需要对路面状况进行反应来进行方向盘操作这是实验条件,不一定限定为在制动器灯被点亮的时刻能够注视前方车辆。由此,认为因为刺激并不是固定的,且刺激的可见时刻也不是固定的,所以没有观察到稳定的阳性成分。
认为对于驾驶的现象关联电位相对车外所发生的各种现象是能够测量的。但是,除了本次的前方车辆的制动器的事例以外,车外现象还可假设刺激的大小或时刻易错乱的情形,认为直接稳定地测量对于驾驶的现象关联电位很难。通过这样的见解,至少能够假设车内的设备生成的视觉刺激或声音刺激是稳定的,而且伴随于此的现象关联电位也稳定,因此,可以说在驾驶员的状态检测装置中,以车内设备所产生的驾驶以外的任务的现象为起点更容易确保稳定动作。
基于以上的实验结果,说明进行了注意力判定的结果。图7表示注意力判定结果。在图7中,从左按顺序表示清醒度的推测值、对非驾驶课题的注意力分配的推测值、判定结果。
根据图7可知,除了对驾驶以外的任务的注意力分配之外,还考虑到根据脑电波计算出的清醒度,将数值数据分成组,从而获得在不受细微的数值差别的影响的情况下可进行稳定的注意力判定的结论。以下进行详细说明。
在图7中,实验条件利用对于驾驶的必要注意力量20和对于驾驶以外的任务的必要注意力量21来表示。其中,使图2的课题的难易度和必要的注意力量对应为高、中、低这三种类。通过对于该驾驶的必要注意力量21和对于驾驶以外的任务的必要注意力量21的各种组合,假设对应于注意力分散状态和睡意状态的状态。
接着,在列22中表示对应于各实验条件的清醒度(α波的强度)。数值是从图7所示的分析结果中提取出的α波的强度,列23是将这些数值分类为L、M、H这三个组的结果。组的分类方法是分配三个适当的α波的强度,可将0.5以下分类为L,0.9以上分类为H,位于这些中间的分类为M。
列24、25表示不同于清醒度的另一个信息即与相对于驾驶以外的任务的注意力分配相关的结果。列24是从图4提取出的对应于各条件的现象关联电位的振幅。在列25中也表示了将列24的数值分类为L、M、H这三个组的结果。在这里也能够根据图4设定划分组的阈值。在列22中根据与各条件相对应的数值强度分类图7,例如能够将2.0以下的设为L,将5.0以上的设为H,位于这些中间的设为M。
列26、27表示仅使用对驾驶以外的任务的注意力分配时的相对于驾驶的注意力判定结果。相对于驾驶的注意力分配是根据分配给驾驶以外的任务的注意力的剩余量来求出的。例如,在分配给驾驶以外的任务的注意力按顺序为L、M、H的情况下,相对于驾驶的注意力分配可分别对应于H、M、L。列26表示注意力分配的对应。相对于驾驶的注意力成为L或M的情况设为注意力分散,从而能够以一定的基准判定注意力分散。
相对于此,列28和29表示还添加清醒度来判定出注意力分配的结果。该判定结果是基于以下的式来计算出的。
对驾驶的注意力量=α波的强度*(1-与对驾驶以外的任务相关的现象关联电位的振幅)
在上述的式中,α波的强度对应组划分的L、M、H(列23)而填充了“1”、“2”、“3”的各值。此外,使对驾驶以外的任务的现象关联电位(Event Related Potential:ERP)的振幅也对应于组划分的L、M、H(列25),并填充“0.3”、“0.6”、“0.9”的各值。如上所述,通过引入组划分这样的离散化程序,具有可稳定地获得判定结果的效果。
列28表示基于上述的式计算出的值。这是还添加了清醒度的判定结果。因此,根据数值的大小,能够按小的顺序分类为“睡意”、“注意力分散”、“正常”。该阈值只要根据实际的数据来修正即可,例如若为0.5以下,则分类为“睡意”,0.5~1.0分类为“注意力分散”,1.0以上分类为“正常”。
例如,在行31中,仅根据注意力分配的判定,就能够判定为注意力充分集中于驾驶。但是,实际上,存在注意力并没有集中于驾驶且也没有集中于驾驶以外的任务的状况。针对这样的状况,通过与清醒度进行组合,能够判定为注意力散漫(列29)。此外,在行32、33的事例中,受到清醒度本身的降低的影响,最终的数值变小,从而判定为不是“注意力分散”,而是“睡意”状况。
如上所述,通过增加对脑电波测量的数值进行多个离散化的处理,从而根据从脑电波的信号处理中获得的特征,能够推测驾驶员的状态。此外,从图7可知,在仅通过注意力分配进行了判定的情况下,仅进行了注意力分散如何的判定,但是通过与清醒度进行组合,存在可分离注意力分散和睡意很强的状态的可能性。
由此,在驾驶驾驶模拟装置的状况下,根据脑电波的频率分析推测清醒度,并根据脑电波的现象关联电位分析推测注意力分配,通过综合判断这些,能够辨别睡意和注意力分散。
另外,对于α波的强度和现象关联电位的振幅而言,测量/计算出的值并不是直接对应于清醒度或注意力分配量,而是需要进行某种程度的等级划分。这是因为例如,通过将该九种实验数据划分组,从而能够去掉测量结果的不稳定性而获得稳定的结果。
例如,根据本次的数据分布,若假设组的同时设定边界线,则对于清醒度的强度可设定L<0.5<M<1.0<H等,对于注意力分配可设定L<2.0<M<5.0<H等。
基于以上的见解说明了如下的结构和处理:通过脑电波识别驾驶员是否将注意力充分集中于驾驶,并且将注意力没有充分集中的状态分类为睡意很强或注意力分散,从而进行对应于状态的支援。
以下,参照添加的附图说明本发明的实施方式。
(实施方式1)
图8是本发明的实施方式1中的注意力分散检测装置100的结构图。注意力分散检测装置100具有生物体信号检测部2、清醒度推测部3、注意力分配推测部4、驾驶员状态推测部5、输出部6。
生物体信号检测部2测量驾驶员1的脑电波。生物体信号检测部2例如是脑电图仪(electroencephalograph)。
清醒度推测部3分析所测量的脑电波信号来推测驾驶员的清醒度。“清醒度”是表示驾驶员意识清醒到什么程度的指标,困倦时清醒度降低。推测该清醒度会成为与驾驶员困倦到什么程度的关联性较高的指标。
注意力分配推测部4以不同的方法分析所测量的脑电波信号来推测注意力分配量。其中,“注意力分配”是表示在驾驶员所具有的可集中注意力的总量中,对驾驶以外的任务分配了多少注意力的指标。注意力分配推测部4推测注意力分配量的方法将在后面进行说明。
此外,驾驶员状态推测部5接收来自清醒度推测部3和注意力分配推测部4的推测结果之后,分类当前的驾驶员的状态。“驾驶员的状态”在驾驶员的各种状态中表示与注意力相关的状态。在本说明书中,区分为以下的三个状态。驾驶员的状态被分类为以下的三个状态中的任一个状态。
状态A:注意力充分集中于驾驶。
状态B:清醒度足够,但是注意力并没有充分集中于驾驶。
状态C:由于清醒度低,因此对驾驶的注意力也不足。
清醒度推测部3、注意力分配推测部4和驾驶员状态推测部5例如作为实现各功能的专用半导体芯片电路来实现。
输出部6基于驾驶员状态推测部5的分类结果,向驾驶员输出注意力唤起信息等。输出部6例如是基于声音向驾驶员呼唤或者提示动作音或警告音的扬声器。此外,输出部6也可以是对汽车导航仪或前导显示器(head up display)上的文本或图像的提示。除此之外,也可以包括使用了与想要集中注意力的对象物重叠而进行显示的AR(Augmented Reality)技术的直接信息提示、使用了方向盘的振动等的注意力唤起、基于气味或风量的调节的间接影响等。
以下,说明在本实施方式中所涉及的概念中,由注意力分配推测部4等使用的“注意力分配”的概念、“注意力分散状态”、“睡意”之间的区别。
“注意力分配”表示在驾驶员进行汽车驾驶时的各种任务中,对何种任务分配了多少注意力的情形。“注意力”是对某种对象物的状态的确认或任务的执行意识性地集中的心理量,为了执行安全驾驶,要求谨慎的驾驶。
驾驶员在汽车驾驶时进行各种任务。例如,具有向前方的安全确认、信号的确认、步行者或自行车的移动集中注意力等与驾驶有关的任务,也有听音乐或者车辆导航仪或汽车音响装置的操作、来自收音机等的信息的获取、与同车的人的对话等与驾驶没有直接关系的任务。认为针对这些任务,驾驶员根据当时的状况等,改变各种注意力的分配的同时,并行进行多个任务。
其中,在对于驾驶的注意力并不足够的情况下,意味着不能进行足够安全的驾驶,会产生来自设备的相对于驾驶的注意力唤起有效的场景。例如,认为在专心地与同车的人说话而对车辆前方的状况把握分配的注意力少的情况下,很难应对突发状况变化,在睡意很强的情况下,对状况变化的应对也较迟钝。其中,对于如前者的对话事例那样尽管具有足够的清醒度但是对驾驶的注意力减少的情况、和后者的因睡意很强而注意力减少的情况而言,虽然在不是安全驾驶这一点上相同,但应对方法不同,因此本发明的关注点在于区别对待这两者。
接着,利用图9说明该注意力量的分配。本申请的发明针对注意力,利用“量”的概念。更具体而言,如图9(a)所示,当前的注意力量认为是如蓄积在圆筒中的水那样的量。此时,圆筒的大小成为该驾驶员能够具有的注意力量的最大值,此时所蓄积的水相当于注意力。该量被认为随着集中度或清醒度增加或减少。例如,在图9(a)的情况下,设为具有70%的注意力量。该数值是为了便于概念性地说明注意力分配而赋予的。该注意力量被认为分配给当时的驾驶员所进行的操作。在图9(b)中,听音乐的同时驾驶的情况下,例如认为是向驾驶分配了整体的50%的注意力,向音乐分配了20%的注意力。若是该分配,则设为驾驶员在享受音乐的同时能够执行安全驾驶。
在该假设中,不能执行安全驾驶的状况具有两种。因困倦而注意力量减少时,以及注意力分散而注意力分配中存在错误时。图9(c)表示睡意变强时的注意力量。因睡意,清醒度降低,从而因注意力量本身降低而不能确保安全驾驶所需的注意力量(50%),因此需要进行注意力唤起。另一方面,图9(d)是如下的情况:虽然注意力量足够,但是因大多(50%)分散到接电话等中,对驾驶的分配并不足够。在本申请的发明中,将该情况称作注意力分散状态。此时,由于没有睡意,因此需要不同于图9(c)的注意力唤起方法。
以下,利用流程图等,按顺序详细说明注意力分散检测装置100的处理。在详细说明处理之后,通过发明者进行的利用了驾驶模拟装置的实验结果,表示本实施方式的实现可能性。
图10表示注意力分散检测装置100的处理的整体流程图。
在步骤S10中,生物体信号检测部2获取驾驶员的脑电波。脑电波是头部的时间电位变化,因此一般可通过装载于头部上的脑电图仪进行测量。
在步骤S20中,清醒度推测部3通过处理由步骤S10测量出的脑电波信号,从而推测清醒度。
在步骤S30中,注意力分配推测部4利用不同于步骤S20的方法来处理由步骤S10测量出的脑电波信号,进行注意力分配的推测。
在步骤S40中,基于由步骤S20和步骤S30计算出的清醒度与注意力分配这两个数值,在驾驶员状态推测部5中进行驾驶员的状态的推测。将驾驶员的状态分类为上述的三个状态中的任一个的情形在该步骤中起作用。
在步骤S50中,输出部6基于由步骤S40推测出的驾驶员的状态,进行对驾驶员的影响。例如,在判定为状态A(注意力充分集中于驾驶)的情况下,不存在特别的问题,不进行特别的输出。在判定为状态B(清醒度足够,但是注意力并没有充分集中于驾驶)的情况下,构成敦促对驾驶员的注意力分配的提高的输出。此外,在状态C(由于清醒度低,因此对驾驶的注意力也不足)中,构成使驾驶员的清醒度提高的输出。输出例将在后面叙述。
通过以上的流程,进行注意力分散检测。以下,按顺序详细说明各步骤的处理。
在生物体信号检测部2中测量驾驶员的脑电波。脑电图仪需要由驾驶员装载,随着脑电图仪设备的小型化且简易装载化的推进,可轻易装载。将测量出的驾驶员的脑电波信号通过有线或无线发送给清醒度推测部3和注意力分配推测部4。
接着,参照图11的流程图说明清醒度推测部3的处理。图11是表示清醒度推测部3的处理顺序的流程图。
在步骤S21中,清醒度推测部3接收由生物体信号检测部2获取的脑电波的信号。接收什么范围的脑电波根据驾驶员状况等而不同,例如获取从规定的时间前到当前为止的一定时间的脑电波数据,即例如获取五分钟前到当前为止的五分钟间的脑电波数据。
在步骤S22中,计算出相对于各频率的信号强度。在计算中使用FFT(Fast Fourier Transform)分析等。
在步骤S23中,清醒度推测部3提取特定频率的强度。将频率强度设为与清醒度具有关联。例如,在日本特开2007-000280号公报中,公开了利用α波与β波之比的方法等。此外,进行复杂的课题时,整体上增加频率强度,因此如后述那样,也可以利用所有频带或特定频带的强度。
另外,清醒度推测部3也可以在多个时刻下从那时的脑电波信号中求出频率强度。其中,利用多个时刻的脑电波信号的频率强度时,优选预先准备根据脑电波信号的频率强度决定的多个组合。例如,如上所述,优选根据阈值设置频率强度高(H)、低(L)、这两者中间(M)的组合。清醒度推测部3基于计算出的脑电波信号的各频率强度与决定组合的阈值之间的大小关系,将各频率强度分类为多个组合中的任一个。之后,也可以将最多的频率强度被分类的组合的平均频率强度作为在下一个步骤S24中利用的频率强度来加以利用。此外,也可以是不利用脑电波信号的频率强度本身,而是将作为各组合的属性(L、M、H)而预先决定的频率强度作为在下一个步骤S24中利用的频率强度来加以利用。
在步骤S24中,清醒度推测部3使由步骤S23计算出的频率强度和清醒度对应。清醒度是心理量,需要与频率强度进行某种对应。清醒度推测部3保持有使频率强度和清醒度对应的规则。该对应规则(方法)有很多种。例如,可以是直接将频率强度分配给清醒度的规则,也可以预先将关于清醒度的主观评价的值和那时的频率强度作为事前数据来获取,并保持规定了该关系性的表格或数学式。这样的表格或数学式成为对应规则。这里,只要是可推测清醒度的方法即可。
接着,参照图12的流程图说明注意力分配推测部4的处理。此外,同时与图13的处理的例平行地进行说明。另外,图13的波形是用于说明的一例。
图12是说明注意力分配推测部4的处理顺序的流程图。
在图12的步骤S31中,注意力分配推测部4接收由生物体信号测量部2获取的脑电波(图13的脑电波13)。接收什么范围的脑电波13根据驾驶员的状况等而不同。例如,获取从规定的时间前到当前为止的一定时间的脑电波数据,即例如获取五分钟前到当前为止的五分钟间的脑电波数据。
此外,此时,触发信息(trigger)14也与脑电波数据一起同时被附加在脑电波数据中。其中,触发信息是针对驾驶员将提示某些刺激的时刻作为信号来提取的信号。分析前的脑电波数据记录了一系列的电位变化,通过分析以触发事物为起点的区间,能够分析初始时相对于向驾驶员的刺激的现象关联电位,并且能够把握注意力的程度。作为可成为该注意力检测的起点的、驾驶以外向驾驶员提示的刺激,能够利用提示了来自车辆导航仪的声音或效果音的情况、或者在车内的仪表类或信息显示器上提示了信息的情况等。根据相对于这些驾驶以外的刺激的现象关联电位的振幅的大小,能够判定对同时处理的驾驶任务的注意力量。
此外,触发信息14可以记录在脑电波测量时的脑电波以外的信道中,也可以时间上取同步来记录在其他的记录单元中。
在步骤S32中,注意力分配推测部4从由步骤S31获取的数据中提取触发信息14。在注意力分配的推测中例如使用现象关联电位的P300成分的顶点的振幅等,需要表示用于获取该现象关联电位的起点的触发信息14。触发信息14包括什么时间发生了什么事件的信息。由步骤S31获取的脑电波中包括相对于多个事件的多个触发14。
在步骤S33中,注意力分配推测部4切出波形。利用由步骤S32提取的触发信息14的时刻,从该时刻开始例如以-200毫秒~600毫秒等的范围切出脑电波数据,作为现象关联电位。只要根据想要使用的现象关联电位的性质等而变更该切出范围即可。
在步骤S34中,计算由步骤S33切出的脑电波数据(现象关联电位)的振幅17。在使用相对于事件的P300信号的情况下,可以考虑例如利用在200-500毫秒的范围中取阳性上最大的值时的电位的方法等。假设对于某一现象的注意力的量与振幅的大小有关系,并且注意力的量越大,则振幅也变得越大(参照上述的“测量对影像的注意力-使用了现象关联电位的探针刺激法的应用例”)。其中,为了进行步骤S36中的处理,将计算出的振幅暂时记录在存储器(未图示)中。另外,振幅的计算也可以考虑进行波形的加法平均之后求出的方法。
在步骤S35中,注意力分配推测部4判断是否完成了对所有触发信息的处理。若完成了对所有触发信息的处理,则作为“是”而进入步骤S36,在还没有完成的情况下,作为“否”而进入步骤S32。
在步骤S36中,注意力分配推测部4在通过步骤S34将相对于多个波形的多个振幅数据准备齐全的时刻,计算那些值的平均17。由于脑电波其在各单独试行下的偏差较大,因此通过进行加法平均,能够计算出稳定的波形16和振幅17。
另外,注意力分配推测部4也可以在多个时刻从那时的脑电波信号中计算出多个现象关联电位的振幅。其中,利用多个时刻的现象关联电位的振幅时,与清醒度推测部3相同,优选预先准备根据振幅决定的多个组合。例如,如上所述,优选根据阈值设置振幅大(H)、小(L)、位于这些值中间(M)的组合。注意力分配推测部4基于计算出的现象关联电位的各振幅和决定组合的阈值的大小关系,将各振幅分类为多个组合中的任一个。并且,也可以将被分类最多的振幅的组合的平均振幅作为在下一个步骤S24中利用的振幅。或者,除了利用脑电波信号的现象关联电位的振幅本身之外,也可以将作为各组合的属性(H、M、L)预先决定的振幅当作在下一个步骤S37中利用的振幅。
在步骤S37中,注意力分配推测部4进行在步骤S36中计算出的平均值与注意力分配量之间的对应。注意力分配推测部4保持对振幅的平均值和注意力分配量进行了对应的规则。可以考虑各种该对应的规则(方法)。例如,预先将振幅的平均值和注意力分配量作为事前数据来获取,并保持使他们对应的表格或数学式。这样的表格或数学式成为对应规则。
接着,参照图14说明驾驶员状态推测部5的处理。在步骤S41中,驾驶员状态推测部5从清醒度推测部3获取清醒度的推测结果。
在步骤S43中,驾驶员状态推额部5计算驾驶注意力量。驾驶注意力量是根据以下的式计算的。
驾驶注意力量=清醒度*(1-注意力分配)
其中,驾驶注意力量取0到1的范围的值,表示最终向驾驶集中了多少程度的注意力。此外,注意力分配也取0到1的范围的值,由0到1的范围表示在集中于驾驶和驾驶以外的任务的注意力分配中,集中于驾驶以外的任务的注意力分配的比例。因此,(1-注意力分配)相当于集中于驾驶的注意力的比例。如上所述,本申请的发明人定义了驾驶注意力量是由清醒度和集中于驾驶的注意力的比例的乘积来求出的。
根据该式中的定义,即使集中于驾驶的注意力的比例多,也能够表现清醒度低而对于驾驶的注意力量不足的情况,或者虽然集中于驾驶的注意力的比例少但是因足够的清醒度而确保了可进行安全驾驶的注意力量的状况等。
在步骤S44中,判定驾驶注意力量是否为足够的值。若是足够的驾驶注意力量,则作为“是”而判定在步骤S46中不存在特别的问题。相反,在并不足够的情况下,作为“否”而进入步骤S45。
在步骤S45中,驾驶员状态推测部5再次确认清醒度是否足够。这里,在清醒度高的情况下,作为“是”而在步骤S48中判定为是注意力集中于驾驶以外的任务的注意力分散状态(状态B),在清醒度低的情况下,判定为在步骤S47中注意力整体降低(状态C)。
在步骤S46~S48中,进行对应于上述的各条件的驾驶员状态的判断,并将判定结果发送给之后的输出部。
接着,说明输出部6的动作。输出部6基于在驾驶员状态推测部5中判定出的驾驶员状态,根据需要从装置100侧向驾驶员进行输出。
从输出部6向驾驶员的输出方法的例子包括以下的各种情况:基于声音的向驾驶员的呼唤、动作音或警告音的提示;向车辆导航仪或前导显示器上的文本或图像的提示;使用了重叠在想要集中注意力的对象物而在前导显示器上显示图像等的AR(Augmented Reality)技术的直接信息提示;利用方向盘的振动等的注意力唤起;基于气味或风量的调节的间接影响等。
需要从输出部6向驾驶员的影响的状态是上述的状态B和状态C。但是这只是一个例子,也可以仅在状态C时进行向驾驶员的影响。
状态B是清醒度足够但是注意力并非充分集中在驾驶中的状态。由此,不需要向具有足够的清醒度的驾驶员进行用于唤醒的影响。作为针对状态B的影响方法,可以进行如“针对驾驶的注意力不足,请集中驾驶”等使注意力集中于驾驶的声音指示,或者说明外部的状况之后进行“拥挤道路,请集中驾驶”等的声音指示。
状态C是清醒度低,且在驾驶中注意力也不足的状态。由此,在状态C中,基本上进行用于提高清醒度的影响即可。具体而言,以下的方法是有效的:汽车利用扬声器控制用于提高清醒度的动作,即“好像睡意很强,建议休息”等敦促休息、或者打开车窗、或者使空调的风变强等的动作。
通过如上所述的处理,根据脑电波信号分类驾驶员的状态,并且在判定为对于驾驶的注意力量不足的情况下,实施对驾驶员状态的支援。由此,可支援比以往更能应对驾驶员的状态。此外,通过对驾驶员实施适当的支援,提高驾驶员对设备的信赖性,并且驾驶员对来自设备的输出的反应也变得更好,可接近安全驾驶支援的实现。
另外,作为本次分析中所使用的对于驾驶任务以外的现象关联电位的触发,利用了对于显示器上的特定的信息的反应,但是也可以利用车辆导航仪等产生的声音或效果音的产生时刻、文字提示时刻等。此外,也可以利用与同车的人进行对话中的相对于发声的反应等。
另外,本实施方式1中,在清醒度推测部2和注意力分配推测部3中,设定为利用五分钟的脑电波进行处理,但是也可以根据处理精度的提高或包含在试行时间中的触发信息的个数来进一步缩短上述时间。在以更短时间的脑电波进行判定的过程中,除了如本次实验这样相对于显示在单独的显示器上的信息的反应之外,相对于各种反应的现象关联电位的总合也是有效的。由此,可增加单位时间所产生的触发信息,并且可增加能够分析的脑电波数据。
此外,也可以根据噪声对策或高精度的现象关联电位提取方法的开发来减少所需的脑电波时间。试行次数少的现象关联电位的处理方法已在脑电波接口的研究领域中广泛研究,通过这些技术的组合,可减少现象关联电位的个数。
此外,脑电波的分析时间不一定是固定的,也可以将所包含的触发信息的个数设为固定。
(实施方式2)
在实施方式1中,仅根据驾驶员的状态构成了注意力分散状态的判定。但是,在实际的驾驶场景中,安全驾驶所需的注意力量随着驾驶时的外部环境例如道路的状况或天气、时间段、拥挤度等各种要因而变动。因此,为了使驾驶员准确地指导注意力分散等,需要进行考虑到与外部环境之间的关系的判定。
例如,在行驶视野开阔且交通量少的高速路的情况和行驶拥挤的商店街的情况下,假设所需的注意力量不同。此外,假设根据天气或路面状况在驾驶中所需的注意力量也不同。根据这些状况,能够调整从输出部6向驾驶员的影响,并且能够实现更适当的对驾驶员的影响。
本实施方式的注意力分散检测装置在进行与外部环境的比较的基础上,判定驾驶员状态。
在本实施方式中,说明如下的实施方式:检测存在虽然向驾驶分配了相同的注意力但是不能进行足够的安全驾驶的情况、和因不是足够的安全驾驶而需要注意力分配的情况,之后通过与所需注意力分配量之间的比较,进行更适合于驾驶状态的支援。
图15是本实施方式2的注意力分散检测装置200的结构图。在与实施方式1相同的结构要素上附加相同的附图标记,并省略其说明。作为结构要素与实施方式1的不同点在于具备外部环境检测部7。外部环境检测部7检测驾驶员所面临的车外的状况。另外,在附图上作为实施方式1和2的差异而捕捉了外部环境检测部7的存在与否。但是,接收外部环境检测部7的信号的驾驶员状态推测部5的内部处理也不同。因此,在说明完实施方式2的整体流程之后,说明外部环境检测部7和驾驶员状态推测部5的详细处理。
图16表示注意力分散检测装置200的处理的整体流程图。关于进行与实施方式1相同的处理的步骤,将仅限于简单的说明。
在步骤S10中,生物体信号检测部2获取驾驶员的脑电波。
在步骤S20中,处理由步骤S10中测量出的脑电波信号。由此,在清醒度推测部3中推测清醒度。
在步骤S30中,注意力分配推测部4利用由步骤S 10测量出的脑电波信号推测注意力分配。
在步骤S60中,外部环境检测部7识别车外的状况。车外的状况的例子将在后面叙述。
在步骤S40中,驾驶员状态推测部5基于在步骤S20和步骤S30中计算出的清醒度和注意力分配这两个数值,计算针对驾驶员的驾驶的注意力量。之后,通过与从步骤S60中获得的车外的状况计算出的安全驾驶所需的注意力量进行比较,分类驾驶员的状态。
这里,驾驶员的状态是指在实施方式1中说明的驾驶员的三个状态。即,是如下的与注意力相关联的三个状态:
状态A:注意力充分集中于驾驶;
状态B:清醒度足够,但是注意力并没有充分集中于驾驶;
状态C:由于清醒度低,因此对驾驶的注意力也不足。
步骤40的作用是将驾驶员的状态分类为这三个状态中的任一个。
在步骤S50中,输出部6基于在步骤S40中推测出的驾驶员的状态,对驾驶员进行影响。例如,在判定为状态A的情况下,由于不存在特别的问题,因此不进行特别的输出,在状态B中,进行能够提高向驾驶分配的注意力的输出,在状态C中,进行能够提高驾驶员的清醒度的输出。输出例子如在实施方式1中所说明的。
下面,示出利用图17的例由外部环境检测部7检测的外部环境的例子。
图17表示左右外部状况的几个要因和保存与其相对应的所需注意力量的表格。该表格例如被保持在驾驶员状态推测部5中。
作为左右外部状况的几个要因,列出:与上班或购物等日常活动的相关性较高的时间段、或者对于驾驶员而言与易识别外部环境的清醒相关的照明度的列40;左右相对于驾驶操作的车辆的举动的路面状况的列41;与外部的可见度的简易性或来自对面车辆的可见度的简易性相关联的天气列42;应注意的对象物的个数的列43等。这些几个要因在各状况下组合在一起而产生,并且根据该组合也变动所需注意力量。
如图17所示,针对这些数据,可以以表格形式将在几个状况下需要多少注意力量这一需求作为数据库而预先如列44那样计算出之后进行保持,也可以从各状况的参数中计算出。即,只要具有用于从外部(车外)环境导出所需注意力量的一些规则即可。例如,周围的照明度等作为可见度的简易性而与注意力量具有直接的关系,且应注意的物体的个数等也与注意力量具有直接的关系,因此可以乘以某些系数来反映在所需注意力量中。
图18表示实施方式2的驾驶员状态推测的流程。关于进行与实施方式1相同的处理的步骤,将仅限于简单的说明。
在步骤S41中,驾驶员状态推测部5从清醒度推测部3获取清醒度的推测结果。
在步骤S42中,驾驶员状态推测部5从注意力分配推测部4获取注意力分配的推测结果。
在步骤S71中,驾驶员状态推测部5从外部环境检测部7获取外部环境的状况。
在步骤S43中,驾驶员状态推测部5计算驾驶注意力量。根据驾驶注意力量=清醒度*(1-注意力分配)这一式计算驾驶注意力量。
在步骤S72中,驾驶员状态推测部5进行所需注意力量的计算。如图17所示,这可以参照在表格形式中所对应的所需注意力量,也可以根据事前设定的规则等决定。
在步骤S73中,驾驶员状态推测部5对由步骤S43计算出的当前的驾驶员的驾驶注意力量和由步骤S72计算出的所需注意力量进行比较。若驾驶注意力量比所需注意力量大,则作为“是”而在步骤S46中分类为注意力充分集中于驾驶的情形。判定为驾驶注意力量比所需注意力量小的情况下,作为“否”而进入步骤S45。
在步骤S45中,驾驶员状态推测部5再次确认清醒度是否足够。这里,在清醒度较高的情况下,作为“是”而在步骤S48中分类为注意力集中于驾驶以外的任务的注意力分散状态,在清醒度较低的情况下,在步骤S47中分类为注意力整体降低的情形。
在步骤S46~步骤S48中,驾驶员状态推测部5进行与上述的各条件相对应的驾驶员状态的判断,并将判定结果输出给之后的输出部。
通过这样的驾驶员状态的推测,不进行基于事前设定的固定的注意力量的判定,而是能够进行适合于道路状况的驾驶员状态的分类,仅在必要的情况下进行向驾驶员的注意力唤起,能够减少所需以上的警告或警告不足的状况。
另外,作为相对于本实施方式的驾驶以外的任务的现象关联电位的起点,能够使用如本申请的发明人所实施的相当于显示器可见课题那样,在车内的车辆导航仪等上显示了图像时的提示时刻。作为其他的视觉刺激,在车内设置现象关联电位测量用的视觉刺激提示装置。例如,设置两个后视镜或车辆导航仪、速度计等LED。也可以利用点亮该视觉刺激提示装置的时刻。
此外,作为听觉刺激,可以利用车辆导航仪所发出的注意力唤起音和讯息的组合如“嘀-,前方是向右方向”的注意力唤起音的产生时刻,或者也可以利用听取收音机或音乐时声音急剧变化的时刻。
此外,除了视觉或声音刺激以外,对于身体性感觉的刺激的提示也是有效的。例如,也可以偶尔振动方向盘或驾驶员的坐席,从而根据相对于该振动的现象关联电位的测量,作为反映对驾驶以外的任务的注意力的信息而加以利用。
此外,期望有关相对于车辆驾驶的车外的现象是明确的刺激,作为明确的刺激的例,例如具有交通信号的切换时刻等。信号变红意味着需要制动器操作或制动器的准备,可以说是易捕捉注意力变化的时刻。同样地,在听觉刺激中可以使用救护车所发出的警告音,而且作为身体性感觉刺激可以使用车胎踩到白线时的振动。
与上述的各实施方式相关的注意力分散检测装置的处理可通过计算机所执行的程序来实现。例如,利用流程图来进行说明的处理可作为规定了该处理顺序的计算机程序来加以实现。这样的计算机程序被记录在CD-ROM等记录介质中且作为产品在市场中流通,或者可通过因特网等电气通信线路而被传播。
将构成上述的注意力分散检测装置的所有或一部分结构要素作为执行计算机程序的通用的处理器(半导体电路)来加以实现。或者,将这样的计算机程序和处理器作为一体化的专用处理器来加以实现。例如,在实施方式1的注意力分散检测装置中预先设置通用的处理器,并通过该处理器执行计算机程序,作为清醒度推测部3、注意力分配推测部4和驾驶员状态推测部5的一部分或全部起作用。
另外,图示的注意力分散检测装置未必要收纳在一个框体内。例如,作为生物体信号检测部而利用脑电图仪时,脑电图仪可以以有线或无线方式连接在注意力分散检测装置的其他结构要素上。此外,也可以使经由通信网络而设置在互相分离的位置上的计算机作为清醒度推测部3、注意力分配推测部4和驾驶员状态推测部5的一部分或全部起作用。
(产业上的可利用性)
本发明涉及的注意力分散检测装置所进行的驾驶员状态推测可以在很多产业中加以利用。例如,除了一般车辆的驾驶员之外,也可以针对驾驶业务用车辆的驾驶员(例如卡车、出租车或公交车的驾驶员)、车辆以外的交通工具(电车、飞机或船舶)的操作者、工厂等的设备的监视者等,利用在需要驾驶或操作等的注意的产业中。
Claims (10)
1.一种注意力分散检测装置,具备:
脑电波检测部,其检测驾驶员的脑电波信号;
清醒度推测部,其保持对脑电波信号和清醒度进行对应的第一规则,并基于检测出的所述脑电波信号和所述第一规则,推测清醒度;
注意力分配推测部,其保持对脑电波信号和注意力分配的程度进行关联的第二规则,并基于检测出的所述脑电波信号和所述第二规则,推测注意力分配的程度;
驾驶员状态推测部,其保持用于根据清醒度和注意力分配导出注意力量的第三规则,并基于推测出的所述清醒度、所述注意力分配和所述第三规则,推测所述驾驶员对于驾驶的注意力量,并将所述驾驶员的状态分类为通常状态、注意力量降低状态和清醒度降低状态;和
输出部,其基于所述驾驶员状态分类部的分类结果,对所述驾驶员进行影响。
2.根据权利要求1所述的注意力分散检测装置,其中,
所述第一规则预先对脑电波信号的频率强度和清醒度进行对应,
所述清醒度推测部计算检测出的所述脑电波信号的频率强度,并基于计算结果和所述第一规则推测所述清醒度。
3.根据权利要求2所述的注意力分散检测装置,其中,
在所述清醒度推测部中预先设置根据脑电波信号的频率强度决定的多个组合,
所述清醒度推测部将在多个时刻计算出的所述脑电波信号的各频率强度分类为所述多个组合中的任一个,并且基于被分类为所述多个组合中的任一个的至少一个频率强度和所述第一规则,推测所述清醒度。
4.根据权利要求1所述的注意力分散检测装置,其中,
所述第二规则预先对脑电波信号的现象关联电位的振幅和注意力分配进行对应,
所述注意力分配推测部计算所检测出的所述脑电波信号的现象关联电位的振幅,并基于计算结果和所述第二规则,推测所述注意力分配的程度。
5.根据权利要求4所述的注意力分散检测装置,其中,
所述注意力分配推测部预先设置根据所述现象关联电位的振幅而决定的多个组合,
所述注意力分配推测部将在多个时刻计算出的所述脑电波信号的现象关联电位的各振幅分类为所述多个组合中的任一个,并基于被分类为所述多个组合中的一个的至少一个现象关联电位的振幅和所述第二规则,推测所述注意力分配的程度。
6.根据权利要求1所述的注意力分散检测装置,其中,
该注意力分散检测装置还具备检测外部环境的外部环境检测部,
所述驾驶员状态推测部预先具备基于所检测出的外部环境导出所需注意力量的规则,比较通过对由所述外部环境检测部检测出的外部环境适用所述规则而导出的所需注意力量、和由所述驾驶员状态推测部推测出的对于驾驶的注意力量,判定驾驶员是否对外部环境的复杂度集中了注意力。
7.根据权利要求1所述的注意力分散检测装置,其中,
所述驾驶员状态推测部通过将由所述清醒度推测部推测出的清醒度与由所述注意力分配推测部推测出的对于驾驶的注意力分配相乘,从而计算驾驶员对于驾驶的注意力量。
8.根据权利要求1所述的注意力分散检测装置,其中,
所述注意力分配推测部预先具备将对于驾驶以外的注意力分配和对于驾驶的注意力分配之间的关系进行对应的规则,并基于对于所述驾驶以外的注意力分配和所述规则,能够推测对于所述驾驶的注意力分配,
所述驾驶员状态推测部通过将对于所述驾驶以外的注意力分配和基于所述规则推测出的对于所述驾驶的注意力分配与由所述清醒度推测部推测出的清醒度相乘,从而计算所述驾驶员对于驾驶的注意力量。
9.一种注意力分散检测方法,具备:
准备对脑电波信号和清醒度进行对应的第一规则的步骤;
准备对脑电波信号和注意力分配的程度进行关联的第二规则的步骤;
准备用于根据清醒度和注意力分配导出注意力量的第三规则;
检测驾驶员的脑电波信号的步骤;
基于检测出的所述脑电波信号和所述第一规则推测清醒度的步骤;
基于检测出的所述脑电波信号和所述第二规则推测注意力分配的程度的步骤;
基于推测出的所述清醒度、所述注意力分配和所述第三规则推测所述驾驶员对于驾驶的注意力量,并将所述驾驶员的状态分类为通常状态、注意力降低状态和清醒度降低状态的步骤;和
基于分类的所述步骤的分类结果对所述驾驶员进行影响的步骤。
10.一种计算机程序,该计算机程序是由计算机执行的,所述计算机程序使所述计算机执行如下步骤:
接收驾驶员的脑电波信号的步骤;
基于检测出的驾驶员的脑电波信号、以及对脑电波信号和清醒度进行对应的第一规则推测清醒度的步骤;
基于检测出的驾驶员的脑电波信号、以及对脑电波信号和注意力分配的程度进行关联的第二规则推测注意力分配的程度的步骤;
基于推测出的所述清醒度、所述注意力分配以及根据清醒度和注意力分配导出注意力量的第三规则推测所述驾驶员对于驾驶的注意力量,并将所述驾驶员的状态分类为通常状态、注意力量降低状态以及清醒度降低状态的步骤;和
基于所分类的所述步骤的分类结果对所述驾驶员进行影响的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008240470 | 2008-09-19 | ||
JP2008-240470 | 2008-09-19 | ||
PCT/JP2009/004771 WO2010032491A1 (ja) | 2008-09-19 | 2009-09-18 | 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101980660A true CN101980660A (zh) | 2011-02-23 |
CN101980660B CN101980660B (zh) | 2013-01-16 |
Family
ID=42039338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801108595A Active CN101980660B (zh) | 2008-09-19 | 2009-09-18 | 注意力分散检测装置、及注意力分散检测方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8239015B2 (zh) |
JP (1) | JP4500369B2 (zh) |
CN (1) | CN101980660B (zh) |
WO (1) | WO2010032491A1 (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103454930A (zh) * | 2012-05-29 | 2013-12-18 | 通用汽车环球科技运作有限责任公司 | 减少驾驶员口语对话期间的分心 |
CN104665848A (zh) * | 2013-11-28 | 2015-06-03 | 现代摩比斯株式会社 | 驾驶员状态感知装置及其方法 |
CN105286891A (zh) * | 2015-11-17 | 2016-02-03 | 南京信息工程大学 | 面向车载网中感知层面的疲劳检测与处理方法 |
CN105313898A (zh) * | 2014-07-23 | 2016-02-10 | 现代摩比斯株式会社 | 驾驶员状态感应装置及其方法 |
CN105893980A (zh) * | 2016-04-26 | 2016-08-24 | 北京科技大学 | 一种注意力专注度评价方法及系统 |
CN106691441A (zh) * | 2016-12-22 | 2017-05-24 | 蓝色传感(北京)科技有限公司 | 基于脑电与运动状态反馈的注意力训练系统及方法 |
CN107961006A (zh) * | 2017-12-28 | 2018-04-27 | 出门问问信息科技有限公司 | 腕式智能穿戴设备和信息提示方法 |
CN109080641A (zh) * | 2017-06-08 | 2018-12-25 | 丰田自动车株式会社 | 驾驶意识推定装置 |
CN109835331A (zh) * | 2017-11-28 | 2019-06-04 | 现代自动车株式会社 | 用于调整车辆的驾驶控制权限的方法及系统 |
CN111897414A (zh) * | 2020-06-10 | 2020-11-06 | 中国联合网络通信集团有限公司 | 控制物体速度的方法、系统及电子设备 |
CN111951637A (zh) * | 2020-07-19 | 2020-11-17 | 西北工业大学 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
CN112890831A (zh) * | 2021-01-15 | 2021-06-04 | 褚明礼 | 一种基于脑电信息的效率管理方法 |
CN114594852A (zh) * | 2020-12-07 | 2022-06-07 | 北京小米移动软件有限公司 | 电子设备的控制方法及装置、电子设备及存储介质 |
CN115920192A (zh) * | 2023-02-06 | 2023-04-07 | 西南医科大学附属医院 | 专注力分配能力训练系统、运行方法及存储介质 |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011158939A1 (ja) * | 2010-06-18 | 2011-12-22 | 株式会社日立製作所 | 疲労度評価システム |
US9946334B2 (en) | 2010-12-30 | 2018-04-17 | Denso International America, Inc. | Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment |
CN102119857B (zh) * | 2011-02-15 | 2012-09-19 | 陕西师范大学 | 基于匹配追踪算法的疲劳驾驶脑电检测系统及检测方法 |
US9037523B2 (en) | 2011-04-07 | 2015-05-19 | Honeywell International Inc. | Multiple two-state classifier output fusion system and method |
US9146133B2 (en) * | 2011-06-06 | 2015-09-29 | Honeywell International Inc. | Methods and systems for displaying procedure information on an aircraft display |
EP2564765B1 (en) * | 2011-09-02 | 2017-12-13 | Volvo Car Corporation | System and method for improving a performance estimation of an operator of a vehicle |
JP2014064604A (ja) * | 2012-09-24 | 2014-04-17 | Denso Corp | ストレス評価装置、及び、ストレス評価プログラム |
US8758127B2 (en) * | 2012-11-08 | 2014-06-24 | Audible, Inc. | In-vehicle gaming system for a driver |
CN103932719A (zh) * | 2013-01-18 | 2014-07-23 | 袁囡囡 | 疲劳驾驶检测技术 |
US8847771B2 (en) * | 2013-01-25 | 2014-09-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning |
JP5974915B2 (ja) | 2013-01-29 | 2016-08-23 | 株式会社デンソー | 覚醒度検出装置、および覚醒度検出方法 |
US9064420B2 (en) | 2013-03-14 | 2015-06-23 | Honda Motor Co., Ltd. | Augmented reality heads up display (HUD) for yield to pedestrian safety cues |
US9223837B2 (en) * | 2013-03-14 | 2015-12-29 | Toyota Motor Engineering & Manufacturing North America, Inc. | Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device |
JP2014182597A (ja) * | 2013-03-19 | 2014-09-29 | Yasuaki Iwai | 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 |
WO2014147828A1 (ja) | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法 |
JP6199715B2 (ja) * | 2013-11-29 | 2017-09-20 | 株式会社デンソー | 精神負担評価装置、及びプログラム |
JP6199714B2 (ja) * | 2013-11-29 | 2017-09-20 | 株式会社デンソー | ストレス評価装置,及びプログラム |
US10417486B2 (en) * | 2013-12-30 | 2019-09-17 | Alcatel Lucent | Driver behavior monitoring systems and methods for driver behavior monitoring |
US9718558B2 (en) | 2014-02-26 | 2017-08-01 | Honeywell International Inc. | Pilot centered system and method for decluttering aircraft displays |
CN103919565A (zh) * | 2014-05-05 | 2014-07-16 | 重庆大学 | 一种疲劳驾驶脑电信号特征提取与识别的方法 |
US9778628B2 (en) | 2014-08-07 | 2017-10-03 | Goodrich Corporation | Optimization of human supervisors and cyber-physical systems |
US9764689B2 (en) | 2014-10-08 | 2017-09-19 | Livio, Inc. | System and method for monitoring driving behavior |
US9710717B1 (en) * | 2015-01-13 | 2017-07-18 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for determining vehicle operator distractions |
CN104850227B (zh) * | 2015-05-05 | 2018-09-28 | 北京嘀嘀无限科技发展有限公司 | 信息处理的方法、设备及系统 |
JP6692610B2 (ja) * | 2015-06-09 | 2020-05-13 | 富士通株式会社 | 検出プログラム、検出方法および検出装置 |
CN108369767B (zh) * | 2015-12-06 | 2021-12-14 | 声钰科技 | 基于用户认知状态和/或情境状态的会话调整系统和方法 |
US10414406B2 (en) * | 2016-03-01 | 2019-09-17 | International Business Machines Corporation | Measuring driving variability under potentially distracting conditions |
JP6579014B2 (ja) * | 2016-03-29 | 2019-09-25 | 株式会社デンソー | 自動ブレーキ制御装置及びコンピュータプログラム |
KR20240096716A (ko) | 2016-11-17 | 2024-06-26 | 코그니토 쎄라퓨틱스, 인코포레이티드 | 시각 자극을 통한 신경 자극 방법 및 시스템 |
JP6693427B2 (ja) * | 2017-01-18 | 2020-05-13 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
JP6966363B2 (ja) * | 2018-03-14 | 2021-11-17 | オムロン株式会社 | 推定システム、推定装置及び推定方法 |
US10810966B1 (en) * | 2019-01-15 | 2020-10-20 | Ambarella International Lp | Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety |
JP7266429B2 (ja) * | 2019-03-06 | 2023-04-28 | 本田技研工業株式会社 | 運転技量分析装置 |
JP2020149319A (ja) * | 2019-03-13 | 2020-09-17 | いすゞ自動車株式会社 | 車両制御装置 |
US20220160276A1 (en) * | 2019-03-29 | 2022-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Concentration degree measurement device, concentration degree measurement method, and recording medium |
JP6709966B1 (ja) * | 2019-03-29 | 2020-06-17 | パナソニックIpマネジメント株式会社 | 心理状態推定システム、心理状態推定方法、プログラム、推定モデルの生成方法 |
WO2020253965A1 (en) * | 2019-06-20 | 2020-12-24 | Toyota Motor Europe | Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time |
KR102685114B1 (ko) * | 2019-06-26 | 2024-07-12 | 현대자동차주식회사 | 오류 모니터링을 이용한 모빌리티 제어 방법 및 장치 |
KR102737426B1 (ko) * | 2019-10-22 | 2024-12-02 | 현대자동차주식회사 | 오류 모니터링을 이용한 운전자 숙련용 주행 모델 생성 장치 및 방법 |
WO2021176633A1 (ja) * | 2020-03-05 | 2021-09-10 | 三菱電機株式会社 | 運転者状態推定装置および運転者状態推定方法 |
JP7399324B2 (ja) * | 2021-02-03 | 2023-12-15 | 三菱電機株式会社 | 調整装置、調整システム、および、調整方法 |
JP7586137B2 (ja) | 2022-05-17 | 2024-11-19 | トヨタ自動車株式会社 | 監視装置、監視用コンピュータプログラム及び監視方法 |
DE102022205571A1 (de) * | 2022-06-01 | 2023-12-07 | Volkswagen Aktiengesellschaft | Verfahren zur Müdigkeitsbekämpfung eines Fahrers eines Kraftfahrzeugs sowie elektronische Recheneinrichtung |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3119076B2 (ja) | 1994-06-02 | 2000-12-18 | 日産自動車株式会社 | 車両用警報表示装置 |
CN2236420Y (zh) * | 1995-05-23 | 1996-10-02 | 孟正权 | 汽车司机疲劳、走神驾驶电脑监测制动装置 |
US6496724B1 (en) * | 1998-12-31 | 2002-12-17 | Advanced Brain Monitoring, Inc. | Method for the quantification of human alertness |
JP2004178367A (ja) * | 2002-11-28 | 2004-06-24 | Toyota Central Res & Dev Lab Inc | 注意配分制御装置 |
US20050107716A1 (en) * | 2003-11-14 | 2005-05-19 | Media Lab Europe | Methods and apparatus for positioning and retrieving information from a plurality of brain activity sensors |
KR100569009B1 (ko) * | 2003-12-30 | 2006-04-07 | 현대자동차주식회사 | 차량용 정보 시스템의 사용성 평가 시스템 |
JP4517666B2 (ja) * | 2004-02-12 | 2010-08-04 | トヨタ自動車株式会社 | 走行支援装置 |
JP2007000280A (ja) | 2005-06-22 | 2007-01-11 | Toyota Motor Corp | 覚醒度低下判定装置 |
JP2007265377A (ja) | 2006-03-01 | 2007-10-11 | Toyota Central Res & Dev Lab Inc | 運転者状態判定装置及び運転支援装置 |
JP4240118B2 (ja) * | 2006-12-12 | 2009-03-18 | トヨタ自動車株式会社 | 運転支援装置 |
US7570991B2 (en) * | 2007-11-13 | 2009-08-04 | Wavesynch Technologies, Inc. | Method for real time attitude assessment |
-
2009
- 2009-09-18 JP JP2010503303A patent/JP4500369B2/ja active Active
- 2009-09-18 WO PCT/JP2009/004771 patent/WO2010032491A1/ja active Application Filing
- 2009-09-18 CN CN2009801108595A patent/CN101980660B/zh active Active
-
2010
- 2010-06-03 US US12/793,263 patent/US8239015B2/en active Active
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103454930B (zh) * | 2012-05-29 | 2016-08-10 | 通用汽车环球科技运作有限责任公司 | 减少驾驶员口语对话期间的分心 |
CN103454930A (zh) * | 2012-05-29 | 2013-12-18 | 通用汽车环球科技运作有限责任公司 | 减少驾驶员口语对话期间的分心 |
CN104665848A (zh) * | 2013-11-28 | 2015-06-03 | 现代摩比斯株式会社 | 驾驶员状态感知装置及其方法 |
CN105313898B (zh) * | 2014-07-23 | 2018-03-20 | 现代摩比斯株式会社 | 驾驶员状态感应装置及其方法 |
CN105313898A (zh) * | 2014-07-23 | 2016-02-10 | 现代摩比斯株式会社 | 驾驶员状态感应装置及其方法 |
CN105286891A (zh) * | 2015-11-17 | 2016-02-03 | 南京信息工程大学 | 面向车载网中感知层面的疲劳检测与处理方法 |
CN105893980B (zh) * | 2016-04-26 | 2019-02-26 | 北京科技大学 | 一种注意力专注度评价方法及系统 |
CN105893980A (zh) * | 2016-04-26 | 2016-08-24 | 北京科技大学 | 一种注意力专注度评价方法及系统 |
CN106691441A (zh) * | 2016-12-22 | 2017-05-24 | 蓝色传感(北京)科技有限公司 | 基于脑电与运动状态反馈的注意力训练系统及方法 |
CN109080641A (zh) * | 2017-06-08 | 2018-12-25 | 丰田自动车株式会社 | 驾驶意识推定装置 |
CN109080641B (zh) * | 2017-06-08 | 2021-04-20 | 丰田自动车株式会社 | 驾驶意识推定装置 |
CN109835331A (zh) * | 2017-11-28 | 2019-06-04 | 现代自动车株式会社 | 用于调整车辆的驾驶控制权限的方法及系统 |
CN107961006B (zh) * | 2017-12-28 | 2023-12-05 | 出门问问信息科技有限公司 | 腕式智能穿戴设备和信息提示方法 |
CN107961006A (zh) * | 2017-12-28 | 2018-04-27 | 出门问问信息科技有限公司 | 腕式智能穿戴设备和信息提示方法 |
CN111897414A (zh) * | 2020-06-10 | 2020-11-06 | 中国联合网络通信集团有限公司 | 控制物体速度的方法、系统及电子设备 |
CN111897414B (zh) * | 2020-06-10 | 2024-01-30 | 中国联合网络通信集团有限公司 | 控制物体速度的方法、系统及电子设备 |
CN111951637A (zh) * | 2020-07-19 | 2020-11-17 | 西北工业大学 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
CN111951637B (zh) * | 2020-07-19 | 2022-05-03 | 西北工业大学 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
CN114594852A (zh) * | 2020-12-07 | 2022-06-07 | 北京小米移动软件有限公司 | 电子设备的控制方法及装置、电子设备及存储介质 |
CN112890831A (zh) * | 2021-01-15 | 2021-06-04 | 褚明礼 | 一种基于脑电信息的效率管理方法 |
CN115920192A (zh) * | 2023-02-06 | 2023-04-07 | 西南医科大学附属医院 | 专注力分配能力训练系统、运行方法及存储介质 |
CN115920192B (zh) * | 2023-02-06 | 2023-05-09 | 西南医科大学附属医院 | 专注力分配能力训练系统、运行方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US8239015B2 (en) | 2012-08-07 |
US20100241021A1 (en) | 2010-09-23 |
WO2010032491A1 (ja) | 2010-03-25 |
JPWO2010032491A1 (ja) | 2012-02-09 |
JP4500369B2 (ja) | 2010-07-14 |
CN101980660B (zh) | 2013-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101980660B (zh) | 注意力分散检测装置、及注意力分散检测方法 | |
Du et al. | Psychophysiological responses to takeover requests in conditionally automated driving | |
US10867218B2 (en) | Biometric sensor fusion to classify vehicle passenger state | |
Liao et al. | Detection of driver cognitive distraction: A comparison study of stop-controlled intersection and speed-limited highway | |
Li et al. | A method for fatigue detection based on Driver's steering wheel grip | |
Lin et al. | Adaptive EEG-based alertness estimation system by using ICA-based fuzzy neural networks | |
KR101023512B1 (ko) | 사람의 상태 검출 장치 | |
Li et al. | Sensitivity of electrodermal activity features for driver arousal measurement in cognitive load: the application in automated driving systems | |
Arefnezhad et al. | Driver drowsiness classification using data fusion of vehicle-based measures and ECG signals | |
Rather et al. | A survey on fatigue and drowsiness detection techniques in driving | |
Guo et al. | Driver vigilance state estimation based on multisource data | |
Alguindigue et al. | Biosignals monitoring for driver drowsiness detection using deep neural networks | |
JP4923911B2 (ja) | 人の状態推定装置及び人の状態推定方法 | |
Ahlstrom et al. | Measuring driver impairments: sleepiness, distraction, and workload | |
Čolić et al. | Driver drowsiness detection and measurement methods | |
Zhang et al. | EEG Signal Analysis for Early Detection of Critical Road Events and Emergency Response in Autonomous Driving | |
Lawoyin et al. | Evaluating the efficacy of an accelerometer–based method for drowsy driving detection | |
JP6648788B1 (ja) | 運転制御調整装置および運転制御調整方法 | |
Rahman et al. | Using pre-stimulus EEG to predict driver reaction time to road events | |
RU2111134C1 (ru) | Способ поддержания работоспособности водителя транспортного средства и система для его осуществления | |
Fu et al. | Decoding passenger's EEG signals from encountering emergency road events | |
Sussman | An Investigation of Factors Affecting Driver Alertness. Final Report | |
Gruden et al. | Quantifying Drivers' Physiological Responses to Take-Over Requests in Conditionally Automated Vehicles. | |
Dababneh et al. | Driver vigilance level detection systems: A literature survey | |
Agrawal et al. | Driving simulator based interactive experiments: Understanding driver behavior, cognition and technology uptake under information and communication technologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |