[go: up one dir, main page]

CN107233104A - 认知分心测评方法和系统 - Google Patents

认知分心测评方法和系统 Download PDF

Info

Publication number
CN107233104A
CN107233104A CN201710397929.6A CN201710397929A CN107233104A CN 107233104 A CN107233104 A CN 107233104A CN 201710397929 A CN201710397929 A CN 201710397929A CN 107233104 A CN107233104 A CN 107233104A
Authority
CN
China
Prior art keywords
msub
facial expression
unit
cognition
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710397929.6A
Other languages
English (en)
Inventor
张骏
郭孜政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201710397929.6A priority Critical patent/CN107233104A/zh
Publication of CN107233104A publication Critical patent/CN107233104A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7242—Details of waveform analysis using integration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种提供一种认知分心测评方法和系统。其中该方法至少可以包括采集脑电信号、眼动信号、面部表情信息和座椅压力信号；根据脑电信号、眼动信号、面部表情信息和座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征；利用分类器对脑电特征、眼动特征、面部表情特征和压力特征进行识别；基于识别结果，来评判认知分心程度；根据认知分心程度，判断高铁调度员是否处于认知分心状态。由此，本发明至少部分地解决了如何准确评判高铁调度员认知分心程度的技术问题；填补了国内外的空白；测评背景与高铁调度场景紧密结合，测评结果能更真实地反应高铁调度员作业时的认知分心状态。

Description

认知分心测评方法和系统
技术领域
本发明实施例涉及高铁技术领域，尤其是涉及一种认知分心测评方法和系统。
背景技术
高铁调度员的作业任务要求其必须具备较高的抗分心能力，尤其是抗认知分心的能力。
目前，国内国外针对高铁调度员认知分心测评方法及系统较为鲜见。已有的认知分心测试方法和设备，其背景与高铁调度员作业背景有较大差异，评测结果并不能代表高铁调度员作业背景下的抗认知分心能力。
现有的测试方法、设备尚无法对认知分心程度进行评判。
发明内容
本发明实施例的主要目的在于提供一种认知分心测评方法，其至少部分地解决了如何准确评判高铁调度员认知分心程度的技术问题。此外，还提供一种认知分心测评系统。
为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：
一种，认知分心测评方法，应用于高铁调度员，该方法至少包括：
采集脑电信号、眼动信号、面部表情信息和座椅压力信号；
根据所述脑电信号、所述眼动信号、所述面部表情信息和所述座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征；
利用分类器对所述脑电特征、所述眼动特征、所述面部表情特征和所述压力特征进行识别；
基于识别结果，来评判认知分心程度；
根据所述认知分心程度，判断所述高铁调度员是否处于认知分心状态。
进一步地，所述根据所述脑电信号提取脑电特征的步骤具体包括：
采用希尔伯特—黄变换，通过经验模式分解，将所述脑电信号分解成有限个固有模态函数；
对所述有限个固有模态函数进行希尔伯特变换，计算出瞬时的频率和振幅；
根据所述瞬时的频率和振幅，计算出希尔伯特—黄变换的边际谱；
分析所述边际谱，提取所述脑电信号的各个波段分量的幅值，并将其作为所述脑电特征。
进一步地，所述根据所述眼动信号提取眼动特征的步骤具体包括：
按照注视-眼跳的扫描路径，采集眼动信息；
基于所述眼动信息，提取眼睛焦点位置、扫描路径的长度和眨眼频率数据，并将其作为所述眼动特征。
进一步地，所述根据所述面部表情信息提取面部表情特征具体包括：
通过人脸识别方法，从所述面部表情信息中提取人脸特征；
以预定时长的所述人脸特征视频段为数据单元，并对所述数据单元内的每帧画面进行处理，得到视频指标值；
对所述数据单元内所有帧画面的视频指标值取均值，并将所述均值作为所述数据单元的指标值；
将所述数据单元的指标值转换成人脸及其组成部分的外形、运动、颜色和空间的表示；
基于所述人脸及其组成部分的外形、运动、颜色和空间的表示，利用面部表征方法，获得所述面部表情特征。
进一步地，所述根据所述座椅压力信号提取压力特征具体包括：
基于所述座椅的坐垫，建立坐标系；
获取所述坐垫上各个坐标位置的压力，作为所述压力特征。
进一步地，所述利用分类器对所述脑电特征进行识别的步骤具体包括：
通过支持向量机，基于二分类方法，根据下式识别所述高铁调度员是否分心：
其中，所述xi表示所述脑电信号的各个波段分量的幅值，(xi,yi):i＝1,2,...,N,xi∈Rd，所述N取正整数；所述yi表示类别，所述yi∈{1,-1}，类别为“1”表示“认真”，类别为“-1”表示“分心”；所述b表示阈值；所述αi表示权重；所述K(xi,x)表示核函数；所述y表示识别结果。
进一步地，所述利用分类器对所述眼动特征进行识别具体包括：
根据下式对所述眼动特征进行归一化：
其中，xi表示眼动特征；xmax、xmin分别表示眼动特征的最大、最小值；yi表示归一化后的结果；
基于归一化结果，根据神经网络模型，识别所述高铁调度员是否分心。
进一步地，所述利用分类器对所述面部表情特征进行识别具体包括：
构建面部表情样本；
归一化将所述面部表情样本作为输入的各弱分类器的权重；
训练所述弱分类器，选取出误差最小的弱分类器；
将所述误差最小的弱分类器联合起来，得到强分类器；
利用所述强分类器，对所述面部表情特征进行识别。
进一步地，所述利用分类器对所述压力特征进行识别具体包括：
创建压力特征样本；
利用神经网络对所述压力特征样本进行预测，得到识别结果。
进一步地，所述基于识别结果，来评判认知分心程度，，具体包括：
基于所述脑电特征的识别结果，来评判第一认知分心程度；
基于所述眼动特征的识别结果，来评判第二认知分心程度；
基于所述面部表情特征的识别结果，来评判第三认知分心程度；
基于所述压力特征的识别结果，来评判第四认知分心程度。
进一步地，所述根据所述认知分心程度，判断所述高铁调度员是否处于认知分心状态，具体包括：
对所述第一、二、三和四认知分心程度加权平均进行结果的枚举，从而对所述高铁调度员的认知分心状态进行判断。
进一步地，所述认知分心测评方法还可以包括：
根据判断结果，确定是否进行报警。
根据本发明的另一个方面，还提供了一种认知分心测评系统，应用于高铁调度员，该系统至少可以包括：
采集模块，用于采集脑电信号、眼动信号、面部表情信息和座椅压力信号；
提取模块，用于根据所述脑电信号、所述眼动信号、所述面部表情信息和所述座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征；
识别模块，用于利用分类器对所述脑电特征、所述眼动特征、所述面部表情特征和所述压力特征进行识别；
评判模块，用于基于识别结果，来评判认知分心程度；
判断模块，用于根据所述认知分心程度，判断所述高铁调度员是否处于认知分心状态。
进一步地，所述提取模块具体包括：
分解单元，用于采用希尔伯特—黄变换，通过经验模式分解，将所述脑电信号分解成有限个固有模态函数；
第一计算单元，用于对所述有限个固有模态函数进行希尔伯特变换，计算出瞬时的频率和振幅；
第二计算单元，用于根据所述瞬时的频率和振幅，计算出希尔伯特—黄变换的边际谱；
第一提取单元，用于分析所述边际谱，提取所述脑电信号的各个波段分量的幅值，并将其作为所述脑电特征。
进一步地，所述提取模块还具体包括：
采集单元，用于按照注视-眼跳的扫描路径，采集眼动信息；
第二提取单元，用于基于所述眼动信息，提取眼睛焦点位置、扫描路径的长度和眨眼频率数据，并将其作为所述眼动特征。
进一步地，所述提取模块还具体包括：
第三提取单元，用于通过人脸识别方法，从所述面部表情信息中提取人脸特征；
处理单元，用于以预定时长的所述人脸特征视频段为数据单元，并对所述数据单元内的每帧画面进行处理，得到视频指标值；
均值单元，用于对所述数据单元内所有帧画面的视频指标值取均值，并将所述均值作为所述数据单元的指标值；
转换单元，用于将所述数据单元的指标值转换成人脸及其组成部分的外形、运动、颜色和空间的表示；
第一获取单元，用于基于所述人脸及其组成部分的外形、运动、颜色和空间的表示，利用面部表征方法，获得所述面部表情特征。
进一步地，所述提取模块还具体包括：
建立单元，用于基于所述座椅的坐垫，建立坐标系；
第二获取单元，用于获取所述坐垫上各个坐标位置的压力，作为所述压力特征。
进一步地，所述识别模块具体包括：
第一识别单元，用于通过支持向量机，基于二分类方法，根据下式识别所述高铁调度员是否分心：
其中，所述xi表示所述脑电信号的各个波段分量的幅值，(xi,yi):i＝1,2,...,N,xi∈Rd，所述N取正整数；所述yi表示类别，所述yi∈{1,-1}，类别为“1”表示“认真”，类别为“-1”表示“分心”；所述b表示阈值；所述αi表示权重；所述K(xi,x)表示核函数；所述y表示识别结果。
进一步地，所述识别模块还具体包括：
第一归一化单元，用于根据下式对所述眼动特征进行归一化：
其中，xi表示眼动特征；xmax、xmin分别表示眼动特征的最大、最小值；yi表示归一化后的结果；
第二识别单元，用于基于归一化结果，根据神经网络模型，识别所述高铁调度员是否分心。
进一步地，所述识别模块还具体包括：
第一构建单元，用于构建面部表情样本；
第二归一化单元，用于归一化将所述面部表情样本作为输入的各弱分类器的权重；
选取单元，用于训练所述弱分类器，选取出误差最小的弱分类器；
联合单元，用于将所述误差最小的弱分类器联合起来，得到强分类器；
第三识别单元，用于利用所述强分类器，对所述面部表情特征进行识别。
进一步地，所述识别模块还具体包括：
第二构建单元，用于构建压力特征样本；
第四识别单元，用于利用神经网络对所述压力特征样本进行预测，得到识别结果。
进一步地，所述评判模块具体包括：
第一评判单元，用于基于所述脑电特征的识别结果，来评判第一认知分心程度；
第二评判单元，用于基于所述眼动特征的识别结果，来评判第二认知分心程度；
第三评判单元，用于基于所述面部表情特征的识别结果，来评判第三认知分心程度；
第四评判单元，用于基于所述压力特征的识别结果，来评判第四认知分心程度。
进一步地，所述判断模块具体包括：
枚举单元，用于对所述第一、二、三和四认知分心程度加权平均进行结果的枚举，从而对所述高铁调度员的认知分心状态进行判断。
进一步地，所述认知分心测评系统还包括：
报警模块，用于根据判断结果，确定是否进行报警。
与现有技术相比，上述技术方案至少具有以下有益效果：
本发明实施例提供一种认知分心测评方法和系统。其中该方法至少可以包括采集脑电信号、眼动信号、面部表情信息和座椅压力信号；根据脑电信号、眼动信号、面部表情信息和座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征；利用分类器对脑电特征、眼动特征、面部表情特征和压力特征进行识别；基于识别结果，来评判认知分心程度；根据认知分心程度，判断高铁调度员是否处于认知分心状态。由此，本发明实施例至少部分地解决了如何准确评判高铁调度员认知分心程度的技术问题；填补了国内外的空白；测评背景与高铁调度场景紧密结合，测评结果能更真实地反应高铁调度员作业时的认知分心状态。
当然，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1为根据一示例性实施例示出的认知分心测评方法的流程示意图；
图2为根据一示例性实施例示出的认知分心测评系统的结构示意图。
这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。
还需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合。
为了解决如何准确评判高铁调度员认知分心程度的技术问题，本发明实施例提供一种认知分心测评方法，应用于高铁调度员。如图1所示，该方法可以通过步骤SS100至步骤S140来实现。其中：
S100：采集脑电信号、眼动信号、面部表情信息和座椅压力信号。
在具体实施过程中，上述脑电信号、眼动信号、面部表情信息和座椅压力信号可以通过以下方式来获取：
在高铁调度员进行日常的调度过程中，将脑电采集设备(例如：脑电仪)佩戴在高铁调度员头上，以此对其调度全过程的脑电信号进行采集；将眼动采集设备佩戴在高铁调度员的眼部，以此来对高铁调度员调度车次全过程的眼动信号进行采集，例如：对高铁调度员搜索指定车次位置的整个过程的眼动信息进行采集；在调监屏的上方设置图像采集设备(例如：摄像装置、照相装置等)高铁调度员，以此来对高铁调度员整个调度过程的面部表情信息进行记录；通过在高铁调度员的座椅上设置压力传感器，来记录座椅上各个位置的座椅压力信号。
S110：根据脑电信号、眼动信号、面部表情信息和座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征。
传统的时频分析方法以傅里叶变换为基础，基函数固定且缺乏自适应性，在表达脑电信号这种复杂信号时会有很大的局限性。
鉴于此，在一些可选的实施例中，根据脑电信号提取脑电特征的步骤具体可以包括：
步骤a1：采用希尔伯特—黄变换，通过经验模式分解，将脑电信号分解成有限个固有模态函数。
步骤a2：对该有限个固有模态函数进行希尔伯特变换，计算出瞬时的频率和振幅。
步骤a3：根据瞬时的频率和振幅，计算出希尔伯特—黄变换的边际谱。
步骤a4：分析该边际谱，提取脑电信号的各个波段分量的幅值，并将其作为脑电特征。
在一些可选的实施例中，根据眼动信号提取眼动特征的步骤具体可以包括：
步骤b1：按照注视-眼跳的扫描路径，采集眼动信息。
步骤b2：基于眼动信息，提取眼睛焦点位置、扫描路径的长度和眨眼频率数据，并将其作为眼动特征。
其中，眼睛焦点位置、扫描路径的长度和眨眼频率数据是被证实了与人的认知分心的程度有关，所以，将它们提取出来，作为识别调度分心的重要指标。
在一些可选的实施例中，根据面部表情信息提取面部表情特征具体可以包括：
步骤c1：通过人脸识别方法，从面部表情信息中提取人脸特征。
在实际应用中，可以通过人脸识别方法，对采集到的高铁调度员的面部表情信息进行处理。由于调度员在调度过程中的环境因素、光照信息等是可控的，所以，可以高完成度和高准确率地剔除掉非人脸特征，从而得到人脸特征。
步骤c2：以预定时长的人脸特征视频段为数据单元，并对该数据单元内的每帧画面进行处理，得到视频指标值。
步骤c3：对数据单元内所有帧画面的视频指标值取均值，并将该均值作为数据单元的指标值。
步骤c4：将数据单元的指标值转换成人脸及其组成部分的外形、运动、颜色和空间的表示。
步骤c5：基于人脸及其组成部分的外形、运动、颜色和空间的表示，利用面部表征方法，获得面部表情特征。
在一些可选的实施例中，根据座椅压力信号提取压力特征具体可以包括：
步骤d1：基于座椅的坐垫，建立坐标系。
步骤d2：获取坐垫上各个坐标位置的压力，作为压力特征。
举例来说，在具体实施过程中，可以在高铁调度员的座椅上设置压力传感器(优选为线性压力传感器)，以座椅的坐垫为坐标系，记录调度员在调度过程中压力传感器的输出，以获取调度员在日常调度过程中座椅上不同位置的压力，即每个时刻坐标系下各个坐标位置的压力传感器的输出值(其实际为电压信号)。
示例性地，上述压力值可以根据下式获得：
其中，PX表示压力值；P0、V0、VMAX、PMAX分别表示线性压力传感器的参数。
S120：利用分类器对脑电特征、眼动特征、面部表情特征和压力特征进行识别。
在一些可选的实施例中，利用分类器对脑电特征进行识别的步骤具体可以包括：
通过支持向量机，基于二分类方法，根据下式识别高铁调度员是否分心：
其中，xi表示脑电信号的各个波段分量的幅值，(xi,yi):i＝1,2,...,N,xi∈Rd，N取正整数；yi表示类别，yi∈{1,-1}，类别为“1”表示“认真”，类别为“-1”表示“分心”；b表示阈值；αi表示权重；K(xi,x)表示核函数；y表示识别结果。
上式中，K(xi,x)是原问题映射到超空间的必要条件。
在一些可选的实施例中，利用分类器对眼动特征进行识别具体可以包括：
步骤e1：根据下式对眼动特征进行归一化：
其中，xi表示眼动特征；xmax、xmin分别表示眼动特征的最大、最小值；yi表示归一化后的结果。
考虑到：(1)输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长；(2)数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小；(3)由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域；所以，需要对眼动特征进行归一化处理。
步骤e2：基于归一化结果，根据神经网络模型，识别高铁调度员是否分心。
作为示例，可以根据以下BP神经网络模型来识别高铁调度员是否分心：
y＝sim(net,x)
其中，y表示识别结果；sim表示BP神经网络模型(多层前馈神经网络模型)；net表示训练好的人工神经网络；x表示归一化结果。
需要说明的是，在实际应用中，也可以采用诸如：反馈神经网络或自组织神经网络来实现高铁调度员认知分心的识别。
在一些可选的实施例中，利用分类器对面部表情特征进行识别，具体可以包括：
步骤f1：构建面部表情样本。
例如：创建面部表情样本(x1,y1)、(x2,y2),......,(xn,yn)，其中xn为样本，yn的取值为0或者1。
步骤f2：归一化将该面部表情样本作为输入的每个弱分类器的权重。
其中，本步骤对正、负样本权重进行归一化。其中，负样本权重＝1/(2×m)，m表示负样本个数；正样本权重＝1/(2×n)，n表示正样本个数。
步骤f3：训练弱分类器，选取出误差最小的弱分类器。
步骤f4：将误差最小的弱分类器联合起来，得到强分类器。
作为示例，本步骤可以得到以下强分类器：
其中，T表示弱分类器的数量；ht(x)表示弱分类器；α(t)＝log(1-εt/εt)；εt表示弱分类器的错误率；H(x)表示强分类器。
步骤f5：利用强分类器对面部表征点进行识别。
沿用上例，可以根据下式对面部表情特征进行识别：
其中，yn表示识别结果。
在一些可选的实施例中，利用分类器对压力特征进行识别具体可以包括：
步骤g1：创建压力特征样本。
例如：创建样本(x1,y1)、(x2,y2),……,(xn,yn)；其中，xn表示样本，yn的取值为0或者1。
步骤g2：利用神经网络对压力特征样本进行预测，得到识别结果。
本步骤在具体实施过程中，可以将待输入的预测样本输入到已经训练好的神经网络中，得到结果类别。
S130：基于识别结果，来评判认知分心程度。
本步骤具体可以包括：
S132：基于脑电特征的识别结果，来评判第一认知分心程度。
例如：如果y>0，表明类别为“1”，则判定高铁调度员为“认真”；如果y<0，表明类别为“-1”，则判定高铁调度员为“分心”。其中，y表示识别结果。
S134：基于眼动特征的识别结果，来评判第二认知分心程度。
例如：当对眼动特征的识别结果(即神经网络的预测数据)属于[-1,0]时，则判定为“分心”；当对眼动特征的识别结果属于[0,1]时，则判定为“认真”。
S136：基于面部表情特征的识别结果，来评判第三认知分心程度。
例如：如果识别结果yn为0，则表示高铁调度员“分心”；反之，则表示高铁调度员“认真”。
S138：基于压力特征的识别结果，来评判第四认知分心程度。
例如：；如果识别结果输出是0，则判定为“分心”状态，如果识别结果输出是1，则判定为“认真”状态
S140：根据认知分心程度，判断高铁调度员是否处于认知分心状态。
具体地，本步骤可以包括：对第一、二、三和四认知分心程度加权平均进行结果的枚举，从而对高铁调度员的认知分心状态进行判断。
本发明实施例通过采取上述各个技术方案，至少部分地解决了如何准确评判高铁调度员认知分心程度的技术问题；填补了国内外的空白；测评背景与高铁调度场景紧密结合，测评结果能更真实地反应高铁调度员作业时的认知分心状态。
本发明实施例还可以包括以下步骤：
S150：根据判断结果，确定是否进行报警。
本步骤具体可以包括：
S151：如果判断高铁调度员处于认知分心状态；则执行步骤S152；否则，执行步骤S153。
S152：进行报警，并进行干预纠正。
例如：本步骤可以通过蜂鸣器进行报警。
S153：不报警。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明实施例通过采取上述技术方案，可对处于认知分心状态的高铁调度员进行干预，以保证其精力集中于高铁调度任务中。
基于与方法实施例相同的技术构思，本发明实施例还提供一种认知分心测评系统，应用于高铁调度员。如图2所示，该系统20至少可以包括：采集模块21、提取模块22、识别模块23、评判模块24和判断模块25。其中，采集模块21用于采集脑电信号、眼动信号、面部表情信息和座椅压力信号。提取模块22用于根据脑电信号、眼动信号、面部表情信息和座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征。识别模块23用于利用分类器对脑电特征、眼动特征、面部表情特征和压力特征进行识别。评判模块24用于基于识别结果，来评判认知分心程度。判断模块25用于根据认知分心程度，判断高铁调度员是否处于认知分心状态。
本发明实施例通过采取上述技术方案，至少部分地解决了如何准确评判高铁调度员认知分心程度的技术问题；填补了国内外的空白；测评背景与高铁调度场景紧密结合，测评结果能更真实地反应高铁调度员作业时的认知分心状态。
在一些可选的实施例中，上述提取模块具体还可以包括：
分解单元，用于采用希尔伯特—黄变换，通过经验模式分解，将脑电信号分解成有限个固有模态函数；
第一计算单元，用于对有限个固有模态函数进行希尔伯特变换，计算出瞬时的频率和振幅；
第二计算单元，用于根据瞬时的频率和振幅，计算出希尔伯特—黄变换的边际谱；
第一提取单元，用于分析边际谱，提取脑电信号的各个波段分量的幅值，并将其作为脑电特征。
在一些可选的实施例中，上述提取模块具体还可以包括：
采集单元，用于按照注视-眼跳的扫描路径，采集眼动信息；
第二提取单元，用于基于眼动信息，提取眼睛焦点位置、扫描路径的长度和眨眼频率数据，并将其作为眼动特征。
在一些可选的实施例中，上述提取模块具体还可以包括：
第三提取单元，用于通过人脸识别方法，从面部表情信息中提取人脸特征；
处理单元，用于以预定时长的人脸特征视频段为数据单元，并对数据单元内的每帧画面进行处理，得到视频指标值；
均值单元，用于对数据单元内所有帧画面的视频指标值取均值，并将均值作为数据单元的指标值；
转换单元，用于将数据单元的指标值转换成人脸及其组成部分的外形、运动、颜色和空间的表示；
第一获取单元，用于基于人脸及其组成部分的外形、运动、颜色和空间的表示，利用面部表征方法，获得面部表情特征。
在一些可选的实施例中，上述提取模块具体还可以包括：
建立单元，用于基于座椅的坐垫，建立坐标系；
第二获取单元，用于获取坐垫上各个坐标位置的压力，作为压力特征。
在一些可选的实施例中，上述识别模块具体还可以包括：
第一识别单元，用于通过支持向量机，基于二分类方法，根据下式识别高铁调度员是否分心：
其中，xi表示脑电信号的各个波段分量的幅值，(xi,yi):i＝1,2,...,N,xi∈Rd，N取正整数；yi表示类别，yi∈{1,-1}，类别为“1”表示“认真”，类别为“-1”表示“分心”；b表示阈值；αi表示权重；K(xi,x)表示核函数；y表示识别结果。
在一些可选的实施例中，上述识别模块具体还可以包括：
第一归一化单元，用于根据下式对眼动特征进行归一化：
其中，xi表示眼动特征；xmax、xmin分别表示眼动特征的最大、最小值；yi表示归一化后的结果；
第二识别单元，用于基于归一化结果，根据神经网络模型，识别高铁调度员是否分心。
在一些可选的实施例中，上述识别模块具体还可以包括：
第一构建单元，用于构建面部表情样本；
第二归一化单元，用于归一化将面部表情样本作为输入的各弱分类器的权重；
选取单元，用于训练弱分类器，选取出误差最小的弱分类器；
联合单元，用于将误差最小的弱分类器联合起来，得到强分类器；
第三识别单元，用于利用强分类器，对面部表情特征进行识别。
在一些可选的实施例中，上述识别模块具体还可以包括：
第二构建单元，用于构建压力特征样本；
第四识别单元，用于利用神经网络对压力特征样本进行预测，得到识别结果。
在一些可选的实施例中，上述评判模块具体可以包括：
第一评判单元，用于基于脑电特征的识别结果，来评判第一认知分心程度；
第二评判单元，用于基于眼动特征的识别结果，来评判第二认知分心程度；
第三评判单元，用于基于面部表情特征的识别结果，来评判第三认知分心程度；
第四评判单元，用于基于压力特征的识别结果，来评判第四认知分心程度。
在一些可选的实施例中，上述判断模块具体还可以包括：
枚举单元，用于对第一、二、三和四认知分心程度加权平均进行结果的枚举，从而对高铁调度员的认知分心状态进行判断。
在一些可选的实施例中，上述认知分心测评系统还可以包括：报警模块。其中，报警模块用于根据判断结果，确定是否进行报警。
本领域技术人员可以理解，上述认知分心测评系统还可以包括一些其他公知结构，例如处理器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构在图2中未示出。
应该理解，图2中的各个模块的数量仅仅是示意性的。根据实现需要，可以具有任意数量的采集模块、提取模块、识别模块、评判模块和判断模块。
需要说明的是：上述实施例提供的认知分心测评系统在进行认知分心测评时，仅以上述各功能模块的划分进行举例说明，在实际应用中，还可以根据需要而将上述功能分配由不同的功能模块来完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
如本文中所使用的，术语“模块”、“单元”可以指代在计算系统上执行的软件对象或例程。可以将本文中所描述的不同模块实现为在计算系统上执行的对象或过程(例如，作为独立的线程)。虽然优选地以软件来实现本文中所描述的系统和方法，但是以硬件或者软件和硬件的组合的实现也是可以的并且是可以被设想的。
上述系统实施例可以用于执行上述方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
应指出的是，上面分别对本发明的系统实施例和方法实施例进行了描述，但是对一个实施例描述的细节也可应用于另一个实施例。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。本领域技术人员应该理解：本发明实施例中的模块或者步骤还可以再分解或者组合。例如上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。
需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。
本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的保护范围。

Claims (24)

1.一种认知分心测评方法，应用于高铁调度员，其特征在于，所述方法至少包括：
采集脑电信号、眼动信号、面部表情信息和座椅压力信号；
根据所述脑电信号、所述眼动信号、所述面部表情信息和所述座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征；
利用分类器对所述脑电特征、所述眼动特征、所述面部表情特征和所述压力特征进行识别；
基于识别结果，来评判认知分心程度；
根据所述认知分心程度，判断所述高铁调度员是否处于认知分心状态。
2.根据权利要求1所述的方法，其特征在于，所述根据所述脑电信号提取脑电特征的步骤具体包括：
采用希尔伯特—黄变换，通过经验模式分解，将所述脑电信号分解成有限个固有模态函数；
对所述有限个固有模态函数进行希尔伯特变换，计算出瞬时的频率和振幅；
根据所述瞬时的频率和振幅，计算出希尔伯特—黄变换的边际谱；
分析所述边际谱，提取所述脑电信号的各个波段分量的幅值，并将其作为所述脑电特征。
3.根据权利要求1所述的方法，其特征在于，所述根据所述眼动信号提取眼动特征的步骤具体包括：
按照注视-眼跳的扫描路径，采集眼动信息；
基于所述眼动信息，提取眼睛焦点位置、扫描路径的长度和眨眼频率数据，并将其作为所述眼动特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所述面部表情信息提取面部表情特征具体包括：
通过人脸识别方法，从所述面部表情信息中提取人脸特征；
以预定时长的所述人脸特征视频段为数据单元，并对所述数据单元内的每帧画面进行处理，得到视频指标值；
对所述数据单元内所有帧画面的视频指标值取均值，并将所述均值作为所述数据单元的指标值；
将所述数据单元的指标值转换成人脸及其组成部分的外形、运动、颜色和空间的表示；
基于所述人脸及其组成部分的外形、运动、颜色和空间的表示，利用面部表征方法，获得所述面部表情特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述座椅压力信号提取压力特征具体包括：
基于所述座椅的坐垫，建立坐标系；
获取所述坐垫上各个坐标位置的压力，作为所述压力特征。
6.根据权利要求1所述的方法，其特征在于，所述利用分类器对所述脑电特征进行识别的步骤具体包括：
通过支持向量机，基于二分类方法，根据下式识别所述高铁调度员是否分心：
<mrow> <mi>y</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>b</mi> </mrow>
其中，所述xi表示所述脑电信号的各个波段分量的幅值，(xi,yi):i＝1,2,...,N,xi∈Rd，所述N取正整数；所述yi表示类别，所述yi∈{1,-1}，类别为“1”表示“认真”，类别为“-1”表示“分心”；所述b表示阈值；所述αi表示权重；所述K(xi,x)表示核函数；所述y表示识别结果。
7.根据权利要求1所述的方法，其特征在于，所述利用分类器对所述眼动特征进行识别具体包括：
根据下式对所述眼动特征进行归一化：
<mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>max</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>min</mi> </msub> </mrow> <mrow> <msub> <mi>x</mi> <mi>max</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>min</mi> </msub> </mrow> </mfrac> </mrow>
其中，xi表示眼动特征；xmax、xmin分别表示眼动特征的最大、最小值；yi表示归一化后的结果；
基于归一化结果，根据神经网络模型，识别所述高铁调度员是否分心。
8.根据权利要求1所述的方法，其特征在于，所述利用分类器对所述面部表情特征进行识别具体包括：
构建面部表情样本；
归一化将所述面部表情样本作为输入的各弱分类器的权重；
训练所述弱分类器，选取出误差最小的弱分类器；
将所述误差最小的弱分类器联合起来，得到强分类器；
利用所述强分类器，对所述面部表情特征进行识别。
9.根据权利要求1所述的方法，其特征在于，所述利用分类器对所述压力特征进行识别具体包括：
创建压力特征样本；
利用神经网络对所述压力特征样本进行预测，得到识别结果。
10.根据权利要求1所述的方法，其特征在于，所述基于识别结果，来评判认知分心程度，具体包括：
基于所述脑电特征的识别结果，来评判第一认知分心程度；
基于所述眼动特征的识别结果，来评判第二认知分心程度；
基于所述面部表情特征的识别结果，来评判第三认知分心程度；
基于所述压力特征的识别结果，来评判第四认知分心程度。
11.根据权利要求1所述的方法，其特征在于，所述根据所述认知分心程度，判断所述高铁调度员是否处于认知分心状态，具体包括：
对所述第一、二、三和四认知分心程度加权平均进行结果的枚举，从而对所述高铁调度员的认知分心状态进行判断。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据判断结果，确定是否进行报警。
13.一种认知分心测评系统，应用于高铁调度员，其特征在于，所述系统至少包括：
采集模块，用于采集脑电信号、眼动信号、面部表情信息和座椅压力信号；
提取模块，用于根据所述脑电信号、所述眼动信号、所述面部表情信息和所述座椅压力信号，分别提取脑电特征、眼动特征、面部表情特征和压力特征；
识别模块，用于利用分类器对所述脑电特征、所述眼动特征、所述面部表情特征和所述压力特征进行识别；
评判模块，用于基于识别结果，来评判认知分心程度；
判断模块，用于根据所述认知分心程度，判断所述高铁调度员是否处于认知分心状态。
14.根据权利要求13所述的系统，其特征在于，所述提取模块具体包括：
分解单元，用于采用希尔伯特—黄变换，通过经验模式分解，将所述脑电信号分解成有限个固有模态函数；
第一计算单元，用于对所述有限个固有模态函数进行希尔伯特变换，计算出瞬时的频率和振幅；
第二计算单元，用于根据所述瞬时的频率和振幅，计算出希尔伯特—黄变换的边际谱；
第一提取单元，用于分析所述边际谱，提取所述脑电信号的各个波段分量的幅值，并将其作为所述脑电特征。
15.根据权利要求13所述的系统，其特征在于，所述提取模块还具体包括：
采集单元，用于按照注视-眼跳的扫描路径，采集眼动信息；
第二提取单元，用于基于所述眼动信息，提取眼睛焦点位置、扫描路径的长度和眨眼频率数据，并将其作为所述眼动特征。
16.根据权利要求13所述的系统，其特征在于，所述提取模块还具体包括：
第三提取单元，用于通过人脸识别方法，从所述面部表情信息中提取人脸特征；
处理单元，用于以预定时长的所述人脸特征视频段为数据单元，并对所述数据单元内的每帧画面进行处理，得到视频指标值；
均值单元，用于对所述数据单元内所有帧画面的视频指标值取均值，并将所述均值作为所述数据单元的指标值；
转换单元，用于将所述数据单元的指标值转换成人脸及其组成部分的外形、运动、颜色和空间的表示；
第一获取单元，用于基于所述人脸及其组成部分的外形、运动、颜色和空间的表示，利用面部表征方法，获得所述面部表情特征。
17.根据权利要求13所述的系统，其特征在于，所述提取模块还具体包括：
建立单元，用于基于所述座椅的坐垫，建立坐标系；
第二获取单元，用于获取所述坐垫上各个坐标位置的压力，作为所述压力特征。
18.根据权利要求13所述的系统，其特征在于，所述识别模块具体包括：
第一识别单元，用于通过支持向量机，基于二分类方法，根据下式识别所述高铁调度员是否分心：
<mrow> <mi>y</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>b</mi> </mrow> 3
其中，所述xi表示所述脑电信号的各个波段分量的幅值，(xi,yi):i＝1,2,...,N,xi∈Rd，所述N取正整数；所述yi表示类别，所述yi∈{1,-1}，类别为“1”表示“认真”，类别为“-1”表示“分心”；所述b表示阈值；所述αi表示权重；所述K(xi,x)表示核函数；所述y表示识别结果。
19.根据权利要求13所述的系统，其特征在于，所述识别模块还具体包括：
第一归一化单元，用于根据下式对所述眼动特征进行归一化：
<mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>max</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>min</mi> </msub> </mrow> <mrow> <msub> <mi>x</mi> <mi>max</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>min</mi> </msub> </mrow> </mfrac> </mrow>
其中，xi表示眼动特征；xmax、xmin分别表示眼动特征的最大、最小值；yi表示归一化后的结果；
第二识别单元，用于基于归一化结果，根据神经网络模型，识别所述高铁调度员是否分心。
20.根据权利要求13所述的系统，其特征在于，所述识别模块还具体包括：
第一构建单元，用于构建面部表情样本；
第二归一化单元，用于归一化将所述面部表情样本作为输入的各弱分类器的权重；
选取单元，用于训练所述弱分类器，选取出误差最小的弱分类器；
联合单元，用于将所述误差最小的弱分类器联合起来，得到强分类器；
第三识别单元，用于利用所述强分类器，对所述面部表情特征进行识别。
21.根据权利要求13所述的系统，其特征在于，所述识别模块还具体包括：
第二构建单元，用于构建压力特征样本；
第四识别单元，用于利用神经网络对所述压力特征样本进行预测，得到识别结果。
22.根据权利要求13所述的系统，其特征在于，所述评判模块具体包括：
第一评判单元，用于基于所述脑电特征的识别结果，来评判第一认知分心程度；
第二评判单元，用于基于所述眼动特征的识别结果，来评判第二认知分心程度；
第三评判单元，用于基于所述面部表情特征的识别结果，来评判第三认知分心程度；
第四评判单元，用于基于所述压力特征的识别结果，来评判第四认知分心程度。
23.根据权利要求13所述的系统，其特征在于，所述判断模块具体包括：
枚举单元，用于对所述第一、二、三和四认知分心程度加权平均进行结果的枚举，从而对所述高铁调度员的认知分心状态进行判断。
24.根据权利要求13所述的系统，其特征在于，所述系统还包括：
报警模块，用于根据判断结果，确定是否进行报警。
CN201710397929.6A 2017-05-27 2017-05-27 认知分心测评方法和系统 Pending CN107233104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710397929.6A CN107233104A (zh) 2017-05-27 2017-05-27 认知分心测评方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710397929.6A CN107233104A (zh) 2017-05-27 2017-05-27 认知分心测评方法和系统

Publications (1)

Publication Number Publication Date
CN107233104A true CN107233104A (zh) 2017-10-10

Family

ID=59985431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710397929.6A Pending CN107233104A (zh) 2017-05-27 2017-05-27 认知分心测评方法和系统

Country Status (1)

Country Link
CN (1) CN107233104A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108714020A (zh) * 2018-05-18 2018-10-30 中国人民解放军陆军军医大学第三附属医院（野战外科研究所） 便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质
CN108961447A (zh) * 2018-06-07 2018-12-07 京东方科技集团股份有限公司 判断座椅是否有人的方法、座椅系统、考勤方法
CN110008790A (zh) * 2018-01-05 2019-07-12 中国移动通信有限公司研究院 一种多导联生理信号的分析方法及装置
CN110464368A (zh) * 2019-08-29 2019-11-19 苏州中科先进技术研究院有限公司 基于机器学习的大脑关注度评估方法及系统
CN110916631A (zh) * 2019-12-13 2020-03-27 东南大学 基于可穿戴生理信号监测的学生课堂学习状态评测系统
CN114220522A (zh) * 2022-02-22 2022-03-22 北京科技大学 基于视觉认知注意的心理测评数据采集与干预方法及系统
CN116807479A (zh) * 2023-08-28 2023-09-29 成都信息工程大学 一种基于多模态深度神经网络的驾驶注意力检测方法
CN118709019A (zh) * 2024-07-02 2024-09-27 山东理工大学 一种基于多源异构数据融合的驾驶人认知分心行为识别方法与系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053362A1 (en) * 2003-08-05 2010-03-04 Fotonation Ireland Limited Partial face detector red-eye filter method and apparatus
CN102396009A (zh) * 2009-11-09 2012-03-28 松下电器产业株式会社 注意力状态判定装置、方法及程序
JP2013056180A (ja) * 2002-10-15 2013-03-28 Volvo Technology Corp 被験者の頭及び目の動きを分析する方法及び装置
CN202896498U (zh) * 2012-07-13 2013-04-24 廊坊市金色时光科技发展有限公司 一种座椅及其人体坐姿传感检测系统
CN104706366A (zh) * 2013-12-13 2015-06-17 中国移动通信集团公司 一种分心检测方法、装置及系统
CN105708480A (zh) * 2016-01-26 2016-06-29 北京航空航天大学 基于检测反应任务的驾驶员注意力测试装置
CN105725995A (zh) * 2016-04-19 2016-07-06 北京理工大学 一种驾驶分心行为的检测系统
CN105809152A (zh) * 2016-04-06 2016-07-27 清华大学 一种基于多源信息融合的驾驶员认知分心监测方法
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013056180A (ja) * 2002-10-15 2013-03-28 Volvo Technology Corp 被験者の頭及び目の動きを分析する方法及び装置
US20100053362A1 (en) * 2003-08-05 2010-03-04 Fotonation Ireland Limited Partial face detector red-eye filter method and apparatus
CN102396009A (zh) * 2009-11-09 2012-03-28 松下电器产业株式会社 注意力状态判定装置、方法及程序
CN202896498U (zh) * 2012-07-13 2013-04-24 廊坊市金色时光科技发展有限公司 一种座椅及其人体坐姿传感检测系统
CN104706366A (zh) * 2013-12-13 2015-06-17 中国移动通信集团公司 一种分心检测方法、装置及系统
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法
CN105708480A (zh) * 2016-01-26 2016-06-29 北京航空航天大学 基于检测反应任务的驾驶员注意力测试装置
CN105809152A (zh) * 2016-04-06 2016-07-27 清华大学 一种基于多源信息融合的驾驶员认知分心监测方法
CN105725995A (zh) * 2016-04-19 2016-07-06 北京理工大学 一种驾驶分心行为的检测系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008790A (zh) * 2018-01-05 2019-07-12 中国移动通信有限公司研究院 一种多导联生理信号的分析方法及装置
CN108714020A (zh) * 2018-05-18 2018-10-30 中国人民解放军陆军军医大学第三附属医院（野战外科研究所） 便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质
CN108961447A (zh) * 2018-06-07 2018-12-07 京东方科技集团股份有限公司 判断座椅是否有人的方法、座椅系统、考勤方法
CN110464368A (zh) * 2019-08-29 2019-11-19 苏州中科先进技术研究院有限公司 基于机器学习的大脑关注度评估方法及系统
CN110916631A (zh) * 2019-12-13 2020-03-27 东南大学 基于可穿戴生理信号监测的学生课堂学习状态评测系统
CN110916631B (zh) * 2019-12-13 2022-04-22 东南大学 基于可穿戴生理信号监测的学生课堂学习状态评测系统
CN114220522A (zh) * 2022-02-22 2022-03-22 北京科技大学 基于视觉认知注意的心理测评数据采集与干预方法及系统
CN116807479A (zh) * 2023-08-28 2023-09-29 成都信息工程大学 一种基于多模态深度神经网络的驾驶注意力检测方法
CN116807479B (zh) * 2023-08-28 2023-11-10 成都信息工程大学 一种基于多模态深度神经网络的驾驶注意力检测方法
CN118709019A (zh) * 2024-07-02 2024-09-27 山东理工大学 一种基于多源异构数据融合的驾驶人认知分心行为识别方法与系统

Similar Documents

Publication Publication Date Title
CN107233104A (zh) 认知分心测评方法和系统
CN103258204B (zh) 一种基于Gabor和EOH特征的自动微表情识别方法
Bo et al. Particle pollution estimation from images using convolutional neural network and weather features
CN110807385A (zh) 目标检测方法、装置、电子设备及存储介质
CN112906617B (zh) 一种基于手部检测的驾驶员异常行为识别方法与系统
CN108805009A (zh) 基于多模态信息融合的课堂学习状态监测方法及系统
CN109242033A (zh) 晶片缺陷模式分类方法及装置、存储介质、电子设备
KR101934325B1 (ko) 객체 분류 방법 및 그 장치
CN106056059B (zh) 多方向slgs特征描述及性能云加权融合的人脸识别方法
CN104346503A (zh) 一种基于人脸图像的情感健康监控方法及手机
Li et al. ET-YOLOv5s: toward deep identification of students’ in-class behaviors
CN103065122A (zh) 基于面部动作单元组合特征的人脸表情识别方法
CN111134664A (zh) 一种基于胶囊网络的癫痫放电识别方法、系统和存储介质
CN105844221A (zh) 一种基于Vadaboost筛选特征块的人脸表情识别方法
CN117198468B (zh) 基于行为识别和数据分析的干预方案智慧化管理系统
CN107233103A (zh) 高铁调度员疲劳状态测评方法及系统
CN114882588A (zh) 基于神经网络的肢体语言识别系统
Feng et al. A digital twin-driven method for product performance evaluation based on intelligent psycho-physiological analysis
CN105303771A (zh) 一种疲劳判断系统及方法
Chen et al. Multi-modality gesture detection and recognition with un-supervision, randomization and discrimination
CN116863271A (zh) 一种基于改进yolo v5的轻量级红外火焰检测方法
Revanth et al. Comprehensive SVM based Indian sign language recognition
CN104679967A (zh) 一种判断心理测试可靠性的方法
CN103839056A (zh) 一种人眼状态识别方法和装置
CN102129557A (zh) 一种基于lda子空间学习的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171010