[go: up one dir, main page]

CN112450950B - 一种航空事故的脑机辅助分析方法及系统 - Google Patents

一种航空事故的脑机辅助分析方法及系统 Download PDF

Info

Publication number
CN112450950B
CN112450950B CN202011452178.1A CN202011452178A CN112450950B CN 112450950 B CN112450950 B CN 112450950B CN 202011452178 A CN202011452178 A CN 202011452178A CN 112450950 B CN112450950 B CN 112450950B
Authority
CN
China
Prior art keywords
pilot
electroencephalograms
accident
brain
aviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011452178.1A
Other languages
English (en)
Other versions
CN112450950A (zh
Inventor
招启军
周旭
任斌武
张夏阳
张道强
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011452178.1A priority Critical patent/CN112450950B/zh
Publication of CN112450950A publication Critical patent/CN112450950A/zh
Application granted granted Critical
Publication of CN112450950B publication Critical patent/CN112450950B/zh
Priority to US17/546,827 priority patent/US12271524B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)

Abstract

本发明涉及一种航空事故的脑机辅助分析方法，包括：获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征；以第一脑电信号为输入，第一特征为输出，训练特征识别模型；将航空事故飞机的飞行员的脑电信号输入特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征；根据航空事故飞机的飞行员的历史心理和生理特征以及第一特征判断第二特征是否异常；若是，则针对航空事故飞机的飞行员分析航空事故起因；若否，则根据第二特征进行事故模拟复现，获得复现的事故信息；根据复现的事故信息分析航空事故起因。本发明结合飞行员脑电信号进行辅助分析，可以更全面、更客观地分析航空事故起因。

Description

一种航空事故的脑机辅助分析方法及系统
技术领域
本发明涉及事故分析技术领域，特别是涉及一种航空事故的脑机辅助分析方法及系统。
背景技术
一般飞行器上会采用黑匣子进行信息存储，即电子飞行记录仪，用于记录飞行器飞行和性能参数的仪器。飞行记录仪的信息可用于飞行事故分析，人们根据飞机坠毁前记录的数据和话音记录，经处理后送入一种飞行模拟器，进行事故过程复现，进而分析事故原因。黑匣子分为：驾驶员座舱录音器和飞行资料记录器。前者记录驾驶人员从起飞后到着陆前的相互对话。后者记录飞行时的各种数据。
为了事故调查时获取客观、全面的信息，黑匣子记录的数据数量不断增加，从最初屈指可数的几个增加到成百上千个。其中，数据类型主要包括飞行数据、音频数据和视频数据部分。飞行数据一般包括飞机和发动机运行状态、飞行员操纵情况、飞机外部信息等；音频数据一般包括正、副驾驶员的通话、飞机与地面的通话、机组之间的通话以及驾驶舱环境声音等。视频数据一般包括驾驶舱仪表显示、飞行员动作、飞机前方视景、起落架收放状态等。当发生事故时，通过专用数据回放软件，可用黑匣子数据直观真实地再现飞机飞行过程，自动分析飞机可能存在的故障隐患和人员操作异常，预防故障或事故发生，极大地提高了航空飞行安全水平。
每次事故的发生均会带来相应技术的革新，但在人为原因导致的事故上目前少有突破。现有的黑匣子记录的内容仅能记录舱内录音数据与飞行参数，并不能反映飞行员在飞行过程中的生理和心理状况，从而不能排除来自于飞行员的主观原因。除了在事故发生后对调查飞行员背景与近期生活情况以外，很难从技术层面提供人为原因导致事故产生的佐证。黑匣子可以记录飞行器飞行时的状态参数以及飞行中的通话记录，用于事故后重现发生过程。但是飞行员的心理因素甚至劫机等恐怖事件，也是事故的可能发生原因。
发明内容
本发明的目的是提供一种航空事故的脑机辅助分析方法及系统，结合飞行员脑电信号进行辅助分析，可以更全面、更客观地分析航空事故起因。
为实现上述目的，本发明提供了如下方案：
一种航空事故的脑机辅助分析方法，所述航空事故的脑机辅助分析方法包括：
获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征；
以所述第一脑电信号为输入，所述第一特征为输出，训练特征识别模型；
将航空事故飞机的飞行员的脑电信号输入所述特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征；
根据所述航空事故飞机的飞行员的历史心理和生理特征以及所述第一特征判断所述第二特征是否异常；
若是，则针对所述航空事故飞机的飞行员分析航空事故起因；
若否，则根据所述第二特征进行事故模拟复现，获得复现的事故信息；
根据所述复现的事故信息分析航空事故起因。
可选地，获取第一脑电信号，具体包括：
获取各个飞行员在不同飞行环境下训练飞行时的脑电信号，记为第二脑电信号；
获取各个飞行员在不同飞行环境下实际飞行时的脑电信号，记为第三脑电信号；
利用所述第三脑电信号对所述第二脑电信号进行修正，得到修正后的脑电信号，记为第四脑电信号；
所述第一脑电信号包括所述第三脑电信号和所述第四脑电信号。
可选地，所述第二脑电信号和所述第三脑电信是利用非入侵式方法获取的。
可选地，所述航空事故的脑机辅助分析方法还包括：
对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理。
可选地，所述对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理，具体包括：
利用法拉第笼、阈值法或带通滤波器进行信号去噪；
利用线性模型分析法、主成分分析法或独立分量分析法进行伪迹去除；
利用频域分析法或时域分析法进行特征提取。
一种航空事故的脑机辅助分析系统，所述航空事故的脑机辅助分析系统包括：
获取模块，用于获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征；
训练模块，用于以所述第一脑电信号为输入，所述第一特征为输出，训练特征识别模型；
识别模块，用于将航空事故飞机的飞行员的脑电信号输入所述特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征；
判断模块，用于根据所述航空事故飞机的飞行员的历史心理和生理特征以及所述第一特征判断所述第二特征是否异常；
第一分析模块，用于当所述第二特征异常时，针对所述航空事故飞机的飞行员分析航空事故起因；
模拟复现模块，用于当所述第二特征不异常时，根据所述第二特征进行事故模拟复现，获得复现的事故信息；
第二分析模块，用于根据所述复现的事故信息分析航空事故起因。
可选地，所述获取模块具体包括：
第一获取单元，用于获取各个飞行员在不同飞行环境下训练飞行时的脑电信号，记为第二脑电信号；
第二获取单元，用于获取各个飞行员在不同飞行环境下实际飞行时的脑电信号，记为第三脑电信号；
修正单元，用于利用所述第三脑电信号对所述第二脑电信号进行修正，得到修正后的脑电信号，记为第四脑电信号；
所述第一脑电信号包括所述第三脑电信号和所述第四脑电信号。
可选地，所述第二脑电信号和所述第三脑电信是利用非入侵式方法获取的。
可选地，所述航空事故的脑机辅助分析系统还包括：
处理模块，用于对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理。
可选地，所述处理模块具体包括：
信号去噪单元，用于利用法拉第笼、阈值法或带通滤波器进行信号去噪；
伪迹去除单元，用于利用线性模型分析法、主成分分析法或独立分量分析法进行伪迹去除；
特征提取单元，用于利用频域分析法或时域分析法进行特征提取。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种航空事故的脑机辅助分析方法，所述航空事故的脑机辅助分析方法包括：获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征；以所述第一脑电信号为输入，所述第一特征为输出，训练特征识别模型；将航空事故飞机的飞行员的脑电信号输入所述特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征；根据所述航空事故飞机的飞行员的历史心理和生理特征以及所述第一特征判断所述第二特征是否异常；若是，则针对所述航空事故飞机的飞行员分析航空事故起因；若否，则根据所述第二特征进行事故模拟复现，获得复现的事故信息；根据所述复现的事故信息分析航空事故起因。本发明结合飞行员脑电信号进行辅助分析，可以更全面、更客观地分析航空事故起因。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的航空事故的脑机辅助分析方法流程图；
图2为本发明实施例1提供的数据库与特征识别模型建立过程图；
图3为本发明实施例1提供的脑电信号预处理过程图；
图4为本发明实施例1提供的航空事故分析过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
神经科学研究表明，在大脑产生动作意识之后和动作执行之前，或者受试主体受到外界刺激之后，其神经系统的电活动会发生相应的改变，神经电活动的这种变化可以通过一定的手段检测出来，并作为动作即将发生的特征信号。本发明结合脑机接口装置，采集飞行员飞行时的脑电信号同步存储至黑匣子中。区别于既往针对外部环境的记录，增加对飞行员个体脑电信号下的心理和生理信息采集，引入航空事故分析的主观可能性，可以在事故后利用飞行员的脑电信号复现飞行员的心理活动，辅助复现外部飞行环境。
本发明的目的是提供一种航空事故的脑机辅助分析方法及系统，结合飞行员脑电信号进行辅助分析，可以更全面、更客观地分析航空事故起因。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
图1为本发明实施例1提供的航空事故的脑机辅助分析方法流程图，如图1所示，航空事故的脑机辅助分析方法包括：
步骤101：获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征。
步骤102：以所述第一脑电信号为输入，所述第一特征为输出，训练特征识别模型。
步骤103：将航空事故飞机的飞行员的脑电信号输入所述特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征。
步骤104：根据所述航空事故飞机的飞行员的历史心理和生理特征以及所述第一特征判断所述第二特征是否异常。
步骤105：若是，则针对所述航空事故飞机的飞行员分析航空事故起因。
步骤106：若否，则根据所述第二特征进行事故模拟复现，获得复现的事故信息。
步骤107：根据所述复现的事故信息分析航空事故起因。
在本实施例中，步骤101中获取第一脑电信号具体包括：
步骤1011：获取各个飞行员在不同飞行环境下训练飞行时的脑电信号，记为第二脑电信号。
步骤1012：获取各个飞行员在不同飞行环境下实际飞行时的脑电信号，记为第三脑电信号。
其中，第二脑电信号和第三脑电信是利用非入侵式方法获取的
步骤1013：利用所述第三脑电信号对所述第二脑电信号进行修正，得到修正后的脑电信号，记为第四脑电信号。
步骤1014：所述第一脑电信号包括所述第三脑电信号和所述第四脑电信号。
在本实施例中，航空事故的脑机辅助分析方法还包括：
对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理。具体包括：
利用法拉第笼、阈值法或带通滤波器进行信号去噪。
利用线性模型分析法、主成分分析法或独立分量分析法进行伪迹去除。
利用频域分析法或时域分析法进行特征提取。
以下对本发明原理进行具体说明：
一、信息收集：
飞行员训练时即开始进行数据采集，模拟机生成不同的飞行环境，获取飞行员在不同状态下训练产生的脑电信号。由于模拟机与真实环境的差异，加上人的心理活动在训练时更为放松，使得训练时获取的数据难以反应真实的心理情况，因此需要利用实际飞行时的数据对训练数据进行修正。数据修正后建立飞行员个人纵向数据库以及群体飞行员横向数据库。图2为本发明实施例1提供的数据库与特征识别模型建立过程图。
另外，还需要监测飞行环境，如训练模式的驾驶环境、飞行时的驾驶环境，包括飞行状态参数，如飞行速度、飞行高度、当前各仪表仪器状态等，外部环境参数，如飞机舱外天气环境等。一方面飞行环境会影响飞行员的心理活动，是脑电信号的外部激励源之一。另一方面可以将飞行环境从更宏观的视角反馈至飞行员，进行辅助飞行。
而脑电信号的获取可采用非侵入式的方法，结合脑机接口装置，在驾驶头盔上布置电极获取大脑产生的神经元电信号，得到原始脑电信号。
二、机器学习/深度学习
首先对原始脑电信号进行预处理，包括信号去噪、伪迹去除以及特征提取。图3为本发明实施例1提供的脑电信号预处理过程图。
其中，信号去噪过程包括过滤外部环境、以及飞行员自身身体产生的干扰。外部环境可用法拉第笼来抑制，用一个由金属或良导电体制成的笼子，防止电磁场进入或逃出。对飞行时的防护服进行特殊处理，也可以达到同样的效果。还可通过阈值法进行信号去噪，对信号幅值超过一定阈值的数据进行完全舍弃。或者是通过带通滤波器进行滤波处理，去除脑电信号中的低频与极高频范围内的噪声与动作伪迹，由陷波滤波器去除供电电源带来的“工频噪声”，带阻和陷波滤波方法能够将时域信号转换至频域信号，采用特定频率的滤波器处理之后再转换回时域信号。
伪迹去除可用线性模型分析方法、主成分分析法以及独立分量分析方法等。
特征提取可利用大脑的活动产生的信号频率不同的特点，采用傅里叶分析等方法进行频域分析，或建立特定模型进行时域分析，提取特征信号。将基于频域、时域或小波分析的技术与空间滤波技术结合后，可以实现降维(PCA，主成分分析)，从混合信号中分离出源信号(ICA，独立成分分析)或增加输出的不同类别信号的可区分度(CSP，线性模型分析)，进而实现对特征技术的提取，信号处理完成后存储至黑匣子中的外部介质上。
然后构建特征识别模型。脑电信号为离散的信号段，每个信号段均为一定时域内的脑电波信号，依据所分析目标的类型，如飞行员的感官、情绪、生理特征等方向进行数据分类，建立信号与输入的特征识别模型，应用于受测者的心理和生理状态识别。其中，数据库数据一部分用来建立数学模型，另一部分用来校验数学模型的准确性，模型不准确的话，进行新模型的迭代更新。
另外，外部环境也是影响飞行员脑电信号的因素，结合外部环境因素，作为对应场景下的环境激励信号，建立数据关系。如果飞机出现警报时则将飞行状态反馈给飞行员，结合飞机的飞行环境、飞行状态以仪表盘和故障灯、传感器上等形式数据，判断飞机是否处于故障状态。当发生故障时，将信息反馈传递给飞行员，辅助飞行员判断故障原因后，做出相应操纵动作，可以避免在事故发生时飞行员判断出错，避免事故产生。
三、航空事故分析
图4为本发明实施例1提供的航空事故分析过程图，如图3所示，分析时，读取黑匣子中的脑电波信号，根据建立的特征识别模型分析飞行员的心理和生理特征，并与数据库中的数据进行比对。
数据对比时，将读取到的脑电波信号先进行纵向比对，即将脑电波信号与建立的个人纵向数据库进行数据匹配，判断该事故是否为人为因素造成。若纵向比对合格后，则对数据进行横向比对，即将该飞行员的数据与飞行员群体中的其他样本进行比对，通过横向比对分析数据是否为人为因素导致。对比结果如果与数据库中类似飞行环境下的已知数据出入较大，即可针对飞行员个人进行调查，并作为证明事故产生为人为原因的证据。
脑电信号中的部分波段还可以用于模糊复现飞行员眼前所见的场景。当排除个人原因导致事故发生的可能性时，可以利用脑电信号中特定的波段复现故障时飞行员眼前的视觉图像，辅助传统黑匣子分析方法，从飞行员的视角，复现驾驶舱的环境以及舷窗外图像，搭建事故场景与环境，分析事故原因。
本发明记录飞行员飞行时的心理和生理特征，可用以确认或排除来自于飞行员个体的事故原因，判断来自于其他人员的主观原因导致事故的可能性。还可以辅助现有的依靠黑匣子分析事故原因的方法，复现事故场景进行事故原因鉴定。
实施例2
本实施例提供了一种航空事故的脑机辅助分析系统，航空事故的脑机辅助分析系统包括：
获取模块，用于获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征。
训练模块，用于以所述第一脑电信号为输入，所述第一特征为输出，训练特征识别模型。
识别模块，用于将航空事故飞机的飞行员的脑电信号输入所述特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征。
判断模块，用于根据所述航空事故飞机的飞行员的历史心理和生理特征以及所述第一特征判断所述第二特征是否异常。
第一分析模块，用于当所述第二特征异常时，针对所述航空事故飞机的飞行员分析航空事故起因。
模拟复现模块，用于当所述第二特征不异常时，根据所述第二特征进行事故模拟复现，获得复现的事故信息。
第二分析模块，用于根据所述复现的事故信息分析航空事故起因。
在本实施例中，所述获取模块具体包括：
第一获取单元，用于获取各个飞行员在不同飞行环境下训练飞行时的脑电信号，记为第二脑电信号。
第二获取单元，用于获取各个飞行员在不同飞行环境下实际飞行时的脑电信号，记为第三脑电信号。
修正单元，用于利用所述第三脑电信号对所述第二脑电信号进行修正，得到修正后的脑电信号，记为第四脑电信号。
所述第一脑电信号包括所述第三脑电信号和所述第四脑电信号。
进一步地，所述第二脑电信号和所述第三脑电信是利用非入侵式方法获取的。
在本实施林子闳，所述航空事故的脑机辅助分析系统还包括：
处理模块，用于对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理。进一步地，所述处理模块具体包括：
信号去噪单元，用于利用法拉第笼、阈值法或带通滤波器进行信号去噪；
伪迹去除单元，用于利用线性模型分析法、主成分分析法或独立分量分析法进行伪迹去除；
特征提取单元，用于利用频域分析法或时域分析法进行特征提取。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种航空事故的脑机辅助分析方法，其特征在于，所述航空事故的脑机辅助分析方法包括：
获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征；
以所述第一脑电信号为输入，所述第一特征为输出，训练特征识别模型；
将航空事故飞机的飞行员的脑电信号输入所述特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征；
根据所述航空事故飞机的飞行员的历史心理和生理特征以及所述第一特征判断所述第二特征是否异常；
若是，则针对所述航空事故飞机的飞行员分析航空事故起因；
若否，则根据所述第二特征进行事故模拟复现，获得复现的事故信息；
根据所述复现的事故信息分析航空事故起因。
2.根据权利要求1所述的航空事故的脑机辅助分析方法，其特征在于，获取第一脑电信号，具体包括：
获取各个飞行员在不同飞行环境下训练飞行时的脑电信号，记为第二脑电信号；
获取各个飞行员在不同飞行环境下实际飞行时的脑电信号，记为第三脑电信号；
利用所述第三脑电信号对所述第二脑电信号进行修正，得到修正后的脑电信号，记为第四脑电信号；
所述第一脑电信号包括所述第三脑电信号和所述第四脑电信号。
3.根据权利要求2所述的航空事故的脑机辅助分析方法，其特征在于，所述第二脑电信号和所述第三脑电信是利用非入侵式方法获取的。
4.根据权利要求1所述的航空事故的脑机辅助分析方法，其特征在于，所述航空事故的脑机辅助分析方法还包括：
对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理。
5.根据权利要求4所述的航空事故的脑机辅助分析方法，其特征在于，所述对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理，具体包括：
利用法拉第笼、阈值法或带通滤波器进行信号去噪；
利用线性模型分析法、主成分分析法或独立分量分析法进行伪迹去除；
利用频域分析法或时域分析法进行特征提取。
6.一种航空事故的脑机辅助分析系统，其特征在于，所述航空事故的脑机辅助分析系统包括：
获取模块，用于获取各个飞行员飞行时的历史脑电信号以及历史心理和生理特征，记为第一脑电信号以及第一特征；
训练模块，用于以所述第一脑电信号为输入，所述第一特征为输出，训练特征识别模型；
识别模块，用于将航空事故飞机的飞行员的脑电信号输入所述特征识别模型，输出航空事故飞机的飞行员心理和生理特征，记为第二特征；
判断模块，用于根据所述航空事故飞机的飞行员的历史心理和生理特征以及所述第一特征判断所述第二特征是否异常；
第一分析模块，用于当所述第二特征异常时，针对所述航空事故飞机的飞行员分析航空事故起因；
模拟复现模块，用于当所述第二特征不异常时，根据所述第二特征进行事故模拟复现，获得复现的事故信息；
第二分析模块，用于根据所述复现的事故信息分析航空事故起因。
7.根据权利要求6所述的航空事故的脑机辅助分析系统，其特征在于，所述获取模块具体包括：
第一获取单元，用于获取各个飞行员在不同飞行环境下训练飞行时的脑电信号，记为第二脑电信号；
第二获取单元，用于获取各个飞行员在不同飞行环境下实际飞行时的脑电信号，记为第三脑电信号；
修正单元，用于利用所述第三脑电信号对所述第二脑电信号进行修正，得到修正后的脑电信号，记为第四脑电信号；
所述第一脑电信号包括所述第三脑电信号和所述第四脑电信号。
8.根据权利要求7所述的航空事故的脑机辅助分析系统，其特征在于，所述第二脑电信号和所述第三脑电信是利用非入侵式方法获取的。
9.根据权利要求6所述的航空事故的脑机辅助分析系统，其特征在于，所述航空事故的脑机辅助分析系统还包括：
处理模块，用于对所述第一脑电信号进行信号去噪、伪迹去除以及特征提取处理。
10.根据权利要求9所述的航空事故的脑机辅助分析系统，其特征在于，所述处理模块具体包括：
信号去噪单元，用于利用法拉第笼、阈值法或带通滤波器进行信号去噪；
伪迹去除单元，用于利用线性模型分析法、主成分分析法或独立分量分析法进行伪迹去除；
特征提取单元，用于利用频域分析法或时域分析法进行特征提取。
CN202011452178.1A 2020-12-10 2020-12-10 一种航空事故的脑机辅助分析方法及系统 Active CN112450950B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011452178.1A CN112450950B (zh) 2020-12-10 2020-12-10 一种航空事故的脑机辅助分析方法及系统
US17/546,827 US12271524B2 (en) 2020-12-10 2021-12-09 Brain-computer aided analysis method and system for aviation accident

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011452178.1A CN112450950B (zh) 2020-12-10 2020-12-10 一种航空事故的脑机辅助分析方法及系统

Publications (2)

Publication Number Publication Date
CN112450950A CN112450950A (zh) 2021-03-09
CN112450950B true CN112450950B (zh) 2021-10-22

Family

ID=74801921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011452178.1A Active CN112450950B (zh) 2020-12-10 2020-12-10 一种航空事故的脑机辅助分析方法及系统

Country Status (2)

Country Link
US (1) US12271524B2 (zh)
CN (1) CN112450950B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118778797A (zh) * 2023-04-04 2024-10-15 曹庆恒 一种脑机信号安全系统及其使用方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105361863A (zh) * 2015-12-17 2016-03-02 无锡桑尼安科技有限公司 飞机机长生理参数监控系统
CN107516452A (zh) * 2017-08-17 2017-12-26 北京航空航天大学 一种通用型模拟飞行仿真环境测评系统
CN107644566A (zh) * 2017-08-17 2018-01-30 北京航空航天大学 一种基于脑电的模拟飞行器的脑电测评系统
CN108133639A (zh) * 2017-12-21 2018-06-08 信阳泰蓝仿真科技有限公司 一种航空心理模拟系统及测试方法
CN108241431A (zh) * 2016-12-26 2018-07-03 中国移动通信有限公司研究院 一种任务调节方法及装置
CN108523907A (zh) * 2018-01-22 2018-09-14 上海交通大学 基于深度收缩稀疏自编码网络的疲劳状态识别方法及系统
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
KR20190084679A (ko) * 2018-01-09 2019-07-17 광운대학교 산학협력단 뇌파 측정용 이어폰 및 이를 이용한 졸음운전 감지 시스템
CN110155349A (zh) * 2018-02-12 2019-08-23 泰勒斯公司 人机界面中的外围视觉
CN110367975A (zh) * 2019-07-10 2019-10-25 南京邮电大学 一种基于脑机接口的疲劳驾驶检测预警方法
CN111028611A (zh) * 2019-12-18 2020-04-17 珠海翔翼航空技术有限公司 一种飞机驾驶参数仿真回放的数据处理系统及其方法
CN111680391A (zh) * 2020-04-23 2020-09-18 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 人机环耦合系统事故模型生成方法、装置和设备
CN111767611A (zh) * 2020-06-30 2020-10-13 南京航空航天大学 一种基于负荷均衡的飞机驾驶舱人机功能分配方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6894606B2 (en) * 2000-11-22 2005-05-17 Fred Forbes Vehicular black box monitoring system
US8075484B2 (en) * 2005-03-02 2011-12-13 Martin Moore-Ede Systems and methods for assessing equipment operator fatigue and using fatigue-risk-informed safety-performance-based systems and methods to replace or supplement prescriptive work-rest regulations
JP4497081B2 (ja) * 2005-10-31 2010-07-07 トヨタ自動車株式会社 人の状態検出装置
US7839292B2 (en) * 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
EP2496307B1 (en) * 2009-11-04 2016-01-27 Arizona Board Of Regents, For And On Behalf Of Arizona State University Ultrasonic device for modulating brain activity
CN107548312A (zh) * 2015-03-10 2018-01-05 赫尔实验室有限公司 用于培训和评估的系统和方法
US20180032891A1 (en) * 2016-07-29 2018-02-01 International Business Machines Corporation Adaptive architecture for crash prediction in vehicle collision avoidance systems
CN108520239B (zh) * 2018-04-10 2021-05-07 哈尔滨理工大学 一种脑电信号分类方法及系统
US20200241525A1 (en) * 2019-01-27 2020-07-30 Human Autonomous Solutions LLC Computer-based apparatus system for assessing, predicting, correcting, recovering, and reducing risk arising from an operator?s deficient situation awareness

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105361863A (zh) * 2015-12-17 2016-03-02 无锡桑尼安科技有限公司 飞机机长生理参数监控系统
CN108241431A (zh) * 2016-12-26 2018-07-03 中国移动通信有限公司研究院 一种任务调节方法及装置
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
CN107516452A (zh) * 2017-08-17 2017-12-26 北京航空航天大学 一种通用型模拟飞行仿真环境测评系统
CN107644566A (zh) * 2017-08-17 2018-01-30 北京航空航天大学 一种基于脑电的模拟飞行器的脑电测评系统
CN108133639A (zh) * 2017-12-21 2018-06-08 信阳泰蓝仿真科技有限公司 一种航空心理模拟系统及测试方法
KR20190084679A (ko) * 2018-01-09 2019-07-17 광운대학교 산학협력단 뇌파 측정용 이어폰 및 이를 이용한 졸음운전 감지 시스템
CN108523907A (zh) * 2018-01-22 2018-09-14 上海交通大学 基于深度收缩稀疏自编码网络的疲劳状态识别方法及系统
CN110155349A (zh) * 2018-02-12 2019-08-23 泰勒斯公司 人机界面中的外围视觉
CN110367975A (zh) * 2019-07-10 2019-10-25 南京邮电大学 一种基于脑机接口的疲劳驾驶检测预警方法
CN111028611A (zh) * 2019-12-18 2020-04-17 珠海翔翼航空技术有限公司 一种飞机驾驶参数仿真回放的数据处理系统及其方法
CN111680391A (zh) * 2020-04-23 2020-09-18 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 人机环耦合系统事故模型生成方法、装置和设备
CN111767611A (zh) * 2020-06-30 2020-10-13 南京航空航天大学 一种基于负荷均衡的飞机驾驶舱人机功能分配方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
134名高性能歼击机飞行员脑电超慢涨落图监测与分析;汪东军,万憬,刘启明,等;《华南国防医学杂志》;20171228;全文 *
Detection of Pilot"s Drowsiness Based on Multimodal Convolutional Bidirectional LSTM Network;Baek-Woon Yu,Ji-Hoon Jeong, Dae-Hyeok Lee,等;《Pattern Recognition. 5th Asian Conference, ACPR 2019》;20191129;全文 *
Driver Sleepiness Classification Based on Physiological Data and Driving Performance From Real Road Driving;Martensson Henrik, Keelan Oliver, Ahlstrom Christer;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20190228;全文 *
民机驾驶舱人为差错及工作负荷评价方法研究;魏水先;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20150215;全文 *
民航飞行中的人为因素研究方法;杜红兵,邓丽娟;《中国民航飞行学院学报》;20150115;全文 *

Also Published As

Publication number Publication date
US20220187914A1 (en) 2022-06-16
CN112450950A (zh) 2021-03-09
US12271524B2 (en) 2025-04-08

Similar Documents

Publication Publication Date Title
Xu et al. ASEO: A method for the simultaneous estimation of single-trial event-related potentials and ongoing brain activities
CN112450950B (zh) 一种航空事故的脑机辅助分析方法及系统
CN118447879A (zh) 一种语音情感分析系统
CN114403896A (zh) 单通道脑电信号中眼电伪迹去除方法
Bablani et al. Deceit identification test on EEG data using deep belief network
CN113208633A (zh) 一种基于eeg脑波的情绪识别方法、系统
CN113208622A (zh) 基于深度神经网络技术的脑电eeg信号去噪方法及系统
CN114601476A (zh) 一种基于视频刺激下的eeg信号情感识别方法
CN115022617B (zh) 基于脑电信号和时空多尺度联合网络的视频质量评价方法
Saini et al. Information detection in brain using wavelet features and K-nearest neighbor
Sanggarini et al. Hjorth descriptor as feature extraction for classification of familiarity in EEG signal
CN115399789A (zh) 视觉眩晕脑电信号分类方法、装置、设备和介质
CN113069115B (zh) 一种情绪识别方法、电子设备及存储介质
Ji et al. Analysis of pilots’ EEG map in take-off and landing tasks
CN114795242A (zh) 一种应用于人机共驾的驾驶员脑电伪迹去除方法
JP3661512B2 (ja) 脳波信号処理装置及び方法
Bosch et al. Multimodal Estimation of Frustrative Driving Situations Using a Latent Variable Model
Ghodrati et al. Low-level contrast statistics of natural images can modulate the frequency of event-related potentials (ERP) in humans
CN118105091B (zh) 一种基于注意力补偿的视听时间感知机制研究方法
Goyal et al. Acquisition, pre-processing, and feature extraction of EEG signals to convert it into an image classification problem
Moucek et al. Experimental Design and Collection of Brain and Respiratory Data for Detection of Driver's Attention.
Chaparro-Vargas et al. A single-trial toolbox for advanced sleep polysomnographic preprocessing
Kasture et al. Deep learning based fatigue detection using functional connectivity
Islam et al. Human Mental Condition Detection by EEG Signal and Time-Frequency Domain Analysis for Behavior
Feradov et al. Compact EEG Features for Person Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant