CN111951637B - 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 - Google Patents
一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 Download PDFInfo
- Publication number
- CN111951637B CN111951637B CN202010695285.0A CN202010695285A CN111951637B CN 111951637 B CN111951637 B CN 111951637B CN 202010695285 A CN202010695285 A CN 202010695285A CN 111951637 B CN111951637 B CN 111951637B
- Authority
- CN
- China
- Prior art keywords
- pilot
- task
- data
- eye movement
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 230000004424 eye movement Effects 0.000 claims abstract description 54
- 238000004088 simulation Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000026058 directional locomotion Effects 0.000 claims description 3
- 210000000720 eyelash Anatomy 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 238000013450 outlier detection Methods 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 claims description 2
- 238000012552 review Methods 0.000 claims 2
- 238000012163 sequencing technique Methods 0.000 claims 2
- 206010044565 Tremor Diseases 0.000 claims 1
- 230000004397 blinking Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000035484 reaction time Effects 0.000 claims 1
- 230000004044 response Effects 0.000 abstract description 11
- 239000000284 extract Substances 0.000 abstract description 4
- 230000004434 saccadic eye movement Effects 0.000 description 9
- 238000012706 support-vector machine Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 208000032140 Sleepiness Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 206010029864 nystagmus Diseases 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 206010029216 Nervousness Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036649 mental concentration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公布了一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，该方法通过眼动仪获取飞行员注意力分配数据，通过飞行参数数据划分不同任务情景，提取飞行员生理信号划分其疲劳等级，对不同任务情景、不同疲劳等级下的飞行员注意力分配情形进行区分。眼动仪采集飞行员在仿真平台下执行任务时的眼动数据；对飞行参数高维时间序列进行分割聚类，划分不同任务情景；采集飞行员心电数据进行时频域分析，结合眼动数据和听觉反应时建立疲劳状态判别分类器；通过兴趣区域注视点百分比、回视次数、重要程度表征注意力分配特性，提取支持度最高的注意力分配情形作为模式，可对无人机飞行员的操控起指导作用，对优化无人机操控平台界面设置也有重要意义。
Description
技术领域
本发明涉及无人机飞行操控训练领域，具体为一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，可对任务情景相关联的无人机飞行员视觉注意力分配模式进行提取，进而用于对飞行员眼动行为起指导作用。
背景技术
现代无人机操控系统中，自动化程度非常高，无人机飞行员的主要职能已由操控转变为监视。在执行不同的飞行任务时，无人机飞行员需要同时对各种各样的信息进行监控，故存在最优的视觉注意力分配模式使得飞行员能够最准确、最及时地完成信息收集，这种模式对无人机飞行员具有很强的指导意义。此外，该模式还可以应用于无人机控制系统信息界面显示布局的工效评测和优化设计中，对进一步改善飞行绩效、提高飞行安全性有重要作用。
任务情景是影响飞行员注意力分配最主要的因素，除此之外，由于操作的减少和监视的增多，飞行员在任务执行中会更易陷入疲劳，故提取飞行员不同疲劳等级下的注意力分配模式非常有必要。
目前，对飞行员注意力分配进行测评的方法主要有主观评价法、眼动追踪法以及数学建模法。主观评价法多采用测评量表或是问卷调查的方式，但因其主观因素过多，且难以生成量化标准，不能准确反映实际情况，只能作为辅助手段。眼动追踪法是目前比较常用的方法，通过眼动仪间接获取视觉注意力定量化特征，测量结果比较准确客观。数学建模法是最可能全面深入视觉注意力机理开展研究的方法，一直都受到航空工效学界的重视，但是视觉注意力机理非常复杂，目前尚没有成熟的数学模型能够全面考虑到各个层面的影响，离直接应用于航空工程实践尚有很远的距离。
公开号为CN102693349A的中国发明专利公开了一种基于飞机驾驶舱显示界面的飞行员注意力分配功效测评系统和方法。该方法通过飞行显示信息重要度等级和飞行员检出信息平均反应时等参数，计算出参与测评的飞行显示信息的注意力分配比例值。但是该发明从信息论的角度进行分析，缺少真实眼动数据的支撑。另外也没能考虑到飞行员的生理状态差异，不适用于无人机飞行员的注意力分配模式提取。
公开号为CN104463216A的中国发明专利公开了一种基于计算机视觉的眼动模式数据自动获取方法。该方法将模式数据获取过程分为学习阶段和测试阶段，学习阶段获得单眼注视模型，测试阶段通过SVM分类器得到预测值，对比得到被试眼动模式数据。但是该发明中眼动模式仅针对于不同频率光栅刺激任务下，不适用于无人机侦察任务这种相对复杂的任务情形。
发明内容
针对现有技术中存在的不足，本发明提供了一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，该方法通过获取无人机飞行员注意力分配情况，提取不同任务情景、不同疲劳等级下飞行员注意力分配的普遍规律，作为飞行员注意力分配模式，对无人机飞行员的操控具有很强的指导意义。
本发明的技术方案为：
所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：包括以下步骤：
步骤1：设置飞行任务，明确无人机飞行员在任务各个阶段需要执行的操作；无人机飞行员按照飞行任务要求在模拟仿真平台上执行飞行任务，使用眼动采集装置获取飞行员在试行飞行任务过程中的眼动数据，对眼动数据进行预处理，提取注视点数据；
步骤2：整合任务过程中操控模拟仿真平台的各项飞行参数，对飞行参数数据进行预处理，形成高维时间序列，并通过时间序列分割聚类算法将整个任务划分为多个任务情景；
步骤3：将整个任务阶段按照时间窗进行划分，每个时间窗内分别进行心电、眼动特征提取，记录听觉反应时，并进行飞行员疲劳等级标定；建立SVM分类器，以提取出的心电、眼动特征参数和听觉反应时作为SVM分类器输入，以标定好的疲劳等级作为分类标签，采用一部分时间窗样本作为训练集进行分类器训练，剩余时间窗样本作为测试集进行验证，得到能够判别飞行员疲劳等级的SVM分类器；
选取75％时间窗样本作为训练集，建立多分类器，剩余样本作为测试集，通过识别准确率验证分类器模型，完成飞行员疲劳等级划分；
步骤4：综合考虑模拟仿真平台界面设置和任务特征，将模拟仿真平台界面划分为多个兴趣区域，计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数；以各兴趣区域注视点百分比、回视次数、重要程度表征飞行员注意力分配特性，基于步骤2和步骤3的结果，提取不同任务情景、不同飞行员疲劳等级下支持度最高的注意力分配情形作为飞行员注意力分配模式。
进一步的，步骤1中，模拟仿真平台所处实验环境应安静且光线充足；执行飞行任务的无人机飞行员为具有一定飞行经验的无人机飞行员，不配戴眼镜，且能熟练掌握模拟仿真平台。
进一步的，步骤1中，对眼动数据进行预处理的过程包括：
步骤1.1：利用I-VT滤波器，根据眼睛的定向移动速度，对眼动进行分类：设定速度阈值，当眼动速度低于阈值时，被划分为注视，否则被划分为眼跳；
步骤1.2：对原始眼动数据进行空白填充，消除睫毛、眨眼或者其他因素的干扰，防止出现由于数据样本的缺失导致一个持续的注视阶段被划分为多个的情形；
步骤1.3：对眼动数据进行降噪处理，消除环境、眼震颤、眼微跳或者其他因素的影响，并去除持续时间过短的注视点。
进一步的，步骤1中，眼动采集装置为瑞典Tobii公司的X3-120眼动仪，眼动数据的预处理通过Tobii Pro Lab软件完成。
进一步的，步骤2中，对飞行参数数据进行预处理的过程包括：
步骤2.1：特征选择：计算飞行参数中各维度数据之间相关性，去除含义重复的数据维度；计算各维度数据信息增益，选择信息增益大的前若干维数据；
步骤2.2：离群点检测：对步骤2.1选择的若干维飞行参数数据中，偏离正常范围的异常数据进行删除或修正处理；
步骤2.3：归一化处理：将经过步骤2.2处理的若干维飞行参数数据映射至[0,1]或者[-1,1]范围内，实现若干维飞行参数数据归一化。
进一步的，步骤2中采用时间序列分割聚类算法，通过考察各维度飞行参数数据之间的相关性来确定数据间的相似度，进而实现聚类，将整个任务划分为多个任务情景。
进一步的，步骤2中的时间序列分割聚类算法通过稀疏高斯逆协方差矩阵来表征各个集群，所述集群与任务情景对应；通过EM算法，从初始集群开始，交替执行E步骤和M步骤，重复执行将飞行参数数据的各个数据段分配至不同集群以及根据集群既有数据段更新参数的操作，直到聚类的结果不发生变化。
进一步的，步骤2中采用介数中心性指标，以表征各集群所对应的任务情景。
进一步的，步骤3中，对时间窗内心电数据提取的特征参数包括心电时域特征参数和心电频域特征参数；心电时域特征参数包括R波间隔均值MEAN、R波间隔标准差SDNN和相邻R波间隔差值均方根RMSSD，心电频域特征参数包括低频功率LF、高频功率HF、低频功率与高频功率之比LF/HF；对时间窗内眼动数据提取的特征参数包括眨眼频率、平均注视时长、眼跳频率、瞳孔半径；步骤3中，在每个时间窗内均设置有警报声作为听觉刺激，飞行员听到声音后需第一时间按下手边的按钮，以此实现听觉反应时记录；步骤3中，飞行员疲劳等级分为清醒、轻度疲劳和重度疲劳三个等级；每个时间窗内，无人机飞行员对自身疲劳等级作出评价，以此标定飞行员的疲劳等级。
有益效果
本发明的有益效果：
(1)飞行员的注意力分配情况受任务情景因素影响非常大，本发明对任务情景的划分考察不同维度飞行参数间相关性，通过时间序列分割聚类算法完成。这样的划分方法可以挖掘出一些人为划分很难发现的隐藏任务段，还能将循环重复的任务段归为一类。
(2)采集飞行员心电、眼动数据，结合听觉反应时建立分类器，通过分类器判断飞行员处于何种疲劳等级，这种判断方法较其他方法准确率更高。
(3)以兴趣区域注视点百分比、回视次数、重要程度等指标表征飞行员的视觉注意力分配特性，通过排序区分不同注意力分配情形，选取支持度最高的情形作为飞行员注意力分配模式。这种方式提取出的模式可以很好地反映飞行员注视、扫视、转移轨迹的特性，对飞行员具有很强的指导意义。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提出的无人机飞行员视觉注意力分配模式提取方法的流程框图；
图2是本发明中叠加了兴趣区域的眼动注视点转移路径图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施例中的任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，包括以下步骤：
步骤1：设置飞行任务，明确无人机飞行员在任务各个阶段需要执行的操作；无人机飞行员按照飞行任务要求在模拟仿真平台上执行飞行任务，使用眼动采集装置获取飞行员在试行飞行任务过程中的眼动数据，对眼动数据进行预处理，提取注视点数据。
本步骤中，模拟仿真平台所处实验环境应安静且光线充足；执行飞行任务的无人机飞行员(被试)为具有一定飞行经验的无人机飞行员，不配戴眼镜，且能熟练掌握模拟仿真平台，执行飞行任务过程中被试需要避免大幅度的头部转动。
眼动采集装置为瑞典Tobii公司的X3-120眼动仪。模拟仿真平台包括四个分屏幕，宽65cm，高65cm。眼动仪架设要求距屏幕35cm，高于屏幕最下边5cm，并向前倾斜约5°。另外，要求被试眼睛距离屏幕90-100cm，高于屏幕最下边约20cm。实验证明这种架设方式能够完整捕捉到飞行员在四块屏幕范围内的眼动数据。
眼动数据的预处理通过Tobii Pro Lab软件完成，主要包括：
a.通过I-VT滤波器(速度-阈值识别眼动过滤器)，根据眼睛的定向移动速度(°/s)，对眼动进行分类：设定相应的速度阈值，眼动速度低于阈值时，样本被划分为注视，高于则被划分为眼跳；
b.对原始眼动数据进行空白填充，消除睫毛、眨眼或者其他因素的干扰，防止出现由于数据样本的缺失使得一个持续的注视阶段被划分为两个的情形；
c.对眼动数据进行降噪处理，消除环境、眼震颤、眼微跳等其他因素的影响。部分注视点的持续时间太短，以至于大脑都无法理解其中的视觉输入信号，故这些无法成为真正的注视点，对其进行去除。
对原始眼动数据进行预处理之后，可以形成可视化数据，以便更加直观显示：热点图使用不同颜色来说明被试在特定区域内注视点的数量，或者在该区域内的注视时间；注视轨迹图可显示注视点的顺序和位置，按照顺序将注视点连接起来。
步骤2：整合任务过程中操控模拟仿真平台的各项飞行参数，对飞行参数数据进行预处理，形成高维时间序列，并通过时间序列分割聚类算法将整个任务划分为多个任务情景。
步骤2是通过飞行参数数据对任务情景进行划分。实验过程中，模拟仿真平台传输各项无人机飞行参数，以CSV格式存储。原始数据包括飞行高度、速度、爬升率、坡度、侦察载荷状态等80维，包含着不少的冗余数据和脏数据，需要对其进行预处理，主要包括：
a.特征选择：计算飞行参数中各维度数据之间相关性，去除含义重复的数据维度；计算各维度数据信息增益，选择信息增益大的前若干维数据进行分析；
b.离群点检测：由于数据传输等原因，会存在部分异常数据远远偏离正常范围，因此对步骤2.1选择的若干维飞行参数数据中，偏离正常范围的异常数据进行删除或修正处理；
c.归一化处理：将经过步骤b处理的若干维飞行参数数据映射至[0,1]或者[-1,1]范围内，实现若干维飞行参数数据归一化，以消除不同量纲造成的负面影响。归一化处理对于聚类分割算法的收敛速度也有很大的提升。这里我们使用了max-min的归一化方式，变换方式如下：
步骤2中采用时间序列分割聚类算法，通过考察各维度飞行参数数据之间的相关性来确定数据间的相似度，进而实现聚类，将整个任务划分为多个任务情景。时间序列分割聚类算法通过稀疏高斯逆协方差矩阵来表征各个集群，所述集群与任务情景对应；通过交替最小化的期望最大化(EM)方法，从初始集群开始，交替执行E步骤和M步骤，重复执行将飞行参数数据的各个数据段分配至不同集群以及根据集群既有数据段更新参数的操作，直到聚类的结果不发生变化(即问题收敛)。
E步骤：将每个数据点段子序列分配至一个聚类，以最大化聚类内部数据总体对数似然性和时间一致性。在给第i个信号段分类时，仅需考虑第i-1信号段分为各类时的代价即可，可通过动态规划思想解决。
M步骤：通过最小化其负对数似然总和，更新每个聚类的协方差逆矩阵。此外，为保证聚类内部时不变，协方差逆矩阵必须为Toeplitz矩阵，可使用ADMM算法(交替方向乘子法)快速求解。
为表征各集群所对应的任务情景，使用了介数中心性指标，其直接定义如下：
其中σst(v)表示经过节点v的s→t的最短路径条数，σst表示s→t的最短路径条数。
直观来说，该指标反映了节点作为“桥梁”的重要程度，值越高越表明该节点对于其他节点的控制和影响能力越大。
以每个集群的逆协方差矩阵作为邻接矩阵构造无向图，点表示不同维度的飞行参数，边表示不同维度参数之间的关联性。节点介数中心性表征了各维度参数在任务阶段的重要程度，据此可判断各集群所代表的任务情景。
步骤3：将整个任务阶段按照时间窗进行划分，每个时间窗内分别进行心电、眼动特征提取，记录听觉反应时，并进行飞行员疲劳等级标定；建立SVM分类器，以提取出的心电、眼动特征参数和听觉反应时作为SVM分类器输入，以标定好的疲劳等级作为分类标签，采用一部分时间窗样本作为训练集进行分类器训练，剩余时间窗样本作为测试集进行验证，得到能够判别飞行员疲劳等级的SVM分类器；选取75％时间窗样本作为训练集，建立多分类器，剩余样本作为测试集，通过识别准确率验证分类器模型，完成飞行员疲劳等级划分。
本实施例中将整个任务阶段每5分钟划分为一个时间窗，每个时间窗内数据作为一个样本。
每个时间窗内分别进行心电、眼动特征提取：
先对飞行员心电信号进行滤波，滤除肌电信号、工频等干扰。计算的心电时域特征参数包括R波间隔均值MEAN、R波间隔标准差SDNN和相邻R波间隔差值均方根RMSSD，心电频域特征参数包括低频功率LF、高频功率HF、低频功率与高频功率之比LF/HF。眼动特征包括眨眼频率、平均注视时长、眼跳频率、瞳孔半径。
其中时域信号计算方式如下：
其中RRi为相邻两个R波间隔的长度。
其中N为心搏总数；RRi为第i个R波间期，RRmean为N个R波间期的平均值。
其中N为心搏总数；RRi、RRi-1为相邻的两个R波间隔。
通过听觉反应时来反映飞行员精神注意力集中程度，每个时间窗内均设置有警报声作为听觉刺激，飞行员听到声音后第一时间按下手边的按钮，以此实现听觉反应时记录。
斯坦福嗜睡量表是疲劳监测领域应用最为广泛的主观评价量表，该量表将人的状态分为七个等级。对于飞行员操控场景，这样的划分方法过于详细，飞行员无法在操作的同时对自身状态作出如此准确地判断。因此对疲劳等级进行合并，分为清醒、轻度疲劳和重度疲劳三个等级。每个时间窗内，被试需对自身疲劳等级作出评价，以此标定飞行员的疲劳等级。
表1为斯坦福嗜睡量表以及步骤3所采取的合并方案。
SVM(Support Vector Machine，支持向量机)是一种基于结构风险最小化原则的分类方法，处理小样本分类问题具有很大的优势。由于这是一个三分类的问题，需要采用多个二分类器进行组合的方法。这里先将前两级疲劳状态归为一类，创建与第三类的分类器，再创建分类器划分前两级疲劳状态。
本步骤中，选取75％时间窗样本作为训练集，以提取出的心电、眼动特征和听觉反应时作为模型输入，标定好的疲劳等级作为分类标签，训练SVM分类器。以剩余样本数据作为测试集，对照模型分类结果和实际标定结果得到模型识别率，验证分类器，该分类器便可实现飞行员疲劳等级的判别。
步骤4：综合考虑模拟仿真平台界面设置和任务特征，将模拟仿真平台界面划分为多个兴趣区域，计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数；以各兴趣区域注视点百分比、回视次数、重要程度表征飞行员注意力分配特性，基于步骤2和步骤3的结果，提取不同任务情景、不同飞行员疲劳等级下支持度最高的注意力分配情形作为飞行员注意力分配模式。
步骤4综合考虑模拟仿真平台界面设置和任务特征，将整个界面划分为多个兴趣区域(AOI)，包括：航迹、前视、方位角、高度、速度、滚转角、监视载荷、操作、状态仪表。例如图2所示，兴趣区域之间可以存在重叠和覆盖。兴趣区域创建之后，便可以计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数。
注视点在兴趣区域间的转移轨迹可以通过有向图表示。对于有向图G＝(V,A)，V＝{v1,v2,···,vn}称为图G的节点集，V中每一个元素vi(i＝1,2,···,n)称为该图的一个节点，即兴趣区域的名称；A＝{a1,a2,···,an}称为图G的弧集，A中的每一个元素ak(即V中某两个元素vi,vj的有序对)称作图的一条从vi到vj的弧，即兴趣区域的转移轨迹。
基于图论提出重要程度概念：
其中
代表一定时间内，弧集A中以节点vi(i＝1,2,···,n)作为起点的元素个数，
即为节点vi作为起点的重要程度。
其中
代表一定时间内，弧集A中以节点vi(i＝1,2,···,n)作为终点的元素个数，
即为节点vi作为终点的重要程度。
各兴趣区域注视点百分比、回视次数、重要程度一定程度上可反映飞行员的注视、扫视、转移轨迹特性，因此通过这三个指标来表征飞行员注意力分配特性。
步骤4对各个兴趣区域注视点百分比、回视次数和重要程度进行排序，当排序情况一致时，即可认作同一类注意力分配情形。某一类注意力分配情形在所有情形中所占比例称为这类情形的支持度，支持度最高的情形即为飞行员注意力分配模式。
基于步骤2和步骤3对任务情景和飞行员疲劳等级的划分结果，通过该种方法便可以实现不同任务情景、不同飞行员疲劳等级注意力分配模式的提取。
对于清醒状态和轻度疲劳状态，提取出的模式可以很好地反映该任务情景下，哪些兴趣区域应当分配更多的注意力、应该更加频繁地进行扫视。两者进行对照，还可以判断飞行员在轻度疲劳状态下容易忽视哪部分信息、容易错误判断哪部分信息重要程度，据此可以在飞行员轻度疲劳时对平台界面作出优化，加强这些部分信息的视觉显著性。
对于重度疲劳状态，该状态下飞行员已处于意识模糊状态，不适合继续进行无人机操作任务。这种情形的出现是由于实验并非基于真实操作场景，仿真平台给被试的临场紧张感不足，现实情形中基本不会出现此等级的状态，对其进行分析意义不大。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：包括以下步骤：
步骤1：设置飞行任务，明确无人机飞行员在任务各个阶段需要执行的操作；无人机飞行员按照飞行任务要求在模拟仿真平台上执行飞行任务，使用眼动采集装置获取飞行员在试行飞行任务过程中的眼动数据，对眼动数据进行预处理，提取注视点数据；
步骤2：整合任务过程中操控模拟仿真平台的各项飞行参数，对飞行参数数据进行预处理，形成高维时间序列，并通过时间序列分割聚类算法将整个任务划分为多个任务情景；
步骤3：将整个任务阶段按照时间窗进行划分，每个时间窗内分别进行心电、眼动特征提取，记录听觉反应时，并进行飞行员疲劳等级标定；建立SVM分类器，以提取出的心电、眼动特征参数和听觉反应时作为SVM分类器输入，以标定好的疲劳等级作为分类标签，采用一部分时间窗样本作为训练集进行分类器训练，剩余时间窗样本作为测试集进行验证，得到能够判别飞行员疲劳等级的SVM分类器；
选取75％时间窗样本作为训练集，建立多分类器，剩余样本作为测试集，通过识别准确率验证分类器模型，完成飞行员疲劳等级划分；
步骤4：综合考虑模拟仿真平台界面设置和任务特征，将模拟仿真平台界面划分为多个兴趣区域，计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数；以各兴趣区域注视点百分比、回视次数、重要程度表征飞行员注意力分配特性，对各个兴趣区域注视点百分比、回视次数和重要程度进行排序，当排序情况一致时，认作同一类注意力分配情形，某一类注意力分配情形在所有情形中所占比例称为这类情形的支持度；基于步骤2和步骤3的结果，提取不同任务情景、不同飞行员疲劳等级下支持度最高的注意力分配情形作为飞行员注意力分配模式。
2.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤1中，模拟仿真平台所处实验环境应安静且光线充足；执行飞行任务的无人机飞行员为具有一定飞行经验的无人机飞行员，不配戴眼镜，且能熟练掌握模拟仿真平台。
3.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤1中，对眼动数据进行预处理的过程包括：
步骤1.1：利用I-VT滤波器，根据眼睛的定向移动速度，对眼动进行分类：设定速度阈值，当眼动速度低于阈值时，被划分为注视，否则被划分为眼跳；
步骤1.2：对原始眼动数据进行空白填充，消除睫毛、眨眼的干扰，防止出现由于数据样本的缺失导致一个持续的注视阶段被划分为多个的情形；
步骤1.3：对眼动数据进行降噪处理，消除环境、眼震颤、眼微跳的影响，并去除持续时间过短的注视点。
4.根据权利要求3所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤1中，眼动采集装置为瑞典Tobii公司的X3-120眼动仪，眼动数据的预处理通过Tobii Pro Lab软件完成。
5.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中，对飞行参数数据进行预处理的过程包括：
步骤2.1：特征选择：计算飞行参数中各维度数据之间相关性，去除含义重复的数据维度；计算各维度数据信息增益，选择信息增益大的前若干维数据；
步骤2.2：离群点检测：对步骤2.1选择的若干维飞行参数数据中，偏离正常范围的异常数据进行删除或修正处理；
步骤2.3：归一化处理：将经过步骤2.2处理的若干维飞行参数数据映射至[0,1]或者[-1,1]范围内，实现若干维飞行参数数据归一化。
6.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中采用时间序列分割聚类算法，通过考察各维度飞行参数数据之间的相关性来确定数据间的相似度，进而实现聚类，将整个任务划分为多个任务情景。
7.根据权利要求6所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中的时间序列分割聚类算法通过稀疏高斯逆协方差矩阵来表征各个集群，所述集群与任务情景对应；通过EM算法，从初始集群开始，交替执行E步骤和M步骤，重复执行将飞行参数数据的各个数据段分配至不同集群以及根据集群既有数据段更新参数的操作，直到聚类的结果不发生变化。
8.根据权利要求7所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中采用介数中心性指标，以表征各集群所对应的任务情景。
9.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤3中，对时间窗内心电数据提取的特征参数包括心电时域特征参数和心电频域特征参数；心电时域特征参数包括R波间隔均值MEAN、R波间隔标准差SDNN和相邻R波间隔差值均方根RMSSD，心电频域特征参数包括低频功率LF、高频功率HF、低频功率与高频功率之比LF/HF；对时间窗内眼动数据提取的特征参数包括眨眼频率、平均注视时长、眼跳频率、瞳孔半径；步骤3中，在每个时间窗内均设置有警报声作为听觉刺激，飞行员听到声音后需第一时间按下手边的按钮，以此实现听觉反应时记录；步骤3中，飞行员疲劳等级分为清醒、轻度疲劳和重度疲劳三个等级；每个时间窗内，无人机飞行员对自身疲劳等级作出评价，以此标定飞行员的疲劳等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010695285.0A CN111951637B (zh) | 2020-07-19 | 2020-07-19 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010695285.0A CN111951637B (zh) | 2020-07-19 | 2020-07-19 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951637A CN111951637A (zh) | 2020-11-17 |
| CN111951637B true CN111951637B (zh) | 2022-05-03 |
Family
ID=73340621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010695285.0A Active CN111951637B (zh) | 2020-07-19 | 2020-07-19 | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951637B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112698637B (zh) * | 2021-01-13 | 2023-03-07 | 广东轻工职业技术学院 | 一种多任务蜂群的协同资源调度方法 |
| CN113344423B (zh) * | 2021-06-28 | 2022-12-30 | 北京航空航天大学 | 一种基于机器学习的飞行员场景适用性诊断方法及系统 |
| CN113655882B (zh) * | 2021-08-17 | 2022-05-03 | 中国人民解放军军事科学院战争研究院 | 一种基于眼动数据测量的人机界面信息筛选方法 |
| CN113827239B (zh) * | 2021-09-18 | 2024-07-16 | 中国人民解放军海军特色医学中心 | 一种采用视觉追踪设备评估飞行员视觉分配的方法 |
| CN113888944B (zh) * | 2021-11-01 | 2023-03-31 | 郑州大学第一附属医院 | 一种心肺复苏模拟训练系统及方法 |
| CN114463462A (zh) * | 2022-01-12 | 2022-05-10 | 中国铁道科学研究院集团有限公司 | 轨道交通场景图生成方法、装置、设备及存储介质 |
| CN115115270B (zh) * | 2022-07-25 | 2025-02-18 | 北京航空航天大学 | 基于任务复杂度分析的飞行员工作负荷评价方法及系统 |
| CN118626802B (zh) * | 2024-08-09 | 2024-11-01 | 中国民用航空飞行学院 | 一种采用眼动数据的飞行特情分析方法 |
| CN118614929B (zh) * | 2024-08-09 | 2024-11-05 | 中国民用航空飞行学院 | 一种基于眼动数据的飞行学员疲劳评估系统 |
| CN119028007B (zh) * | 2024-10-29 | 2025-03-04 | 上海交通大学宁波人工智能研究院 | 一种识别飞行员执行任务类型的系统与方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0698329A (ja) * | 1992-01-06 | 1994-04-08 | Fumitaka Seki | 乗物用死角監視装置 |
| CN101980660A (zh) * | 2008-09-19 | 2011-02-23 | 松下电器产业株式会社 | 注意力分散检测装置、注意力分散检测方法及计算机程序 |
| CN102693349A (zh) * | 2011-03-25 | 2012-09-26 | 北京航空航天大学 | 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法 |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN104463216A (zh) * | 2014-12-15 | 2015-03-25 | 北京大学 | 基于计算机视觉的眼动模式数据自动获取方法 |
| CN105788364A (zh) * | 2014-12-25 | 2016-07-20 | 中国移动通信集团公司 | 一种预警信息的发布方法及装置 |
| CN108133639A (zh) * | 2017-12-21 | 2018-06-08 | 信阳泰蓝仿真科技有限公司 | 一种航空心理模拟系统及测试方法 |
| CN108236464A (zh) * | 2017-12-29 | 2018-07-03 | 重庆邮电大学 | 基于脑电信号的特征提取方法及其检测提取系统 |
| CN109933193A (zh) * | 2019-03-01 | 2019-06-25 | 北京体育大学 | 基于运动员眼动信息实时捕捉的智能辅助训练系统 |
| CN110096328A (zh) * | 2019-05-09 | 2019-08-06 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于飞行任务的hud界面优化布局自适应方法及系统 |
| EP3617935A1 (en) * | 2018-06-04 | 2020-03-04 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Driving management method and system, vehicle-mounted intelligent system, electronic device and medium |
| CN110928618A (zh) * | 2019-10-30 | 2020-03-27 | 西北工业大学 | 一种座舱人机界面注意力分配计算方法 |
| CN111429013A (zh) * | 2020-03-30 | 2020-07-17 | 西北工业大学 | 基于注意力分配和个体状态的飞行员情境觉知评测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902766B (zh) * | 2014-03-14 | 2016-08-17 | 西北工业大学 | 基于脑力负荷模型和模糊逻辑的动态功能分配方法 |
| JP6462059B1 (ja) * | 2017-07-13 | 2019-01-30 | 株式会社コロプラ | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 |
| CN108682189A (zh) * | 2018-04-20 | 2018-10-19 | 南京脑桥智能科技有限公司 | 一种学习状态确认系统及方法 |
| CN109124625B (zh) * | 2018-09-04 | 2021-07-20 | 大连理工大学 | 一种驾驶员疲劳状态水平分级方法 |
| CN109523188B (zh) * | 2018-11-29 | 2021-04-20 | 中国船舶工业综合技术经济研究院 | 面向人机界面显示的舰员认知特性工效测评方法及系统 |
-
2020
- 2020-07-19 CN CN202010695285.0A patent/CN111951637B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0698329A (ja) * | 1992-01-06 | 1994-04-08 | Fumitaka Seki | 乗物用死角監視装置 |
| CN101980660A (zh) * | 2008-09-19 | 2011-02-23 | 松下电器产业株式会社 | 注意力分散检测装置、注意力分散检测方法及计算机程序 |
| CN102693349A (zh) * | 2011-03-25 | 2012-09-26 | 北京航空航天大学 | 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法 |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN104463216A (zh) * | 2014-12-15 | 2015-03-25 | 北京大学 | 基于计算机视觉的眼动模式数据自动获取方法 |
| CN105788364A (zh) * | 2014-12-25 | 2016-07-20 | 中国移动通信集团公司 | 一种预警信息的发布方法及装置 |
| CN108133639A (zh) * | 2017-12-21 | 2018-06-08 | 信阳泰蓝仿真科技有限公司 | 一种航空心理模拟系统及测试方法 |
| CN108236464A (zh) * | 2017-12-29 | 2018-07-03 | 重庆邮电大学 | 基于脑电信号的特征提取方法及其检测提取系统 |
| EP3617935A1 (en) * | 2018-06-04 | 2020-03-04 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Driving management method and system, vehicle-mounted intelligent system, electronic device and medium |
| CN109933193A (zh) * | 2019-03-01 | 2019-06-25 | 北京体育大学 | 基于运动员眼动信息实时捕捉的智能辅助训练系统 |
| CN110096328A (zh) * | 2019-05-09 | 2019-08-06 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于飞行任务的hud界面优化布局自适应方法及系统 |
| CN110928618A (zh) * | 2019-10-30 | 2020-03-27 | 西北工业大学 | 一种座舱人机界面注意力分配计算方法 |
| CN111429013A (zh) * | 2020-03-30 | 2020-07-17 | 西北工业大学 | 基于注意力分配和个体状态的飞行员情境觉知评测方法 |
Non-Patent Citations (5)
| Title |
|---|
| Chiori Hori ; Takaaki Hori ; Teng-Yok Lee ; Ziming Zhang ; Bret Hars.Attention-Based Multimodal Fusion for Video Description.《2017 IEEE International Conference on Computer Vision (ICCV)》.2017, * |
| 基于驾驶舱告警信息的双任务操作注意分配研究;陈悦菲,薛红军,苏润娥;《智能信息技术应用学会》;20111231;第232-234页 * |
| 多频飞行时间相机实时深度补偿算法研究;王森,王润孝,左欣欣,于薇薇;《西北工业大学学报》;20190228;第37卷(第1期);第152-159页 * |
| 篮球运动员运动性疲劳状态下的注意特征和情绪变化研究;张志敏;《武汉体育学院》;20170331;第9-12、19-22页 * |
| 脑力疲劳对注意特征的影响——行为学和ERP研究;张焱;《第四军医大学》;20100131;35-83页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111951637A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951637B (zh) | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 | |
| JP7492951B2 (ja) | ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース | |
| EP3617815B1 (en) | Work support device, work support method, and work support program | |
| Wang et al. | An EEG-based brain–computer interface for dual task driving detection | |
| EP3143933B1 (en) | Method for estimating a mental state, in particular a workload, and related apparatus | |
| Ahmadi et al. | Automated detection of driver fatigue from electroencephalography through wavelet-based connectivity | |
| CN109460703B (zh) | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 | |
| CN112438741B (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
| CN104490391B (zh) | 一种基于脑电信号的战斗人员状态监测系统 | |
| CN113627740B (zh) | 一种驾驶负荷评价模型构建系统及构建方法 | |
| CN117547270A (zh) | 一种多源数据融合的飞行员认知负荷反馈系统 | |
| CN115191018A (zh) | 通过测量生理数据对人员或系统进行的评估 | |
| CN113951903B (zh) | 基于脑电数据测定的高速铁路调度员超负荷状态识别方法 | |
| Wang et al. | Detection of driver stress in real-world driving environment using physiological signals | |
| CN117770821A (zh) | 人因智能座舱驾驶人疲劳检测方法、装置、车辆及介质 | |
| Li et al. | Classification of eye movement and its application in driving based on a refined pre-processing and machine learning algorithm | |
| Liu et al. | Cognitive load prediction from multimodal physiological signals using multiview learning | |
| Yu et al. | Towards pilot’s situation awareness enhancement: A framework of adaptive interaction system and its realization | |
| Chen et al. | A situation awareness assessment method based on fuzzy cognitive maps | |
| CN114916937A (zh) | 一种基于bdpca聚类算法的驾驶员脑电疲劳等级划分方法 | |
| Masters et al. | Investigating the utility of fnirs to assess mental workload in a simulated helicopter environment | |
| CN117407743A (zh) | 一种基于人工智能的飞行员疲劳检测方法 | |
| Ding et al. | EEG-fest: few-shot based attention network for driver's drowsiness estimation with EEG signals | |
| Fernandez-Fraga et al. | Steady-state visual evoked potential (SSEVP) from EEG signal modeling based upon recurrence plots | |
| Yang et al. | A Lightweight Model for Physiological Signals-based Sleep Staging with Multi-Class CAM for Model Explainability |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |