[go: up one dir, main page]

CN116844080B - 疲劳程度多模态融合检测方法、电子设备及存储介质 - Google Patents

疲劳程度多模态融合检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116844080B
CN116844080B CN202310657938.XA CN202310657938A CN116844080B CN 116844080 B CN116844080 B CN 116844080B CN 202310657938 A CN202310657938 A CN 202310657938A CN 116844080 B CN116844080 B CN 116844080B
Authority
CN
China
Prior art keywords
fatigue
video
feature
acoustic
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310657938.XA
Other languages
English (en)
Other versions
CN116844080A (zh
Inventor
王旭辉
刘星俞
李郁
陈京松
乔静
田先卉
荀向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Civil Aviation Science and Technology
Original Assignee
China Academy of Civil Aviation Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Civil Aviation Science and Technology filed Critical China Academy of Civil Aviation Science and Technology
Priority to CN202310657938.XA priority Critical patent/CN116844080B/zh
Publication of CN116844080A publication Critical patent/CN116844080A/zh
Application granted granted Critical
Publication of CN116844080B publication Critical patent/CN116844080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种疲劳程度多模态融合检测方法、电子设备及存储介质，其方法包括：S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集；S2、疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块并分别进行模型训练；S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；然后与中文语言预训练模型输出的疲劳状态分值结果A通过加权融合得到加权疲劳数据结果。本发明实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合，评测结果可靠。

Description

疲劳程度多模态融合检测方法、电子设备及存储介质
技术领域
本发明涉及民航工作人员疲劳状态检测领域，尤其涉及一种疲劳程度多模态融合检测方法、电子设备及存储介质。
背景技术
当前国内多家航空公司依据《CCAR-121-R7大型飞机公共航空运输承运人运行合格审定规则》和《AC-121-FS-014CCAR121部合格证持有人的疲劳管理要求》建立了疲劳风险管理要求，目前，对于民航工作人员疲劳风险管理国际上比较认可的科学分析方法是生物数学模型，基于不同的疲劳理论模型，预测人体疲劳即警觉性的变化趋势，提供了预测运行中飞行员个体潜在疲劳风险可能。
中国专利(申请号202210695576.9)公开了一种基于rPPG的非接触式疲劳检测系统及方法本发明提供一种基于rPPG的非接触式疲劳检测系统及方法，该系统及方法采用多线程同步通讯，针对实时检测需求，基于python threading多线程模块，实现rPPG信号的实时采集与处理以及疲劳状态的同步检测。其中，第一个线程，实现rPPG数据的实时捕获、保存与拼接；第二个线程，实现rPPG数据的实时分析与疲劳检测。在皮肤检测和LUV颜色空间转换结合的基础上，实现rPPG原始信号提取，消除人脸内外环境噪声的干扰；其次，通过自适应多级滤波提高信噪比，通过多维度融合CNN模型实现呼吸和心率的高精度检测；最后，在呼吸和心率多通道数据融合的基础上，实现高精度的疲劳分类。但该专利技术需要额外硬件实现呼吸和心率的检测，使用较为复杂；生理信号检测受限于检测设备的灵敏度、佩戴是否规范、环境干扰等情况，易产生较大误差、无效信号甚至信号中断。
国内航空公司的飞行员一般是飞四休二，在飞行后的两天休息日获得充分的生理和心理的恢复，可以利用休息期的睡眠情况获得相位峰值。目前，对于民航工作人员疲劳程度的评测主要依赖测试量表填写、人工观察评估，现有技术缺少对于民航工作人员疲劳程度的评测技术手段，不利于民航工作人员的疲劳检测及管理。
发明内容
本发明的目的在于解决背景技术所指出的技术问题，提供一种疲劳程度多模态融合检测方法、电子设备及存储介质，在待测工作人员应答测评时采集视频、音频数据及获取应答量表，通过构建的视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块分别从三个方面分别进行视频疲劳评测、音频疲劳评测、文本疲劳评测，实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合，得到的疲劳状态分值结果与真实情况符合度高。
本发明的目的通过下述技术方案实现：
一种疲劳程度多模态融合检测方法，其方法包括：
S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储；通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集，应答测评量表包括若干个应答项目，声学数据集按照应答项目分段存储；
S2、构建疲劳程度识别模型，疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块；
S21、对视频疲劳识别模型进行如下模型训练：
S211、构建视频数据样本集，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量；
S212、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集；
S213、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；/>通过神经网络节点Aj，i产生/>信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据；
S214、视频疲劳识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示；
S22、对声学疲劳识别模型进行如下模型训练：
S221、构建基于应答项目分段的声学数据样本集，声学数据样本集的声学音频片段样本按照应答项目、融合特征、疲劳分值标签对应存储；声学音频片段样本的融合特征由声学特征、频谱特征融合组成，声学特征为具有生理学意义的声学特性，频谱特征为梅尔倒谱系数特征；
S222、将融合特征作为特征向量并进行归一化处理，利用声学数据样本集进行排序并利用主成分分析、偏最小二乘回归分析计算得到特征向量与疲劳分值标签的相关性；
S23、量表评测计算模块方法如下：构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集，在应答测评量表从视频数据集提取文字数据构成量表，基于中文语言预训练模型从量表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A，疲劳状态分值结果A包括疲劳类型及分值；
S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；按照如下公式得到加权疲劳数据结果：
S＝wgSg，其中wg表示疲劳状态分值结果为视频或声学或量表的权重，Sg表示疲劳状态分值结果为视频或声学或量表所对应的疲劳状态分值结果。
优选地，步骤S21替换为如下方法：
B21、构建视频数据样本集，对视频数据样本集基于应答项目分段进行视频剪辑得到剪辑片段并赋予疲劳类型及分值的标签，每个应答项目分段对应U个剪辑片段，提取每个剪辑片段V个128维特征向量；采用冗余感知自注意力模块进行特征向量权重分析，冗余感知自注意力模块内部具有高斯核函数计算模块并进行特征向量处理构建空间维度关系，并得到特征图数据；通过视频疲劳识别模型训练特征图数据与疲劳类型及分值标签。
优选地，表情识别模型采集民航待测人员的视频时构建有人脸检测获取框进行人脸对齐及配准，若民航待测人员所采集视频未在人脸检测获取框中，则触发警示并重新采集。
优选地，所述特征提取器包括神经网络ResNet，神经网络ResNet对视频帧样本集中的视频帧I进行特征项的计算与提取，将特征项汇集于特征集中；肌肉运动特征集包括内部眉毛抬起、抬起上眼皮、上扬嘴角；头部运动特征集包括头部向左转、头部向右转、头部向上抬、头部向下低、头部向左摇、头部向右右摇、头部向前移、头部向右移；眼睛运动特征集包括眼睛向左动、眼睛向右动、眼睛向上动、眼睛向下动。
优选地，步骤S214的损失函数为：
其中m表示疲劳类型的个数，n表示总个数，Tm表示疲劳类型k的预测值，yk表示疲劳类型k的原始标签。
为了更好地实现本发明，融合特征的归一化处理公式如下；
其中X是训练特征样本，αmax和αmin分别为最大和最小训练特征向量，/>为标准化的训练样本；
偏最小二乘回归分析采用偏最小二乘回归模型，利用偏最小二乘回归模型计算特征向量与疲劳分值标签之间的相关性；
S＝KGK+E
W＝UHK+F，其中S为一个由预测因子组成的a×b矩阵，w为一个由响应组成的a×g矩阵；K与U为两个n×1矩阵，G、H分别为b×1和g×1的正交矩阵；矩阵E和矩阵F是误差项；对S和W进行分解以使K和U的协方差达到最大。
优选地，中文语言预训练模型所提取的词向量为识别出意图及需求的关键信息并进行倾向分类与识别，词向量包括内容实体、语句层特征、因果关系向量。
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7任一所述的方法的步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法的步骤。
本发明较现有技术相比，具有以下优点及有益效果：
本发明在待测工作人员应答测评时采集视频、音频数据及获取应答量表，通过构建的视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块分别从三个方面分别进行视频疲劳评测、音频疲劳评测、文本疲劳评测，实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合，评测手段科学、全面，能得到与真实情况符合度高的疲劳状态分值结果。
附图说明
图1为本发明疲劳程度多模态融合检测方法的方法流程图；
图2为实施例中视频疲劳识别模型的训练过程示意图；
图3为实施例中视频疲劳识别模型视频帧样本集的流程示意图；
图4为实施例中LSTM模型内部机制示意图；
图5为实施例中声学疲劳识别模型的原理示意图；
图6为实施例的中文语言预训练模型的原理示意图；
图7为实施例中疲劳程度多模态融合检测系统的原理框图；
图8为实施例中采用冗余感知自注意力模块的注意力机制图；
图9为实施例中冗余感知自注意力模块的原理示意图；
图10为实施例中疲劳程度多模态融合检测系统的APP应用界面图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例
如图1～图9所示，一种疲劳程度多模态融合检测方法，其方法包括：
S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储。优选地，表情识别模型采集民航待测人员的视频时构建有人脸检测获取框进行人脸对齐及配准，若民航待测人员所采集视频未在人脸检测获取框中，则触发警示并重新采集。
通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集，应答测评量表包括若干个应答项目，声学数据集按照应答项目分段存储。
S2、构建疲劳程度识别模型，疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块；
S21、对视频疲劳识别模型进行如下模型训练：
S211、构建视频数据样本集(在一些实施例中，通过表情识别模型将获得的原始视频检测为表情视频片段供后续标注和识别使用形成视频数据样本；具体操作为，原始表情以帧为单位建立索引，为保证效率，我们的采样帧率设置为3-15帧/秒；每一帧图像都需要先检测并框定人脸位置，然后用预训练好的表情识别模型抽取视觉特征，用于后续的疲劳程度评估模型训练。表情识别模型采集视频数据样本时需注意：人脸检测获取分析区域；人脸对齐，获取配准的人脸；数据增强扩充数据及人脸图像归一化；基于注意力机制的视频情感分析深度学习框架)，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量。本发明训练后的视频疲劳识别模型以受试者面部表情特征作为输入，输出其疲劳程度评估(疲劳状态分值结果)。基于面部表情的视频疲劳识别模型训练分为人脸检测、特征抽取、时序分析和输出预测，如图2所示。稀疏采样时，每个应答项目抽出10帧关键视频帧。
优选地，所述特征提取器包括神经网络ResNet，神经网络ResNet对视频帧样本集中的视频帧I进行特征项的计算与提取，将特征项汇集于特征集中；肌肉运动特征集包括内部眉毛抬起、抬起上眼皮、上扬嘴角等运动特征(优选地，本发明采用42种运动特征，42种运动特征例如：内部眉毛抢起、外部眉毛抬起、眉毛整体低业、抬起上眼皮、抬起脸频、眼睛收缩、收缩提起鼻了、抬起上嘴唇、加深中部鼻唇、上扬嘴角、拉动嘴角向上、嘴角向牙齿收缩、嘴角业直向下拉动、下嘴唇向下拉动、挤动下唇向上顶、向中间敏起嘴巴、嘴唇向后方拉扯、嘟起嘴唇成漏斗、收紧双唇成一字)。头部运动特征集包括头部向左转、头部向右转、头部向上抬、头部向下低、头部向左摇、头部向右右摇、头部向前移、头部向右移；眼睛运动特征集包括眼睛向左动、眼睛向右动、眼睛向上动、眼睛向下动。神经网络ResNet的模型架构及参数如下：
S212、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集。
S213、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；/>通过神经网络节点Aj，i产生/>信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据。如图4所示，本实施例示例一种LSTM模型的内部机制，通过遗忘门将一些信息丢弃，δj，i代表Sigmoid函数，方法公式如下：
δj，i表示Sigmoid函数，/>表示Sigmoid函数的参数。
再经过LSTM模型的输入门，利用Sigmoid函数决定信息是否更新，tanh函数处理产生向量，如图4所示，进行数据相加；
如图4所示，然后与相乘，丢弃掉需要丢弃的信息，然后将信息传递给下一个细胞，在下一个细胞信息首先经过δj，i处理，然后上一支信息经过tanh函数处理，再将两处信息相乘，依此来将视频的时序添加进去，公式如下：
S214、视频疲劳识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示。LSTM模型的双层LSTM损失函数为：
其中m表示疲劳类型的个数，n表示总个数，Tm表示疲劳类型k的预测值，yk表示疲劳类型k的原始标签。
收集的疲劳视频数据集，基于所有视频数据集融合来建立三分类诊断模型。
在一些实施例中，步骤S21替换为如下方法：
B21、构建视频数据样本集，对视频数据样本集基于应答项目分段进行视频剪辑得到剪辑片段并赋予疲劳类型及分值的标签，每个应答项目分段对应U个剪辑片段，提取每个剪辑片段V个128维特征向量。如图8、图9所示，采用冗余感知自注意力模块进行特征向量权重分析，冗余感知自注意力模块内部具有高斯核函数计算模块并进行特征向量处理构建空间维度关系，并得到特征图数据；通过视频疲劳识别模型训练特征图数据与疲劳类型及分值标签。
S22、对声学疲劳识别模型进行如下模型训练：
S221、如图5所示，构建基于应答项目分段的声学数据样本集(在一些实施例中，可以通过声学采集模块获得的人机对话数据提取音频数据片段供后续标注和识别使用；具体操作为，首先需要对其进行降噪处理，得到清晰人声；然后基于每一小段的问答对其进行疲劳分值标注；最后提取时域和频域的一系列声学特征(如Mel spectrogram、MFCC等)用于后续的疲劳程度评估。声学采集模块采集的声学数据样本集需要语音降噪、时频转换及频谱特征提取、基于RNN的语言模型、基于Lattice resource解码器得到最大概率词序列)，声学数据样本集的声学音频片段样本按照应答项目、融合特征、疲劳分值标签对应存储；声学音频片段样本的融合特征由声学特征、频谱特征融合组成，声学特征为具有生理学意义的声学特性，频谱特征为梅尔倒谱系数特征。其中融合特征包括如下表：
S222、将融合特征作为特征向量并进行归一化处理，利用声学数据样本集进行排序并利用主成分分析、偏最小二乘回归分析计算得到特征向量与疲劳分值标签的相关性。
在一些实施例中，融合特征的归一化处理公式如下；
其中X是训练特征样本，αmax和αmin分别为最大和最小训练特征向量，/>为标准化的训练样本；
偏最小二乘回归分析采用偏最小二乘回归模型，利用偏最小二乘回归模型计算特征向量与疲劳分值标签之问的相关性；
S＝KGK+E
W＝UHK+F，其中s为一个由预测因子组成的a×b矩阵，W为一个由响应组成的a×g矩阵；K与U为两个n×1矩阵，G、H分别为b×1和g×1的正交矩阵；矩阵E和矩阵F是误差项；对S和W进行分解以使K和U的协方差达到最大。
S23、量表评测计算模块方法如下：构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集(将获得的人机对话数据提取文字部分供后续标注和识别使用；具体操作为，首先在中文语境下对文本进行分词处理，移除对语义无影响的停止词，然后基于每一小段的问答对其进行疲劳分值标注；最后引入中文语言预训练模型(如XLNet、bert等)提取词向量，用于后续的疲劳程度评估。通过中文分词、专名识别等关键技术，解析语句的结构关系，深入分析句法结构，能够准确的从用户输入内容中识别出意图及需求的关键信息，准确判断文字表达的情感倾向)，如图6所示，在应答测评量表从视频数据集提取文字数据构成量表，基于中文语言预训练模型从量表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A，疲劳状态分值结果A包括疲劳类型及分值。优选地，中文语言预训练模型所提取的词向量为识别出意图及需求的关键信息并进行倾向分类与识别，词向量包括内容实体、语句层特征、因果关系向量(针对疲劳分析的命名实体识别、基于大规模预训练语言模型Bert的语句层特征提取、基于金字塔结构的因果关系抽取、倾向分类与识别)。
S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；按照如下公式得到加权疲劳数据结果：
S＝wgSg，其中wg表示疲劳状态分值结果为视频或声学或量表的权重(视频、声学、量表分别代表一种模态，共计三种模态，由于面部纹理、面部动作、音频和量表内容等多模态在一定程度上是互补自洽的，本发明采用了决策融合的方法来提高疲劳状态的判别性能。在预测阶段，每个模型生成一个分数矩阵，表示每个预测样本属于相关情绪的概率；根据每个模型的性能，给每个模型分配了适当权重。根据上面的公式融和每个模型的预测结果得到系统级疲劳状态分值结果)，Sg表示疲劳状态分值结果为视频或声学或量表(视频、声学、量表分别为三种模态)所对应的疲劳状态分值结果。
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明疲劳程度多模态融合检测方法的步骤。如图7所示，按照本发明疲劳程度多模态融合检测方法设计出的疲劳程度多模态融合检测系统，疲劳程度多模态融合检测系统可以推广至移动客户端(比如手机)，让民航工作人员在app上进行疲劳程度融合检测作业，疲劳程度多模态融合检测系统的app界面如图10所示。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明疲劳程度多模态融合检测方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种疲劳程度多模态融合检测方法，其特征在于：其方法包括：
S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储；通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集，应答测评量表包括若干个应答项目，声学数据集按照应答项目分段存储；
S2、构建疲劳程度识别模型，疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块；
S21、对视频疲劳识别模型进行如下模型训练：
S211、构建视频数据样本集，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量；
S212、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集；
S213、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；/>通过神经网络节点Aj，i产生/>信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据；
S214、视频疲劳识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示；
S22、对声学疲劳识别模型进行如下模型训练：
S221、构建基于应答项目分段的声学数据样本集，声学数据样本集的声学音频片段样本按照应答项目、融合特征、疲劳分值标签对应存储；声学音频片段样本的融合特征由声学特征、频谱特征融合组成，声学特征为具有生理学意义的声学特性，频谱特征为梅尔倒谱系数特征；
S222、将融合特征作为特征向量并进行归一化处理，利用声学数据样本集进行排序并利用主成分分析、偏最小二乘回归分析计算得到特征向量与疲劳分值标签的相关性；
S23、量表评测计算模块方法如下：构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集，在应答测评量表从视频数据集提取文字数据构成量表，基于中文语言预训练模型从最表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A，疲劳状态分值结果A包括疲劳类型及分值；
S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；按照如下公式得到加权疲劳数据结果：
S＝wgSg，其中wg表示疲劳状态分值结果为视频或声学或量表的权重，Sg表示疲劳状态分值结果为视频或声学或量表所对应的疲劳状态分值结果。
2.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：步骤S21替换为如下方法：
B21、构建视频数据样本集，对视频数据样本集基于应答项目分段进行视频剪辑得到剪辑片段并赋予疲劳类型及分值的标签，每个应答项目分段对应U个剪辑片段，提取每个剪辑片段V个128维特征向最；采用冗余感知自注意力模块进行特征向量权重分析，冗余感知自注意力模块内部具有高斯核函数计算模块并进行特征向量处理构建空间维度关系，并得到特征图数据；通过视频疲劳识别模型训练特征图数据与疲劳类型及分值标签。
3.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：表情识别模型采集民航待测人员的视频时构建有人脸检测获取框进行人脸对齐及配准，若民航待测人员所采集视频未在人脸检测获取框中，则触发警示并重新采集。
4.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：所述特征提取器包括神经网络ResNet，神经网络ResNet对视频帧样本集中的视频帧I进行特征项的计算与提取，将特征项汇集于特征集中；肌肉运动特征集包括内部眉毛抬起、抬起上眼皮、上扬嘴角；头部运动特征集包括头部向左转、头部向右转、头部向上抬、头部向下低、头部向左摇、头部向右右摇、头部向前移、头部向右移；眼睛运动特征集包括眼睛向左动、眼睛向右动、眼睛向上动、眼睛向下动。
5.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于二：步骤S214的损失函数为：
其中m表示疲劳类型的个数，n表示总个数，Tm表示疲劳类型k的预测值，yk表示疲劳类型k的原始标签。
6.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：融合特征的归一化处理公式如下；
其中X是训练特征样本，αmax和αmin分别为最大和最小训练特征向量，/>为标准化的训练样本；
偏最小二乘回归分析采用偏最小二乘回归模型，利用偏最小二乘回归模型计算特征向量与疲劳分值标签之间的相关性；
S＝KGK+E
W＝UHK+F，其中s为一个由预测因子组成的a×b矩阵，W为一个由响应组成的a×g矩阵；K与U为两个n×1矩阵，G、H分别为b×1和g×1的正交矩阵；矩阵E和矩阵F是误差项；对S和W进行分解以使K和U的协方差达到最大。
7.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：中文语言预训练模型所提取的词向量为识别出意图及需求的关键信息并进行倾向分类与识别，词向量包括内容实体、语句层特征、因果关系向量。
8.一种电子设备，其特征在于：包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7任一所述的方法的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法的步骤。
CN202310657938.XA 2023-06-05 2023-06-05 疲劳程度多模态融合检测方法、电子设备及存储介质 Active CN116844080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310657938.XA CN116844080B (zh) 2023-06-05 2023-06-05 疲劳程度多模态融合检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310657938.XA CN116844080B (zh) 2023-06-05 2023-06-05 疲劳程度多模态融合检测方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116844080A CN116844080A (zh) 2023-10-03
CN116844080B true CN116844080B (zh) 2024-06-18

Family

ID=88160773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310657938.XA Active CN116844080B (zh) 2023-06-05 2023-06-05 疲劳程度多模态融合检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116844080B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079255B (zh) * 2023-10-17 2024-01-05 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法
CN118761035B (zh) * 2024-09-06 2024-11-15 四川大学 基于多模态认知数据融合的管制员工作状态检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108464839A (zh) * 2018-03-22 2018-08-31 东华大学 一种基于机器学习的车载疲劳驾驶监测预警系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347244B2 (en) * 2017-04-21 2019-07-09 Go-Vivace Inc. Dialogue system incorporating unique speech to text conversion method for meaningful dialogue response
CN109620269B (zh) * 2019-01-28 2021-10-22 锦图计算技术(深圳)有限公司 疲劳检测方法、装置、设备及可读存储介质
CN115331204A (zh) * 2021-05-11 2022-11-11 上海擎感智能科技有限公司 疲劳驾驶识别方法、系统、电子设备及存储介质
CN114155512A (zh) * 2021-12-07 2022-03-08 南京理工大学 一种基于3d卷积网络多特征融合的疲劳检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108464839A (zh) * 2018-03-22 2018-08-31 东华大学 一种基于机器学习的车载疲劳驾驶监测预警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进的深度卷积神经网络的人脸疲劳检测;冯文文等;科学技术与工程;20200518(第14期);全文 *

Also Published As

Publication number Publication date
CN116844080A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN111461176B (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN108899050B (zh) 基于多模态情绪识别系统的语音信号分析子系统
CN108877801B (zh) 基于多模态情绪识别系统的多轮对话语义理解子系统
CN108805087B (zh) 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108805089B (zh) 基于多模态的情绪识别方法
CN108805088B (zh) 基于多模态情绪识别系统的生理信号分析子系统
CN116844080B (zh) 疲劳程度多模态融合检测方法、电子设备及存储介质
Zhu et al. A review of key technologies for emotion analysis using multimodal information
CN112800998A (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
CN112766173A (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
CN107066514A (zh) 老年人的情绪识别方法和系统
CN110490239A (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN111666845A (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN115424108B (zh) 一种基于视听融合感知的认知功能障碍评测方法
CN115414042B (zh) 基于情感信息辅助的多模态焦虑检测方法及装置
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
Yadav et al. Review on automated depression detection from audio visual clue using sentiment analysis
Du et al. A novel emotion-aware method based on the fusion of textual description of speech, body movements, and facial expressions
Rathi et al. Personalized health framework for visually impaired
CN116824439B (zh) 结合视频与量表的疲劳检测方法、电子设备及存储介质
Zhu et al. Emotion Recognition of College Students Based on Audio and Video Image.
CN116959061B (zh) 基于视频处理疲劳检测方法、电子设备及存储介质
CN116127286A (zh) 基于轻量级残差卷积胶囊网络的脑电情感识别检测方法及其系统
Chyan et al. Emotion Recognition from Human Speech Using Linguistic and Paralinguistic Features Through a Soft Voting Approach
Gao Exploring key technologies for multimodal emotion recognition: Research and application analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant