CN112790750A - 一种基于视频眼动和心率分析的恐惧紧张情绪识别方法 - Google Patents
一种基于视频眼动和心率分析的恐惧紧张情绪识别方法 Download PDFInfo
- Publication number
- CN112790750A CN112790750A CN201911107613.4A CN201911107613A CN112790750A CN 112790750 A CN112790750 A CN 112790750A CN 201911107613 A CN201911107613 A CN 201911107613A CN 112790750 A CN112790750 A CN 112790750A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- video
- fear
- eye movement
- emotion recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004424 eye movement Effects 0.000 title claims abstract description 23
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012706 support-vector machine Methods 0.000 claims abstract description 10
- 210000004369 blood Anatomy 0.000 claims description 16
- 239000008280 blood Substances 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002996 emotional effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000010521 absorption reaction Methods 0.000 claims description 5
- 230000017531 blood circulation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000008560 physiological behavior Effects 0.000 claims description 3
- 230000033764 rhythmic process Effects 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims 1
- 210000002837 heart atrium Anatomy 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 238000010187 selection method Methods 0.000 abstract description 7
- 238000012549 training Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000010998 test method Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 210000001519 tissue Anatomy 0.000 description 6
- 230000010247 heart contraction Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 208000000059 Dyspnea Diseases 0.000 description 3
- 206010013975 Dyspnoeas Diseases 0.000 description 3
- 206010033557 Palpitations Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000012843 least square support vector machine Methods 0.000 description 3
- 206010033664 Panic attack Diseases 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004087 circulation Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000019906 panic disease Diseases 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 208000013220 shortness of breath Diseases 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010003497 Asphyxia Diseases 0.000 description 1
- 206010008479 Chest Pain Diseases 0.000 description 1
- 206010008469 Chest discomfort Diseases 0.000 description 1
- 206010008590 Choking sensation Diseases 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 206010012422 Derealisation Diseases 0.000 description 1
- 208000037490 Medically Unexplained Symptoms Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010000059 abdominal discomfort Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 208000035824 paresthesia Diseases 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Developmental Disabilities (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Data Mining & Analysis (AREA)
- Cardiology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Physiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，利用视频中人眼动以及远距离非接触式心率估计相结合的方式，提出将Relief特征选择法用于该两种生理信号的优化选择分析。最后分别采用k近邻(kNN)算法和最小乘支持向量机(LS‑SVM)算法进行人员的恐惧紧张精神状态的识别和判断，本发明涉及视频分析技术领域。该基于视频眼动和心率分析的恐惧紧张情绪识别方法，能够解决现有技术中的异常情绪识别方法受检测人配合程度制约、测试方法不隐秘和测试效率低的问题，通过眼动数据分析引入的异常数据处理机制，提高了算法效率，并采用特征选择方法，降低了特征维度，在改善训练时间的同时，有效提高类似犯罪知情者的异常情绪识别。
Description
技术领域
本发明涉及视频分析技术领域，具体涉及一种基于视频的眼动数据分析以及非接触式心率分析的恐惧紧张情绪识别方法。
背景技术
恐惧紧张情绪是一种人在生活表现出对特殊场景以及目标的负面情绪，恐惧是指人们在面临某种危险情境，企图摆脱而又无能为力时所产生的担惊受怕的一种强烈压抑情绪体验，恐惧心理就是平常所说的“害怕”，按照凯利的观点，恐惧类似威胁但在程度上较轻，当一个人的建构系统的边缘要素而不是核心建构被证明无效时，恐惧就会产生，躯体症状多系交感神经出现反应性症状，如气短，气促，心慌等。
目前，利用生理信号参数进行人的特定情绪状态识别的结果更为客观真实，但，由于基于生理信号的采集都基于接触式设备，需要在受检人员身上带上各种生理指标采集设备，所以，由于涉及到人身自由和隐私，该方式很难得到普遍应用。
Pichard带领的MIT实验室记录了五种生理参数，提取了40种特征，探索基于多生理参数进行情绪识别的可行性，Kim利用音频材料以及视频片段作为诱发材料，采集200被试的四种生理参数，采用支持向量机算法来对四种情绪进行分类识别，发现利用同样的算法当情绪识别种类增加时，识别率有所下降，这些方法在多特征优化处理时，在保证识别准确率的同时，降低整个识别算法模型的复杂度，但是，这些算法往往占据更大的计算资源，对于恐惧紧张的识别判断，目前多集中于问卷和观察的方式，但，该方式不利用用于人机交互以及公共安全场景下对人恐惧紧张情绪的捕获。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，利用视频中人眼动以及远距离非接触式心率估计相结合的方式，提出将Relief特征选择法用于该两种生理信号的优化选择分析，最后分别采用k近邻(kNN)算法和最小乘支持向量机(LS-SVM)算法进行人员的恐惧紧张精神状态的识别和判断。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，具体包括以下步骤：
S1、拍摄采集受测者正对镜头的视频样本；
S2、首先检测人脸以及眼部所在位置，利用已训练好的深度卷积神经网络（DCNN）进行视线方向的估计，输出人脸在三维世界下的视线方向估计，得到视线方程；
S3、检测人脸额头天庭位置，采用rPPG远程光电体积扫描技术进行远距离非接触式心率估计，rPPG利用反射的周围光来测量皮肤的细微亮度变化，而皮肤的细微亮度变化是因为心脏跳动导致了血液流动，因此，通过rPPG技术能够得到类似血容量脉搏（BVP）的信号，此信号用于预测心率，具体地，当一定波长的光照到活体皮肤的表面，光将通过反射或透射传送出人体皮肤表面，在这个过程里，光因为受了血液、组织、肌肉和皮肤的吸收，强度会发生减弱，皮肤、组织、肌肉对特定的波长光的吸收在血液的循环中保持恒定不变，仅由皮肤内血液容积随心脏跳动导致光强的吸收呈现出搏动性的变化，由于人体组织所吸收的光没有血容量对光的吸收多，因此血容量的变化将由从皮肤表面反射或透射出来的光强度变化来反映，然后提出基于深度学习的心率估计模型；
S4、将步骤S1至步骤S3得到眼部位置信息以及心率特征信息向量输入Relief-SVM算法框架中进行处理；
S5、恐惧紧张情绪特征分类，恐惧紧张的特征提取是根据恐惧状态设计任务范式，如基于虚拟现实的模拟跳伞任务、观看恐怖动感电影等，并全程记录被试人员的面部情感特征和生理行为特征。
优选的，所述步骤S3中的rPPG技术具体为：假设实验环境的光照强度恒定，设为常量
，血液容积对自然光强度的吸收量为
，通过摄像头拍摄观测得到的光强度为
，可以得到： 
其中，
和
具有相同的周期和频率，所以理论上可以通过摄像头检测人脸区域特定波长的光强度的周期性变化，实现人体心率的测量。
优选的，所述步骤S3中提出的基于深度学习的心率估计模型对于一段人脸视频序列的处理过程如下：
a1、首先将其分割成多段短视频序列，对每段短视频中的人脸进行对齐操作；
a2、然后，从步骤a1对齐人脸序列中提出时空特征，每一段时空特征图表示心律信号；
a3、使用这些心律信号作为输入，通过一个训练好的卷积神经网络，用来预测每个短视频中人的心率；
a4、最后用所有短视频片段的平均心率作为该段视频的输出心率。
优选的，所述步骤S4中Relief-SVM算法框架的处理步骤为：
b1、初始化特征权重值；
b2、利用Relief计算出每个维度的特征的权重，淘汰掉权重值较小的特征；
b3、 将选择后的特征向量利用分类器进行分类计算；
b4、 得到分类结果，并与实际结果进行比对，计算识别率；
b5、调整参数，直到取得最优识别率，最终完成算法模型。
优选的，所述步骤S4中Relef算法的输入和输出为属性值向量和样本量，输出为对每个属性的权值估计的流程如下：
设初始权值向量W[A]=0；
For i =1:m do begin；
随机选择一个样本R；
找到同类最近点H和非同类最近点M；
Or A=1；特征维度 do
W[A]= W[A]–diff(A,R,H)/m+diff(A,R,M)/m
End。
优选的，所述步骤S4中SVM算法是采用核函数为高斯核函数的最小二乘支持向量机算法。
（三）有益效果
本发明提供了一种基于视频眼动和心率分析的恐惧紧张情绪识别方法。与现有技术相比具备以下有益效果：该基于视频眼动和心率分析的恐惧紧张情绪识别方法，通过利用视频中人眼动以及远距离非接触式心率估计相结合的方式，提出将Relief特征选择法用于该两种生理信号的优化选择分析。最后分别采用k近邻(kNN)算法和最小乘支持向量机(LS-SVM)算法进行人员的恐惧紧张精神状态的识别和判断，能够解决现有技术中的异常情绪识别方法受检测人配合程度制约、测试方法不隐秘和测试效率低的问题，通过眼动数据分析引入的异常数据处理机制，大大提高了算法效率，并采用特征选择方法，降低了特征维度，在改善训练时间的同时，有效提高类似犯罪知情者的异常情绪识别，方法巧妙新颖，具有良好的应用前景。
附图说明
图1为本发明视频数据采集的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种技术方案：一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，具体包括以下步骤：
S1、拍摄采集受测者正对镜头的视频样本；
S2、首先检测人脸以及眼部所在位置，利用已训练好的深度卷积神经网络（DCNN）进行视线方向的估计，输出人脸在三维世界下的视线方向估计，得到视线方程；
S3、检测人脸额头天庭位置，采用rPPG远程光电体积扫描技术进行远距离非接触式心率估计，rPPG利用反射的周围光来测量皮肤的细微亮度变化，而皮肤的细微亮度变化是因为心脏跳动导致了血液流动，因此，通过rPPG技术能够得到类似血容量脉搏（BVP）的信号，此信号用于预测心率，具体地，当一定波长的光照到活体皮肤的表面，光将通过反射或透射传送出人体皮肤表面，在这个过程里，光因为受了血液、组织、肌肉和皮肤的吸收，强度会发生减弱，皮肤、组织、肌肉对特定的波长光的吸收在血液的循环中保持恒定不变，仅由皮肤内血液容积随心脏跳动导致光强的吸收呈现出搏动性的变化，由于人体组织所吸收的光没有血容量对光的吸收多，因此血容量的变化将由从皮肤表面反射或透射出来的光强度变化来反映，然后提出基于深度学习的心率估计模型；
S4、将步骤S1至步骤S3得到眼部位置信息以及心率特征信息向量输入Relief-SVM算法框架中进行处理，Relief算法是一种计算量小的特征选择算法。通过选择与数据总体相关性高的特征，使特征维数得到了降低，这种算法分别为每维特征赋予相应的权值，并以此表征与类别的相关性。
Relief算法从训练样本中随机选择m个样本，计算假设间隔，并进行累加，作为最后特征每个维度的权值，样本x中某维特征p的权值的更新为：
若p离散，则
若p连续，则
其中，max(p), min(p)分别是p的上界和下界；
S5、恐惧紧张情绪特征分类，恐惧紧张的特征提取是根据恐惧状态设计任务范式，如基于虚拟现实的模拟跳伞任务、观看恐怖动感电影等，并全程记录被试人员的面部情感特征和生理行为特征。
本发明，步骤S3中的rPPG技术具体为：假设实验环境的光照强度恒定，设为常量
，血液容积对自然光强度的吸收量为
，通过摄像头拍摄观测得到的光强度为
，可以得到： 
其中，
和
具有相同的周期和频率，所以理论上可以通过摄像头检测人脸区域特定波长的光强度的周期性变化，实现人体心率的测量。
本发明，步骤S3中提出的基于深度学习的心率估计模型对于一段人脸视频序列的处理过程如下：
a1、首先将其分割成多段短视频序列，对每段短视频中的人脸进行对齐操作；
a2、然后，从步骤a1对齐人脸序列中提出时空特征，每一段时空特征图表示心律信号；
a3、使用这些心律信号作为输入，通过一个训练好的卷积神经网络，用来预测每个短视频中人的心率；
a4、最后用所有短视频片段的平均心率作为该段视频的输出心率。
本发明，步骤S4中Relief-SVM算法框架的处理步骤为：
b1、初始化特征权重值；
b2、利用Relief计算出每个维度的特征的权重，淘汰掉权重值较小的特征；
b3、 将选择后的特征向量利用分类器进行分类计算；
b4、 得到分类结果，并与实际结果进行比对，计算识别率；
b5、调整参数，直到取得最优识别率，最终完成算法模型。
本发明，步骤S4中Relef算法的输入和输出为属性值向量和样本量，输出为对每个属性的权值估计的流程如下：
设初始权值向量W[A]=0；
For i =1:m do begin；
随机选择一个样本R；
找到同类最近点H和非同类最近点M；
Or A=1；特征维度 do
W[A]= W[A]–diff(A,R,H)/m+diff(A,R,M)/m
End。
本发明，步骤S4中SVM算法是采用核函数为高斯核函数的最小二乘支持向量机算法，SVM算法支持向量机算法在非线性，高维，小样本数据的处理上具有独特的优势，支持向量机的基本思想就是将在N维空间中难以划分的样本点，在高维的空间中，通过找到一个最有利于分类的平面，来把不同类别的样本点区分开来，而最小二乘支持向量机算法不仅具有经典支持向量机的特点，且还有计算效率高和所需计算资源少等优点，同时，支持向量机算法中利用核函数来提高计算效率，因此，本发明采用核函数为高斯核函数的最小二乘支持向量机算法。
针对恐怖状态，本发明依据美国精神病学协会出版的《精神疾病诊断与统计手册(第五版)》（DSM-5）手册定义的惊恐发作标准制定自我评估量化表和他人评估量化表，DSM-5将惊恐发作定义为突然发生的强烈的害怕或强烈的不适感，在几分钟内达到高峰，在此期间至少出现下列 4 项及以上症状：1、心悸、心慌或心率加速；2、出汗；3、震颤或发抖；4、气短或窒息；5、哽噎感；6、胸痛或胸部不适；7、恶心或腹部不适；8、感到头昏、脚步不稳、头重脚轻或昏厥；9、发冷或发热感；10、皮肤感觉异常，如麻木或针刺感；11、现实解体(感觉不真实)或人格解体(感觉脱离了自己)；12、害怕失去控制或"发疯"；13濒死感。
本发明中视频数据采集装置如下： 所采用的视频的拍摄在室内进行，由透过窗户照射的阳光来照明，参与者3坐在一台有内置摄像头1的笔记本电脑2前40到50厘米左右的位置，静静而坐，自然地呼吸，面对着摄像头进行拍摄以24位RGB真彩色、15帧/秒的帧速、1920×1080的像素分辨率视频采集，并通过测量仪器4进行测量。
综上所述
本发明通过利用视频中人眼动以及远距离非接触式心率估计相结合的方式，提出将Relief特征选择法用于该两种生理信号的优化选择分析。最后分别采用k近邻(kNN)算法和最小乘支持向量机(LS-SVM)算法进行人员的恐惧紧张精神状态的识别和判断，能够解决现有技术中的异常情绪识别方法受检测人配合程度制约、测试方法不隐秘和测试效率低的问题，通过眼动数据分析引入的异常数据处理机制，大大提高了算法效率，并采用特征选择方法，降低了特征维度，在改善训练时间的同时，有效提高类似犯罪知情者的异常情绪识别，方法巧妙新颖，具有良好的应用前景。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，其特征在于：具体包括以下步骤：
S1、拍摄采集受测者正对镜头的视频样本；
S2、首先检测人脸以及眼部所在位置，利用已训练好的深度卷积神经网络进行视线方向的估计，输出人脸在三维世界下的视线方向估计，得到视线方程；
S3、检测人脸额头天庭位置，采用rPPG远程光电体积扫描技术进行远距离非接触式心率估计，rPPG利用反射的周围光来测量皮肤的细微亮度变化，而皮肤的细微亮度变化是因为心脏跳动导致了血液流动，因此，通过rPPG技术能够得到类似血容量脉搏（BVP）的信号，此信号用于预测心率，然后提出基于深度学习的心率估计模型；
S4、将步骤S1至步骤S3得到眼部位置信息以及心率特征信息向量输入Relief-SVM算法框架中进行处理；
S5、恐惧紧张情绪特征分类，恐惧紧张的特征提取是根据恐惧状态设计任务范式，并全程记录被试人员的面部情感特征和生理行为特征。
2.根据权利要求1所述的一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，其特征在于：所述步骤S3中的rPPG技术具体为：假设实验环境的光照强度恒定，设为常量
，血液容积对自然光强度的吸收量为
，通过摄像头拍摄观测得到的光强度为
，可以得到：
其中，
和
具有相同的周期和频率。
3.根据权利要求1所述的一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，其特征在于：所述步骤S3中提出的基于深度学习的心率估计模型对于一段人脸视频序列的处理过程如下：
a1、首先将其分割成多段短视频序列，对每段短视频中的人脸进行对齐操作；
a2、然后，从步骤a1对齐人脸序列中提出时空特征，每一段时空特征图表示心律信号；
a3、使用这些心律信号作为输入，通过一个训练好的卷积神经网络，用来预测每个短视频中人的心率；
a4、最后用所有短视频片段的平均心率作为该段视频的输出心率。
4.根据权利要求1所述的一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，其特征在于：所述步骤S4中Relief-SVM算法框架的处理步骤为：
b1、初始化特征权重值；
b2、利用Relief计算出每个维度的特征的权重，淘汰掉权重值较小的特征；
b3、 将选择后的特征向量利用分类器进行分类计算；
b4、 得到分类结果，并与实际结果进行比对，计算识别率；
b5、调整参数，直到取得最优识别率，最终完成算法模型。
5.根据权利要求1所述的一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，其特征在于：所述步骤S4中Relef算法的输入和输出为属性值向量和样本量，输出为对每个属性的权值估计的流程如下：
设初始权值向量W[A]=0；
For i =1:m do begin；
随机选择一个样本R；
找到同类最近点H和非同类最近点M；
Or A=1，特征维度 do；
W[A]= W[A]–diff(A,R,H)/m+diff(A,R,M)/m；
End。
6.根据权利要求1所述的一种基于视频眼动和心率分析的恐惧紧张情绪识别方法，其特征在于：所述步骤S4中SVM算法是采用核函数为高斯核函数的最小二乘支持向量机算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911107613.4A CN112790750A (zh) | 2019-11-13 | 2019-11-13 | 一种基于视频眼动和心率分析的恐惧紧张情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911107613.4A CN112790750A (zh) | 2019-11-13 | 2019-11-13 | 一种基于视频眼动和心率分析的恐惧紧张情绪识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112790750A true CN112790750A (zh) | 2021-05-14 |
Family
ID=75803144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911107613.4A Withdrawn CN112790750A (zh) | 2019-11-13 | 2019-11-13 | 一种基于视频眼动和心率分析的恐惧紧张情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112790750A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113827240A (zh) * | 2021-09-22 | 2021-12-24 | 北京百度网讯科技有限公司 | 情绪分类方法和情绪分类模型的训练方法、装置及设备 |
| CN113935424A (zh) * | 2021-10-21 | 2022-01-14 | 中国银行股份有限公司 | 一种异常业务预测方法及装置 |
| CN114617554A (zh) * | 2022-02-18 | 2022-06-14 | 国网浙江省电力有限公司湖州供电公司 | 一种基于抢修服务坐席员业务能力考评的辅助方法及装置 |
| CN116595423A (zh) * | 2023-07-11 | 2023-08-15 | 四川大学 | 一种基于多特征融合的空中交通管制员认知负荷评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103561635A (zh) * | 2011-05-11 | 2014-02-05 | 谷歌公司 | 视线追踪系统 |
| US20140112556A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
| US20150031965A1 (en) * | 2013-07-26 | 2015-01-29 | Tata Consultancy Services Limited | Monitoring physiological parameters |
| CN109199412A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
| CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
-
2019
- 2019-11-13 CN CN201911107613.4A patent/CN112790750A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103561635A (zh) * | 2011-05-11 | 2014-02-05 | 谷歌公司 | 视线追踪系统 |
| US20140112556A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
| US20150031965A1 (en) * | 2013-07-26 | 2015-01-29 | Tata Consultancy Services Limited | Monitoring physiological parameters |
| CN109199412A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
| CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113827240A (zh) * | 2021-09-22 | 2021-12-24 | 北京百度网讯科技有限公司 | 情绪分类方法和情绪分类模型的训练方法、装置及设备 |
| CN113827240B (zh) * | 2021-09-22 | 2024-03-22 | 北京百度网讯科技有限公司 | 情绪分类方法和情绪分类模型的训练方法、装置及设备 |
| CN113935424A (zh) * | 2021-10-21 | 2022-01-14 | 中国银行股份有限公司 | 一种异常业务预测方法及装置 |
| CN114617554A (zh) * | 2022-02-18 | 2022-06-14 | 国网浙江省电力有限公司湖州供电公司 | 一种基于抢修服务坐席员业务能力考评的辅助方法及装置 |
| CN116595423A (zh) * | 2023-07-11 | 2023-08-15 | 四川大学 | 一种基于多特征融合的空中交通管制员认知负荷评估方法 |
| CN116595423B (zh) * | 2023-07-11 | 2023-09-19 | 四川大学 | 一种基于多特征融合的空中交通管制员认知负荷评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112790750A (zh) | 一种基于视频眼动和心率分析的恐惧紧张情绪识别方法 | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| Sharma et al. | Modeling stress using thermal facial patterns: A spatio-temporal approach | |
| JP2004529702A (ja) | ポリグラフ検査のための熱画像解析 | |
| Rigas et al. | Current research in eye movement biometrics: An analysis based on BioEye 2015 competition | |
| Zhang et al. | Exercise fatigue detection algorithm based on video image information extraction | |
| Harati et al. | Discriminating clinical phases of recovery from major depressive disorder using the dynamics of facial expression | |
| Nie et al. | SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition | |
| Rigas et al. | Towards a multi-source fusion approach for eye movement-driven recognition | |
| Liu et al. | Learning temporal similarity of remote photoplethysmography for fast 3D mask face presentation attack detection | |
| Das et al. | Iris recognition performance in children: A longitudinal study | |
| Tarmizi et al. | A review of facial thermography assessment for vital signs estimation | |
| He et al. | Remote photoplethysmography heart rate variability detection using signal to noise ratio bandpass filtering | |
| Muender et al. | Extracting heart rate from videos of online participants | |
| Mirabet-Herranz et al. | Lvt face database: A benchmark database for visible and hidden face biometrics | |
| Kuzu et al. | Gender-specific characteristics for hand-vein biometric recognition: Analysis and exploitation | |
| Hsieh et al. | The emotion recognition system with Heart Rate Variability and facial image features | |
| Zheng | Static and dynamic analysis of near infra-red dorsal hand vein images for biometric applications | |
| KR20240117999A (ko) | 집중력의 시계열적 특성을 이용하여 전처리된 집중력 점수 기반으로 사용자의 집중력을 판단하는 방법 | |
| Mohammadi et al. | Two-step deep learning for estimating human sleep pose occluded by bed covers | |
| Li | Biometric Person Identification Using Near-infrared Hand-dorsa Vein Images | |
| Tarbox et al. | Motion correction for improved estimation of heart rate using a visual spectrum camera | |
| Al-Yoonus et al. | Video-Based Discrimination of Genuine and Counterfeit Facial Features Leveraging Cardiac Pulse Rhythm Signals in Access Control Systems. | |
| CN107016372A (zh) | 基于神经网络的人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210514 |