CN112597949B - 一种基于视频的心理压力测量方法及其系统 - Google Patents

Abstract

本申请公开了一种基于视频的心理压力测量方法及其系统，其中，基于视频的心理压力测量方法，包括如下步骤：接收待测量视频；利用人脸检测算法对待测量视频进行人脸检测，检测到人脸后，选取人脸特征点；根据人脸特征点动态选取感兴趣区域位置；计算感兴趣区域位置内像素各通道亮度值，获取PPG波形；对PPG波形进行预处理，得到处理后PPG波形；对处理后PPG波形进行处理，提取处理后PPG波形的多个特征；将处理后PPG波形的多个特征输入进预先训练好的机器学习模型中进行认知负载程度分类，给出分类结果，实现认知负载测量。本申请具有能够通过视频远程对人的心理压力进行实时、非接触式测量，且可靠性高的技术效果。

Description

一种基于视频的心理压力测量方法及其系统

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于视频的心理压力测量方法及其系统。

背景技术

测量认知负载需要采集人的生理信号，通常情况下，测量人的皮电、心电、脑电、乃至指夹PPG信号都需要使用接触式的测量，并且需要为测试者佩戴很多复杂的设备(例如：可穿戴设备、指夹等)，但被测试者的行为习惯、操作熟练程度都会对结果产生较大的影响，准确率较低。

目前已有的认知负载测量方法还有通过反应时长来进行测量，即通过被测试者每个实验步骤的反应时长来推测被测试者当前的认知负载程度，但通过反映时长测量这种方法受主观因素影响较大。

在PPG波形分析上，目前已有通过心率变异性(HRV)来进行认知负载测量。采用通过心率变异性远程测量人的认知负载的方法，由于在测量中存在误差，并且由于其计算心率等特征数值时需要采用一整段(两分钟)的数据进行计算，分类的实时性和有效性有所欠缺，比如数据长度较短时(十秒以内)则无法计算。并且心率变异性受身体生理和心理变化影响较大，可靠性不强。

发明内容

本申请的目的在于提供一种基于视频的心理压力测量方法及其系统，具有能够通过视频远程对人的心理压力进行实时、非接触式测量，且可靠性高的技术效果。

为达到上述目的，本申请提供一种基于视频的心理压力测量方法，包括如下步骤：接收待测量视频；利用人脸检测算法对待测量视频进行人脸检测，检测到人脸后，选取人脸特征点；根据人脸特征点动态选取感兴趣区域位置；计算感兴趣区域位置内像素各通道亮度值，获取PPG波形；对PPG波形进行预处理，得到处理后PPG波形；对处理后PPG波形进行处理，提取处理后PPG波形的多个特征；将处理后PPG波形的多个特征输入进预先训练好的机器学习模型中进行认知负载程度分类，给出分类结果，实现认知负载测量。

如上的，其中，对PPG波形进行的预处理，得到处理后PPG波形的子步骤如下：对PPG波形进行自适应滤波处理，获得待处理PPG波形；对待处理PPG波形进行平滑处理和归一化处理，获得处理后PPG波形。

如上的，其中，自适应滤波处理用于背景减除，消除光源本身的变化影响，对PPG波形进行自适应滤波处理，获得待处理PPG波形的公式如下：g_IR＝g_face-hg_bg＝s+(y-hg_bg)；其中，g_IR为理想无噪声人脸信号，作为待处理PPG波形；g_bg为背景噪声；g_face为原始带噪声数据，假定只考虑光照变化带来的噪声，则原始数据由两部分组成：g_face＝s+y，其中，s为心跳带来的信号，y为光照变化信号，h为自适应参数。

如上的，其中，完成人脸特征选取后，将每一帧的人脸特征点分为左脸区域的人脸特征点、右脸区域的人脸特征点和中间区域的人脸特征点。

如上的，其中，对每一帧中的左脸区域的人脸特征点和右脸区域的人脸特征点进行检测，并结合中间区域的人脸特征点对感兴趣区域位置进行选取。

如上的，其中，在选取感兴趣区域位置时，需要选择特定的几个人脸特征点拟合感兴趣区域位置的边界；由于人脸特征点的定位存在微小误差，因此在人脸位置发生变化时，采用人脸特征点的原位置和人脸特征点的新位置进行加权，并使用加权后的人脸特征点拟合感兴趣区域位置的边界。

如上的，其中，感兴趣区域位置内某个时刻的亮度值表达式如下：lp_i＝mean(x),x∈Left ROI或rp_i＝mean(x),x∈Right ROI；其中，lp_i为左脸区域的人脸特征点的亮度值；x为人脸特征点某个时刻的亮度值；mean(x)为x的均值；Left ROI为左脸区域的感兴趣区域位置；rp_i为右脸区域的人脸特征点的亮度值；Right ROI为右脸区域的感兴趣区域位置。

本申请还提供了一种基于视频的心理压力测量装置，包括：拍摄装置和处理装置；其中，拍摄装置：用于拍摄包含人脸的视频作为待测量视频，并将待测量视频输入至处理装置进行处理；处理装置：用于执行上述的基于视频的心理压力测量方法；对待测量视频进行处理，给出分类结果，实现认知负载测量。

如上的，其中，处理装置至少包括：人脸检测单元、PPG波形提取单元和机器学习模型；其中，人脸检测单元：用于对待测量视频进行人脸检测，获取人脸特征点；PPG波形提取单元：利用人脸特征点，获取处理后PPG波形，提取处理后PPG波形的特征，并将特征输入至机器学习模型；机器学习模型：对输入的特征进行认知负载程度分类，给出分类结果，实现认知负载测量。

如上的，其中，人脸检测单元设置有人脸检测算法，通过人脸检测算法对待测量视频进行人脸检测，获取人脸特征点。

本申请实现的有益效果如下：

(1)本发明通过用人脸特征点选取特定ROI区域，在人脸位置变化时，实时追踪特征点对应的位置变化并更新ROI区域位置，获取人脸特定区域的亮度信息。

(2)ROI区域的选择和更新采用特征点的实时检测作为参考，并且使用平滑算法抑制抖动。

(3)本申请将ROI区域的大小位置作为参考信号，结合背景的RGB信息对ROI区域内的信号作自适应滤波。

(4)本申请通过建立人脸PPG信号特征求取算法和认知负载的实时评估模型实现认知负载测量。

(5)本申请的基于视频的心理压力测量方法及其系统属于非接触式测量方式，无需与被测试者接触即可实现实时准确的认知负载测量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为基于视频的心理压力测量装置一种实施例的结构示意图；

图2为基于视频的心理压力测量方法一种实施例的流程图；

图3为人脸特征点的分布示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本申请提供一种基于视频的心理压力测量装置，包括：拍摄装置1和处理装置2。

其中，拍摄装置1：用于拍摄包含人脸的视频作为待测量视频，并将待测量视频输入至处理装置进行处理。

处理装置2：用于执行下述的基于视频的心理压力测量方法；对待测量视频进行处理，给出分类结果，实现认知负载测量。

进一步的，处理装置2至少包括：人脸检测单元、PPG波形提取单元和机器学习模型。

其中，人脸检测单元：用于对待测量视频进行人脸检测，获取人脸特征点。进一步的，人脸检测单元设置有人脸检测算法，通过人脸检测算法对待测量视频进行人脸检测，获取人脸特征点。

PPG波形提取单元：利用人脸特征点，获取处理后PPG波形，提取处理后PPG波形的特征，并将特征输入至机器学习模型。

机器学习模型：对输入的特征进行认知负载程度分类，给出分类结果，实现认知负载测量。

如图2所示，本申请提供一种基于视频的心理压力测量方法，包括：

S1：接收待测量视频。

具体的，拍摄装置拍摄好包含人脸的视频后，将该视频作为待测量视频发送至处理装置进行处理，执行S2。

S2：利用人脸检测算法对待测量视频进行人脸检测，检测到人脸后，选取人脸特征点。

具体的，作为一个实施例，人脸检测算法采用开源库dlib对人脸特征点进行选取，但是不仅限于采用开源库dlib进行人脸特征点选取。完成人脸特征选取后，将每一帧的人脸特征点分为左脸区域的人脸特征点、右脸区域的人脸特征点和中间区域的人脸特征点。

其中，如图3所示，左脸区域的人脸特征点记为LP，包括点0-点6、点17-点21和点48；右脸区域的人脸特征点记为RP，包括点10-点16、点22-点26和点54；中间区域的人脸特征点记为MP，包括点27、点28、点29和点30。

S3：根据人脸特征点动态选取感兴趣区域位置(ROI，range ofinteresting)。

具体的，对每一帧中的LP和RP进行检测，并结合MP对ROI进行选取。由于人脸处于动态时，人脸特征点的位置也会随之变动，甚至向左或向右偏转较大时左右脸的ROI的区域位置大小都会发生改变，但求取面部PPG需要对特定区域ROI的RGB信号进行处理，因此需要动态选取特定ROI的算法作为支撑。

作为一个实施例，以选取的特定ROI为椭圆ROI为例进行说明。人脸特征点为{(x,y):(x,y)∈LP∪MP}，对人脸特征点为{(x,y):(x,y)∈LP∪MP}做椭圆拟合。

具体的，因为椭圆方程ax²+bxy+cy²+dx+ey+f＝0，令A＝[a,b,c,d,e]^T,X＝[x²,xy,y²,x,y]^T，故对人脸特征点{(x,y):(x,y)∈LP∪MP}进行椭圆拟合后的方程可表示为：A^TX＝1；

对A^TX＝1进行优化，优化后方程为：

min||A^Tx||²＝A^TXX^TAs.t.A^THA>0；

其中，A表示[a,b,c,d,e]^T；a、b、c、d、e均为椭圆方程中的系数；T为转置；s.t代表“使得……满足……”；H为常数矩阵；等价描述椭圆约束：4ac-b²>0。

对优化后方程进行计算，获得拟合参数以及椭圆的各参数(例如：几何中心、长短半轴和旋转角等)，并通过各参数对ROI的变化进行灵活的描述，从而使得选取的ROI能够更好的动态求取PPG。

进一步的，在选取感兴趣区域位置时，需要选择特定的几个人脸特征点拟合一个感兴趣区域位置的边界；由于人脸特征点的定位存在微小误差，因此在人脸位置发生变化时，采用人脸特征点的原位置和人脸特征点的新位置进行加权，并使用加权后的人脸特征点拟合感兴趣区域位置的边界，从而对由于定位误差获得的错误位置进行更新。

S4：计算感兴趣区域位置内像素各通道亮度值，获取PPG波形。

具体的，感兴趣区域位置内某个时刻的亮度值表达式如下：

lp_i＝mean(x),x∈Left ROI；

或

rp_i＝mean(x),x∈Right ROI；

其中，lp_i为左脸区域的人脸特征点的亮度值；x为人脸特征点某个时刻的亮度值；mean(x)为x的均值；Left ROI为左脸区域的感兴趣区域位置；rp_i为右脸区域的人脸特征点的亮度值；Right ROI为右脸区域的感兴趣区域位置。

将所有时刻的lp_i和rp_i连成时间序列即可获得左、右脸各自的PPG波形。

S5：对PPG波形进行预处理，得到处理后PPG波形。

进一步的，对PPG波形进行的预处理，得到处理后PPG波形的子步骤如下：

R1：对PPG波形进行自适应滤波处理，获得待处理PPG波形。

具体的，在波形处理阶段，将ROI大小位置变化也当作参考信号，结合背景噪声对ROI区域内的原始信号作自适应滤波处理，获得待处理PPG波形。

进一步的，自适应滤波处理用于背景减除，消除光源本身的变化影响，对PPG波形进行自适应滤波处理，获得待处理PPG波形的公式如下：

g_IR＝g_face-hg_bg＝s+(y-hg_bg)；

其中，g_IR为理想无噪声人脸信号，作为待处理PPG波形；g_bg为背景噪声；g_face为原始带噪声数据，假定只考虑光照变化带来的噪声，则原始数据由两部分组成：g_face＝s+y，其中，s为心跳带来的信号，y为光照变化信号，h为自适应参数。

即需要求最佳的h，使得y-hg_bg最小。考虑理想无噪人脸信号较带噪信号更光滑，求h使得g_IR的导数均方根最小，公式如下：

其中，记

且均为已知量，则有

由：

得

时，有：

其中，

为偏导数；σ为方差；h_opt为最优参数；t为时间。

R2：对待处理PPG波形进行平滑处理和归一化处理，获得处理后PPG波形。

S6：对处理后PPG波形进行处理，提取处理后PPG波形的多个特征。

S7：将处理后PPG波形的多个特征输入进预先训练好的机器学习模型中进行认知负载程度分类，给出分类结果，实现认知负载测量。

具体的，机器学习模型具有统计分析显著性高的特征，用于分类训练。本申请的机器学习模型建立在短时间的波形特征分析上，在实际使用中可以实现更加实时有效的判断，短时(5～15s)准确率可以达到80％左右。

本申请实现的有益效果如下：

(1)本发明通过用人脸特征点选取特定ROI区域，在人脸位置变化时，实时追踪特征点对应的位置变化并更新ROI区域位置，获取人脸特定区域的亮度信息。

(2)ROI区域的选择和更新采用特征点的实时检测作为参考，并且使用平滑算法抑制抖动。

(3)本申请将ROI区域的大小位置作为参考信号，结合背景的RGB信息对ROI区域内的信号作自适应滤波。

(4)本申请通过建立人脸PPG信号特征求取算法和认知负载的实时评估模型实现认知负载测量。

(5)本申请的基于视频的心理压力测量方法及其系统属于非接触式测量方式，无需与被测试者接触即可实现实时准确的认知负载测量。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于视频的心理压力测量方法，其特征在于，包括如下步骤：

接收待测量视频；

利用人脸检测算法对待测量视频进行人脸检测，检测到人脸后，选取人脸特征点；其中，人脸特征点分为：左脸区域的人脸特征点LP、右脸区域的人脸特征点RP和中间区域的人脸特征点MP；

根据人脸特征点动态选取感兴趣区域位置；

计算感兴趣区域位置内像素各通道亮度值，获取PPG波形；

对PPG波形进行预处理，得到处理后PPG波形；

对处理后PPG波形进行处理，提取处理后PPG波形的多个特征；

将处理后PPG波形的多个特征输入进预先训练好的机器学习模型中进行认知负载程度分类，给出分类结果，实现认知负载测量；

其中，对每一帧中的左脸区域的人脸特征点LP和右脸区域的人脸特征点RP进行检测，并结合中间区域的人脸特征点MP对感兴趣区域位置进行选取；

其中，感兴趣区域位置为椭圆感兴趣区域，人脸特征点为{(x,y):(x,y)∈LP∪MP}，对人脸特征点为{(x,y):(x,y)∈LP∪MP}做椭圆拟合；椭圆方程为ax²+bxy+cy²+dx+ey+f＝0，令A＝[a,b,c,d,e]^T,X＝[x²,xy,y²,x,y]^T，故对人脸特征点{(x,y):(x,y)∈LP∪MP}进行椭圆拟合后的方程为：A^TX＝1；

对A^TX＝1进行优化，优化后方程为：

min||A^Tx||²＝A^TXX^TAs.t.A^THA>0；

其中，A表示[a,b,c,d,e]^T；a、b、c、d、e均为椭圆方程中的系数；T为转置；s.t代表“使得……满足……”；H为常数矩阵；等价描述椭圆约束：4ac-b²>0；

对优化后方程进行计算，获得拟合参数以及椭圆的各参数，并通过各参数对感兴趣区域的变化进行描述，其中，各参数至少包括：几何中心、长短半轴和旋转角。

2.根据权利要求1所述的基于视频的心理压力测量方法，其特征在于，对PPG波形进行的预处理，得到处理后PPG波形的子步骤如下：

对PPG波形进行自适应滤波处理，获得待处理PPG波形；

对待处理PPG波形进行平滑处理和归一化处理，获得处理后PPG波形。

3.根据权利要求2所述的基于视频的心理压力测量方法，其特征在于，自适应滤波处理用于背景减除，消除光源本身的变化影响，对PPG波形进行自适应滤波处理，获得待处理PPG波形的公式如下：

g_IR＝g_face-hg_bg＝s+(y-hg_bg)；

其中，g_IR为理想无噪声人脸信号，作为待处理PPG波形；g_bg为背景噪声；g_face为原始带噪声数据，假定只考虑光照变化带来的噪声，则原始数据由两部分组成：g_face＝s+y，其中，s为心跳带来的信号，y为光照变化信号，h为自适应参数。

4.根据权利要求1所述的基于视频的心理压力测量方法，其特征在于，完成人脸特征选取后，将每一帧的人脸特征点分为左脸区域的人脸特征点、右脸区域的人脸特征点和中间区域的人脸特征点。

5.根据权利要求4所述的基于视频的心理压力测量方法，其特征在于，对每一帧中的左脸区域的人脸特征点和右脸区域的人脸特征点进行检测，并结合中间区域的人脸特征点对感兴趣区域位置进行选取。

6.根据权利要求1所述的基于视频的心理压力测量方法，其特征在于，在选取感兴趣区域位置时，需要选择特定的几个人脸特征点拟合感兴趣区域位置的边界；由于人脸特征点的定位存在微小误差，因此在人脸位置发生变化时，采用人脸特征点的原位置和人脸特征点的新位置进行加权，并使用加权后的人脸特征点拟合感兴趣区域位置的边界。

7.根据权利要求1所述的基于视频的心理压力测量方法，其特征在于，感兴趣区域位置内某个时刻的亮度值表达式如下：

lp_i＝mean(x),x∈Left ROI；

或

rp_i＝mean(x),x∈Right ROI；

其中，lp_i为左脸区域的人脸特征点的亮度值；x为人脸特征点某个时刻的亮度值；mean(x)为x的均值；Left ROI为左脸区域的感兴趣区域位置；rp_i为右脸区域的人脸特征点的亮度值；Right ROI为右脸区域的感兴趣区域位置。

8.一种基于视频的心理压力测量装置，其特征在于，包括：拍摄装置和处理装置；

其中，拍摄装置：用于拍摄包含人脸的视频作为待测量视频，并将待测量视频输入至处理装置进行处理；

处理装置：用于执行权利要求1-7中任意一项所述的基于视频的心理压力测量方法；对待测量视频进行处理，给出分类结果，实现认知负载测量。

9.根据权利要求8所述的基于视频的心理压力测量装置，其特征在于，所述处理装置至少包括：人脸检测单元、PPG波形提取单元和机器学习模型；

其中，人脸检测单元：用于对待测量视频进行人脸检测，获取人脸特征点；

PPG波形提取单元：利用人脸特征点，获取处理后PPG波形，提取处理后PPG波形的特征，并将特征输入至机器学习模型；

机器学习模型：对输入的特征进行认知负载程度分类，给出分类结果，实现认知负载测量。

10.根据权利要求9所述的基于视频的心理压力测量装置，其特征在于，人脸检测单元设置有人脸检测算法，通过人脸检测算法对待测量视频进行人脸检测，获取人脸特征点。

Images