CN114897024A - 一种基于深度学习的注意力检测方法 - Google Patents

Abstract

一种基于深度学习的注意力检测方法，包括以下步骤：优化参数a和r；人脸图像I(t)输入深度神经网络，输出视线方向{pitch(t)，yaw(t)}；计算注意力A(t)＝|pitch(t)^a+yaw(t)^a|^r；经对A(t)滤波和平滑得到注意力信号L(t)。

Description

一种基于深度学习的注意力检测方法

技术领域

本发明属于深度学习领域，具体是一种利用深度学习网络得到的视线方向来获取注意力信号。

背景技术

注意是人类的一种心理活动，是对一定对象的指向和集中；注意力就是将心理活动指向和集中于一定对象的能力。注意力是调控信息进入意识中心的门户，对注意力的精密感知和有效控制，是个体提高学习和工作效率﹑缓解压力﹑改善情绪和发现异常的有效方法。

当前，注意力检测的方法包括问卷法、基于脑电信号的方法和基于虚拟现实的方法，这些方法要么不能定量，要么硬件要求较高，要么硬件要求复杂，还没有一种不受头部姿态影响的，非侵入的，客观的，实时的检查方法。

发明内容

本发明的目的是提供一种不受头部姿态影响的，非侵入的，客观的，实时的检查方法。

为达到上述目的，本发明所述的一种基于深度学习的注意力检测方法，包括以下步骤：

步骤一，优化参数a和r；

步骤二，人脸图像I(t)输入深度神经网络，输出视线方向{pitch(t)，yaw(t)}；

步骤三，按照以下公式计算注意力：

A(t)＝|pitch(t)^a+yaw(t)^a|^r；

步骤四，经对A(t)滤波得到B(t)，经对B(t)平滑得到注意力信号L(t)。

本发明的步骤一中，优化参数a和r，具体采用以下步骤：

步骤一，采集人脸图像I(t)，初始化参数k＝1,a₀＝0,r₀＝0,△a＝0.1,△r＝0.02；

步骤二，人脸图像I(t)输入深度神经网络，得到视线方向{pitch(t)，yaw(t)}；

步骤三，采用下式计算a、r参数：

a_k＝a_k-1+Δa,r_k＝r_k-1+Δr；

步骤四，采用下式计算注意力：

步骤五，采用下式计算信噪比：

SNR＝10log₁₀[(∑A₀(t)²)/|∑A(t)²-∑A(t)²|]，

其中，参考信号为：

A₀(t)＝0.5sin(0.5πt)+0.5；

步骤六，判断SNR是否大于15dB，如果是，输出优化的参数a、b，否则，k＝k+1，并进入步骤三。

本发明的步骤三中，计算注意力的公式为：

A(t)＝|pitch(t)^a+yaw(t)^a|^r

其中，a和r受成像系统的焦距、工作距离、像差和球差等因素的影响，优化后可提高测量精度。

本发明的步骤四中，经对A(t)滤波和平滑得到注意力信号L(t)，具体采用以下步骤：

步骤一，对A(t)采用卡尔曼滤波得到B(t)；

步骤二，对B(t)经Savitzky-Golay滤波器平滑得到注意力信号L(t)。

附图说明

图1为本专利的流程图；

图2为优化参数a和r的流程图；

图3为注意力检测的装置图；

图4为深度学习网络的结构图；

图5为注意力原始信号A(t)；

图6为A(t)经卡尔曼滤波后的信号B(t)；

图7为B(t)经平滑后的信号。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

一种基于深度学习的注意力检测具体实施如图3所示，包括电脑PC和摄像头。PC机硬件环境为Intel(R)Core(TM)i9-9900K、NVIDIA GTX1080Ti、DDR4 16GB和500GB硬盘；软件环境Ubuntu16.04操作系统、Python3.7.4和Pytorch1.4.0深度学习框架。摄像头的帧率为20fps，分辨率为1280*720。

摄像头置于电脑显示器上边缘，参与者在距离屏幕大约60cm处，在自然的坐姿下注视屏幕。

基于深度学习的注意力检测流程如图1所示，包括以下步骤：

步骤一，按照如图2的流程优化参数a和r：初始时刻，注视点在屏幕正中，在水平方向匀速移动，先右后左地，保证一个周期4秒；优化参数的典型值为a＝2,b＝0.8；

步骤二，人脸图像I(t)输入至如图4所示的DenseNet-88深度学习网络，得到视线方向{pitch(t)，yaw(t)}；

步骤三，按照以下公式计算注意力：

A(t)＝|pitch(t)^a+yaw(t)^a|^r

得到的信号如图5所示的注意力原始信号，该信号不可避免地包含了噪声和畸变；

步骤四，经对A(t)信号进行卡尔曼滤波得到B(t)如图6所示；

步骤五，经对B(t)进行Savitzky-Golay平滑得到注意力信号L(t)如图7所示。

Claims (4)

1.一种基于深度学习的注意力检测方法，其特征在于，包括以下步骤：

步骤一，优化参数a和r；

步骤二，人脸图像I(t)输入深度神经网络，该网络输出视线方向{pitch(t)，yaw(t)}；

步骤三，按照以下公式计算注意力：

A(t)＝|pitch(t)^a+yaw(t)^a|^r；

步骤四，经对A(t)滤波得到B(t)，经对B(t)平滑得到注意力信号L(t)。

2.根据权利要求1所述的一种基于深度学习的注意力检测方法，其特征在于，步骤一中优化参数a和r，具体采用以下步骤：

步骤一，采集人脸图像I(t)，初始化参数k＝1,a₀＝0,r₀＝0,△a＝0.1,△r＝0.02；

步骤二，人脸图像I(t)输入深度神经网络，得到视线方向{pitch(t)，yaw(t)}；

步骤三，采用下式计算a、r参数：

a_k＝a_k-1+Δa,r_k＝r_k-1+Δr；

步骤四，采用下式计算注意力：

步骤五，采用下式计算信噪比：

SNR＝10log₁₀[(∑A₀(t)²)/∑A(t)²-∑A(t)²|]，

其中，参考信号为：

A₀(t)＝0.5sin(0.5πt)+0.5；

步骤六，判断SNR是否大于15dB，如果是，输出优化的参数a、b，否则，

k＝k+1，并进入步骤三。

3.根据权利要求1所述的一种基于深度学习的注意力检测方法，其特征在于，步骤三中计算注意力的公式为：

A(t)＝|pitch(t)^a+yaw(t)^a|^r

其中，a和r受成像系统的焦距、工作距离、像差和球差等因素的影响，优化后可提高测量精度。

4.根据权利要求1所述的一种基于深度学习的注意力检测方法，其特征在于，步骤四中经对A(t)滤波和平滑得到注意力信号L(t)，具体采用以下步骤：

步骤一，对A(t)采用卡尔曼滤波得到B(t)；

步骤二，对B(t)经Savitzky-Golay滤波器平滑得到注意力信号L(t)。

Images