CN109711239B - 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 - Google Patents
基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 Download PDFInfo
- Publication number
- CN109711239B CN109711239B CN201811057186.9A CN201811057186A CN109711239B CN 109711239 B CN109711239 B CN 109711239B CN 201811057186 A CN201811057186 A CN 201811057186A CN 109711239 B CN109711239 B CN 109711239B
- Authority
- CN
- China
- Prior art keywords
- model
- time
- sight
- head
- visual attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 16
- 210000003128 head Anatomy 0.000 claims description 54
- 210000001508 eye Anatomy 0.000 claims description 43
- 230000004438 eyesight Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 13
- 210000005252 bulbus oculi Anatomy 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 14
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于改进混合增量动态贝叶斯网络的视觉注意力检测方法，该方法融合头部、视线以及预测子模型来对其进行综合估计；在传统人眼模型的基础上对视线检测子模型进行改进，以提升识别速率增加对于不同测试者进行检测时的鲁棒性；针对极端姿态和动态场景下导致的数据缺失问题，提出了预测子模型，利用高斯协方差来度量两个时刻采样图片的相关性，从而有效改善当前时刻的误识别，降低了识别误差。其次就相关子模型进行描述，利用条件概率分别建立贝叶斯回归模型；并利用增量学习的方法来对模型的参数进行动态更新，用以提升模型整体对于新输入数据的适应性。
Description
技术领域
本发明属于图像处理与模式识别领域，特别是一种基于改进混合增量动态贝叶斯网络的视觉注意力检测方法。
背景技术
人眼视觉注意力(Visual focus of attention,VFOA)特指人眼视线所注意的方向及目标。其代表了一个人看的方向，包含丰富的信息，例如：这个人感兴趣的东西、正在做的事情等。这些信息对于人机交互、智能辅助驾驶、医学研究、心理学以及市场分析等领域都具有很高的应用价值。近年来，特别是在人机交互方面，视觉注意力作为一种输入方式来辅助其他指令，并判断面前的是用户还是其他人物障碍，从而实现智能仿生避障，受到学术界的广泛关注。国内外对视觉的注意力检测主要是针对视频监控序列，例如对视频会议监控中人物的注意力方向进行估计，从而通过分析其注意力关注点来达到辅助视频会议高效进行的效果，而VFOA在人机交互领域上的研究尚属于起步阶段。随着人工智能的发展，基于视觉注意力的检测技术也逐渐将视觉、推理以及情感等因素融入其中，构建全方位感知的智能时代，这也是近年来人工智能的一个发展趋势。因此，VFOA检测的研究不仅具有很深的理论价值，也具有广阔的应用前景。
目前对于动态场景以及自由头势下视觉注意力的检测主要存在两个问题尚需研究：正常用眼情况下，头部姿态偏转与视线方向一致，但是不排除方向不一致的情况，因此仅仅使用头部姿态来对视觉注意力进行检测识别率较低，可靠性不高；图像分辨率较低时的影响。在进行视线检测时，当分辨率较低时眼睛的宽度所占的像素数只有几十个像素，虹膜区域大概只有几个到十几个的像素，因此很难可靠地检测到连续的虹膜轮廓和眼角位置，导致视线方向的估计结果有所偏差。基于视线估计的注意力检测对于动态变化(头部自由旋转、距离变化)的鲁棒性较差。
针对上述问题，本文提出一种改进的混合增量动态贝叶斯网络模型(ImprovedHybrid Incremental Dynamic Bayesian Network,IHDBN)的VFOA检测方法。融合改进的视线估计、头部偏转和预测子模型建立混合贝叶斯视觉注意力检测模型，将构建的网络参数进行增量更新，从而提升模型对于环境的适应性。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种可获得较高识别率、对头部自由偏转具有较好的鲁棒性的基于改进混合增量动态贝叶斯网络的视觉注意力检测方法。本发明的技术方案如下：
一种基于改进混合增量动态贝叶斯网络的视觉注意力检测方法，其包括以下步骤：
S1，实时对人脸进行定位及预处理，并提取人脸、人眼关键特征点位置，建立三维人脸坐标及建立三维视线几何模型。
S2，提取人脸特征，并进行人脸特征定位，分别建立头部偏转估计子模型和视线估计子模型的贝叶斯回归后验概率模型。
S3，提出预测模型，通过协方差矩阵，利用t-1时刻对t时刻的视觉注意力进行估计。
S4，设置权重关系对步骤S2的视线估计模型、头部估计子模型以及步骤S3的预测子模型进行融合。
S5，利用增量学习的方法来对参数进行动态更新。
进一步的，所述建立三维人脸坐标具体包括：
通过RGB-D传感器获取头部位置，由此建立三维人脸坐标，以鼻底和嘴角中心的连线作为y轴；鼻底和鼻突方向作为z轴；右手定则确定x轴方向。
进一步的，所述建立三维视线几何模型具体包括：
S22:确定左外眼眦、右外眼眦、左内眼眦、左外眼眦、左瞳孔、右瞳孔特征点(xel,xer,iel,ier,pl,pr)位置，建立视线几何模型；
S23:利用步骤S22中的几何模型，得到眼球大小为c＝[(xer-rel)-(ier-iel)]/4，xel表示左外眼眦、xer表示右外眼眦、iel表示左内眼眦、ier表示右内眼眦，眼球中心到眉心距离表示为ml＝(se-xel)-c或者ml＝(se-iel)+c；
S24:利用三角余弦定理求得α、β。α表示右眼视线方向br的角度；同理，β表示左眼视线矢量bl的角度，其中，bl与br分别表示三维视线几何模型中左右眼视线方向矢量，左右眼视线方向矢量的交点即为视觉注意力的具体点位置，d为眉心到视觉注意力点的距离，ml、mr分别表示左右两眼球的中心到眉心的距离；
进一步的，所述将预处理后的人脸图像利用Haar-like矩形特征来检测人眼区域ROI，对得到的人眼区域ROI进行水平方向上的积分投影和垂直方向上的差分投影并分别计算灰度值，最终检测到在积分投影方向具有最小值以及垂直方向上具有最大值时，所对应的两极值点作为两眼的中心点(pl,pr)。
进一步的，在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测算法在眼部区域内准确定位内外眼眦点(xel,xer,iel,ier)，,获得眼部区域边缘图像，并在此基础上对眼部图像中的黑色边缘曲线进行角点提取，即可获得准确的两眼内外眼眦点位置。
进一步的，所述视线和头部的贝叶斯回归后验概率建立步骤包括:
S31:ψt＝(αt,βt)为t时刻的视线方向，αt表示t时刻右眼视线的角度，βt表示t时刻左眼视线的角度，基于视线估计的视觉注意力条件概率表示为
表示t时刻基于视线估计子模型的视觉注意力VFOA检测、g表示该时刻的视线估计。
S32:右眼视线方向由条件概率P(αbr,mr,d)求得，左眼视线方向为P(βbl,ml,d)；bl与br分别表示三维视线几何模型中左右眼视线方向矢量。
S33：头部偏转的朝向分别表示为Tt＝[Tx,Ty,Tz]和Rt＝[Rx,Ry,Rz]，其中，Tx,Ty,Tz表示在三维人脸模型中头部的位置、Rx,Ry,Rz表示在三维人脸模型中头部的偏转朝向(由鼻尖朝向近似)，将头部可观测参数记为ht＝(Tt,Rt)。
S34:计算S33中的可观测参数的先验概率，基于头部姿态的视觉注意力估计子模型后验概率表示为
其中
表示t时刻基于头部子模型的视觉注意力VFOA检测、ht表示头部可观测参数，∝表示正比于。
进一步的，所述预测模型建立步骤包括:
S41:获取t时刻和t-1时刻的样本帧图片像素点pi和pj，利用高斯协方差矩阵c(pi,pj)来度量两个时刻采样图片的相关性，利用相关性来对下一时刻进行预测，t时刻和t-1时刻的样本帧图片像素点之间的相关性表示为
σc和l表示不同帧中特征点的变化标准差及相对距离、pi、pj分别表示在t时刻和t-1时刻获取的样本帧图片像素点灰度值。
S42:t时刻和t-1时刻的样本帧图片协方差矩阵表示为：
S43:利用步骤S42求得的协方差矩阵C，t时刻的预测模型注意力估计则表示为
表示t时刻基于预测模型的视觉注意力估计，Ft-1t-1时刻的预测模型注意力估计。
进一步的，所述利用增量学习的方法来对参数进行动态更新，网络增量动态更新步骤包括:
S61：S为模型读取的新数据样本，p*(ht)表示在t时刻更新后的头部概率密度，ψt*表示t时刻更新后的视线参数，更新过程如下：
S62：选取贝叶斯信息准则BIC为注意力检测模型的网络评分函数，选取在设定范围内的ωi取值得到
从而得到BIC评分函数最高的网络结构；
S63：得到更新后的网络表示为：
本发明的优点及有益效果如下：
本发明对视觉注意力检测系统中的相关技术进行了研究，提出了一种改进混合增量动态贝叶斯网络模型的估计方法。本发明的研究工作主要包括以下几个方面：(1)建立改进的三维几何视线检测模型；(2)针对极端姿态和动态场景下导致的数据缺失问题，提出了预测模型，从而有效改善当前时刻的误识别，降低了识别误差。(3)融合多个子模型并对相关参数进行增量动态更新，提升了对动态姿态变化的适应性。本发明提出的VFOA检测方法在相同距离不同头部姿态自由偏转时，平均误差均有所下降；不同距离下的VFOA进行检测时，本文算法也能够体现较好的的鲁棒性和实时性。
附图说明
图1是本发明提供优选实施例一种改进的混合增量动态贝叶斯网络模型图；
图2为人脸三维坐标图；
图3为视线几何模型；
图4为子模型权重设置变化图；
图5为本发明提供优选实施例基于改进混合增量动态贝叶斯网络的视觉注意力检测方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明的技术方案如下：
一种基于改进混合增量动态贝叶斯网络的视觉注意力检测方法，其包括以下步骤：
S1，建立三维人脸坐标，利用几何关系模型来对视线进行估计。
S2，建立头部估计子模型和视线估计子的贝叶斯回归后验概率模型；
S3，为解决在连续时间以及极端姿态下存在的数据缺失问题，提出预测模型，通过协方差矩阵，利用t-1时刻对t时刻的视觉注意力进行估计；
S4，设置权重关系对视线、头部以及预测子模型进行融合。
S5，利用增量学习的方法来对参数进行动态更新，以提升模型动态适应性和实时性。
优选的，通过RGB-D传感器获取头部位置及特征点建立三维人脸坐标，直接利用瞳孔和眼眦等特征点的位置，确定双眼视轴的交点为注意力点的位置和方向。所述视线几何关系模型建立步骤包括:
S21:通过RGB-D传感器获取头部位置，由此建立三维人脸坐标，以鼻底和嘴角中心的连线作为y轴；鼻底和鼻突方向作为z轴；右手定则确定x轴方向。
S22:确定左外眼眦、右外眼眦、左内眼眦、右内眼眦、左瞳孔、右瞳孔等特征点(xel,xer,iel,ier,pl,pr)位置，建立视线几何模型。
S23:利用步骤S22中的几何模型，可得到眼球大小为c＝[(xer-rel)-(ier-iel)]/4，因此眼球中心到眉心距离可表示为ml＝(se-xel)-c或者ml＝(se-iel)+c。
S24:利用三角余弦定理可以求得α、β，左右眼视轴的交点即为VFOA的具体点位置。
优选的，视线和头部姿态变化的条件概率通过高斯滤波来对其进行估计，所述视线和头部地贝叶斯回归后验概率建立步骤包括:
S31:
为t时刻的视线方向，基于视线估计的视觉注意力条件概率(CPD)表示为
S32:右眼视线方向由条件概率P(αbr,mr,d)求得，左眼视线方向为P(βbl,ml,d)。
S33：头部偏转的朝向分别表示为Tt＝[Tx,Ty,Tz]和Rt＝[Rx,Ry,Rz]，将头部可观测参数记为ht＝(Tt,Rt)。
S34:计算S33中的可观测参数的先验概率，基于头部姿态的视觉注意力估计子模型后验概率表示为
其中
优选的，获取t时刻和t-1时刻的样本帧图片像素点pi和pj，利用高斯协方差矩阵c(pi,pj)来度量两个时刻采样图片的相关性，利用相关性来对下一时刻进行预测。所述预测模型建立步骤包括:
S41:t时刻和t-1时刻的样本帧图片像素点之间的相关性表示为
S42:t时刻和t-1时刻的样本帧图片协方差矩阵表示为：
S43:利用步骤S42求得的协方差矩阵C，t时刻的预测模型注意力估计则表示为
5、优选的，根据用户与注意力点的距离、数据缺失两种环境情况定义了子模型的权重ωi：
在距离较近并且检测的特征信息数据完整的情况下，视线检测模型能精准地对人眼视觉注意力进行估计，因此所占权重较大，当距离相对远以至于人眼相对位置信息不能准确检测时，利用头部偏转的方向能对注意力方向进行有效判断，当距离更远或其他情况下数据存在缺失时，增大预测模型的权重可提升模型的适应性。
优选的，所述的增量动态更新网络参数(ht,ψt,ωi)，其结合权重设置，选取适当的ωi取值得到
从而得到BIC评分函数最高的网络结构。所述网络增量动态更新步骤包括:
S61：S为模型读取的新数据样本，更新过程如下：
S62：选取贝叶斯信息准则(Bayesian Information Criterion,BIC)为注意力检测模型的网络评分函数，选取适当的ωi取值得到
从而得到BIC评分函数最高的网络结构。
S63：得到更新后的网络表示为：
融合头部、视线以及预测子模型来对视觉注意力进行综合估计，其包括以下步骤：
S1，选定Haar特征和AdaBoost分类器来对人脸进行实时检测。
S2，得到人眼的几个关键特征点位置：左外眼眦、右外眼眦、左内眼眦、右内眼眦、左瞳孔、右瞳孔其分别表示为(xel,xer,iel,ier,pl,pr)：
将预处理后的人脸图像利用Haar-like矩形特征来检测人眼区域(Region ofinterest,ROI)，对得到的人眼ROI进行水平方向上的积分投影和垂直方向上的差分投影并分别计算灰度值，最终检测到在前者具有最小值以及后者具有最大值时，所对应的两极值点可作为两眼的中心点(pl,pr)。在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测算法在眼部区域内准确定位内外眼眦点(xel,xer,iel,ier)。经过上述算法可获得眼部区域边缘图像，并在此基础上对眼部图像中的黑色边缘曲线进行角点提取，即可获得准确的两眼内外眼眦点位置。
S3，通过RGB-D传感器获取头部位置，由此建立三维人脸坐标，以及三维视线几何模型。
S4，利用几何关系可得到S3中三维视线几何模型眼球大小为c＝[(xer-rel)-(ier-iel)]/4，因此眼球中心到眉心距离可表示为ml＝(se-xel)-c或者ml＝(se-iel)+c，利用三角余弦定理可以求得α、β为两眼视线方向夹角，因此右眼视线方向由条件概率P(α|br,mr,d)求得，同理左眼视线方向为P(β|bl,ml,d)，假设两眼视线方向的概率分布均服从
σn表示加入的滤波高斯噪声标准差。
S5，由S4求得两眼的视线方向后验概率，得出基于视线估计的视觉注意力条件概率(CPD)为
S6，采用随机回归森林的实时头部姿态估计系统来对头部位置和朝向进行定位。头部偏转的朝向，分别表示为Tt＝[Tx,Ty,Tz]和Rt＝[Rx,Ry,Rz]，头部可观测参数记为ht＝(Tt,Rt)。
S7，基于头部姿态的视觉注意力估计子模型后验概率表示为
其中
S8，在t时刻和t-1时刻获取的样本帧图片像素点分别表示为pi和pj，利用高斯协方差矩阵c(pi,pj)来度量两个时刻采样图片的相关性。
S9，由t-1时刻的预测结果来对t时刻的视觉注意力进行预测，t时刻的注意力估计可以表示为
t时刻的预测模型注意力估计为
S10，融合视线估计、头部偏转和预测子模型建立混合贝叶斯视觉注意力检测模型，
假设在近距离下数据缺失较少(头部和瞳孔的偏转均无极端情况出现)，在距离较近并且检测的特征信息数据完整的情况下，视线检测模型能精准地对人眼视觉注意力进行估计，因此所占权重较大，当距离相对远以至于人眼相对位置信息不能准确检测时，利用头部偏转的方向能对注意力方向进行有效判断，当距离更远或其他情况下数据存在缺失时，增大预测模型的权重可提升模型的适应性。
S11，利用增量学习的方法来对模型的参数进行动态更新，选取适当的权值ωi，得到BIC评分函数最高的网络结构。
由于采用了上述技术方案，本发明具有如下的优点：
针对极端姿态和动态场景下导致的数据缺失问题，提出了预测模型，从而有效改善当前时刻的误识别，降低了识别误差。融合多个子模型并对相关参数进行增量动态更新，提升了对动态姿态变化的适应性。实验结果表明，该方法能有效估计人眼的视觉注意力，对头部自由偏转具有较好的鲁棒性，且最短检测时间为42ms，误差降低到1.45°；距离较远时检测的平均误差降低到3.33°，识别率提升到66.8％。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (4)
1.一种基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法，其特征在于，包括以下步骤：
S1，实时对人脸进行定位及预处理，并提取人脸、人眼关键特征点位置，建立三维人脸坐标及建立三维视线几何模型；
S2，通过提取的人脸特征点位置，分别建立头部偏转估计子模型和视线估计子模型的贝叶斯回归后验概率决策模型；
S3，提出预测模型，通过协方差矩阵，利用t-1时刻对t时刻的视觉注意力进行估计；
S4，设置权重关系对步骤S2的视线估计模型、头部估计子模型以及步骤S3的预测子模型进行融合；
S5，利用增量学习的方法来对参数进行动态更新；
所述建立三维视线几何模型具体包括：
S22:确定左外眼眦xel、右外眼眦xer、左内眼眦iel、右内眼眦ier、左瞳孔pl、右瞳孔pr特征点位置，建立视线几何模型；
S23:利用步骤S22中的几何模型，得到眼球大小c表示为c＝[(xer-xel)-(ier-iel)]/4，xel表示左外眼眦、xer表示右外眼眦、iel表示左内眼眦、ier表示右内眼眦，眼球中心到眉心距离表示为ml＝(se-xel)-c或者ml＝(se-iel)+c；
S24:利用三角余弦定理求得α、β，其中，bl与br分别表示三维视线几何模型中左右眼视线方向矢量，α表示右眼视线方向br的角度；同理，β表示左眼视线矢量bl的角度，pr为blbr的交点即为视觉注意力的具体点位置，bl与br的角度分别为人眼中心位置到瞳孔位置的方向，距离分别为人眼中心位置到具体点位置的长度；
所述视线和头部的贝叶斯回归后验概率建立步骤包括:
S31:ψt＝(αt,βt)为t时刻的视线方向，αt表示t时刻右眼视线的角度，βt表示t时刻左眼视线的角度，基于视线估计的视觉注意力条件概率表示为
表示t时刻基于视线估计子模型的视觉注意力VFOA检测、g表示该时刻的视线估计；
S32:右眼视线方向由条件概率P(α|br,mr,d)求得，左眼视线方向为P(β|bl,ml,d)；bl与br分别表示三维视线几何模型中左右眼视线方向矢量；
S33：头部偏转的朝向分别表示为Tt＝[Tx,Ty,Tz]和Rt＝[Rx,Ry,Rz]；其中，Tx,Ty,Tz表示在三维人脸模型中头部的位置、Rx,Ry,Rz表示在三维人脸模型中头部的偏转朝向，将头部可观测参数记为ht＝(Tt,Rt)；
S34:计算S33中的可观测参数的先验概率，基于头部姿态的视觉注意力估计子模型后验概率表示为
其中
表示t时刻基于头部子模型的视觉注意力VFOA检测、ht表示头部可观测参数，∝表示正比于；
所述预测模型建立步骤包括:
S41:获取t时刻和t-1时刻的样本帧图片像素点pi和pj，利用高斯协方差矩阵c(pi,pj)来度量两个时刻采样图片的相关性，利用相关性来对下一时刻进行预测，t时刻和t-1时刻的样本帧图片像素点之间的相关性表示为
σc和l表示不同帧中特征点的变化标准差及相对距离、pi、pj分别表示在t时刻和t-1时刻获取的样本帧图片像素点灰度值；
S42:t时刻和t-1时刻的样本帧图片协方差矩阵表示为：
S43:利用步骤S42求得的协方差矩阵C，t时刻的预测模型注意力估计则表示为P(FPt|Ft-1)∝Pt-1＝CC-1Ft-1；FPt表示t时刻基于预测模型的视觉注意力估计，Ft-1t-1时刻的预测模型注意力估计；
所述利用增量学习的方法来对参数进行动态更新，网络增量动态更新步骤包括:
S61：S为模型读取的新数据样本，p*(ht)表示在t时刻更新后的头部概率密度，ψt*表示t时刻更新后的视线参数，更新过程如下：
S62：选取贝叶斯信息准则BIC为注意力检测模型的网络评分函数，选取在设定范围内的ωi取值得到
从而得到BIC评分函数最高的网络结构；
S63：得到更新后的网络表示为：
2.根据权利要求1所述的基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法，其特征在于，所述建立三维人脸坐标具体包括：
通过RGB-D传感器获取头部位置，由此建立三维人脸坐标，以鼻底和嘴角中心的连线作为y轴；鼻底和鼻突方向作为z轴；右手定则确定x轴方向。
3.根据权利要求1所述的基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法，其特征在于，将预处理后的人脸图像利用Haar-like矩形特征来检测人眼区域ROI，对得到的人眼区域ROI进行水平方向上的积分投影和垂直方向上的差分投影并分别计算灰度值，最终检测到在积分投影方向具有最小值以及垂直方向上具有最大值时，所对应的两极值点作为两眼的中心点(pl,pr)。
4.根据权利要求1所述的基于改进的混合增量动态贝叶斯网络的视觉注意力检测方法，其特征在于，在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测算法在眼部区域内准确定位内外眼眦点(xel,xer,iel,ier)，获得眼部区域边缘图像，并在此基础上对眼部图像中的黑色边缘曲线进行角点提取，即可获得准确的两眼内外眼眦点位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811057186.9A CN109711239B (zh) | 2018-09-11 | 2018-09-11 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811057186.9A CN109711239B (zh) | 2018-09-11 | 2018-09-11 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109711239A CN109711239A (zh) | 2019-05-03 |
| CN109711239B true CN109711239B (zh) | 2023-04-07 |
Family
ID=66253836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811057186.9A Active CN109711239B (zh) | 2018-09-11 | 2018-09-11 | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711239B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111857329B (zh) * | 2020-05-26 | 2022-04-26 | 北京航空航天大学 | 注视点计算方法、装置及设备 |
| CN112115601B (zh) * | 2020-09-10 | 2022-05-17 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN113489938B (zh) * | 2020-10-28 | 2024-04-12 | 海信集团控股股份有限公司 | 虚拟会议控制方法、智能设备及终端设备 |
| CN113298120B (zh) * | 2021-04-29 | 2023-08-01 | 上海淇玥信息技术有限公司 | 基于融合模型的用户风险预测方法、系统和计算机设备 |
| CN116311252B (zh) * | 2023-04-06 | 2024-11-22 | 同济大学 | 一种基于视觉道路环境图式的碰撞预警方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009259035A (ja) * | 2008-04-17 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 視線位置推定方法、視線位置推定装置、コンピュータプログラム、及び記録媒体 |
| JP2010257344A (ja) * | 2009-04-27 | 2010-11-11 | Nippon Telegr & Teleph Corp <Ntt> | 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体 |
| WO2012039139A1 (ja) * | 2010-09-24 | 2012-03-29 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
| CN103858153A (zh) * | 2011-09-30 | 2014-06-11 | 宝马股份公司 | 具有用于影响驾驶员的注意力的并且用于确定驾驶员的视向的设备的车辆 |
| CN105989614A (zh) * | 2015-02-13 | 2016-10-05 | 中国科学院西安光学精密机械研究所 | 融合多源视觉信息的危险物体检测方法 |
| CN106355204A (zh) * | 2016-08-31 | 2017-01-25 | 武汉大学 | 基于贝叶斯学习和增量子空间学习的目标跟踪方法 |
| CN106373453A (zh) * | 2016-08-31 | 2017-02-01 | 郑州捷安高科股份有限公司 | 一种沉浸式高铁列车虚拟驾驶行为智能评判方法及仿真系统 |
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| CN107944415A (zh) * | 2017-12-06 | 2018-04-20 | 董伟 | 一种基于深度学习算法的人眼注意力检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966070B (zh) * | 2015-06-30 | 2018-04-10 | 北京汉王智远科技有限公司 | 基于人脸识别的活体检测方法和装置 |
| US20170032245A1 (en) * | 2015-07-01 | 2017-02-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Providing Reinforcement Learning in a Deep Learning System |
| CN107729838A (zh) * | 2017-10-12 | 2018-02-23 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的头部姿态估算方法 |
-
2018
- 2018-09-11 CN CN201811057186.9A patent/CN109711239B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009259035A (ja) * | 2008-04-17 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 視線位置推定方法、視線位置推定装置、コンピュータプログラム、及び記録媒体 |
| JP2010257344A (ja) * | 2009-04-27 | 2010-11-11 | Nippon Telegr & Teleph Corp <Ntt> | 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体 |
| WO2012039139A1 (ja) * | 2010-09-24 | 2012-03-29 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
| CN103858153A (zh) * | 2011-09-30 | 2014-06-11 | 宝马股份公司 | 具有用于影响驾驶员的注意力的并且用于确定驾驶员的视向的设备的车辆 |
| CN105989614A (zh) * | 2015-02-13 | 2016-10-05 | 中国科学院西安光学精密机械研究所 | 融合多源视觉信息的危险物体检测方法 |
| CN106355204A (zh) * | 2016-08-31 | 2017-01-25 | 武汉大学 | 基于贝叶斯学习和增量子空间学习的目标跟踪方法 |
| CN106373453A (zh) * | 2016-08-31 | 2017-02-01 | 郑州捷安高科股份有限公司 | 一种沉浸式高铁列车虚拟驾驶行为智能评判方法及仿真系统 |
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| CN107944415A (zh) * | 2017-12-06 | 2018-04-20 | 董伟 | 一种基于深度学习算法的人眼注意力检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| " Incremental learning of privacy-preserving Bayesian networks";Saeed Samet 等;《 Applied Soft Computing Journal》;20130815;第13卷(第8期);1-11 * |
| "基于稀疏表示的在线目标跟踪研究";薛明;《中国博士学位论文全文数据库 (信息科技辑)》;20160415(第（2016）04期);I138-53 * |
| 一种基于动态贝叶斯网的视觉注意力识别方法;董力赓等;《电子学报》;20110315;第39卷;140-146 * |
| 改进的增量贝叶斯模型的研究;苏志同等;《计算机应用与软件》;20160815(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109711239A (zh) | 2019-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711239B (zh) | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 | |
| CN108108684B (zh) | 一种融合视线检测的注意力检测方法 | |
| JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
| CN110532887A (zh) | 一种基于面部特征融合的疲劳驾驶检测方法及系统 | |
| CN105574518B (zh) | 人脸活体检测的方法和装置 | |
| TWI383325B (zh) | 臉部表情辨識 | |
| KR101169533B1 (ko) | 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| CN108876879A (zh) | 人脸动画实现的方法、装置、计算机设备及存储介质 | |
| CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
| CN107330371A (zh) | 3d脸部模型的脸部表情的获取方法、装置和存储装置 | |
| CN101814137B (zh) | 基于红外眼态识别的疲劳驾驶预警系统 | |
| CN106598221A (zh) | 基于眼部关键点检测的3d视线方向估计方法 | |
| EP3154407B1 (en) | A gaze estimation method and apparatus | |
| CN109145852B (zh) | 一种基于眼睛睁闭状态的驾驶员疲劳状态识别方法 | |
| CN101788848A (zh) | 用于视线追踪系统的眼部特征参数检测方法 | |
| CN109961054A (zh) | 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法 | |
| WO2018137456A1 (zh) | 一种视觉跟踪方法和跟踪装置 | |
| WO2020237940A1 (zh) | 一种基于人眼状态识别的疲劳检测方法及装置 | |
| CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| CN113920568A (zh) | 基于视频图像的人脸和人体姿态情绪识别方法 | |
| CN108268858B (zh) | 一种高鲁棒的实时视线检测方法 | |
| WO2024051345A1 (zh) | 驾驶员的视线识别方法及装置、车辆和存储介质 | |
| WO2015165227A1 (zh) | 人脸识别方法 | |
| CN111241922A (zh) | 一种机器人及其控制方法、计算机可读存储介质 | |
| CN116051631A (zh) | 光斑标注方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |