CN109350030B - 基于相位放大处理人脸视频心率信号的系统及方法 - Google Patents

Abstract

本发明公开了一种基于相位放大处理人脸视频心率信号的系统及其方法，系统包括，特征识别模块、人脸截取模块、亮度相位差分放大模块、运动特征提取模块、时域带通滤波模块、心率计算模块。方法的步骤为：输入人脸视频、识别人脸特征、截取人脸区域、计算亮度相位值、检测运动特征点、放大亮度相位差分值、跟踪运动特征点、提取主要运动特征、时域带通滤波、计算心率值。本发明的系统放大图像亮度相位差分值，不会放大噪声信号。本发明的方法检测放大后图像中的运动特征点，分析计算心率值，有效去除光照影响，鲁棒性较强。

Description

基于相位放大处理人脸视频心率信号的系统及方法

技术领域

本发明属于物理技术领域，更进一步涉及图像处理技术领域的一种基于相位放大处理人脸视频心率信号的系统及方法。本发明可用于从采集的人脸视频图像中估计心率值，进而提供被检测者的心率数据。

背景技术

心率的变化与心脏疾病密切相关，是衡量人体健康状况的重要指标。其检测方法主要分为接触式与非接触式两种，因为非接触式检测方法具有设备低廉、舒适度高、可长时间监测等众多优点，对心率信号的检测越来越借助非接触式的检测方法，为此，研究人员提出了诸多非接触式心率监测方法。

天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量系统及测量方法”(专利申请专利号：201310172275.9，公开号：CN 104138254 A)中公开了一种非接触式自动心率测量系统，该系统包括视频采集模块、分帧提取ROI模块、基色分量分离模块、时域信号生成模块、盲源分离模块、信号筛选模块、心率分析模块。系统利用视频采集模块和感兴趣模块录制一段彩色视频图像，并提取每帧视频图片的感兴趣区域ROI(Region OfInterest)，然后利用基色分量分离模块对图像进行RGB基色分离，通过时域信号生成模块生成三个时域信号,再使用盲源分离模块将获得的三个时域信号分离成独立的信号成分，最后利用信号筛选模块对时域信号进行筛选，并通过心率分析模块计算心率值。虽然该系统采用无创非接触式方式远程检测心率信号，完全实现自动心率测量，测量精度较高，但是，该系统仍然存在的不足之处是：该系统使用信号筛选模块对盲源分离出的三个独立时域信号进行相关性分析，选取其中相关性最大的信号作为最终筛选信号，但是由盲源分离出的第二个时域信号有可能不包含心率信号，经心率分析模块计算心率值的可靠性和稳定性较差。

天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量系统及测量方法”(专利申请专利号：201310172275.9，公开号：CN 104138254 A)中公开了一种非接触式自动心率测量方法。该方法通过远程非接触式地获取人脸的彩色视频，进行人脸图像跟踪和盲源分离将各颜色通道信号分离成独立的信号成分，分析处理后获得心率测量信息。虽然该方法在运动伪影存在的情况下，依然具有较高精度，但是，该方法仍然存在的不足之处是：该方法采用盲源分离算法分离颜色通道信号成分，这种分离方法对光照十分敏感，在光线较强、光照稳定的条件下，系统准确率较高，一旦光照有变化或光线较差，所测量的心率值误差较大。

西安中科创星科技孵化器有限公司在拥有的专利技术“一种非接触式心率检测方法及系统”(专利申请专利号：201510741006.9，公开号：CN 105266787 B)中提出了一种非接触式心率检测方法。该方法首先获取被检测者的脸部视频图像，并识别图像中的人脸，然后计算人脸感兴趣区域图像，再通过时域差分颜色变化放大模型计算感兴趣区域图像颜色分量差分值，并根据差分值绘制时域波形，最后对时域波形进行傅立叶变换并计算频域响应最大值，以此作为心率值。虽然该方法通过时域差分颜色变化放大模型可有效去除环境光照的影响，具有更强的抗环境光影响性，但是，该方法仍然存在的不足之处是：该方法利用傅里叶变换计算频率响应最大值，根据频率响应最大值所对应的频率值计算被测者的心率值，这种处理方法会包含多余的噪声，在现实环境中很难计算出准确的心率值。

西安中科创星科技孵化器有限公司在拥有的专利技术“一种非接触式心率检测方法及系统”(专利申请专利号：201510741006.9，公开号：CN 105266787B)中提出了一种非接触式心率检测系统，该系统包括人脸识别模块、感兴趣区域计算模块、差分放大值计算模块、差分放大值累计模块和频域变换模块。系统利用人脸识别模块先对人脸进行识别，然后利用感兴趣模块计算感兴趣区域图像，再利用差分放大值计算模块和差分放大值累积模块分析计算颜色分量的差分放大值与时域变化波形，最后利用频域变换模块计算频率响应最大值，以此估计心率值。该系统汉明窗对时域变化波形进行带通滤波，使得心率计算结果的鲁棒性较强，但是，该系统仍然存在的不足之处是:该系统使用差分放大值计算模块在计算图像的颜色分量差分放大值时，采用了线性放大的方法，放大感兴趣区域图像颜色分量差分值的同时也放大了人脸噪声信号，使得心率计算精度较差。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于相位放大处理人脸视频心率信号的系统及方法，通过放大人脸视频中微小的运动变化，计算心率心率值，克服了颜色变化和光照不均匀等条件的影响；放大人脸亮度色差图像亮度Y分量各像素点相对原始亮度相位值的相位差分值，有效避免了线性放大方法放大噪声信号的问题，使放大后的图像不包含放大的噪声信号；利用主成分分析方法分析特征点运动距离矩阵，提取主要运动特征序列，有效避免了采用盲源分离出的第二个时域信号有可能不包含心率信号，导致计算心率值可靠性和稳定性较差的问题；采用时域滤波和峰值检测的方法分析处理主要运动特征序列，计算心率值，有效避免了波形多余噪声对心率计算精度的影响，大大提高心率计算的精确度。

实现本发明目的思路是，特征识别模块识别图像中人脸和眼部特征区域，人脸截取模块填充人脸眼部特征区域，截取人脸特征区域矩形框中的人脸图像，亮度相位差分放大模块计算亮度色差图像每个像素点亮度相位差分放大值，放大亮度色差图像中的微小运动，运动特征提取模块跟踪运动特征点，计算特征点运动距离矩阵，同时利用主成分分析法分析得到主要特征点向量序列，时域带通滤波模块对主要特征点向量序列进行时域带通滤波，得到滤波后的时域波形，心率计算模块检测滤波后的时域波形的峰值位置，得到峰值位置序列，通过峰值位置序列计算心率值。

本发明的系统包括特征识别模块、人脸截取模块、时域带通滤波模块、心率计算模块，亮度相位差分放大模块、运动特征提取模块；其中：

所述特征识别模块，用于从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；判断是否识别到人脸和眼部特征区域，若是，则将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块，否则，继续读取一帧视频图像；

所述人脸截取模块，用于利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；

所述亮度相位差分放大模块，用于利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值，使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号，否则，将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值，利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值，利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；将当前帧亮度色差放大图像发送给运动特征提取模块；

所述运动特征提取模块，用于利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；判断是否读取完所有的帧图像，若是，则将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵，利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵，从特征降维后的主要特征点运动距离矩阵中，选取前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列，将所选的三组主要特征点向量序列发送给时域带通滤波模块，否则，继续读取一帧视频图像；

所述时域带通滤波模块，用于选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；将所选的三组主要特征点向量序列发送给时域带通滤波模块；

所述心率计算模块，用于采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。

本发明的方法的具体步骤包括如下：

(1)输入人脸视频：

将摄像头获取的一段包含被监测者人脸的视频图像输入到视频解码库中，解码人脸视频图像，并得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征识别模块；

(2)识别人脸特征：

(2a)特征识别模块从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；

(2b)特征识别模块利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；

(3)特征识别模块判断是否识别到人脸和眼部特征区域，若是，则执行步骤(4)，否则，执行步骤(2)；

(4)截取人脸区域：

(4a)特征识别模块将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块；

(4b)人脸截取模块利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；

(4c)人脸截取模块利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；

(5)计算亮度相位值：

(5a)亮度相位差分放大模块利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；

(5b)亮度相位差分放大模块使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；

(5c)亮度相位差分放大模块利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；

(6)亮度相位差分放大模块判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则执行步骤(7)，否则，执行步骤(8)；

(7)检测运动特征点：

(7a)亮度相位差分放大模块将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值；

(7b)亮度相位差分放大模块使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号后执行步骤(10)；

(8)放大亮度相位差分值：

(8a)亮度相位差分放大模块将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值；

(8b)亮度相位差分放大模块利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值；

(8c)亮度相位差分放大模块利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；

(9)跟踪运动特征点：

(9a)亮度相位差分放大模块将当前帧亮度色差放大图像发送给运动特征提取模块；

(9b)运动特征提取模块利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；

(9c)运动特征提取模块利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；

(9d)运动特征提取模块将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；

(10)运动特征提取模块判断是否读取完所有的帧图像，若是，则执行步骤(11)，否则，执行步骤(2)；

(11)提取主要运动特征：

(11a)运动特征提取模块将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵；

(11b)运动特征提取模块利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵；

(11c)运动特征提取模块从特征降维后的主要特征点运动距离矩阵中，选择前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列；

(11d)运动特征提取模块将所选的三组主要特征点向量序列发送给时域带通滤波模块；

(12)时域带通滤波：

(12a)时域带通滤波模块选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；

(12b)时域带通滤波模块将滤波后的时域波形发送给心率计算模块；

(13)计算心率值：

(13a)心率计算模块采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；

(13b)心率计算模块分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；

(13c)心率计算模块利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。

本发明与现有的技术相比具有以下优点：

第一，由于本发明的系统中的运动特征提取模块采用光流跟踪运动点，通过对特征点运动距离矩阵进行主成分分析，得到主要特征点向量序列，克服了现有技术的系统采用盲源分离出的第二个时域信号有可能不包含心率信号，导致计算心率值的可靠性和稳定性较差的缺点，使得本发明的系统计算心率值更可靠稳定。

第二，由于本发明的系统中的亮度差分相位放大模块，将截取人脸特征区域图像转换到亮度色差YIQ颜色空间，放大亮度Y通道各像素点相位差值，由于放大过程中只对亮度相位进行放大，采用这种方法放大图像中的微小运动，克服了现有技术的系统在放大人脸视频颜色分量色度值时将噪声一同放大，导致心率测量结果易受图像噪声变化的影响的缺点，使得本发明的系统在包含有较多图像噪声条件下心率测量的鲁棒性较强。

第三，由于本发明的方法通过对带通滤波后的时域波形进行峰值检测，利用所得到的峰值位置序列计算心率值，克服了现有技术的方法在计算心率值时只进行频域变换，计算频率响应最大值，导致引入噪声信号影响心率值准确度的影响，使得本发明的方法计算的心率值更精确。

第四，由于本发明的方法通过放大人脸视频中微小运动，跟踪放大后图像中运动特征点，从运动特征点在垂直方向上的主要运动位置序列中提取心率值，克服了现有技术的方法利用图像颜色放大提取心率对光照敏感，光照亮度变化对心率值精确度影响较大的缺点，使得本发明的方法在光照强度变化条件下测量心率的误差较小。

附图说明

图1是本发明系统的方框图；

图2是本发明方法的流程图；

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照图1，对本发明的基于相位放大处理人脸视频心率信号的系统做进一步的详细描述。

本发明的系统包括特征识别模块、人脸截取模块、时域带通滤波模块、心率计算模块、亮度相位差分放大模块、运动特征提取模块。

所述特征识别模块，读取一帧视频图像；识别输入视频图像中的人脸和眼部特征区域；判断是否识别到人脸和眼部特征区域，若是，则将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块，否则，继续读取一帧视频图像。

所述人脸截取模块，用于填充人脸眼部特征区域；绘制人脸特征区域矩形框；截取人脸特征区域矩形框中的人脸图像；将人脸截取图像发送给亮度相位差分放大模块。

所述亮度相位差分放大模块，用于将人脸截取图像转换到亮度色差YIQ颜色空间；计算转换后亮度色差图像亮度Y通道分量中每个像素点的亮度相位值；判断当前帧颜色空间转换后图像是否为第一帧亮度色差图像，若是，则标记每个像素点的参考亮度相位值，检测每个特征点原始位置坐标，否则，计算当前帧每个像素点亮度相位差分放大值，放大当前帧亮度色差图像中微小运动，将当前帧亮度色差放大图像发送给运动特征提取模块。

所述运动特征提取模块，用于跟踪运动特征点；计算特征点运动距离值；判断是否读取完所有的帧图像，若是，则计算特征点运动距离矩阵，获取主要特征点向量序列，将主要特征点向量序列发送给时域带通滤波模块，否则，继续读取一帧视频图像。

所述时域带通滤波模块，用于对主要特征点向量序列进行时域带通滤波；将滤波后的时域波形发送给心率计算模块。

所述心率计算模块，用于检测主要特征点向量序列峰值；计算心率值。

下面结合附图2，对本发明的方法做进一步的描述。

步骤1，输入人脸视频。

将摄像头获取的一段包含被监测者人脸的视频图像输入到视频解码库中，解码人脸视频图像，并得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征识别模块。

步骤2，识别人脸特征。

特征识别模块从解码后的视频图像中顺序读取一帧图像，作为当前帧图像。

特征识别模块利用开源计算机视觉库OpenCV中的人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域。

步骤3，特征识别模块判断是否识别到人脸和眼部特征区域，若是，则执行步骤4，否则，执行步骤2。

步骤4，截取人脸区域。

特征识别模块将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块。

人脸截取模块利用开源计算机视觉库OpenCV中的灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框。

人脸截取模块利用开源计算机视觉库OpenCV中的图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块。

步骤5，计算亮度相位值。

亮度相位差分放大模块利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像。

所述颜色空间转换公式如下：

Y＝0.299R+0.587G+0.114B

I＝0.569R-0.275G-0.321B

Q＝0.212R-0.523G+0.311B

其中，Y表示图像YIQ颜色空间中的亮度分量，R表示每一帧图像红绿蓝RGB颜色空间的红色分量，G表示每一帧图像红绿蓝RGB颜色空间的绿色分量，B表示每一帧图像红绿蓝RGB颜色空间的蓝色分量，I表示图像YIQ颜色空间中的橙色到青色分量，Q表示图像YIQ颜色空间中的紫色到黄绿色分量。

亮度相位差分放大模块使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值。

亮度相位差分放大模块利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值。

幅值相位计算公式如下：

Ae^iθ＝Acosθ+iAsinθ

其中，i表示虚数单位，θ表示复数值的相位，A表示复数值的幅值。

步骤6，亮度相位差分放大模块判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则执行步骤7，否则，执行步骤8。

步骤7，检测运动特征点。

亮度相位差分放大模块将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值。

亮度相位差分放大模块使用开源计算机视觉库OpenCV中的光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号后执行步骤10。

步骤8，放大亮度相位差分值。

亮度相位差分放大模块将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值。

亮度相位差分放大模块利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值。

所述移动差值计算公式如下：

φ＝β+α*(λ-β)

其中，φ表示当前帧亮度色差图像亮度Y通道分量中(x,y)位置处像素点亮度相位差分放大值，β表示该像素点亮度值的参考亮度相位值，λ表示当前帧该像素点亮度相位值，α表示放大因子，取值为100。

亮度相位差分放大模块利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像。

步骤9，跟踪运动特征点。

亮度相位差分放大模块将当前帧亮度色差放大图像发送给运动特征提取模块。

运动特征提取模块利用卢卡斯-卡纳德Lucas-Kanade光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标。

利用特征点运动距离计算公式，运动特征提取模块分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值。

所述移动差值计算公式如下：

D_y(i)＝I_y(i)-M_y(i)

其中，D_y(i)表示当前帧编号为i的特征点在垂直方向上运动距离值，I_y(i)表示该特征点在当前帧中对应的y轴坐标，M_y(i)表示该特征点原始位置坐标的y轴坐标，该坐标系以颜色空间转换后图像左上角为原点，以图像向左和向下方向分别表示x轴和y轴正方向。

运动特征提取模块将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列。

步骤10，运动特征提取模块判断是否读取完所有的帧图像，若是，则执行步骤11，否则，执行步骤2。

步骤11，提取主要运动特征。

运动特征提取模块将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵。

运动特征提取模块利用开源计算机视觉库OpenCV中的主成分分析PCA方法对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵。

运动特征提取模块从特征降维后的主要特征点运动距离矩阵中，选择前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列。

运动特征提取模块将所选的三组主要特征点向量序列发送给时域带通滤波模块。

步骤12，时域带通滤波。

时域带通滤波模块选取通带频率为0.8赫兹到2赫兹的理想带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形。

时域带通滤波模块将滤波后的时域波形发送给心率计算模块。

步骤13，计算心率值。

心率计算模块采用峰值检测算法分别检测输入三组时域波形中波峰的位置，得到波峰位置序列。

所述峰值检测算法具体执行步骤如下：

第1步，比较时域波形中所有点的值，得到时域波形最大值Max。

第2步，按照下式，计算阈值：

E＝Max÷2

其中，E表示阈值，Max表示波形最大值。

第3步，判断时域波形中的点从前面第二个点到该点的值是否处于连续上升状态，若是，则执行第4步，否则，执行第6步。

第4步，判断第3步处于上升状态的点后面第一、第二个点的值是否处于连续下降状态，若是，则执行第5步，否则，执行第6步。

第5步，判断该点的值是否大于阈值，若是，则标记该点为波峰位置点，执行第6步，否则，直接执行第6步。

第6步，判断是否检测完时域波形中所有点，若是，依次排序每个波峰位置点在时域波形中的位置，生成峰值位置序列，否则，执行第3步，继续检测下一个点。

心率计算模块分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值。

利用峰值帧差计算公式，心率计算模块分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。

所述峰值帧差计算公式如下：

H＝A÷S*60

其中，H表示计算的心率值，A表示差值序列的均值，S表示人脸视频的帧率。

本发明的效果可通过以下仿真进一步说明。

1.仿真条件：

本发明的仿真试验是在计算机硬件配置为AMD Ryzen5 CPU 1600X@3.60GHZ、8.0GB RAM的硬件环境和计算机软件配置为MATLAB R2017a的软件环境下进行的。

2.仿真内容：

本发明仿真实验是分别使用本发明的系统和江苏鱼跃医用仪器有限公司生产的指夹式血氧饱和度脉搏检测器YX303，在相同日光灯照射条件下，采集发明人任意选择的10名被测者的人脸视频，处理人脸视频，计算心率值。

所选的10名被测者年龄在22到26岁之间。

采集人脸视频的方法为采集每位被测者的人脸视频，人脸视频时长为10秒，人脸视频帧率为30帧/秒。

拍摄视频的同时使用所选的脉搏检测器检测被测者心率值，然后使用本发明所述方法计算心率值，对比测量结果。

3.仿真效果分析：

对本发明的系统计算被测者的心率值与指夹式血氧仪测量的心率值结果进行对比，结果如表1。

表1.本发明的系统与指夹式血氧仪心率测量结果对比表

序号	指夹式血氧仪检测心率(bmp)	本发明的系统检测心率(bmp)
			1	71	68
2	69	66
			3	79	81
4	65	66
			5	68	69
6	75	75
			7	81	84
8	72	69
			9	78	81
10	82	79

表1为本发明的系统与指夹式血氧仪心率测量结果对比表，本发明的系统与指夹式血氧仪测量心率结果基本一致，误差范围在±3每分钟心跳次数bpm以内，以上结果表明：本发明系统计算准确性较高，是一种能有效检测人脸视频心率信号的处理系统。

Claims (8)

1.一种基于相位放大处理人脸视频心率信号的系统，包括特征识别模块、人脸截取模块、时域带通滤波模块、心率计算模块，其特征在于，还包括亮度相位差分放大模块、运动特征提取模块；其中：

所述特征识别模块，用于从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；判断是否识别到人脸和眼部特征区域，若是，则将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块，否则，继续读取一帧视频图像；

所述人脸截取模块，用于利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；

所述亮度相位差分放大模块，用于利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值，使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号，否则，将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值，利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值，利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；将当前帧亮度色差放大图像发送给运动特征提取模块；

所述运动特征提取模块，用于利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；判断是否读取完所有的帧图像，若是，则将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵，利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵，从特征降维后的主要特征点运动距离矩阵中，选取前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列，将所选的三组主要特征点向量序列发送给时域带通滤波模块，否则，继续读取一帧视频图像；

所述时域带通滤波模块，用于选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；将所选的三组主要特征点向量序列发送给时域带通滤波模块；

所述心率计算模块，用于采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。

2.一种基于相位放大处理人脸视频心率信号的方法，其特征在于，计算亮度Y通道每个像素点的亮度相位差分放大值，计算所有运动特征点的特征点运动距离序列，利用主要特征点向量序列计算心率值；该方法的具体步骤包括如下：

(1)输入人脸视频：

将摄像头获取的一段包含被监测者人脸的视频图像输入到视频解码库中，解码人脸视频图像，得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征识别模块；

(2)识别人脸特征：

(2a)特征识别模块从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；

(2b)特征识别模块利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；

(3)特征识别模块判断是否识别到人脸和眼部特征区域，若是，则执行步骤(4)，否则，执行步骤(2)；

(4)截取人脸区域：

(4a)特征识别模块将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块；

(4b)人脸截取模块利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；

(4c)人脸截取模块利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；

(5)计算亮度相位值：

(5a)亮度相位差分放大模块利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；

(5b)亮度相位差分放大模块使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；

(5c)亮度相位差分放大模块利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；

(6)亮度相位差分放大模块判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则执行步骤(7)，否则，执行步骤(8)；

(7)检测运动特征点：

(7a)亮度相位差分放大模块将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值；

(7b)亮度相位差分放大模块使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号后执行步骤(10)；

(8)放大亮度相位差分值：

(8a)亮度相位差分放大模块将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值；

(8b)亮度相位差分放大模块利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值；

(8c)亮度相位差分放大模块利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；

(9)跟踪运动特征点：

(9a)亮度相位差分放大模块将当前帧亮度色差放大图像发送给运动特征提取模块；

(9b)运动特征提取模块利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；

(9c)运动特征提取模块利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；

(9d)运动特征提取模块将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；

(10)运动特征提取模块判断是否读取完所有的帧图像，若是，则执行步骤(11)，否则，执行步骤(2)；

(11)提取主要运动特征：

(11a)运动特征提取模块将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵；

(11b)运动特征提取模块利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵；

(11c)运动特征提取模块从特征降维后的主要特征点运动距离矩阵中，选取前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列；

(11d)运动特征提取模块将所选的三组主要特征点向量序列发送给时域带通滤波模块；

(12)时域带通滤波：

(12a)时域带通滤波模块选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；

(12c)时域带通滤波模块将滤波后的时域波形发送给心率计算模块；

(13)计算心率值：

(13a)心率计算模块采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；

(13b)心率计算模块分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；

(13c)心率计算模块利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。

3.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(5a)中所述颜色空间转换公式如下：

Y＝0.299R+0.587G+0.114B

I＝0.569R-0.275G-0.321B

Q＝0.212R-0.523G+0.311B

其中，R表示每一帧图像红绿蓝RGB颜色空间的红色分量，G表示每一帧图像红绿蓝RGB颜色空间的绿色分量，B表示每一帧图像红绿蓝RGB颜色空间的蓝色分量，Y表示图像YIQ颜色空间中的亮度分量，I表示图像YIQ颜色空间中的橙色到青色分量，Q表示图像YIQ颜色空间中的紫色到黄绿色分量。

4.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(5c)中所述幅值相位计算公式如下：

Ae^iθ＝Acosθ+iAsinθ

其中，i表示虚数单位，θ表示复数值的相位，A表示复数值的幅值。

5.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(8b)中所述相位差值放大计算公式如下：

φ＝β+α*(λ-β)

其中，φ表示当前帧亮度色差图像亮度Y通道分量中(x,y)位置处像素点亮度相位差分放大值，β表示该像素点亮度值的参考亮度相位值，λ表示当前帧该像素点亮度相位值，α表示放大因子，取值为100。

6.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(9c)中所述特征点运动距离计算公式如下：

D_y(i)＝I_y(i)-M_y(i)

其中，D_y(i)表示当前帧编号为i的特征点在垂直方向上运动距离值，I_y(i)表示该特征点在当前帧中对应的y轴坐标，M_y(i)表示该特征点原始位置坐标的y轴坐标，该坐标系以颜色空间转换后图像左上角为原点，以图像向左和向下方向分别表示x轴和y轴正方向。

7.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(13a)中所述峰值检测算法具体执行步骤如下：

第一步，比较时域波形中所有点的值，得到时域波形最大值Max；

第二步，按照下式，计算阈值：

E＝Max÷2

其中，E表示阈值，Max表示波形最大值；

第三步，判断时域波形中的点从前面第二个点到该点的值是否处于连续上升状态，若是，则执行第四步，否则，执行第六步；

第四步，判断第三步处于上升状态的点后面第一、第二个点的值是否处于连续下降状态，若是，则执行第五步，否则，执行第六步；

第五步，判断该点的值是否大于阈值E，若是，则标记该点为波峰位置点，执行第六步，否则，直接执行第六步；

第六步，判断是否检测完时域波形中所有点，若是，依次排序每个波峰位置点在时域波形中的位置，生成峰值位置序列，否则，执行第三步，继续检测下一个点。

8.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(13c)中所述峰值帧差计算公式如下：

H＝A÷S*60

其中，H表示计算的心率值，A表示差值序列的均值，S表示人脸视频的帧率。

Images