CN113907733A - 博纳希ai - Google Patents

Abstract

本发明提供了一种非接触，基于视频进行生命体征测量的博纳希AI。该技术采用远程光学体积描记术(rPPG)进行心率变异性(HRV)及心理压力的测量。其调用运行在任何终端上的彩色相机或红外相机(8位以上)对被检测者面部进行有效信号提取。经过系列分析处理，测量初始化成功，会在被检测者面部生成诸多个特征点，远程光学体积描记术(rPPG)通过扫描的特征点去绘制数据，通过被检测者面部轻微改变从而发现脉搏的轻微变化并生成一条条数据展现在动态波浪线上。每绘制生成一次峰值及谷值即测量出一次心率值，由于人脸识别易受外界(光线，遮挡物，距离)影响所检测的心率值可能不一样，需多次测量矫正生成更准确的心率值。

Description

博纳希AI

技术领域

本发明总体上涉及人工智能领域。更确切地说，本发明涉及一种非接触，基于视频进行生命体征测量的博纳希AI。该技术是采用远程光学体积描记术(rPPG)进行心率变异性(HRV)及心理压力的测量。

背景技术

现在大多数人开始追求健康的生活方式，心率是否正常能实时体现人体的健康状况，时常了解自身的心率变化，可通过调节饮食、生活习惯、运动等使身体保持健康状态。

现有的专业测量心率的装备主要有两种：第一种测心率的装备通常由两个部分组成，一部分是专门测心率的设备，会紧紧的绑在胸前，因为胸前很少有机会去触碰，较稳定；另外一部分是手表，戴在手上，主要功能是读取胸前测心率设备的数据。第二种测心率的装备是测量心率的手环，戴在手腕上面，平时戴的状态为了舒适不会很紧，在测心率的时候，需要将测心率的窗口紧贴皮肤且稳定，需要人静止十秒钟，另外一只手必须按紧表盘，才能测出心率。

无论是第一种测心率装备还是第二种测心率装备，用于接触被检测者的检测设备均需要直接接触皮肤且使用第一种测心率的检测设备时，需要将额外的检测设备紧紧的绑在胸前。第二种测心率装备的检测设备在使用时需要用手按紧检测设备才能进行检测。在检测过程中，往往会因为检测设备捆绑不紧或人手松开而导致检测设备脱离被检测者，从而导致检测中断，检测数据不精确。因此，无论是那种模式的检测装备，带来的用户体验都是不好的，每一种检测装备在检测过程中都需要增加额外的成本或动作，而且容易造成检测数据不精确。

目前测量心率变异性(HRV)已被广泛应用于医学与心理学领域。日常生活中，医疗保健和健身追踪设备的日益改进也推动了测量HRV在其他领域的发展。大多数研究中，HRV变量随着由不同原因引起的压力变化而变化且与许多疾病直接相关。我们可以通过多种不同设备测量HRV，从复杂的高精度多传感HRV测量设备(ECG)到简单的单传感设备(例如PPG，智能手表，IR传感器)等，几乎所有已知的HRV测量装置都需要附着在受试者的身体上，这些接触不仅给测量带来一定程度的不便还容易引起受试者不适。因此，缺乏一种高可用性和可靠性的非接触式测量HRV的方法。从当前情况来看，我们需要获得HRV测量数据必须携带相应的设备，然后通过无线方式或拷贝方式将数据传输到智能手机或是电脑客户端进行分析处理，在日常生活中实现HRV测量有诸多不便。

发明内容

本发明的目的旨在对现有技术进行创新，提供一种通过视频流对使用者面部进行生物特征识别并提取有效信号，利用自主研发的远程光学体积描记术(rPPG)进行心理压力及HRV测量的方法。此方法能有效减少心率检测过程中所需的额外成本和动作，且测量方式简单，测量结果高效可靠，可提高用户体验度。

从心率监测的精确度来看，现在市场上90％以上的解决方案都是基于OpenCV实施的。(有些是从OpenCV演变而来的)，通过OpenCV技术实施的人脸检测精度低于90％，易受光线影响和稳定性不强是目前市场上的应用产品常见的问题。尤其遇有振动和光线变化时影响更为明显。测量精度不高，HRV无法准确生成，不能提供精准结果。博纳希AI自主研发的多层AI框架，对此提出了突破性解决方案。它包含——线性代数/矩阵操纵/解压/因式分解/机器学习/均值聚类/最小角度回归/线性回归/感知器/PCA/LDA/近邻搜索/支持向量机/基本神经/网络定义/反向传播/贝叶斯网络信号处理/滤波/FFT/去噪/卷积/独立成分分析/深度学习/简单自动编码器/卷积神经/深循环网络/Lstm/RBM/深信神经网络等。博纳希AI构建了整个数学后端，无需任何开源或第三方开发，为控制每个算法和模型的整个底层提供了解决方案，其可支持最常见的操作系统和处理体系结构(CPU、GPU、DSP、ARM、FPGA)。

所述OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。OpenCV用C++语言编写，它的主要接口也是C++语言，但是依然保留了大量的C语言接口。

从人脸检测的精确度来看，博纳希AI拥有信号分析和图像处理功能，把将受试者的面部的检测数据预处理作为整个测量过程的关键部分。博纳希AI的人脸检测精度≥95％，其它产品精度≤90％。博纳希AI的生物特征人脸识别精度≥98％，相同的条件下可以不设限。其它产品仅支持人脸识别。而博纳希AI可以运用自主研发的远程光学体积描记术(rPPG)进行心理压力及HRV的精准测量。其测量精度误差≤2bpm。

博纳希AI可应用于任何智能手机/平板电脑/个人电脑，在测量时无须接触皮肤且任何年龄、肤色的受试者均可使用。其可离线运行，无需连网。博纳希AI的心理压力检测基于Baevsky和美国/欧洲压力指数水平测量标准(全球认可)。其作为SDK的一部分运行，基于相同的视频分析解决方案，提供清楚的压力水平显示。

博纳希AI利用运行在任何终端上的网络摄像头、手机彩色相机或红外相机(8位以上)对受试者进行面部生物特征识别进行正确的信号获取。调用终端相机拍摄时主要包括以下步骤：人脸检测、人脸跟踪、运动补偿、照明标准化(去除外部光源)、感兴趣的皮肤区域选择，从而产生光学体积描记术信号(轻度反射强度)。

所述生物特征识别，其直接依据是心跳时间间隔变化与生理现象有关。它是在1950年由俄罗斯太空研究专家提出的，第一次是在太空完成检测。尤里·加加林在1961年通过自主系统对人体部分功能进行无创测量，包括皮质醇水平的预测价值(情绪波动，肌肉问题等)、精神压力、体重估计、心力衰竭、高血压、窘迫、认知和记忆表现等测量记录，证明HRV与肥胖、CVA猝死风险、炎症标志物、认知能力、胰岛素敏感性、内脏脂肪、有氧运动水平、疲劳和过度训练提示等表现相关。

生物特征识别主要包括：指纹识别、视网膜识别、虹膜识别、步态识别、静脉识别、人脸识别等。与其他识别方法相比，人脸识别由于本身具有直接、友好、方便的特点，使用者对其无任何心理障碍。本发明优选的采用人脸识别，用于认证独特的特征以及个人身份验证、特殊标识(从已知的少量特征中为一个人画像)、一般识别等。

从本质上讲，经生物特征识别获取的数据是不干净的，博纳希AI需要对数据进行分析和处理，其主要步骤是进行异常值检测、信号降噪并去除快速的强度变化造成的伪影(消除异常值)产生最佳信号近似值——重构类似心电图(ECG)信号，远程光学体积描记术(rPPG)进行信号光谱分析，可用于心率变异性(HRV)的信号重构。

所述信号处理可以提高数据的价值、准确性和最终结果的稳定性，使其成为数据准备中的一个关键工具。信号处理可以消除异常值和不必要的成份，从而创建更简洁、优化的数据集。其中所述信号降噪处理可以只保留有效数据用于建模和分析，提高了分析的准确性。

开始测量初始化成功(获取测量数据)，会在脸部生成诸多个特征点，通过扫描的特征点去绘制数据。远程光学体积描记术(rPPG)可根据被检测者的面部颜色的标记点，通过脸部轻微改变从而发现脉搏的轻微变化并生成一条条数据展现在动态波浪线上。每绘制生成一次峰值及谷值即测量出一次心率值，由于人脸识别易受外界(光线，遮挡物，距离)影响所检测的心率值可能不一样，需多次测量矫正生成更准确的心率值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明根据示例性实施例示出的运用博纳希AI测量心理压力及HRV的系统的结构示意图；

图2为本发明运用手机相机采集受试者面部信息，进行信息预处理的方法的示意图；

图3为本发明对获取的数据(不干净)进行分析与处理的示意图；

图4为本发明运用博纳希AI进行心理压力及HRV测量的方法的结构示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于手机视频流测量心理压力及心率变异性(HRV)的方法，所选用的测量HRV的智能手机带有彩色相机或红外相机(8位以上)，该手机不仅可以作为正常手机使用，还可以在日常生活中实现非接触式的心理压力及HRV测量，免去了携带专门测量设备的麻烦。

为了便于对本实施例进行理解，首先对本发明实施例所公开的利用博纳希AI测量心率变异性(HRV)及心理压力的方法进行详细介绍。

如图1所示，博纳希AI通过调用手机视频流对受试者进行生物特征识别，得到的受试者面部信息(参照图2)。利用博纳希AI的人工智能技术进行图像信号分析与处理，获取更准确数据集(参照图3)。利用自主研发的体积描记术(rPPG)对数据集进行分析处理，达到测量心理压力及心率变异性(HRV)的目的。

如图2所示，本发明实施例所提供的手机相机获取受试者面部信息的方法：选定受试者面部特定区域作为测量区域，应用系统会先进行数据输入/建模、异常检测、归类、预测、回归、统计分析、时间序列、计算机视觉生成最初数据集，博纳希AI可依据所述最初数据集进行信号预处理，其步骤为面部识别、面部追踪、运动补偿、光照补偿(清除外部源)、面部有效区域的选择。博纳希AI系统进行数据调整/信号处理/清除丢失的数据/规范数据/主元分析/独立成分分析/过滤数据/验证数据，处理完成后进行模型建立/数据校验/参量变换/模型更新。

详细实现过程为代码层仅限于底层代码调用具体算法封装在so库，后面会具体把各个逻辑代码张贴出来以及在so文件的底层算法，具体调用底层两个so文件，用于达到上述检测目的。{

System.loadlibrary(“binahhrv”)

System.loadlibrary(“video_hr”)

}

打开摄像头初始化sdk成功会在脸部生成若干特征点并保存在一个字节数组中用于底层so文件调用及计算心率值

byte[]data＝newbyte[]{-34，-64，23，11，0，0，0，0，44，0，0，0，-60，6，0，0，0，0，111，116，115，83，-126，-85，-41，-120，-36，-36，87，25，30，-36，-101，28，-35，-105，-39，-101，92，89，-40，24，-38，-105，91，88，91，-39，-108，33，-37，-70，74，35，114，115，95，101，120，112，111，114，116，95，102，111，114，101，97，99，104，83，-122，-21，-5，0，0，0，121，24，0，0，92，0，0，0，51，8，-128，28，-60，-31，28，102，20，1，61，-120，67，56，-124，-61，-116，66，-128，7，121，120，7，115，-104，113，12，-26，0，15，-19，16，14，-12，-128，14，51，12，66，30，-62，-63，29，32，0，0，3，0，0，0，19，4，-63，-120，1，65，4，71，-128，0，0，0，0，0，0，0}

当脸部遮挡致使可测量点不能满足测量则提示测量无效并返回msg值。

Message msg＝new Message()；

Msg.obj＝bmp2；

Msg.what＝3；

mSDKResponeHandler.sendMessage(msg)

检测过程如受外界(光线，脸部遮挡，距离)影响会影响检测结果的准确性。受试者应选择光线良好的场所，进行心率及HRV的检测。检测时，受试者应保持手机不动，将脸部完全处于检测区域中，受试者与手机的距离保持在0.3-0.5米为最佳距离，最长不得超过1.5米。脸部不可遮挡否则无法精准检测。(受试者如带有眼镜或其他遮挡物应一并取下再进行检测)。

图3为信号分析与处理的具体操作流程，信号处理可以消除异常值和不必要的成份，从而创建更简洁、优化的数据集。数据消噪处理可以只保留有效数据用于建模和分析，提高了分析的准确性。所述信号处理的处理运算过程包括但不限于过滤/快速傅氏变换算法/阿达玛/去噪/卷积/独立元分析。信号处理将数据量精简化，并为机器学习和人工智能提供便利数据。它加快了数据处理的速度，显著减少了误报，基于数据集和用例，数据实时与医疗级血氧计与博纳希远程光电容积脉搏波描记(PPG)对比，在1000+名测试者中，误差小于等于2bpm，其准确率保持在80-99％。

其中所述机器学习包括但不限于k均值聚类/最小角回归/线性回归/感知器模型/主/元分析/线性辨别分析/最近邻算法/支持向量机/基本神经网络/基本定义/反向传播人工神经网络/贝叶斯网络等。

图像信号处理将数据输入简化，使用的是经过数个世纪验证并沿用的数学运算方法(ML算法)。经过上述信号处理后运用所述ML算法形成训练模型具体步骤是选择合适训练算法/创建场景来创建特征提取/为分类器创建场景/为并行训练准备/激活所需的数据分割。数值数据集在经过信号处理后被转换为“波形”，以便于数据体现为流形图像用于分析。具体代码层是由上述(图2)代码层开发许多分支去判断执行所述信号分析与处理的功能。

图4为本发明实施例提供的运用博纳希AI进行心理压力及HRV测量的方法的示意图。博纳希AI利用自主研发的远程光学体积描记法技术(rPPG)，对上述获取的数据集进行分析评分保存数据，其过程包括但不限于大规模格式化数据/CSV文件/医学数字影像和通讯/数据库/图像/视频/结构化的/非结构化/半结构化数据。经过评分保存所有阶段模型。测试新数据重复上述操作，最终在应用界面呈现测试结果，如对分析结果有异议可重复测量2-3次，是测量结果更为准确可信。具体算法如下调用so文Algorith.save(ndk：：basic..)

处理器所执行的操作码

.text：00000000005C3060 STP X29，X30，[SP，#0x90+var_s0]

.text：00000000005C3084 STUR X8，[X29，#var_28]

.text：00000000005C3088 BL ._ZN2cv5utils5trace7details6RegionC2ERKNS3_21Locatio；CODE XREF：cv：：Algorithm：：save(std：：_ndk1：：basic_string<char，std：：_ndk1：：char_traits<char>，std：：_ndk1：：all ocator<char>>const&)+58↑j

伪代码如下

经过系列处理，当检测的结果满足条件则生成最终的心率值回传应用层

Claims (8)

1.一种非接触性(基于视频流)测量心理压力及心率变异性(HRV)的博纳希AI，其特征在于，利用运行在任何终端上的彩色相机对使用者面部进行生物特征识别并提取有效信号，经系列分析处理生成完整数据集，利用自主研发的远程光学体积描记术(rPPG)对获取的数据集进行分析处理从而达到测量心理压力及HRV的目的。

2.根据权利要求1所述，博纳希AI的心理压力检测基于Baevsky和美国/欧洲压力指数水平测量标准(全球认可)，其作为SDK的一部分运行，基于相同的视频分析解决方案供清楚的压力水平显示。

3.根据权利要求1所述，博纳希AI在测量能够离线运行，无需连网。

4.根据权利要求1所述，博纳希AI支持运行在任何终端上的彩色相机或红外相机(8位以上)包括但不限于智能手机、平板电脑。

5.根据权利要求1所述博纳希AI调用终端相机对受试者进行生物特征识别并提取信号并进行信号预处理，其步骤为面部识别、面部追踪、运动补偿、光照补偿(清除外部源)、面部有效区域的选择，从而产生光学体积描记术信号(轻度反射强度)。

6.根据权利要求5所述，对获取的信号进行系列分析处理，其特征在于可以消除异常值和不必要的成份，从而创建更简洁、优化的数据集，其主要步骤是进行异常值检测、信号降噪并去除快速的强度变化造成的伪影(消除异常值)。

7.根据权利要求6所述，测量初始化成功，会在脸部生成诸多个特征点，通过扫描的特征点去绘制数据。

8.远程光学体积描记术(rPPG)可根据被检测者的面部颜色的标记点，通过脸部轻微改变从而发现脉搏的轻微变化并生成心率值。

Images