[go: up one dir, main page]

CN111248879B - 一种基于多模态注意力融合的高血压老年人活动分析方法 - Google Patents

一种基于多模态注意力融合的高血压老年人活动分析方法 Download PDF

Info

Publication number
CN111248879B
CN111248879B CN202010103572.8A CN202010103572A CN111248879B CN 111248879 B CN111248879 B CN 111248879B CN 202010103572 A CN202010103572 A CN 202010103572A CN 111248879 B CN111248879 B CN 111248879B
Authority
CN
China
Prior art keywords
data
attention
pulse wave
modal data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010103572.8A
Other languages
English (en)
Other versions
CN111248879A (zh
Inventor
刘勇国
王志华
杨尚明
李巧勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010103572.8A priority Critical patent/CN111248879B/zh
Publication of CN111248879A publication Critical patent/CN111248879A/zh
Application granted granted Critical
Publication of CN111248879B publication Critical patent/CN111248879B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明公开了一种基于多模态注意力融合的高血压老年人活动分析方法，融合多模态数据特征，并基于注意力机制提取各模态数据的注意力表示。同时基于脉搏波和心电传感器测量高血压老年人实时血压，并计算血压变异性，分析实时活动和血压关联的关系，得出适合高血压老年人的日常活动。本发明的分析方法基于卷积神经网络模型和长短期记忆神经网络组合模型，引入注意力机制，实现多模态特征提取及融合，可有效改善活动识别精度。并且本方法分析实时血压与日常活动之间的关联，为高血压老年人推荐合理的日常活动提供依据。

Description

一种基于多模态注意力融合的高血压老年人活动分析方法
技术领域
本发明属于监护系统技术领域，具体涉及一种基于多模态注意力融合的高血压老年人活动分析方法。
背景技术
适量的身体活动是高血压、糖尿病和骨关节炎等慢性疾病辅助治疗的重要手段之一。量化慢病人群日常活动的强度和类型有助于医生或家人了解其活动方式、规律、类型及活动量，提高健康评价的准确性，以制定更合适的康复治疗策略。随着无线通信及可穿戴传感技术的发展，穿戴式传感设备可以实时采集人体活动过程的加速度、心率、心电等数据，通过对采集的数据进行分析，利用机器学习技术可实现对高血压等慢病人群日常活动进行监测。
发明内容
本发明的目的是为了解决老年人日常适量活动的问题，提出了一种基于多模态注意力融合的高血压老年人活动分析方法。
本发明的技术方案是：一种基于多模态注意力融合的高血压老年人活动分析方法，包括以下步骤：
S1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；
S2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；
S3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；
S4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的CNN-LSTM模型，进行池化，得到用户日常活动类型；
S5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；
S6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间tdelay；
S7：根据d和tdelay计算脉搏波传导速度PWV；
S8：根据PWV计算脉搏波传导时间PTT；
S9：根据PTT计算血压实时测量值BP；
S10：根据BP计算血压变异性系数CV；
S11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数CV大于血压变压性阈值的时段，得到血压变异性强的时段T；
S12：基于时段T连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。
本发明的有益效果是：本发明的分析方法基于卷积神经网络模型和长短期记忆神经网络组合模型，引入注意力机制，实现多模态特征提取及融合，可有效改善活动识别精度。并且本方法分析实时血压与日常活动之间的关联，为高血压老年人推荐合理的日常活动提供依据。
进一步地，步骤S1中，加速度传感器和光电体积描记器传感器的采样频率均为50Hz，心电图传感器的采样频率为256Hz。
上述进一步方案的有益效果是：在本发明中，不同的传感器采用不同的频率可采集连续时序数据，方便后续步骤进行活动识别。
进一步地，步骤S2中，归一化处理的公式为：
Figure BDA0002387702830000031
其中，X*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，X分别为采集的加速度数据、脉搏波数据和心电图数据，Xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，Xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。
上述进一步方案的有益效果是：在本发明中，不同传感器采集的数据具有不同的范围和量纲，为了消除数据之间的范围和量纲影响，不影响数据分析结果的准确性，需要对其进行归一化处理。初始数据经过归一化处理后，各指标处于同一数量级，并消除了量纲，有利于进行综合对比评价。
进一步地，步骤S4包括以下子步骤：
S41：将各个CNN-LSTM模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层LSTM网络和第2层LSTM网络，第8层为softmax层；
S42：利用CNN算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层LSTM模型隐含单元，经过第7层LSTM模型进一步提取各模态数据的时序特征；
S43：向各个CNN-LSTM模型的第6层和第7层之间均加入注意力机制；
S44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；
S45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力
Figure BDA0002387702830000032
脉搏波模态数据的全局注意力
Figure BDA0002387702830000033
和心电图模态数据的全局注意力
Figure BDA0002387702830000034
S46：将
Figure BDA0002387702830000035
和加速度模态数据的隐藏状态
Figure BDA0002387702830000036
拼接得到加速度模态数据的特征向量
Figure BDA0002387702830000037
将
Figure BDA0002387702830000038
和脉搏波模态数据的隐藏状态
Figure BDA0002387702830000039
拼接得到脉搏波模态数据的特征向量
Figure BDA00023877028300000310
将
Figure BDA00023877028300000311
和心电图模态数据的隐藏状态
Figure BDA00023877028300000312
拼接得到心电图模态数据的特征向量
Figure BDA0002387702830000041
S47：将
Figure BDA0002387702830000042
和
Figure BDA0002387702830000043
拼接得到整个模态数据的特征向量
Figure BDA0002387702830000044
S48：将
Figure BDA0002387702830000045
和t时刻的ct拼接得到整个模态数据的整体描述
Figure BDA0002387702830000046
并输入到第1层LSTM网络；
S49：获取第1层LSTM网络的跨模态融合特征，输入到第2层LSTM网络进行提取时序特征表示，并输入到第8层；
S410：根据特征表示计算第8层的日常活动输出类别
Figure BDA0002387702830000047
其计算公式为：
Figure BDA0002387702830000048
其中，F为第2层LSTM网络的输出特征，W为第8层和第2层LSTM网络的连接权重；
S411：根据
Figure BDA0002387702830000049
计算代价函数的损失值Loss，Loss的数值最小时得到用户的日常活动类型，完成池化，其计算公式为：
Figure BDA00023877028300000410
其中，n为样本数，y为真实的活动类别，
Figure BDA00023877028300000411
为日常活动输出类别，X分别为采集的加速度数据、脉搏波数据和心电图数据。
上述进一步方案的有益效果是：在本发明中，对各模态数据进行池化，提取模态数据的低层统计特征和高层抽象特征，得到用户日常活动类型，给后续分析步骤提供依据。
进一步地，步骤S44包括以下子步骤：
S441：根据注意力机制计算所有模态数据的注意力ati；其计算公式为：
ati＝Wahi+ba
其中，i＝1,…,t-1，Wa为所有模态数据的注意力层权重，hi为所有模态数据的隐藏状态，ba为注意力机制的单元偏置；
S442：根据ati和注意力机制计算t时刻所有模态数据的全局注意力ct，其计算公式为：
Figure BDA0002387702830000051
其中，ati为所有模态数据的注意力，hi为所有模态数据的隐藏状态。
上述进一步方案的有益效果是：在本发明中，计算t时刻所有模态数据的全局注意力ct便于与各个模态数据的特征向量进行拼接。
进一步地，步骤S45包括以下子步骤：
S451：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的注意力
Figure BDA0002387702830000052
脉搏波模态数据的注意力
Figure BDA0002387702830000053
和心电图模态数据的注意力
Figure BDA0002387702830000054
其计算公式为：
Figure BDA0002387702830000055
Figure BDA0002387702830000056
Figure BDA0002387702830000057
其中，i＝1,…,t-1，
Figure BDA0002387702830000058
为加速度模态数据的注意力层权重，
Figure BDA0002387702830000059
为脉搏波模态数据的注意力层权重，
Figure BDA00023877028300000510
为心电图模态数据的注意力层权重；
Figure BDA00023877028300000511
为加速度模态数据的隐藏状态；
Figure BDA00023877028300000512
为脉搏波模态数据的隐藏状态，
Figure BDA00023877028300000513
为心电图模态数据的隐藏状态；
Figure BDA00023877028300000514
为加速度模态数据的单元偏置，
Figure BDA00023877028300000515
为脉搏波模态数据的单元偏置，
Figure BDA00023877028300000516
为心电图模态数据的单元偏置；
S452：根据
Figure BDA00023877028300000517
和注意力机制计算t时刻加速度模态数据的全局注意力
Figure BDA00023877028300000518
根据
Figure BDA00023877028300000519
和注意力机制计算t时刻脉搏波模态数据的全局注意力
Figure BDA00023877028300000520
根据
Figure BDA00023877028300000521
和注意力机制计算t时刻心电图模态数据的全局注意力
Figure BDA00023877028300000522
其计算公式为：
Figure BDA0002387702830000061
Figure BDA0002387702830000062
Figure BDA0002387702830000063
其中，
Figure BDA0002387702830000064
为t时刻加速度模态数据的注意力，
Figure BDA0002387702830000065
为t时刻脉搏波模态数据的注意力，
Figure BDA0002387702830000066
为t时刻心电图模态数据的注意力；
Figure BDA0002387702830000067
为加速度模态数据的隐藏状态；
Figure BDA0002387702830000068
为脉搏波模态数据的隐藏状态，
Figure BDA0002387702830000069
为心电图模态数据的隐藏状态。
上述进一步方案的有益效果是：在本发明中，计算t时刻各个模态数据的全局注意力，以便更好反映同一活动下相同时刻用户的人体加速度、脉搏波和心电图的特征表示。
进一步地，步骤S7中，脉搏波传导速度PWV的计算公式为：
Figure BDA00023877028300000610
其中，d为脉搏波信号和心电图信号之间的距离，tdelay为脉搏波传导时间。
上述进一步方案的有益效果是：在本发明中，光电体积描记器传感器用于检测传播脉搏波，脉搏波传导速度PWV用于计算脉搏波传导时间PTT。
进一步地，步骤S8中，脉搏波传导时间PTT的计算公式为:
Figure BDA00023877028300000611
其中，L为主动脉起始和放置光电体积描记器传感器之间的距离，PWV为脉搏波传导速度。
上述进一步方案的有益效果是：在本发明中，脉搏波传导时间PTT是指心脏搏动产生脉搏波经血管传送到人体某个部位所耗时间，且心电信号在人体内传导速度远远大于脉搏波传导速度，因而可以忽略不计心电传导时间。故通常以同一心脏搏动周期内心电信号R波的波峰位置与脉搏波信号的主波波峰位置的时间间隔作为心动周期的脉搏波传导时间。
进一步地，步骤S9中，血压实时测量值BP的计算公式为：
BP＝α*PTT+β
其中，α和β均为根据回归函数计算人体个性化的待定参数，PTT为脉搏波传导时间。
上述进一步方案的有益效果是：在本发明中，血压实时测量值BP可用于计算血压变异性系数，便于与血压变异性阈值对比。
进一步地，步骤S10中，血压变异性系数CV的计算公式为：
Figure BDA0002387702830000071
其中，σ为30min内血压实时测量值BP的标准差，mean为30min内血压实时测量值BP的平均值。
上述进一步方案的有益效果是：在本发明中，血压变异性系数CV反映30min内血压波动的程度，该值是一个相对值，没有单位，其大小同时受血压实时测量值BP的标准差和平均值的影响。在比较不同时间段的血压变异性程度时，变异性系数不受血压实时测量值BP的标准差和平均值的影响。
附图说明
图1为老年人活动分析方法的流程图；
图2为步骤S4的流程图；
图3为步骤S44的流程图；
图4为步骤S45的流程图；
图5为CNN模型和LSTM模型的架构图；
图6为用户的脉搏波传导时间的分析图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于多模态注意力融合的高血压老年人活动分析方法，包括以下步骤：
S1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；
S2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；
S3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；
S4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的CNN-LSTM模型，进行池化，得到用户日常活动类型；
S5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；
S6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间tdelay；
S7：根据d和tdelay计算脉搏波传导速度PWV；
S8：根据PWV计算脉搏波传导时间PTT；
S9：根据PTT计算血压实时测量值BP；
S10：根据BP计算血压变异性系数CV；
S11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数CV大于血压变压性阈值的时段，得到血压变异性强的时段T；
S12：基于时段T连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。
在本发明实施例中，如图1所示，步骤S1中，加速度传感器和光电体积描记器传感器的采样频率均为50Hz，心电图传感器的采样频率为256Hz。
在本发明中，不同的传感器采用不同的频率可采集连续时序数据，方便后续步骤进行活动识别。
在本发明实施例中，如图1所示，步骤S2中，归一化处理的公式为：
Figure BDA0002387702830000091
其中，X*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，X分别为采集的加速度数据、脉搏波数据和心电图数据，Xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，Xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。
在本发明中，不同传感器采集的数据具有不同的范围和量纲，为了消除数据之间的范围和量纲影响，不影响数据分析结果的准确性，需要对其进行归一化处理。初始数据经过归一化处理后，各指标处于同一数量级，并消除了量纲，有利于进行综合对比评价。
在本发明实施例中，如图2所示，步骤S4包括以下子步骤：
S41：将各个CNN-LSTM模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层LSTM网络和第2层LSTM网络，第8层为softmax层；
S42：利用CNN算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层LSTM模型隐含单元，经过第7层LSTM模型进一步提取各模态数据的时序特征；
S43：向各个CNN-LSTM模型的第6层和第7层之间均加入注意力机制；
S44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；
S45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力
Figure BDA0002387702830000101
脉搏波模态数据的全局注意力
Figure BDA0002387702830000102
和心电图模态数据的全局注意力
Figure BDA0002387702830000103
S46：将
Figure BDA0002387702830000104
和加速度模态数据的隐藏状态
Figure BDA0002387702830000105
拼接得到加速度模态数据的特征向量
Figure BDA0002387702830000106
将
Figure BDA0002387702830000107
和脉搏波模态数据的隐藏状态
Figure BDA0002387702830000108
拼接得到脉搏波模态数据的特征向量
Figure BDA0002387702830000109
将
Figure BDA00023877028300001010
和心电图模态数据的隐藏状态
Figure BDA00023877028300001011
拼接得到心电图模态数据的特征向量
Figure BDA00023877028300001012
S47：将
Figure BDA00023877028300001013
和
Figure BDA00023877028300001014
拼接得到整个模态数据的特征向量
Figure BDA00023877028300001015
S48：将
Figure BDA00023877028300001016
和t时刻的ct拼接得到整个模态数据的整体描述
Figure BDA00023877028300001017
并输入到第1层LSTM网络；
S49：获取第1层LSTM网络的跨模态融合特征，输入到第2层LSTM网络进行提取时序特征表示，并输入到第8层；
S410：根据特征表示计算第8层的日常活动输出类别
Figure BDA00023877028300001018
其计算公式为：
Figure BDA00023877028300001019
其中，F为第2层LSTM网络的输出特征，W为第8层和第2层LSTM网络的连接权重；
S411：根据
Figure BDA00023877028300001020
计算代价函数的损失值Loss，Loss的数值最小时得到用户的日常活动类型，完成池化，其计算公式为：
Figure BDA00023877028300001021
其中，n为样本数，y为真实的活动类别，
Figure BDA00023877028300001022
为日常活动输出类别，X分别为采集的加速度数据、脉搏波数据和心电图数据。
在本发明中，对各模态数据进行池化，提取模态数据的低层统计特征和高层抽象特征，得到用户日常活动类型，给后续分析步骤提供依据。
在本发明实施例中，如图3所示，步骤S44包括以下子步骤：
S441：根据注意力机制计算所有模态数据的注意力ati；其计算公式为：
ati＝Wahi+ba
其中，i＝1,…,t-1，Wa为所有模态数据的注意力层权重，hi为所有模态数据的隐藏状态，ba为注意力机制的单元偏置；
S442：根据ati和注意力机制计算t时刻所有模态数据的全局注意力ct，其计算公式为：
Figure BDA0002387702830000111
其中，ati为所有模态数据的注意力，hi为所有模态数据的隐藏状态。
在本发明中，计算t时刻所有模态数据的全局注意力ct便于与各个模态数据的特征向量进行拼接。
在本发明实施例中，如图4所示，步骤S45包括以下子步骤：
S451：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的注意力
Figure BDA0002387702830000112
脉搏波模态数据的注意力
Figure BDA0002387702830000113
和心电图模态数据的注意力
Figure BDA0002387702830000114
其计算公式为：
Figure BDA0002387702830000115
Figure BDA0002387702830000116
Figure BDA0002387702830000117
其中，i＝1,…,t-1，
Figure BDA0002387702830000118
为加速度模态数据的注意力层权重，
Figure BDA0002387702830000119
为脉搏波模态数据的注意力层权重，
Figure BDA00023877028300001110
为心电图模态数据的注意力层权重；
Figure BDA00023877028300001111
为加速度模态数据的隐藏状态；
Figure BDA00023877028300001112
为脉搏波模态数据的隐藏状态，
Figure BDA00023877028300001113
为心电图模态数据的隐藏状态；
Figure BDA0002387702830000121
为加速度模态数据的单元偏置，
Figure BDA0002387702830000122
为脉搏波模态数据的单元偏置，
Figure BDA0002387702830000123
为心电图模态数据的单元偏置；
S452：根据
Figure BDA0002387702830000124
和注意力机制计算t时刻加速度模态数据的全局注意力
Figure BDA0002387702830000125
根据
Figure BDA0002387702830000126
和注意力机制计算t时刻脉搏波模态数据的全局注意力
Figure BDA0002387702830000127
根据
Figure BDA0002387702830000128
和注意力机制计算t时刻心电图模态数据的全局注意力
Figure BDA0002387702830000129
其计算公式为：
Figure BDA00023877028300001210
Figure BDA00023877028300001211
Figure BDA00023877028300001212
其中，
Figure BDA00023877028300001213
为t时刻加速度模态数据的注意力，
Figure BDA00023877028300001214
为t时刻脉搏波模态数据的注意力，
Figure BDA00023877028300001215
为t时刻心电图模态数据的注意力；
Figure BDA00023877028300001216
为加速度模态数据的隐藏状态；
Figure BDA00023877028300001217
为脉搏波模态数据的隐藏状态，
Figure BDA00023877028300001218
为心电图模态数据的隐藏状态。
在本发明中，计算t时刻各个模态数据的全局注意力，以便更好反映同一活动下相同时刻用户的人体加速度、脉搏波和心电图的特征表示。
在本发明实施例中，如图1所示，步骤S7中，脉搏波传导速度PWV的计算公式为：
Figure BDA00023877028300001219
其中，d为脉搏波信号和心电图信号之间的距离，tdelay为脉搏波传导时间。
在本发明中，光电体积描记器传感器用于检测传播脉搏波，脉搏波传导速度PWV用于计算脉搏波传导时间PTT。
在本发明实施例中，如图1所示，步骤S8中，脉搏波传导时间PTT的计算公式为:
Figure BDA0002387702830000131
其中，L为主动脉起始和放置光电体积描记器传感器之间的距离，PWV为脉搏波传导速度。
在本发明中，脉搏波传导时间PTT是指心脏搏动产生脉搏波经血管传送到人体某个部位所耗时间，且心电信号在人体内传导速度远远大于脉搏波传导速度，因而可以忽略不计心电传导时间。故通常以同一心脏搏动周期内心电信号R波的波峰位置与脉搏波信号的主波波峰位置的时间间隔作为心动周期的脉搏波传导时间。
在本发明实施例中，如图1所示，步骤S9中，血压实时测量值BP的计算公式为：
BP＝α*PTT+β
其中，α和β均为根据回归函数计算人体个性化的待定参数，PTT为脉搏波传导时间。
在本发明中，血压实时测量值BP可用于计算血压变异性系数，便于与血压变异性阈值对比。
在本发明实施例中，如图1所示，步骤S10中，血压变异性系数CV的计算公式为：
Figure BDA0002387702830000132
其中，σ为30min内血压实时测量值BP的标准差，mean为30min内血压实时测量值BP的平均值。
在本发明中，血压变异性系数CV反映30min内血压波动的程度，该值是一个相对值，没有单位，其大小同时受血压实时测量值BP的标准差和平均值的影响。在比较不同时间段的血压变异性程度时，变异性系数不受血压实时测量值BP的标准差和平均值的影响。
本发明的工作原理及过程为：本发明的分析方法基于CNN模型和LSTM模型，融合多模态数据特征，并基于注意力机制提取各模态数据的注意力表示，以体现不同模态数据在识别活动中的权重。同时基于脉搏波和心电传感器测量高血压老年人实时血压，并计算血压变异性，分析实时活动和血压关联的关系，得出适合高血压老年人的日常活动。
CNN模型和LSTM模型的架构如图5所示，其中第1层为输入层，ACC为加速度传感器，PPG为光电体积描记器传感器，ECG为心电图传感器；第2-5层为卷积-池化层，第2层为CNN卷积层，卷积核的大小为1×3，卷积核的数量为64个，共有256个参数，第3层为池化层，采用最大池化过滤规则，过滤器大小为1×2，步长为2，参数大小为2，第4、5层分别和第2、3层的参数设置相同；第6-7层为LSTM全连接层，第8层为softmax层。
采用本发明的分析方法测量计算用户的脉搏波传导时间如图6所示。
本发明的有益效果为：本发明的分析方法基于卷积神经网络模型和长短期记忆神经网络组合模型，引入注意力机制，实现多模态特征提取及融合，可有效改善活动识别精度。并且本方法分析实时血压与日常活动之间的关联，为高血压老年人推荐合理的日常活动提供依据。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，包括以下步骤：
S1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；
S2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；
S3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；
S4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的CNN-LSTM模型，进行池化，得到用户日常活动类型；
S5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；
S6：计算去噪后动脉段光电体积描记器传感器位置之间的长度d以及脉搏波转换延迟时间tdelay；
S7：根据d和tdelay计算脉搏波传导速度PWV；
S8：根据PWV计算脉搏波传导时间PTT；
S9：根据PTT计算血压实时测量值BP；
S10：根据BP计算血压变异性系数CV；
S11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数CV大于血压变压性阈值的时段，得到血压变异性强的时段T；
S12：基于时段T连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。
2.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S1中，加速度传感器和光电体积描记器传感器的采样频率均为50Hz，心电图传感器的采样频率为256Hz。
3.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S2中，归一化处理的公式为：
Figure FDA0003270560010000021
其中，X*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，X分别为采集的加速度数据、脉搏波数据和心电图数据，Xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，Xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。
4.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S4包括以下子步骤：
S41：将各个CNN-LSTM模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层LSTM网络和第2层LSTM网络，第8层为softmax层；
S42：利用CNN算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层LSTM模型隐含单元，经过第7层LSTM模型进一步提取各模态数据的时序特征；
S43：向各个CNN-LSTM模型的第6层和第7层之间均加入注意力机制；
S44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；
S45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力
Figure FDA0003270560010000031
脉搏波模态数据的全局注意力
Figure FDA0003270560010000032
和心电图模态数据的全局注意力
Figure FDA0003270560010000033
S46：将
Figure FDA0003270560010000034
和加速度模态数据的隐藏状态
Figure FDA0003270560010000035
拼接得到加速度模态数据的特征向量
Figure FDA0003270560010000036
将
Figure FDA0003270560010000037
和脉搏波模态数据的隐藏状态
Figure FDA0003270560010000038
拼接得到脉搏波模态数据的特征向量
Figure FDA0003270560010000039
将
Figure FDA00032705600100000310
和心电图模态数据的隐藏状态
Figure FDA00032705600100000311
拼接得到心电图模态数据的特征向量
Figure FDA00032705600100000312
S47：将
Figure FDA00032705600100000313
和
Figure FDA00032705600100000314
拼接得到整个模态数据的特征向量
Figure FDA00032705600100000315
S48：将
Figure FDA00032705600100000316
和t时刻的ct拼接得到整个模态数据的整体描述
Figure FDA00032705600100000317
并输入到第1层LSTM网络；
S49：获取第1层LSTM网络的跨模态融合特征，输入到第2层LSTM网络进行提取时序特征表示，并输入到第8层；
S410：根据特征表示计算第8层的日常活动输出类别
Figure FDA00032705600100000318
其计算公式为：
Figure FDA0003270560010000041
其中，F为第2层LSTM网络的输出特征，W为第8层和第2层LSTM网络的连接权重；
S411：根据
Figure FDA0003270560010000042
计算代价函数的损失值Loss，Loss的数值最小时得到用户的日常活动类型，完成池化，其计算公式为：
Figure FDA0003270560010000043
其中，n为样本数，y为真实的活动类别，
Figure FDA0003270560010000044
为日常活动输出类别，X分别为采集的加速度数据、脉搏波数据和心电图数据。
5.根据权利要求4所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S44包括以下子步骤：
S441：根据注意力机制计算所有模态数据的注意力ati；其计算公式为：
ati＝Wahi+ba
其中，i＝1,…,t-1，Wa为所有模态数据的注意力层权重，hi为所有模态数据的隐藏状态，ba为注意力机制的单元偏置；
S442：根据ati和注意力机制计算t时刻所有模态数据的全局注意力ct，其计算公式为：
Figure FDA0003270560010000045
其中，ati为所有模态数据的注意力，hi为所有模态数据的隐藏状态。
6.根据权利要求4所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S45包括以下子步骤：
S451：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的注意力
Figure FDA0003270560010000051
脉搏波模态数据的注意力
Figure FDA0003270560010000052
和心电图模态数据的注意力
Figure FDA0003270560010000053
其计算公式为：
Figure FDA0003270560010000054
Figure FDA0003270560010000055
Figure FDA0003270560010000056
其中，i＝1,…,t-1，
Figure FDA00032705600100000512
为加速度模态数据的注意力层权重，
Figure FDA00032705600100000513
为脉搏波模态数据的注意力层权重，
Figure FDA00032705600100000514
为心电图模态数据的注意力层权重；
Figure FDA0003270560010000057
为加速度模态数据的隐藏状态；
Figure FDA00032705600100000515
为脉搏波模态数据的隐藏状态，
Figure FDA0003270560010000058
为心电图模态数据的隐藏状态；
Figure FDA00032705600100000516
为加速度模态数据的单元偏置，
Figure FDA00032705600100000517
为脉搏波模态数据的单元偏置，
Figure FDA00032705600100000518
为心电图模态数据的单元偏置；
S452：根据
Figure FDA00032705600100000519
和注意力机制计算t时刻加速度模态数据的全局注意力
Figure FDA00032705600100000520
根据
Figure FDA00032705600100000521
和注意力机制计算t时刻脉搏波模态数据的全局注意力
Figure FDA00032705600100000522
根据
Figure FDA00032705600100000523
和注意力机制计算t时刻心电图模态数据的全局注意力
Figure FDA00032705600100000524
其计算公式为：
Figure FDA0003270560010000059
Figure FDA00032705600100000510
Figure FDA00032705600100000511
其中，
Figure FDA0003270560010000063
为t时刻加速度模态数据的注意力，
Figure FDA0003270560010000064
为t时刻脉搏波模态数据的注意力，
Figure FDA0003270560010000065
为t时刻心电图模态数据的注意力；
Figure FDA0003270560010000066
为加速度模态数据的隐藏状态；
Figure FDA0003270560010000067
为脉搏波模态数据的隐藏状态，
Figure FDA0003270560010000068
为心电图模态数据的隐藏状态。
7.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S7中，脉搏波传导速度PWV的计算公式为：
Figure FDA0003270560010000061
其中，d为动脉段两个光电体积描记器传感器位置之间的长度，tdelay为脉搏波转换延迟时间。
8.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S8中，脉搏波传导时间PTT的计算公式为:
Figure FDA0003270560010000062
其中，L为主动脉起始和放置光电体积描记器传感器之间的距离，PWV为脉搏波传导速度。
9.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S9中，血压实时测量值BP的计算公式为：
BP＝α*PTT+β
其中，α和β均为根据回归函数计算人体个性化的待定参数，PTT为脉搏波传导时间。
10.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤S10中，血压变异性系数CV的计算公式为：
Figure FDA0003270560010000071
其中，σ为30min内血压实时测量值BP的标准差，mean为30min内血压实时测量值BP的平均值。
CN202010103572.8A 2020-02-20 2020-02-20 一种基于多模态注意力融合的高血压老年人活动分析方法 Expired - Fee Related CN111248879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103572.8A CN111248879B (zh) 2020-02-20 2020-02-20 一种基于多模态注意力融合的高血压老年人活动分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103572.8A CN111248879B (zh) 2020-02-20 2020-02-20 一种基于多模态注意力融合的高血压老年人活动分析方法

Publications (2)

Publication Number Publication Date
CN111248879A CN111248879A (zh) 2020-06-09
CN111248879B true CN111248879B (zh) 2021-12-07

Family

ID=70941608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103572.8A Expired - Fee Related CN111248879B (zh) 2020-02-20 2020-02-20 一种基于多模态注意力融合的高血压老年人活动分析方法

Country Status (1)

Country Link
CN (1) CN111248879B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115601B (zh) * 2020-09-10 2022-05-17 西北工业大学 一种可靠的用户注意力监测估计表示模型
CN114983352A (zh) * 2021-03-01 2022-09-02 浙江远图互联科技股份有限公司 一种基于注意力机制的新冠肺炎识别方法及设备
CN113349793A (zh) * 2021-03-30 2021-09-07 北京芯动卫士科技有限公司 一种基于分层注意力模型的心律失常分类方法
CN113080907B (zh) * 2021-04-14 2022-10-25 贵州省人民医院 脉搏波信号处理方法及装置
CN113397510B (zh) * 2021-05-07 2023-05-02 华南师范大学 一种连续血压测量系统、装置及存储介质
CN113261932B (zh) * 2021-06-28 2022-03-04 山东大学 基于ppg信号和一维卷积神经网络的心率测量方法及装置
CN114569130B (zh) * 2022-02-25 2023-07-04 西南交通大学 高速铁路行车调度员监控工作的注意力水平识别方法
CN114947782B (zh) * 2022-06-09 2024-10-25 重庆理工大学 一种基于ppg信号的中心动脉压波形重构的系统及方法
CN118779710B (zh) * 2024-09-09 2024-12-13 杭州泽进科技有限公司 一种多模态异构体征数据建构方法及系统
CN119480157A (zh) * 2025-01-16 2025-02-18 吉林大学 基于多模态数据融合的耳鼻喉科症状监测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1757375A (zh) * 2005-10-18 2006-04-12 浙江大学 基于人工神经网络的高血压患者心血管危险分层评估方法
CN107334466A (zh) * 2017-08-08 2017-11-10 西安交通大学 一种可穿戴的慢性病智能监控及预警的装置与方法
CN107863153A (zh) * 2017-11-24 2018-03-30 中南大学 一种基于智能大数据的人体健康特征建模测量方法与平台
CN108095708A (zh) * 2018-01-19 2018-06-01 动析智能科技有限公司 一种基于混合传感的生理监测及分析方法、系统
CN109584989A (zh) * 2018-11-27 2019-04-05 北京羽扇智信息科技有限公司 一种运动提示信息的推送方法、装置、设备及存储介质
CN110322947A (zh) * 2019-06-14 2019-10-11 电子科技大学 一种基于深度学习的高血压老年人运动处方推荐方法
CN110767278A (zh) * 2019-10-21 2020-02-07 北京盛世东康科技发展有限公司 一种慢病管理方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60021056D1 (de) * 2000-04-04 2005-08-04 St Microelectronics Srl Tragbares automatisches Blutdruckmessgerät mit Überwachung und Klassifizierung von Körperaktivität eines Patients mittels unscharfer Logik
US7539533B2 (en) * 2006-05-16 2009-05-26 Bao Tran Mesh network monitoring appliance
SG10201501889WA (en) * 2010-03-15 2015-05-28 Singapore Health Serv Pte Ltd Method of predicting the survivability of a patient

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1757375A (zh) * 2005-10-18 2006-04-12 浙江大学 基于人工神经网络的高血压患者心血管危险分层评估方法
CN107334466A (zh) * 2017-08-08 2017-11-10 西安交通大学 一种可穿戴的慢性病智能监控及预警的装置与方法
CN107863153A (zh) * 2017-11-24 2018-03-30 中南大学 一种基于智能大数据的人体健康特征建模测量方法与平台
CN108095708A (zh) * 2018-01-19 2018-06-01 动析智能科技有限公司 一种基于混合传感的生理监测及分析方法、系统
CN109584989A (zh) * 2018-11-27 2019-04-05 北京羽扇智信息科技有限公司 一种运动提示信息的推送方法、装置、设备及存储介质
CN110322947A (zh) * 2019-06-14 2019-10-11 电子科技大学 一种基于深度学习的高血压老年人运动处方推荐方法
CN110767278A (zh) * 2019-10-21 2020-02-07 北京盛世东康科技发展有限公司 一种慢病管理方法及系统

Also Published As

Publication number Publication date
CN111248879A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111248879B (zh) 一种基于多模态注意力融合的高血压老年人活动分析方法
CN108185996B (zh) 动脉血管年龄估算模型构建方法和装置
CN102429649B (zh) 连续血压测量装置
CN102973253B (zh) 一种利用视觉信息监测人体生理指标的方法和系统
CN102488503B (zh) 连续血压测量装置
CN111631698A (zh) 基于运动模式级联约束的可穿戴血压监测及修正方法
CN110420019A (zh) 一种心冲击图信号的深度回归心率估计方法
CN111493850A (zh) 一种基于深度神经网络的血压测量方法及装置
CN109480783B (zh) 一种呼吸暂停检测方法、装置及计算设备
CN110448281A (zh) 一种基于多传感器的可穿戴作业疲劳检测系统
CN104203088A (zh) 利用惯性频率减少生理指标误差
CN112089405B (zh) 一种脉搏波特征参数测量及显示装置
CN109009017A (zh) 一种智能健康监测系统及其数据处理方法
CN107669256A (zh) 连续血压的测量方法、装置和系统
US11617545B2 (en) Methods and systems for adaptable presentation of sensor data
CN110353641A (zh) 生命体征监测方法及系统
CN113907727B (zh) 基于光电容积脉搏波描记的逐拍血压测量系统和方法
CN114469004A (zh) 基于光纤光栅传感器的人体睡眠健康监测方法
CN115120236A (zh) 情绪识别方法、装置、可穿戴设备及存储介质
CN111839488B (zh) 基于脉搏波的无创连续血压测量装置和方法
CN107669248B (zh) 老人动态脉搏连续检测系统及方法
Yen et al. Blood Pressure and Heart Rate Measurements Using Photoplethysmography with Modified LRCN.
CN110811582A (zh) 心率检测方法、装置和设备
WO2023240739A2 (zh) 基于多尺度残差网络和ppg信号的智能血压预测方法
CN115299898A (zh) 无创动脉血压波形监测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211207