CN112180359B - 一种基于fmcw的人体摔倒的检测方法 - Google Patents

Abstract

本发明公开了一种基于FMCW的人体摔倒的检测方法，首先获取多种人体行为数据，并进行打标签处理，同时根据得到的中频信号和接受天线的排列计算出对应的距离参数和多普勒速度参数、水平角参数和俯仰角参数；接着利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息，包括心脏质心信息和人体躯干质心信息；其次，将提取出的特征向量输入多层感知神经网络中进行训练，判断获取的所有行为数据中是否出现非正常行为，结合利用阈值法判断两种所述质心信息的方向，综合判断是否出现摔倒行为，能够对摔倒行为进行全面监测。

Description

一种基于FMCW的人体摔倒的检测方法

技术领域

本发明涉及人体摔倒检测技术领域，尤其涉及一种基于FMCW的人体摔倒的检测方法。

背景技术

在科技飞速发展的同时，人口老年化已经成为一种趋势。人口老龄化的问题越来越多，越来越多的国家也逐渐重视老年人的健康生活问题。

根据医疗调查显示，有许多老人在一年中可能会有一次的摔倒经历，而且这样的摔倒经常可能发生在卫生间，浴室。目前传统的穿戴式的摔倒检测设备，老人在进行洗漱时有可能将其摘除，这些产品需要离身充电，老人有可能忘记佩戴等等因素，都不能对老年人的摔倒行为进行全面监测。

发明内容

本发明的目的在于提供一种基于FMCW的人体摔倒的检测方法，能够对摔倒行为进行全面监测。

为实现上述目的，本发明提供了一种基于FMCW的人体摔倒的检测方法，包括以下步骤：

根据获取的行为数据进行信息提取，并进行空间坐标转换；

利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息；

利用阈值法判断两种所述质心信息的方向，并结合特征向量的训练结果，判断是否出现摔倒行为。

其中，根据获取的行为数据进行信息提取，并进行空间坐标转换，包括：

获取多种人体行为数据，并进行打标签处理，同时将获取的发射信号和回波信号依次经过混频器和低通滤波器后，根据得到的中频信号计算出对应的距离参数和多普勒速度参数。

其中，根据获取的行为数据进行信息提取，并进行空间坐标转换，还包括：

分别根据接受天线的水平排列和垂直排列，通过不同通道的傅立叶变换相位变化得到对应的水平角参数和俯仰角参数。

其中，利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息，包括：

根据获取的点云信息提取出对应的心脏质心信息，同时根据所有点的空间信息集合，提取人体躯干质心信息。

其中，利用阈值法判断两种所述质心信息的方向，并结合特征向量的训练结果，判断是否出现摔倒行为，包括：

将提取出的特征向量输入多层感知神经网络中进行训练，判断获取的所有行为数据中是否出现非正常行为。

其中，利用阈值法判断两种所述质心信息的方向，并结合特征向量的训练结果，判断是否出现摔倒行为，还包括：

根据提取出的所述心脏质心信息和所述人体躯干质心信息，判断两种质心信息的Z方向是否向下，且大于设定的第一阈值，并判断两者质心信息在Z方向上的设定值的差值是否在设定阈值范围内。

本发明的一种基于FMCW的人体摔倒的检测方法，首先获取多种人体行为数据，并进行打标签处理，同时根据得到的中频信号和接受天线的排列计算出对应的距离参数和多普勒速度参数、水平角参数和俯仰角参数；接着利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息，包括心脏质心信息和人体躯干质心信息；其次，将提取出的特征向量输入多层感知神经网络中进行训练，判断获取的所有行为数据中是否出现非正常行为，结合利用阈值法判断两种所述质心信息的方向，综合判断是否出现摔倒行为，能够对摔倒行为进行全面监测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于FMCW的人体摔倒的检测方法的步骤示意图。

图2是本发明提供的一种基于FMCW的人体摔倒的检测方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1和图2，本发明提供一种基于FMCW的人体摔倒的检测方法，包括以下步骤：

S101、根据获取的行为数据进行信息提取，并进行空间坐标转换。

具体的，FMCW(Frequency Modulated Continuous Waves，调制连续波)雷达系统发射的信号频率随时间呈线性升高，在时间间隔Tc之后再次发射，一共发射N个线性调频脉冲信号；合成器生成一个线性调频脉冲；再由发射天线Tx发射出去；在空间中遇到物体，产生反射信号，将由接受天线Rx捕捉；混频器将Rx信号，Tx信号合并到一起，生成一个中频信号IF；FMCW雷达系统的相关参数如下：

表1FMCW雷达系统的相关参数

为了区别摔倒行为，本专利需要采集其他的一些行为数据，来区别真正的摔倒行为，并且该专利目前的一些场景主要应用在老人摔倒检测，所以，这些行为过程会着重区分慢速度和正常速度下的行为，在分别对两类数据进行处理和特征提取之后，再从中提取出共同的特征，用相对特征表现来实现摔倒行为的实时检测。具体的人体行为采集数据列表如下：

表2人体行为采集数据列表

人体行为	具体的行为方式(慢速和正常速度两大类)
		摔倒行为	向前摔，向后摔，向左摔，向右摔，扶墙摔倒
蹲下	半蹲；蹲马桶；蹲下；
		坐下	坐到椅子上；坐到小凳子上，
起身	站起来；从椅子上起来；从小凳子上站起来
		走动	随机走；挥手走动；
跑动	随机小跑；边走边跑；

一方面，在ROS平台上采集FMCW数据；另一方面，使用Kinect对数据进行打标签处理，在两个平台上提取到的时间戳确保数据是同时的，再将Kinect上得到的label移植到FMCW数据的标签列。

发射信号S_t和回波信号S_r输入到混频器中，得到混频信号S_m，再经过低通滤波器得到中频信号S_if，并从中频信号中得到距离参数R，水平角参数θ，垂直角(方位角)多普勒速度参数D_v。

距离R参数

雷达信号的距离R根据信号来回的飞行时延t_d得到：

再根据相似三角形相似原理可得：

由此可以得到：

其中，c是光速(常量)，t_s是频率生成器产生的调频波的周期的一半；f_dev为调频波扫频带宽；f_b是发射频率与反射频率之差。

相应的对中频信号数据进行FFT变换之后，能够得到一个有关距离的R峰值；

多普勒速度计算D_v

对中频信号数据进行FFT变换之后，再对N个等间隔的线性调频脉冲做多普勒FFT变换，能够区分不同物体的速度；

水平角参数θ计算

两个接受天线的相位变化公式如下：

在XY平面上，△d＝lsin(θ)，其中l是天线之间的距离。因此达到角的计算方法如下：

俯仰角参数计算

俯仰角参数的计算方式和水平角参数θ的计算原理是一样，而接受天线的排列方式在垂直方向上排列开。

使用的FMCW是一种4T4R的天线排列，并且可以提取到Z方向的数据。所以根据距离参数R，水平角参数θ，垂直角(方位角)多普勒速度参数D_v；可以转换成三位空间的点信息，转换公式如下，

z＝Rconθ

于是，每个有效数据点都是一个四维点(x,y,z,D_v)。

S102、利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息。

具体的，本专利捕捉的行为数据是一个动态行为数据，为了将数据流特征提取得更加丰富，一方面会使用3D卷机神经网络进行特征提取，hardware硬连接层的形式是(5*3*3)，第一个卷积核的形式是16层的(3*3)；第二个卷机核的形式是32层的(5*5)，第三个卷机核的形式64层的(3*3)；根据实际生活中老人的摔倒过程可能更慢，硬连接层大概设置到3到9帧的数据，大概时长100ms到500ms的数据流；

在对人体的点云信息作处理之后，会提取出人体心脏部位的点云，由于心脏处的反射更加灵敏，所以能够有效提到到该处点云集合，并提取到心脏处的质心信息(x_heart,y_heart,z_heart,D_heart)；同时，根据所有点的空间信息集合，提取人体躯干的质心信息(x_torse,y_torse,z_torse,D_torse)；并且着重观察两处质心在Z方向的表现，作为重要的判断依据。

S103、利用阈值法判断两种所述质心信息的方向，并结合特征向量的训练结果，判断是否出现摔倒行为。

具体的，在模型训练中，在神经网络提取出特征值之后，会将展开的特征向量放入到多层感知神经网络进行训练，所有的这些行为都是非摔倒的行为数据。整体的模型架构如图2所示，在实际监测中，当出现一个摔倒行为，上面的神经网络会判断该行为是非正常行为。

在所有的行为数据观察中，大部分的摔倒行为中有效点位躯干上方的多普勒速度会出现一个加速变大到变小的过程，而其他的日常行为该表现不是很明显，所以在3DCNN提取特征值，会用到着重用到多普勒速度作为第四维的信息，作为一个颜色特征，形成一个彩色的3DCNN模型。

另外，在10到15帧的数据中在提到到有效的心脏质心信息和躯干的质心信息之后，先分别判断两处质心Z方向是否方向向下，并且大于相应的一个第一阈值，最后在后面的判断两者之间Z方向的最后的位置都偏下，并且差距在一个阈值范围之内，具体的判断方法如下：

其中，都是通过大量数据验证和测试得到一个有效值。

本专利的数据可视化在ROS上进行验证和测试。在实际测试过程中，各类行为都会行为测试，随着模型迭代会收集更多更丰富的数据来提高神经网络模型判断的准确性，并且有效调参。目前在真实场景下，摔倒的准确率是99％，误报率是2.5％。

本专利的有益效果为：

1、建立点位的4维信息

本专利利用包含纵方向接受天线的4T4R的FMCW设备，提到出空间中人体点位的距离，偏振角度，倾斜角，多普勒速度四个信息，并由此可以得到人体在笛卡尔坐标系的(x,y,z,D_v)四维点信息，能够更加有力的描述人体在空间中的行为表现。

2、有效利用摔倒的行为特征

在本专利检测的摔倒行为，是指人体摔倒在地，并在一定时间内没有爬起来的行为。根据摔倒行为人体姿态表现，挖掘出躯干上方的点位会出现多普勒速度会呈现出逐渐变大再很快变小的呈现，加速度上先变大再迅速降到零的特性。并利用多普勒速度作为3DCNN中的一个颜色通道来有效提取出整个过程的特征表现。

另外在，提取出有效人体点位信息之后，找到心脏部位的点云集合，得到心脏处的质心信息，并提取人体的质心信息，根据摔倒的定义都是摔倒之后人体躺在地上这一特性，挖掘出最直接的Z方向的数据表现，来综合判断该异常行为是不是摔倒行为；

3、更少的计算量

由于在整个模型结构中充分利用了摔倒行为的数据表现特性，和在Z方向上的点位表现特性，神经网络结构的不复杂，在三个卷积过程中，Dropout中分别20％，30％，30％。且后面只使用了一个多层感知神经网络，进行判断。整体模型结构参数合理，计算量更少。

本发明的一种基于FMCW的人体摔倒的检测方法，首先获取多种人体行为数据，并进行打标签处理，同时根据得到的中频信号和接受天线的排列计算出对应的距离参数和多普勒速度参数、水平角参数和俯仰角参数；接着利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息，包括心脏质心信息和人体躯干质心信息；其次，将提取出的特征向量输入多层感知神经网络中进行训练，判断获取的所有行为数据中是否出现非正常行为，结合利用阈值法判断两种所述质心信息的方向，综合判断是否出现摔倒行为，能够对摔倒行为进行全面监测。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (4)

1.一种基于FMCW的人体摔倒的检测方法，其特征在于，包括以下步骤：

根据获取的行为数据进行信息提取，并进行空间坐标转换；

利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息；

利用阈值法判断两种所述质心信息的方向，并结合特征向量的训练结果，判断是否出现摔倒行为；

根据获取的行为数据进行信息提取，并进行空间坐标转换，包括：

获取多种人体行为数据，并进行打标签处理，同时将获取的发射信号和回波信号依次经过混频器和低通滤波器后，根据得到的中频信号计算出对应的距离参数和多普勒速度参数；分别根据接受天线的水平排列和垂直排列，通过不同通道的傅立叶变换相位变化得到对应的水平角参数和俯仰角参数。

2.如权利要求1所述的基于FMCW的人体摔倒的检测方法，其特征在于，利用神经网络提取识别出非正常行为，并根据输入的点云信息提取出两种质心信息，包括：

根据获取的点云信息提取出对应的心脏质心信息，同时根据所有点的空间信息集合，提取人体躯干质心信息。

3.如权利要求2所述的基于FMCW的人体摔倒的检测方法，其特征在于，利用阈值法判断两种所述质心信息的方向，并结合特征向量的训练结果，判断是否出现摔倒行为，包括：

将提取出的特征向量输入多层感知神经网络中进行训练，判断获取的所有行为数据中是否出现非正常行为。

4.如权利要求3所述的基于FMCW的人体摔倒的检测方法，其特征在于，利用阈值法判断两种所述质心信息的方向，并结合特征向量的训练结果，判断是否出现摔倒行为，还包括：

根据提取出的所述心脏质心信息和所述人体躯干质心信息，判断两种质心信息的Z方向是否向下，且大于设定的第一阈值，并判断两者质心信息在Z方向上的设定值的差值是否在设定阈值范围内。