CN117635695A - 一种适用于居家养老场景的步行轨迹重心分析方法及系统 - Google Patents

Abstract

本发明涉及一种适用于居家养老场景的步行轨迹重心分析方法及系统，属于计算机视觉和生物识别技术领域。首先捕获人体视频序列，利用已有的人体关节点模型提取捕获的人体关节点特征信息。利用单目摄像头成像原理转换透视关系，对人体关节点位置坐标进行归一化，并获取人体步态数据。根据人体关节点位置坐标计算人体重心位置坐标。逐帧处理后汇总重心位置坐标，形成轨迹点列表。将列表数据进行非线性回归，得到行走估计轨迹。最后分别在重心运功的水平和垂直方向上，计算单点与估计轨迹的差值，形成时间与偏移距离的图像。系统包括重心定位模块、反透视模块、非线性回归模块和结果显示模块。本发明适用于多种应用场景，具有较好的适应性。

Description

一种适用于居家养老场景的步行轨迹重心分析方法及系统

技术领域

本发明涉及一种适用于居家养老场景的步行轨迹重心分析方法及系统，属于计算机视觉和生物识别技术领域。

背景技术

步态识别技术作为一种计算机视觉学科的衍生方向，日益受到人们的关注，其意义不仅在于辅助医学诊断治疗，还能作为普通人均可以使用的健康检测设备的核心技术。

在居家养老场景下，能够通过视觉识别技术来准确预测疾病和意外等危险的发生。特别是对于癫痫疾病患者来说，结合非接触智能多模态癫痫监测系统(以下简称系统)，能够在居家场景下完成对发病的监测预警。

步态分析技术包括多维度的信息综合处理，重心分析是其中一个重要的技术纬度。重心一词，在医学上的表述为共济失调，是神经内科一种常见的症状及体征，主要表现为平衡障碍。由于视觉、深感觉与前庭系统三者是保持身体平衡的基本器官，也称“平衡三联”。这些结构的功能又都是在大脑皮层的统一控制下才能完成。三种感觉之一受到损害即可出现平衡障碍。因此，神经系统各个部位的病变常伴有共济失调，例如癫痫就是其中一种常见的类型。由于深感觉、前庭系统、小脑和大脑的损害都可发生共济失调，因此，对共济失调的类型和病变部位进行准确的判断，是共济失调诊断治疗过程中的一个重要内容。

目前，研究重心问题，主要是研究在人体步行周期中，重心的水平和垂直方向上的运动轨迹，通过数据分析判断是否存在异常。但是，现有技术对于基于纯视觉方法的定位人体重心，仍然存在一些欠缺，不能很好的适应居家养老场景下人们日常生活中可能遇到的多种情况。在实验室环境采集步行重心移动数据时，往往采用侧面水平视角进行拍摄，并且要求被试者按照直线行走，这在很大程度上限制了图像采集角度和被试者行走轨迹，这在生活场景中，与实际相违背。首先是摄像头架设角度的问题，监控通常布置在高位，采取倾斜向下的视角进行拍摄，这导致运动轨迹在视频画面中的倾斜和由于镜头焦距产生的近大远小的视觉效果，由于人体重心的运动幅度本身较为有限，镜头产生的误差等级会对分析结果造成难以忽略的影响，这需要通过系统的算法来进行矫正。

另一个主要问题是步行轨迹的限制，对于没有行走障碍的老人在非实验室环境下，如居家环境中，大多数的步行轨迹并非采取直线行走，但目前的重心分析都仅适用于直线轨迹下的重心垂直运动分析，若抛弃非直线的部分则会造成大量宝贵数据的损失，严重降低系统分析的准确性。此外，对于一部分有行走障碍的老人，由于其本身神经系统存在损伤的问题，严格按照直线行走对他们来说在很大程度上是不可能实现的，如果仍将数据按照直线处理，就会造成误差的产生。因此，迫切需要有一种方法，能够适用于非直线运动下的重心移动分析。

发明内容

本发明的目的是针对现有技术存在的问题和不足，为了解决居家养老场景下监控视角产生的镜头误差、非直线步行的重心分析等技术问题，创造性地提出一种适用于居家养老场景的步行轨迹重心分析方法及系统。本方法将线性回归和非线性回归的学习算法引入重心的分析方法中，综合了机器学习中的归一化思想，适用于多种场景，对于环境有着极强的适应性。

本发明采用以下技术方案实现。

一种适用于居家养老场景的步行轨迹重心分析方法，包括以下步骤：

步骤1：获取的人体步行视频，得到步态序列。该序列即为图像数据。

具体地，连接上位机与摄像，摄像头捕获的视频序列即为图像数据，其不限制分辨、格式和帧率，但较高的分辨率和帧率可以提高系统的准确性。

步骤2：利用已有的人体关节点模型，提取捕获的人体关节点特征信息。根据人体关节点位置坐标，计算人体重心位置坐标。

其中，捕获的人体关节点模型可以采用yolov8框架训练得到的，也可以根据实际情况采用其他模型，只要不影响重心定位即可。

医学上将重心位置定义为：第二骶骨前缘两髋关节中央。直线运动时，该中心是身体摆动幅度最小的部位。站立时，人体重心一般在身体正中面上第三骶椎上缘前方约7厘米处。据此，可以通过关节点坐标来推出重心坐标位置。

进一步地，可以将重心定位的算法实时用在摄像头上，对被测人员的重心移动情况进行实时监测。

进一步地，可以将重心定位技术配合后续步骤，用在重心数据处理上，可从数据中挖掘得到更多有用信息。

步骤3：利用单目摄像头成像原理转换透视关系，对重心坐标进行归一化处理，消除近小远大透视成像效果对重心分析造成的影响。

其中，单目摄像头成像，遵从焦距与相距的比值正比于物距和相距的比值的规律。由于捕获人员的身高不会改变，摄像头为定焦摄像头，焦距不变。据此可消除镜头产生的近大远小的透视成像问题。

根据单目摄像头成像原理，得到重心点的真实轨迹，得到单位时间内在起始点和终止点处被测人员与摄像头的直线距离以及两点间距离。

步骤4：通过非线性回归估计真实步行轨迹，得到人体的步态数据，包括步行速度、步距、步频，以及重心在水平和垂直方向上的运动情况。

具体地，逐帧处理后汇总重心位置坐标，形成轨迹点列表。将列表数据进行非线性回归，得到行走估计轨迹。由于人体重心在步行时存在水平方向和垂直方向的跟随步态周期的周期性摆动，该摆动是围绕步行轨迹进行的，因此，再对离散轨迹点进行线性与阶数恰当的非线性回归时，能够得到估计的步行轨迹。

然后，分别在重心运功的水平和垂直方向上，计算单点与估计轨迹的差值，形成时间与偏移距离的图像。其中，重心在水平与垂直方向上的摆动分别能够作为判断指标，反映不同的步态问题。

另一方面，本发明基于上述方法的核心思想，提出了一种适用于居家养老场景的步行轨迹重心分析系统，包括重心定位模块、反透视模块、非线性回归模块和结果显示模块。

其中，重心定位模块，用于在单张图中定位人体重心位置；

反透视模块，用于消除由于单目摄像头由于透视成像效果造成的进大远小对重心位置判断造成的影响；

非线性回归模块，用于根据捕获人体的重心移动情况估计其步行轨迹，用于分离重心围绕轨迹的水平和垂直方向上的运动情况数据；

结果显示模块，用于直观的显示系统分析结果，包括被捕获人体的步行速度、步距、步频，以及重心水平和垂直方向上的运动情况图像。

有益效果

本发明能够有效解决在居家养老场景下，监控视角镜头透视成像效果影响对重心位置判断等问题，将非线性回归算法用于非直线行走的被试者，能够通过计算得出被试者步行速度、步距、步频等数据，以及重心水平和垂直方向上的运动情况，提高了系统的适用范围，扩展了系统的应用场景。本发明能够有效提升老人居家养老的安全性和幸福度，并且具备低廉的人工成本。

附图说明

图1为本发明方法的总体流程图；

图2为本发明方法的重心定位算法流程图；

图3为本发明方法的反透视算法流程图；

图4为本发明方法的轨迹估计算法流程图；

图5为本发明系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

实施例

如图1所示，一种适用于居家养老场景的步行轨迹重心分析方法，包括以下步骤：

步骤S10：从摄像头获取人体步行视频，得到步态序列。

步骤S20：利用已有的人体关节点模型，提取人体关节点特征信息，依据关节点计算重心位置。

具体地，如图2所示，步骤S20包含以下步骤：

步骤S21：通过深度学习方法，利用已经标记的人体关节点数据集训练模型，利用模型处理步骤S10获取的步态序列，获取具体人体关节点信息。

本实施例中，可以采用yolov8框架识别关节点，获取人体17个点关节坐标。

步骤S22：根据人体的性别、身高及髋关节坐标，参照相关医学研究结论，通过数学方法计算重心位置。

具体地，人体重心坐标(x,y)由关节点的坐标推出：

其中，P_i表示人体第i个关节点的坐标，是一个二维的向量；k_Gender是一个与性别相关的常数，对于男性来说，通常是0.56，对于女性来说，通常是0.55，这一差距是由于男女骨盆重量不同造成的。式1、式2综合考虑了性别、身高，以及身材比例的因素计算重心。

步骤S30：利用单目摄像头成像原理进行反透视运算，去除透视对相距的影响。

如图3所示，步骤S30包含以下步骤：

步骤S31：计算首帧的人体身高长度的像素数，作为重心坐标归一化计算基准。

具体地，针对镜头焦距产生的进大远小问题进行修正，对于单目摄像头，其成像原理符合小孔透视，焦距与像素数的比值正比于物距和真实尺寸的比值，利用镜头成像原理，将患者身高作为绝对高度即可修正。

h＝max(P₁[1]，P₂[1])-min(P₁₆[1]，P₁₅[1]) (3)

其中，h表示单张图像中人体的身高长度。

步骤S32：以首帧面部中心节点坐标为基准点，依据成像原理依次还原步态序列。

具体地，面部中心节点作为根节点，将重心坐标进行归一化处理，消除近大远小的影响，并将中心移动的相距转换成真实距离，产生带有时间标签的步态数据，便于进一步的数据处理分析。

步骤S40：通过非线性回归估计真实步行轨迹，得到人体的步态数据(包括步行速度、步距、步频等)，以及重心在水平和垂直方向上的运动情况。

如图4所示，步骤S40包含以下步骤：

步骤S41：通过逻辑回归方法对重心坐标序列进行回归操作，定义损失函数，获取估计的被测人员的真实行走轨迹。

cost(y⁽ⁱ⁾,h_θ(x⁽ⁱ⁾))＝-y⁽ⁱ⁾log(h_θ(x⁽ⁱ⁾)-(1-y⁽ⁱ⁾)log(1-h_θ(x⁽ⁱ⁾)) (4)

其中，cost表示损失函数，h_θ表示目标函数，x⁽ⁱ⁾表示第i个重心的横坐标，y⁽ⁱ⁾表示第i个重心的纵坐标。

具体地，依据步态周期中重心围绕行走轨迹周期性摆动的原理，通过构造损失函数的方法，进行Adam梯度下降的方法进行学习：

m_t＝β₁m_t-1+(1-β₁)g_t

其中，g_t表示初始化梯度，m_t表示一阶动量，表示m_t的偏差修正，υ_t表示二阶动量，/>表示υ_t的偏差修正，β₁、β₂分别表示一阶和二阶的指数移动加权衰减率，θ_t表示模型参数，ɑ表示学习率。

进一步地，由于人体具有惯性且腿部力量有限，因而行走轨迹不能发生梯度过大的改变，如果计算结果中出现梯度速增速减的轨迹是不现实的。这就要在进行Adam梯度下降算法的过程中加入正则项，同时控制迭代次数避免过拟合。

步骤S42：计算重心序列坐标点与非线性回归轨迹之间在垂直和水平两个方向上的最小二乘误差LS，依照时间序列形成新的序列。

此处进行LS误差计算而不是均方误差计算，是考虑到重心的运行通常是在水平和垂直的尺度上进行，而不是严格的欧氏距离。

步骤S43：依据由S30步骤得到的带有时间标签的步长数据，对步骤S42得到的误差序列进行绘制，可以展示在坐标尺上。

所有得到的基本数据可以将直接上传给用户端进行直观展示，同时全部数据将接入系统进行深度的处理，得到的结构结合系统功能将回馈给用户端，用户也将通过这一过程获取更多高级结论和系统的服务。

如图5所示，一种适用于居家养老场景的步行轨迹重心分析方法，包括重心定位模块M10、反透视模块M20、非线性回归模块M30和结果显示模块M40。

重心定位模块M10，用于从视频序列中读取单张人体步态图像，从中获取关键点并推理得到具体的重心坐标。重心定位模块M10包括步态序列读取模块M11和关键点识别模块M12。步态序列读取模块M11用于从视频序列中依次提取人体步态图像；关键点识别模块M12用于从单张图像中提取关键点信息，并将其转化为重心信息。

反透视模块M20，用于从单目摄像头捕捉的带有透视效果的2D图像坐标中恢复出真实的3D坐标，消除由于视觉进大远小效果对于步态参数分析计算的干扰，并根据空间关系计算得到若干带有时间标签的步态数据。

非线性回归模块M30，用于依据模块M20处理后的重心坐标序列，估计被测人员真实的行走轨迹，并将轨迹与重心的波动情况进行比较，获取在垂直和水平方向上重心的运动规律。非线性回归模块M30包括估计梯度下降模块M31和误差计算模块M32。梯度下降模块M31用于获取轨迹信息(可以采用逻辑回归的方法)；误差计算模块M32用于计算重心序列坐标点与非线性回归轨迹之间在垂直和水平两个方向上的最小二乘误差。

结果显示模块M40，用于将上述模块的有效步态数据通过坐标和具体参数的形式直观的显示出来，便于用户理解。

上述模块的连接关系为：

在重心定位模块M10内部，步态序列读取模块M11的输出端与关键点识别模块M12的输入端相连。

重心定位模块M10的输出与反透视模块M20的输入端相连。

反透视模块M20的输出端与非线性回归模块M30的输入端相连。在非线性回归模块M30内部，梯度下降模块M31的输出端与误差计算模块的输入端相连。

非线性回归模块M30的输出端与结果显示模块M40的输入端相连。

由此，能够解决由于摄像头架设角度以及透视对于视频数据分析造成的困难，以及由于在多种环境下被测人员非直线行走对分析造成的困难，可以很好的适用于居家养老环境，帮助完成人员因跌倒、发病等意外预警。

Claims (7)

1.一种适用于居家养老场景的步行轨迹重心分析方法，其特征在于，包括以下步骤：

步骤S10：获取的人体步行视频，得到步态序列；

步骤S20：利用已有的人体关节点模型，提取人体关节点特征信息，依据关节点计算重心位置；

步骤S30：利用单目摄像头成像原理进行反透视运算，对重心坐标进行归一化处理，去除透视对相距的影响；

步骤S40：通过非线性回归估计真实步行轨迹，得到人体的步态数据，包括步行速度、步距、步频，以及重心在水平和垂直方向上的运动情况。

2.如权利要求1所述的一种适用于居家养老场景的步行轨迹重心分析方法，其特征在于，步骤S20包括以下步骤：

步骤S21：通过深度学习方法，利用已经标记的人体关节点数据集训练模型，利用模型处理步骤1获取的步态序列，获取具体人体关节点信息；

步骤S22：根据人体的性别、身高及髋关节坐标，通过数学方法计算重心位置；

人体重心坐标(x,y)由关节点的坐标推出：

其中，P_i表示人体第i个关节点的坐标，是一个二维的向量；k_Gender是一个与性别相关的常数。

3.如权利要求1所述的一种适用于居家养老场景的步行轨迹重心分析方法，其特征在于，步骤S30包括以下步骤：

步骤S31：计算首帧的人体身高长度的像素数，作为重心坐标归一化计算基准；

针对镜头焦距产生的进大远小问题进行修正，对于单目摄像头，利用镜头成像原理，将人体身高作为绝对高度来修正：

h＝max(P₁[1]，P₂[1])-min(P₁₆[1]，P₁₅[1])

其中，h表示单张图像中人体的身高长度；

步骤S32：以首帧面部中心节点坐标为基准点，依据成像原理依次还原步态序列；

人体面部中心节点作为根节点，将重心坐标进行归一化处理，消除近大远小的影响，并将中心移动的相距转换成真实距离，产生带有时间标签的步态数据。

4.如权利要求1所述的一种适用于居家养老场景的步行轨迹重心分析方法，其特征在于，步骤S40包括以下步骤：

步骤S41：通过逻辑回归方法对重心坐标序列进行回归操作，定义损失函数，获取估计的被测人员的真实行走轨迹：

cos(y⁽ⁱ⁾，h_θ(x⁽ⁱ⁾))＝-y⁽ⁱ⁾log(h^θ(x⁽ⁱ⁾)-(1-y⁽ⁱ⁾)log(1-h_θ(x⁽ⁱ⁾)) (4)

其中，cost表示损失函数，h_θ表示目标函数，x⁽ⁱ⁾表示第i个重心的横坐标，y⁽ⁱ⁾表示第i个重心的纵坐标；

依据步态周期中重心围绕行走轨迹周期性摆动的原理，通过构造损失函数的方法，进行Adam梯度下降的方法进行学习：

m_t＝β₁m_t-1+(1-β₁)g_t

其中，g_t表示初始化梯度，m_t表示一阶动量，表示m_t的偏差修正，υ_t表示二阶动量，/>表示v_t的偏差修正，β₁、β₂分别表示一阶和二阶的指数移动加权衰减率，θ_t表示模型参数，ɑ表示学习率；

在进行Adam梯度下降算法的过程中加入正则项，同时控制迭代次数避免过拟合；

步骤S42：计算重心序列坐标点与非线性回归轨迹之间在垂直和水平两个方向上的最小二乘误差，依照时间序列形成新的序列；

步骤S43：依据由步骤S30得到的带有时间标签的步长数据，对步骤S42得到的误差序列进行绘制。

5.一种适用于居家养老场景的步行轨迹重心分析系统，其特征在于，包括重心定位模块、反透视模块、非线性回归模块和结果显示模块；

其中，重心定位模块，用于在单张图中定位人体重心位置；

反透视模块，用于消除由于单目摄像头由于透视成像效果造成的进大远小对重心位置判断造成的影响；

非线性回归模块，用于根据捕获人体的重心移动情况估计其步行轨迹，用于分离重心围绕轨迹的水平和垂直方向上的运动情况数据；

结果显示模块，用于直观的显示系统分析结果，包括被捕获人体的步行速度、步距、步频，以及重心水平和垂直方向上的运动情况图像；

重心定位模块的输出与反透视模块的输入端相连；

反透视模块的输出端与非线性回归模块的输入端相连；

非线性回归模块的输出端与结果显示模块的输入端相连。

6.如权利要求5所述的一种适用于居家养老场景的步行轨迹重心分析系统，其特征在于，重心定位模块包括步态序列读取模块和关键点识别模块；

步态序列读取模块用于从视频序列中依次提取人体步态图像；

关键点识别模块用于从单张图像中提取关键点信息，并将其转化为重心信息；

步态序列读取模块的输出端与关键点识别模块的输入端相连。

7.如权利要求5所述的一种适用于居家养老场景的步行轨迹重心分析系统，其特征在于，非线性回归模块包括估计梯度下降模块和误差计算模块；

梯度下降模块用于获取轨迹信息；误差计算模块用于计算重心序列坐标点与非线性回归轨迹之间在垂直和水平两个方向上的最小二乘误差；

梯度下降模块的输出端与误差计算模块的输入端相连。