CN103886293B - 一种基于运动历史图与r变换的人体行为识别方法 - Google Patents

Abstract

本发明公开一种基于运动历史图与R变换的人体行为识别方法。该方法使用深度视频作为识别依据，首先通过前景分割技术计算出人体运动的最小包围矩，之后在最小包围矩所限定的深度视频区域提取运动历史图，随后在提取的运动历史图上施加运动强度约束，得到运动能量图，最后在得到的运动能量图上计算R变换，从而得到可以用于行为识别的特征向量。训练和识别过程采用了支持向量机的方法。本发明采用人体行为运动的最小包围矩预处理，加速行为特征提取；采用运动历史图序列的方法，减小了深度图中噪声的影响；在能量图上进行R变换提取特征，使得计算速度快。

Description

一种基于运动历史图与R变换的人体行为识别方法

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种基于运动历史图与R变换的人体行为识别方法。

背景技术

视频监控是当今视觉领域研究的热点与重点问题，在安防领域和人机交互等领域，源源不断地产生着数量众多的视频数据，这些数据动辄以G的单位来衡量，仅凭人工判别无疑会耗费巨大的人力.视频内容丰富，大部分时候我们仅关注视频中的某些部分，比如说人体行为，如果能够自动高效地进行识别，将解放大量的人力。当前的行为识别研究成果主要集中于RGB视频的行为识别研究上。

RGB视频是视频最常见的一种形式，来源广泛，多年来有较多研究成果，目前基于RGB视频的行为识别方法主要分为时空分析方法（Space-timeapproach）、序列分析方法（Sequential approach）及层次化分析方法（Hierarchical approach）三大类。经过多年的发展，基于RGB视频的人体行为识别方面的研究瓶颈日益凸显，原因是RGB视频作为人体行为识别的数据源时背景干扰难以去除。更重要的事，RGB视频仅利用了二维平面信息，用二维信息来描述三维人体行为显然损失了很多关键信息。

随着技术的进步，近年来出现了一种廉价的配有深度传感器的摄像头—Kinect。微软的这款Kinect摄像头能在获取正常的RGB图像的同时，获取质量可以接受的深度信息。摄像头中已经集成了骨骼学习的算法，能够获取三维场景中正常人体的骨骼信息。目前深度图的特征提取主要还是在借鉴以往在RGB上提取特征的经验。与此同时，不少公共数据集已经提出，极大地方便了深度图上特征提取的研究。Zicheng Liu等人提出了基于三维数据轮廓(A bag of3D words)的方法，他将深度图看作为三维数据，然后在笛卡尔空间内从上、左和前三个方向投影并得到投影轮廓，这之后在投影轮廓上下采样出固定个数的点作为特征，得出的特征置入Action Graph模型中进行识别。Bingbing Ni独立采集了一个称之为RGBD-HuDaAct的深度数据集，并首次将3D-MHIs的思想用在了深度图序列特征提取上。这些方法都有各自的局限性：A bag of3D words的方法识别准确率较高，但由于需要在人体轮廓上均匀采样，要求得到的深度数据十分纯净，无法在实际场景的人体行为识别中运用；直接应用3D-MHIs的方法速度够快，但是识别准确率不够；DMM-HOG在保证识别准确率的同时对复杂背景的行为识别也比较有效，但是该方法太过耗时，无法实现实时人体行为识别。

发明内容

本发明针对现有技术的不足，提出了一种基于运动历史图与R变换的人体行为识别方法。该方法使用深度视频作为识别依据，将运动历史图和R变换的概念应用到了行为特征提取过程之中，并利用支持向量机的方法进行行为识别的训练和识别过程。

该方法包括离线训练阶段和在线识别阶段，具体步骤如下：

步骤(1).离线训练阶段

所述的离线训练阶段目的是获得一个人体行为识别模型，其步骤如下：

步骤1-1.将待训练的深度视频S切割为时间长度相同的多个深度视频片段，然后按照各个深度视频片段的不同行为类别打上不同的行为标记，由此获得了人体行为识别的训练集T。

所述的训练集T为不同的行为标记的各深度视频片段的集合；

所述的时间长度为在线识别阶段定义的待识别视频片段的时间长度；

步骤1-2.运用“前景分割技术”获得各个深度视频片段中人体行为运动的最小包围矩，并将深度视频片段中最小包围矩限定的视频内容缩放到统一大小。

所述的“前景分割技术”操作如下：

a)对于训练集T给定的一个深度视频片段V，它由若干帧深度图{P₁,P₂,...,P_i}构成，其中i表示第i帧深度图；对于其中任意一张深度图P_i,将P_i中像素点根据像素点位置的深度值进行k-means二值聚类，得到前景像素集合与背景像素集合；所述的前景像素比背景像素的平均深度值小。

b)在深度图P_i上找出一个矩形框R_i，使得步骤a）得到的所有前景像素均包括在这个矩形框R_i内，R_i由和构成，其中 和分别表示R_i的左边界、右边界、上边界和下边界的像素坐标；然后将矩形框R_i按照横向分为等宽的两部分，若矩形框R_i的左半部分像素点个数比右半部分多，且若向左移动K（K为常数，可根据实际应用场景调节）个像素后新的矩形框内的像素点个数大于最原始矩形框R_i内个数的η﹪（50<η<100,可根据实际应用场景调节），则将向左调整K个像素，若移动边界之后新矩形框内的像素点个数小于最原始矩形框Ri内像素点个数的η﹪，则右边界调整完成；若矩形框R_i的右半部分的像素点比左半部分多，且将向右移动K个像素后矩形框内的像素点个数大于最原始矩形框R_i内个数的η﹪,则将向右调整K个像素，若移动边界之后新矩形框内的像素点个数小于最原始矩形框R_i中像素点个数的η﹪，则左边界调整完成；若矩形框R_i的左右两半部分像素点中像素个数相差不超过ε(ε为阈值参数),则判断将左右边界同时向中心靠拢K/2个像素时新矩形框内剩余的像素点个数是否大于原始矩形框R_i内全部像素的η﹪，如果成立，则将矩形框R_i按照左右边界各收拢K/2个像素进行调整，之后重复步骤（b）,直至新矩形框内剩余的像素点个数小于原始矩形框Ri内全部像素的η﹪。采用上述同样的方法对矩形框R_i的上下边界进行调整。

c)深度视频片段V是由横坐标x，纵坐标y和时间坐标t三个维度描述的三维空间体，此三维空间体经过步骤b)调整后，深度视频片段V中任意一帧P_i的前景像素被分割出来,该前景像素范围由R_i进行描述。设深度视频S中人体行为的最小包围矩R的四个上边界R_up、下边界R_down、左边界R_left和右边界R_right分别可以用按照公式（1）计算：

公式（1）；

步骤1-3.深度视频片段V中从时刻j开始任意时间窗口长度为τ的一段子序列S_j，可以求出一张运动历史图，其计算方式如下：

公式（2）；

其中，I(x,y,t)表示深度视频在t时刻在像素点(x,y)位置的捕获的深度值；t的范围为[j,j+τ-1]；δI_th为常数阈值，j、τ为自然数；

本发明取三个任意时间窗口长度τ^s、τ^m、τ^l，求出相对应的运动历史图其中s,m,l均为自然数，m＝2s,l＝4s，且s正比于深度视频片段V的时间长度；

经过步骤1-3的处理，深度视频片段转换为运动历史图序列，记由本发明得到的三个时间窗口长度运动历史图在时间维度的延伸构成的深度视频片段V的运动历史图序列表示为MHIsO，其中o＝s,m,l。

步骤1-4.对于步骤1-3中获得的任意一个运动历史图序列MHIsO,设H^O(x,y,t)表示运动历史图序列MHIs^O中第t帧像素点(x,y)位置的强度。为了排除深度图中噪声的干扰，对运动历史图序列MHIs^O进行进一步的强度约束，依据运动历史图序列MHIs^O计算如下能量图D^o,其中D^o中各个位置(x,y)的值D^o(x,y)计算方法见公式（3）：

公式（3）；

其中，μ(θ)为单位阶跃函数，当θ≥0时μ(θ)为1，当θ＜0时μ(θ)为0；ε为阈值常数，可根据设计应用场景调节；N为深度视频片段V的时间长度。

步骤1-5.对获得的能量图D^o，求其R变换，计算R变换，得到深度视频片段V的行为特征具体如下：

首先计算能量图D^o的Radon变换，计算方法见公式（4）：

公式（4）；

然后，对θ方向全方向进行积分，得到R变换，计算方式如公式（5）：

公式（5）；

为了防止尺度影响，对进行归一化处理，即将和拼接形成深度视频片段V的行为特征

步骤1-6.根据深度视频片段V的行为特征与步骤1-1得到的深度视频片段的行为标记，采用支持向量机训练出识别模型M。

步骤(2).在线识别阶段

所述的在线识别阶段目的是利用离线训练阶段获得的识别模型M进行行为识别，其步骤如下：

步骤2-1.与离线训练阶段操作步骤1-1～1-6相同的方法对待识别视频提取待识别视频的行为特征。

所述的在线识别阶段识别粒度与离线训练阶段训练时保持一致。

步骤2-2.基于待识别视频的行为特征，根据训练出来的模型M利用支持向量机对待识别视频进行行为识别。

本发明所提出的方法与传统的人体行为识别方法相比具有以下有益效果：

1.离线训练阶段与在线识别阶段特征提取过程中使用了人体行为运动的最小包围矩这一预处理过程，加速了行为特征提取的过程，同时排除了复杂背景的干扰。

2.采用运动历史图序列的方法将人体行为运动的关键信息保留了下来，由于深度图天然具有三维运动信息，因此相较于基于RGB视频的行为识别有更强的人体描述能力，保留的关键信息也更加强的人体行为描述能力，紧接着的时间维度的运动历史图强度约束减小了深度图中噪声的影响。

3.行为特征提取的最后一步在能量图上进行R变换提取特征，在充分获取能量图上强度与轮廓信息的基础上保留了计算速度快这一优点，因此本方法在保证识别准确率的同时能实时进行行为识别，需要注意的是，能量图上保留了运动的轮廓和强度信息，是对原始运动行为的良好精炼和描述。

基于上述三个特点，本发明提供了一种快速，有效的人体行为特征和基于此特征的人体行为识别方法。

附图说明

图1为本发明方法行为特征提取过程的流程图，其中图(a)为具体的流程，图(b)为与图(a)相对应的图像预览；

图2为本发明方法的简要流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

如图1、图2所示，本发明包括离线训练阶段和在线识别阶段。

步骤(1).离线训练阶段

离线训练阶段目的是获得一个人体行为识别模型，其步骤如下：

步骤1-1.将待训练的深度视频S均切割为时间长度相同的多个深度视频片段，然后按照各个深度视频片段的不同行为类别打上不同的行为标记，由此获得了人体行为识别的训练集T。

所述的时间长度为在线识别阶段定义的待识别视频片段的时间长度；

步骤1-2.运用“前景分割技术”获得各个深度视频片段中人体行为运动的最小包围矩，并将深度视频片段中最小包围矩限定的视频内容缩放到统一大小为320*240。

所述的“前景分割技术”描述如下：

a)对于训练集T给定的一个深度视频片段V，它由若干帧深度图{P₁,P₂,...,P_i}构成，其中i表示自然数，对于其中任意一张深度图P_i,将P_i中像素点根据像素点位置的深度值进行k-means二值聚类，得到两个分别包含前景像素与背景像素的集合；所述的前景像素比背景像素的平均深度值小。

b)在深度图P_i上找出一个矩形框R_i，使得步骤a得到的所有前景像素均包括在这个矩形框R_i内，R_i由和构成，其中 和分别表示R_i的左边界、右边界、上边界和下边界的像素坐标；然后将矩形框R_i按照横向分为等宽的两部分，若矩形框R_i的左半部分像素点个数比右半部分多，且若向左移动K（K为常数，可根据实际应用场景调节）个像素后新的矩形框内的像素点个数大于最原始矩形框R_i内个数的90﹪(90﹪为建议值,可根据实际应用场景调节),则将向左调整K个像素，若移动边界之后矩形框内的像素点个数不足最原始矩形框R_i内像素点个数的90﹪，则右边界调整完成；若矩形框R_i的右半部分的像素点个数比左半部分多，且将向右移动K个像素后矩形框内的像素点个数大于最原始矩形框R_i内个数的90﹪,则将向右调整K个像素，若移动边界之后矩形框内的像素点个数不足最原始矩形框R_i中像素点个数的90﹪，则左边界调整完成；若矩形框Ri的左右两半部分像素点中像素个数相差不超过ε(ε为阈值参数),则判断将左右边界同时向中心靠拢K/2个像素时新矩形框内剩余的像素点个数是否大于原始矩形框R_i内全部像素的90﹪，如果成立，则将矩形框R_i按照左右边界各收拢K/2个像素进行调整，之后重复步骤（b）,直至新矩形框内剩余的像素点个数小于原始矩形框R_i内全部像素的90﹪。采用上述同样的方法对矩形框R_i的上下边界进行调整。

c)深度视频片段V是由横坐标x，纵坐标y和时间坐标t三个维度描述的三维空间体，经过步骤b)后，深度视频片段V中任意一帧P_i的前景像素被分割出来,该前景像素范围由R_i进行描述。设深度视频S中人体行为的最小包围矩R的四个上边界R^up、下边界R^down、左边界R^left和右边界R^right分别可以用按照公式（1）计算：

公式（1）；

步骤1-3.深度视频片段V中从时刻j开始任意时间窗口长度为τ的一段子序列S_j，可以求出一张运动历史图，其计算方式如下：

公式（2）；

其中，I(x,y,t)表示深度视频在t时刻在像素点(x,y)位置的捕获的深度值。t的范围为[j,j+τ-1]。δI_th为常数阈值，j、τ为自然数；

从任意时刻t开始，本发明取连续时间窗口长度τ^s＝4、τ^m＝8和τ^l＝16，求出相对应的运动历史图序列其中s,m,l均为自然数，m＝2s,l＝4s，且s正比于深度视频片段V的时间长度；

经过步骤1-3的处理，深度视频片段转换为运动历史图序列，，记由本发明得到的三个时间窗口长度运动历史图在时间维度的延伸构成的深度视频片段V的运动历史图序列表示为MHIs^O，其中o＝s,m,l。

步骤1-4.对于步骤1-3中获得的任意一个运动历史图序列MHIs^O,其中o＝s,m,l，设H^O(x,y,t)表示运动历史图序列MHIs^O中第t帧像素点(x,y)位置的强度。为了排除深度图中噪声的干扰，对运动历史图序列MHIs^O进行进一步的强度约束，依据运动历史图序列MHIs^O计算如下能量图D^o,其中D^o中各个位置(x,y)的值D^o(x,y)计算方法见公式（3）：

公式（3）；

其中，μ(θ)为单位阶跃函数，当θ≥0时μ(θ)为1，当θ＜0时μ(θ)为0。ε为阈值常数，可根据设计应用场景调节。N为深度视频片段V的时间长度。

步骤1-5.对获得的能量图D^o，求其R变换，计算R变换，得到深度视频片段V的行为特征具体如下：

首先计算能量图D^o的Radon变换，计算方法见公式（4）：

公式（4）；

然后，对θ方向全方向进行积分，得到R变换，计算方式如公式（5）：

公式（5）；

为了防止尺度影响，对进行归一化处理，即将拼接形成深度视频片段V的行为特征

步骤1-6.根据深度视频片段V的行为特征与步骤(1)得到的深度视频片段的行为标记，采用支持向量机训练出识别模型M。

步骤(2).在线识别阶段

在线识别阶段目的是利用离线训练阶段获得的识别模型M进行行为识别，其步骤如下：

步骤2-1.与离线训练阶段操作步骤1-1～1-5相同的方法对待识别视频提取待识别视频的行为特征。

所述的在线识别阶段识别粒度与离线训练阶段训练时保持一致。

步骤2-2.基于待识别视频的行为特征，根据训练出来的模型M利用支持向量机对待识别视频进行行为识别。

上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

Claims (1)

1.一种基于运动历史图与R变换的人体行为识别方法，其特征在于该方法包括离线训练阶段和在线识别阶段，具体步骤如下：

步骤(1).离线训练阶段：

步骤1-1.将待训练的深度视频S切割为时间长度相同的多个深度视频片段，然后按照各个深度视频片段的不同行为类别打上不同的行为标记，由此获得了人体行为识别的训练集T；

所述的训练集T为不同的行为标记的各深度视频片段的集合；

步骤1-2.运用“前景分割技术”获得各个深度视频片段中人体行为运动的最小包围矩，并将深度视频片段中最小包围矩限定的视频内容缩放到统一大小；

所述的“前景分割技术”操作如下：

a)对于训练集T给定的一个深度视频片段V，它由若干帧深度图{P₁,P₂,...,P_i}构成，其中i表示第i帧深度图；对于其中任意一张深度图P_i,将P_i中像素点根据像素点位置的深度值进行k-means二值聚类，得到前景像素集合与背景像素集合；所述的前景像素比背景像素的平均深度值小；

b)在深度图P_i上找出一个矩形框R_i，使得步骤a)得到的所有前景像素均包括在这个矩形框R_i内，R_i由和构成，其中 和分别表示R_i的左边界、右边界、上边界和下边界的像素坐标；然后将矩形框R_i按照横向分为等宽的两部分，若矩形框R_i的左半部分像素点个数比右半部分多，且若向左移动K个像素后新的矩形框内的像素点个数大于最原始矩形框R_i内个数的η﹪，其中K为常数，且为偶数，50<η<100,则将向左调整K个像素，若移动边界之后新矩形框内的像素点个数小于最原始矩形框R_i内像素点个数的η﹪，则右边界调整完成；若矩形框R_i的右半部分的像素点比左半部分多，且将向右移动K个像素后矩形框内的像素点个数大于最原始矩形框R_i内个数的η﹪,则将向右调整K个像素，若移动边界之后新矩形框内的像素点个数小于最原始矩形框R_i中像素点个数的η﹪，则左边界调整完成；若矩形框R_i的左右两半部分像素点中像素个数相差不超过ε，ε为阈值参数,则判断将左右边界同时向中心靠拢K/2个像素时新矩形框内剩余的像素点个数是否大于原始矩形框R_i内全部像素的η﹪，如果成立，则将矩形框R_i按照左右边界各收拢K/2个像素进行调整，之后重复步骤b),直至新矩形框内剩余的像素点个数小于原始矩形框R_i内全部像素的η﹪；采用上述同样的方法对矩形框R_i的上下边界进行调整；

c)深度视频片段V是由横坐标x，纵坐标y和时间坐标t三个维度描述的三维空间体，此三维空间体经过步骤b)调整后，深度视频片段V中任意一帧P_i的前景像素被分割出来,该前景像素范围由R_i进行描述；设深度视频S中人体行为的最小包围矩R的四个上边界R^up、下边界R^down、左边界R^left和右边界R^right分别用按照公式(1)计算：

步骤1-3.深度视频片段V中从时刻j开始任意时间窗口长度为τ的一段子序列S_j，可以求出一张运动历史图其计算方式如下：

其中，I(x,y,t)表示深度视频在t时刻在像素点(x,y)位置的捕获的深度值；t的范围为[j,j+τ-1]；δI_th为常数阈值，j、τ为自然数；

取三个任意时间窗口长度τ^s、τ^m、τ^l，求出相对应的运动历史图其中s,m,l均为自然数，m＝2s,l＝4s，且s正比于深度视频片段V的时间长度；

经过步骤1-3的处理，深度视频片段转换为运动历史图序列，记得到的三个时间窗口长度运动历史图在时间维度的延伸构成的深度视频片段V的运动历史图序列表示为MHIs^O，其中o＝s,m,l；

步骤1-4.对于步骤1-3中获得的任意一个运动历史图序列MHIs^O,设H^O(x,y,t)表示运动历史图序列MHIs^O中第t帧像素点(x,y)位置的强度；依据运动历史图序列MHIs^O计算如下能量图D°,其中D°中各个位置(x,y)的值D°(x,y)计算方法见公式(3)：

其中，μ(θ)为单位阶跃函数，当θ≥0时μ(θ)为1，当θ＜0时μ(θ)为0；ε为阈值常数；N为深度视频片段V的时间长度；

步骤1-5.对获得的能量图D°，求其R变换，计算R变换，得到深度视频片段V的行为特征具体如下：

首先计算能量图D°的Radon变换，计算方法见公式(4)：

然后，对θ方向全方向进行积分，得到R变换，计算方式如公式(5)：

对进行归一化处理，即x∈[0°,180°)；将 拼接形成深度视频片段V的行为特征

步骤1-6.根据深度视频片段V的行为特征与步骤1-1得到的深度视频片段的行为标记，采用支持向量机训练出识别模型M；

步骤(2).在线识别阶段：

步骤2-1.与离线训练阶段操作步骤1-1～1-6相同的方法对待识别视频提取待识别视频的行为特征；

所述的在线识别阶段识别粒度与离线训练阶段训练时保持一致；

步骤2-2.基于待识别视频的行为特征，根据训练出来的模型M利用支持向量机对待识别视频进行行为识别。