CN109740563B

CN109740563B - 一种面向视频监控的运动目标检测方法

Info

Publication number: CN109740563B
Application number: CN201910033409.6A
Authority: CN
Inventors: 张术华
Original assignee: Hunan Zhongzhi Junying Technology Co ltd
Current assignee: National University of Defense Technology
Priority date: 2019-01-14
Filing date: 2019-01-14
Publication date: 2021-02-12
Anticipated expiration: 2039-01-14
Also published as: CN109740563A

Abstract

一种面向视频监控的运动目标检测方法，先对输入的RGB视频流进行重采样，得到3个独立的单通道视频流；确定地址映射规则，对各单通道视频流的每一帧图像中的每一个像素点进行编码；接着进行初始背景训练，得到初次单通道运动目标检测所需的背景模型；从各单通道视频流的T+1帧图像开始进行单通道运动目标检测，并检测得到的各单通道运动检测结果进行融合，得到对于S1中输入的RGB视频流的T+1帧图像的运动目标检测结果；对背景模型进行更新，更新后的背景模型作为各单通道视频流的下一帧图像进行单通道运动目标检测时采用的背景模型。本发明克服了现有技术难以直接硬件实现、实际系统应用范围受限的问题，其能够在FPGA等专用硬件器件上高速并行处理。

Description

一种面向视频监控的运动目标检测方法

技术领域

本发明涉及视频监控技术领域，尤其涉及一种面向视频监控的运动目标检测方法。

背景技术

在视频监控系统中，运动目标检测是视频处理与分析应用中的关键环节。常见的运动目标检测方法可分为基于帧间差异的方法、基于背景建模的方法、基于光流的方法、基于内容分类的方法等。

上述运动目标检测方法的主要处理流程涉及差分、求导、卷积、参数模型训练、复杂函数求解等环节，直接通过硬件实现这些环节的难度很大，实际应用中一般采用通用处理器平台加软件编程实现。算法越复杂，实现实时处理所需的硬件资源就越大，硬件平台的成本和功耗也越高，实际使用范围受限。

发明内容

针对现有技术的运动目标检测方法难以直接硬件实现、实际系统应用范围受限的问题，本发明提供一种面向视频监控的运动目标检测方法。

为实现本发明的技术目的，采用以下技术方案：

一种面向视频监控的运动目标检测方法，包括以下步骤：

S1.对输入的RGB视频流进行重采样，得到3个独立的单通道视频流，分别为R通道视频流、G通道视频流和B通道视频流；

S2.确定地址映射规则，对各单通道视频流的每一帧图像中的每一个像素点进行编码；

S3.进行初始背景训练，得到初次单通道运动目标检测所需的背景模型；

背景模型是一段连续存储空间，先将背景模型所在的存储空间全部置零；将各单通道视频流的前T帧图像作为初始背景训练时采用的训练数据，按照地址映射规则，将这些图像中的每一个像素点的空间坐标和灰度值信息映射为一个地址码，并将背景模型中该地址码对应的的存储空间置T，这里T为预设整数值。至此，得到初次单通道运动目标检测所需的背景模型；

S4.从各单通道视频流的T+1帧图像开始进行单通道运动目标检测，并检测得到的各单通道视频流的T+1帧图像的单通道运动检测结果进行融合，得到对于S1中输入的RGB视频流的T+1帧图像的运动目标检测结果；

S5.基于上一帧图像以及其对应的运动目标检测结果对背景模型进行更新，将更新后的背景模型作为各单通道视频流的下一帧图像进行单通道运动目标检测时采用的背景模型。

本发明S1中，首先是对输入的RGB视频流进行RGB数据分离。对于数据存储顺序为(B,G,R),(B,G,R),(B,G,R)……的三通道数字视频流，将R、G、B这3种数据分开，形成RRRRRR……、GGGGGG……、BBBBBB……3个独立的视频流。如果输入的RGB视频流中的R、G、B这3种数据已经是分开存储的，则此步骤省略。

本发明S1中，对R通道视频流、G通道视频流和B通道视频流中每个分辨率为W×H的单通道视频帧，使用通用图像插值方法，将其转换为分辨率为2^M×2^N的单通道视频帧。如果2^M＝W且2^N＝H，则此步骤省略。

S2中的实现方法如下：

对于分辨率为2^M×2^N像素的单通道视频帧中的每一个灰度二进制编码长度为P的像素点，将其直接编码为长度为(M+N+P)的二进制地址码，其中高M位对应该像素点的横坐标二进制编码，中N位对应该像素点的纵坐标二进制编码，低P位对应该像素点的灰度编码，这样一个像素点共有2^P种可能的编码结果，一个单通道视频帧共有2^M+N+P种可能的编码结果。

例如M、N、P均取8，整体编码长度为24位，一个坐标为(m，n)的像素点，其可能的编码结果为B_8mB_8n00000000～B_8mB_8n11111111，这里的B_8m和B_8n分别对应m、n的8位二进制编码，一个像素点所有可能的编码结果共有256种。

坐标为(110,24)，灰度值为165的像素点，其对应的24位地址码为：

110	24	165
			0110 1110	0001 1000	1010 0101

本发明S3中，初始背景训练的目的是得到初次单通道运动目标检测所需的背景模型，对于分辨率为2^M×2^N像素、灰度二进制编码长度为P的单通道视频帧而言，背景模型是一段长度为2^M+N+P的连续存储空间。

本发明S4中采用相同的单通道运动目标检测方法分别对R通道视频流、G通道视频流和B通道视频流进行单通道运动目标检测，方法是：对各单通道视频流的每一帧图像中的每一个像素点进行编码，以编码结果作为存储空间的地址指针，使用存储地址寻址来实现各单通道视频流的单通道运动目标检测。这种检测方法能够在FPGA等专用硬件器件上高速并行处理。

对于S1中输入的RGB视频流的T+1帧图像开始，其后续的每一帧图像均对应3组独立的单通道运动目标检测结果，分别为R通道运动目标检测结果、G通道运动目标检测结果以及B通道运动目标检测结果。

具体地，S4的实现方法如下：

S4.1采样相同的单通道运动目标检测方法分别对R、G以及B通道视频流的T+1帧图像进行单通道运动目标检测，分别得到对应的R通道运动目标检测结果、G通道运动目标检测结果和B通道运动目标检测结果；其中单通道运动目标检测方法是：对单通道视频流的T+1帧图像中的每一个像素点，首先按照S2中确定的地址映射规则，将其映射为对应的地址码；然后从初始背景模型中读取该地址码以及该地址码前后相邻的L个地址码对应的(2×L+1)个地址空间中存储的(2×L+1)个数值；如果这(2×L+1)个值中有1个值大于零，则该像素点标记背景候选点，反之则标记为前景候选点，其中L为预设整数值；

这样对于S1中输入的RGB视频流的T+1帧图像中的每一个像素点均通过R通道运动目标检测、G通道运动目标检测和B通道运动目标检测得到3个检测结果；

S4.2对S1中输入的RGB视频流的T+1帧图像中的每一个像素点进行单通道运动检测结果融合；

对于S1中输入的RGB视频流的T+1帧图像中的每一个像素点，统计其在R通道运动目标检测、G通道运动目标检测和B通道运动目标检测中分别得到的3个检测结果，如果其在R通道运动目标检测结果、G通道运动目标检测结果和B通道运动目标检测结果中有2个或3个结果标记为背景候选点，则该像素点对应的输出检测结果为背景点，反之则为前景点。

实际系统运行过程中，受时间、天气等因素的影响，监视画面中的背景区域会发生变化，因此运动检测所需的背景模型需要不停进行更新，以适应背景的变化。本发明S5中，背景模型更新时只对上一帧图像对应的运动目标检测检测结果中被标记为背景点的像素点所对应的背景模型进行更新。

对于每一个像素点，需更新的内容为其在背景模型中对应的长度为2^P的连续存储空间。具体地，背景模型更新的方法如下：对于每一个像素点，需更新的内容为其在背景模型中对应的长度为2^P的连续存储空间。

对于在上一帧图像对应的运动目标检测检测结果中判定为背景点的像素点，依据其地址映射结果，将背景模型中该地址码对应的存储空间置为T；对于该地址码前后各L个相邻地址，如果其中某个地址码的存储空间为非零值，则将该存储空间置为T；在该地址码前后L邻域以外的位置，将所有存在非零值的存储空间中的存储值减1；

对于在上一帧图像对应的运动目标检测检测结果中判定为前景点的像素点，将其在背景模型中对应的长度为2^P的连续存储空间内容全部置0；至此完成对背景模型的更新。

进一步地，在本发明S4中，如果S1中输入的RGB视频流的分辨率W×H与视频分辨率2^M×2^N不一致，则需要对S4输出的检测结果图像进行重采样，即将S4输出的分辨率为2^M×2^N的检测结果图像插值为分辨率W×H的图像，然后再输出。

相对于现有技术，本发明能够产生以下技术效果：

本发明的具体数据处理所涉及的步骤只有：地址编码、地址寻址、地址置数、单元数据递增/递减、单元数据累加等简单操作，不涉及乘、除、卷积等复杂运算，能够在FPGA等专用硬件器件上高速并行处理，克服了现有技术中的运动目标检测方法难以直接硬件实现、实际系统应用范围受限的问题，在目标检测效果上和主流运动目标检测方法相当。

附图说明

图1所示为本发明的流程图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，本发明提供一种面向视频监控的运动目标检测方法，包括以下步骤：

S1.对输入的RGB视频流进行重采样，得到3个独立的单通道视频流，分别为R通道视频流、G通道视频流和B通道视频流。

首先是对输入的RGB视频流进行RGB数据分离。对于数据存储顺序为(B,G,R),(B,G,R),(B,G,R)……的三通道数字视频流，将R、G、B这3种数据分开，形成RRRRRR……、GGGGGG……、BBBBBB……3个独立的视频流。如果输入的RGB视频流中的R、G、B这3种数据已经是分开存储的，则此步骤省略。

接着，对R通道视频流、G通道视频流和B通道视频流中每个分辨率为W×H的单通道视频帧，使用通用图像插值方法，将其转换为分辨率为2^M×2^N的单通道视频帧。如果2^M＝W且2^N＝H，则此步骤省略。

S2.确定地址映射规则，对各单通道视频流的每一帧图像中的每一个像素点进行编码。

110	24	165
			0110 1110	0001 1000	1010 0101

行初始背景训练的目的是得到初次单通道运动目标检测所需的背景模型，，对于分辨率为2^M×2^N像素、灰度二进制编码长度为P的单通道视频帧而言，背景模型是一段长度为2^M+N+P的连续存储空间。

Step1：将背景模型所在的存储空间全部置零；

Step2：将各单通道视频流的前T帧图像作为初始背景训练时采用的训练数据，按照地址映射规则，将这些图像中的每一个像素点的空间坐标和灰度值信息映射为一个地址码，并将背景模型中该地址码对应的的存储空间置T，这里T为预设整数值。至此，得到初次单通道运动目标检测所需的背景模型。

S4.从各单通道视频流的T+1帧图像开始进行单通道运动目标检测，并检测得到的各单通道视频流的T+1帧图像的单通道运动检测结果进行融合，得到对于S1中输入的RGB视频流的T+1帧图像的运动目标检测结果。

S4.1采样相同的单通道运动目标检测方法分别对R、G以及B通道视频流的T+1帧图像进行单通道运动目标检测，分别得到对应的R通道运动目标检测结果、G通道运动目标检测结果和B通道运动目标检测结果；其中单通道运动目标检测方法是：对单通道视频流的T+1帧图像中的每一个像素点，首先按照S2中确定的地址映射规则，将其映射为对应的地址码；然后从初始背景模型中读取该地址码以及该地址码前后相邻的L个地址码对应的(2×L+1)个地址空间中存储的(2×L+1)个数值；如果这(2×L+1)个值中有1个值大于零，则该像素点标记背景候选点，反之则标记为前景候选点，其中L为预设整数值。

这样对于S1中输入的RGB视频流的T+1帧图像中的每一个像素点均通过R通道运动目标检测、G通道运动目标检测和B通道运动目标检测得到3个检测结果。

S4.2对S1中输入的RGB视频流的T+1帧图像中的每一个像素点进行单通道运动检测结果融合。

如果S1中输入的RGB视频流的分辨率W×H与视频分辨率2^M×2^N不一致，则需要对S4输出的检测结果图像进行重采样，即将S4输出的分辨率为2^M×2^N的检测结果图像插值为分辨率W×H的图像，然后再输出。

对于每一个像素点，需更新的内容为其在背景模型中对应的长度为2^P的连续存储空间。

对于在上一帧图像对应的运动目标检测检测结果中判定为背景点的像素点，依据其地址映射结果，将背景模型中该地址码对应的存储空间置为T；对于该地址码前后各L个相邻地址，如果其中某个地址码的存储空间为非零值，则将该存储空间置为T；在该地址码前后L邻域以外的位置，将所有存在非零值的存储空间中的存储值减1。

请提供一个以上实施例。

设输入RGB视频数据分辨率为1280×960，数据存储格式为BGRBGRBGR……，处理参数M、N、P均取8。处理中单通道运动目标检测所需的背景模型占用2²⁴个连续存储空间，其中每个像素点占用2⁸个连续存储空间。

在视频重采样阶段，首先将输入的24位RGB视频数据分离为3个分辨率为1280×960的8位单通道视频数据；然后使用最近邻插值法将每个分辨率为1280×960的8位单通道视频数据重采样为分辨率为256×256的8位单通道视频数据。

对于分辨率为256×256的8位单通道视频数据中的每一个像素点，依据地址映射规则，均可编码为一个24位的地址码。

在背景训练阶段，T取值为16，即使用前T帧的数据进行训练，将前16帧视频中每一个像素点地址映射编码对应的背景模型的存储空间置为16。

在目标检测阶段，L取值为15，对于单通道视频帧的每一个像素点，依据其地址映射编码结果，读取背景模型中对应的31个存储空间，如果任一空间存在非零值，则该点在当前通道的检测结果为背景候选点，否则为前景候选点。

在结果投票阶段，对于同一个像素点，当3个单通道检测结果中被标记为背景候选点的次数为2或3，则该像素点被判定为背景点；反之则为前景点。在背景更新阶段，对于单通道运动目标检测中的背景模型，如果一个像素点的最终检测结果为背景点，则该点地址映射结果在背景模型中对应的存储空间置为16；在该地值前后各15领域范围内，如果存在非零存储空间，则这些存储空间均置为16；在该像素点对应的个连续存储空间中，除开这31个点外的存储空间中，如果某个存储空间的值大于0，则该存储空间的值减1。

在结果重采样阶段，使用最近领图像插值方法，将分辨率为256×256的检测结果插值为分辨率为1280×960的最终输出结果。

以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种面向视频监控的运动目标检测方法，其特征在于，包括以下步骤：

背景模型是一段连续存储空间，先将背景模型所在的存储空间全部置零；将各单通道视频流的前T帧图像作为初始背景训练时采用的训练数据，按照地址映射规则，将这些图像中的每一个像素点的空间坐标和灰度值信息映射为一个地址码，并将背景模型中该地址码对应的存储空间置T，这里T为预设整数值；至此，得到初次单通道运动目标检测所需的背景模型；

对于S1中输入的RGB视频流的T+1帧图像中的每一个像素点，统计其在R通道运动目标检测、G通道运动目标检测和B通道运动目标检测中分别得到的3个检测结果，如果其在R通道运动目标检测结果、G通道运动目标检测结果和B通道运动目标检测结果中有2个或3个结果标记为背景候选点，则该像素点对应的输出检测结果为背景点，反之则为前景点；

2.根据权利要求1所述的面向视频监控的运动目标检测方法，其特征在于，S1中还包括：对各单通道视频流中每个分辨率为W×H的单通道视频帧，使用通用图像插值方法，将其转换为分辨率为2^M×2^N的单通道视频帧。

3.根据权利要求2所述的面向视频监控的运动目标检测方法，其特征在于，S2中的实现方法如下：

4.根据权利要求3所述的面向视频监控的运动目标检测方法，其特征在于，S3中，对于分辨率为2^M×2^N像素、灰度二进制编码长度为P的单通道视频帧而言，背景模型是一段长度为2^M+N+P的连续存储空间。

5.根据权利要求1所述的面向视频监控的运动目标检测方法，其特征在于，S5中背景模型更新时只对上一帧图像对应的运动目标检测检测结果中被标记为背景点的像素点所对应的背景模型进行更新。

6.根据权利要求4所述的面向视频监控的运动目标检测方法，其特征在于，S5中背景模型更新的方法如下：对于每一个像素点，需更新的内容为其在背景模型中对应的长度为2^P的连续存储空间；

对于在上一帧图像对应的运动目标检测检测结果中判定为前景点的像素点，将其在背景模型中对应的长度为2^P的连续存储空间内容全部置0；

至此完成对背景模型的更新。

7.根据权利要求1所述的面向视频监控的运动目标检测方法，其特征在于，S4中，如果S1中输入的RGB视频流的分辨率W×H与视频分辨率2^M×2^N不一致，则需要对S4输出的检测结果图像进行重采样，即将S4输出的分辨率为2^M×2^N的检测结果图像插值为分辨率W×H的图像，然后再输出。