CN103716579A - 视频监控方法及系统 - Google Patents

Abstract

一种视频监控方法：采集多个摄像头的图像帧，根据所述图像帧提取运动前景；获取所述运动前景在所述图像帧中的像素坐标；根据所述像素坐标、多个摄像头的焦距和空间距离计算所述运动前景的三维空间坐标；根据所述三维空间坐标触发所述运动前景的异常事件。此外，还提供了一种视频监控系统。上述视频监控方法和系统能够提高异常事件触发的准确度，从而提高了安全性。

Description

视频监控方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种视频监控方法及系统。

背景技术

传统技术中的视频监控方法，通常预先在监控现场设置摄像头，通过该摄像头采集监控现场的视频数据，视频数据通常为连续的图像帧的形式。图像帧包括背景和运动前景，运动前景即图像帧中像素发生变化的区域。例如，当一个行人从监控现场经过时，获取到的连续的图像帧中行人占据的运动的区域即为运动前景，而相对静止的监控现场则为图像帧的背景部分。

传统技术中，通常先提取图像帧的运动前景，然后检测提取到的运动前景是否进入预先划定的危险区域中，从而判断是否有异常情况发生并发出相应的警报。

然而，传统技术中的视频监控方法，通过摄像头得到的图像帧只能反映监控现场的平面信息，当运动前景在摄像头焦距方向上轴向运动时，无法判断其是否进入危险区域，使得监控时会遗漏部分异常情况而发出警报报警，从而降低了安全性。

发明内容

基于此，有必要提供一种能提高安全性的视频监控方法。

一种视频监控方法，包括：

采集多个摄像头的图像帧，根据所述图像帧提取运动前景；

获取所述运动前景在所述图像帧中的像素坐标；

根据所述像素坐标、多个摄像头的焦距和空间距离计算所述运动前景的三维空间坐标；

根据所述三维空间坐标触发所述运动前景的异常事件。

在其中一个实施例中，所述根据所述图像帧提取运动前景的步骤为：

根据混合高斯模型通过背景差分提取所述图像帧的运动前景。

在其中一个实施例中，所述摄像头的数量为2个，且水平设置；

所述获取到的图像帧为同一时间由所述2个摄像头分别采集的左图像帧和右图像帧；

所述根据所述像素坐标、多个摄像头的焦距和空间距离计算所述运动前景的三维空间坐标的步骤为：

根据公式：

Disparity＝X_left-X_right

计算所述左图像帧和右图像帧的视察，其中，Disparity为视差，X_left为运动前景在所述左图像帧中的水平坐标，X_right为运动前景在所述右图像帧中的水平坐标；

根据公式：

$\left\{\begin{array}{c}{x}_c=\frac{{\mathrm{BX}}_{\mathrm{left}}}{\mathrm{Disparity}}\\ y_c=\frac{\mathrm{BY}}{\mathrm{Disparity}}\\ z_c=\frac{\mathrm{Bf}}{\mathrm{Disparity}}\end{array}\right.$

计算所述运动前景的三维空间坐标；其中，（x_c，y_c，z_c）即为所述运动前景的三维空间坐标，且x_c和y_c为可视平面坐标，z_c为深度信息，B为所述两个摄像头之间的水平距离，f为所述摄像头的焦距，Y为运动前景在所述左图像帧和所述右图像帧中得垂直坐标，Disparity为左图像帧和右图像帧的视差。

在其中一个实施例中，所述根据所述三维空间坐标触发所述运动前景的异常事件的步骤为：

判断所述三维空间坐标是否位于预设的危险区域，若是，则触发所述运动前景的异常事件。

在其中一个实施例中，所述判断所述三维空间坐标是否位于预设的危险区域的步骤为：

获取所述图像帧对应的深度图像，所述深度图像为灰度图，其像素点的坐标对应三维空间坐标的可视平面坐标，其灰度值对应三维空间坐标的深度信息；

通过所述深度图像判断所述三维空间坐标是否位于预设的危险区域。

在其中一个实施例中，所述触发所述运动前景的异常事件的步骤之前还包括：

根据所述深度信息判断所述运动前景是否为人体手势图像，若是，则继续执行所述触发所述运动前景的异常事件的步骤。

在其中一个实施例中，所述根据所述深度信息判断所述运动前景是否为人体手势图像的步骤为：

根据公式：

$d(I,c)=z(c+\frac{u}{z\left(c\right)})-z(c+\frac{v}{z\left(c\right)})$

计算所述运动前景的深度值，其中d(I,c)即为深度图像I中坐标c处像素点的深度值，u和v为在阈值范围内随机选取的任意两点的坐标，z为运动前景上的深度信息；

获取预设的人体手势图像的训练分类器；

根据所述运动前景的深度值以及所述训练分类器通过决策树判断所述运动前景是否为人体手势图像。

此外，还有必要提供一种能提高安全性的视频监控系统。

一种视频监控系统，包括：

多目摄像头，用于采集图像帧；

运动前景提取装置，用于根据所述图像帧提取运动前景；

坐标换算装置，用于获取所述运动前景在所述图像帧中的像素坐标，根据所述像素坐标、多目摄像头的焦距和空间距离计算所述运动前景的三维空间坐标；

异常事件触发装置，用于根据所述三维空间坐标触发所述运动前景的异常事件。

在其中一个实施例中，所述运动前景提取装置还用于根据混合高斯模型通过背景差分提取所述图像帧的运动前景。

在其中一个实施例中，所述多目摄像头为水平设置的双目摄像头；

所述获取到的图像帧为同一时间由所述双目摄像头采集的左图像帧和右图像帧；

所述坐标换算装置还用于根据公式：

Disparity＝X_left-X_right

计算所述左图像帧和右图像帧的视察，其中，Disparity为视差，X_left为运动前景在所述左图像帧中的水平坐标，X_right为运动前景在所述右图像帧中的水平坐标，并根据公式：

$\left\{\begin{array}{c}{x}_c=\frac{{\mathrm{BX}}_{\mathrm{left}}}{\mathrm{Disparity}}\\ y_c=\frac{\mathrm{BY}}{\mathrm{Disparity}}\\ z_c=\frac{\mathrm{Bf}}{\mathrm{Disparity}}\end{array}\right.$

计算所述运动前景的三维空间坐标；其中，（x_c，y_c，z_c）即为所述运动前景的三维空间坐标，且x_c和y_c为可视平面坐标，z_c为深度信息，B为所述两个摄像头之间的水平距离，f为所述摄像头的焦距，Y为运动前景在所述左图像帧和所述右图像帧中得垂直坐标，Disparity为左图像帧和右图像帧的视差。

在其中一个实施例中，所述异常事件触发装置还用于判断所述三维空间坐标是否位于预设的危险区域，若是，则触发所述运动前景的异常事件。

在其中一个实施例中，所述异常事件触发装置还用于

获取所述图像帧对应的深度图像，所述深度图像为灰度图，其像素点的坐标对应三维空间坐标的可视平面坐标，其灰度值对应三维空间坐标的深度信息，并通过所述深度图像判断所述三维空间坐标是否位于预设的危险区域。

在其中一个实施例中，所述触发所述运动前景的异常事件的步骤之前还包括：

根据所述深度信息判断所述运动前景是否为人体手势图像，若是，则继续执行所述触发所述运动前景的异常事件的步骤。

在其中一个实施例中，所述异常事件触发装置还用于根据公式：

$d(I,c)=z(c+\frac{u}{z\left(c\right)})-z(c+\frac{v}{z\left(c\right)})$

计算所述运动前景的深度值，其中d(I,c)即为深度图像I中坐标c处像素点的深度值，u和v为在阈值范围内随机选取的任意两点的坐标，z为运动前景上的深度信息；获取预设的人体手势图像的训练分类器；根据所述运动前景的深度值以及所述训练分类器通过决策树判断所述运动前景是否为人体手势图像。

上述视频监控方法和装置，通过多目摄像头采集图像帧，并根据图像帧提取运动前景，然后将运动前景在图像帧中得像素坐标换算成其所处的实际位置的三维空间坐标，并根据运动前景所处的三维空间坐标触发异常事件，与传统技术相比，不仅可根据运动前景在二维平面上的位置触发异常事件，还可根据换算得到的运动前景的三维空间坐标中得深度信息（距离摄像头的距离）触发异常事件，使得异常事件的触发更加准确，从而提高了安全性。

附图说明

图1为一个实施例中视频监控方法的流程图；

图2为一个实施例中2个摄像头成像即坐标换算原理图；

图3为一个实施例中深度图像示意图；

图4为一个实施例中视频监控系统的结构示意图；

图5为一个实施例中双目摄像头的结构示意图。

具体实施方式

在一个实施例中，如图1所示，一种获取图片信息的方法，包括以下步骤：

步骤S102，采集多个摄像头的图像帧，根据图像帧提取运动前景。

摄像头采集的图像的数据形式为连续的图像帧。运动前景即连续的图像帧中发生变化的像素区域。

在一个实施例中，可根据混合高斯模型通过背景差分提取图像帧的运动前景。

在本实施例中，可预先进行混合高斯模型的定义，定义后的混合高斯模型为：

$P\left(X_t\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{k,t}N(X_t,{\mathrm{\μ}}_{k,t},{\mathrm{\Σ}}_{k,t});$

$N(X_t,{\mathrm{\μ}}_{k,t},{\mathrm{\Σ}}_{k,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(X_t-{\mathrm{\μ}}_t){\mathrm{\Σ}}^{-1}(X_t-{\mathrm{\μ}}_t)};$

${\mathrm{\Σ}}_{k,t}={\mathrm{\σ}}_k^{2}E;$

其中，X_t为时刻t（由于摄像机在拍摄视频图像时，采样图像帧的采样频率为固定值，因此t也可以是帧数）时像素点（x,y）的像素值，K为预设的混合高斯模型的个数（通常为3至5），w_k，t是预设的时刻t时第k个高斯分布的权值，μ_k，t是时刻t时第k个高斯分布的均值，∑_k，t是时刻t时第k个高斯分布的协方差矩阵，N是高斯分布概率密度函数，

为第k个高斯分布的方差，E为高斯分布的期望值。

在获取到图像帧后，可根据当前时刻对高斯模型进行更新。可采用在线K均值算法来近似的对参数进行估计。在线K均值算法将当前时刻的像素与K个高斯分布分别进行匹配，如果匹配成功，则更新该分布的均值和方差，增大分布的权值；如果没有匹配，则产生一个新的分布去替换现有混合分布中的权值较小的项。

可将前述K个高斯分布按权值和方差之比从大到小排列，然后选择与分布均值最接近的高斯分布作为匹配的高斯分布，即：

$M_{k,t}=\left\{\begin{array}{cc}1& |X_t-{\mathrm{\&mu;}}_{k,t}|<\mathrm{\&lambda;\&sigma;}\\ 0& \mathrm{otherwise}\end{array}\right.$

其中，M_k，t为匹配系数，即M_k,t=1时的k值为最终选择的匹配的高斯模型的k值，X_t为时刻t时像素点（x,y）的像素值，μ_k，t为时刻t时第k个高斯分布的均值，σ为方差，λ为预设的系数。

如果在K个分布中没有找到当前像素的匹配分布，那么可能性最小的分布将被新的分布替代。新的分布的均值设置为当前的像素值，具有较大的方差和较小的权值。

然后可根据选中的高斯模型对t时刻的K个分布的权值进行调整，可通过公式：

w_k,t+1＝(1-α)w_k,t+αM_k,t

w_k，t+1＝w_k,t+α(M_k,t-w_k,t)

对权值进行调整。其中α未预设的系数，M_k,t为前述的匹配系数，w_k，t为时刻t时第k个高斯分布的权值。对权值进行调整后，权值的总和保持不变，仍然为1。更新过程相当于对匹配结果进行因果的二阶低通滤波，也相当于用过去数据的指数加窗估计当前权值。

也就是说，对于没有选中的即未匹配的分布，权值保持不变；对于选中的即匹配的分布通过如下公式：

μ_t+1(x,y)＝(1-α)u(x,y)+αI_t(x,y)；

${\mathrm{\&sigma;}}_{t+1}^2(x,y)=(1-\mathrm{\&beta;}){\mathrm{\&sigma;}}_t^2(x,y)+\mathrm{\&beta;}{(I_t(x,y)-{\mathrm{\&mu;}}_t(x,y))}^T(I_t(x,y)-{\mathrm{\&mu;}}_t(x,y))\text{;}$

β＝αN(X_t,μ_k,σ_k)；

对当前分布进行更新。

对前述的混合高斯模型进行更新后，可通过计算前述的混合高斯模型中每个高斯分布的w_k,t/σ_k，t，并对其进行排序，比值w_k,t/σ_k,t越大，表示具有较大w_k,t和较小的σ_k，t，因此排序越前的高斯分布，越适合描述背景。一般选取排序在前的M个高斯分布作为背景，M由下式求得：

$M=\arg \underset{m}{\min }(\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_k>T_R)$

其中，阈值T_R表示代表背景的分布的权值和在整体中所占的最小比例。M是能达到这一比例的“最好”的分布的数量，即前m个最可能的分布。

通过将各像素点与上述确定的前m个高斯分布逐一匹配运算，直到找到匹配的则认为是背景点，若没有任何一个高斯分布与X_t匹配，则判定为运动前景。对图像帧的每个像素点实行相同的判定操作，从而通过混合高斯背景模型获取运动前景。

步骤S104，获取运动前景在图像帧中的像素坐标。

像素坐标即图像帧中像素点所处的位置。多个摄像头同时获取的图像帧有多个，运动前景在每个图像帧中可具有不同的像素坐标。

步骤S106，根据像素坐标、多个摄像头的焦距和空间距离计算运动前景的三维空间坐标。

在一个实施例中，摄像头的数量为2个，且水平设置。获取到的图像帧为同一时间由2个摄像头分别采集的左图像帧（left）和右图像帧（right）。在本实施例中，可通过双目摄像头采集图像帧。

根据像素坐标、多个摄像头的焦距和空间距离计算运动前景的三维空间坐标的步骤可具体为：

根据公式：

Disparity＝X_left-X_right

计算左图像帧和右图像帧的视察。其中，Disparity为视差，X_left为运动前景在左图像帧中的水平坐标，X_right为运动前景在右图像帧中的水平坐标；

根据公式：

$\left\{\begin{array}{c}{x}_c=\frac{{\mathrm{BX}}_{\mathrm{left}}}{\mathrm{Disparity}}\\ y_c=\frac{\mathrm{BY}}{\mathrm{Disparity}}\\ z_c=\frac{\mathrm{Bf}}{\mathrm{Disparity}}\end{array}\right.$

计算运动前景的三维空间坐标；其中，（x_c，y_c，z_c）即为运动前景的三维空间坐标，且x_c和y_c为可视平面坐标，z_c为深度信息，B为两个摄像头之间的水平距离，f为摄像头的焦距，Y为运动前景在左图像帧和右图像帧中得垂直坐标（由于摄像头水平设置，因此左图像帧中像素点的Y值和右图像帧中像素点的Y值相同），Disparity为左图像帧和右图像帧的视差。

例如，如图2所示，L和R分别为水平设置的双目摄像头同时截取的左图像帧和右图像帧，C_left和C_right分别为左右摄像头的相机光轴（穿过焦距垂直于相机镜面的轴线），B为摄像头之间的距离（基线距），f_left和f_right分别为左右摄像机的焦距，通常情况下为方便计算，可将f_left和f_right设为相等，均为f。（X_left，Y）和（

Y）分别为同一物体分别在左右图像帧上产生的投影的像素坐标，（x_c，y_c，z_c）即计算得到该物体在三维空间中的实际坐标。

需要说明的是在其他实施例中，摄像头也可垂直放置。在摄像头垂直放置时，B即为摄像头之间的垂直距离，可将X_left/X_right和Y互换即可得到运动前景的三维空间坐标。

在其他实施例中，还可通过空间中摆放的两个以上的摄像头采集图像帧。可在两个以上的摄像头中选取多组摄像头，每组摄像头的数目为两个。可通过每组摄像头同时采集的图像帧计算运动前景的三维空间坐标，然后将计算得到的每组摄像头对应的运动前景的三维空间坐标求取平均值，从而提高测量精度。

步骤S108，根据三维空间坐标触发运动前景的异常事件。

运动前景的异常事件即运动前景进入到预设的危险区域中时触发的事件，可根据触发的事件发出相应的警报。

在一个实施例中，根据三维空间坐标触发运动前景的异常事件的步骤可具体为：判断三维空间坐标是否位于预设的危险区域，若是，则触发运动前景的异常事件。

例如，可预先在图像帧的背景中将高压电线等危险设施的临近区域划定为危险区域（同样由三维空间坐标表示），若运动前景为人体图像，则检测到人体图像的三维空间坐标进入高压电线临近的危险区域时，则触发异常事件，从而对行人进行警示或通知相关人员进行处理。

进一步的，判断三维空间坐标是否位于预设的危险区域的步骤可具体为：获取图像帧对应的深度图像，深度图像为灰度图，其像素点的坐标对应三维空间坐标的可视平面坐标，其灰度值对应三维空间坐标的深度信息；通过深度图像判断三维空间坐标是否位于预设的危险区域。

例如，如图3所示，图3展示了根据图像帧中运动前景的三维空间坐标生成的深度图像。图3中，根据像素点的三维空间坐标中的可视平面坐标确定深度图像的像素坐标，然后将该像素坐标对应的灰度值设置为与可视平面坐标对应的深度信息。例如，若运动前景P的三维空间坐标为(x_p,y_p,z_p)，则在深度图像的像素点(x_p,y_p)处的灰度值为γz_p，其中，γ为预设的系数，可根据z_p所处的数值范围确定。例如，若获取到的所有运动前景的z_p的取值范围为0至100，则γ可取值为255/100，即灰度值最小可取值为0，最大可取值255。

在本实施例中，触发运动前景的异常事件的步骤之前还可根据深度信息判断运动前景是否为人体手势图像，若是，则继续执行触发运动前景的异常事件的步骤。

进一步的，根据深度信息判断运动前景是否为人体手势图像的步骤为：

根据公式：

$d(I,c)=z(c+\frac{u}{z\left(c\right)})-z(c+\frac{v}{z\left(c\right)})$

计算运动前景的深度值，其中d(I,c)即为深度图像I中坐标c处像素点的深度值，u和v为在阈值范围内随机选取的任意两点的坐标，z为运动前景上的深度信息；获取预设的人体手势图像的训练分类器；根据运动前景的深度值以及训练分类器通过决策树判断运动前景是否为人体手势图像。

在本实施例中，可遍历深度图像I中得每个像素点，然后通过上述公式计算每个像素点的深度值d，然后通过决策树根据遍历到的像素点的深度值d判断该像素点是否属于运动前景的边缘区域（即判断深度值d是否处于相应的阈值区间），从而可得到运动前景中的所有像素坐标在运动前景中所处的相对位置，例如，若像素点a对应边缘则可将该像素点的相对位置属性值设为1，若像素点b对应运动前景的内部深处（即非边缘），则可将该像素点的相对位置属性值设为0。最后可将所有像素坐标输入训练分类器，从而判断运动前景是否为人体手势图像，同样，也可获取运动前景中属于人体手势图像的像素坐标范围。

训练分类器可预先通过训练样本生成。例如，可根据多幅具有人体手势图像的深度图像来生成训练分类器，从而得到训练分类器的分类核函数。

在一个实施例中，如图4所示，一种视频监控系统，包括多目摄像头102、运动前景提取装置104、坐标换算装置106以及异常事件触发装置108，其中：

多目摄像头102，用于采集图像帧。

运动前景提取装置104，用于根据图像帧提取运动前景。

多目摄像头即具有多个摄像头的图像采集装置。多目摄像头可在同一时间通过其自带的多个摄像头对同一物体进行多角度的图像采集。

多目摄像头采集到的图像的数据形式为连续的图像帧。运动前景即连续的图像帧中发生变化的像素区域。

在一个实施例中，运动前景提取装置104可用于根据混合高斯模型通过背景差分提取图像帧的运动前景。

在本实施例中，混合高斯模型为预先定义，为：

$P\left(X_t\right)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_{k,t}N(X_t,{\mathrm{\&mu;}}_{k,t},{\mathrm{\&Sigma;}}_{k,t});$

$N(X_t,{\mathrm{\&mu;}}_{k,t},{\mathrm{\&Sigma;}}_{k,t})=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{n}{2}}{\left|\mathrm{\&Sigma;}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(X_t-{\mathrm{\&mu;}}_t){\mathrm{\&Sigma;}}^{-1}(X_t-{\mathrm{\&mu;}}_t)};$

${\mathrm{\&Sigma;}}_{k,t}={\mathrm{\&sigma;}}_k^{2}E;$

其中，X_t为时刻t（由于摄像机在拍摄视频图像时，采样图像帧的采样频率为固定值，因此t也可以是帧数）时像素点（x,y）的像素值，K为预设的混合高斯模型的个数（通常为3至5），w_k，t是预设的时刻t时第k个高斯分布的权值，μ_k，t是时刻t时第k个高斯分布的均值，∑_k，t是时刻t时第k个高斯分布的协方差矩阵，N是高斯分布概率密度函数，为第k个高斯分布的方差，E为高斯分布的期望值。

在获取到图像帧后，运动前景提取装置104可用于根据当前时刻对高斯模型进行更新。可采用在线K均值算法来近似的对参数进行估计。在线K均值算法将当前时刻的像素与K个高斯分布分别进行匹配，如果匹配成功，则更新该分布的均值和方差，增大分布的权值；如果没有匹配，则产生一个新的分布去替换现有混合分布中的权值较小的项。

运动前景提取装置104可用于将前述K个高斯分布按权值和方差之比从大到小排列，然后选择与分布均值最接近的高斯分布作为匹配的高斯分布，即：

$M_{k,t}=\left\{\begin{array}{cc}1& |X_t-{\mathrm{\&mu;}}_{k,t}|<\mathrm{\&lambda;\&sigma;}\\ 0& \mathrm{otherwise}\end{array}\right.$

其中，M_k，t为匹配系数，即M_k,t=1时的k值为最终选择的匹配的高斯模型的k值，X_t为时刻t时像素点（x,y）的像素值，μ_k，t为时刻t时第k个高斯分布的均值，σ为方差，λ为预设的系数。

如果在K个分布中没有找到当前像素的匹配分布，那么可能性最小的分布将被新的分布替代。新的分布的均值设置为当前的像素值，具有较大的方差和较小的权值。

运动前景提取装置104还可用于根据选中的高斯模型对t时刻的K个分布的权值进行调整，可通过公式：

w_k,t+1＝(1-α)w_k，t+αM_k,t

w_k，t+1＝w_k，t+α(M_k，t-w_k，t)

对权值进行调整。其中α未预设的系数，M_k，t为前述的匹配系数，w_k，t为时刻t时第k个高斯分布的权值。对权值进行调整后，权值的总和保持不变，仍然为1。更新过程相当于对匹配结果进行因果的二阶低通滤波，也相当于用过去数据的指数加窗估计当前权值。

也就是说，对于没有选中的即未匹配的分布，权值保持不变；对于选中的即匹配的分布通过如下公式：

μ_t+1(x,y)＝(1-α)u(x,y)+αI_t(x,y)；

${\mathrm{\&sigma;}}_{t+1}^2(x,y)=(1-\mathrm{\&beta;}){\mathrm{\&sigma;}}_t^2(x,y)+\mathrm{\&beta;}{(I_t(x,y)-{\mathrm{\&mu;}}_t(x,y))}^T(I_t(x,y)-{\mathrm{\&mu;}}_t(x,y))\text{;}$

β＝αN(X_t,μ_k,σ_k)；

对当前分布进行更新。

运动前景提取装置104还可用于对前述的混合高斯模型进行更新后，通过计算前述的混合高斯模型中每个高斯分布的w_k,t/σ_k，t，并对其进行排序，比值w_k,t/σ_k，t越大，表示具有较大w_k，t和较小的σ_k，t，因此排序越前的高斯分布，越适合描述背景。一般选取排序在前的M个高斯分布作为背景，M由下式求得：

$M=\arg \underset{m}{\min }(\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_k>T_R)$

其中，阈值T_R表示代表背景的分布的权值和在整体中所占的最小比例。M是能达到这一比例的“最好”的分布的数量，即前m个最可能的分布。

运动前景提取装置104还可用于通过将各像素点与上述确定的前m个高斯分布逐一匹配运算，直到找到匹配的则认为是背景点，若没有任何一个高斯分布与X_t匹配，则判定为运动前景。对图像帧的每个像素点实行相同的判定操作，从而通过混合高斯背景模型获取运动前景。

坐标换算装置106，用于获取所述运动前景在所述图像帧中的像素坐标，根据所述像素坐标、多目摄像头的焦距和空间距离计算所述运动前景的三维空间坐标。

像素坐标即图像帧中像素点所处的位置。多目摄像头102同时获取的图像帧有多个，运动前景在每个图像帧中可具有不同的像素坐标。

在一个实施例中，多目摄像头102为水平设置的双目摄像头。多目摄像头102获取到的图像帧为同一时间由双目摄像头分别采集的左图像帧（left）和右图像帧（right）。

如图5所示，其中，left和right分别为水平设置的双目摄像头的左右两个镜头，B为left和right两个镜头焦点之间的距离，也叫基线距。需要说明的是，left和right只是用于区分左右两个镜头，并没有对镜头的具体位置进行限定。

在本实施例中，坐标换算装置106还可用于根据公式：

Disparity＝X_left-X_right

计算左图像帧和右图像帧的视察。其中，Disparity为视差，X_left为运动前景在左图像帧中的水平坐标，X_right为运动前景在右图像帧中的水平坐标。

坐标换算装置106还可用于根据公式：

$\left\{\begin{array}{c}{x}_c=\frac{{\mathrm{BX}}_{\mathrm{left}}}{\mathrm{Disparity}}\\ y_c=\frac{\mathrm{BY}}{\mathrm{Disparity}}\\ z_c=\frac{\mathrm{Bf}}{\mathrm{Disparity}}\end{array}\right.$

计算运动前景的三维空间坐标；其中，（x_c，y_c，z_c）即为运动前景的三维空间坐标，且x_c和y_c为可视平面坐标，z_c为深度信息，B为两个摄像头之间的水平距离，f为摄像头的焦距，Y为运动前景在左图像帧和右图像帧中得垂直坐标（由于摄像头水平设置，因此左图像帧中像素点的Y值和右图像帧中像素点的Y值相同），Disparity为左图像帧和右图像帧的视差。

例如，如图2所示，L和R分别为水平设置的双目摄像头同时截取的左图像帧和右图像帧，C_left和C_right分别为左右摄像头的相机光轴（穿过焦距垂直于相机镜面的轴线），B为摄像头之间的距离（基线距），f_left和f_right分别为左右摄像机的焦距，通常情况下为方便计算，可将f_left和f_right设为相等，均为f。(

Y）和（

Y）分别为同一物体分别在左右图像帧上产生的投影的像素坐标，（x_c，y_c，z_c）即计算得到该物体在三维空间中的实际坐标。

需要说明的是在其他实施例中，双目摄像头也可垂直设置。在摄像头垂直放置时，B即为摄像头之间的垂直距离，可将X_left/X_right和Y互换即可得到运动前景的三维空间坐标。

在其他实施例中，还可通过多目摄像头102的多个镜头采集图像帧。可将多目摄像头102的多个镜头划分为多组，每组的数目为两个。可通过每组镜头同时采集到的图像帧计算运动前景的三维空间坐标，并将计算得到的每组镜头对应的运动前景的三维空间坐标求取平均值，从而提高测量精度。

异常事件触发装置108，用于根据三维空间坐标触发运动前景的异常事件。

运动前景的异常事件即运动前景进入到预设的危险区域中时触发的事件，可根据触发的事件发出相应的警报。

在一个实施例中，异常事件触发装置108可用于判断三维空间坐标是否位于预设的危险区域，若是，则触发运动前景的异常事件。

例如，可预先在图像帧的背景中将高压电线等危险设施的临近区域划定为危险区域（同样由三维空间坐标表示），若运动前景为人体图像，则检测到人体图像的三维空间坐标进入高压电线临近的危险区域时，则触发异常事件，从而对行人进行警示或通知相关人员进行处理。

进一步的，异常事件触发装置108还可用于获取图像帧对应的深度图像，深度图像为灰度图，其像素点的坐标对应三维空间坐标的可视平面坐标，其灰度值对应三维空间坐标的深度信息；通过深度图像判断三维空间坐标是否位于预设的危险区域。

例如，如图3所示，图3展示了根据图像帧中运动前景的三维空间坐标生成的深度图像。图3中，根据像素点的三维空间坐标中的可视平面坐标确定深度图像的像素坐标，然后将该像素坐标对应的灰度值设置为与可视平面坐标对应的深度信息。例如，若运动前景P的三维空间坐标为(xp_,y_p,z_p)，则在深度图像的像素点(x_p,y_p)处的灰度值为γz_p，其中，γ为预设的系数，可根据z_p所处的数值范围确定。例如，若获取到的所有运动前景的z_p的取值范围为0至100，则γ可取值为255/100，即灰度值最小可取值为0，最大可取值255。

在本实施例中，异常事件触发装置108还可用于根据深度信息判断运动前景是否为人体手势图像，若是，则执行触发运动前景的异常事件。

进一步的，异常事件触发装置108还可用于根据公式：

$d(I,c)=z(c+\frac{u}{z\left(c\right)})-z(c+\frac{v}{z\left(c\right)})$

计算运动前景的深度值，其中d(I,c)即为深度图像I中坐标c处像素点的深度值，u和v为在阈值范围内随机选取的任意两点的坐标，z为运动前景上的深度信息；获取预设的人体手势图像的训练分类器；根据运动前景的深度值以及训练分类器通过决策树判断运动前景是否为人体手势图像。

在本实施例中，异常事件触发装置108可用于可遍历深度图像I中得每个像素点，然后通过上述公式计算每个像素点的深度值d，然后通过决策树根据遍历到的像素点的深度值d判断该像素点是否属于运动前景的边缘区域（即判断深度值d是否处于相应的阈值区间），从而可得到运动前景中的所有像素坐标在运动前景中所处的相对位置，例如，若像素点a对应边缘则可将该像素点的相对位置属性值设为1，若像素点b对应运动前景的内部深处（即非边缘），则可将该像素点的相对位置属性值设为0。最后可将所有像素坐标输入训练分类器，从而判断运动前景是否为人体手势图像，同样，也可获取运动前景中属于人体手势图像的像素坐标范围。

训练分类器可预先通过训练样本生成。例如，可根据多幅具有人体手势图像的深度图像来生成训练分类器，从而得到训练分类器的分类核函数。

上述视频监控方法和装置，通过多目摄像头采集图像帧，并根据图像帧提取运动前景，然后将运动前景在图像帧中得像素坐标换算成其所处的实际位置的三维空间坐标，并根据运动前景所处的三维空间坐标触发异常事件，与传统技术相比，不仅可根据运动前景在二维平面上的位置触发异常事件，还可根据换算得到的运动前景的三维空间坐标中得深度信息（距离摄像头的距离）触发异常事件，使得异常事件的触发更加准确，从而提高了安全性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种视频监控方法，包括：

采集多个摄像头的图像帧，根据所述图像帧提取运动前景；

获取所述运动前景在所述图像帧中的像素坐标；

根据所述像素坐标、多个摄像头的焦距和空间距离计算所述运动前景的三维空间坐标；

根据所述三维空间坐标触发所述运动前景的异常事件。

2.根据权利要求1所述的视频监控方法，其特征在于，所述根据所述图像帧提取运动前景的步骤为：

根据混合高斯模型通过背景差分提取所述图像帧的运动前景。

3.根据权利要求1所述的视频监控方法，其特征在于，所述摄像头的数量为2个，且水平设置；

所述获取到的图像帧为同一时间由所述2个摄像头分别采集的左图像帧和右图像帧；

所述根据所述像素坐标、多个摄像头的焦距和空间距离计算所述运动前景的三维空间坐标的步骤为：

根据公式：

Disparity＝X_left-X_right

计算所述左图像帧和右图像帧的视察，其中，Disparity为视差，X_left为运动前景在所述左图像帧中的水平坐标，X_right为运动前景在所述右图像帧中的水平坐标；

根据公式：

$\left\{\begin{array}{c}{x}_c=\frac{{\mathrm{BX}}_{\mathrm{left}}}{\mathrm{Disparity}}\\ y_c=\frac{\mathrm{BY}}{\mathrm{Disparity}}\\ z_c=\frac{\mathrm{Bf}}{\mathrm{Disparity}}\end{array}\right.$

计算所述运动前景的三维空间坐标；其中，（x_c，y_c，z_c）即为所述运动前景的三维空间坐标，且x_c和y_c为可视平面坐标，z_c为深度信息，B为所述两个摄像头之间的水平距离，f为所述摄像头的焦距，Y为运动前景在所述左图像帧和所述右图像帧中得垂直坐标，Disparity为左图像帧和右图像帧的视差。

4.根据权利要求3所述的视频监控方法，其特征在于，所述根据所述三维空间坐标触发所述运动前景的异常事件的步骤为：

判断所述三维空间坐标是否位于预设的危险区域，若是，则触发所述运动前景的异常事件。

5.根据权利要求4所述的视频监控方法，其特征在于，所述判断所述三维空间坐标是否位于预设的危险区域的步骤为：

获取所述图像帧对应的深度图像，所述深度图像为灰度图，其像素点的坐标对应三维空间坐标的可视平面坐标，其灰度值对应三维空间坐标的深度信息；

通过所述深度图像判断所述三维空间坐标是否位于预设的危险区域。

6.根据权利要求3所述的视频监控方法，其特征在于，所述触发所述运动前景的异常事件的步骤之前还包括：

根据所述深度信息判断所述运动前景是否为人体手势图像，若是，则继续执行所述触发所述运动前景的异常事件的步骤。

7.根据权利要求6所述的视频监控方法，其特征在于，所述根据所述深度信息判断所述运动前景是否为人体手势图像的步骤为：

根据公式：

$d(I,c)=z(c+\frac{u}{z\left(c\right)})-z(c+\frac{v}{z\left(c\right)})$

计算所述运动前景的深度值，其中d(I,c)即为深度图像I中坐标c处像素点的深度值，u和v为在阈值范围内随机选取的任意两点的坐标，z为运动前景上的深度信息；

获取预设的人体手势图像的训练分类器；

根据所述运动前景的深度值以及所述训练分类器通过决策树判断所述运动前景是否为人体手势图像。

8.一种视频监控系统，其特征在于，包括：

多目摄像头，用于采集图像帧；

运动前景提取装置，用于根据所述图像帧提取运动前景；

坐标换算装置，用于获取所述运动前景在所述图像帧中的像素坐标，根据所述像素坐标、多目摄像头的焦距和空间距离计算所述运动前景的三维空间坐标；

异常事件触发装置，用于根据所述三维空间坐标触发所述运动前景的异常事件。

9.根据权利要求8所述的视频监控系统，其特征在于，所述运动前景提取装置还用于根据混合高斯模型通过背景差分提取所述图像帧的运动前景。

10.根据权利要求8所述的视频监控系统，其特征在于，所述多目摄像头为水平设置的双目摄像头；

所述获取到的图像帧为同一时间由所述双目摄像头采集的左图像帧和右图像帧；

所述坐标换算装置还用于根据公式：

Disparity＝X_left-X_right

计算所述左图像帧和右图像帧的视察，其中，Disparity为视差，X_left为运动前景在所述左图像帧中的水平坐标，X_right为运动前景在所述右图像帧中的水平坐标，并根据公式：

$\left\{\begin{array}{c}{x}_c=\frac{{\mathrm{BX}}_{\mathrm{left}}}{\mathrm{Disparity}}\\ y_c=\frac{\mathrm{BY}}{\mathrm{Disparity}}\\ z_c=\frac{\mathrm{Bf}}{\mathrm{Disparity}}\end{array}\right.$

计算所述运动前景的三维空间坐标；其中，（x_c，y_c，z_c）即为所述运动前景的三维空间坐标，且x_c和y_c为可视平面坐标，z_c为深度信息，B为所述两个摄像头之间的水平距离，f为所述摄像头的焦距，Y为运动前景在所述左图像帧和所述右图像帧中得垂直坐标，Disparity为左图像帧和右图像帧的视差。

11.根据权利要求10所述的视频监控系统，其特征在于，所述异常事件触发装置还用于判断所述三维空间坐标是否位于预设的危险区域，若是，则触发所述运动前景的异常事件。

12.根据权利要求11所述的视频监控系统，其特征在于，所述异常事件触发装置还用于

获取所述图像帧对应的深度图像，所述深度图像为灰度图，其像素点的坐标对应三维空间坐标的可视平面坐标，其灰度值对应三维空间坐标的深度信息，并通过所述深度图像判断所述三维空间坐标是否位于预设的危险区域。

13.根据权利要求10所述的视频监控系统，其特征在于，所述触发所述运动前景的异常事件的步骤之前还包括：

根据所述深度信息判断所述运动前景是否为人体手势图像，若是，则继续执行所述触发所述运动前景的异常事件的步骤。

14.根据权利要求13所述的视频监控系统，其特征在于，所述异常事件触发装置还用于根据公式：

$d(I,c)=z(c+\frac{u}{z\left(c\right)})-z(c+\frac{v}{z\left(c\right)})$

计算所述运动前景的深度值，其中d(I,c)即为深度图像I中坐标c处像素点的深度值，u和v为在阈值范围内随机选取的任意两点的坐标，z为运动前景上的深度信息；获取预设的人体手势图像的训练分类器；根据所述运动前景的深度值以及所述训练分类器通过决策树判断所述运动前景是否为人体手势图像。

Images