CN104318547B - 基于gpu加速的多双目拼接智能分析系统 - Google Patents

Abstract

本发明涉及一种基于GPU加速的多双目拼接智能分析系统。本发明采用双目相机作为视频采集设备，其中双目相机安装在天花板上，垂直俯视拍摄地面，从而保证拍摄到的目标不存在互相遮挡，当场景范围无法用一台双目相机覆盖时，则安装多台相机，并采用拼接的方式来形成可视范围；基于垂直拍摄的深度图和彩色图，即可实现各种高准确性的智能视频分析功能。同时对于每个双目相机的两路输出视频采用GPU进行并行计算来加速分析结果。本发明使用了深度信息，并结合RGB信息，使得目标检测的稳定性大为提高，为后续智能分析提供了良好的基础。

Description

基于GPU加速的多双目拼接智能分析系统

技术领域

本发明属于视频智能监控技术领域，涉及一种基于GPU加速的多双目拼接智能分析系统。

背景技术

目前，基于视频的智能分析技术已经广泛的应用在各行各业，包括银行，交通，公安等等。但实际效果却常常不尽如人意，究其原因，主要有以下几点：

1)为了节约成本，很多智能视频分析常采用现有安装好的相机，在拍摄角度和成像效果上，往往不利于智能分析。

2)普通2D相机无法判断目标与相机之间的距离，导致同一光轴上，不同远近的目标很容易发生重叠和遮挡，从而引起智能分析的误判。

3)智能分析的计算平台能力有限，算法常常需要经过性能有损失的优化后，才能满足实时的处理。

发明内容

本发明针对现有技术的不足，提供了一种基于垂直拼接拍摄以及GPU加速计算的双目视频智能分析系统。

本发明解决技术问题所采取的技术方案为：

本发明采用双目相机作为视频采集设备，其中双目相机安装在天花板上，垂直俯视拍摄地面，从而保证拍摄到的目标不存在互相遮挡，当场景范围无法用一台双目相机覆盖时，则安装多台相机，并采用拼接的方式来形成可视范围；基于垂直拍摄的深度图和彩色图，即可实现各种高准确性的智能视频分析功能。

所述的拼接具体是：对每个相机中的每个目标区域中的像素，根据其深度信息进行到地面上的投影，然后利用事先做好的多相机偏移标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测。

同时对于每个双目相机的两路输出视频采用GPU进行并行计算来加速分析结果。

进一步说，所述的投影后目标的关联具体是：

设有一定高度的目标处在两个相机的公共区域，设相机高度为z0，两个相机规格一致，则成像范围为W*H，设目标图像坐标为(x，y)，高度为z，则其中第一个相机目标的全局坐标(Xw，Yw)为：

考虑到第二个相机相对于第一个相机的偏移为(dx，dy)，则第二个相机目标的全局坐标(Xw，Yw)为：

通过对目标的所有点做MeanShift聚类得到的投影中心点来代表该目标，通过比较相邻相机下所有投影中心点的距离，并设定阈值Td，距离小于Td的目标认为是同一目标，从而达到去除重复目标的目的。

进一步说，当相机镜头固定，垂直俯视拍摄，且目标到镜头的距离固定时，假设因为人体胖瘦引起的成像大小满足高斯分布模型：

其中μ表示这一高度下，目标成像大小的均值，σ表示由于人体胖瘦引起的成像误差的标准差。假设上述模型是在目标到镜头距离固定为D时统计建立的，当相机高度和目标高度发生变化时，根据小孔成像原理，目标成像的大小与其到镜头的距离成反比，那么我们得到，当相机高度为H，目标高度为h时，其成像大小应满足高斯分布模型：

这样，当相机安装高度已知时，通过深度图可以估计出目标的成像大小模型，从而为后续的智能分析提供有效的先验知识。

本发明的有益效果：

1)使用了深度信息，并结合RGB信息，使得目标检测的稳定性大为提高，为后续智能分析提供了良好的基础。

2)采用吸顶安装，垂直朝地面拍摄的相机安装方式，有效解决了目标遮挡问题。同时利用深度信息，对目标进行地面投影，从而实现多相机下的目标关联，解决了由于吸顶安装引起的可视范围小的问题。

3)计算平台采用GPU，结合算法的并行化优化，大幅提高运算速度，从而实现高分辨率，多相机的深度图智能分析。

4)通过对不同胖瘦目标的先验统计，结合深度信息，对目标成像的大小建立模型，为后续智能分析提供先验知识。

附图说明

图1为多相机成像示意图；

图2为多相机成像俯视图；

图3为双目相机架设示意图；

图4为双目相机与ATM机作用范围示意图。

具体实施方式

以下结合实施例和附图对本发明作进一步说明：

本发明采用了双目相机作为视频采集设备，每台双目相机具有两路模拟视频信号，分别代表左视图和右视图。双目相机要求吸顶安装在天花板上，垂直俯视拍摄地面，从而保证拍摄到的目标不存在互相遮挡。当场景范围无法用一台双目相机覆盖时，可安装多台相机，并采用拼接的方式来形成更的可视范围，主要原理如下：

对每个相机中的每个目标区域中的像素，根据其深度信息进行到地面上的投影，然后利用事先做好的多相机偏移(dx，dy)标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测

如图1和图2所示，有一定高度的目标处在两个相机的公共区域。设相机高度为z0，假设两个相机规格一致，则成像范围为W*H，设目标图像坐标为(x，y)，高度为z，则A相机目标的全局坐标(Xw，Yw)为：

考虑到B相机相对于A相机的偏移为(dx，dy)，则B相机目标的全局坐标(Xw，Yw)为：

一般情况下人体区域包含多个像素，由于相机安装角度不同，同一目标的前景点分布有所不同，投影到地面后分布也会不同，因此通过对目标的所有点做MeanShift聚类得到的投影中心点来代表该目标。通过比较相邻相机下所有投影中心点的距离，并设定阈值Td，距离小于Td的目标认为是同一目标，从而达到去除重复目标的目的。

所有的相机安装完毕后，统一接入到基于GPU的计算平台中，计算平台的形态主要以包含GPU的x86服务器为主，或者是包含GPU的嵌入式设备。计算平台主要完成以下几个任务：

1：双目视频的接入。

本方案的双目相机采用模拟信号输出，每个相机有两路视频。

2：计算双目深度图。

利用左视图和右视图计算深度图的算法比较复杂，但非常适合并行计算，本发明采用的算法进行了高度的并行优化处理，在GPU上可以获得很高的运行速度，从而实现高分辨率，多相机的实时深度图计算。

3：实现具体的智能视频分析功能。

基于垂直拍摄的深度图和彩色图，即可以实现各种高准确性的智能视频分析功能，例如客流统计，行为分析等等。

当相机镜头固定，垂直俯视拍摄，且目标到镜头的距离固定时，假设因为人体胖瘦引起的成像大小满足高斯分布：

其中μ表示这一高度下，目标成像大小的均值，σ表示由于人体胖瘦引起的成像误差的标准差。

假设以上模型是在目标到镜头距离固定为D时统计建立的，当相机高度和目标高度发生变化时，根据小孔成像原理，目标成像的大小与其到镜头的距离成反比，那么可以得到，当相机高度为H，目标高度为h时，其成像大小应满足高斯模型：

这样，当相机安装高度已知时，通过深度图可以估计出目标的成像大小模型，从而为后续的智能分析提供有效的先验知识。

如图3所示，以ATM自助营业厅的行为分析应用为例：

架设高度：3米左右；

架设角度：垂直90度；

架设位置：靠近ATM机的天花板；

当架设高度为2.8m时，假设人体最高为1.8m，单台双目相机覆盖范围为2m*2m左右。

而根据测算，一台ATM机的宽度大约在0.8-1m左右，因此一台双目相机基本可以覆盖2台ATM机前的范围，以一个拥有4台ATM机，面积为3m*Sm的中型营业厅为例，架设两台双目相机基本就能满足需求，参见图4。

将两台双目相机(4路视频)接入到基于GPU的计算平台，实现基于深度图的行为分析算法，提供“打砸ATM机”，“抢劫”，“倒地”，“取款尾随”等智能分析功能。

综上所述，本发明中的深度相机，除了获取普通的彩色信息外，还能获取场景的深度信息，从而能判断目标与相机之间的距离，对于目标检测有更好的效果。相机安装方式为垂直俯视，保证了场景内的目标不存在遮挡现象，另外，由于安装方式和相机规格的可控，可以事先标定出不同安装高度下目标的尺度，为后续算法分析提供非常有价值的先验知识。计算平台基于GPU架构，算法在经过并行优化后，可以在GPU上获得比CPU高数十倍的加速性能，从而为算法提供了更多的计算资源，可以运行更为复杂的算法来获得更好的效果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (3)

1.基于GPU加速的多双目拼接智能分析系统，其特征在于：

该系统采用双目相机作为视频采集设备，其中双目相机安装在天花板上，垂直俯视拍摄地面，从而保证拍摄到的目标不存在互相遮挡，当场景范围无法用一台双目相机覆盖时，则安装多台相机，并采用拼接的方式来形成可视范围；基于垂直拍摄的深度图和彩色图，即可实现各种高准确性的智能视频分析功能；

所述的拼接具体是：对每个相机中的每个目标区域中的像素，根据其深度信息进行到地面上的投影，然后利用事先做好的多相机偏移标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测；

同时对于每个双目相机的两路输出视频采用GPU进行并行计算来加速分析结果。

2.根据权利要求1所述的基于GPU加速的多双目拼接智能分析系统，其特征在于：所述的投影后目标的关联具体是：

设有一定高度的目标处在两个相机的公共区域，设相机高度为z0，两个相机规格一致，则成像范围为W*H，设目标图像坐标为(x,y)，高度为z，则其中第一个相机目标的全局坐标(Xw,Yw)为：

$\{(\frac{W-1}{2}-x)\frac{z}{z0}+x,(\frac{H-1}{2}-y)\frac{z}{z0}+y\}$

考虑到第二个相机相对于第一个相机的偏移为(dx,dy)，则第二个相机目标的全局坐标(Xw,Yw)为：

$\{(\frac{W-1}{2}-x)\frac{z}{z0}+x+dx,(\frac{H-1}{2}-y)\frac{z}{z0}+y+dy\}$

通过对目标的所有点做MeanShift聚类得到的投影中心点来代表该目标，通过比较相邻相机下所有投影中心点的距离，并设定阈值Td，距离小于Td的目标认为是同一目标，从而达到去除重复目标的目的。

3.根据权利要求1所述的基于GPU加速的多双目拼接智能分析系统，其特征在于：

当相机镜头固定，垂直俯视拍摄，且目标到镜头的距离固定时，假设因为人体胖瘦引起的成像大小满足高斯分布模型：

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp \[-\frac{{(x-\mathrm{\μ})}^2}{2{\mathrm{x\σ}}^2}\]$

其中μ表示这一高度下，目标成像大小的均值，σ表示由于人体胖瘦引起的成像误差的标准差；假设上述模型是在目标到镜头距离固定为D时统计建立的，当相机高度和目标高度发生变化时，根据小孔成像原理，目标成像的大小与其到镜头的距离成反比，那么得到，当相机高度为H，目标高度为h时，其成像大小应满足高斯分布模型：

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp \[-\frac{{(x-\mathrm{\μ})}^2}{2{\mathrm{x\σ}}^2}\]*\frac{D}{H-h}$

这样，当相机安装高度已知时，通过深度图可以估计出目标的成像大小模型，从而为后续的智能分析提供有效的先验知识。