CN1852428A - 基于全方位计算机视觉的智能隧道安全监控装置 - Google Patents

Abstract

一种基于全方位计算机视觉的智能隧道安全监控装置，包括微处理器、用于监视隧道现场的视频传感器、与外界通信的通信模块，微处理器包括：图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；文件存储模块，用于将视频传感器采集的数据存储到存储器中；现场实时播放模块，用于连接外部的显示设备，将监视现场画面实时播放；视频传感器的输出与微处理器通信连接，利用全方位计算机视觉传感器对隧道现场进行监视，不断进行图像处理和分析，通过对隧道中早期火灾火焰的形体变化特征来探测以及发现隧道早期火灾，通过对隧道中的车辆进行识别，得到车流量、车道占有率、车辆分类、车速等交通数据以及其他一些在隧道内发生的交通事故。

Description

基于全方位计算机视觉的智能隧道安全监控装置

(一)技术领域

本发明属于全方位计算机视觉传感器技术、图像识别技术、计算机控制技术和通信技术在隧道安全监控方面的应用，涉及隧道安全运营管理等技术领域。

(二)背景技术

随着我国经济的快速发展，公路及公路隧道的建设项目与日俱增，隧道安全运营问题显得越来越突出，除隧道本身的土建施工质量外，隧道的监视与控制管理已成为公路隧道安全正常运行的重要课题。据统计资料显示，每年国内外都有隧道安全事故发生，其中隧道火灾的发生所造成的损失最大，隧道火灾的最大特点是烟雾大、温度高。隧道空间小，一旦发生火灾，自然排烟困难，因此烟雾比较大，燃烧产生的热量也不易散发。隧道火灾的发生率是与日益增长的车流量成正相关，在隧道火灾中车辆的追尾碰撞、电器的短路、车辆的维护保养和装载危险物品是火灾发生的潜在根源，据一项统计资料表明我国目前每年在道路上行驶中车辆发生火灾已接近万次，这对于隧道安全管理来说是一个非常大的安全隐患。

隧道火灾马虎不得，从欧洲的勃朗峰隧道重大火灾到2000年奥地利隧道火车着火事故，欧洲隧道近几年连续发生重大的火灾事故，且许多重大损失都是因为安全设计不足和缺乏良好的隧道火灾检测手段所致。隧道一旦发生火灾，并会迅速蔓延，扑救十分困难，易造成严重损失。

火灾烟气流动属于两相流流动，悬浮于其中的烟气颗粒数目、颗粒团聚效应、烟气湍流效应等是火灾图像探测光学特性的重要影响因素，是火灾探测与预警研究的重要内容。传统的火灾报警系统一般基于红外传感器和烟雾传感器，这些系统多采用检测浓度法，而并不检测火焰本身，所以其误报率高、检测时间较长，对某些情况无法预报。在隧道这样大空间场合的火灾报警中，上述传感器信号变得十分微弱，即使是高精度的传感器也会由于种种干扰噪声而无法工作。目前，在一些隧道中已采用了比较成熟的火灾探测的方法，如感烟、感温、感光探测器，它们分别利用火灾火焰的烟雾、温度、光的特性等对火灾进行探测。但在大空间、大面积、环境比较恶劣的隧道中却无法发挥现有火灾探测设备的作用，而运用数字图像处理技术利用火灾火焰的图像特性却能解决隧道的火灾探测问题。

随着计算机技术、图像处理技术、通讯技术、控制技术的发展，以太网技术和总线技术突破了原有的技术瓶颈，使隧道的监视与控制系统高速信息共享成为可能。目前对隧道安全监控方面主要涉及到如下几个方面：1)CO、SO、NO等的监测、可见度及风速测量、通风系统控制；2)供电、火警、紧急电话的控制、水泵控制；3)事故视频监测及报警指示、隧道和车道的关/开、限速指示；4)高度控制、照明系统控制、车道引导、SOS(语音提示)；5)交通数据测量(计数，车道占有率、车辆分类、车速测量等)。

机器视觉是人类视觉的延伸。通过机器视觉以及图像识别技术，可以立即准确地发现火灾以及其他各种交通安全问题，这是不争的事实。图像监测快速性的基础是视觉所接受的信息以光为传播媒介；而图像信息的丰富和直观，更为早期火灾的辨识和判断奠定了基础，其它任何火灾探测技术均不能提供如此丰富和直观的信息。此外，图像监测的关键器件图像敏感组件通过光学镜头与外界发生间接接触，这种结构保证了图像监测技术可以较恶劣环境的隧道安全监视中使用。由此，利用图像识别技术在隧道安全探测中具有以下几个非常明显的优势：1)可在大空间、大面积的隧道环境中使用；2)在多粉尘、高湿度的隧道中使用具有高可靠性；3)可对火灾现象中的图像信息作出快速反应；4)可提供直观的火灾信息和隧道中的交通现状信息；5)能同时满足其他隧道安全监控的一些要求，比如可取得隧道中的可见度、交通数据测量(计数，车道占有率、车辆分类、车速测量等)、发生车辆追尾等交通事故等信息，即一机多能，可大幅度的提高性能价格比。

一种基于机器视觉的智能隧道安全监控装置大致上可以考虑由两个系统所构成，即图像型火灾报警系统和图像型交通数据测量以及交通事故检测系统。

图像型火灾报警系统是利用数字图像处理技术来实现火灾自动报警的。日趋严格的火灾安全要求和高科技的迅速发展，使火灾探测和预警等方式正向着图像化和智能化发展，而基于图像的火灾探测方法则是根据火焰特征的探测方法。因此，世界各国都在致力于研究和开发能早期预报火灾的火灾探测方法和设备。数字图像处理和模式识别技术实现火灾预报与传统的预报方法相比可以有效地提高预报精度、大大缩短预报时问、提供更丰富的火灾信息等。

与上述的图像型火灾报警系统同样，图像型交通数据测量以及交通事故检测系统也可以通过数字图像处理和模式识别技术实现对隧道内的车流量、车道占有率、车辆分类、车速等交通数据以及其他一些在隧道内发生的交通事故进行检测，数字图像处理和模式识别技术实现交通信息的采集与传统的地感线圈感应交通信息的方法相比可以有效地提高检测精度、同时完成多项数据的测量、维护方便以及提供更为丰富的交通信息。

智能隧道安全监控装置，是一种以计算机为核心，结合光电技术和计算机图像处理技术研制而成的隧道火灾以及交通事故自动监测报警系统。其中隧道火灾图像探测方法，是一种基于数字图像处理和分析的新型火灾探测方法。它利用摄像头对现场进行监视，同时对摄得的连续图像输入计算机，不断进行图像处理和分析，通过对隧道中早期火灾火焰的形体变化特征来探测火灾；交通数据测量和交通事故的图像探测方法，也是一种基于数字图像处理和分析的新型隧道安全探测方法，也可以利用摄像头对现场进行监视，同时对摄得的连续图像输入计算机，不断进行图像处理和分析，通过对通过隧道的车辆进行识别，分析得到车流量、车道占有率、车辆分类、车速等交通数据以及其他一些在隧道内发生的交通事故。隧道火灾发生的早期都是与车辆密切相关的，因此这两种探测方法有类同点，即要检测出隧道内的车辆，然后根据判断的特征进行识别。

目前在有些地方使用云台进行火灾和道路安全检测，虽然能得到全方位图像，但是云台采用机械式旋转装置存在着机械磨损、维护工作量大、要消耗能源、算法相对复杂，不能实时处理等缺点。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。因此基于ODVS的全方位视觉系统近几年迅速发展，正成为计算机视觉研究中的重要领域，IEEE从2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshop on Omni-directional vision)。目前还没有检索到将全方位视觉传感器运用到智能隧道安全监控技术领域的论文与专利。

因此，采用全方位视觉传感器ODVS并利用数字图像处理技术，结合车辆以及隧道内安全隐患的一些特征，找到合理的特征判据，以解决隧道防火监控为重点，同时又能监控其他交通事故以及自动采集完成交通信息，给隧道配备一双智能化的慧眼。

(三)发明内容

为了克服现有对隧道安全监控需要同时采用多种检测技术，且隧道火灾早期发现困难，误判率高，在大空间、大面积、环境条件相对比较恶劣的隧道中却无法发挥现有火灾探测设备的作用，不能实时处理，没有发挥目前视频监视装置的作用，在器件和部件的水平上缺乏智能化的手段的不足，本发明提供一种能够实现全方位实时安全监控，及时捕捉行驶中的车辆发生火灾的早期特征，以便采取及时灭火措施将灾情所造成的损失控制在最小范围内；及时发现在隧道的各种交通事故，对计算所获得的车流量、车道占有率、车辆分类、车速等交通数据进行分析，通过控制车流量等方式从而能减少交通事故的发生的基于全方位计算机视觉的智能隧道安全监控装置。

本发明为解决其技术问题采用的技术方案是：

一种基于全方位计算机视觉的智能隧道安全监控装置，所述的智能隧道安全监控装置包括微处理器、用于监视隧道现场的视频传感器、用于与外界通信的通信模块，所述的微处理器包括：图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；文件存储模块，用于将视频传感器采集的数据存储到存储器中；现场实时播放模块，用于连接外部的显示设备，将监视现场画面实时播放；所述的视频传感器的输出与微处理器通信连接，所述的视频传感器是全方位视觉传感器，所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、摄像头，所述的外凸反射镜面朝下，所述的透明圆柱体支撑外凸反射镜面，用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内部，摄像头位于外凸反射镜面的虚焦点上；所述的微处理器还包括：

传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块，用于将采集的圆形视频图像展开为全景柱状图，根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(1)所示：

P^**(x^**，y^**)← M× P^*(x^*，y^*)                  (1)

上式中， M是映射矩阵， P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵；

颜色模型转换模块，用于将彩色图像中的每一个像素点的颜色从RGB颜色空间转换到(Cr，Cb)空间颜色模型；

运动对象检测模块，用于从视频流中实时提取目标，对每个图像点采用多个自适应混合高斯模型表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k

各高斯分布分别具有不同的权值ω_t，j( $\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_{t,i}=1$ 和优先级p_t，j＝ω_t，i/σ_i，j，其中σ_i，j是各高斯分布的方差；

各个高斯分布优先级从高到低的次序排序，取定背景权值部分和阈值M，只有满足 $B={\min }_b\underset{1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_j>M,$ 前若干个分布才被认为是背景分布，其它则是前景分布；

在检测前景点时，按照优先级次序将Y_t与各高斯分布逐一匹配，若没有表示背景分布的高斯分布与Y_t匹配，则判定该点为前景点；否则为背景点；

若检测时没有找到任何高斯分布与Y_t匹配，则将优先级最小的一个高斯分布去除，并根据Y_t引入一个新的高斯分布，并赋予较小的权值和较大的方差，对所有高斯分布重新进行权值归一化处理；若第μ个高斯分布与Y_t匹配，则对第i个高斯分布的权值更新公式如下，

$\left\{\begin{array}{c}{\mathrm{\ω}}_{t+1,i}=(1-\mathrm{\α}){\mathrm{\ω}}_{t,i}+\mathrm{\α}*{\mathrm{\ω}}_{t+1,i}\\ {\mathrm{\ω}}_{t+1,i}=(1-\mathrm{\α}){\mathrm{\ω}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中α是表示背景更新快慢的常数-权值更新率，式(17)表明只有与Y_t相匹配的高斯分布的权值才得到提高，其它分布的权值都被降低；另外，相匹配的高斯分布的参数也按照式(18)、(19)进行更新；

μ_t，i＝(1-α)μ_t，i+αY_t                (18)

σ_t，i ²＝(1-α)σ_t，i ²+α(Y_t-μ_t，i)²    (19)

式中，μ_t，k为第K个高斯的亮度期望，σ_t，k为第K个高斯的亮度方差；

在更新完高斯分布的参数和各分布权值后，还要对各个分布重新计算优先级和排序，并确定背景分布的数目；

对背景点、静止前景点、运动前景点的更新率进行区别对待，对式(17)中的权值更新率更改为β，有区别与高斯分布参数的更新率α，更改后的权值更新公式由式(20)给出：

$\left\{\begin{array}{c}{\mathrm{\ω}}_{t+1,i}=(1-\mathrm{\β}){\mathrm{\ω}}_{t,i}+\mathrm{\β}*{\mathrm{\ω}}_{t+1,i}\\ {\mathrm{\ω}}_{t+1,i}=(1-\mathrm{\β}){\mathrm{\ω}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(20\right);$

运动目标分割模块，用于根据空间连续性采用连通区域检测算法来分割目标，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

在所述的运动目标分割模块中分割出目标区域后，提取前景目标的静态特征，其中包括外接矩形大小、面积、长宽比、中值点位置、颜色投影直方图；

目标跟踪模块，用于采用二阶Kalman滤波器作为目标的运动模型，预测运动目标的位置，在对预测后的运动目标和前景目标进行匹配时，利用图像块匹配来精确定位目标的位置，建立静态前景目标和受跟踪的动态运动目标之间的对应关系。

进一步，所述的微处理器还包括火灾判断模块，所述的火灾判断模块包括：

火焰面积变化特征判断单元，用于利用火焰面积的连续的、扩展性的增加趋势的规律，根据上述每个连通区域求出其面积Si的和来判断烟气火焰面积是否是在扩展性的增加，本专利中通过每帧图像的烟气火焰面积Si进行递推计算，求在下一帧图像的烟气火焰面积的递推值

计算公式由式(22)给出；

${\stackrel{\‾}{S}}_i^{t(i+1)}=(1-k)*{\stackrel{\‾}{S}}_i^{t\left(i\right)}+k*S_i---\left(22\right)$

式中， 是下一帧图像的烟气火焰面积的递推平均值，

是目前帧图像的烟气火焰面积的递推平均值，Si是目前帧烟气火焰面积的计算值，K为系数，小于1。本发明中用公式计算随时间显扩展性的增加趋势，

$\frac{{\stackrel{\‾}{S}}_i^{t(i+1)}+{\stackrel{\‾}{S}}_i^{t\left(i\right)}+{\stackrel{\‾}{S}}_i^{t(i-1)}}{3}>\frac{{\stackrel{\‾}{S}}_i^{t(i-2)}+{\stackrel{\‾}{S}}_i^{t(i-3)}+{\stackrel{\‾}{S}}_i^{t(i-4)}}{3}---\left(23\right)$

如果上述不等式(23)成立表示有增加趋势，反映了火焰面积在随时间显扩展性的增加趋势，将火焰面积扩展Wfire area量化值取为1，因此量化值为1表明火焰面积具有扩展性，0表示没有扩展性。

分层变化特征判断单元，用于根据车辆火灾发生时往往会伴随着产生大量的黑色烟气，靠近车体部位又往往是靠近火焰的中心，在车体的上方是燃烧中产生的烟气，因此可利用YCrCb颜色空间对车辆起火时的焰心、内焰、外焰进行识别，

从RGB颜色空间到YCrCb颜色空间的转换公式(24)给出，

Y＝0.29990*R+0.5870*G+0.1140*B        (24)

Cr＝0.5000*R-0.4187*G-0.0813*B+128

Cb＝-0.1787*R-0.3313*G+0.5000*B+128

然后根据火焰图像在(Cr，Cb)空间的分布模型，计算车体边缘部位的发光源是否落在火焰图像在(Cr，Cb)空间的分布模型内，来作为判断火焰点的一个重要依据，计算公式由式(25)给出，

$W_{\mathrm{color}}=\exp \{-\frac{1}{2}[A*{(\mathrm{Cr}-\stackrel{\‾}{\mathrm{Cr}})}^2+2B*(\mathrm{Cr}-\stackrel{\‾}{\mathrm{Cr}})*(\mathrm{Cb}-\stackrel{\‾}{C}b)+C*{(\mathrm{Cb}-\stackrel{\‾}{\mathrm{Cb}})}^2\left]\right\}---\left(25\right)$

式(25)中 Cr， Cb是火焰点Cr、Cb的样本标准均值，A、B、C分别是由样本标准差和均值计算出来的系数；

Cr＝144.6； Cb＝117.5；A＝3.7*10^-3；B＝4.1*10^-3；C＝4.5*10^-3

同样也可以得到不断上升中烟气的Cr、Cb的样本标准均值，A、B、C并用式(25)来判断是否是烟气；

边缘变化特征判断模块，用于依据隧道早期火灾具有非常明显的特征，由于不发生事故的车辆的外形边缘比较规则呈不变性，从全方位视觉传感器的视觉角度来看，隧道的顶视主要能检测到车辆的长与宽，车辆模型作为一个简单的矩形模型来处理，通过上述计算所得到的连通区域与一个与正好包容着该连通区域的矩形进行面积比较，用公式(26)来计算其比值大小；

Areaⁱ _rate表示T时刻的某个跟踪目标的面积比值率，该值越大表明所检测到的车辆越接近矩形，反之越小就表明该检测到的车辆越偏离矩形模型，同时引入面积比变化率来反映跟踪对象的边缘变化情况，如果连续K次所计算得到的面积比变化率有变小趋势或者小于一个阈值k_area，就认为有边缘变化，其判断关系式如(27)所示：

$\mathrm{Are}{a}_{\mathrm{rate}}^i>{\mathrm{Area}}_{\mathrm{rate}}^{i+1}>{\mathrm{Area}}_{\mathrm{rate}}^{i+2}\mathrm{or}\frac{{\mathrm{Area}}_{\mathrm{rate}}^{i+n}}{{\mathrm{Area}}_{\mathrm{rate}}^i}<k_{\mathrm{area}}--(n=\mathrm{1,2,3}....)---\left(27\right);$

形体变化特征判断单元，用于根据隧道火灾发生以及发展的规律，隧道中行驶的车辆都可以简化成一个矩形体，只有发生火灾时着火的车辆才会发生形体变化，变化成复杂的形体，因此可以用一个矩形与连通面积区越进行匹配比较，用式(26)进行匹配计算，匹配相似度越小表明形体变化越大而发生火灾的概率就越高，当形体发展成整个隧道横断面时就可以肯定已发生火灾；当形体向隧道的纵向发展时表明火灾已经蔓延。

整体移动特征判断单元，用于判断当分层变化特征判断中检测到多处存在着火焰点的情况时并存在着火焰移动轨迹，W_fire move为1，否则为0；

综合判断单元，用于在上述的五种火焰判断的基础上，接着进行综合判断以减少误判断率，同时能判断火灾的程度，加权综合判断计算在模块33中进行，综合判断公式由式(28)给出，综合判断中采用了加权方式，

W_fire alann＝K_{fire pattern}×W_{fire pattern}+K_fire color×W_fire color+K_fire move×W_fire move+K_fire area×W_fire area+K_fire body×W_fire body

(28)

式中：

K_{fire pattern}为边缘变化特征的加权系数。

K_fire color为分层变化特征的加权系数。

K_fire move为整体移动特征的加权系数。

K_fire area为面积变化的加权系数。

K_fire body为形体变化的加权系数。

再进一步，所述的微处理器还包括：

交通量判断模块，用于在单位时间内，计算通过道路某一地点、某一断面或某一条道路的车辆数，其关系式用公式(29)表示：

Q＝V*K  (29)

其中，Q为交通流量，V为区间平均速度，K为车流密度。

平均车速计算模块，用于计算时间平均车速和区间平均车速，一旦进入所定的虚拟检测线时，启动产生一个新的对象，同时将车道编号RoadwayNo和开始时刻StartTime赋值给该对象，接着对该对象进行跟踪，当该对象接触到下一条虚拟检测线时，将结束时间EndTime赋值给该对象，计算区间平均车速，计算公式由式(28)给出；

V_i＝(EndTime-StartTime)/X           (28)

式中：X为垂直于车道画两条虚拟线的相隔总长度， V_i为该对象的区间平均车速；有了某一个车道上某一个车辆的区间平均车速，通过公式(29)就能够得到某一个车道上车辆区间平均车速；

${\stackrel{\&OverBar;}{V}}_{\mathrm{RoadWayNo}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{V}}_i/n---\left(29\right)$

车道占有率计算模块，用于计算车辆空间占有率和时间占有率。空间占有率是在一瞬间测得已知检测路段上所有车辆占有的长度与路段长度之比，用Rs表示；

时间占有率是指在单位时间内，车辆通过某一断面的累计时间与单位测定时间的比值，用Rt表示，可以通过式(28)计算得到

$R_t=\frac{1}{\stackrel{\&OverBar;}{V_i}}*100\%---\left(32\right).$

更进一步，所述的微处理器还包括：车队拥堵检测模块，用于根据得到的速度信息加以判断，如将隧道的交通状况可以分为很畅通、畅通、一般、较拥挤、很拥挤、堵塞等几种情况，隧道中自由车速为70km/h，当通过上述计算所得到的平均车速为60～70km/h时，则可认为该隧道部分很畅通；50～60km/h时，则可认为畅通；40～50km/h时，可认为该路段较畅通；30～40km/h时，可认为该路段畅通情况一般；20～30km/h时，可认为该路段较拥挤；10～20km/h时，可认为该路段很拥挤；小于10km/h甚至为0，则可以认为该道路堵塞。

所述的微处理器还包括：逆行与越线判断模块，用于根据每个检测到的跟踪对象的车道编号RoadwayNo，通过检查跟踪车辆的车道编号RoadwayNo来确认是否存在逆行，判断的方法就是车道编号RoadwayNo与跟踪车辆所携带的车道编号RoadwayNo信息进行奇偶检验，如果一个是奇数而另一个是偶数那么就判定为是逆行；根据一个没有携带的车道编号RoadwayNo信息目标对象触发了下一条虚拟检测线且该目标对象的运动轨迹是与道路行驶方向相反的；如通过车道编号RoadwayNo上出现了跟踪车辆所携带的车道编号RoadwayNo信息不一致性，判定为车辆越线。

所述的微处理器还包括：交通事故、违章停车和超速判断模块，用于根据式(28)计算所得到的速度信息来进行检测，如果计算得到的平均速度超过隧道限速就可以认定为是超速；如果所跟踪目标对象在一定时间内没有运动且在该车道上一个时间段中的车队拥堵检测为畅通情况一般以上就认定为该跟踪目标对象是违章停车；如果所跟踪多个目标对象在一定时间内没有运动且在一个或者一个以上车道上一个时间段中的车队拥堵检测为畅通情况一般以上就认为有可能发生交通事故，接着随着时间推移一个或者一个以上车道上一个时间段中的车队拥堵情况急剧恶化，车队拥堵情况变化的斜率超过一定的阈值说明发生交通事故概率增大。

本发明的全方位的视觉传感器的工作原理是：ODVS摄像装置的光学部分的制造技术方案，ODVS摄像装置主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构成是由聚光透镜以及CCD构成的摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部，圆筒体的上部固定有一个向下的大曲率的折反射镜，在折反射镜和聚光透镜之间有一根直径逐渐变小的圆锥状体，该圆锥状体固定在折反射镜的中部，圆锥状体的目的是为了防止过剩的光射入而导致在圆筒体内部的光饱和现象。图2是表示本发明的全方位的视觉传感器的光学系统的原理图。

折反射全景成像系统能用针孔成像模型进行成像分析，但要获得透视全景图像必须对采集的实景图像逆投影，因而计算量大，特别是用在对高速行驶的车辆进行监控，必须满足实时性的要求。

场景中物点的水平坐标与相应像点的坐标成线性关系就能确保水平场景无畸变，作为隧道安全监控的全方位视觉装置安装在隧道顶部，监视着隧道中水平方向上的车况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。

设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算系统外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

如图1所示，摄像头的投影中心C在道路水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。本发明中以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。水平场景无畸变要求场景物点的水平坐标与相应像点的坐标成线性关系；

 d(ρ)＝αρ         (1)

式(1)中ρ是与反射镜的面形中心点的距离，α为成像系统的放大率。

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ。则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(2\right)$

$\mathrm{tg\&gamma;}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(3\right)$

$\mathrm{tg}\left(2\mathrm{\&gamma;}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(4\right)$

由反射定律

2γ＝φ-θ

∴ $\mathrm{tg}\left(2\mathrm{\&gamma;}\right)=\mathrm{tg}(\mathrm{\&phi;}-\mathrm{\&theta;})=\frac{\mathrm{tg\&phi;}-\mathrm{tg\&theta;}}{1+\mathrm{tg\&phi;tg\&theta;}}---\left(6\right)$

由式(2)、(4)、(5)和(6)得到微分方程(7)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(7\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(8\right)$

由式(7)得到微分方程(9)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(9\right)$

由式(1)、(5)得到式(10)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(10\right)$

由式(8)、(9)、(10)和初始条件，解微分方程可以得到反射镜面形的数字解。系统外形尺寸主要指反射镜离摄像头的距离Ho和反射镜的口径D。折反射全景系统设计时根据应用要求选择合适的摄像头，标定出Rmin，透镜的焦距f确定反射镜离摄像头的距离Ho，由(1)式计算出反射镜的口径Do。

系统参数的确定：

根据应用所要求的高度方向的视场确定系统参数af。由式(1)、(2)和(5)得到式(11)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\&phi;}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\&rho;}}{f}}{z_0-h}---\left(11\right)$

在像平面以像中心点为圆心的最大圆周处 $\mathrm{\&rho;}=R\min \&RightArrow;{\mathrm{\&omega;}}_{\max }=\frac{R_{\min }}{f}$

对应的视场为фmax。则可以得到式(12)；

$\frac{\mathrm{\&rho;}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\&phi;}}_{\max }}{{\mathrm{\&omega;}}_{\max }}+z_0---\left(12\right)$

成像模拟采用与实际光线相反的方向进行。设光源在摄像头投影中心，在像平面内等间距的选取像素点，通过这些像素点的光线，经反射镜反射后与水平面相交，若交点是等间距的，则说明反射镜具有水平场景无畸变的性质。成像模拟一方面可以评价反射镜的成像性质，另一方面可以准确地计算出反射镜的口径和厚度。

进一步说明本发明在实时全方位图像采集实施过程中涉及到标定与识别这2个关键问题：

(1)如何标定全方位视觉传感器的成像平面内的像素距离与实际三维空间距离的对应关系。因为全方位视觉摄像机成像平面是二维的，以像素为计量单位，在成像平面上，观察到车辆通过标定的一段距离时，只能知道其像素距离；而实际车辆通过的距离是未知的，只有找到两者的对应关系，才能根据车辆在图像中移动的距离计算出车辆实际的移动距离。

(2)全方位视觉摄像机视场内通行车辆的识别算法。当车辆经过虚拟检测线时，系统应该如何去辨识并记录车辆通过的时间。

全方位视觉摄像机视场距离的标定涉及成像几何的理论，将客观世界的三维场景投射到摄像机的二维象平面，需要建立摄像机的模型来描述。通过确定摄像机的物理参数和方位参数，才能把象平面的度量确定下来，从而计算车辆通过的实际距离。

成像变换涉及不同坐标系之间的变换。在摄像机的成像系统中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系x^y^z^；(3)像平面坐标系，在摄像机内所形成的像平面坐标系x*y*o*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像系统的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为物高，ρ为像高，t为物距，F为像距(等效焦距)。可以得到式(13)

$d=\frac{t}{F}\mathrm{\&rho;}---\left(13\right)$

在上述水平场景无的折反射全方位成像系统的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(1)表示；比较式(13)，(1)，可以看出水平场景无变形的折反射全方位成像系统对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像系统视为透视相机，α为成像系统的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(13)，(1)式可以得到式(14)；

$\mathrm{\&alpha;}=\frac{t}{F};t=h---\left(14\right)$

由式(12)、(14)得到式(15)

$F=\frac{\mathrm{fh}{\mathrm{\&omega;}}_{\max }}{(z_0-h)\mathrm{tg}{\mathrm{\&phi;}}_{\max }+z_0{\mathrm{\&omega;}}_{\max 0}}---\left(15\right)$

根据上述全方位摄像机成像模型进行系统成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心5m的水平道路面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将隧道水平面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(16)给出；

$M=O_m-\frac{x^{*}}{S_x};N=O_n-\frac{y^{*}}{S_y};---\left(16\right)$

式中：Om、On分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；Sx、Sy分别为在x和y方向上的尺度因子。Sx、Sy的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到Sx、Sy的数值，单位是(pixel)；Om、On。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

从图像视频监控这个角度来讲，运动目标检测与跟踪处于整个智能隧道安全监控装置的最底层，是各种后续高级处理如检测交通信息和检测交通事件信息以及隧道中车辆起火等的基础。运动目标检测是指从视频流中实时提取目标，而运动目标跟踪则指对目标进行连续的跟踪以确定其运动轨迹。由于本发明中的全方位视觉传感器是安装在隧道的顶部，因此可以作为静止摄像机的情况来检测前景点，背景模型采用Stauffer等学者提出的自适应混合高斯模型，其运动运动目标检测与跟踪处理流程如图6所示，在该流程中先进行背景模型的建立与更新、通过背景消减得到前景点集，然后进行目标分割，在分割出目标区域后，可以提取前景目标的静态特征，包括外接矩形大小、面积、长宽比、中值点位置、颜色投影直方图等；接着要进行运动目标跟踪，运动目标跟踪的目的是确定各运动目标的运动轨迹，有了车的运动轨迹，就能计算出1)车流量；2)瞬时速度、时间平均速度、空间平均速度；3)时间占有率、空间占有率；4)车头时距；5)车辆长度分类；6)车队长度。也能计算出1)车队拥堵；2)逆行；3)超速；4)越线；5)交通事故。求运动轨迹的关键是在检测所得的静态前景目标和受跟踪的动态运动目标之间建立对应关系，这种对应关系的建立可以通过目标特征匹配来实现的。常用的匹配特征有目标的位置、大小以及形状和颜色等，本发明中采用二阶Kalman滤波器作为目标的运动模型，预测运动目标的位置。在对预测后的运动目标和前景目标进行匹配时，利用图像块匹配来精确定位目标的位置。

道路上的火灾发生一般都具有如下规律，先从车辆上起火，起火的原因可能是车辆上电器发生短路、过长时间的超载驾驶与其他物体的相撞或者相剧烈摩擦等自身原因所造成的，也可能是车辆发生追尾等它身原因所造成的；在发生隧道火灾时造成火灾的规模大小与发生车辆的大小多少以及装载的物品有关，一般来说车辆的外形尺寸越大、聚集的车辆数越多，车辆上所携带的可燃物就越多对隧道造成的危害可能性就越大，因此在本专利中引入一个评价隧道火灾危害度指标，从上述计算所得的连通总面积大小来衡量隧道火灾发生时的危害程度，连通总面积与火灾发生时的危害程度成正比关系，由式(21)表示：

F_area-risk＝K_area*TArea             (21)

式中：TArea为全方位视觉内的连通总面积，K_area为燃烧物面积比例系数，F_area-risk为火灾发生时的危害程度；

对于隧道这种狭长受限空间，火灾现象有其自身特点，在火灾的前期，随着燃烧的进行，火烟羽流温度升高，从而受到浮力的作用，获得较大的浮升动能，在到达隧道拱顶时，由于与顶棚的碰撞，使高温烟气的部分浮升动能转变成水平流动的动能，在大部分烟气朝下游流动的同时，有一小部分烟气会产生回流流动的趋势，火区上游来流风量不足以克服烟气的回流趋势时，就会出现烟气回流现象。从三维空间来讲，热驱动作用引发火灾烟流在隧道的横断面内的涡流运动，强制通风迫使烟流的纵向运动，这两种运动的结合构成了隧道火灾咽气总体流动和分布状况。因此隧道发生火灾从视觉的角度来说，是先从一个点(车辆)上开始，接着发展成在整个横断面内上，然后向隧道的纵向蔓延。把握这个隧道火灾的视觉规律有助于用计算机来判断隧道火灾的发生，并有助于区分火灾的早、中、晚期，对隧道火灾防治的意义十分重大。本发明中将只检测到一个点(车辆)上有烟气或者有火焰认定为火灾的早期，将检测到整个横断面上有烟气或者有火焰认定为火灾的中期，隧道的纵向K米以上为火灾的发展期。

在早期火灾阶段，由于火焰从车辆上开始、从无到有，有一个发生发展的过程。这个阶段火焰的图像特征非常明显，由于早期火灾火焰是非定常的，不同时刻火焰的形状、面积、辐射强度等等都在变化，且对停止的车辆起火时其烟气发生在车辆的上方，行驶中的车辆起火时烟气发生在车辆的上、后方。抓住隧道火灾的这些特点可以为隧道火灾的早期识别打下良好的基础。与上述监测隧道中的车辆情况一样，火灾探测中的图像处理也是动态图像的连续处理；对图像上的每个跟踪目标，根据上述所使用的目标跟踪算法来确定它们同前一帧中目标的匹配关系，以下是本发明的图像型火灾探测方法中所用到的图像信息：

1)面积变化：早期火灾是在车辆上着火后火灾不断发展的过程。在这个阶段，起火的车辆的烟气或者火焰从车辆的边缘部位向上蔓延，其面积呈现连续的、扩展性的增加趋势。

2)边缘变化：隧道早期火灾火焰的边缘变化有一定的规律，并从车辆边缘开始产生烟气或者火焰。利用这些特征量在早期火灾阶段的变化规律进行火灾判别。

3)形体变化：早期火灾火焰的形体变化反映了火焰在空间分布的变化。在隧道早期火灾阶段，火焰的形状变化、空间取向变化、火焰的抖动以及火焰的流动等，具有自己独特的变化规律，主要特征为从点发展为横断面上，然后烟气再向隧道的纵向方向扩展。在图像处理中，形体变化特性是通过计算火焰的空间分布特性，即像素点之间的位置关系来实现的。

4)分层变化：火焰内部的温度是不均匀的，并且表现出一定的规律。火灾中的燃烧属于扩散燃烧，扩散燃烧火焰都有明显的分层特性，如蜡烛火焰可分为焰心、内焰、外焰三层；从视觉的角度考虑隧道中的车辆发生燃烧时的内焰部位往往出现在车辆边缘部位，其上部伴随着大量的烟气。

5)整体移动：早期火灾火焰是不断发展的火焰，随着旧的燃烧物燃尽和新的燃烧物被点燃，如果火灾是由于车辆追尾、车辆装载着的一些液体燃烧物泄漏起火等原因造成的，那么火焰就会不断移动位置。这种情况的出现将会对隧道很大的破坏。

本发明的有益效果主要表现在：1、能够实现全方位实时安全监控，及时捕捉行驶中的车辆发生火灾的早期特征，以便采取及时灭火措施将灾情所造成的损失控制在最小范围内；及时发现在隧道的各种交通事故，对计算所获得的车流量、车道占有率、车辆分类、车速等交通数据进行分析，通过控制车流量等方式从而能减少交通事故的发生；2、检测范围广，能对方位在200米直径以内的车辆进行跟踪检测，所检测的车道数基本不受限制；3、安装维护无干扰，由于视频检测器往往是安装在隧道顶上，因此安装及维护不需要关闭车道，也不需要开挖、破坏路面；4、维护方便低耗，传统的感应线圈检测器在损坏时，需要开挖路面进行维护，而视频检测设备发生问题时，可直接摘除或修理设备，不需要关闭车道或开挖路面，减少了维护费用；5、检测参数丰富，不但能检测隧道火灾以及交通事故，还能够检测交通流量、速度、密度、占有率等基本交通参数，而且还能检测排队、逆行、停车、行程时间、延误、散落物、事件、拥挤等，这是一般的感应线圈检测器无法比拟的；6、可视性，能够将全方位的实时图像传给交通管理者，实现监视的职能；7、检测可靠性高，能够全天候工作，不受雨、雪等恶劣天气的影响；8、检测准确度高，大部分参数检测的精度在90％以上；9、具有良好的先进性、可扩展性、可持续发展性，视频检测技术是智能交通系统的关键技术之一，其本身就能单独成为一个系统，通过网络能够与先进的车辆信息系统、先进的交通信息诱导系统、先进的公交信息系统等智能交通模块衔接，实现更多的功能。

(四)附图说明

图1为三维立体空间反射到全方位视觉平面成像示意图；

图2为全方位视觉传感器的硬件组成示意图；

图3为全方位视觉装置与一般的透视成像模型等价的透视投影成像模型示意图；

图4为全方位视觉装置在水平方向上图像无形变模拟示意图；

图5为在垂直于隧道的车道方向的剖面上，全方位视觉传感器的安装位置及在垂直方向上视觉范围；

图6为在平行于隧道的车道方向的剖面上，全方位视觉传感器的安装位置及在垂直方向上视觉范围；

图7为全方位视觉传感器中图像处理的流程图。

图8为全方位视觉装置中计算隧道安全等方面的流程图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照附图1、2、3、4、5、6、7、8，一种基于全方位计算机视觉的智能隧道安全监控装置，包括微处理器6、用于监视隧道现场的视频传感器13、用于与外界通信的通信模块，所述的微处理器6包括：

图像数据读取模块16，用于读取从视频传感器传过来的视频图像信息；该模块可以集成图像预处理模块，对视频流图像进行预处理；

文件存储模块18，用于将视频传感器采集的数据存储到存储器中；

现场实时播放模块20，用于连接外部的显示设备，将监视现场画面实时播放；

所述的视频传感器13的输出通过USB接口14与微处理器6通信连接，

所述的视频传感器是13全方位视觉传感器，所述的视觉传感器包括用以反射监控领域中物体的外凸折反射镜面1、用以防止光折射和光饱和的黑色圆锥体2、透明圆柱体3、摄像头，所述的外凸折反射镜面1位于透明圆柱体3的上方，外凸折反射镜面1朝下，黑色圆锥体2固定在折反射镜面1外凸部的中心，摄像头对着外凸反射镜面朝上，所述的摄像头位于外凸反射镜面1的虚焦点位置，摄像头包括CCD单元5和镜头4；所述的微处理器还包括：

传感器标定模17块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块19，用于将采集的圆形视频图像展开为全景柱状图，根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(1)所示：

P^**(x^**，y^**)← M× P^*(x^*，y^*)           (1)

上式中， M是映射矩阵， P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵；

图像展开处理模块的输出连接网络传输模块22，将视频数据传输到网络上；并通过实时播放模块20在显示器21上显示；

虚拟检测触发器动作检测模块23，用于检测虚拟触发器是否动作，判断是否有新的车辆；

颜色模型转换模块25，用于将彩色图像中的每一个像素点的颜色从RGB颜色空间转换到(Cr，Cb)空间颜色模型；

对于已启动的各个线程24，可以通过基于灰度直方图的车辆判断模块29或者基于YUV模型的车辆判断模块进行判断；

如果有新的线程，启动一个新线程26，进行车辆、车速等判断，并在保存模块27中开辟新的内存来记录区域所有像素的颜色并记录车辆边缘的当前位置；

运动对象检测模块30，用于从视频流中实时提取目标，对每个图像点采用多个自适应混合高斯模型表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k

各高斯分布分别具有不同的权值ω_t，j( $\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}=1$ 和优先级p_t，j＝ω_t，i/σ_i，j，其中σ_i，j是各高斯分布的方差；

各个高斯分布优先级从高到低的次序排序，取定背景权值部分和阈值M，只有满足 $B={\min }_b\underset{1}{\overset{b}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_j>M,$ 前若干个分布才被认为是背景分布，其它则是前景分布；

在检测前景点时，按照优先级次序将Y_t与各高斯分布逐一匹配，若没有表示背景分布的高斯分布与Y_t匹配，则判定该点为前景点；否则为背景点；

若检测时没有找到任何高斯分布与Y_t匹配，则将优先级最小的一个高斯分布去除，并根据Y_t引入一个新的高斯分布，并赋予较小的权值和较大的方差，对所有高斯分布重新进行权值归一化处理；若第μ个高斯分布与Y_t匹配，则对第i个高斯分布的权值更新公式如下，

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&alpha;}){\mathrm{\&omega;}}_{t,i}+\mathrm{\&alpha;}*{\mathrm{\&omega;}}_{t+1,i}\\ {\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&alpha;}){\mathrm{\&omega;}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中α是表示背景更新快慢的常数-权值更新率，式(17)表明只有与Y_t相匹配的高斯分布的权值才得到提高，其它分布的权值都被降低；另外，相匹配的高斯分布的参数也按照式(18)、(19)进行更新；

μ_t，i＝(1-α)μ_t，i+αY_t                      (18)

σ_t，i ²＝(1-α)σ_t，i ²+α(Y_t-μ_t，i)²          (19)

式中，μ_t，k为第K个高斯的亮度期望，σ_t，k为第K个高斯的亮度方差；

在更新完高斯分布的参数和各分布权值后，还要对各个分布重新计算优先级和排序，并确定背景分布的数目；

对背景点、静止前景点、运动前景点的更新率进行区别对待，对式(17)中的权值更新率更改为β，有区别与高斯分布参数的更新率α，更改后的权值更新公式由式(20)给出：

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&beta;}){\mathrm{\&omega;}}_{t,i}+\mathrm{\&beta;}*{\mathrm{\&omega;}}_{t+1,i}\\ {\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&beta;}){\mathrm{\&omega;}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(20\right);$

运动目标分割模块31，用于根据空间连续性采用连通区域检测算法来分割目标，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

在所述的运动目标分割模块中分割出目标区域后，提取前景目标的静态特征，其中包括外接矩形大小、面积、长宽比、中值点位置、颜色投影直方图；

目标跟踪模块32，用于采用二阶Kalman滤波器作为目标的运动模型，预测运动目标的位置，在对预测后的运动目标和前景目标进行匹配时，利用图像块匹配来精确定位目标的位置，建立静态前景目标和受跟踪的动态运动目标之间的对应关系。

车辆安全监控或火灾监控结束后，启动结束线程33结束整个监控过程。

本发明的基于全方位计算机视觉的智能隧道安全监控装置主要由三个子系统构成，分别为图像型火灾报警子系统、图像型交通数据测量子系统以及图像型交通事故检测子系统；在这三个子系统中图像的获取以及图像的底层处理都是相同的，如附图7所示，即在提取出前景目标以及运动目标后再加入各自不同的算法，分别实现对隧道火灾的检测、交通数据的检测以及交通事故的检测；

图像的获取是通过安装在隧道顶部中央的全方位视觉传感器得到在隧道中一定方圆范围内的动态视频图像，所述的一定方圆范围是与全方位视觉传感器的折发射镜面设计有关，设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算系统外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

视频图像底层处理，是根据全方位视觉传感器获取了全方位视觉图像后为了要实现运动目标的跟踪以及后续高层处理所必要的图像预处理，如附图7所示，通过图像预处理能够从全方位视觉图像中分割出前景图像，在该流程中先进行背景模型的建立与更新、通过背景消减得到前景点集，然后进行目标分割，在分割出目标区域后，可以提取前景目标的静态特征，包括外接矩形大小、面积、长宽比、中值点位置、颜色投影直方图等；本发明中对背景模型的建立与更新采用的是自适应混合高斯模型。

运动对象检测模块，用于从视频流中实时提取目标，对每个图像点采用多个自适应混合高斯模型表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k

各高斯分布分别具有不同的权值ω_t，j( $\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}=1$ 和优先级p_t，j＝ω_t，i/σ_i，j，其中σ_i，j是各高斯分布的方差；

它们按照优先级从高到低的次序排序，取定适当的背景权值部分和阈值，只有满足 $B={\min }_b\underset{1}{\overset{b}{\mathrm{\&Sigma;}}}\mathrm{\&omega;}>M$ 前若干个分布才被认为是背景分布，其中M是一个预先设定的阈值在此阈值之内的，其它则是前景分布；在检测前景点时，按照优先级次序将Y_t与各高斯分布逐一匹配，若没有表示背景分布的高斯分布与Y_t匹配，则判定该点为前景点，否则为背景点。多高斯分布背景模型的更新较为复杂。因为它不但要更新高斯分布自身的参数，还要更新各分布的权重、优先级等。若检测时没有找到任何高斯分布与Y_t匹配，则将优先级最小的一个高斯分布去除，并根据Y_t引入一个新的高斯分布，并赋予较小的权值和较大的方差，然后对所有高斯分布重新进行权值归一化处理。若第μ个高斯分布与Y_t匹配，则对第i个高斯分布的权值更新公式如下，

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&alpha;}){\mathrm{\&omega;}}_{t,i}+\mathrm{\&alpha;}*{\mathrm{\&omega;}}_{t+1,i}\\ {\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&alpha;}){\mathrm{\&omega;}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中α是表示背景更新快慢的常数-权值更新率，式(17)表明只有与x_t相匹配的高斯分布的权值才得到提高，其它分布的权值都被降低。另外相匹配的高斯分布的参数也按照式(18)、(19)进行更新；在更新完高斯分布的参数和各分布权值后，还要对各个分布重新计算优先级和排序，并确定背景分布的数目。

μ_t，i＝(1-α)μ_t，i+αY_t                 (18)

σ_t，i ²＝(1-α)σ_t，i ²+α(Y_t-μ_t，i)²     (19)

式中，μ_t，k为第K个高斯的亮度期望，σ_t，k为第K个高斯的亮度方差，

背景模型的更新策略是本发明中背景模型实现中最关键的技术，在模型更新时注意如下两条原则：1)背景模型对背景变化的响应速度要足够快，背景的变化可能是由光照变化等因素引起的背景本身颜色的变化，也可能是背景区域的变化，背景模型必须迅速跟上实际背景的变化；2)背景模型对运动目标要有较强的抗干扰能力，背景模型的更新过程中背景模型的每个点都受到了一个颜色序列的训练，所述的训练是针对静止背景而不是运动目标；要满足上述两条原则本发明的做法是将背景模型更新与后面的跟踪结果相结合，赋予背景点和静止的前景点(静止目标)较大的更新率，而赋予运动的前景点(运动目标)较小的更新率；这种做法实际上是用运动目标跟踪的结果来指导更新，达到在保护背景模型不受运动目标影响的同时迅速响应背景的变化的目的。

为了满足上述两条原则，本发明中采用了多高斯分布的背景模型，由于在多个高斯分布的背景模型中判定前景、背景并不单单依赖于某个高斯分布，更依赖于各个分布的权值和优先级；另外采用了各个分布的权值和优先级更新策略，只有相匹配的高斯分布的高斯参数才得到更新。这种做法受运动物体的干扰也不是那么严重，但是依然存在一些不足，比如没有对静止目标的情况作特别处理，也没有考虑到对背景变化的响应速度比较慢的运动目标仍然容易带来空洞，为此在本发明中对背景点、静止前景点、运动前景点的更新率进行区别对待，对式(17)中的权值更新率更改为β，有区别与高斯分布参数的更新率α，更改后的权值更新公式由式(20)给出，

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&beta;}){\mathrm{\&omega;}}_{t,i}+\mathrm{\&beta;}*{\mathrm{\&omega;}}_{t+1,i}\\ {\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&beta;}){\mathrm{\&omega;}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(20\right)$

运动目标分割是根据空间连续性采用连通区域检测算法来分割目标，但是连通区域分割受初始数据中的噪声影响很大，一般需要先进行去噪处理，去噪处理可以通过形态学运算实现，本发明中利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，具体做法是：先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果。因此，有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}，通过这种目标分割算法既能保持目标的完整性同时也避免了噪声前景点的影响，还保留了目标的边缘细节部分。在上述的运动目标分割中分割出目标区域后就可以提取前景目标的静态特征，其中包括外接矩形大小、面积、长宽比、中值点位置、颜色投影直方图等，这些特征是以下识别车辆以及车辆是否发生火灾所必须的信息。

要检测隧道中交通信息以及交通事件需要对上述所得到的前景目标进行跟踪，从而确定各运动目标的运动轨迹，这里关键点是在检测所得的静态前景目标和受跟踪的动态运动目标(车辆)之间建立对应关系。这种对应关系的建立可以通过目标特征匹配来实现，目前常用的匹配特征有目标的位置、大小、以及形状和颜色等，在本发明中采用二阶Kalman滤波器作为目标的运动模型来预测运动目标的位置。在对预测后的运动目标和前景目标进行匹配时，利用图像块匹配来精确定位目标的位置。然而在隧道中运行中的车辆从视觉角度来看会出现相互遮挡，因此有必要将运动目标和前景目标间的对应关系分为几类来进行分别处理。由于全方位视觉传感器是安装在隧道的顶部，从视觉角度来讲不会发生复杂遮挡问题，因此在本发明中将这种对应关系分为以下5类；1)运动目标出现(从0到1)：一个新运动目标开始出现，初始化该运动目标，设定初始目标权值，并将合并/分离标志设置为0；2)运动目标消失(从1到0)：一个运动目标正在消失，用该预测目标进行更新，降低该目标的权值，并将合并/分离标志设置为0；3)运动目标理想跟踪(从1到1)：没有发生遮挡的正常跟踪，用相应的前景目标更新该运动目标，并根据其速度判断它是处于运动还是静止状态，并将合并/分离标志设置为0；4)运动目标合并(从n到1)：多个目标相互间出现遮挡的情形，将各运动目标的合并/分离标志增1，如果这些目标速度相近且合并/分离标志大于K2，则将它们合并成一个大运动目标，由该前景目标初始化一新运动目标，并继承原先众运动目标的动态特征；否则各目标仍用各自经修正的预测结果进行更新；5)运动目标分离(从1到n)：与合并相反的过程，将各运动目标的合并/分离标志减1，如果合并/分离标志小于K1，将该运动目标分为多个小运动目标，由这些前景目标初始化多个运动目标，并继承原目标的动态特征；否则将这些前景目标合并成一个大前景目标并以之更新该运动目标。

上述的目标权值主要用来表示运动目标的可靠性，隧道地面上的一些小纸片、塑料袋等丢弃物都有可能成为被跟踪的运动目标，本发明主要检测的是在隧道中的车辆，从外观上来讲车辆的外接矩形大小具有一定的规律性，因此可以将跟踪的运动目标用量化的方式表示其可靠性，从高到低将运动目标分为1)可见目标-表示可靠的运动目标且外接矩形大小、面积、长宽比基本符合车辆类型的范围，参加目标匹配；2)活动目标-不可靠的运动目标，这些目标虽然能运动但是从外接矩形大小、面积、长宽比不符合最小车辆的条件，但也参加目标匹配；3)静止不活动目标-目标的外接矩形大小、面积、长宽比基本符合车辆类型的范围，从原先的可见目标转变成静止不活动目标且在该非活动目标前面没有其他运动目标，可以考虑该静止不活动目标(车辆)出现故障；另一种情况是突然有静止不活动目标出现，可以考虑为前面的可见目标(车辆)上丢失的物品。因此从隧道安全性角度来说，运动目标的可靠性越高隧道的安全性也越高，如果在隧道的路面上出现静止不活动目标或者不可靠的运动目标都会使得隧道安全风险增大。对于参加目标匹配运动目标只有当该运动目标连续几帧中出现才认为是可靠的，同样也要在连续几帧中消失才认为确实消失了。

火焰面积变化特征判断，是利用火焰面积的连续的、扩展性的增加趋势的规律，根据上述每个连通区域求出其面积Si的和来判断烟气火焰面积是否是在扩展性的增加，本专利中通过每帧图像的烟气火焰面积Si进行递推计算，求在下一帧图像的烟气火焰面积的递推值

计算公式由式(22)给出；

${\stackrel{\&OverBar;}{S}}_i^{t(i+1)}=(1-k)*{\stackrel{\&OverBar;}{S}}_i^{t\left(i\right)}+k*S_i---\left(22\right)$

式中，

是下一帧图像的烟气火焰面积的递推平均值， 是目前帧图像的烟气火焰面积的递推平均值，Si是目前帧烟气火焰面积的计算值，K为系数，小于1。本发明中用公式计算随时间显扩展性的增加趋势，

$\frac{{\stackrel{\&OverBar;}{S}}_i^{t(i+1)}+{\stackrel{\&OverBar;}{S}}_i^{t\left(i\right)}+{\stackrel{\&OverBar;}{S}}_i^{t(i-1)}}{3}>\frac{{\stackrel{\&OverBar;}{S}}_i^{t(i-2)}+{\stackrel{\&OverBar;}{S}}_i^{t(i-3)}+{\stackrel{\&OverBar;}{S}}_i^{t(i-4)}}{3}---\left(23\right)$

如果上述不等式(23)成立表示有增加趋势，反映了火焰面积在随时间显扩展性的增加趋势，将火焰面积扩展W_fire area量化值取为1，因此量化值为1表明火焰面积具有扩展性，0表示没有扩展性。

所述的分层变化特征判断，车辆火灾发生时往往会伴随着产生大量的黑色烟气，靠近车体部位又往往是靠近火焰的中心，在车体的上方是燃烧中产生的烟气，因此可利用YCrCb颜色空间对车辆起火时的焰心、内焰、外焰进行识别，

是否落在火焰图像在(Cr，Cb)空间的分布模型内，来作为判断火焰点的一个重要依据，计算公式由式(25)给出，

$W_{\mathrm{color}}=\exp \{-\frac{1}{2}[A*{(\mathrm{Cr}-\stackrel{\&OverBar;}{\mathrm{Cr}})}^2+2B*(\mathrm{Cr}-\stackrel{\&OverBar;}{\mathrm{Cr}})*(\mathrm{Cb}-\stackrel{\&OverBar;}{\mathrm{Cb}})+C*{(\mathrm{Cb}-\stackrel{\&OverBar;}{\mathrm{Cb}})}^2\left]\right\}---\left(25\right)$

式(25)中 Cr， Cb是火焰点Cr、Cb的样本标准均值，A、B、C分别是由样本标准差和均值计算出来的系数。

Cr＝144.6； Cb＝117.5；A＝3.7*10^-3；B＝4.1*10^-3；C＝4.5*10^-3

同样也可以得到不断上升中烟气的Cr、Cb的样本标准均值，A、B、C并用式(25)来判断是否是烟气。

边缘变化特征判断是依据隧道早期火灾具有非常明显的特征，由于不发生事故的车辆的外形边缘比较规则呈不变性，从全方位视觉传感器的视觉角度来看(本发明中采用的是水平场景无变形的折反射全方位设计)，隧道的顶视主要能检测到车辆的长与宽，因此车辆的外形边缘的长宽比是一个非常重要的特征参数，而车辆的外形边缘上的长宽都接近与直线，形状犹如矩形，所以在这里将车辆模型作为一个简单的矩形模型来处理；为此可以通过上述计算所得到的连通区域与一个与正好包容着该连通区域的矩形进行面积比较，用公式(26)来计算其比值大小；

Areaⁱ _rate表示T时刻的某个跟踪目标的面积比值率，该值越大表明所检测到的车辆越接近矩形，反之越小就表明该检测到的车辆越偏离矩形模型，同时这里引入面积比变化率来反映跟踪对象的边缘变化情况，如果连续K次所计算得到的面积比变化率有变小趋势或者小于一个阈值k_area，就认为有边缘变化，其判断关系式如(27)所示；

$\mathrm{Are}{a}_{\mathrm{rate}}^i>{\mathrm{Area}}_{\mathrm{rate}}^{i+1}>{\mathrm{Area}}_{\mathrm{rate}}^{i+2}\mathrm{or}\frac{{\mathrm{Area}}_{\mathrm{rate}}^{i+n}}{{\mathrm{Area}}_{\mathrm{rate}}^i}<k_{\mathrm{area}}--(n=\mathrm{1,2,3}....)---\left(27\right);$

形体变化特征判断主要是根据隧道火灾发生以及发展的规律，隧道中行驶的车辆都可以简化成一个矩形体，只有发生火灾时着火的车辆才会发生形体变化，变化成复杂的形体，因此可以用一个矩形与连通面积区越进行匹配比较，用式(26)进行匹配计算，匹配相似度越小表明形体变化越大而发生火灾的概率就越高，当形体发展成整个隧道横断面时就可以肯定已发生火灾；当形体向隧道的纵向发展时表明火灾已经蔓延。

整体移动特征判断能更加确定火灾蔓延，当分层变化特征判断中检测到多处存在着火焰点的情况时并存在着火焰移动轨迹，所述的火焰移动轨迹是与上述的车辆监测跟踪中同样的算法得到的。

在上述的五种火焰判断的基础上，接着进行综合判断以减少误判断率，同时能判断火灾的程度，加权综合判断计算在模块33中进行，综合判断公式由式(28)给出，综合判断中采用了加权方式，

W_fire alarm＝K_{fire pattern}×W_{rire pattern}+K_rire color×W_fire color+K_fire move×W_fire move+K_fire area×W_fire area+K_fire body×W_fire body

(28)

式中：

K_{fire pattern}为边缘变化特征的加权系数。

K_fire color为分层变化特征的加权系数。

K_fire move为整体移动特征的加权系数。

K_fire area为面积变化的加权系数。

K_rire body为形体变化的加权系数。

交通量判断，是指判断在单位时间内，通过道路某一地点、某一断面或某一条道路的车辆数，它与平均车速、车流密度统称为交通流三要素，其关系式用公式(29)表示，

Q＝V*K              (29)

其中，Q为交通流量，V为区间平均速度，K为车流密度。

平均车速可以用两种方法来计算，即时间平均车速和区间平均车速。时间平均车速是指在特定的时间、区间内，通过道路某一地点的所有车辆点速度的算术平均值。区间平均车速是指在特定的时间区间内，占据一定道路区间的所有车辆的速度平均值。

测量某车道上车辆的区间平均车速可以用上述方式来得到，首先在视频的检测范围内垂直于车道画两条相隔区间总长度为X的虚拟触发线，每辆车通过该车道的虚拟触发线时都会触发一个事件的发生，当车辆开始进入虚拟触发线启动对象跟踪，并给该对象附上一个开始时刻时间信息，当车辆进入下一条虚拟触发线时结束对象跟踪，同时给该对象附上一个结束时刻时间信息，然后再进行车型判断得到车型信息，最后得到的跟踪车辆将带有4种信息，即车道编号、开始时刻、结束时刻和车型，车道编号右行为双数，左行为单数，从左到右以增量方式自动编排；以人眼的模糊性来判断，车辆可大致分为小车，如轿车、面包车(小客车)；中车，如中巴(19座到40座)、货车(2.5吨到7.5吨)；大车，如大巴、货车(7.5吨到15吨)；特大型车，如货车(15吨到40吨)、拖挂车，这样的分类基本上能满足交通管理的需求，在本发明中将车型的分为以下5类2型，如下表所示；

类号	型号	类型
			E		摩托车
D	K	轿车、面包车
			H	工具车
	C	K			中巴
H			中型货车
		B		K	大巴
H	大型货车
			A		特大卡车

利用式(26)计算所得到的包容着该连通区域的矩形进行面积大小可以区分出特大、大、中、小车和摩托车，利用统计数据得到车辆类型集中的面积单因素隶属函数曲线，然后用一级分类器将大小车型识别出来，其关系式用公式(30)表示，

FirstClass＝{{特大车}(A)，{大车}(B)，{中车}(C)，{小车}(D)，{摩托车}(E)}(30)

上述的一级分类器区分出了特大、大、中、小车和摩托车，但对大车，是大巴还是货车无法判断；对中车和小车同样也存在这些判断问题；二级分类器就是要解决这个问题。客车与货车最大的特征区别是，客车的顶棚的直线比较规则且车辆外型长宽比在一定的范围内，而货车一般没有顶棚，从外观上来看边缘不平坦，因此利用统计数据得到车辆类型集中的长宽比单因素隶属函数曲线，并辅助边缘直线度检测将客车与货车识别出来，其关系式用公式(31)表示，

SecondClass＝{{客车}(K)，{货车}(H)}                   (31)

利用全方位视觉的一些特性，在某一个范围以外(本发明中将其称为远视角范围)可以捕获到运动物体的高度和幅度特征，而在某一个范围以内(本发明中将其称为近视角范围)可以捕获到运动物体的幅度和长度特征；因此可以在远视角情况获得车辆的高度与幅度的比，在近视角情况获得车辆的长度与幅度的比，只要知道幅度的值就能得到长度与高度的值。

这里约定所跟踪的对象由以下方式来表达，Object(RoadwayNo，StartTime，EndTime，CarType)，一旦进入所定的虚拟检测线时，启动产生一个新的对象，同时将车道编号RoadwayNo和开始时刻StartTime赋值给该对象，接着对该对象进行跟踪，当该对象接触到下一条虚拟检测线时，将结束时间EndTime赋值给该对象，并对车辆类别进行识别分类，计算所得到的车辆类型CarType赋值给该对象，接着就可以计算区间平均车速，计算公式由式(28)给出；

V_i＝(EndTime-StartTime)/X             (28)

式中：X为垂直于车道画两条虚拟线的相隔总长度， V_i为该对象的区间平均车速；有了某一个车道上某一个车辆的区间平均车速，通过公式(29)就能够得到某一个车道上车辆区间平均车速；

${\stackrel{\&OverBar;}{V}}_{\mathrm{RoadWayNo}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{V}}_i/n---\left(29\right)$

通过公式(30)也能够得到左右行车道上车辆区间平均车速；

V_Roadleft＝左车道上经过的车辆的平均车速/左车道上经过的车辆总数

V_Roadright＝右车道上经过的车辆的平均车速/右车道上经过的车辆总数

式(30)也可以通过式(29)的结果得到，也就是将所有奇数的车道车辆区间平均车速相加除上奇数车道数得到左行车道上车辆区间平均车速，同样将所有偶数的车道车辆区间平均车速相加除上偶数车道数得到右行车道上车辆区间平均车速。

所述的车道占有率分为空间占有率和时间占有率。空间占有率是在一瞬间测得已知检测路段上所有车辆占有的长度与路段长度之比，用Rs表示；

时间占有率是指在单位时间内，车辆通过某一断面的累计时间与单位测定时间的比值，用Rt表示，可以通过式(28)计算得到

$R_t=\frac{1}{\stackrel{\&OverBar;}{V_i}}*100\%---\left(32\right)$

车辆运行间保留一定的持续的间隙是非常必要的，适当的间隙是用来作为隧道的交通管制的依据，是防止车辆追尾的安全措施。所以交通密度就非常重要了，车道占有率可以用来描述密度。车道占有率越高，交通密度越大。

车队拥堵检测可以根据得到的速度信息加以判断，如将隧道的交通状况可以分为很畅通、畅通、一般、较拥挤、很拥挤、堵塞等几种情况，隧道中自由车速为70km/h，当通过上述计算所得到的平均车速为60～70km/h时，则可认为该隧道部分很畅通；50～60km/h时，则可认为畅通；40～50km/h时，可认为该路段较畅通；30～40km/h时，可认为该路段畅通情况一般；20～30km/h时，可认为该路段较拥挤；10～20km/h时，可认为该路段很拥挤；小于10km/h甚至为0，则可以认为该道路堵塞。

逆行与越线判断是根据每个检测到的跟踪对象的车道编号RoadwayNo，车辆逆行的发生有两种情况，一种情况是在视觉监控范围内改变行驶车道，比如本应该在向右行驶车道上的车辆改道在向左方向行驶车道上；另一种情况是进入视觉监控范围时就已经是逆向行驶；对于第一种情况可以通过检查跟踪车辆的车道编号RoadwayNo来确认是否存在逆行，判断的方法就是车道编号RoadwayNo与跟踪车辆所携带的车道编号RoadwayNo信息进行奇偶检验，如果一个是奇数而另一个是偶数那么就判定为是逆行；对于后一种逆向行驶判定主要根据一个没有携带的车道编号RoadwayNo信息目标对象触发了下一条虚拟检测线且该目标对象的运动轨迹是与道路行驶方向相反的。对于越线判断也是通过车道编号RoadwayNo上出现了跟踪车辆所携带的车道编号RoadwayNo信息不一致性来进行的。

交通事故、违章停车和超速判断，可以根据式(28)计算所得到的速度信息来进行检测，如果计算得到的平均速度超过隧道限速就可以认定为是超速；如果所跟踪目标对象在一定时间内没有运动且在该车道上一个时间段中的车队拥堵检测为畅通情况一般以上就认定为该跟踪目标对象是违章停车；如果所跟踪多个目标对象在一定时间内没有运动且在一个或者一个以上车道上一个时间段中的车队拥堵检测为畅通情况一般以上就认为有可能发生交通事故，接着随着时间推移一个或者一个以上车道上一个时间段中的车队拥堵情况急剧恶化，车队拥堵情况变化的斜率超过一定的阈值说明发生交通事故概率增大。

微处理器15是嵌入式系统，本发明中的实现算法是由Java语言实现的。

Claims (6)

1、一种基于全方位计算机视觉的智能隧道安全监控装置，所述的智能隧道安全监控装置包括微处理器、用于监视隧道现场的视频传感器、用于与外界通信的通信模块，所述的微处理器包括：

图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；

文件存储模块，用于将视频传感器采集的数据存储到存储器中；

现场实时播放模块，用于连接外部的显示设备，将监视现场画面实时播放；

所述的视频传感器的输出与微处理器通信连接，其特征在于：

所述的视频传感器是全方位视觉传感器，所述的视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在折反射镜面外凸部的中心，摄像头对着外凸反射镜面朝上，所述的摄像头位于外凸反射镜面的虚焦点位置；

所述的微处理器还包括：

传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；

图像展开处理模块，用于将采集的圆形视频图像展开为全景柱状图，根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，式(1)所示：

P^**(x^**，y^**)← M× P^*(x^*，y^*)          (1)

上式中， M是映射矩阵， P^*(x^*，y^*)是圆形全方位图像上的像素矩阵，P^**(x^**，y^**)是矩形柱状全景图上的像素矩阵；

颜色模型转换模块，用于将彩色图像中的每一个像素点的颜色从RGB颜色空间转换到(Cr，Cb)空间颜色模型；

运动对象检测模块，用于从视频流中实时提取目标，对每个图像点采用多个自适应混合高斯模型表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k

各高斯分布分别具有不同的权值 ${\mathrm{\&omega;}}_{t,j}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}=1$ 和优先级p_t，j＝ω_t，i/σ_i，j，其中σ_i，j是各高斯分布的方差；

各个高斯分布优先级从高到低的次序排序，取定背景权值部分和阈值M，只有满足 $B=\mathrm{mi}{n}_b\underset{1}{\overset{b}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_j>M,$ 前若干个分布才被认为是背景分布，其它则是前景分布；

在检测前景点时，按照优先级次序将Y_t与各高斯分布逐一匹配，若没有表示背景分布的高斯分布与Y_t匹配，则判定该点为前景点；否则为背景点；

若检测时没有找到任何高斯分布与Y_t匹配，则将优先级最小的一个高斯分布去除，并根据Y_t引入一个新的高斯分布，并赋予较小的权值和较大的方差，对所有高斯分布重新进行权值归一化处理；若第μ个高斯分布与Y_t匹配，则对第i个高斯分布的权值更新公式如下，

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&alpha;}){\mathrm{\&omega;}}_{t,i}+\mathrm{\&alpha;}*{\mathrm{\&omega;}}_{t+1,i}\\ {\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&alpha;}){\mathrm{\&omega;}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中α是表示背景更新快慢的常数—权值更新率，式(17)表明只有与Y_t相匹配的高斯分布的权值才得到提高，其它分布的权值都被降低；另外，相匹配的高斯分布的参数也按照式(18)、(19)进行更新；

μ_t，i＝(1-α)μ_t，i+αY_t  (18)

σ_t，i ²＝(1-α)σ_t，i ²+α(Y_t-μ_t，i)²  (19)

式中，μ_t，k为第K个高斯的亮度期望，σ_i，k为第K个高斯的亮度方差；

在更新完高斯分布的参数和各分布权值后，还要对各个分布重新计算优先级和排序，并确定背景分布的数目；

对背景点、静止前景点、运动前景点的更新率进行区别对待，对式(17)中的权值更新率更改为β，有区别与高斯分布参数的更新率α，更改后的权值更新公式由式(20)给出：

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&beta;}){\mathrm{\&omega;}}_{t,i}+\mathrm{\&beta;}*{\mathrm{\&omega;}}_{t+1,i}\\ {\mathrm{\&omega;}}_{t+1,i}=(1-\mathrm{\&beta;}){\mathrm{\&omega;}}_{t+1,i}\mathrm{otherwise}\end{array}\right.---\left(20\right);$

运动目标分割模块，用于根据空间连续性采用连通区域检测算法来分割目标，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

在所述的运动目标分割模块中分割出目标区域后，提取前景目标的静态特征，其中包括外接矩形大小、面积、长宽比、中值点位置、颜色投影直方图；

目标跟踪模块，用于采用二阶Kalman滤波器作为目标的运动模型，预测运动目标的位置，在对预测后的运动目标和前景目标进行匹配时，利用图像块匹配来精确定位目标的位置，建立静态前景目标和受跟踪的动态运动目标之间的对应关系。

2、如权利要求1所述的基于全方位计算机视觉的智能隧道安全监控装置，其特征在于：所述的微处理器还包括火灾判断模块，所述的火灾判断模块包括：

火焰面积变化特征判断单元，用于利用火焰面积的连续的、扩展性的增加趋势的规律，根据上述每个连通区域求出其面积Si的和来判断烟气火焰面积是否是在扩展性的增加，本专利中通过每帧图像的烟气火焰面积Si进行递推计算，求在下一帧图像的烟气火焰面积的递推值 计算公式由式(22)给出；

${\stackrel{\&OverBar;}{S_i}}^{t(i+1)}=(1-k)*{\stackrel{\&OverBar;}{S_i}}^{t\left(i\right)}+k*S_i---\left(22\right)$

式中，

是下一帧图像的烟气火焰面积的递推平均值，

是目前帧图像的烟气火焰面积的递推平均值，Si是目前帧烟气火焰面积的计算值，K为系数，小于1。本发明中用公式计算随时间显扩展性的增加趋势，

$\frac{{\stackrel{\&OverBar;}{S_i}}^{t(i+1)}+{\stackrel{\&OverBar;}{S_i}}^{t\left(i\right)}+{\stackrel{\&OverBar;}{S_i}}^{t(i-1)}}{3}>\frac{{\stackrel{\&OverBar;}{S_i}}^{t(i-2)}+{\stackrel{\&OverBar;}{S_i}}^{t(i-3)}+{\stackrel{\&OverBar;}{S_i}}^{t(i-4)}}{3}---\left(23\right)$

如果上述不等式(23)成立表示有增加趋势，反映了火焰面积在随时间显扩展性的增加趋势，将火焰面积扩展Wfire area量化值取为1，因此量化值为1表明火焰面积具有扩展性，0表示没有扩展性。

分层变化特征判断单元，用于根据车辆火灾发生时往往会伴随着产生大量的黑色烟气，靠近车体部位又往往是靠近火焰的中心，在车体的上方是燃烧中产生的烟气，因此可利用YCrCb颜色空间对车辆起火时的焰心、内焰、外焰进行识别，

从RGB颜色空间到YCrCb颜色空间的转换公式(24)给出，

Y＝0.29990*R+0.5870*G+0.1140*B    (24)

Cr＝0.5000*R-0.4187*G-0.0813*B+128

Cb＝-0.1787*R-0.3313*G+0.5000*B+128

然后根据火焰图像在(Cr，Cb)空间的分布模型，计算车体边缘部位的发光源是否落在火焰图像在(Cr，Cb)空间的分布模型内，来作为判断火焰点的一个重要依据，计算公式由式(25)给出，

$W_{\mathrm{color}}=\exp \{-\frac{1}{2}[A*{(\mathrm{Cr}-\stackrel{\&OverBar;}{\mathrm{Cr}})}^2+2B*(\mathrm{Cr}-\stackrel{\&OverBar;}{\mathrm{Cr}})*(\mathrm{Cb}-\stackrel{\&OverBar;}{\mathrm{Cb}})+C*{(\mathrm{Cb}-\stackrel{\&OverBar;}{C}b)}^2\left]\right\}---\left(25\right)$

式

(25)中 Cr， Cb是火焰点Cr、Cb的样本标准均值，A、B、C分别是由样本标准差和均值计算出来的系数；

Cr＝144.6； Cb＝117.5；A＝3.7*10^-3；B＝4.1*10^-3；C＝4.5*10^-3

同样也可以得到不断上升中烟气的Cr、Cb的样本标准均值，A、B、C并用式(25)来判断是否是烟气；

边缘变化特征判断模块，用于依据隧道早期火灾具有非常明显的特征，由于不发生事故的车辆的外形边缘比较规则呈不变性，从全方位视觉传感器的视觉角度来看，隧道的顶视主要能检测到车辆的长与宽，车辆模型作为一个简单的矩形模型来处理，通过上述计算所得到的连通区域与一个与正好包容着该连通区域的矩形进行面积比较，用公式(26)来计算其比值大小；

Areaⁱ _rate表示T时刻的某个跟踪目标的面积比值率，该值越大表明所检测到的车辆越接近矩形，反之越小就表明该检测到的车辆越偏离矩形模型，同时引入面积比变化率来反映跟踪对象的边缘变化情况，如果连续K次所计算得到的面积比变化率有变小趋势或者小于一个阈值k_area，就认为有边缘变化，其判断关系式如(27)所示：

${\mathrm{Area}}_{\mathrm{rate}}^i>\mathrm{Are}{a}_{\mathrm{rate}}^{i+1}>\mathrm{Are}{a}_{\mathrm{rate}}^{i+2}\mathrm{or}\frac{{\mathrm{Area}}_{\mathrm{rate}}^{i+n}}{{\mathrm{Area}}_{\mathrm{rate}}^i}<k_{\mathrm{area}}(n=\mathrm{1,2,3}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;)---\left(27\right);$

形体变化特征判断单元，用于根据隧道火灾发生以及发展的规律，隧道中行驶的车辆都可以简化成一个矩形体，只有发生火灾时着火的车辆才会发生形体变化，变化成复杂的形体，因此可以用一个矩形与连通面积区越进行匹配比较，用式(26)进行匹配计算，匹配相似度越小表明形体变化越大而发生火灾的概率就越高，当形体发展成整个隧道横断面时就可以肯定已发生火灾；当形体向隧道的纵向发展时表明火灾已经蔓延。

整体移动特征判断单元，用于判断当分层变化特征判断中检测到多处存在着火焰点的情况时并存在着火焰移动轨迹，W_fire move为1，否则为0；

综合判断单元，用于在上述的五种火焰判断的基础上，接着进行综合判断以减少误判断率，同时能判断火灾的程度，加权综合判断计算在模块33中进行，综合判断公式由式(28)给出，综合判断中采用了加权方式，W_fire alarm＝K_{fire pattern}×W_{fire pattern}+K_fire color×W_fire color+K_fire move×W_fire move+K_fire area×W_fire area+K_fire body×W_fire body(28)

式中：

K_{fire pattern}为边缘变化特征的加权系数。

K_fire color为分层变化特征的加权系数。

K_fire move为整体移动特征的加权系数。

K_fire area为面积变化的加权系数。

K_fire body为形体变化的加权系数。

3、如权利要求1或2所述的基于全方位计算机视觉的智能隧道安全监控装置，其特征在于：所述的微处理器还包括：

交通量判断模块，用于在单位时间内，计算通过道路某一地点、某一断面或某一条道路的车辆数，其关系式用公式(29)表示：

                Q＝V*K    (29)

其中，Q为交通流量，V为区间平均速度，K为车流密度。

平均车速计算模块，用于计算时间平均车速和区间平均车速，一旦进入所定的虚拟检测线时，启动产生一个新的对象，同时将车道编号RoadwayNo和开始时刻StartTime赋值给该对象，接着对该对象进行跟踪，当该对象接触到下一条虚拟检测线时，将结束时间EndTime赋值给该对象，计算区间平均车速，计算公式由式(28)给出；

         V_i＝(EndTime-StartTime)/X    (28)

式中：X为垂直于车道画两条虚拟线的相隔总长度， V_i为该对象的区间平均车速；有了某一个车道上某一个车辆的区间平均车速，通过公式(29)就能够得到某一个车道上车辆区间平均车速；

${\stackrel{\&OverBar;}{V}}_{\mathrm{RoadWayNo}}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{V}}_i/n---\left(29\right)$

车道占有率计算模块，用于计算车辆空间占有率和时间占有率。空间占有率是在一瞬间测得已知检测路段上所有车辆占有的长度与路段长度之比，用Rs表示；

时间占有率是指在单位时间内，车辆通过某一断面的累计时间与单位测定时间的比值，用Rt表示，可以通过式(28)计算得到

$R_t=\frac{1}{{\stackrel{\&OverBar;}{V}}_i}*100\%---\left(32\right).$

4、如权利要求3所述的基于全方位计算机视觉的智能隧道安全监控装置，其特征在于：所述的微处理器还包括：

车队拥堵检测模块，用于根据得到的速度信息加以判断，如将隧道的交通状况可以分为很畅通、畅通、一般、较拥挤、很拥挤、堵塞等几种情况，隧道中自由车速为70km/h，当通过上述计算所得到的平均车速为60～70km/h时，则可认为该隧道部分很畅通；50～60km/h时，则可认为畅通；40～50km/h时，可认为该路段较畅通；30～40km/h时，可认为该路段畅通情况一般；20～30km/h时，可认为该路段较拥挤；10～20km/h时，可认为该路段很拥挤；小于10km/h甚至为0，则可以认为该道路堵塞。

5、如权利要求3所述的基于全方位计算机视觉的智能隧道安全监控装置，其特征在于：所述的微处理器还包括：

逆行与越线判断模块，用于根据每个检测到的跟踪对象的车道编号RoadwayNo，通过检查跟踪车辆的车道编号RoadwayNo来确认是否存在逆行，判断的方法就是车道编号RoadwayNo与跟踪车辆所携带的车道编号RoadwayNo信息进行奇偶检验，如果一个是奇数而另一个是偶数那么就判定为是逆行；根据一个没有携带的车道编号RoadwayNo信息目标对象触发了下一条虚拟检测线且该目标对象的运动轨迹是与道路行驶方向相反的；如通过车道编号RoadwayNo上出现了跟踪车辆所携带的车道编号RoadwayNo信息不一致性，判定为车辆越线。

6、如权利要求3所述的基于全方位计算机视觉的智能隧道安全监控装置，其特征在于：所述的微处理器还包括：

交通事故、违章停车和超速判断模块，用于根据式(28)计算所得到的速度信息来进行检测，如果计算得到的平均速度超过隧道限速就可以认定为是超速；如果所跟踪目标对象在一定时间内没有运动且在该车道上一个时间段中的车队拥堵检测为畅通情况一般以上就认定为该跟踪目标对象是违章停车；如果所跟踪多个目标对象在一定时间内没有运动且在一个或者一个以上车道上一个时间段中的车队拥堵检测为畅通情况一般以上就认为有可能发生交通事故，接着随着时间推移一个或者一个以上车道上一个时间段中的车队拥堵情况急剧恶化，车队拥堵情况变化的斜率超过一定的阈值说明发生交通事故概率增大。

Images