CN100538723C - 多视觉传感器信息融合的内河船舶自动识别系统 - Google Patents

Abstract

一种多视觉传感器信息融合的内河船舶自动识别系统，包括监视航道的大范围监控视觉传感器、进行特写抓拍船体图像以及船名标志牌图像的快速球视觉传感器和用于船舶对象跟踪、图像识别以及内河交通状况统计的微处理器，大范围监控视觉传感器实现航道上的过往的船舶的多目标跟踪，船舶进入监控领域，系统自动产生一个事件并同时生成以该船舶ID号，控制快速球视觉传感器的转动与调焦并对准跟踪船舶进行特写抓拍，对特写图像进行轮廓检测估算出船舶船体露出水面的高度和载重量，同时船舶驾驶舱定位抓拍识别船名标志牌号。本发明通过多视觉传感融合以及计算机自动收集内河交通的基本数据，能进行有效的内河交通管理。

Description

多视觉传感器信息融合的内河船舶自动识别系统

技术领域

本发明属于船舶自动识别系统，尤其涉及多视觉传感器信息融合技术、多目标跟踪技术、图像定位抓拍技术、图像识别技术、船的吨位视频检测技术和数据库以及计算机网络技术在船舶自动识别的应用。

背景技术

船舶自动识别系统(AIS)即是一种新型的船用助航设备，同时也是一种船舶航行的监控管理系统中的关键技术。其功能及性能标准是由国际海事组织(IMO)、国际航标协会(IALA)、国际电联(ITU)等国际组织共同研究制定的。其主要目的是通过为船舶操纵人员提供更加精确、详细的航行环境信息，使之能够更好地监视和控制船舶航行，加强海上航行的安全性。国际海事组织(IMO)规定，2002年7月1日至2008年7月1日航行在国际航线300总吨以上的船舶和公约国航行于国内航线500总吨以上的船舶，分阶段执行配备船舶自动识别系统AIS(AutomaticIdentification System)设备。AIS的出现与和广泛应用，不仅提高了海上航行的安全系数，也为海上船舶交通流调查提供了一种崭新而又可靠的方法。目前用于船舶识别方面的技术主要有视觉观测、雷达观测、航空摄影和利用船载AIS播发的信息进行的静态与动态信息来识别等四种方法。

近年来也有一些学者采用RFID技术即无限射频识别技术在狭窄水道来识别船舶的身份，将RFID技术应用于船舶监控管理、船舶出入港管理、危险品船舶定位管理、船舶超载管理、稽征管理等一系列港航管理项目，但是RFID技术也有一定的局限性：1)每个船舶都需要配备一个RFID卡，增加了每艘船舶的使用成本；2)射频识别通信距离受到一定的限制，对于宽水域的航道来说实施非常困难；3)用于识别船舶身份的RFID卡都是属于长距离识别，必须采用有源的RFID卡，因此需要对RFID卡不断供电。

内河交通观测方法与海上交通观测方法有很多相同之处，由于前几年主管部门对内河交通管理上投入不大，信息化管理水平不高，造成了内河交通检测手段方面相对落后于海上交通检测的局面，随着国家对内河运输的重视以及内河运输在国民生产中的重要地位的显突，开发一种船舶自动识别系统的重要性得到了业内人士的普遍关注。

内河运输是综合运输网中重要的组成部分，特别是在重点大宗货物运输中具有不可替代的优势和作用。作为一种占地少、污染小、能耗小、运量大的运输方式。特别是在我国建筑业快速发展进程加快、地面交通资源日趋紧张和能源价格飞涨的情况下，内河运输的优势符合可持续发展对交通运输业的要求，并能积极促进航道疏浚整治，兼收航运、防洪、发电和灌溉等综合效益，促进流域经济的发展；其对国家的政治、军事及安全具有重要意义，在抢险救灾等紧急状态下能发挥特殊的作用；它的发展对可持续发展的方针实施有着重要的作用。

内河航运具有运价低、运量大、能耗低、投资省等优点，是我国、我省运输的一个重要组成部分。航道和船型的合理配合，是建设内河航运工程的一个重要方面。内河航运船舶吨位的准确统计，可以向有关部门提供完整、准确的决策依据。但是目前我国内河航运船舶吨位的测量统计主要是依靠人工观察、粗略估计的方法，效率低、统计的数据误差大、且存在疏漏现象。因此急需发展内河交通流信息的实时采集与处理以及航运船舶吨位的智能测量技术，实现自动化作业，以提高效率和统计数据的准确程度。从实质上来讲这是一个传感器测量与信息处理的问题。

2006年，中华人民共和国海事局提出了对全国小型船舶(200总吨以下)都必须使用统一的船名标志牌或船名灯箱的要求，这些规定为船名的自动识别提供了较好基础，目前在车辆牌照自动识别技术方面已经比较成熟，有些已经投入商业应用。在中华人民共和国海事局的海船舶[2006]594号文件中关于发布《小型船舶船名标志管理暂行办法》的通知中有相关的规定。

在现代信息处理及测量控制系统中，大都需要使用传感器作为获取信息的手段。视觉是人类观察世界和认知世界的重要手段。据统计，人类从外部世界获得的信息约有80％是由视觉获取的。这既表明视觉的信息量大，人类对视觉信息有较高的利用率，同时也体现了视觉功能的重要性。从这个意义上说，视觉不仅包含了光信号的感知，还包括对视觉信息的获取、传输、处理与理解的全过程。

当前，嵌入式计算、无线通信和传感器技术的迅速发展和结合，已使人们能几乎是无所不在地采集、传输和存储视频和音频的数据。这些海量的数据如果能得到及时和准确的分析和理解，将在内河航道监控领域发挥重要作用。目前我国的一些发达地区已在内河主要干道上安装了视频检测装置，但这些视频数据仅用来事后的确认，还缺乏深层次的分析应用。动态图像理解技术为大量的视频数据加工、分析提供了强大的技术支撑。特别是使用在内河航道交通流信息的实时采集、加工、分析乃至决策管理等方面将会显示出非常强的优势。

因此内河航道视频交通流信息的实时采集、加工、分析与各种智能化处理方法的实现，无论对内河的交通控制、交通管理、交通规划、航道网建设、执法管理，还是对未来内河航道智能交通系统功能的实现都具有重要的理论意义和实用价值。

发明内容

为了克服已有的内河船舶交通流视觉观测方法主要需要依靠人工24小时不停顿连续进行观测，观测方法估计值粗略、观测效率低、统计数据误差大、检测出现疏漏等不足，本发明提供一种通过多视觉传感融合以及计算机自动收集内河交通的基本数据，能进行有效的内河交通管理的多视觉传感器信息融合的内河船舶自动识别系统。

本发明解决其技术问题所采用的技术方案是：

一种多视觉传感器信息融合的内河船舶自动识别系统，包括监视航道的大范围监控视觉传感器、进行特写抓拍船体图像以及船名标志牌图像的快速球视觉传感器和用于船舶对象跟踪、图像识别以及内河交通状况统计的微处理器；所述的大范围监控视觉传感器、快速球视觉传感器与微处理器连接，所述的微处理器包括：图像显示单元，用于显示整个内河航道中的视频图像、跟踪船舶的整体图像以及跟踪船舶的驾驶舱图像；

大范围监控视觉传感器标定模块，用于建立空间的航道图像与所获得的视频图像的对应关系；

视频数据融合模块，用于控制快速球视觉传感器的转动与调焦，使得快速球视觉传感器能对准跟踪船舶进行特写抓拍；

虚拟线定制模块，用于定制在监控航道上的检测虚拟线，三条检测虚拟线间隔相等并垂直于航道，三条检测虚拟线在大范围监控视觉传感器的视场范围内，中间一条检测虚拟线与快速球视觉传感器的安装位置相交；

船舶进入检测虚拟线检测模块，用于如有船舶进入检测虚拟线，自动产生一个事件，每自动产生一个事件时调用相应的处理模块；

船舶ID号以及存放跟踪船舶图像文件夹的自动生成模块，用于对刚进入大范围监控视觉传感器的视场最外边的虚拟线的船舶进行命名，并同时生成一个以该船舶ID号命名的文件夹，用于存放该船舶的特写图像；

船舶整体图像定位抓拍模块，用于定位抓拍该船舶的整体的图像；

船舶轮廓检测模块，用于检测该船舶的边缘轮廓以及估算出该船舶船体露出水面的高度，采用最优的阶梯型边缘检测算法-即canny边缘检测算法对该船体的特写图像进行边缘检测，获得船体载重特征以及驾驶舱特征信息；

多目标跟踪模块，用于跟踪航道上的过往的船舶，在底层特征层将航道背景中把前景船舶的像素点提取出来，该跟踪模块包括：

自适应背景消减单元，用于实时分割动态目标，使用混合高斯分布模型来表征图像帧中每一个像素点的特征，当获得新的图像帧时，更新混合高斯分布模型，在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景，如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点；

连通区域标识单元，用于提取前景船舶对象，采用八连通区域提取算法，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

跟踪单元，用于利用船舶目标对象的颜色特征在视频图像中找到运动船舶目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪；

船舶驾驶舱定位抓拍模块，用于定位该船舶的悬挂船名标志牌或者灯箱的大致位置并对该位置进行抓拍船名标志牌号的图像，当被跟踪的船舶目标对象经过检测虚拟线时，计算机自动发出一系列指令控制快速球视觉传感器2转动到船舶目标对象所处的方位、对好焦距然后进行抓拍，抓拍的图像至少有三张，其中一张图像是正侧位，另外两张图像分别是左右斜视位；

船名标志牌号识别模块，用于识别过往船舶的船名标志牌号，该识别模块包括：

基于颜色模型的船名标志牌的定位单元，用于确定船名标志牌在船体的位置；采用基于均匀颜色空间的LUV颜色模型和边缘轮廓算法来定位船名标志牌；首先进行粗判断所抓拍的图像中是否有蓝色或者白色存在，如果存在着较为明显的蓝色部分或较为明显的白色部分，结合边缘轮廓算法来确定船名标志牌的位置；

船名标志牌的提取单元，用于将船名标志牌从船体中单独提取出来，采用颜色互补的关系提取船名标志牌；

船名标志牌的校正单元，用于将所提取船名标志牌图像矫正为正视图像，通过hough变换将直角坐标转换到参数坐标系，利用K均值直线拟合算法，检测船牌的两个角度，再利用“旋转+错切”变换的方法，即先对倾斜角度进行旋转作第一次矫正，再进行错切变化做第二次矫正，对变形角度进行拉伸变换，把整个牌照矫正成一个标准的正视牌照；

船名标志牌的字符分割单元，用于将矫正后的船名标志牌上的字符进行分割；采用模版匹配结合垂直与水平投影法对船名标志牌上的各字符进行分割；

字符识别单元，用于将分割后的各个船名标志牌的字符进行识别，首先要进行字符归一化处理，将字符归一化到统一的大小，对于汉字识别采用分类器的识别方法，将归一化处理后的汉字字符与标准汉字进行匹配来进行识别；对于英文字母、阿拉伯数字识别采用基于BP神经网络的识别方法；

船舶基本信息检索模块，用于以船名标志牌号为主键，在船舶基本信息表中查询船舶基本信息。

作为优选的一种方案：所述的大范围监控视觉传感器为广角视觉传感器，安装在内河航道的一侧。

或者是：所述的大范围监控视觉传感器为全方位视觉传感器，所述全方位视觉传感器安装在航道的中间，所述全方位视觉传感器包括用于反射航道领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上。

进一步，所述的微处理器还包括：船舶吃水深度以及吨位估算模块，用于估算出当前船舶的载重量，根据该船舶船体露出水面的高度以及存放在船舶基本数据库中的该船舶长、高、宽数据，推算出该船舶吃水深度，然后从该船的长度与宽度数据计算得到该船舶的估算载重量；估算公式为：船舶货物吃水深度＝船舶船舷总高度-船舶空仓时的吃水深度-船舶载货时船舷露在水面上的高度；排水量(公吨)＝长*宽*货物吃水深度*方模系数(立方米)/0.9756(海水)或1(淡水)(立方米)，排水量吨位作为估算船舶的载重吨位。

再进一步，所述的微处理器还包括：船舶速度检测单元，用于检测船舶的航行速度，当一艘船舶分别通过检测虚拟线I、II和III时，设定船舶ID为ShipID，初始跟踪位置为StartPosition，初始时间为StartTime，结束跟踪位置为EndPosition，结束时间为EndTime)，船舶ID是在船舶进入最外一条检测虚拟线时自动生成的，初始跟踪位置是进入最外一条检测虚拟线的位置，初始时间是进入最外一条检测虚拟线的系统时间，结束跟踪位置是离开监控领域刚碰到最外一条检测虚拟线的位置，结束时间是离开监控领域刚碰到最外一条检测虚拟线的时间，通过以下公式来计算船舶的航行速度：

$V\left(\mathrm{ShipID}\right)=\frac{\mathrm{EndPosition}-\mathrm{StartPosition}}{\mathrm{EndTime}-\mathrm{StartTime}}---\left(5\right).$

更进一步，所述的微处理器还包括：船舶上下行判断单元，用于判断船舶的航行方向，如果跟踪的船舶对象首先碰到的是检测虚拟线I定义为上行方向，如果跟踪的船舶对象首先碰到的是检测虚拟线III定义为下行方向。

所述的微处理器还包括：过往船舶记录生成模块，用于自动的生成一条过往船舶记录，从而内河交通量统计等作好数据准备，船舶记录包括：船舶ID、船名标志牌号、船长、船宽、船高、估算吨位、检测时间、船舶速度以及上下行方向。

所述的微处理器还包括：交通量统计模块，用于统计通过航道上某个点的小时交通量、日交通量、月平均交通量或年平均交通量；交通量是指在单位时间内通过某一水域的船舶数，交通量的大小直接反映出该水域船舶交通的繁忙程度；由于交通量是随时间变化的，所以采用小时交通量、日交通量、月平均交通量或年平均交通量来表示；

小时的交通量用公式(13)表示：

$\stackrel{\‾}{Q}{\left(i\right)}_{\mathrm{up}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\Σ}}}{Q}_{\mathrm{up}}---\left(13\right)$

$\stackrel{\‾}{Q}{\left(i\right)}_{\mathrm{down}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\Σ}}}{Q}_{\mathrm{down}}$

Q(i)＝Q(i)_up+Q(i)_down

式中：i为0～23之间的整数，，Q(i)_up为某i小时内上行的船舶数，Q(i)_down为某i小时内下行的船舶数，Q(i)为某i小时内上下行的船舶数；

日交通量用公式(14)表示：

$\stackrel{\‾}{Q}{\left(d\right)}_{\mathrm{up}}=\underset{i=0}{\overset{i=23}{\mathrm{\Σ}}}{Q\left(i\right)}_{\mathrm{up}}---\left(14\right)$

$\stackrel{\‾}{Q}{\left(d\right)}_{\mathrm{down}}=\underset{i=0}{\overset{i=23}{\mathrm{\Σ}}}{Q\left(i\right)}_{\mathrm{down}}$

Q(d)＝Q(d)_up+Q(d)_down

式中：Q(d)_up为某天内上行的船舶数，Q(d)_down为某天内下行的船舶数，Q(d)为某天内上下行的船舶数；

统计月平均交通量或年平均交通量只要将某个月、某年中的每天上下行的船舶数进行统计累加即可。

所述的微处理器还包括：载重吨位统计模块，用于统计通过航道上某个点的小时载重吨位、日载重吨位、月平均载重吨位或年平均载重吨位；统计出通过航道上某个点的小时载重吨位、日载重吨位、月平均日载重吨位或年平均载重吨位；

小时的载重吨位用公式(15)表示，

$\stackrel{\‾}{W}{\left(i\right)}_{\mathrm{up}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\Σ}}}{W}_{\mathrm{up}}---\left(15\right)$

$\stackrel{\‾}{W}{\left(i\right)}_{\mathrm{down}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\Σ}}}{W}_{\mathrm{down}}$

W(i)＝W(i)_up+W(i)_down

式中：i为0～23之间的整数，，W(i)_up为某i小时内上行的载重吨位总和，W(i)_down为某i小时内下行的载重吨位总和，W(i)为某i小时内上下行的载重吨位总和；

日载重吨位可以用公式(16)表示，

$\stackrel{\‾}{W}{\left(d\right)}_{\mathrm{up}}=\underset{i=0}{\overset{i=23}{\mathrm{\Σ}}}{W\left(i\right)}_{\mathrm{up}}---\left(16\right)$

$\stackrel{\‾}{W}{\left(d\right)}_{\mathrm{down}}=\underset{i=0}{\overset{i=23}{\mathrm{\Σ}}}{W\left(i\right)}_{\mathrm{down}}$

W(d)＝W(d)_up+W(d)_down

式中：W(d)_up为某天内上行的船舶载重吨位总和，W(d)_down为某天内下行的船舶载重吨位总和，W(d)为某天内上下行的船舶载重吨位总和；

统计月平均船舶载重吨位总和或年平均船舶载重吨位总和只要将某个月、某年中的每天上下行的船舶载重吨位总和进行统计累加即可。

所述的微处理器还包括：交通密度统计模块，用于统计通过航道上某个点的小时交通密度、日交通密度、月交通密度或年交通密度；交通密度是指在单位长度水域内行驶的船舶艘数，它反映出该水域内船舶的密集程度，交通密度用公式(17)表示，

$\mathrm{\ρ}=\frac{N}{\mathrm{WL}}---\left(17\right)$

式中：ρ为某瞬间的交通密度；N为船舶数；L为观测航道的长度；W为观测航道的宽度。

交通量、交通密度、速度等参数之间的关系式叫做交通流模型，交通流基本模型用公式(18)表示，

$\mathrm{\ρ}=\frac{Q}{\mathrm{WV}}---\left(18\right)$

式中：ρ为交通密度；Q为交通量；V为速度；W为观测航道的宽度。

每小时的船舶航行平均速度用公式(19)表示：

$\stackrel{\‾}{V}{\left(i\right)}_{\mathrm{up}}=\frac{1}{N}\underset{n=i}{\overset{n=i+1}{\mathrm{\Σ}}}{V}_{\mathrm{up}}---\left(19\right)$

$\stackrel{\‾}{V}{\left(i\right)}_{\mathrm{down}}=\frac{1}{N}\underset{n=i}{\overset{n=i+1}{\mathrm{\Σ}}}{V}_{\mathrm{down}}$

$\stackrel{\‾}{V}=\left(i\right)=\frac{1}{2}(\stackrel{\‾}{V}{\left(i\right)}_{\mathrm{up}}+\stackrel{\‾}{V}{\left(i\right)}_{\mathrm{down}})$

式中：i为0～23之间的整数，，V(i)_up为某i小时内上行船舶的平均时速，V(i)_down为某i小时内下行船舶的平均时速，V(i)为某i小时内上下行船舶的平均时速；根据公式(18)我们可以计算得到小时的交通密度，计算公式由(20)给出，

${\mathrm{\ρ}\left(i\right)}_{\mathrm{up}}=\frac{\stackrel{\‾}{Q}{\left(i\right)}_{\mathrm{up}}}{\stackrel{\‾}{W*V}{\left(i\right)}_{\mathrm{up}}}---\left(20\right)$

${\mathrm{\ρ}\left(i\right)}_{\mathrm{down}}=\frac{\stackrel{\‾}{Q}{\left(i\right)}_{\mathrm{down}}}{\stackrel{\‾}{W*V}{\left(i\right)}_{\mathrm{down}}}$

$\mathrm{\ρ}\left(i\right)=\frac{\stackrel{\‾}{Q}\left(i\right)}{\stackrel{\‾}{W*V}\left(i\right)}$

式中：i为0～23之间的整数，，ρ(i)_up为某i小时内上行航道交通密度，ρ(i)_down为某i小时内下行航道交通密度，ρ(i)为某i小时内航道交通密度；

在某一水域内，航道宽度是固定，当确定交通流量与航行速度这二个参数后，应用公式(20)，推算出交通密度；

日交通密度计算用公式(21)表示，

$\stackrel{\‾}{\mathrm{\ρ}}{\left(d\right)}_{\mathrm{up}}=\frac{1}{24}\underset{i=0}{\overset{i=23}{\mathrm{\Σ}}}{\mathrm{\ρ}\left(i\right)}_{\mathrm{up}}---\left(21\right)$

$\stackrel{\‾}{\mathrm{\ρ}}{\left(d\right)}_{\mathrm{down}}=\frac{1}{24}\underset{i=0}{\overset{i=23}{\mathrm{\Σ}}}{\mathrm{\ρ}\left(i\right)}_{\mathrm{down}}$

$\stackrel{\‾}{\mathrm{\ρ}}\left(d\right)=\frac{1}{24}\underset{i=0}{\overset{i=23}{\mathrm{\Σ}}}\mathrm{\ρ}\left(i\right)$

式中：ρ(d)_up为某天内上行航道交通密度，ρ(d)_down为某天内下行航道交通密度，ρ(d)为某天内上下行航道交通密度；

统计月平均航道交通密度或年平均航道交通密度只要将某个月、某年中的每天上下行的航道交通密度进行统计累加然后除上相对应的天数即可。

本发明的有益效果主要表现在：1、通过多视觉传感融合以及计算机自动收集内河交通的基本数据，能进行有效的内河交通管理；2、能从宏观上和微观上了解和掌握内河交通的实际状况、基本特征和一般规律，为内河的交通控制、交通管理、交通规划、航道网建设、执法管理等提供参考。

附图说明

图1是多视觉传感器信息融合的船舶自动识别系统的原理图；

图2是多视觉传感器信息融合的船舶自动识别系统的航道视频检测与检测线配置示意图；

图3是船舶整体中的船名标志牌号与吃水深度的示意图；

图4是船名标志牌号识别过程的流程图；

图5是多视觉传感器信息融合的船舶自动识别系统另一种方案的原理图；

图6是多视觉传感器信息融合的船舶自动识别系统采用全方位视觉传感器的方案的原理图；

图7是多视觉传感器信息融合的船舶自动识别系统的流程图；

图8是BP神经网络结构图；

图9是BP神经网络结构示意图；

图10是非极大值抑制计算方法示意图；

图11是船舶对象多目标跟踪处理流程图；

图12是全方位视觉传感器所获得的视频图像图以及监控区域的划分示意图；

图13是全方位视觉传感器折反射原理图；

图14是全方位视觉传感器的结构原理图；

图15是广角摄像机标定过程转换的顺序图；

图16是广角摄像机的成像系统坐标系间的关系图；

图17是广角摄像机的像平面在实际坐标系里的旋转变换示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图17，种多视觉传感器信息融合的内河船舶自动识别系统，包括多个视觉传感器、用于船舶对象跟踪、图像识别以及内河交通状况统计的微处理器以及用于显示船舶跟踪情况、船舶整体图像、船舶驾驶舱图像、内河交通统计图表等的显示单元，所述多个视觉传感器通过视频卡连接微处理器，所述多个视觉传感器包括一个监视航道内大范围监控视觉传感器1和一个进行特写抓拍船体图像以及驾驶舱(船名标志牌)图像的快速球视觉传感器2，所述的微处理器包括：图像显示单元，用于显示整个内河航道中的视频图像、跟踪船舶的整体图像以及跟踪船舶的驾驶舱图像；所述的大范围监控视觉传感器1为全方位视觉传感器，该全方位视觉传感器安装在航道的中间，用于监视整个航道中的跟踪船舶；所述的大范围监控视觉传感器1为广角视觉传感器，安装在航道的一侧，用于监视整个航道中的跟踪船舶；所述的快速球视觉传感器2，用于对过往船舶进行特写抓拍，通过大范围监控视觉传感器1的跟踪得到船舶所在的空间位置，微处理器根据该位置信息指示快速球视觉传感器2朝着船舶所在的空间位置的方向旋转调焦，然后进行抓拍；所述的大范围监控视觉传感器1与快速球视觉传感器2之间的信息融合是通过映射表来实现的；所述的全方位视觉传感器包括用于反射航道领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上；所述的微处理器还包括：大范围监控视觉传感器1标定模块，用于建立空间的航道图像与所获得的视频图像的对应关系；大范围监控视觉传感器1与快速球视觉传感器2之间的视频数据融合模块，用于控制快速球视觉传感器2的转动与调焦，使得快速球视觉传感器2能对准跟踪船舶进行特写抓拍；多目标跟踪模块，用于跟踪航道上的过往的船舶；虚拟线定制模块，用于定制在监控航道上的检测线，本发明中定制了三条检测虚拟线I、II和III，三条检测虚拟线间隔相等(航道面上的实际距离)并垂直于航道，三条检测虚拟线都在大范围监控视觉传感器1的视场范围内，其中中间一条检测虚拟线与快速球视觉传感器2的安装位置相交；船舶进入检测虚拟线检测模块，用于系统自动产生一个事件，系统每自动产生一个事件时都会有调用相应的处理模块；船舶ID号以及存放跟踪船舶图像文件夹的自动生成模块，用于对刚进入大范围监控视觉传感器1的视场最外边的虚拟线的船舶进行命名，并同时生成一个以该船舶ID号命名的文件夹，用于存放该船舶的特写图像；船舶整体图像定位抓拍模块，用于定位抓拍该船舶的整体的图像；船舶轮廓检测模块，用于检测该船舶的边缘轮廓以及估算出该船舶船体露出水面的高度；船舶吃水深度以及吨位估算模块，用于估算出该船舶的载重量，根据该船舶船体露出水面的高度以及存放在船舶基本数据库中的该船舶长、高、宽等数据，推算该船舶吃水深度，然后从该船的长度与宽度数据计算得到该船舶的估算载重量；船舶驾驶舱定位抓拍模块，用于定位该船舶的悬挂船名标志牌或者灯箱的大致位置并对该位置进行抓拍船名标志牌号的图像；船名标志牌号识别模块，用于识别过往船舶的船名标志牌号并为后续从船舶的基本数据库的检索获取该船舶的基本信息得到检索主键；船舶基本信息检索模块，用于得到以船名标志牌号为主键的船舶基本信息；过往船舶记录生成模块，用于自动的生成一条过往船舶记录，从而为内河交通量等统计等作好数据准备；平均交通量统计模块，用于统计通过航道上某个点的小时交通量、日交通量、月平均交通量或年平均交通量；载重吨位统计模块，用于统计通过航道上某个点的小时载重吨位、日载重吨位、月平均载重吨位或年平均载重吨位；交通密度统计模块，用于统计通过航道上某个点的小时交通密度、日交通密度、月交通密度或年交通密度；检测结果确认、更改、补全模块，用于确认过往船舶的船名标志牌号识别是否正确、更改识别错误的识别结果、补全没有识别的船名标志牌号或者缺省的船舶属性基本数据；

所述的船舶ID号，用于产生一个能标识跟踪的过往船舶对象、存储对该船舶的进入监控领域的时间、航向、速度以及船的其他一些属性数据进行记录的主键，船舶ID号的命名规则是：YYYYMMDDHHMMSS^*以14位符号命名，YYYY-表示公历的年；MM-表示月；DD-表示日；HH-表示小时；MM-表示分；SS-表示秒；均由计算机的系统时间自动产生；

所述的存放跟踪船舶图像文件夹的自动生成模块，用于保存跟踪的过往船舶对象的特写图像，当船舶对象进入监控范围(最外的虚拟线)时，系统自动产生一个船舶ID号，同时在某个存放图像的文件夹内创建一个与船舶ID号同名的文件夹，用来存放该船舶的特写图像，图像文件的命名方式是：1、3、5存放所抓拍的船舶对象的整体图像；2、4、6存放所抓拍的船舶对象的驾驶舱的特写图像；

所述的船舶整体图像定位抓拍模块，用于定位抓拍该船舶的整体的图像；在所述的多目标跟踪模块中我们对每艘过往船舶都进行跟踪，当跟踪的船舶对象进入检测虚拟线时，系统会根据大范围监控视觉传感器1所检测到的船舶对象的中心位置、大小等信息发指令给快速球视觉传感器2对船舶对象进行船舶整体图像定位抓拍，本发明中所抓拍每个船舶对象的整体图像共有3张，分别是左右斜视和正侧位的船舶对象的整体图像，所抓拍的船舶对象的整体图像存放的文件名分别为1、3、5；

所述的船舶轮廓检测模块，用于检测过往船舶对象在水面的高度以及发现驾驶舱所在的位置，船体的边界是描述船体载重特征以及驾驶舱特征的非常重要的描述子，这些边界可能在成像过程中产生边缘信息。边缘是指在其周围像素灰度有明显变化的那些像素的组合。边缘是具有幅值和方向的矢量，其在图像中表现为灰度的突变。边缘检测就是要检测出图像中这种灰度的非连续性。因此在所述的船舶整体图像定位抓拍模块处理后得到船体的特写图像后，对该船体的特写图像进行边缘检测从而获得船体载重特征以及驾驶舱特征信息；本发明中采用最优的阶梯型边缘检测算法-即canny边缘检测算法。Canny边缘检测算法的流程步骤如下：

步骤1：用高斯滤波器平滑图像

采用可分离滤波方法求图像与高斯平滑滤波的卷积，得到平滑数据阵列，计算公式如式(2)所示：

G(x，y)＝f(x，y)×H(x，y)    (2)

式中：其中H(x，y)为高斯平滑滤波函数，， $H(x,y)=e^{-\frac{a^2+b^2}{{2\mathrm{\σ}}^2}}$

f(x，y)为原图像，G(x，y)是进行卷积的结果。

步骤2：用一阶偏导的有限差分来计算梯度的幅值和方向

对高斯滤波后图像中的每个像素，计算梯度幅值

和方向

计算公式如式(3)所示，

其中H₁，H₂分别为水平和垂直梯度算子，

与原图像进行卷积的结果；

步骤3：对梯度幅值进行非极大值抑制；

上述的计算仅仅得到是全局的梯度，并不足以确定边缘。为了确定船舶的边缘，必须保留局部梯度最大的点，而抑制非极大值。本发明中采用对梯度幅值进行“非极大值抑制”。附图18所示的四个扇区的标号为0到3，因此有对应3*3邻域的四种组合。

在每一点上，邻域的中心象素M与沿着梯度线的两个象素相比。如果M的梯度值不比沿梯度线的两个相邻象素梯度值大，则令M＝0。

步骤4：用双阈值算法检测和连接边缘；

为了减少假边缘段的数量，采用双阈值算法，将低于阈值的所有值赋零值。双阈值算法对非极大值抑制图像作用两个阈值τ1和τ2，且2τ1≈τ2，从而可以得到两个阈值边缘图像N1[i，j]和N2[i，j]。由于N2[i，j]使用高阈值得到，因而含有很少的假边缘，但有间断(不闭合)。双阈值法要在N2[i，j]中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在N1[i，j]的8邻点位置寻找可以连接到轮廓上的边缘，这样，算法不断地在N1[i，j]中收集边缘，直到将N2[i，j]连接起来为止。

所述的多目标跟踪模块，用于跟踪航道上的过往的船舶，为计算船舶的航行速度、各种事件的检测以及船舶的定位抓拍提供技术基础；本发明中背景是航道，跟踪目标对象是船舶。因此首先要在底层特征层将航道背景中把前景船舶的像素点提取出来。提取船舶的像素点的方法主要由自适应背景消减、阴影抑制和连通区域标识三个部分组成，其顺序图如附图11所示；

所述的自适应背景消减，用于实时分割动态目标(航行中的船舶)，我们采用的是基于混合高斯分布模型的自适应背景消除算法，它的基本思想是：使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点。

针对图像的YCrCb颜色空间中的亮度值Y分量进行检测。自适应混合高斯模型对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k    (4)

式(4)中的下标t表示时间。各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值。在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配。若匹配，则判定该点可能为前景点，否则为前景点。若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新。

所述的连通区域标识，用于提取前景船舶对象，连通区域标识的方法很多，本发明中采用的是八连通区域提取算法。另外连通区域标识受初始数据中的噪声影响很大，一般需要先进行去噪处理，去噪处理可以通过形态学运算实现，本文中利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，具体做法是：先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果。因此有以下关系Fc<F<Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}，通过这种目标分割算法既能保持目标的完整性同时也避免了噪声前景点的影响，还保留了目标的边缘细节部分。

经过以上三个步骤就可以从静态的航道背景中将动态的前景船舶对象提取出来，并且可以得到基于船舶对象的一些初始信息，如船舶对象的大小和位置等等。在航道背景中提取出前景船舶对象后，接着的处理是对航道中的船舶对象进行跟踪处理；本发明中采用基于目标颜色特征跟踪算法，该算法是对MEANSHIFT算法的进一步改进，在该算法中利用船舶目标对象的颜色特征在视频图像中找到运动船舶目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪。在每次搜寻前将搜寻窗口的初始值设置为运动目标当前的位置和大小，由于搜寻窗口就在运动日标可能出现的区域附近进行搜寻，这样就可以节省大量的搜寻时间，使该算法具有了良好的实时性。同时该算法是通过颜色匹配找到运动目标，在运动目标运动的过程中，颜色信息变化不大，所以该算法具有良好的鲁棒性。在连通区域标识处理后所得到的船舶目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现船舶对象的自动跟踪，如附图11所示。

所述的船舶驾驶舱定位抓拍模块，用于定位该船舶的悬挂船名标志牌或者灯箱的大致位置并对该位置进行抓拍船名标志牌号的图像；根据《小型船舶船名标志管理暂行办法》的第四条、第五条的规定，小型船舶应当在船上显著位置标明与其登记船名、船籍港一致的船名和船籍港，并接受各级海事管理机构的监督检查；在内河船舶中规定标明船名应当在船首两舷和船尾标明船名，或者面向舷外对称安装在驾驶室上层建筑顶部或左右舱壁的适当显著位置，或者面向前方安装在船上适当显著位置，或者配备灯箱替代标志牌安装在驾驶室上层建筑顶部中轴线的适当位置，要对所有过往船舶的船名进行识别，需要从不同角度获得船舶的各种显著位置的图像，才能从船首两舷、船尾、驾驶室的上层建筑顶部或左右舱壁、船舶的前方显著位置以及驾驶室上层建筑顶部中轴线的适当位置上获得关于船名的图像信息；从该规定中可以看到船名的位置是与船舶的大小密切相关的，如果检测出来的船长20米以上就将快速球摄像装置对着船首两舷和船尾进行抓拍；如果检测出来的船长20米以下的船舶首先要通过边缘检测算法检测该船舶是否有舱室，对于有舱室的船舶，船名标志牌可能安装在驾驶室上层建筑顶部或左右舱壁的适当显著位置或者面向前方安装在船上适当显著位置，另外也可以用灯箱替代标志牌安装在驾驶室上层建筑顶部中轴线的适当位置，同时实际内河中航行的船舶的驾驶室也存在着前驾驶室和后驾驶室两种情况；因此如何准确地检测到驾驶室的位置然后对船名标志牌的定位，对提高船名标志牌号的识别率是非常有利的，根据《小型船舶船名标志管理暂行办法》中第十一条的规定，船名标志牌使用蓝底白边白字，正面底色和字色应当反光；第十二条的规定，船名灯箱侧面显示板为白底红字，内部安装日光灯，因此利用船名标志牌以及船名灯箱的颜色特征来实现船名标志牌以及船名灯箱定位抓拍，对提高船名标志牌号的识别率也是非常有利的，在本专利中对于每艘过往船舶进行抓拍船名标志牌以及船名灯箱的图像至少有三张，其中一张图像是正侧位，另外两张图像分别是左右斜视位，左右斜视位图像主要用于对面向前方安装在船上适当显著位置的船名标志牌识别；船舶驾驶舱定位抓拍是建立在船舶目标对象的有效跟踪基础上的，当被跟踪的船舶目标对象经过检测虚拟线时，计算机自动发出一系列指令控制快速球视觉传感器2转动到船舶目标对象所处的方位、对好焦距然后进行抓拍；在本发明中对船舶目标对象的抓拍有两种不同的用途，其一是用于估算船舶对象的载重量，其二是用于船名标志牌号的识别；因此前者需要抓拍船舶对象的整体图像，后者需要抓拍船舶对象的驾驶舱所在的位置图像；在本发明中首先是抓拍到船舶对象的整体图像后，然后根据船舶对象的整体图像上的驾驶舱轮廓特征以及船名标志牌的颜色特征对船舶对象的驾驶舱进行快速定位后抓拍船名标志牌，以便进行船名标志牌号识别处理；本发明中所抓拍每个船舶对象的船舶驾驶舱图像共有3张，分别是左右斜视和正侧位的船舶对象的船舶驾驶舱图像，所抓拍的船舶对象的船舶驾驶舱图像存放的文件名分别为2、4、6；

所述的船名标志牌号识别模块，用于识别过往船舶的船名标志牌号并为后续从船舶的基本数据库的检索获取该船舶的基本信息得到检索主键；在船名标志牌号识别模块中包括基于颜色模型的船名标志牌的定位单元、船名标志牌的提取单元、船名标志牌的校正单元、船名标志牌的字符分割单元以及字符识别单元；

根据《小型船舶船名标志管理暂行办法》中第十条的规定，船名标志牌、灯箱所使用的汉字为规范简化字，字体为方正准圆体，英文字母和阿拉伯数字为等粗线体。根据第九条的规定一块船名标志牌、灯箱内容为船名和船籍港，书写居中排列，且船名在上，船籍港在下；本发明中关心的是船名的获取，船名在标志牌上船名分为两栏，上面一栏是由汉字组成的表示船舶所在行政区域和船舶类别标志，下面一栏是由英文字母和阿拉伯数字所组成的号码；由于在标志牌中汉字所采用的字体与英文字母和阿拉伯数字所采用的字体有所不同，为了提高识别率，在本专利中将汉字识别与英文字母和阿拉伯数字识别区分开来进行处理；在汉字识别中我们采用K-NN最近邻分类器，把方正准圆体的标准汉字的结构做成一个标准模板类，将待识别的汉字与标准模板类中的标准汉字进行比对来实现汉字的识别；

所述的基于颜色模型的船名标志牌的定位单元，用于确定船名标志牌在船体的位置；根据中华人民共和国海事局的规定，船名标志牌使用蓝底白边白字，船名灯箱的侧面显示板为白底红字；本发明中采用基于均匀颜色空间的LUV颜色模型和边缘轮廓算法来定位船名标志牌；首先先进行粗判断所抓拍的图像中是否有蓝色或者白色存在，如果存在着较为明显的蓝色部分，再结合边缘轮廓算法来确定船名标志牌的位置；如果存在着较为明显的白色部分，再结合边缘轮廓算法来确定船名标志牌的位置，定位的结果如图4的a)所示；

所述的船名标志牌的提取单元，用于将船名标志牌从船体中单独提取出来；无论船名标志牌还是船名灯箱，它们的颜色是互补的，蓝色的背景对应于白字，白色的背景对应于红字，都存在着互补的关系，本发明中利用其互补关系提取船名标志牌，提取的结果如图4的b)所示；

所述的船名标志牌的校正单元，用于将所提取船名标志牌图像矫正为正视图像；在获取船名标志牌时由于抓拍的角度不定，所拍摄的船名标志牌图像会存在着倾斜角度和变形角度，本发明中通过hough变换将直角坐标转换到参数坐标系，利用一种新的K均值直线拟合算法，检测船牌的这两个角度；然后再利用“旋转+错切”变换的方法，即先对倾斜角度进行旋转作第一次矫正，再进行错切变化做第二次矫正。最后对变形角度进行拉伸变换，把整个牌照矫正成一个标准的正视牌照，矫正的结果如图4的c)所示；

所述的船名标志牌的字符分割单元，用于将矫正后的船名标志牌上的字符进行分割；本发明中一种快速的模版匹配结合垂直与水平投影法对船名标志牌上的各字符进行分割。由于校正已产生标准的正视图像，文字的大小相似，模版匹配可以精确分割文字。结合垂直与水平投影可以将模版匹配算法的速度提高。由于字符块在竖直方向上的投影必然在字符间或字符内的间隙处取得局部最小值，因此，字符的正确分割位置应该在上述局部最小值的附近，并且这个位置应满足中华人民共和国海事局的海船舶[2006]594号文件中关于船名标志牌的字符书写格式、字符尺寸限制和一些其他条件，分割的结果如图4的d)、e)所示；

所述的字符识别单元，用于将分割后的各个船名标志牌的字符进行识别；在识别之前首先要进行字符归一化处理，将字符归一化到统一的大小，对于汉字与英文字母、阿拉伯数字识别本专利中采用不同的识别技术，对于汉字识别本专利中采用了分类器的识别技术；对于英文字母、阿拉伯数字识别本专利中采用了基于BP神经网络的识别技术；所述的分类器的识别技术是将归一化处理后的汉字字符与标准汉字进行匹配来进行识别的；

所述的标准汉字，是根据船名标志牌中所出现的汉字(我国行政区域名+船的类型名)以方正准圆体、字体大小(船长20米以上：高：110、宽：90、笔画粗：11；船长20米以下；高：92、宽：75、笔画粗：9；无舱室小船：高：55、宽：45、笔画粗：7)来进行定制的，将这些定制好的标准汉字存放在标准汉字库中用于在识别汉字时进行匹配；

所述的分类器，采用K-NN最近邻分类器，即对于一个类别未知的样本，可以假设其类别是在特征空间中距离这个样本最近的训练样本的类别，在大多数情况下，这个假设是合理的。在类别较多的情况下，不同类别之间差异有大有小，若用不同的标准样本去测试分类器，对于正确识别的类来说，应该产生相同的结果，即最简单的样本类与最复杂的样本类，分类器对能正确识别的标准样本将产生同样的输出。假设有n类标准样本类，我们可以定义a_n{n＝1，2，3…n}为标准样本类的复杂度a_max分别取a_max＝Max(a_n)，n＝1，2，3…n，a_min＝Min(a_n)，n＝1，2，3…n，令a_min为不同类间的权值，这样便使得分类器对于能正确识别的标准样本具有相同的输出，即是归一化操作。

而对于一些非理想情况下的汉字识别，所测试字体的结构并不一定完全匹配标准类，因此会存在两种情况。即用复杂的标准样本类去决策简单样本和用简单的标准样本类去决策复杂样本，这两种情况都会产生很大的风险。但是无论对于哪种情况，都不应该得到正确的输出，或者说应该产生与正确输出相差很大的差值，这就需要对分类器做惩罚判定。

对于复杂的标准样本类，对于后一种情况的惩罚相对较小，而对于前一种情况的惩罚应该相对加大，而对于简单的标准样本类，则刚好相反。令b_n{n＝1，2，3，…n}为对后一种情况的惩罚，c_n{n＝1，2，3，…n}为对前一种情况的惩罚， $b_n=\frac{k}{a_n},c_n=k*a_n,$ k为比例系数。这么做的目的便是为了使各类间的差异尽可能的大，使得分类的效果更加明显。

通过以上分类器对标志牌中所出现的汉字进行识别，其中分类器的标准样本数取决于为所出现的汉字的个数，同时还可以通过输出图像的特性进一步确定权值，以达到更好的识别效果。

所述的英文字母和阿拉伯数字识别，用于识别在船名中使用的英文字母和阿拉伯数字，与汉字识别相比较，英文字母只有26个，数字只有10个，而且笔画也简单，对于识别来说相对比较容易实现，并且样本数只有36个，属于小样本的识别；由于BP神经网络具有对小样本的识别率高的特点，本专利中采用BP神经网络对英文字母和阿拉伯数字进行识别；

所述的BP神经网络，用于识别船名中使用的英文字母和阿拉伯数字，BP神经网络结构图如附图9所示；在一般情况下，BP神经网络由一个输入层、一个或者多个隐藏层、一个输出层等构成，如附图8所示；

1)输入输出关系

I->H(输入层到隐藏层)

a₂＝purelin(LW_2，1，a₁+b₂)a₁＝tan sig(IW_1，1，p₁+b₁)

tan sig(x)＝tanh(x)＝(e^x-e^-x)/(e^x+e^-x)

H->O(隐藏层导输出层)

a₂＝purelin(LW_2，1，a₁+b₂)

其中，输人层神经元个数为n，隐含层神经元个数为n1，输出层神经元个数为S2。

2)网络学习训练

BP神经网络的关键问题之一是权值的确定，BP神经网络中的权值确定方法如下，

首先假定输入q组本p₁，p₂，…，p_q，p_i∈R_n，

期望输出为T₁，T₂，…，T_q，这里T∈Rs₂，

网络的实际输出为a₂₁，a₂₂，…，a_2q，a₂∈Rs₂。

评价的准则是误差最小，所以网络学习训练的实质转化为一个优化问题。这里考虑用梯度法(Gradient)来找出误差与加权系数的关系，以得到加权系数改变的规律。

定义误差函数为：

$E(W,B)=\frac{1}{2}\underset{k=1}{\overset{s2}{\mathrm{\&Sigma;}}}{(t_k-{a2}_k)}^2$

然后利用剃度下降法求权值的变化及误差的反向传播。

(1).输出层的权值变化

从第i个输入到第k个输出的权值改变有：

${\mathrm{\&Delta;w}2}_{\mathrm{ki}}=-\mathrm{\&eta;}\frac{\&PartialD;E}{{\&PartialD;w2}_{\mathrm{ki}}}=-\mathrm{\&eta;}\frac{\&PartialD;E}{{\&PartialD;a2}_k}\frac{{\&PartialD;a2}_k}{{\&PartialD;w2}_{\mathrm{ki}}}$

$=\mathrm{\&eta;}(t_k-{a2}_k)f2\&prime;{a1}_i$

$=\mathrm{\&eta;}{\mathrm{\&delta;}}_{\mathrm{ki}}a{1}_i$

同理可得：

${\mathrm{\&Delta;b}2}_{\mathrm{ki}}=-\mathrm{\&eta;}\frac{\&PartialD;E}{{\&PartialD;b2}_{\mathrm{ki}}}=-\mathrm{\&eta;}\frac{\&PartialD;E}{{\&PartialD;a2}_k}\frac{{\&PartialD;a2}_k}{{\&PartialD;b2}_{\mathrm{ki}}}$

$=\mathrm{\&eta;}(t_k-{a2}_k)f2\&prime;$

$={\mathrm{\&eta;\&delta;}}_{\mathrm{ki}}$

(2).隐含层权值变化

${\mathrm{\&Delta;w}1}_{\mathrm{ij}}=-\mathrm{\&eta;}\frac{\&PartialD;E}{{\&PartialD;w1}_{\mathrm{ij}}}=-\mathrm{\&eta;}\frac{\&PartialD;E}{{\&PartialD;a2}_k}\frac{{\&PartialD;a2}_k}{{\&PartialD;a1}_i}\frac{{\&PartialD;a1}_i}{{\&PartialD;w1}_{\mathrm{ij}}}$

$=\mathrm{\&eta;}\underset{k=1}{\overset{s2}{\mathrm{\&Sigma;}}}(t_k-{a2}_k)f2\&prime;{w2}_{\mathrm{ki}}f1\&prime;p_j$

$={\mathrm{\&eta;\&delta;}}_{\mathrm{ij}}{p}_j$

其中，δ_ij＝e_if1′， $e_i=\underset{k=1}{\overset{s2}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;}}_{\mathrm{ki}}{w2}_{\mathrm{ki}}$

同理可得，Δbl_i＝ηδ_ij。

(3).解释

输出层误差e_j(j＝1-S₂)

隐含层误差e_i(i＝1-n₂)，

经过上述处理，误差最小的权值就是期待的权值；

所述的船舶基本信息检索模块，用于得到以船名标志牌号为主键的船舶基本信息；在船舶基本信息表中包含有：shipRegisterCode：船舶登记号、chineseShipName：中文船名、englishShipName：英文船名、originalChineseName：原中文船名、shipCallLetters：船舶呼号、IMOCode：IMO编号、shippingAreaCode：航区代码、shipNativePortCode：航籍港代码、originalShipNativePort：原航籍港、originalShipRegisterCode：原船舶登记号、firstRegisterCode：初次登记号、shipTypeCode：船舶类型代码、hullMaterialCode：船体材料代码、buildingPlace：造船地点、buildingPlaceEnglish：英文造船地点、rebuildPlace：改建地点、rebuildPlaceEnglish：英文改建地点、rebuildDate：改建日期、dockyard：造船厂、dockyardEnglishName：英文造船厂、buildedDate：建成日期、shipLength：船舶长度、shipWidth：船舶宽度、shipHigh：船舶深度、totalTon：总吨、netTon：净吨、TotalLoadTon：总载重吨、mainFrameTypeCode：主机种类代码、mainFrameNum：主机数量、mainFramPower：主机功率、thrusterTypeCode：推进器种类代码等信息，本发明中使用的船名标志牌号对应于船舶基本数据表中的chineseShipName：中文船名，通过检索可以得到shipLength：船舶长度、shipWidth：船舶宽度、shipHigh：船舶深度、totalTon：总吨、netTon：净吨、TotalLoadTon：总载重吨等信息；这些信息用于后续的船舶的吃水深度以及载重量判定；

所述的船舶吃水深度以及吨位估算模块，用于估算出该船舶的载重量，根据该船舶船体露出水面的高度以及存放在船舶基本数据库中的该船舶长、高、宽等数据，推算出该船舶吃水深度，然后从该船的长度与宽度数据计算得到该船舶的估算载重量；估算公式为：船舶货物吃水深度＝船舶船舷总高度-船舶空仓时的吃水深度-船舶载货时船舷露在水面上的高度；排水量(公吨)＝长*宽*货物吃水深度*方模系数(立方米)/0.9756(海水)或1(淡水)(立方米)，排水量吨位作为估算船舶的载重吨位；

所述的过往船舶记录生成模块，用于自动的生成一条过往船舶记录，从而内河交通量统计等作好数据准备；过往船舶记录内容如下表所示：

表1 过往船舶记录表

 

字段名称	数据类型	说明
			船舶ID	String	主键
船名标志牌号	String
			船长	Float
船宽	Float
			船高	Float
估算吨位	Float
			检测时间	Data
速度	Float
			上/下行	Boolean

表1中船舶ID是船舶进入监控领域内时系统自动产生的；船名标志牌号是在船名标志牌号识别模块处理后得到的；船长、船宽、船高是在船舶基本信息检索模块中通过船名标志牌号进行检索所得到的；估算吨位是船舶吃水深度以及吨位估算模块中通过船舶吃水深度，然后从该船的长度与宽度数据计算得到该船舶的估算所得到的；检测时间是在船舶进入虚拟线检测模块中自动获取系统时间所得到的；速度是通过船舶速度检测单元计算得到的；上/下行是通过船舶上下行判断单元计算得到的；

所述的船舶速度检测单元，用于检测某一船舶的航行速度，当一艘船舶分别通过检测虚拟线I、II和III时，我们可以得到一个完整的船舶对象信息：Ship(船舶ID；ShipID，初始跟踪位置；StartPosition，初始时间；StartTime，结束跟踪位置；EndPosition，结束时间；EndTime)，船舶ID是在船舶进入最外一条检测虚拟线时自动生成的，初始跟踪位置是进入最外一条检测虚拟线的位置(检测虚拟线I或检测虚拟线III)，初始时间是进入最外一条检测虚拟线的系统时间，结束跟踪位置是离开监控领域刚碰到最外一条检测虚拟线的位置(检测虚拟线III或检测虚拟线I)，结束时间是离开监控领域刚碰到最外一条检测虚拟线的时间，因此有以下公式来计算船舶的航行速度：

$V\left(\mathrm{ShipID}\right)=\frac{\mathrm{EndPosition}-\mathrm{StartPosition}}{\mathrm{EndTime}-\mathrm{StartTime}}---\left(5\right).$

所述的船舶上下行判断单元，用于判断某一船舶的航行方向，如果跟踪的船舶对象首先碰到的是检测虚拟线I的话我们定义为上行方向，如果跟踪的船舶对象首先碰到的是检测虚拟线III的话我们定义为下行方向；

进一步，对于宽航道水域的视频检测，为了获得更多的视频信息，本发明中的大范围监控视觉传感器1采用全方位视觉传感器，由于全方位视觉传感器能捕捉到水平方向上360°的视频图像，如图6所示，而快速球视觉传感器2的水平方向的转角范围是360°、垂直方向的转角范围是90°，将全方位视觉传感器和快速球视觉传感器进行融合，当全方位视觉传感器发现某个船舶运动对象目标之后，系统返回一个船舶运动目标的坐标信息，并利用这一信息来控制快速球视觉传感器以定位拍摄船舶运动目标，抓拍船舶目标的详细图像信息供后续识别处理。值得指出的是，需要事先设定一张空间对应关系标定表，使快速球视觉传感器快速定位。标定方法为：以全景图像中心为圆心，根据分辨需要将全景图像分成一些圆环，如图12所示，然后将每个圆环划分几等份，可根据实际需要划分。这样，一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小。然后，根据全方位视觉传感器距航道水面的高度、快速球视觉传感器空间位置和摄像头焦距等参数，依次确定快速球视觉传感器要检测的区域所需要水平、垂直旋转的角度以及焦距。如果全方位视觉传感器检测到有运动目标存在，系统就可以根据该目标所在区域和标定表自动调节快速球视觉传感器，对船舶运动目标进行抓拍特写；在全方位视觉传感器中能实现水平方向的360°的实时监控，其核心部件是折反射镜面，如图13中的3所示；其工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)。

图13中3—双曲线面镜，4—入射光线，7—双曲面镜的焦点Om(0，0，c)，8—双曲面镜的虚焦点即相机中心Oc(0，0，-c)，9—折反射光线，10—成像平面，11—实物图像的空间坐标A(X，Y，Z)，5—入射到双曲面镜面上的图像的空间坐标，6—反射在成像平面上的点P(x，y)。

进一步，所述的折反射镜面为了能够得到与空间物体坐标的对应点，折反射镜面采用双曲面镜来进行设计：所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1 (Z>0)     (6)

$c=\sqrt{a^2+b^2}---\left(7\right)$

β＝tan^-1(Y/X)                     (8)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cos γ        (9)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(10\right)$

式中，X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角—方位角，α表示入射光线在XZ平面上的夹角—俯角，f表示成像平面到双曲面镜的虚焦点的距离；

通过公式(11)，(12)，可将空间上的点(X，Y，Z)映射到成像平面上的坐标点(x，y)，可以实现空间的信息与成像平面信息的转换，以达到空间信息标定成像平面的信息的目的。

$x=\frac{{\mathrm{Xfa}}^2}{2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}-(b^2+c^2)Z}---\left(11\right)$

$y=\frac{{\mathrm{Yfa}}^2}{2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}-(b^2+c^2)Z}---\left(12\right)$

更进一步，多视觉传感器信息的融合是通过映射表来实现的，目前市场上销售的快速球摄像机可以带80-256个预置点，为了达到快速地将快速球摄像机转动到全方位视觉传感器所检测到的目标并迅速对焦；为了实现多视觉传感器信息的融合，在本专利中将全方位视觉传感器的视场分为128个区域，如附图12所示，每个区域对应着快速球摄像机的一个预置点，因此只要在全方位视觉传感器所拍摄的视频图像上划分好128个区域，然后对每个区域的中心作为快速球摄像机的预置点；在全方位视觉传感器检测到船舶在某个检测区域出现时，微处理器得到该信息后控制快速球摄像机到与该区域所对应的预置点，对船舶对象的特写抓拍。

所述的检测结果确认、更改、补全模块，用于确认过往船舶的船名标志牌号识别是否正确、更改识别错误的识别结果、补全一些没有识别的船名标志牌号或者缺省的船舶属性基本数据；船名标志牌号识别由于各种原因并非都能通过计算机识别出来，同样船舶属性基本数据中也可能存在着一些缺省数据，因此需要采用人工干预的手段对这些未识别出来的船名标志牌号以及缺省的船舶属性基本数据记录进行输入；本发明中设计了一个输入界面，在界面中上部显示6张抓拍的船舶图像，其中3张为左右斜视和正侧位的船舶对象的整体图像(文件名为1、3、5)，另外3张为左右斜视和正侧位的船舶对象的船舱图像(文件名为2、4、6)，使用者可以根据3张左右斜视和正侧位的船舶对象的整体图像大致确定船型，表2为运河典型船型参数，用户可以一边参照船舶对象的整体图像一边选择船型，当选择好该船舶的船型后，计算机自动地将这些船型参数显示在界面上，如果所显示的参数与实际不相吻合，用户也可以修改这些参数；

表2 运河典型船型参数

进一步，用户可以根据3张为左右斜视和正侧位的船舶对象的船舱图像(文件名为2、4、6)，在船名牌号的输入框中输入在图像上显示的船名牌号或者修改识别不正确的船名牌号，当输入船名牌号后系统自动的调用船舶基本信息检索模块，从而得到该船舶的基本属性数据；

所述的交通量统计模块，用于统计通过航道上某个点的小时交通量、日交通量、月平均交通量或年平均交通量；交通量是指在单位时间内通过某一水域的船舶数，交通量的大小直接反映出该水域船舶交通的繁忙程度；由于交通量是随时间变化的，所以一般采用小时交通量、日交通量、月平均交通量或年平均交通量来表示。小时的交通量可以用公式(13)表示，

$\stackrel{\&OverBar;}{Q}{\left(i\right)}_{\mathrm{up}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\&Sigma;}}}{Q}_{\mathrm{up}}---\left(13\right)$

$\stackrel{\&OverBar;}{Q}{\left(i\right)}_{\mathrm{down}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\&Sigma;}}}{Q}_{\mathrm{down}}$

Q(i)＝Q(i)_up+Q(i)_down

式中：i为0～23之间的整数，，Q(i)_up为某i小时内上行的船舶数，Q(i)_down为某i小时内下行的船舶数，Q(i)为某i小时内上下行的船舶数；

日交通量可以用公式(14)表示，

$\stackrel{\&OverBar;}{Q}{\left(d\right)}_{\mathrm{up}}=\underset{i=0}{\overset{i=23}{\mathrm{\&Sigma;}}}{Q\left(i\right)}_{\mathrm{up}}---\left(14\right)$

$\stackrel{\&OverBar;}{Q}{\left(d\right)}_{\mathrm{down}}=\underset{i=0}{\overset{i=23}{\mathrm{\&Sigma;}}}{Q\left(i\right)}_{\mathrm{down}}$

Q(d)＝Q(d)_up+Q(d)_down

式中：Q(d)_up为某天内上行的船舶数，Q(d)_down为某天内下行的船舶数，Q(d)为某天内上下行的船舶数；

统计月平均交通量或年平均交通量只要将某个月、某年中的每天上下行的船舶数进行统计累加就能得到。统计后的结果本发明中采用棒图形式表示；

所述的载重吨位统计模块，用于统计通过航道上某个点的小时载重吨位、日载重吨位、月平均载重吨位或年平均载重吨位；由于本发明中对所通过的船舶的载重吨位进行了估算，因此也可以十分方便的统计出通过航道上某个点的小时载重吨位、日载重吨位、月平均日载重吨位或年平均载重吨位，小时的载重吨位可以用公式(15)表示，

$\stackrel{\&OverBar;}{W}{\left(i\right)}_{\mathrm{up}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\&Sigma;}}}{W}_{\mathrm{up}}---\left(15\right)$

$\stackrel{\&OverBar;}{W}{\left(i\right)}_{\mathrm{down}}=\underset{n=i}{\overset{n=i+1}{\mathrm{\&Sigma;}}}{W}_{\mathrm{down}}$

W(i)＝W(i)_up+W(i)_down

式中：i为0～23之间的整数，，W(i)_up为某i小时内上行的载重吨位总和，W(i)_down为某i小时内下行的载重吨位总和，W(i)为某i小时内上下行的载重吨位总和；

日载重吨位可以用公式(16)表示，

$\stackrel{\&OverBar;}{W}{\left(d\right)}_{\mathrm{up}}=\underset{i=0}{\overset{i=23}{\mathrm{\&Sigma;}}}{W\left(i\right)}_{\mathrm{up}}---\left(16\right)$

$\stackrel{\&OverBar;}{W}{\left(d\right)}_{\mathrm{down}}=\underset{i=0}{\overset{i=23}{\mathrm{\&Sigma;}}}{W\left(i\right)}_{\mathrm{down}}$

W(d)＝W(d)_up+W(d)_down

式中：W(d)_up为某天内上行的船舶载重吨位总和，W(d)_down为某天内下行的船舶载重吨位总和，W(d)为某天内上下行的船舶载重吨位总和；

统计月平均船舶载重吨位总和或年平均船舶载重吨位总和只要将某个月、某年中的每天上下行的船舶载重吨位总和进行统计累加就能得到。

所述的交通密度统计模块，用于统计通过航道上某个点的小时交通密度、日交通密度、月交通密度或年交通密度；交通密度是指在单位长度水域内行驶的船舶艘数，它反映出该水域内船舶的密集程度，所以又称船舶密度。交通密度是一个重要的参数，交通密度高的水域，往往是事故多发地区，自然也就是船舶交通研究和交通管理的重点。交通密度可以用公式(17)表示，

$\mathrm{\&rho;}=\frac{N}{\mathrm{WL}}---\left(17\right)$ 式中：ρ为某瞬间的交通密度；N为船舶数；L为观测航道的长度；W为观测航道的宽度。

交通量、交通密度、速度等参数之间的关系式叫做交通流模型。交通流基本模型可用公式(18)表示，

$\mathrm{\&rho;}=\frac{Q}{\mathrm{WV}}---\left(18\right)$

式中：ρ为交通密度；Q为交通量；V为速度；W为观测航道的宽度。

我们将W为观测航道的宽度、航道编码(视频观测点的位置信息)放在属性文件中，用户可以在属性定义界面上完成这些属性数据的输入；

由于本发明中对所通过的船舶的航行速度进行了估算，小时的船舶航行平均速度可以用公式(19)表示，

$\stackrel{\&OverBar;}{V}{\left(i\right)}_{\mathrm{up}}=\frac{1}{N}\underset{n=i}{\overset{n=i+1}{\mathrm{\&Sigma;}}}{V}_{\mathrm{up}}---\left(19\right)$

$\stackrel{\&OverBar;}{V}{\left(i\right)}_{\mathrm{down}}=\frac{1}{N}\underset{n=i}{\overset{n=i+1}{\mathrm{\&Sigma;}}}{V}_{\mathrm{down}}$

$\stackrel{\&OverBar;}{V}=\left(i\right)=\frac{1}{2}(\stackrel{\&OverBar;}{V}{\left(i\right)}_{\mathrm{up}}+\stackrel{\&OverBar;}{V}{\left(i\right)}_{\mathrm{down}})$

式中：i为0～23之间的整数，，V(i)_up为某i小时内上行船舶的平均时速，V(i)_down为某i小时内下行船舶的平均时速，V(i)为某i小时内上下行船舶的平均时速；根据公式(18)我们可以计算得到小时的交通密度，计算公式由(20)给出，

${\mathrm{\&rho;}\left(i\right)}_{\mathrm{up}}=\frac{\stackrel{\&OverBar;}{Q}{\left(i\right)}_{\mathrm{up}}}{\stackrel{\&OverBar;}{W*V}{\left(i\right)}_{\mathrm{up}}}---\left(20\right)$

${\mathrm{\&rho;}\left(i\right)}_{\mathrm{down}}=\frac{\stackrel{\&OverBar;}{Q}{\left(i\right)}_{\mathrm{down}}}{\stackrel{\&OverBar;}{W*V}{\left(i\right)}_{\mathrm{down}}}$

$\mathrm{\&rho;}\left(i\right)=\frac{\stackrel{\&OverBar;}{Q}\left(i\right)}{\stackrel{\&OverBar;}{W*V}\left(i\right)}$

式中：i为0～23之间的整数，，ρ(i)_up为某i小时内上行航道交通密度，ρ(i)_down为某i小时内下行航道交通密度，ρ(i)为某i小时内航道交通密度；

在某一水域内，航道宽度是固定的。当确定交通流量与航行速度这二个参数后，应用公式(20)，可以推算出交通密度。但是上述所求的交通密度是一个统计平均值，并非是某瞬间的交通密度。

日交通密度计算可以用公式(21)表示，

$\stackrel{\&OverBar;}{\mathrm{\&rho;}}{\left(d\right)}_{\mathrm{up}}=\frac{1}{24}\underset{i=0}{\overset{i=23}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}\left(i\right)}_{\mathrm{up}}---\left(21\right)$

$\stackrel{\&OverBar;}{\mathrm{\&rho;}}{\left(d\right)}_{\mathrm{down}}=\frac{1}{24}\underset{i=0}{\overset{i=23}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}\left(i\right)}_{\mathrm{down}}$

$\stackrel{\&OverBar;}{\mathrm{\&rho;}}\left(d\right)=\frac{1}{24}\underset{i=0}{\overset{i=23}{\mathrm{\&Sigma;}}}\mathrm{\&rho;}\left(i\right)$

式中：ρ(d)_up为某天内上行航道交通密度，ρ(d)_down为某天内下行航道交通密度，ρ(d)为某天内上下行航道交通密度；

统计月平均航道交通密度或年平均航道交通密度只要将某个月、某年中的每天上下行的航道交通密度进行统计累加然后除上相对应的天数就能得到。

实施例2

其余与实施例1相同，所不同的是大范围监控视觉传感器1采用广角摄像机，如附图1所示，广角摄像机和高速球摄像机安装在航道的一侧同一位置，广角摄像机能监控140°航道范围内的船舶，同样广角摄像机和高速球摄像机的信息融合是通过映射表来实现的，每个区域对应着快速球摄像机的一个预置点，在广角摄像机检测到船舶在某个检测区域出现时，微处理器得到该信息后控制快速球摄像机到与该区域所对应的预置点，对船舶对象的特写抓拍。

由于在视频图像上的检测虚拟线之间的距离是以像素点来表示的，这与实际上的航道上检测线有一个函数关系，因此需要对广角摄像机进行标定，以建立检测虚拟线与航道上检测线之间的对应关系；广角摄像机视场距离的标定涉及成像几何的理论，要将实际航道上的三维场景投射到摄像机的二维像平面，需要建立摄像机的模型来描述。其成像系统坐标系间的关系如附图16所示，图中有四个坐标系，它们分别为：(1)实际坐标系，也就是实际航道上的三维场景坐标系XYZ；(2)摄像机坐标系，以广角摄像机为中心制定的坐标系xyz；(3)像平面坐标系，在摄像机内所形成的像平面坐标系x′y′o′；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

对广角摄像机进行标定的过程就是推导出计算机二维图像到三维场景的对应关系。因此摄像机成像变换的过程由三部分完成，分别对应4个坐标系的相互转换。转换的顺序图如附图15所示；

首先，从实际坐标(X，Y，Z)到摄像机坐标(x，y，z)的变换。如果仅考虑刚体目标的情况以下的变换可采用齐次坐标系来表示，则变换公式可以由(22)表示为：

$\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=R*[T*\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]]---\left(22\right)$

其中，R是4×4旋转矩阵，表示像平面在实际坐标系里的旋转变换。旋转可以借助刚体转动的3个欧拉角来表示，如图17所示，可利用欧拉角可将旋转矩阵R表示成θ、φ和ψ的函数

欧拉角示意图如附图17所示；

旋转矩阵简单记为 $\left[\begin{array}{cccc}{r}_1& r_2& r_3& 0\\ r_4& r_5& r_6& 0\\ r_7& r_8& r_9& 0\\ 0& 0& 0& 1\end{array}\right]$

T是4×4平移矩阵，表示像平面原点移出实际坐标原点的平移坐标，可以表示为

$\left[\begin{array}{cccc}1& 0& 0& T_x\\ 0& 1& 0& T_y\\ 0& 0& 1& T_z\\ 0& 0& 0& 1\end{array}\right]$

将R，T代入式(22)，得到实际坐标(X，Y，Z)到摄像机坐标(x，y，z)的变换公式(23)，

$\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{c}{r}_1(X+T_x)+r_2(Y+T_y)+r_3(Z+T_z)\\ r_4(X+T_x)+r_5(Y+T_y)+r_6(Z+T_z)\\ r_7(X+T_x)+r_8(Y+T_y)+r_9(Z+T_z)\\ 1\end{array}\right]---\left(23\right)$

接着是从摄像机的三维空间坐标(x，y，z)到像平面坐标(x′，y′)的变换。根据透镜成像原理可得变换公式(24)，

$x\&prime;=f^{\frac{x}{z}}$ 　　　 $y\&prime;=f^{\frac{y}{z}}$ 　　　(f<0)   (24)

最后是像平面坐标(x′，y′)到计算机图像坐标(M，N)的变换。计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式用公式(25)表示，

$M=O_m-\frac{x\&prime;}{S_x}$     $N=O_n-\frac{y\&prime;}{S_y}---\left(25\right)$

将公式(23)～(25)映射方程结合起来，就可推导出计算机图像坐标(M，N)与实际的三维空间坐标(X，Y，Z)的变换方程(26)，

$X=\frac{S_y(O_n-N)*f*(r_3*r_8-r_2*r_9)+S_x(O_m-M)*f*(r_5*r_9-r_6*r_8)+f^2(r_6*r_2-r_5*r_3)}{S_y(O_n-N)*f*(r_7*r_2-r_8*r_1)+S_x(O_m-M)*f*(r_8*r_4-r_7*r_5)+f^2(r_1*r_5-r_2*r_4)}(Z+T_z)-T_x$

$Y=\frac{S_y(O_n-N)*f*(r_9*r_1-r_7*r_3)+S_x(O_m-M)*f*(r_7*r_6-r_9*r_4)+f^2(r_3*r_4-r_6*r_1)}{S_y(O_n-N)*f*(r_7*r_2-r_8*r_1)+S_x(O_m-M)*f*(r_8*r_4-r_7*r_5)+f^2(r_1*r_5-r_2*r_4)}(Z+T_z)-T_y$

                        (26)

Z＝Z

式中：X、Y、Z分别为实际坐标系中的坐标；Om、On分别表示像平面的原点在计算机图像平面上所映射的点像素所在的行数和列；Sx、Sy分别表示计算机图像平面x和y方向上的尺度因子；f是摄像机的有效焦距；M、N分别是计算机图像坐标。

实施例3

其余与实施例1相同，所不同的是大范围监控视觉传感器1采用广角摄像机，如附图5所示，广角摄像机和高速球摄像机安装在航道的一侧相隔一段距离位置，广角摄像机拍摄方向与航道方向倾斜一个角度，广角摄像机能监控水平斜视140°航道范围内的船舶，同样广角摄像机和高速球摄像机的信息融合是通过映射表来实现的，每个区域对应着快速球摄像机的一个预置点，在广角摄像机检测到船舶在某个检测区域出现时，微处理器得到该信息后控制快速球摄像机到与该区域所对应的预置点，对船舶对象的特写抓拍。

上述的实施例1、2、3所产生的发明效果是：实现了自动收集内河交通的基本数据并随之进行加工、分析、各种智能化处理以及统计分析，能从宏观上和微观上了解和掌握内河航道交通的实际状况、基本特征和一般规律，为内河航道的交通控制、交通管理、交通规划、航道网建设、执法管理等提供一种智能化、自动化的检测手段，另外系统还具有性能价格比高、可靠性好、维护简单、实施方便等优点。

Claims (7)

1、一种多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的内河船舶自动识别系统包括监视航道的大范围监控视觉传感器、进行特写抓拍船体图像以及船名标志牌图像的快速球视觉传感器和用于船舶对象跟踪、图像识别以及内河交通状况统计的微处理器，所述的大范围监控视觉传感器、快速球视觉传感器与微处理器连接，所述的微处理器包括：

图像显示单元，用于显示整个内河航道中的视频图像、跟踪船舶的整体图像以及跟踪船舶的驾驶舱图像；

大范围监控视觉传感器标定模块，用于建立空间的航道图像与所获得的视频图像的对应关系；

视频数据融合模块，用于控制快速球视觉传感器的转动与调焦，使得快速球视觉传感器能对准跟踪船舶进行特写抓拍；

虚拟线定制模块，用于定制在监控航道上的检测虚拟线，三条检测虚拟线间隔相等并垂直于航道，三条检测虚拟线在大范围监控视觉传感器的视场范围内，中间一条检测虚拟线与快速球视觉传感器的安装位置相交；

船舶进入检测虚拟线检测模块，用于如有船舶进入检测虚拟线，自动产生一个事件，每自动产生一个事件时调用相应的处理模块；

船舶ID号以及存放跟踪船舶图像文件夹的自动生成模块，用于对刚进入大范围监控视觉传感器的视场最外边的虚拟线的船舶进行命名，并同时生成一个以该船舶ID号命名的文件夹，用于存放该船舶的特写图像；

船舶整体图像定位抓拍模块，用于定位抓拍该船舶的整体的图像；

船舶轮廓检测模块，用于检测该船舶的边缘轮廓以及估算出该船舶船体露出水面的高度，采用最优的阶梯型边缘检测算法-即canny边缘检测算法对该船体的特写图像进行边缘检测，获得船体载重特征以及驾驶舱特征信息；

多目标跟踪模块，用于跟踪航道上的过往的船舶，在底层特征层将航道背景中把前景船舶的像素点提取出来，该跟踪模块包括：

自适应背景消减单元，用于实时分割动态目标，使用混合高斯分布模型来表征图像帧中每一个像素点的特征，当获得新的图像帧时，更新混合高斯分布模型，在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景，如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点；

连通区域标识单元，用于提取前景船舶对象，采用八连通区域提取算法，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，有Fc<F<Fe，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

跟踪单元，用于利用船舶目标对象的颜色特征在视频图像中找到运动船舶目标对象所在的位置和大小，在下一帧视频图像中，用运动船舶目标对象当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪；

船舶驾驶舱定位抓拍模块，用于定位该船舶的悬挂船名标志牌或者灯箱的大致位置并对该位置进行抓拍船名标志牌的图像，当被跟踪的运动船舶目标对象经过检测虚拟线时，计算机自动发出一系列指令控制快速球视觉传感器转动到运动船舶目标对象所处的方位、对好焦距然后进行抓拍，抓拍的图像至少有三张，其中一张图像是正侧位，另外两张图像分别是左右斜视位；

船名标志牌号识别模块，用于识别过往船舶的船名标志牌号，该识别模块包括：

基于颜色模型的船名标志牌的定位单元，用于确定船名标志牌在船体的位置；采用基于均匀颜色空间的LUV颜色模型和边缘轮廓算法来定位船名标志牌；首先进行粗判断所抓拍的图像中是否有蓝色或者白色存在，如果存在着较为明显的蓝色部分或较为明显的白色部分，结合边缘轮廓算法来确定船名标志牌的位置；

船名标志牌的提取单元，用于将船名标志牌从船体中单独提取出来，采用颜色互补的关系提取船名标志牌；

船名标志牌的校正单元，用于将所提取船名标志牌图像矫正为正视图像，通过hough变换将直角坐标转换到参数坐标系，利用K均值直线拟合算法，检测船牌的两个角度，再利用“旋转+错切”变换的方法，即先对倾斜角度进行旋转作第一次矫正，再进行错切变化做第二次矫正，对变形角度进行拉伸变换，把整个船名标志牌矫正成一个标准的正视船名标志牌；

船名标志牌的字符分割单元，用于将矫正后的船名标志牌上的字符进行分割；采用模版匹配结合垂直与水平投影法对船名标志牌上的各字符进行分割；

字符识别单元，用于将分割后的各个船名标志牌的字符进行识别，首先要进行字符归一化处理，将字符归一化到统一的大小，对于汉字识别采用分类器的识别方法，将归一化处理后的汉字字符与标准汉字进行匹配来进行识别；对于英文字母、阿拉伯数字识别采用基于BP神经网络的识别方法；

船舶基本信息检索模块，用于以船名标志牌号为主键，在船舶基本信息表中查询船舶基本信息。

2、如权利要求1所述的多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的大范围监控视觉传感器为广角视觉传感器，安装在内河航道的一侧。

3、如权利要求1所述的多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的大范围监控视觉传感器为全方位视觉传感器，所述全方位视觉传感器安装在航道的中间，所述全方位视觉传感器包括用于反射航道领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上。

4、如权利要求1—3之一所述的多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的微处理器还包括：

船舶吃水深度以及吨位估算模块，用于估算出当前船舶的载重量，根据该船舶船体露出水面的高度以及存放在船舶基本数据库中的该船舶长、高、宽数据，推算出该船舶吃水深度，然后从该船的长度与宽度数据计算得到该船舶的估算载重量；估算公式为：船舶货物吃水深度＝船舶船舷总高度-船舶空仓时的吃水深度-船舶载货时船舷露在水面上的高度；排水量(公吨)＝长*宽*货物吃水深度*方模系数(立方米)/0.9756海水或1淡水(立方米/公吨)，排水量吨位作为估算船舶的载重吨位。

5、如权利要求4所述的多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的微处理器还包括：

船舶速度检测单元，用于检测船舶的航行速度，当一艘船舶分别通过检测虚拟线I、II和III时，设定船舶ID为ShipID，初始跟踪位置为StartPosition，初始时间为StartTime，结束跟踪位置为EndPosition，结束时间为EndTime，船舶ID是在船舶进入最外一条检测虚拟线时自动生成的，初始跟踪位置是进入最外一条检测虚拟线的位置，初始时间是进入最外一条检测虚拟线的系统时间，结束跟踪位置是离开监控领域刚碰到最外一条检测虚拟线的位置，结束时间是离开监控领域刚碰到最外一条检测虚拟线的时间，通过以下公式来计算船舶的航行速度：

$V\left(\mathrm{ShipID}\right)=\frac{\mathrm{EndPosition}-\mathrm{StartPosition}}{\mathrm{EndTime}-\mathrm{StartTime}}---\left(5\right).$

6、如权利要求5所述的多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的微处理器还包括：

船舶上下行判断单元，用于判断船舶的航行方向，如果跟踪的船舶对象首先碰到的是检测虚拟线I定义为上行方向，如果跟踪的船舶对象首先碰到的是检测虚拟线III定义为下行方向。

7、如权利要求6所述的多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的微处理器还包括：

过往船舶记录生成模块，用于自动的生成一条过往船舶记录，从而为内河交通量统计作好数据准备，船舶记录包括：船舶ID、船名标志牌号、船长、船宽、船高、估算船舶的载重吨位、检测时间、船舶速度以及上下行方向。

Images