CN110634137A

CN110634137A - 一种基于视觉感知的桥梁变形的监测方法、装置及设备

Info

Publication number: CN110634137A
Application number: CN201910917475.XA
Authority: CN
Inventors: 陈宇轩; 何显银; 赵文一; 宋杰; 董梅; 胡辉
Original assignee: Hangzhou Ruhr Technology Co Ltd
Current assignee: Hangzhou Ruhr Technology Co Ltd
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2019-12-31

Abstract

本发明公开了一种基于视觉感知的桥梁位移的监测方法，该方法包括：获取双目相机采集的至少两帧初始图像；将所述至少两帧初始图像转换为至少两帧积分图像，其中，所述积分图像中当前像素点的灰度值是根据所述初始图像设定矩形区域内各像素点的灰度值确定的，设定矩形区域是所述初始图像的原点与所述当前像素点为非相邻顶点的矩形区域；检测所述至少两帧积分图像中匹配的特征点；根据所述匹配的特征点确定桥梁的位移。本发明实施例的技术方案，通过将图像转换为积分图像，再监测积分图像的特征点，简化了监测的步骤，根据两帧图像中匹配的特征点来确定桥梁的位移，实现了桥梁位移的实时、无损监测，监测速度快，且监测方法适用性广、精度高。

Description

一种基于视觉感知的桥梁变形的监测方法、装置及设备

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种基于视觉感知的桥梁变形的监测方法、装置及设备。

背景技术

随着交通行业的快速发展，各类基础设施产生了不同程度的老化与病害，而桥梁作为交通基础设施的重要组成部分，其定期的监测与维护也变得日益重要。通常来说，挠度是表征桥梁性能的最直接参数，因此，对桥梁挠度的监测成为桥梁运维与安全评估的重要环节。

目前针对公路桥梁位移测量的方法主要分为两种：一种是利用位移计、静力水准仪等接触式监测设备进行测量；另一种是基于全站仪、GPS、激光图像法等技术进行非接触式测量。接触式测量通常需要在桥上开孔用于固定，会对桥梁结构的刚度与应力分布产生影响，在桥梁荷载的作用下，设备耐久性差，很容易产生掉线、故障等问题。在安装与维护方面，也存在一定难度。而非接触式测量手段如全站仪、GPS、激光位移计等虽然能够避免对结构的破坏，但这类设备往往受环境影响较大，成本高，精度也有限。

发明内容

本发明提供了一种基于视觉感知的桥梁位移监测方法、装置及设备，以实现桥梁位移的监测，监测方法不易受到环境的影响，监测精度高。

第一方面，本发明实施例提供了一种基于视觉感知的桥梁位移的监测方法，该方法包括：

获取双目相机采集的至少两帧初始图像；

将所述至少两帧初始图像转换为至少两帧积分图像，其中，所述积分图像中当前像素点的灰度值是根据所述初始图像设定矩形区域内各像素点的灰度值确定的，设定矩形区域是所述初始图像的原点与所述当前像素点为非相邻顶点的矩形区域；

检测所述至少两帧积分图像中匹配的特征点；

根据所述匹配的特征点确定桥梁的位移。

第二方面，本发明实施例还提供了一种基于视觉感知的桥梁位移的监测装置，该装置，包括：

初始图像获取模块，用于获取双目相机采集的至少两帧初始图像；

图像转换模块，用于将所述至少两帧初始图像转换为至少两帧积分图像，其中，所述积分图像中当前像素点的灰度值是根据所述初始图像设定矩形区域内各像素点的灰度值确定的，设定矩形区域是所述初始图像的原点与所述当前像素点为非相邻顶点的矩形区域；

特征点监测模块，用于检测所述至少两帧积分图像中匹配的特征点；

位移确定模块，用于根据所述匹配的特征点确定桥梁的位移。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的桥梁位移的监测方法。

本发明实施例的技术方案，通过获取双目相机采集的图像，丰富了图像的特征信息，同时可以根据双目相机的特性简化后续图像处理过程；将图像转换为积分图像，加快了特征识别的速度；检测积分图像中匹配的特征点，并根据匹配的特征点确定桥梁的位移，实现了桥梁位移的实时、无损监测，监测速度快，且监测方法适用性广、精度高。

附图说明

图1是本发明实施例一中的一种基于视觉感知的桥梁位移的监测方法的流程图；

图2是本发明实施例二中的一种基于视觉感知的桥梁位移的监测方法的流程图；

图3是本发明实施例三中的一种基于视觉感知的桥梁位移的监测方法的流程图；

图4是本发明实施例四中的一种基于视觉感知的桥梁位移的监测装置的示意图；

图5是本发明实施例五中的一种设备的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种基于视觉感知的桥梁位移的监测方法的流程图，本实施例可适用于桥梁位移的监测情况，该方法可以由桥梁位移的监测装置或系统来执行，该装置可以通过软件和硬件的方式实现，如图1所示，该方法具体包括如下步骤：

步骤110、获取双目相机采集的至少两帧初始图像。

其中，所述至少两帧初始图像可以是连续的至少两帧初始图像，可以是指定间隔的至少两帧初始图像。可以是两帧、三帧、四帧或者更多帧。双目相机指的是包括两个镜头的相机。具体的，该双目相机为包括两个镜头的工业相机。

可选的，所述获取双目相机采集的至少两帧初始图像，包括：

获取双目相机采集的连续的至少两帧原始图像；提取所述原始图像的感兴趣区域的图像，作为初始图像。

其中，感兴趣区域可以是用户指定的区域，也可以是通过深度学习算法获取的感兴趣区域，或者是默认的区域作为感兴趣区域。

通过提取感兴趣区域，并将感兴趣区域作为后续处理的目标图像，减少了待处理图像的尺寸，降低算法的运算量，同时提高算法的效率和精度。

步骤120、将所述至少两帧初始图像转换为至少两帧积分图像。

其中，所述积分图像中当前像素点的灰度值是根据所述初始图像设定矩形区域内各像素点的灰度值确定的，设定矩形区域是所述初始图像的原点与所述当前像素点为非相邻顶点的矩形区域。

具体的，以所述初始图像的左上角第一像素为坐标原点，向右为x轴正向，向下为y轴正向，建立初始图像坐标系，将任意像素(x，y)与坐标原点之间围成的矩形区域内所有像素值相加所得到的值即为积分图像上像素(x，y)的像素值，以此类推，便可以得到初始图像的积分图像。可以看出，积分图像上像素(x，y)的像素值为初始图像像素(x，y)与原点之间像素的像素值的累加之和。

将图像转换为积分图像的好处在于，，使用积分图是为了减少重复运算，加快计算速度，便于进行海森矩阵行列式的计算。进一步地，凡是涉及到像素累加操作的都可以使用积分图像进行加速。

步骤130、检测所述至少两帧积分图像中匹配的特征点。

其中，匹配的特征点指的是两帧积分图像上特征相同的点。需要了解的是匹配的特征点的个数往往是多个，其数量可以为2、4、8或者更多个。

具体的，可以通过监测积分图像像素的灰度分布特征来判断该像素的特征是否匹配。

可选的，检测所述至少两帧积分图像中匹配的特征点，包括：

根据盒式滤波器对所述至少两帧积分图像进行滤波；根据海森矩阵的判别式检测滤波后的所述至少两帧积分图像中匹配的特征点。

其中，盒式滤波器的窗口或模板大小可以是3、5、7或者9，其窗口可以是变化的。盒式滤波器为二阶标准盒式滤波器。海森矩阵(Hessian Matrix，HM)是由一个多元函数的二阶偏导构成的方阵，以描述函数的局部曲率。海森矩阵的判别式即为就是当前点对水平方向二阶偏导乘以垂直方向的二阶偏导再减去当前点水平、垂直二阶偏导的二次方。

具体的，根据各个像素点的海森矩阵的判别式的符号及大小检测滤波后的所述至少两帧积分图像中匹配的特征点。可以根据判别式的符号确定当前像素的灰度或像素值是否是极值点，从而判断该点是否是特征点，进一步可根据各个特征点的设定区域内像素组成的特征矢量的欧式距离确定特征点是否匹配。

步骤140、根据所述匹配的特征点确定桥梁的位移。

确定相匹配的特征点之后，根据两个特征点的位移的变化量从而确定桥梁的位移。

具体的，为了提高桥梁位移测量的精度，可以根据感兴趣区域内所有匹配的特征点的位移变化量的平均值确定桥梁的位移。

实施例二

图2为本发明实施例二提供的一种基于视觉感知的桥梁位移的监测方法的流程图，本实施例是对上一实施例的进一步细化，如图2所示，该方法包括如下步骤：

步骤210、获取双目相机采集的至少两帧初始图像。

步骤220、将所述至少两帧初始图像转换为至少两帧积分图像。

步骤230、根据盒式滤波器对所述至少两帧积分图像进行滤波。

步骤240、构建滤波后的所述至少两帧积分图像的海森矩阵。

步骤250、根据所述海森矩阵的判别式识别所述至少两帧积分图像的特征点。

具体的，积分图像的函数为I(x，y)，盒式滤波器采用g(σ)表示，其中，σ为平滑程度参数，G(σ)为g(σ)的二阶偏导。经过盒式滤波之后的积分图像为L(x，σ)，那么，滤波后的积分图像为盒式滤波器函数与图像函数的卷积，即L(x，σ)＝G(σ)*I(x，y)。

构建盒式滤波后的积分图像的海森矩阵，以生成所有的兴趣点，用于进行特征提取，海森矩阵如下：

其中，L_xx(x，σ)表示g(σ)在

特征核间的二阶偏导与图像函数I(x，y)的卷积，L_xy(x，σ)、L_yy(x，σ)以此类推。

海森矩阵的判别式即为：det(H(x，σ))＝L_xx(x，σ)L_yy(x，σ)-L_xy(x，σ)²。

通过这种方法可以为图像中每个像素计算出其行列式的决定值，并用该决定值来判别图像局部的特征点。

进一步地，Hession矩阵判别式中的L(x，σ)是原始图像的高斯卷积，由于高斯核服从正态分布，从中心点往外，系数越来越小，为了提高运算速度，用盒式滤波器来替代高斯滤波器，故在Lxy上乘了一个加权系数，可以是0.9，目的是为了平衡因使用盒式滤波器近似所带来的误差，则H矩阵判别式可表示为：

Det(H(x，σ))＝L_xx(x，σ)L_yy(x，σ)-0.9L_xy(x，σ)²

盒式滤波器对图像的滤波转化成计算图像上不同区域间像素的加减运算问题，结合积分图像的特点，只需要简单查找积分图便可以得到海森矩阵的判别式，简化了运算过程，提高了运算的速度。步骤260、通过改变所述盒式滤波器的参数，构造所述至少两帧积分图像的尺度空间。

其中，盒式滤波器的参数包括平滑程度参数和模板大小。尺度空间包括多个层，每一层包括多组图像。

具体的，使用海森矩阵行列式的值来表示图像中某点的响应值，遍历图像中的所有像素，便可以得到在盒式滤波器某一尺度下的海森响应图像，使用不同的模糊尺度和模板尺寸，便可以得到多尺度的金字塔图像，即所述尺度空间。尺度空间是通过不断增大盒式滤波器的模板，通过积分图像快速计算响应图像的方式生产的。

具体的，不同层的海森响应图像的盒式滤波器的模板尺寸不同，可以设置一个最小尺度变化量，第一组的海森响应图像的盒式滤波器的模板尺寸在设定初始值的基础上以该最小尺度变化量为步长逐渐增大，后续其他组的各层的模板尺寸可以根据初始值及最小尺度变化量确定，如其他组相邻层的尺度变化量可以根据组号与该最小尺度变化量确定，如最小尺度变化量与2^m-1的乘积，其中m为组号，各组第一层的尺度值与初始值的尺度变化量与该组相邻层的尺度变化量相同。

示例性的，可通过9×9模板的盒式滤波对积分图像进行滤波，从而获取最初始的尺度空间，后续逐渐增大模板尺寸，以获得其他层的海森响应图像。后续的尺寸可以包括15×15、21×21以及27×27，从而获取根据上述尺寸，生成第一组海森响应图像。第二组海森响应图像的模板尺寸为15×15、27×27、39×39、51×51，从而获取根据上述尺寸，生成第二组海森响应图像。以此类推生成其他组的海森响应图像。可选的，可以设置最大组号或者模板尺寸以限制尺度空间的大小。

步骤270、判断所述特征点的灰度值是否是所述尺度空间设定区域内的最大值。

其中，设定区域是由特征点所在的图像及尺度空间构成的三维领域内的指定区域，设定区域由特征点所在的图层及与其相邻的两个图层的相邻点组成。可以是3×3×3的区域，即选取与特征点相邻的26个点，也可以是5×5×5的区域，本发明实施例对设定区域的大小不进行限定。

通过比较特征点及其相邻设定个数的点的灰度值的大小，判断判断所述特征点的灰度值是否是所述尺度空间设定区域内的最大值。

进一步地，可以设置一个阈值，将特征点中不大于该阈值的特征点排除。

步骤280、若是，则根据以所述特征点为中心设定半径的圆内像素点的特征确定所述特征点的特征矢量。

其中，设定半径可以是根据该特征点的盒式滤波器的模板尺寸确定，可以模板尺寸的6倍。

具体的，将该圆等分为6个60°的扇形，分别统计6个扇形内所有点的水平和垂直方向的Haar小波特征向量，选取特征向量最大的扇形所在的方向为所述特征点的方向，该特征向量为所述特征点的特征矢量。

步骤290、根据所述特征点中所述特征矢量的欧式距离确定匹配的特征点。

具体的，将特性点的特征矢量的欧式距离为零或小于设定距离的两个特征点确定为匹配的特征点。

进一步地，将匹配的特征点中，特征点的海森矩阵的判别式符号不同的特征点排除。

可选的，根据所述特征点中所述特征矢量的欧式距离确定匹配的特征点，包括：

根据最近邻约束策略对所述特征点进行筛选；将筛选后的特征点中欧式距离为0的特征点确定为匹配的特征点。

此过程使用FLANN(Fast Library for Approximate Nearest Neighbors，快速最近邻逼近搜索函数库)。相比于直接暴力搜索匹配的特征点，FLANN会对监测到的关键点描述子建立索引树，从而提高特征匹配的速度。

其中，最近邻约束策略具体描述为：取一幅图像中的一个特征点，并通过FLANN找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，最近的距离与第二近的距离得到的比值ratio少于设定阈值T，则将该特征点及其距离最近的关键点视为匹配的特征点。因为对于误匹配的特征点，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而导致其ratio值比较高，通过设置阈值以滤除比值交稿的特征点，提高了匹配的精度。显然，通过降低设定阈值T，匹配的特征点的数目会减少，从而更加有效地保证了匹配的特征点的稳定性。

进一步地，ratio取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点，所以建议ratio的取值原则如下：

ratio＝0.4：对于准确度要求高的匹配；

ratio＝0.6：对于匹配点数目要求比较多的匹配；

ratio＝0.5：一般情况下。

步骤300、根据所述匹配的特征点的坐标信息确定桥梁的位移。

本发明实施例的技术方案，通过根据海森矩阵的判别式提取图像的特征点，生成了稳定的边缘点；通过构建采用不同滤波参数的图像的尺度空间，尺度空间各层并行处理，提高了处理的速度和效率；通过最大值监测减少特征点的数量，提高监测的精度；通过确定特征点的方向和特征矢量，根据方向和特征矢量确定匹配的特征点，匹配鲁棒性强、成功率高、误差小，根据匹配的特征点的坐标信息确定桥梁的位移，实现了桥梁位移的实时、无损监测，监测速度快，且监测方法适用性广、精度高。

实施例三

图3为本发明实施例三提供的一种基于视觉感知的桥梁位移的监测方法的流程图，本实施例是对上一实施例的进一步细化和补充，本实施例提供的方法还包括：根据所述双目相机的双目校正算法消除所述至少两帧初始图像的左初始图像和右初始图像的畸变；根据所述双目相机的对极约束特性，将所述左初始图像和右初始图像按行对齐，以使得所述左初始图像和右初始图像的对极线处于同一水平线；以及根据所述双目相机的对极约束特性，将不在同一行的所述匹配的特征点剔除。

如图3所示，本实施例提供的桥梁位移的监测方法包括如下步骤：

步骤310、获取双目相机采集的至少两帧初始图像，其中，每帧所述初始图像包括左初始图像和右初始图像。

其中，左初始图像为双目相机的左边镜头拍摄的图像，右初始图像为双目相机的右边镜头拍摄的图像。

步骤320、根据所述双目相机的双目校正算法消除所述初始图像的左初始图像和右初始图像的畸变。

具体的，根据双目相机的左右镜头的内参矩阵、畸变系数以及两个镜头之间的旋转矩阵消除所述初始图像的左初始图像和右初始图像的畸变。

其中，内参矩阵包括双目相机一个像素的物理尺寸、焦距以及图像物理坐标的扭曲因子等。畸变系数包括双目相机的径向畸变因子和切向畸变因子。径向畸变是由于双目相机的透镜本身工艺引起的，而切向畸变则是由于安装问题引起的。

示例性的，根据内参矩阵，将所述左初始图像的图像坐标系转化为左相机坐标系，右初始图像的图像坐标系转化为右相机坐标系，根据畸变系数以及旋转矩阵校正左相机坐标和右相机坐标系，再根据内参矩阵将校正后的左、右相机坐标系分别转换成左初始图像的图像坐标系和右初始图像的图像坐标系，并将原左初始图像的像素值赋予新坐标系下的图像，从而得到校正后的左初始图像和右初始图像。

步骤330、根据所述双目相机的对极约束特性，将所述左初始图像和右初始图像按行对齐，以使得所述左初始图像和右初始图像的对极线处于同一水平线。

其中，双目相机的左右相机的光心的连线为基线，像平面与基线的交点为极点，像点与极点所在的直线为对极线。对极约束特性描述的是左右相机匹配的像点和对极线的映射关系，即左初始图像的一个像点，在右初始图像中便会存在一个与之匹配的像点及一条与之对应的对极线。

具体的，可以以左初始图像为基准，使得左右初始图像的对极线处于同一水平线，这样设置的好处在于，左初始图像中任意一点在右初始图像匹配的点，必然与之拥有相同的行号，加快了特征点识别的速度，减少了计算量。

步骤340、将所述至少两帧初始图像转换为至少两帧积分图像。

步骤350、检测所述至少两帧积分图像中匹配的特征点。

步骤360、根据所述双目相机的对极约束特性，将不在同一行的所述匹配的特征点剔除。

为了进一步筛选特征点，将匹配的特征点中不在同一行的特征点剔除。在成像过程中，由于相机与目标相隔一段距离，光路会受到外界环境的影响，从而导致图像抖动或扭曲，为了提高特征点提取的精确度，需要将误匹配的特征点排除。处于不同行的特征点必然是误匹配的特征点，因此，需要剔除。

步骤370、根据双目相机成像原理，计算所述匹配的特征点在所述左初始图像和右初始图像的视差。

步骤380、根据所述视差确定所述特征点在世界坐标系的三维坐标。

示例性的，左右两相机的投影中心连线的距离，即基线距离B。两相机在同一时刻观看时空物体的同一特征点P(x_c，y_c，z_c)，下标c表示以左相机为准的相机坐标系下的坐标，分别在“左眼”和“右眼”上获取了点P的图像，坐标分别为P_left＝(X_left，Y_left)，P_right＝(X_right，Y_right)。标定两相机的图像在同一平面上，则特征点P的图像坐标的Y坐标一定是相同的，即Y_left＝Y_right＝Y。由三角几何关系可以得到如下关系式：

令视差D＝X_left—X_right，由此可以计算出特征点P在相机坐标系下的三维坐标：

其中，f为相机焦距。

进一步地，利用双目相机原理求得特征点在相机坐标系下的坐标，世界坐标系到相机坐标系之间的齐次变换为：

其中，

为世界坐标系下的坐标，

为相机坐标系下的坐标，

相机坐标系定义如下，Z_c从光心出发，沿光轴指向相机前方，X_c与光轴垂直并指向相机左侧，Y_c与光轴垂直并指向相机下方。

在相机平面建立世界坐标系，其xOy平面与水平面平行，x轴指向前方，y轴指向左侧，z轴竖直向上。则相机坐标系与世界坐标系的关系如下：

其中，

为相机安装角度导致的旋转矩阵，可由欧拉角到旋转矩阵的变换函数求得，将欧拉角转换为齐次变换矩阵，RPY顺序对应载体坐标系为yxz，因此，可以得到：

为平移变换，可认为

为平移变换，可认为

因此，

其中，

可由倾角仪测得数据计算，

已知。如此便可以得到相机坐标系与世界坐标系的转换关系，从而可以根据特征点P在相机坐标系下的三维坐标以及该转换关系，得到特征点P在世界坐标系下的三维坐标。

步骤390、根据所述三维坐标计算桥梁的位移。

具体的，根据所述匹配的特征点的三维坐标的变化量计算桥梁的位移。进一步地，根据变化量中各个方向的变化量可以确定桥梁各个方向的位移。

本发明实施例的技术方案，通过双目相机的特性进行图像畸变消除、对准以及特征点的筛选，充分利用了双目相机的优势，加快了特征点的监测速度，同时提高了特征点识别的精确度；根据双目相机的成像原理进行特征点的坐标计算，计算步骤少，所需时间短，提高了效率；根据特征点的坐标的变化来确定桥梁的位移，实现了桥梁位移的实时、无损监测，监测速度快，且监测方法适用性广、精度高。

实施例四

图4是本发明实施例四提供的一种基于视觉感知的桥梁位移的监测装置的示意图，如图4所示，该装置包括：初始图像获取模块410、图像转换模块420、特征点监测模块430和位移确定模块440。

其中，初始图像获取模块410，用于获取双目相机采集的至少两帧初始图像；图像转换模块420，用于将所述至少两帧初始图像转换为至少两帧积分图像，其中，所述积分图像中当前像素点的灰度值是根据所述初始图像设定矩形区域内各像素点的灰度值确定的，设定矩形区域是所述初始图像的原点与所述当前像素点为非相邻顶点的矩形区域；特征点监测模块430，用于检测所述至少两帧积分图像中匹配的特征点；位移确定模块440，用于根据所述匹配的特征点确定桥梁的位移。

可选的，初始图像获取模块410，具体用于：

其中，每帧所述初始图像包括左初始图像和右初始图像。

可选的，该桥梁位移的监测装置，还包括：

图像预处理模块：用于在获取双目相机采集的至少两帧初始图像之后、将所述至少两帧初始图像转换为至少两帧积分图像之前，根据所述双目相机的双目校正算法消除所述初始图像的左初始图像和右初始图像的畸变；根据所述双目相机的对极约束特性，将所述左初始图像和右初始图像按行对齐，以使得所述左初始图像和右初始图像的对极线处于同一水平线。

可选的，特征点监测模块430，包括：

图像滤波单元，用于根据盒式滤波器对所述至少两帧积分图像进行滤波；

特征点监测单元，用于根据海森矩阵的判别式检测滤波后的所述至少两帧积分图像中匹配的特征点。

可选的，特征点监测单元，包括：

海森矩阵构建子单元，用于构建滤波后的所述至少两帧积分图像的海森矩阵；

特征识别子单元，用于根据所述海森矩阵的判别式识别所述至少两帧积分图像的特征点；

尺度空间构造子单元，用于通过改变所述盒式滤波器的参数，构造所述至少两帧积分图像的尺度空间；

极值判断子单元，用于判断所述特征点的灰度值是否是所述尺度空间设定区域内的最大值；

特征矢量确定子单元，用于若所述特征点是最大值，则根据以所述特征点为中心设定半径的圆内像素点的特征确定所述特征点的特征矢量；

匹配特征点确定子单元，用于根据所述特征点中所述特征矢量的欧式距离确定匹配的特征点。

可选的，匹配特征点确定子单元，具体用于：

可选的，位移确定模块440，具体用于：

根据双目相机成像原理，计算所述匹配的特征点在所述左初始图像和右初始图像的视差；根据所述视差确定所述特征点在世界坐标系的三维坐标；根据所述三维坐标计算桥梁的位移。

可选的，该桥梁位移的监测装置，还包括：

特征点筛选模块，用于在根据所述匹配的特征点确定桥梁的位移之前，根据所述双目相机的对极约束特性，将不在同一行的所述匹配的特征点剔除。

本发明实施例所提供的基于视觉感知的桥梁位移的监测装置可执行本发明任意实施例所提供的基于视觉感知的桥梁位移的监测方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器510、存储器520、输入装置530和输出装置540；设备处理器510的数量可以是一个或多个，图5中以一个处理器510为例；设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于视觉感知的桥梁位移的监测方法对应的程序指令/模块(例如，基于视觉感知的桥梁位移的监测装置中的初始图像获取模块410、图像转换模块420、特征点监测模块430和位移确定模块440)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的基于视觉感知的桥梁位移的监测方法。

存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。

值得注意的是，上述基于视觉感知的桥梁位移的监测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种基于视觉感知的桥梁位移的监测方法，其特征在于，包括：

获取双目相机采集的至少两帧初始图像；

检测所述至少两帧积分图像中匹配的特征点；

根据所述匹配的特征点确定桥梁的位移。

2.根据权利要求1所述的方法，其特征在于，所述获取双目相机采集的至少两帧初始图像，包括：

获取双目相机采集的连续的至少两帧原始图像；

提取所述原始图像的感兴趣区域的图像，作为初始图像。

3.根据权利要求1所述的方法，其特征在于，每帧所述初始图像包括左初始图像和右初始图像，在获取双目相机采集的至少两帧初始图像之后、将所述至少两帧初始图像转换为至少两帧积分图像之前，还包括：

根据所述双目相机的双目校正算法消除所述初始图像的左初始图像和右初始图像的畸变；

根据所述双目相机的对极约束特性，将所述左初始图像和右初始图像按行对齐，以使得所述左初始图像和右初始图像的对极线处于同一水平线。

4.根据权利要求1所述的方法，其特征在于，所述检测所述至少两帧积分图像中匹配的特征点，包括：

根据盒式滤波器对所述至少两帧积分图像进行滤波；

根据海森矩阵的判别式检测滤波后的所述至少两帧积分图像中匹配的特征点。

5.根据权利要求4所述的方法，其特征在于，所述根据海森矩阵的判别式检测滤波后的所述至少两帧积分图像中匹配的特征点，包括：

构建滤波后的所述至少两帧积分图像的海森矩阵；

根据所述海森矩阵的判别式识别所述至少两帧积分图像的特征点；

通过改变所述盒式滤波器的参数，构造所述至少两帧积分图像的尺度空间；

判断所述特征点的灰度值是否是所述尺度空间设定区域内的最大值；

若是，则根据以所述特征点为中心设定半径的圆内像素点的特征确定所述特征点的特征矢量；

根据所述特征点中所述特征矢量的欧式距离确定匹配的特征点。

6.根据权利要求5所述的方法，其特征在于，所述根据各个特征点的欧式距离确定匹配的特征点，包括：

根据最近邻约束策略对所述特征点进行筛选；

将筛选后的特征点中欧式距离为0的特征点确定为匹配的特征点。

7.根据权利要求1所述的方法，其特征在于，在根据所述匹配的特征点确定桥梁的位移之前，还包括：

根据所述双目相机的对极约束特性，将不在同一行的所述匹配的特征点剔除。

8.根据权利要求3所述的方法，其特征在于，所述根据所述匹配的特征点确定桥梁的位移，包括：

根据双目相机成像原理，计算所述匹配的特征点在所述左初始图像和右初始图像的视差；

根据所述视差确定所述特征点在世界坐标系的三维坐标；

根据所述三维坐标计算桥梁的位移。

9.一种基于视觉感知的桥梁位移的监测装置，其特征在于，包括：

10.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的桥梁位移的监测方法。