CN113914407B - 一种基于bim与机器视觉的挖掘机开挖隧道精确控制系统 - Google Patents

Abstract

本发明提供一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统，包括用于获取隧道现场开挖断面信息的多线激光雷达，用于获取隧道现场环境图像信息的双目相机，用于将隧道现场开挖断面信息和隧道现场环境图像信息无线传输至中控计算机上的ZigBee无线模块，中控计算机利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型与已有BIM隧道模型进行自动对比，并将对比结果回传到挖掘机驾驶室内的显示装置上显示，且在对比结果出现超欠挖现象时触发驾驶室内的报警装置进行报警。本申请将工程建设领域前沿的建筑信息模型和激光雷达等先进技术进行结合，实现挖掘机隧道开挖智能控制，提升开挖精度，减少反应时间，有效控制超欠挖。

Description

一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统

技术领域

本发明涉及BIM技术与挖掘机隧道施工领域，具体涉及一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统。

背景技术

BIM(Building Information Modeling，建筑信息模型)是一个集成了建筑工程项目全寿命周期各种相关信息的三维数据库，BIM模型将工程项目设施实体与功能特性通过三维数字技术进行模拟，便于应用于设计、建造、管理各方面进程，可以提高建筑工程管理效率并大幅降低施工风险。

BIM技术作为建筑业信息化发展的重要技术手段，在房屋建筑工程优化设计、碰撞检查等方面发挥了积极的作用，为了充分发挥其在建筑业信息化的引领，开创新型监管模式，还需要将其与隧道机械开发进行更紧密的结合。

在隧道工程机械开挖(挖掘机)施工过程中，经常由于地质条件苛刻、现场管理不合理、技术控制难度高等各方面影响导致产生超欠挖，超欠挖控制的关键点为开挖轮廓线的精度控制。目前，现有防控措施通常利用全站仪定点喷漆描绘轮廓线，或采用激光导向的方式引导挖掘机的施工。但本发明的发明人经过研究发现，前述方式并不能完全满足隧道施工高精度的要求，需要高精准的施工技术控制才能保障其施工安全。

发明内容

针对现有隧道开挖施工超欠挖控制措施通常利用全站仪定点喷漆描绘轮廓线，或采用激光导向方式引导挖掘机施工，但并不能完全满足隧道施工高精度要求的技术问题，本发明提供一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统，包括多线激光雷达、双目相机、ZigBee无线模块、中控计算机、显示装置和报警装置，所述多线激光雷达和双目相机安装在挖掘机上，所述多线激光雷达用于获取隧道现场开挖断面信息，所述双目相机用于获取隧道现场环境图像信息，所述ZigBee无线模块安置在隧道开挖施工现场，所述ZigBee无线模块用于将隧道现场开挖断面信息和隧道现场环境图像信息无线传输至中控计算机上，所述中控计算机利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型，将该实测断面模型与已有BIM隧道模型进行自动对比，并将对比结果回传到设于挖掘机驾驶室内的显示装置上显示，且在对比结果出现超欠挖现象时触发设于挖掘机驾驶室内的报警装置进行报警。

与现有技术相比，本发明提供的基于BIM与机器视觉的挖掘机开挖隧道精确控制系统具有以下优点：1、通过引入BIM技术，集成多线激光雷达与双目相机成像，多线激光雷达可以提供对周围环境较高的测量精度，双目相机可以获得周围环境丰富的图像特征信息，两种传感器的结合可在融合建模过程中提供精确位姿计算；2、本申请将工程建设领域前沿的建筑信息模型和激光雷达等先进技术进行结合，实现挖掘机隧道开挖智能控制，提升了开挖精度，减少了反应时间，能有效控制超欠挖，完全满足隧道施工高精度要求，有效保障了施工安全；3、本申请针对传统监测方式信息数据采集传递效率低下、超欠挖信息不能实时传递等因素，有效的将事后处理转化为事中控制，从根源上阻止了超欠挖现象的产生，降低了隧道工程施工中超欠挖发生的概率和频率，合理规避因超欠挖作业产生的风险，从而提升了企业的经济效益；4、中控计算机可将实测断面模型与已有BIM隧道模型对比结果回传到设于挖掘机驾驶室内的显示装置上显示，且在对比结果出现超欠挖现象时触发设于挖掘机驾驶室内的报警装置进行报警，因而施工人员可以通过显示装置显示的该区域还需开挖的位置、长度和深度进行施工，直至达到隧道尺寸设计要求后停止该区域的施工，因此对于下一步的施工操作指示非常实时。

进一步，所述中控计算机利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型具体包括以下步骤：

S1、多线激光雷达点云数据与双目相机联合标定：

S11、将多线激光雷达的极坐标测量数据表示为[ρ,ω,α]，其中ρ表示激光点的数据，ω表示激光点的垂直角度，α表示激光点的水平角度，将激光点通过下式从极坐标形式转化为直角坐标形式：

S12、假设空间中一点在双目相机坐标系下坐标为X^C＝(x^C,y^C,z^C)^T，在像素坐标系下的坐标为(u,v)，将这个点的三维坐标和像素坐标通过如下公式表示：

式中，K为双目相机内参矩阵，[I 0]为单位矩阵；假设所述空间中一点在世界坐标系下的三维坐标为X^W＝(x^W,y^W,z^W)^T，将世界坐标系和双目相机坐标系的转化关系表达如下：

式中，R为世界坐标系与双目相机坐标系的旋转矩阵，t为世界坐标系与双目相机坐标系的平移矩阵；综合上式(2)和(3)，可得：

S13、依据求得的双目相机内参矩阵K，进行多线激光雷达与双目相机联合外参标定，将双目相机的像素点在像素坐标系下的二维坐标与多线激光雷达的激光点在激光雷达坐标系下的三维坐标一一对应起来，具体如下：

式中，R'为激光雷达坐标系与双目相机坐标系的旋转矩阵，t'为激光雷达坐标系与双目相机坐标系的平移矩阵；

S2、双目相机视觉特征匹配与特征点同步：

S21、使用BRIEF-128描述子，选取特征点附近的128对像素点；

S22、取出点集

特征点方向角度为A，通过下式转化为旋转矩阵：

则旋转后的点集S_A＝R_AS，特征描述子为：

g₁₂₈(i,A):＝f₁₂₈(I)I(u_i,v_i)∈S_A 式(7)

S23、使用汉明距离判断特征描述子间的匹配程度，若当前特征点与最邻近点的汉明距离越小且与次邻近点的汉明距离越大，则匹配效果越好，经过匹配可以得到从两个角度同时拍摄到的图像点；

S24、经过特征匹配，得到物理世界中B点在左眼相机O_L和右眼相机O_R两个相机图像中的投影点P_L和P_R，左眼相机O_L和右眼相机O_R的中心距离为基线的长度b，双目相机焦距为f，建立双目相机几何模型；

S25、根据建立的双目相机几何模型，通过下式求得B点与双目相机的垂直距离z：

式中，u_L为P_L的像素横坐标，u_R为P_R的像素横坐标；

S26、以左眼相机O_L中心为原点，建立相机坐标系O-x-y-z，设B点在相机坐标系中的坐标为(x_C,y_C,z_C)，此时B点的z坐标在左目图像中的像素坐标(u_L,v_L)均已知，由相机坐标系O-x-y-z中的相似三角形关系可得：

结合式(8)和式(9)计算出所有特征点在相机坐标系O-x-y-z下的三维坐标，每一组图像算出的特征点作为一帧点云数据；

S3、多线激光雷达特征匹配：

S31、多线激光雷达点云数据为H＝{h_k}.k＝1,...,K,h_k∈R²，设扫描帧的位姿为ξ，旋转的角度为θ，激光雷达位姿为T_ξ，则点云中全局坐标为：

式中，h表示点云中每个数据点，ξ_θ表示激光雷达采用数据的旋转，ξ_x、ξ_y表示激光雷达采用数据的平移；

S32、构建一个概率网格G:rZ*rZ→[P_min,P_max]，在分立网格点中设置分辨率大小，每个网格点的数值代表它存在障碍物点的概率，并定义每个网格点包含了它所在的方形区域内所有的点；

S33、将连续的多帧点云数据累积起来，形成局部地图与点云进行匹配，设置两个点集hit和miss，同时设置初始概率P_hit和P_miss，插入点云时把所在网格点记作hit，点云与挖掘机之间连线所有网格点记作miss，某网格点第一次被观测到就把它的概率P_m赋值P_hit或P_miss，若已经被观测过，则通过下式更新概率值：

G_new(x)＝clamp(odds^-1(odds(G_old(x))·odds(P_hit))) 式(12)

式中，P_m表示网格点存在障碍物的概率，odds()表示存在障碍物的概率和不存在的概率的比值，G_new()表示更新的概率，clamp()表示数值限制在[P_min,P_max]之间，G_old(x)表示之前已经观察到的网格点；

S4、融合建模：

S41、每隔一段时间，系统通过将当前帧的扫描点云数据与局部点云地图进行特征匹配，然后使用LM法进一步优化点云帧位姿与局部地图的位姿变换，再将当前扫描的点云扫描数据加入局部地图；

S42、使用双目相机采集的图像特征进行回环检测，需要在位姿图中加入视觉位姿节点，双目相机对周围环境感知频率远高于激光雷达，所以在相邻两个激光雷达位姿点之间会有多个视觉关键帧位姿，由此就完成了将视觉关键帧加入整体的位姿图；

S5、闭环检测：

图像闭环检测使用视觉词袋度量两幅图像的相似程度，经离线采集大量图像，提取出N个特征点，使用K-means方法将它们归成k个单词的词典，随机选取k个中心点c₁…c_k，计算每个样本与每个中心点的距离，取最小的作为它的归类，重新计算每个类的中心点，如果每个中心点都变化很小，则算法收敛结束，否则返回步骤S2；

使用TF-IDF模型计算相似度，在建立字典时计算IDF，统计某个单词w_i中特征点数量占所有特征点数量的比例，设一共有n个特征，n_i个w_i，该单词的逆向文件频率IDF如下式所示，且后面将IDF记为I：

设图像A中单词w_i出现了l_i次，而所有单词共出现了l次，单词出现频率TF记作F且为：

则w_i的权重等于F与IDF的乘积：

η_i＝F_i×I_i 式(15)

用一个向量v_A描述图像A：

使用L1范数形式采用下式计算两幅图像相似度：

式中，v_Ai表示向量v_A的各个元素，v_Bi表示向量v_B的各个元素；

S6、全局优化：

经过闭环检测后，判断检测结果，比如总分为100若分数大于70，则认为找到了足够相似的图像匹配，然后把这个匹配结果作为一个全局约束加入到优化问题中，将优化问题中的观测误差具体化为：

式中，argmin表示后式取得最小值时I_m、I_s的最小值，为了保证残差最小化时收敛速度和稳定性，使用回归损失函数ρ对观测误差进行封装，I_m是关键帧A在全局坐标系下的位姿，I_s是与关键帧A建立闭环的关键帧B在全局坐标系下的位姿，它们之间的约束通过相对位姿ξ_ij和协方差∑_ij来描述，对于一组关键帧i和j，相对位姿ξ_ij描述的是分别采集到该帧的时刻机器人所处的位置，这个位置由激光雷达的连续的帧间匹配给出，协方差∑_ij的由闭环检测算法给出，

表示优化全局中的局部子地图位姿，

表示扫描位姿，E表示残差函数，在这个约束问题中具体形式为：

式中，e()表示相对位姿同变换位姿的误差，

表示坐标平移分量，

表示旋转角度分量。

进一步，所述中控计算机将该实测断面模型与已有BIM隧道模型进行自动对比的过程为，通过下式计算BIM隧道模型S_S和实测断面模型S_C两者差值C：

C＝S_S-S_C

其中，当C＞0时，为欠挖；当C＜0时，为超挖；当C＝0时，为非超欠挖。

进一步，所述显示装置为显示屏，所述报警装置为蜂鸣器。

附图说明

图1是本发明提供的基于BIM与机器视觉的挖掘机开挖隧道精确控制系统原理框图。

图2是本发明提供的双目相机视差模型示意图。

图3是本发明提供的相机坐标系俯视示意图。

图4是本发明提供的概率网格结构示意图。

图5是本发明提供的BIM隧道模型和实测断面模型对比示意图。

图中，1、多线激光雷达；2、双目相机；3、ZigBee无线模块；4、中控计算机；5、显示装置；6、报警装置。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

请参考图1至图5所示，本发明提供一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统，包括多线激光雷达1、双目相机2、ZigBee无线模块3、中控计算机4、显示装置5和报警装置6，所述多线激光雷达1和双目相机2安装在挖掘机上，所述多线激光雷达1用于获取隧道现场开挖断面信息，具体激光雷达由于具有测距远、精度高、传输速率快等优点，目前在军事及商业领域均有了广泛的应用，车载三维成像激光雷达采用脉冲式测量原理，装载在挖掘机上可实现距离测量、三维地图绘制、自动导航等功能，是挖掘机隧道开挖的前沿性应用，所述双目相机2用于获取隧道现场环境图像信息，具体双目相机可以获得隧道周围环境丰富的特征信息，但是不能精确感知场景的深度和尺度信息，所述ZigBee无线模块3安置在隧道开挖施工现场，所述ZigBee无线模块3用于将隧道现场开挖断面信息和隧道现场环境图像信息无线传输至中控计算机4上，所述中控计算机4利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型，将该实测断面模型与已有BIM隧道模型进行自动对比，并将对比结果回传到设于挖掘机驾驶室内的显示装置5上显示，具体会显示实测断面与设计断面(BIM隧道模型)差值大小、开挖位置、长度和深度以及下一步施工操作指示，且在对比结果出现超欠挖现象时触发设于挖掘机驾驶室内的报警装置6进行报警，以提醒施工人员注意现场发生的异常情况。

与现有技术相比，本发明提供的基于BIM与机器视觉的挖掘机开挖隧道精确控制系统具有以下优点：1、通过引入BIM技术，集成多线激光雷达与双目相机成像，多线激光雷达可以提供对周围环境较高的测量精度，双目相机可以获得周围环境丰富的图像特征信息，两种传感器的结合可在融合建模过程中提供精确位姿计算；2、本申请将工程建设领域前沿的建筑信息模型和激光雷达等先进技术进行结合，实现挖掘机隧道开挖智能控制，提升了开挖精度，减少了反应时间，能有效控制超欠挖，完全满足隧道施工高精度要求，有效保障了施工安全；3、本申请针对传统监测方式信息数据采集传递效率低下、超欠挖信息不能实时传递等因素，有效的将事后处理转化为事中控制，从根源上阻止了超欠挖现象的产生，降低了隧道工程施工中超欠挖发生的概率和频率，合理规避因超欠挖作业产生的风险，从而提升了企业的经济效益；4、中控计算机可将实测断面模型与已有BIM隧道模型对比结果回传到设于挖掘机驾驶室内的显示装置上显示，且在对比结果出现超欠挖现象时触发设于挖掘机驾驶室内的报警装置进行报警，因而施工人员可以通过显示装置显示的该区域还需开挖的位置、长度和深度进行施工，直至达到隧道尺寸设计要求后停止该区域的施工，因此对于下一步的施工操作指示非常实时。

作为具体实施例，所述中控计算机4利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型具体包括以下步骤：

S1、多线激光雷达点云数据与双目相机联合标定：

S11、将多线激光雷达的极坐标测量数据表示为[ρ,ω,α]，其中ρ表示激光点的数据，ω表示激光点的垂直角度，α表示激光点的水平角度，将激光点通过下式从极坐标形式转化为直角坐标形式：

S12、假设空间中一点在双目相机坐标系下坐标为X^C＝(x^C,y^C,z^C)^T，在像素坐标系下的坐标为(u,v)，将这个点的三维坐标和像素坐标通过如下公式表示：

式中，K为双目相机内参矩阵，[I 0]为单位矩阵；假设所述空间中一点在世界坐标系下的三维坐标为X^W＝(x^W,y^W,z^W)^T，将世界坐标系和双目相机坐标系的转化关系表达如下：

式中，R为世界坐标系与双目相机坐标系的旋转矩阵，t为世界坐标系与双目相机坐标系的平移矩阵；综合上式(2)和(3)，可得：

S13、依据求得的双目相机内参矩阵K，进行多线激光雷达与双目相机联合外参标定，将双目相机的像素点在像素坐标系下的二维坐标与多线激光雷达的激光点在激光雷达坐标系下的三维坐标一一对应起来，具体如下：

式中，R'为激光雷达坐标系与双目相机坐标系的旋转矩阵，t'为激光雷达坐标系与双目相机坐标系的平移矩阵；

上式(5)即表达了将激光雷达坐标系下一点的三维坐标通过坐标转换映射到双目相机坐标系下的对应点的二维坐标，由此通过选择多线激光雷达视野下一点，再对应到双目相机视野中一点，并连续选择九对对应点，即可使用PnP(Perspective-n-Point)计算激光雷达和双目相机之间的坐标对应关系。

S2、双目相机视觉特征匹配与特征点同步：

S21、使用BRIEF-128描述子，选取特征点附近的128对像素点；

S22、取出点集

特征点方向角度为A，通过下式转化为旋转矩阵：

则旋转后的点集S_A＝R_AS，特征描述子为：

g₁₂₈(i,A):＝f₁₂₈(I)I(u_i,v_i)∈S_A 式(7)

S23、使用汉明(Hamming)距离判断特征描述子间的匹配程度，若当前特征点与最邻近点的汉明距离越小且与次邻近点的汉明距离越大，则匹配效果越好，经过匹配可以得到从两个角度同时拍摄到的图像点；

S24、经过特征匹配，得到物理世界中B点在左眼相机O_L和右眼相机O_R两个相机图像中的投影点P_L和P_R，左眼相机O_L和右眼相机O_R的中心距离为基线的长度b，双目相机焦距为f，建立双目相机几何模型如图2所示；

S25、根据建立的双目相机几何模型，通过下式求得B点与双目相机的垂直距离z，该垂直距离z即是本申请想要恢复的深度信息，具体在图2中根据相似三角形原理可得：

整理该式后得：

式中，u_L为P_L的像素横坐标，u_R为P_R的像素横坐标；

S26、以左眼相机O_L中心为原点，建立相机坐标系O-x-y-z如图3所示，设B点在相机坐标系中的坐标为(x_C,y_C,z_C)，此时B点的z坐标在左目图像中的像素坐标(u_L,v_L)均已知，由相机坐标系O-x-y-z中的相似三角形关系可得：

整理该式后得：

结合式(8)和式(9)计算出所有特征点在相机坐标系O-x-y-z下的三维坐标，每一组图像算出的特征点作为一帧点云数据。

S3、多线激光雷达特征匹配：

S31、多线激光雷达点云数据为H＝{h_k}.k＝1,...,K,h_k∈R²，设扫描帧的位姿为ξ，旋转的角度为θ，激光雷达位姿为T_ξ，则点云中全局坐标为：

式中，h表示点云中每个数据点，ξ_θ表示激光雷达采用数据的旋转，ξ_x、ξ_y表示激光雷达采用数据的平移；

S32、构建一个概率网格G:rZ*rZ→[P_min,P_max]，在分立网格点中设置分辨率大小，每个网格点的数值代表它存在障碍物点的概率，并定义每个网格点包含了它所在的方形区域内所有的点，具体概率网格如图4所示；

S33、为了提高帧间匹配的稳定性，将连续的多帧点云数据累积起来，形成局部地图与点云进行匹配，设置两个点集hit和miss，同时设置初始概率P_hit和P_miss，插入点云时把所在网格点记作hit，点云与挖掘机之间连线所有网格点记作miss，某网格点第一次被观测到就把它的概率P_m赋值P_hit或P_miss，若已经被观测过，则通过下式更新概率值：

G_new(x)＝clamp(odds^-1(odds(G_old(x))·odds(P_hit))) 式(12)

式中，P_m表示网格点存在障碍物的概率，odds()表示存在障碍物的概率和不存在的概率的比值，G_new()表示更新的概率，clamp()表示数值限制在[P_min,P_max]之间，G_old(x)表示之前已经观察到的网格点。

S4、融合建模：

S41、每隔一段时间，系统通过将当前帧的扫描点云数据与局部点云地图进行特征匹配，然后使用LM(Levenberg-Marquardt)法进一步优化点云帧位姿与局部地图的位姿变换，再将当前扫描的点云扫描数据加入局部地图；

S42、使用双目相机采集的图像特征进行回环检测，需要在位姿图中加入视觉位姿节点，双目相机对周围环境感知频率远高于激光雷达，所以在相邻两个激光雷达位姿点之间会有多个视觉关键帧位姿，由此就完成了将视觉关键帧加入整体的位姿图。

S5、闭环检测：

图像闭环检测使用视觉词袋度量两幅图像的相似程度，经离线采集大量图像，提取出N个特征点，使用K-means方法将它们归成k个单词的词典，随机选取k个中心点c₁…c_k，计算每个样本与每个中心点的距离，取最小的作为它的归类，重新计算每个类的中心点，如果每个中心点都变化很小，则算法收敛结束，否则返回步骤S2；

使用TF-IDF模型计算相似度，在建立字典时计算IDF，统计某个单词w_i中特征点数量占所有特征点数量的比例，设一共有n个特征，n_i个w_i，该单词的逆向文件频率IDF如下式所示，且后面将IDF记为I：

设图像A中单词w_i出现了l_i次，而所有单词共出现了l次，单词出现频率TF记作F且为：

则w_i的权重等于F与IDF的乘积：

η_i＝F_i×I_i 式(15)

用一个向量v_A描述图像A：

使用L1范数形式采用下式计算两幅图像相似度：

式中，v_Ai表示向量v_A的各个元素，v_Bi表示向量v_B的各个元素；

S6、全局优化：

经过闭环检测后，判断检测结果，比如总分为100若分数大于70，则认为找到了足够相似的图像匹配，然后把这个匹配结果作为一个全局约束加入到优化问题中，将优化问题中的观测误差具体化为：

式中，argmin表示后式取得最小值时I_m、I_s的最小值，为了保证残差最小化时收敛速度和稳定性，使用回归损失函数ρ对观测误差进行封装，I_m是关键帧A在全局坐标系下的位姿，I_s是与关键帧A建立闭环的关键帧B在全局坐标系下的位姿，它们之间的约束通过相对位姿ξ_ij和协方差∑_ij来描述，对于一组关键帧i和j，相对位姿ξ_ij描述的是分别采集到该帧的时刻机器人所处的位置，这个位置由激光雷达的连续的帧间匹配给出，协方差∑_ij的由闭环检测算法给出，

表示优化全局中的局部子地图位姿，

表示扫描位姿，E表示残差函数，在这个约束问题中具体形式为：

式中，e()表示相对位姿同变换位姿的误差，

表示坐标平移分量，

表示旋转角度分量。

作为具体实施例，请参考图5所示，所述中控计算机4将保存为*.rcp或*.rcs格式的实测断面模型(点云数据)与已有BIM隧道模型(设计断面数据)进行自动对比的过程为，通过下式计算BIM隧道模型S_S和实测断面模型S_C两者差值C：

C＝S_S-S_C

其中，当C＞0时，为欠挖；当C＜0时，为超挖；当C＝0时，为非超欠挖。具体对比结果将回传至挖掘机驾驶室的显示装置上显示，施工人员可通过显示装置显示的该区域还需开挖的位置、长度和深度进行施工，直至达到隧道尺寸设计要求即停止该区域施工，再继续开挖其他区域；当发生超欠挖现象时，中控计算机4将触发挖掘机驾驶室内的报警装置进行预警。

作为具体实施例，所述显示装置5为显示屏，所述报警装置6为蜂鸣器，当然本领域人员还可采用其他的显示装置和报警装置来进行显示报警。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统，其特征在于，包括多线激光雷达、双目相机、ZigBee无线模块、中控计算机、显示装置和报警装置，所述多线激光雷达和双目相机安装在挖掘机上，所述多线激光雷达用于获取隧道现场开挖断面信息，所述双目相机用于获取隧道现场环境图像信息，所述ZigBee无线模块安置在隧道开挖施工现场，所述ZigBee无线模块用于将隧道现场开挖断面信息和隧道现场环境图像信息无线传输至中控计算机上，所述中控计算机利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型，将该实测断面模型与已有BIM隧道模型进行自动对比，并将对比结果回传到设于挖掘机驾驶室内的显示装置上显示，且在对比结果出现超欠挖现象时触发设于挖掘机驾驶室内的报警装置进行报警；其中，所述中控计算机利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型具体包括以下步骤：

S1、多线激光雷达点云数据与双目相机联合标定：

S11、将多线激光雷达的极坐标测量数据表示为[ρ,ω,α]，其中ρ表示激光点的数据，ω表示激光点的垂直角度，α表示激光点的水平角度，将激光点通过下式从极坐标形式转化为直角坐标形式：

S12、假设空间中一点在双目相机坐标系下坐标为X^C＝(x^C,y^C,z^C)^T，在像素坐标系下的坐标为(u,v)，将这个点的三维坐标和像素坐标通过如下公式表示：

式中，K为双目相机内参矩阵，[I 0]为单位矩阵；假设所述空间中一点在世界坐标系下的三维坐标为X^W＝(x^W,y^W,z^W)^T，将世界坐标系和双目相机坐标系的转化关系表达如下：

式中，R为世界坐标系与双目相机坐标系的旋转矩阵，t为世界坐标系与双目相机坐标系的平移矩阵；综合上式(2)和(3)，可得：

S13、依据求得的双目相机内参矩阵K，进行多线激光雷达与双目相机联合外参标定，将双目相机的像素点在像素坐标系下的二维坐标与多线激光雷达的激光点在激光雷达坐标系下的三维坐标一一对应起来，具体如下：

式中，R'为激光雷达坐标系与双目相机坐标系的旋转矩阵，t'为激光雷达坐标系与双目相机坐标系的平移矩阵；

S2、双目相机视觉特征匹配与特征点同步：

S21、使用BRIEF-128描述子，选取特征点附近的128对像素点；

S22、取出点集

特征点方向角度为A，通过下式转化为旋转矩阵：

则旋转后的点集S_A＝R_AS，特征描述子为：

g₁₂₈(i,A):＝f₁₂₈(I)I(u_i,v_i)∈S_A 式(7)

S23、使用汉明距离判断特征描述子间的匹配程度，若当前特征点与最邻近点的汉明距离越小且与次邻近点的汉明距离越大，则匹配效果越好，经过匹配可以得到从两个角度同时拍摄到的图像点；

S24、经过特征匹配，得到物理世界中B点在左眼相机O_L和右眼相机O_R两个相机图像中的投影点P_L和P_R，左眼相机O_L和右眼相机O_R的中心距离为基线的长度b，双目相机焦距为f，建立双目相机几何模型；

S25、根据建立的双目相机几何模型，通过下式求得B点与双目相机的垂直距离z：

式中，u_L为P_L的像素横坐标，u_R为P_R的像素横坐标；

S26、以左眼相机O_L中心为原点，建立相机坐标系O-x-y-z，设B点在相机坐标系中的坐标为(x_C,y_C,z_C)，此时B点的z坐标在左目图像中的像素坐标(u_L,v_L)均已知，由相机坐标系O-x-y-z中的相似三角形关系可得：

结合式(8)和式(9)计算出所有特征点在相机坐标系O-x-y-z下的三维坐标，每一组图像算出的特征点作为一帧点云数据；

S3、多线激光雷达特征匹配：

S31、多线激光雷达点云数据为H＝{h_k}.k＝1,...,K,h_k∈R²，设扫描帧的位姿为ξ，旋转的角度为θ，激光雷达位姿为T_ξ，则点云中全局坐标为：

式中，h表示点云中每个数据点，ξ_θ表示激光雷达采用数据的旋转，ξ_x、ξ_y表示激光雷达采用数据的平移；

S32、构建一个概率网格G:rZ*rZ→[P_min,P_max]，在分立网格点中设置分辨率大小，每个网格点的数值代表它存在障碍物点的概率，并定义每个网格点包含了它所在的方形区域内所有的点；

S33、将连续的多帧点云数据累积起来，形成局部地图与点云进行匹配，设置两个点集hit和miss，同时设置初始概率P_hit和P_miss，插入点云时把所在网格点记作hit，点云与挖掘机之间连线所有网格点记作miss，某网格点第一次被观测到就把它的概率P_m赋值P_hit或P_miss，若已经被观测过，则通过下式更新概率值：

G_new(x)＝clamp(odds^-1(odds(G_old(x))·odds(P_hit))) 式(12)

式中，P_m表示网格点存在障碍物的概率，odds()表示存在障碍物的概率和不存在的概率的比值，G_new()表示更新的概率，clamp()表示数值限制在[P_min,P_max]之间，G_old(x)表示之前已经观察到的网格点；

S4、融合建模：

S41、每隔一段时间，系统通过将当前帧的扫描点云数据与局部点云地图进行特征匹配，然后使用LM法进一步优化点云帧位姿与局部地图的位姿变换，再将当前扫描的点云扫描数据加入局部地图；

S42、使用双目相机采集的图像特征进行回环检测，需要在位姿图中加入视觉位姿节点，双目相机对周围环境感知频率远高于激光雷达，所以在相邻两个激光雷达位姿点之间会有多个视觉关键帧位姿，由此就完成了将视觉关键帧加入整体的位姿图；

S5、闭环检测：

图像闭环检测使用视觉词袋度量两幅图像的相似程度，经离线采集大量图像，提取出N个特征点，使用K-means方法将它们归成k个单词的词典，随机选取k个中心点c₁…c_k，计算每个样本与每个中心点的距离，取最小的作为它的归类，重新计算每个类的中心点，如果每个中心点都变化很小，则算法收敛结束，否则返回步骤S2；

使用TF-IDF模型计算相似度，在建立字典时计算IDF，统计某个单词w_i中特征点数量占所有特征点数量的比例，设一共有n个特征，n_i个w_i，该单词的IDF如下式所示，且后面将IDF记为I：

设图像A中单词w_i出现了l_i次，而所有单词共出现了l次，单词出现频率TF记作F且为：

则w_i的权重等于F与IDF的乘积：

η_i＝F_i×I_i 式(15)

用一个向量v_A描述图像A：

使用L1范数形式采用下式计算两幅图像相似度：

式中，v_Ai表示向量v_A的各个元素，v_Bi表示向量v_B的各个元素；

S6、全局优化：

经过闭环检测后，判断检测结果，比如总分为100若分数大于70，则认为找到了足够相似的图像匹配，然后把这个匹配结果作为一个全局约束加入到优化问题中，将优化问题中的观测误差具体化为：

式中，argmin表示后式取得最小值时I_m、I_s的最小值，为了保证残差最小化时收敛速度和稳定性，使用回归损失函数ρ对观测误差进行封装，I_m是关键帧A在全局坐标系下的位姿，I_s是与关键帧A建立闭环的关键帧B在全局坐标系下的位姿，它们之间的约束通过相对位姿ξ_ij和协方差∑_ij来描述，对于一组关键帧i和j，相对位姿ξ_ij描述的是分别采集到该帧的时刻机器人所处的位置，这个位置由激光雷达的连续的帧间匹配给出，协方差∑_ij的由闭环检测算法给出，

表示优化全局中的局部子地图位姿，

表示扫描位姿，E表示残差函数，在这个约束问题中具体形式为：

式中，e()表示相对位姿同变换位姿的误差，

表示坐标平移分量，

表示旋转角度分量。

2.根据权利要求1所述的基于BIM与机器视觉的挖掘机开挖隧道精确控制系统，其特征在于，所述中控计算机将该实测断面模型与已有BIM隧道模型进行自动对比的过程为，通过下式计算BIM隧道模型S_S和实测断面模型S_C两者差值C：

C＝S_S-S_C

其中，当C＞0时，为欠挖；当C＜0时，为超挖；当C＝0时，为非超欠挖。

3.根据权利要求1所述的基于BIM与机器视觉的挖掘机开挖隧道精确控制系统，其特征在于，所述显示装置为显示屏，所述报警装置为蜂鸣器。

Images