CN108267172B - 矿用智能机器人巡检系统 - Google Patents

Abstract

本发明公开了一种矿用智能机器人巡检系统和方法，其中，矿用智能机器人巡检系统包括轨道循环转动子系统、机器人感知子系统、无线充电子系统、远程控制及深度学习子系统；轨道循环转动子系统用于带动机器人感知子系统绕轨道循环转动；机器人感知子系统用于对周围环境进行检测和通信；远程控制及深度学习子系统用于接收检测到的数据，并将控制指令发送到轨道循环转动子系统和机器人感知子系统。通过本发明的技术方案，在符合煤矿防爆标准的前提下，根据对环境参数的采集，利用深度学习对未知风险进行预测，利用远程控制对机器人巡检系统进行控制，实现了自动无线充电，提高了生产安全性，保证了巡检过程的可靠性。

Description

矿用智能机器人巡检系统

技术领域

本发明涉及机器人技术领域，尤其涉及一种矿用智能机器人巡检系统。

背景技术

长期以来，煤矿安全事故频发，主要包括瓦斯爆炸、塌方、渗水及如皮带、供电、通风、排水设备故障带来的事故。究其原因主要是没有按照规定进行严格的安全检查，从而导致有问题没有及时发现、处理，煤矿也没有一套稳定成熟的安全预警系统，以至造成严重后果。因此加强对煤矿的安全巡检管理已是刻不容缓的事情。

目前煤矿企业安装了一些安检设备，如在线式瓦斯监控报警系统，皮带监控保护系统、风机监控系统、中央变电所保护系统、矿压监控系统及水文监控系统等，虽然起到了一定的效果，但还是存在安全隐患，首先监控点安装的位置有限，设备有可能产生故障失效，不能及时有效的避免事故的发生；其次需要人员进行井下巡检，但是由于安全巡检员的责任心问题及专业水平问题，巡而不检的做法常有发生。总之巡检对煤矿安全非常重要，但是人工巡检浪费人力，效率低下且因煤矿井下工作条件恶劣，对人身安全存在威胁，并不能实质上解决所有的安全隐患。

为真正实现矿井通风、供电、供排水、供暖、压风、制氧、皮带运输及提升设备及系统的“无人值守，有人巡视”的目标，减小人为差错造成的事故概率，减少井下巡检作业人数，矿用人工智能机器人的开发使用应运而生。

现有技术中，一种吊装式自动巡检机器人提出通过轨道机配带滑线机构在工字型轨道上运行，驱动装置固定于轨道机外壳内。但工字形轨道为外侧面，容易积灰形成障碍物，影响滚轮正常行走；该装置通过裸露滑触头供电，不符合煤炭安全规程，难以适用于煤矿等恶劣环境。

另一种悬挂式巡检机器人装置提出通过在轨道上设置巡检车，巡检轨道上布置电力线，巡检轨道上布置齿条，与巡检车的滚轮咬合，通过驱动巡检车内部电机，带动巡检车在轨道内移动。但用电力线运行范围有限，拖动时电力线会与轨道摩擦，长时间会磨损绝缘层，会产生火花，引起煤矿事故，同时电力线也难以适用于煤矿长距离坡道等环境。

现有技术中的巡检机器人装置都不具备人工智能元素，没有自然语言识别功能，没有深度学习，不具备机器视觉，这样并不能有效服务于煤矿安全生产，提高安全水平和生产效率。

发明内容

针对上述问题中的至少之一，本发明提供了一种矿用智能机器人巡检系统，通过拼接搭建循环转动的轨道，带动机器人感知子系统稳定运行于任何角度的坡道、转弯和立井提升等特殊环境中进行巡检，机器人感知子系统可完成360°转动摄像头采集图像、多参数气体监测、精确定位、声音和温度采集、信号无线传输、双向对讲等功能；机器人感知子系统通过无线充电方式充电，实现自动电量补充，提高巡检效率，具备全年无休的连续工作能力；机器人感知子系统可自动回避障碍物，根据前进路线障碍情况调整行进速度和方向；机器人感知子系统运用人工智能自然语言处理技术，可实现对所述机器人感知子系统的语音控制。巡检系统还具有深度学习的能力，通过机器人感知子系统和其它矿用信息化系统检测到的多维度数据，多维度数据作为关键特征帮助系统进一步学习，最终对矿山井下安全特性建立起完善的数学建模，达到人类专家级认知，可以发现已知、预测未知的风险。此外，巡检系统具备视觉识别功能，能够从采集到的视频图像中提取关键特征，运用偏振光学滤镜、负差复杂卷积神经网路、视觉光流法和深度学习创造的适用于井下复杂环境的机器视觉设备和算法，能够自动识别读取井下设备显示屏数据，解决掘进面和开采工作面煤雾环境下的煤岩识别，皮带运输危险异物识别与自动拾取等世界难题。

为实现上述目的，本发明提供了一种矿用智能机器人巡检系统，包括：轨道循环转动子系统、机器人感知子系统、无线充电子系统、远程控制及深度学习子系统；所述轨道循环转动子系统包括防爆电机、轨道和轨道链条，所述轨道链条设置于轨道内，所述防爆电机带动所述轨道链条在所述轨道内循环转动，所述轨道链条的链条滚轮上设置吊装件，所述机器人感知子系统固定于所述吊装件下端；所述机器人感知子系统包括中央控制器、感知模组、无线信号收发模块、电源组件，所述感知模组用于对周围环境进行检测，所述感知模组与所述中央控制器相连接，所述中央控制器与所述无线信号收发模块相连接，所述无线信号收发模块与所述远程控制及深度学习子系统实现通信连接，所述电源组件用于接收所述无线充电子系统的无线电能传输，并对相连接的所述中央控制器、所述感知模组和所述无线信号收发模块供电；所述无线充电子系统固定安装于所述轨道某一处下方所述机器人感知子系统的行程一侧，并与所述电源组件对应设置；所述远程控制及深度学习子系统用于接收所述无线信号收发模块和其它矿用信息化系统传输来的数据，并将控制指令发送到所述机器人感知子系统和所述轨道循环转动子系统。

在上述技术方案中，优选地，所述机器人感知子系统还包括无线对讲模块，用于与所述远程控制及深度学习子系统进行双向语音交互；所述无线对讲模块包括自然语言处理模组、抗噪麦克风和本安型扬声器，所述自然语言处理模组通过人工智能自然语言处理技术实现对所述机器人感知子系统的语音控制；所述无线对讲模块分别与所述无线信号收发模块和所述电源组件相连。在上述技术方案中，优选地，所述机器人感知子系统的感知模组具体包括：防碰撞模块、激光多环境参数传感模块、精确定位模块、云台夜视摄像头；所述防碰撞模块使用一体化电扫相控雷达对障碍物进行测距定位，所述激光多环境参数传感模块使用光谱分析技术对瓦斯浓度、一氧化碳浓度、氧气浓度、温度、湿度及烟雾浓度进行检测，所述精确定位模块使用超宽带技术对所述机器人感知子系统进行所在位置分米级定位，所述云台夜视摄像头用于井下特殊环境的图像采集。

在上述技术方案中，优选地，所述云台夜视摄像头电路设计本质安全，任意二点短路产生的能量小于8W；所述云台夜视摄像头自带红外测距测温装置，对图像采集区域进行测距、测温；所述云台夜视摄像头自带可更换5000次的镜头膜更换装置，镜头膜更换装置自动根据镜头膜污损情况更换新镜头膜，带煤灰和水珠的污损镜头膜收纳于装置中的废膜箱内；所述云台夜视摄像头自带光学偏振滤镜，用于检测大气光的偏振成分，通过物理差分同一场景不同大气光强度的偏振成分，得到去除掉煤灰和水雾的清晰视频图像。

在上述技术方案中，优选地，所述机器人感知子系统的电源组件包括充电模块、充放电保护管理电路、电池和稳压电路，所述充电模块用于接收所述无线充电子系统的无线电能传输，所述充电模块与所述充放电保护管理电路相连，所述充放电保护管理电路分别与所述电池和所述稳压电路相连，所述稳压电路分别与所述中央控制器、所述感知模组、所述无线信号收发模块和所述无线对讲模块相连；所述充放电保护管理电路包含双重防爆本质安全栓，当机器人感知子系统任意两点短路时，防爆本质安全栓保证短路电流不超过3A，整体功率不超过15W，所产生的能量不足以点燃瓦斯气体，双重是为了保证单一防爆本质安全栓失效时的防爆安全性能。

在上述技术方案中，优选地，所述轨道循环转动子系统的轨道包括直轨、水平弯轨和升降弯轨，所述轨道组合连接为循环封闭结构，所述轨道的水平段设置有张紧装置，所述张紧装置通过弹簧压缩或吊拉方式使所述轨道链条处于紧绷状态；所述轨道为开口向下的C型槽结构，所述轨道的下槽口的内表面铺设赛钢卡条，所述下槽口的外表面设置密封胶条，所述赛钢卡条和所述密封胶条通过沉头螺钉和夹板固定；所述下槽口两侧的密封胶条于槽口下方交叉密封，所述吊装件穿过所述轨道的下方槽开口，所述吊装件靠近所述下槽口的侧面包覆绝缘胶皮，并在所述轨道链条带动所述吊装件运动时所述密封胶条与所述吊装件的绝缘胶皮相对摩擦；所述轨道链条包括赛钢材质的链条滚轮，所述链条滚轮内嵌设平面轴承，所述链条滚轮的轮体分设于所述平面轴承两侧，两侧的轮体分别于所述下槽口两侧的赛钢卡条上滚动。

在上述技术方案中，优选地，所述无线充电子系统包括隔爆腔体和本安腔体，所述隔爆腔体内包括隔离变压器、整流滤波电路、DCDC隔离稳压电路和双重防爆本质安全栓，所述本安腔体内包括无线传能装置，所述隔离变压器与供电线路相连，所述整流滤波电路与所述隔离变压器相连，用于将所述隔离变压器变压后的输出交流电变换为直流电，所述DCDC隔离稳压电路与所述整流滤波电路相连，用于输出稳定直流电压，所述双重防爆本质安全栓与所述DCDC隔离稳压电路相连，用于对所述无线传能装置供电，所述无线传能装置用于对所述机器人感知子系统的电源模块进行无线供电。

本发明还提出一种矿用智能机器人巡检方法，包括：将机器人感知子系统监测到的数据和视频图像通过无线信号收发模块发送到云端的远程控制及深度学习子系统；所述远程控制及深度学习子系统将接收到的数据以所述机器人感知子系统所在精确位置及监测时间点作为参数标签进行分类存储；所述远程控制及深度学习子系统同步接收矿用安全信息化系统传递来的所有数据，将有关联的数据以监测点位置和监测时间点作为参数标签进行分类存储。

所述远程控制及深度学习子系统中的算法服务器利用递归神经网络对存储的各类型数据与观察变量(关键安全参数)的隐藏关联性进行深度学习，建立变量联系模型，并随着数据的积累逐步提高模型的准确性；所述算法服务器利用变量联系模型判断当前关键安全参数是否有危险存在，并通过数据的变化预估关键安全参数的发展趋势，如发现危险的趋势，将现有的危险及危险趋势分别报警；

所述算法服务器利用负差复杂卷积神经网络机器视觉算法对接收到的视频图像进行识别；识别对象是皮带运输的煤流时，在图像中将能危害皮带运输安全的大块煤矸石、木质或铁质锚杆及其他异物明确标识，定位位置，然后将并将识别结果反馈到皮带分拣机械手装置或人工分拣辅助显示屏；所述识别对象是开采或掘进工作面时，在图像中将煤层和岩层的分界线标识出来，然后将识别结果反馈到采煤机或掘进机遥控平台，自动或手动调整采煤机及掘进机行进方向；所述识别对象是仪表设备时，将显示屏的各项读数指标转化为文字及数字，然后将设备图像、位置及识别结果反馈到煤矿调度指挥中心进行显示和存储；所述识别对象是人或运输车辆时，将识别结果与人员车辆库中历史数据作比对，确定其身份及存在的合理性，无法识别身份或不在其应该在的场合生成报警信息，然后将图像、位置及识别结果反馈到煤矿调度指挥中心进行显示和报警；不在识别范围内场景直接将视频图像传回煤矿调度指挥中心进行显示。所述远程控制及深度学习子系统中的控制系统根据预设的路线及规则或人工控制指令，综合接收到的机器人感知子系统发送的数据和视频图像，对所述机器人感知子系统和轨道循环转动子系统发送控制命令。

在上述技术方案中，优选地，所述远程控制及深度学习子系统中的算法服务器利用递归神经网络对数据间的隐藏关联性进行学习的具体过程包括：以分类存储的各类型数据作为隐函数变量与观察变量(关键安全参数)利用变分自编码器进行正向建模，并计算所述观察变量为输入量且所述隐含变量为输出量的出现概率；若所述出现概率的最大值恒等于0，说明没有任何关联性，则将所述该类型隐函数变量从所述观察变量的关联隐函数变量集中删除，否则根据似然建立反向深层模型；判断所述反向深层模型以所述该类型隐函数变量为输入的输出量与所述正向模型的输入量是否相近；若判定相近，则得到最大似然结果并确定所述正向模型正确，否则运用生成式对抗网络生成判别模型，并将所述反向深层模型的输出量与所述正向模型的输入量之间的偏差输入所述判别模型计算得到损失函数；利用所述损失函数在正向模型中反向梯度传递，对所述正向模型进行改进，并重新判断所述反向深层模型的输出量与改进后的正向模型的输入量之间的偏差，直到得到最大似然结果。

在上述技术方案中，优选地，所述算法服务器利用负差复杂卷积神经网络机器视觉算法对接收到的视频图像进行识别，并将识别结果反馈的具体过程包括：利用复杂卷积神经网络对视频图像进行数学建模；利用视觉光流法检测出检测图像中运动对象，比较时间t的图像与t-1时刻的图像，以差分的方式去除视频图像干扰，所述干扰包括但不限于镜头上煤灰或水珠；同时对图像目标进行检测和分割；利用机器视觉深度学习系统判断所述图像目标的类型和安全性定义，将需要的图像目标类型标记，在边缘标记界限，使用自然语言处理技术同步生成文字描述；将识别结果和生成语言反馈至相关使用场景，为进一步处理提供辅助决策依据。与现有技术相比，本发明的有益效果为：做了防水、防尘及防爆处理，符合煤矿井下特殊环境要求；轨道循环转动子系统含有通过拼接搭建可以无限延伸的循环转动的轨道，能带动机器人感知子系统稳定运行于任何角度及长度的坡道、转弯和立井提升等特殊环境中进行巡检；机器人感知子系统可完成360°转动摄像头采集图像、多参数气体监测、精确定位、声音和温度采集、信号无线传输、语音控制、双向对讲等功能；机器人感知子系统通过本质安全型的无线充电方式充电，实现自动电量补充，提高巡检效率，具备全年无休的连续工作能力；巡检系统还具有深度学习的能力，从机器人感知子系统及其它煤矿信息化系统采集多维度数据，多维度数据作为关键特征帮助巡检系统进一步学习，最终对矿山井下安全特性建立起完善的数学建模，达到人类专家级认知，可以发现已知、预测未知的风险。此外，巡检系统具备视觉识别功能，能够从采集到的视频图像中提取关键特征，运用偏振光学滤镜、负差复杂卷积神经网路、视觉光流法和深度学习创造的适用于井下复杂环境的机器视觉设备和算法，能够自动识别读取井下设备显示屏数据，解决掘进面和开采工作面煤雾环境下的煤岩识别，皮带运输危险异物识别与自动拾取等世界难题。

附图说明

图1为本发明一种实施例公开的矿用智能机器人巡检系统的示意图；

图2为本发明一种实施例公开的链条滚轮的结构示意图；

图3为本发明一种实施例公开的无线充电子系统与机器人感知子系统的外形及充电示意图；

图4为本发明一种实施例公开的机器人感知子系统的系统组成示意框图；

图5为本发明一种实施例公开的矿用智能机器人巡检方法的流程示意图；

图6为本发明一种实施例公开的数据间隐藏关联性的深度学习方法的流程示意图。

图中，各组件与附图标记之间的对应关系为：

1.防爆电机及电机驱动器，2.无线充电子系统，3.齿轮减速机，4.传动链条，5.传动座，6.障碍物，7.轨道，8.轨道链条，9.机器人感知子系统，10.张紧装置，11.链条滚轮，12.赛钢卡条，13.沉头螺钉，14.密封胶条，15.吊装件，16.绝缘胶皮，17.感知模组，171.防碰撞模块，172.激光多环境参数传感模块，173.精确定位模块，174.云台夜视摄像头，18.中央控制器，19.无线信号收发模块，20.无线对讲模块，201.自然语言处理模组，202.抗噪麦克风，203.本安型扬声器，211.本安腔体，212.隔爆腔体，22.电源组件，221.充电模块，222.充放电保护管理电路，223.电池，224.稳压电路，23.远程控制及深度学习子系统。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图1至图4所示，根据本发明提供的一种矿用智能机器人巡检系统，包括：轨道循环转动子系统、机器人感知子系统9、无线充电子系统2、远程控制及深度学习子系统23；轨道循环转动子系统包括防爆电机及电机驱动器1、齿轮减速机3、传动链条4、传动座5、轨道7和轨道链条8，防爆电机与电机驱动器相连，齿轮减速机3与防爆电机及电机驱动器1相连，传动座5与齿轮减速机3通过传动链条4相连，传动座5与轨道链条8之间通过齿轮咬合连接，传动座5固定于轨道7上，轨道链条8设置于轨道7内，轨道7为开口向下的C型槽结构，轨道链条8的链条滚轮11上设置吊装件15，吊装件15穿过轨道7的下方槽开口，机器人感知子系统9固定于吊装件15下端；机器人感知子系统9包括中央控制器18、感知模组17、无线信号收发模块19、电源组件22，感知模组17用于对周围环境进行检测，感知模组17与中央控制器18相连接，中央控制器18与无线信号收发模块19相连接，无线信号收发模块19与远程控制及深度学习子系统23实现通信连接，电源组件22用于接收无线充电子系统2的无线电能传输，并对相连接的中央控制器18、感知模组17和无线信号收发模块19供电；无线充电子系统2固定安装于轨道7某一处下方机器人感知子系统9的行程一侧，并与电源组件22对应设置；远程控制及深度学习子系统23用于接收无线信号收发模块19和其它矿用信息化系统传输来的数据，并将控制指令通过无线信号收发模块19发送到中央控制器18，防爆电机及电机驱动器1通过自带的通信装置与远程控制及深度学习子系统23实现通信。

在上述实施例中，优选地，机器人感知子系统9还包括无线对讲模块20，无线对讲模块20包括自然语言处理模组201、抗噪麦克风202和本安型扬声器203，无线对讲模块20分别与无线信号收发模块19和电源组件22相连。

在上述实施例中，优选地，机器人感知子系统9的感知模组17具体包括：本安型防碰撞模块171、本安型激光多环境参数传感模块172、本安型精确定位模块173、本安型云台夜视摄像头174；本安型防碰撞模块171使用一体化电扫相控雷达对障碍物进行无的测距定位，本安型激光多环境参数传感模块172使用光谱分析技术对瓦斯浓度、一氧化碳浓度、氧气浓度、温度、湿度及烟雾浓度进行检测，本安型精确定位模块173使用超宽带技术对机器人感知子系统9进行分米级定位，本安型云台夜视摄像头174用于采集图像，本安型云台夜视摄像头174自带红外测距测温装置，对图像采集区域进行测距、测温，所述云台夜视摄像头自带镜头膜更换装置，用于自动清洁镜头；所述云台夜视摄像头自带光学偏振滤镜，用于去除井下煤灰和水雾的干扰。

在上述实施例中，优选地，机器人感知子系统9的电源组件22包括充电模块221、充放电保护管理电路222、电池223和稳压电路224，充电模块221用于接收无线充电子系统2的无线电能传输，充电模块221与充放电保护管理电路222相连，充放电保护管理电路222分别与电池223和稳压电路224相连，稳压电路224分别与中央控制器18、感知模组17、无线信号收发模块19和无线对讲模块20相连；充放电保护管理电路包含双重防爆本质安全栓，当机器人感知子系统任意两点短路时，防爆本质安全栓保证短路电流不超过3A，整体功率不超过15W，所产生的能量不足以点燃瓦斯气体，双重是为了保证单一防爆本质安全栓失效时的防爆安全性能。

在上述实施例中，优选地，轨道7的下槽口的内表面铺设赛钢卡条12，下槽口的外表面设置密封胶条14，赛钢卡条12和密封胶条14通过沉头螺钉13和夹板固定；下槽口两侧的密封胶条14于槽口下方交叉密封，吊装件15靠近下槽口的侧面包覆绝缘胶皮16，并在轨道链条8带动吊装件15运动时密封胶条14与吊装件15的绝缘胶皮16相对摩擦；轨道链条8包括赛钢材质的链条滚轮11，链条滚轮11内嵌设平面轴承，链条滚轮11的轮体分设于平面轴承两侧，两侧的轮体分别于下槽口两侧的赛钢卡条12上滚动。

在上述实施例中，优选地，无线充电子系统2包括隔爆腔体212和本安腔体211，隔爆腔体212内包括隔离变压器、整流滤波电路、DCDC隔离稳压电路和双重防爆本质安全栓，本安腔体211内包括无线传能装置，隔离变压器与供电线路相连，整流滤波电路与隔离变压器相连，用于将隔离变压器变压后的输出交流电变换为直流电，DCDC隔离稳压电路与整流滤波电路相连，用于输出稳定直流电压，双重防爆本质安全栓与DCDC隔离稳压电路相连，用于对无线传能装置供电，无线传能装置用于对机器人感知子系统9的电源组件22进行无线供电。

在上述实施例中，优选地，轨道7包括直轨、水平弯轨和升降弯轨，轨道7组合连接为循环封闭结构，轨道7的水平段设置有张紧装置10，张紧装置10通过弹簧压缩或吊拉方式使轨道链条8处于紧绷状态。

在该实施例中，轨道循环转动子系统包括防爆电机及电机驱动器1、齿轮减速机3、传动链条4、传动座5、轨道7和轨道链条8；轨道7由C字形直轨、弯轨(水平弯轨、垂直升、降轨)组成，通过螺纹紧固或焊接连接方式可安装不小于2千米长度距离，直轨道标准长度3米，弯轨直径为0.6米，可截短安装处理；通过升降轨、弯轨可实现变坡及绕开固定障碍物6。轨道7为顶部封闭，开口向下的结构，并且轨道7两侧密封胶条14互相倾斜向下压缩，常态下可密封C型轨道7底部缺口，防止煤灰、水等进入轨道7，达到防尘、防水要求。轨道循环转动子系统由远程控制及深度学习子系统23控制，通过通信装置输出驱动信号到电机驱动器，从而控制防爆电机转动(启停、转向、调整转速)，防爆电机经齿轮减速机3减速，由传动链条4将动能传递到传动座5，传动座5通过齿轮将动能传递到轨道链条8，从而驱动轨道链条8在轨道7内转动，机器人感知子系统9吊装于轨道链条8下端，由链条带动在轨道7下方移动，通过行程开关确定机器人充电停靠点。其中，通信装置优选地选用WIFI或FDD LTE等无线通信装置。

其中，无线充电子系统2为隔爆兼本安型无线充电系统，由隔爆腔体212和本安腔体211组成：隔爆腔体212内包含隔离变压器、整流滤波电路、DCDC隔离稳压电路及双重防爆本质安全栓；本安腔体211内包含无线传能装置；隔爆兼本安无线充电子系统2通过矿用供电线路输入127V或660V交流电，通过隔离变压器转换为127V电压，通过整流滤波电路变换为直流电，经过DCDC隔离稳压电路变换为24V直流电，然后通过双重防爆本质安全栓给无线传能装置供电，无线传能装置以电磁传能或微波传能方式给机器人感知子系统9的电源组件22充电。

具体地，机器人感知子系统9主要由中央控制器18、感知模组17、无线对讲模块20、自然语言处理模组201、抗噪麦克风202、本安型扬声器203、无线信号收发模块19、电源组件22组成，电源组件22由电池223、充放电保护管理电路222、DCDC稳压电路224及充电模块221组成。

充电模块221在外界有无线电能传输时，在充放电保护管理电路222控制的电压电流下给电池223充电；电池223通过充放电管理保护电路输出电能，再经过DCDC稳压电路224输出5V及3.3V直流电，给机器人感知子系统9的其余各部分供电。

中央控制器18接收感知模组17传递的数据，通过转化协议加密后通过无线信号收发模块19发送给云端的机器人远程控制及深度学习子系统23，并接收返回的控制命令，对感知模组17实行控制。优选地，中央控制器18采用低功耗CPU或ARM嵌入式控制器。

无线对讲模块20，从抗噪麦克风202收音，通过本安型扬声器203放声，通过无线信号收发模块19与云端的机器人远程控制及深度学习子系统23进行双向语音交互；无线信号收发模块19使用的通信方式有WIFI及FDD LTE，使用的频率有300M、800M、1.8G、2.4G及5G；自然语言处理模组201从抗噪麦克风202收音，通过自身算法处理后，将语音指令通过无线信号收发模块19发送到云端的机器人远程控制及深度学习子系统，再由云端的机器人远程控制及深度学习子系统对轨道循环转动子系统发布控制命令。

感知模组17包括本安型防碰撞模块171、本安型激光多环境参数传感模块172、本安型精确定位模块173、本安型云台夜视摄像头174(含红外测温装置)；本安型防碰撞模块171使用一体化电扫相控雷达实现对障碍物测距定位；本安型激光多环境参数传感模块172使用光谱分析技术实现瓦斯、一氧化碳、氧气、温度、湿度、烟雾多参数监测；本安型精确定位模块173使用超宽带技术实现机器人感知子系统所在位置的分米级定位；本安型云台夜视摄像头174(含红外测温装置)可360°转动采集图像，能够适应井下昏暗及无光环境。

本安型云台夜视摄像头电路设计本质安全，任意二点短路产生的能量小于8W；摄像头自带红外测距测温装置，可对视野内设备测距并对其测温；井下空间，特别是工作面空间，水雾大，空气中布满以煤灰为主要介质的粉尘，因此，在云台夜视摄像头上自带可更换5000次的镜头膜更换装置，镜头膜更换装置自动根据镜头膜污损情况更换新镜头膜，带煤灰和水珠的污损镜头膜收纳于装置中的废膜箱内；自带光学偏振滤镜，用于检测大气光的偏振成分，通过物理差分同一场景不同大气光强度的偏振成分，得到去除掉煤灰和水雾的清晰视频图像。

机器人远程控制及深度学习子系统23布置在云端，包括控制系统、数据存储系统及算法服务器。其中，控制系统根据系统预置的路线及规则或人工控制指令，对轨道循环转动子系统发布控制命令，控制命令包括转速、转向及行进距离；依据障碍物6与机器人的相对位置和相对速度，自动对轨道循环转动子系统发布减速、停止或后退等避让指令，该指令优先级高于预定规划及人工指令优先级。

数据存储系统接收本质安全型机器人感知子系统9发送来的数据，分类进行存储，所有数据均加入机器人感知子系统9所在精确位置及当前监测时间点作为参数标签；数据存储系统同时也接收主井提升监控保护系统、井下皮带运输监控保护系统、通风监测系统、压风控制系统、矿井供配电控制系统、井下排水自动化系统、矿井安全生产监测监控系统、井下人员安全监测定位系统、UPS监控子系统、束管监测系统、矿压监测系统、水文监测系统及采煤机监测系统等矿用信息化系统的数据，以监测点位置和监测时间点作为参数标签进行分类存储，实现全矿井数据的综合分析判断。

算法服务器利用递归神经网络对数据存储系统存储的各类型数据与观察变量(关键安全参数)间的隐藏关联性进行深度学习，建立变量联系模型，并随着数据的积累逐步提高模型的准确性；算法服务器利用变量联系模型判断当前关键安全参数是否有危险存在；算法服务器利用负差复杂卷积神经网络机器视觉算法对接收到的视频图像进行识别，然后将设备图像、位置及识别结果反馈到煤矿调度指挥中心进行显示和存储。

上述实施例中提出的矿用智能机器人巡检系统，是一种适用于煤矿特殊防爆环境及复杂巷道条件的，具备自然语言识别、机器视觉及自我学习能力等人工智能元素的矿用智能机器人巡检系统，取代原有的人工巡检。机器人运行距离长，监控范围广，可自主运行及远程控制，可完成对目标区域环境及设备24小时不间断监测，及时提醒风险点，发现问题。当设备出现故障或井下环境参数异常，工作人员能通过矿用智能机器人巡检系统及时定位故障，远程查看现场，进一步地，可远程查找、处理问题，为安全生产赢得时间、创造条件。

如图5所示，本发明还提出一种矿用智能机器人巡检方法，包括：步骤S11，将机器人感知子系统9检测到的数据和视频图像通过无线信号收发模块19发送到云端的远程控制及深度学习子系统23；步骤S12，远程控制及深度学习子系统23中的数据存储系统将接收到的机器人感知子系统9的数据以机器人感知子系统9所在精确位置及当前监测时间点作为参数标签进行分类存储，同步接收矿用安全信息化系统传递来的所有数据，将有关联的数据以监测点位置和监测时间点作为参数标签进行分类存储；步骤S13，远程控制及深度学习子系统23中的算法服务器利用递归神经网络对存储的各类型数据与观察变量(关键安全参数)间的隐藏关联性进行深度学习，建立变量联系模型，并随着数据的积累逐步提高模型的准确性；步骤S14，算法服务器利用变量联系模型判断当前关键安全参数是否有危险存在，并通过数据的变化预估关键安全参数的发展趋势，如发现危险的趋势，将现有的危险及危险趋势分别报警；步骤S15，算法服务器利用负差复杂卷积神经网络机器视觉算法对接收到的视频图像进行识别；步骤S151，识别对象是皮带运输的煤流时，在图像中将能危害皮带运输安全的大块煤矸石、木质或铁质锚杆及其他异物明确标识，定位位置，然后将识别结果反馈到控制系统反馈到控制系统皮带分拣机械手装置或人工分拣辅助显示屏步骤S152，识别对象是开采或掘进工作面时，在图像中将煤层和岩层的分界线标识出来，然后将识别结果反馈到采煤机或掘进机遥控平台，自动或手动调整采煤机及掘进机行进方向；步骤S153，识别对象是仪表设备时，将显示屏的各项读数指标转化为文字及数字，然后将设备图像、位置及识别结果反馈到煤矿调度指挥中心进行显示和存储；步骤S154，识别对象是人或运输车辆时，将识别结果与人员车辆库中历史数据作比对，确定其身份及存在的合理性，无法识别身份或不在其应该在的场合生成报警信息，然后将图像、位置及识别结果反馈到煤矿调度指挥中心进行显示和报警；S155，不在识别范围内场景直接将视频图像传回煤矿调度指挥中心进行显示；步骤S16，远程控制及深度学习子系统23中的控制系统根据预设的路线及规则或人工控制指令，综合接收到的机器人感知子系统9发送的数据和视频图像，对机器人感知子系统9和轨道循环转动子系统发送控制命令。

如图6所示，在上述实施例中，优选地，步骤S13中，远程控制及深度学习子系统23中的算法服务器利用递归神经网络对数据间的隐藏关联性进行学习的具体过程包括：以分类存储的数据中的各类型数据作为隐函数变量与观察变量(关键安全参数)间利用变分自编码器进行正向建模，并计算观察变量为输入量且隐含变量为输出量的出现概率；若出现概率的最大值恒等于0，说明没有任何关联性，则将该类型隐函数变量从观察变量的关联隐函数变量集中删除，否则根据似然建立反向深层模型；判断反向深层模型以该类型隐函数变量为输入的输出量与正向模型的输入量是否相近；若判定相近，则得到最大似然结果并确定正向模型正确，否则运用生成式对抗网络生成判别模型，并将反向深层模型的输出量与正向模型的输入量之间的偏差输入判别模型计算得到损失函数；利用损失函数在正向模型中反向梯度传递对正向模型进行改进，并重新判断反向深层模型的输出量与改进后的正向模型的输入量之间的偏差，直到得到最大似然结果。

在该实施例中，具体地，算法服务器使用递归神经网络对数据间的隐藏关联性进行学习的步骤为：

(1)首先针对数据存储系统内各类型数据中我们注重的观察变量X(比如说瓦斯浓度)，和隐含变量z(比如说通风量、采煤机行进速度或掘进面切面积)，用VAE(Variationalautoencoder，变分自编码器)对p(z|X)进行Encoder建模，它根据输入的观察变量X得到隐含变量z出现的可能性，即利用贝叶斯公式p(z|X)＝p(X|z)p(z)/p(X)得到隐含量关联建模；

(2)如果max(P(z|X))＝＝0,证明z和X没有联系,将z从X有关联的隐函数变量集中删除，跳转至结束；

(3)通过最大化后验概率的形式进行建模优化，根据前面模型Encoder已经计算出了一批观察变量X对应的隐含变量z，那么就可以根据似然再建立一个反向深层模型Decoder，输入为隐含变量z，输出为观察变量X，如果Decoder模型的输出量和前面Encoder模型的输入量相近，那么就可以认为似然得到了最大化，模型建立正确，跳转至结束；

(4)如果有偏差，我们把互信息定义为损失函数的一部分

I(X；Z)＝H(X)-H(X|Z)

I(Z；X)＝H(Z)-H(Z|X)

运用GAN(Generative Adversarial Network，生成式对抗网络)，生成判别模型，将偏差传递到判别模型，计算损失函数；

(5)然后将损失函数梯度在Encoder模型中反向传播回去，以改进关联模型Encoder的建模方式，跳转回步骤(3)，重新判断反向深层模型Decoder的输出量与改进后的Encoder模型的输入量之间的偏差，直到得到最大似然结果。

在初期训练时可以挑出几个已知与X有关联的隐变量，强制指定它们用来表示观察变量特性的，这样可以大大加快学习速度。从模型的训练过程中可以看出，模型的特性在学习过程中不断发生变化，一开始生成的变量联系模型准确性很差，但变量的多样性比较好，后来的变量联系模型准确性比较高但变量的多样性逐渐变差，这代表发现了观察变量与其他隐函数变量之间的联系，通过其他隐函数变量在时间点t的数值能够推导出X在下一个时间点t+1的数值，简单来说就是系统对观察值有了预测的能力。

在上述实施例中，优选地，步骤S15中，算法服务器利用负差复杂卷积神经网络机器视觉算法对接收到的视频图像进行识别，并将识别结果反馈的具体过程包括：利用负差复杂卷积神经网络对视频图像进行数学建模；利用视觉光流法以差分的方式去除视频图像干扰，同时对图像目标进行检测和分割；利用机器视觉深度学习系统判断所述图像目标的类型和安全性定义，将需要的图像目标类型标记，在边缘标记界限，使用自然语言处理技术同步生成文字描述；将识别结果和生成语言反馈至相关使用场景，为进一步处理提供辅助决策依据。。

在该实施例中，具体地，算法服务器使用运用机器视觉对视频图像进行识别的步骤为：

(1)算法服务器使用负差复杂卷积神经网络对视频图像进行数学建模；

(2)算法服务器用视觉光流法检测出检测图像中运动对象，比较时间t的图像与t-1时刻的图像,以差分的方式去除包括镜头上煤灰或水珠在内视频图像干扰，(开采及掘进面煤尘及水雾对视频图像的干扰已通过偏振滤镜用物理的方式去除)，同时对图像目标进行检测和分割，从而得到一个从机器角度上能够分析的视频图像；

(3)利用机器视觉深度学习系统判断所述图像目标的类型和安全性定义，将需要的图像目标类型标记，在边缘标记界限，如在还原的图像上标记上煤层和岩层的分界线，皮带上异物的轮廓；同时使用自然语言处理技术同步生成文字描述，转化为人类能够理解的语言，比如“采煤机在开采”，“巷道的能见度很差”；

(4)算法服务器将识别的结果反馈给采煤机或掘进机遥控平台的现场控制人员、皮带旁的机械手臂分拣系统或者调度指挥中心等相关使用场景，为进一步处理提供辅助决策依据。

在上述实施例中，优选地，算法服务器使用70％的学习素材进行学习，30％的学习素材进行验证。算法服务器对机器视觉准确性进行学习训练的具体步骤为：

(1)运用基于变分思想的深度学习的生成模型VAE得到基于变分下界约束的模型对；

(2)运用GAN生成判别模型，帮助生成模型更好地学习观测数据的条件分布，它的输入是学习素材内的任意一张图像x，输出是一个概率值，表示这张图像属于真实数据的概率；

(3)如果生成模型输入一个随机变量z，z服从某种分布，输出图像经过判别模型后的概率值很高，就说明生成模型已经比较好地掌握了数据的分布模式，可以产生符合要求的样本；反之则没有达到要求，还需要继续训练，将差别反向传播，改进生成模型；

(4)最后使用GAN模型的一个变种——InfoGAN(互信息生成式对抗网络)，挖掘GAN模型隐变量特点，解决图像的特征性问题。

以上所述为本发明的实施方式，根据本发明提出的矿用智能机器人巡检系统，实现了以下有益效果：

1)符合煤矿防爆标准的轨道循环转动子系统，能够防爆、防尘、防水，能实现0-360度全向长距离行驶；

2)符合煤矿防爆标准的本质安全型机器人感知子系统，能够实现360度移动图像采集、多参数气体监测、精确定位、声音及温度采集、双向对讲，侦测障碍物及语音控制；

3)符合煤矿防爆标准的隔爆兼本安无线充电子系统，能够与轨道循环转动子系统协作，实现自动校准充电位置，自动电量补充，并在充满电都自动释放机器人去工作；

4)布置在云端的机器人远程控制及深度学习子系统，使用递归神经网络深度学习井下各数据间的隐藏关联性，，最终对矿山井下安全特性建立起完善的数学建模，达到人类专家级认知，可以发现已知、预测未知的风险；布置在云端的机器人远程控制及深度学习子系统，能够从采集到的视频图像中提取关键特征，运用偏振光学滤镜、负差复杂卷积神经网路、视觉光流法和深度学习创造的适用于井下复杂环境的机器视觉设备和算法，能够自动识别读取井下设备显示屏数据，解决掘进面和开采工作面煤雾环境下的煤岩识别，皮带运输危险异物识别与自动拾取等世界难题。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种矿用智能机器人巡检系统，其特征在于，包括：轨道循环转动子系统、机器人感知子系统、无线充电子系统、远程控制及深度学习子系统；

所述轨道循环转动子系统包括防爆电机、轨道和轨道链条，所述轨道链条设置于轨道内，所述防爆电机带动所述轨道链条在所述轨道内循环转动，所述轨道链条的链条滚轮上设置吊装件，所述机器人感知子系统固定于所述吊装件下端；

所述机器人感知子系统包括中央控制器、感知模组、无线信号收发模块、电源组件，所述感知模组用于对周围环境进行检测，所述感知模组与所述中央控制器相连接，所述中央控制器与所述无线信号收发模块相连接，所述无线信号收发模块与所述远程控制及深度学习子系统实现通信连接，所述电源组件用于接收所述无线充电子系统的无线电能传输，并对相连接的所述中央控制器、所述感知模组和所述无线信号收发模块供电；

所述无线充电子系统固定安装于所述轨道某一处下方所述机器人感知子系统的行程一侧，并与所述电源组件对应设置；

所述远程控制及深度学习子系统用于接收所述无线信号收发模块传输来的数据，并将控制指令发送到所述机器人感知子系统和所述轨道循环转动子系统；

所述机器人感知子系统的感知模组具体包括：防碰撞模块、激光多环境参数传感模块、精确定位模块、云台夜视摄像头；所述防碰撞模块使用一体化电扫相控雷达对障碍物进行测距定位，所述激光多环境参数传感模块使用光谱分析技术对瓦斯浓度、一氧化碳浓度、氧气浓度、温度、湿度及烟雾浓度进行检测，所述精确定位模块使用超宽带技术对所述机器人感知子系统所在位置进行分米级定位，所述云台夜视摄像头用于井下特殊环境的图像采集；

所述云台夜视摄像头电路设计本质安全，任意二点短路产生的能量小于8W；所述云台夜视摄像头自带红外测距测温装置，对图像采集区域进行测距、测温；所述云台夜视摄像头自带可更换5000次的镜头膜更换装置，镜头膜更换装置自动根据镜头膜污损情况更换新镜头膜，带煤灰和水珠的污损镜头膜收纳于废膜箱中；所述云台夜视摄像头自带光学偏振滤镜，用于检测大气光的偏振成分，通过物理差分同一场景不同大气光强度的偏振成分，得到去除掉煤灰和水雾的清晰视频图像；

所述机器人感知子系统的电源组件包括充电模块、充放电保护管理电路、电池和稳压电路，所述充电模块用于接收所述无线充电子系统的无线电能传输，所述充电模块与所述充放电保护管理电路相连，所述充放电保护管理电路分别与所述电池和所述稳压电路相连，所述稳压电路分别与所述中央控制器、所述感知模组、所述无线信号收发模块和所述无线对讲模块相连；所述充放电保护管理电路包含双重防爆本质安全栓，当机器人感知子系统任意两点短路时，防爆本质安全栓保证短路电流不超过3A，整体功率不超过15W，所产生的能量不足以点燃瓦斯气体，双重是为了保证单一防爆本质安全栓失效时的防爆安全性能。

2.根据权利要求1所述的矿用智能机器人巡检系统，其特征在于，所述机器人感知子系统还包括无线对讲模块，用于与所述远程控制及深度学习子系统进行双向语音交互，所述无线对讲模块包括自然语言处理模组、抗噪麦克风和本安型扬声器，所述自然语言处理模组通过人工智能自然语言处理技术实现对所述机器人感知子系统的语音控制；所述无线对讲模块分别与所述无线信号收发模块和所述电源组件相连。

3.根据权利要求1所述的矿用智能机器人巡检系统，其特征在于：

所述轨道循环转动子系统的轨道包括直轨、水平弯轨和升降弯轨，所述轨道组合连接为循环封闭结构，所述轨道的水平段设置有张紧装置，所述张紧装置通过弹簧压缩或吊拉方式使所述轨道链条处于紧绷状态；

所述轨道为开口向下的C型槽结构，所述轨道的下槽口的内表面铺设赛钢卡条，所述下槽口的外表面设置密封胶条，所述赛钢卡条和所述密封胶条通过沉头螺钉和夹板固定；

所述下槽口两侧的密封胶条于槽口下方交叉密封，所述吊装件穿过所述轨道的下方槽开口，所述吊装件靠近所述下槽口的侧面包覆绝缘胶皮，并在所述轨道链条带动所述吊装件运动时所述密封胶条与所述吊装件的绝缘胶皮相对摩擦；

所述轨道链条包括赛钢材质的链条滚轮，所述链条滚轮内嵌设平面轴承，所述链条滚轮的轮体分设于所述平面轴承两侧，两侧的轮体分别于所述下槽口两侧的赛钢卡条上滚动。

4.根据权利要求1所述的矿用智能机器人巡检系统，其特征在于，所述无线充电子系统包括隔爆腔体和本安腔体，所述隔爆腔体内包括隔离变压器、整流滤波电路、DCDC隔离稳压电路和双重防爆本质安全栓，所述本安腔体内包括无线传能装置，所述隔离变压器与外部供电线路相连，所述整流滤波电路与所述隔离变压器相连，用于将所述隔离变压器变压输出的交流电变换为直流电，所述DCDC隔离稳压电路与所述整流滤波电路相连，用于输出稳定的直流电压，所述双重防爆本质安全栓与所述DCDC隔离稳压电路相连，用于给所述无线传能装置提供符合本质安全防爆标准的供电，所述无线传能装置用于对所述机器人感知子系统的电源模块进行无线传能。

5.一种矿用智能机器人巡检方法，其特征在于，包括：

机器人感知子系统监测到的数据通过无线信号收发模块发送到云端的远程控制及深度学习子系统；

远程控制及深度学习子系统将接收到的数据及视频图像以所述机器人感知子系统所在精确位置及监测时间点作为参数标签进行分类存储；

远程控制及深度学习子系统同步接收矿用安全信息化系统传递来的所有数据，将有关联的数据以监测点位置和监测时间点作为参数标签进行分类存储；

所述远程控制及深度学习子系统中的算法服务器利用递归神经网络对存储的各类型数据与观察变量间的隐藏关联性进行深度学习，建立变量联系模型，并随着数据的积累逐步提高模型的准确性；

所述算法服务器利用变量联系模型判断当前关键安全参数是否有危险存在，并通过数据的变化预估关键安全参数的发展趋势，将现有的危险及危险趋势分别报警；

所述算法服务器利用负差复杂卷积神经网络机器视觉算法对接收到的视频图像进行识别，识别对象是皮带运输的煤流时，在图像中将能危害皮带运输安全的大块煤矸石、木质或铁质锚杆及其他异物明确标识，定位位置，然后将识别结果反馈到皮带分拣机械手装置或人工分拣辅助显示屏；

所述识别对象是开采或掘进工作面时，在图像中将煤层和岩层的分界线标识出来，然后将识别结果反馈到采煤机或掘进机遥控平台，自动或手动调整采煤机及掘进机行进方向；

所述识别对象是仪表设备时，将显示屏的各项读数指标转化为文字及数字，然后将设备图像、位置及识别结果反馈到煤矿调度指挥中心进行显示和存储；

所述识别对象是人或运输车辆时，将识别结果与人员车辆库中历史数据作比对，确定其身份及存在的合理性，无法识别身份或不在其应该在的场合生成报警信息，然后将图像、位置及识别结果反馈到煤矿调度指挥中心进行显示和报警；

不在识别范围内场景直接将视频图像传回煤矿调度指挥中心进行显示；

所述远程控制及深度学习子系统中的控制系统根据预设的路线及规则或人工控制指令，综合接收到的机器人感知子系统发送的数据和视频图像，对所述机器人感知子系统和轨道循环转动子系统发送控制命令。

6.根据权利要求5所述的矿用智能机器人巡检方法，其特征在于，所述远程控制及深度学习子系统中的算法服务器利用递归神经网络对数据间的隐藏关联性进行学习的具体过程包括：

以分类存储的各类型数据作为隐函数变量与观察变量分别利用变分自编码器进行正向建模，并计算所述观察变量为输入量且所述隐函数变量为输出量的出现概率；

若所述出现概率的最大值恒等于0，说明没有任何关联性，则将该类型隐函数变量从所述观察变量的关联隐函数变量集中删除，否则根据似然建立反向深层模型；

判断所述反向深层模型以该类型隐函数变量为输入的输出量与所述正向模型的输入量是否相近；

若判定相近，则得到最大似然结果并确定所述正向模型正确，否则运用生成式对抗网络生成判别模型，并将所述反向深层模型的输出量与所述正向模型的输入量之间的偏差输入所述判别模型计算得到损失函数；

利用所述损失函数在正向模型中反向梯度传递，对所述正向模型进行改进，并重新判断所述反向深层模型的输出量与改进后的正向模型的输入量之间的偏差，直到得到最大似然结果。

7.根据权利要求5所述的矿用智能机器人巡检方法，其特征在于，所述算法服务器利用负差复杂卷积神经网络机器视觉算法对接收到的视频图像进行识别，并将识别结果反馈的具体过程包括：

利用负差复杂卷积神经网络对视频图像进行数学建模；

利用视觉光流法检测出检测图像中运动对象，比较时间t的图像与t-1时刻的图像，以差分的方式去除视频图像干扰，所述干扰包括但不限于镜头上煤灰或水珠，同时对图像目标进行检测和分割；

利用机器视觉深度学习系统判断所述图像目标的类型和安全性定义，将需要的图像目标类型标记，在边缘标记界限，使用自然语言处理技术同步生成文字描述；

将识别结果和生成语言反馈至相关使用场景，为进一步处理提供辅助决策依据。

Images