CN108711146A - 一种基于可见光和红外图像融合的煤岩识别装置及方法 - Google Patents

Abstract

本发明公开了一种基于可见光和红外图像融合的煤岩识别装置及方法，装置包括防爆外壳、高透光板一、红外相机、环形光源、高透光板二、可见光相机、支撑板、煤岩识别模块和隔震器，红外相机和可见光相机拍摄的图片经过煤岩识别模块处理后，得到煤岩界面点坐标，输入PLC调高控制模块中，生成控制电压信号，控制液压执行单元的动作。所述方法是利用小波变换、数字形态学，SIFT特性点提取和细胞神经网络等方法进行图像融合、图像拼接和煤岩界面曲线提取等操作，从而识别出采煤机下一截割循环的煤岩界面信息，为调高控制提供依据。该装置及方法能在能见度低下、粉尘大的工作面环境下获取清晰煤岩图像，测量精度高、应用范围广、可靠性好。

Description

一种基于可见光和红外图像融合的煤岩识别装置及方法

技术领域

本发明涉及一种煤岩识别装置及方法，具体涉及一种基于可见光和红外图像融合的煤岩识别装置及方法，属于煤炭开采设备技术领域。

背景技术

煤岩识别技术是实现采煤机智能调高和综采工作面自动化的关键和基础，对提高生产效率具有十分重要的意义。该技术可以避免分布在采煤机滚筒上的截齿截割到坚硬的岩石而发出火花造成截齿部位破损，从而导致危险情况的发生。目前煤岩识别技术多根据煤炭、岩石的物理性质和力学性质等存在差异的原理，采用天然γ射线探测法、截割力响应信号探测法、声波信号探测法和煤岩图像探测法等煤岩识别方法。

天然γ射线探测法主要利用碘化钠等晶体制成的γ射线探测器接收天然顶底板所发出的γ射线，并通过变送器将其转换为电信号，传送至识别器，电信号的强度与探测器至顶底板的距离以及预留煤层厚度有关，然而该方法不适用于顶底板不含放射性元素或放射性元素含量较低的工作面，以及煤层中夹矸过多的工作面；截割力响应信号探测法将截齿应力传感器用于煤岩界面识别，根据采煤机截割到岩石时，截齿所受到的应力与截割煤层时相比将发生显著变化而实现煤岩界面的辨别，然而该方法对截齿以及传感器的损耗较大，需要人工定时更换传感器；煤岩图像探测法是对工作面煤岩界面图像进行特征提取，然后利用Fisher分类器进行分类，判断出煤岩界面，然而井下采集到的图像会受到粉尘的影响，图像中含有大量的背景噪点，影响图像特征提取的效果；声波信号探测法是基于采煤机切割煤、岩时的振动频率存在，通过接收与辨别不同截割状态下声振动信号实现煤岩识别，这种方法原理简单，实际应用过程却比较复杂，因为接收的声振动信号还与采煤机类型、开采工艺、截齿的强度状态、工作面地质结构有关。

发明内容

为了克服现有技术存在的上述不足，本发明提供一种基于可见光和红外图像融合的煤岩识别装置及方法，结合可见光图像所提供信息丰富和红外图像抗干扰能力强、穿透力强的优点，能在能见度低下、粉尘大的工作面环境下获取清晰煤岩图像，从而达到精确检测矿采工作面煤岩界面的目的，适用范围广、精度高、可靠性好，能够为矿采工作面智能化作业提供条件。

为了解决上述问题，本发明一种基于可见光和红外图像融合的煤岩识别装置，包括防爆外壳、可见光相机和煤岩识别模块，可见光相机和煤岩识别模块均设置在防爆壳体内，所述可见光相机通过可见光传感器将采集的图像信息输送至煤岩识别模块，煤岩识别模块输出信号至采煤机的PLC调高控制模块，PLC调高控制模块与采煤机截割滚筒的液压执行单元信号相连，还包括红外相机和环形光源，红外相机通过红外传感器将采集的图像信息输送至煤岩识别模块，防爆壳体面对煤岩壁的一面为高透光板一，防爆壳体内部竖直设置一块高透光板二，高透光板二与防爆壳体背板之间连接一块支撑板，红外相机和可见光相机并排设置在支撑板上端，煤岩识别模块设置在支撑板下侧的防爆壳体背板处，环形光源均匀布置在高透光板二上。

环形光源用于提供充足的照明条件，在采煤机截割之前，红外相机和可见光相机通过内置的传感器获取煤岩界面的图像信息，并将信息传输至煤岩识别模块，煤岩识别模块融合两个相机获取的图像形态、颜色、纹理、断口形状等特征，利用小波变换、数字形态学、SIFT特性点提取和细胞神经网络等方法进行图像融合、图像拼接以及煤岩界面曲线提取等操作，实时智能识别煤岩图像界面，然后通过坐标变换得到采煤机下一截割循环的机体坐标系下煤岩界面坐标信息，并将信息输入PLC调高控制模块中，PLC调高控制模块经过逻辑判断生成控制电压信号，进而控制截割滚筒的液压执行单元动作。

为了进一步获取更准确的图像信息，红外相机内的红外传感器采用UFPA探测器，可见光相机内的可见光传感器采用CCD传感器，红外相机和可见光相机的镜头平行并穿过高透光板二，红外相机和可见光相机存在重叠的视角区域。

为了降低采煤机振动对本装置的影响，防爆外壳底部四角具有隔振器，整个装置通过隔振器固定在采煤机机体。

一种基于可见光和红外图像融合的煤岩识别方法，包括以下步骤：

第一步、对红外相机和可见光相机进行标定，获取相应的内参矩阵和畸变矩阵；

第二步、根据相机标定参数，实现图像像素坐标系到采煤机机体坐标系的映射，得到同一场景下的红外和可见光煤岩图像；

第三步、采煤机自动截割之前，采用人工示教方式进行采煤机第一刀的截割；

第四步、红外相机和可见光相机等时间间隔同时拍摄工作面红外煤岩图像和可见光煤岩图像；

第五步、使用红外煤岩图像和可见光煤岩图像进行煤岩图像界面识别，提取融合图像上煤岩界面坐标点信息；

第六步、将上一刀截割时嵌入式煤岩界面识别模块的识别结果作为指令传输到PLC调高控制模块，PLC调高控制模块经过逻辑判断生成控制电压信号，控制液压执行单元动作，采煤机完成一刀截割；

第七步、重复第四步～第六步，完成矿采工作面中采煤机的自动截割。

其中，第五步煤岩图像界面识别步骤如下：

a.基于小波变换和数学形态学，据煤岩界面图像形态、煤岩颜色、纹理、断口形状的特征，对可见光和红外煤岩图像分别进行预处理和图像像素级融合，最大限度保留两类图像的完整信息；

b.基于尺度不变特征变换特征点图像无缝拼接原理，提取煤岩融合图像特征点，通过透视变换，将拍摄的最新图像实时拼接到已获取的工作面煤岩图像上，最终得到下一刀截割的完整工作面煤岩融合图像；

c.根据融合图像中煤岩的颜色、纹理、断口形状的特征差异，选取合适网络参数，利用细胞神经网络识别煤岩界面，提取煤岩界面曲线信息；

d.等间隔选取煤岩界面曲线上的坐标点，通过坐标变换，获取机体坐标系下煤岩界面点列坐标。

与现有技术相比，该煤岩识别方法利用同一场景下工作面红外煤岩图像和可见光煤岩图像的图像融合，结合可见光图像所提供信息丰富和红外图像抗干扰能力强、穿透力强的优点，取长补短，得到清晰、干扰少的工作面煤岩图像，实现低能见度、多粉尘条件下煤岩图像的有效获取，适用于矿采工作面的恶劣环境；通过小波变换降噪等预处理，消除干扰噪声的影响和增强图像的细节信息；通过小波变换、数字形态学、尺度不变特征变换特征点提取、细胞神经网络等方法进行图像融合，图像拼接和煤岩界面曲线提取等操作，得到工作面煤岩界面信息，结合坐标变换，提取机体坐标系下煤岩界面点列坐标。本发明具有适用范围广、可靠性好、精度高等优势。

附图说明

图1是本发明中煤岩识别装置的立体示意图；

图2是本发明中煤岩识别装置的系统框图；

图3是本发明中煤岩识别装置安装位置示意图；

图4是本发明中煤岩识别方法流程图；

图中：1、防爆壳体，2、高透光板一，3、红外相机，4、环形光源，5、高透光板二、6、可见光相机，7、支撑板，8、煤岩识别模块，9、隔振器，10、采煤机机体。

具体实施方式

下面结合附图对本发明做详细的阐述。

如图1至图3所示，一种基于可见光和红外图像融合的煤岩识别装置，包括防爆外壳1、可见光相机6和煤岩识别模块8，可见光相机6和煤岩识别模块8均设置在防爆壳体1内，所述可见光相机6通过可见光传感器将采集的图像信息输送至煤岩识别模块8，煤岩识别模块8输出信号至采煤机的PLC调高控制模块，PLC调高控制模块与采煤机截割滚筒的液压执行单元信号相连，还包括红外相机3和环形光源4，红外相机3通过红外传感器将采集的图像信息输送至煤岩识别模块8，防爆壳体1面对煤岩壁的一面为高透光板一2，防爆壳体1内部竖直设置一块高透光板二5，高透光板二5与防爆壳体1背板之间连接一块支撑板7，红外相机3和可见光相机6并排设置在支撑板7上端，煤岩识别模块8设置在支撑板7下侧的防爆壳体1背板处，环形光源4均匀布置在高透光板二5上。

环形光源4用于提供充足的照明条件，在采煤机截割之前，红外相机3和可见光相机6通过内置的传感器获取煤岩界面的图像信息，并将信息传输至煤岩识别模块8，煤岩识别模块融合两个相机获取的图像形态、颜色、纹理、断口形状等特征，利用小波变换、数字形态学、SIFT特性点提取和细胞神经网络等方法进行图像融合、图像拼接以及煤岩界面曲线提取等操作，实时智能识别煤岩图像界面，然后通过坐标变换得到采煤机下一截割循环的机体坐标系下煤岩界面坐标信息，并将信息输入PLC调高控制模块中，PLC调高控制模块经过逻辑判断生成控制电压信号，进而控制截割滚筒的液压执行单元动作。

为了进一步获取更准确的图像信息，红外相机3内的红外传感器采用UFPA探测器，可见光相机6内的可见光传感器采用CCD传感器，红外相机3和可见光相机6的镜头平行并穿过高透光板二5，红外相机3和可见光相机6存在重叠的视角区域。

为了降低采煤机振动对本装置的影响，防爆外壳1底部四角具有隔振器9，整个装置通过隔振器9固定在采煤机机体10。

如图4所示，一种基于可见光和红外图像融合的煤岩识别方法，包括以下步骤：

第一步、对红外相机3和可见光相机6进行标定，获取相应的内参矩阵和畸变矩阵；

第二步、根据相机标定参数，实现图像像素坐标系到采煤机机体坐标系的映射，得到同一场景下的红外和可见光煤岩图像；

第三步、采煤机自动截割之前，采用人工示教方式进行采煤机第一刀的截割；

第四步、红外相机3和可见光相机6等时间间隔同时拍摄工作面红外煤岩图像和可见光煤岩图像；

第五步、使用红外煤岩图像和可见光煤岩图像进行煤岩图像界面识别，提取融合图像上煤岩界面坐标点信息；

第六步、将上一刀截割时嵌入式煤岩界面识别模块的识别结果作为指令传输到PLC调高控制模块，PLC调高控制模块经过逻辑判断生成控制电压信号，控制液压执行单元动作，采煤机完成一刀截割；

第七步、重复第四步～第六步，完成矿采工作面中采煤机的自动截割。

其中，第五步煤岩图像界面识别步骤如下：

a.基于小波变换和数学形态学，据煤岩界面图像形态、煤岩颜色、纹理、断口形状的特征，对可见光和红外煤岩图像分别进行预处理和图像像素级融合，最大限度保留两类图像的完整信息；

b.基于尺度不变特征变换特征点图像无缝拼接原理，提取煤岩融合图像特征点，通过计算透视矩阵，将拍摄的最新图像进行透视变换，实时拼接到已获取的工作面煤岩图像上，最终得到下一刀截割的完整工作面煤岩融合图像X；

c.根据融合图像中煤岩的颜色、纹理、断口形状的特征差异，选取合适网络参数，利用细胞神经网络识别煤岩界面，提取煤岩界面曲线信息；

具体过程如下：

首先根据工作面煤岩融合图像X的特点，选取合适的模板、阈值g等网络参数，构建用于煤岩界面识别的细胞神经网络；以工作面煤岩融合图像X为细胞神经网络的输入量，定义输出图像为Y，即X→Y，定义x_i,j为工作面煤岩融合图像X的第(i,j)个像素的值，则X＝(x_i,j)_M×N，给定初始状态和边界条件；

然后使用构建的细胞神经网络进行煤岩图像界面识别，当x_i,j相邻8个像素点满足|Δx|＞g的数目不小于3个时，像素点(i,j)的输出为黑色(+1)，即为煤岩界面点；当x_i,j相邻8个像素点满足|Δx|＞g的数目不大于2个时，像素点(i,j)的输出为白色(-1)，即为非煤岩界面点，最终得到输出图像Y；

d.等间隔选取输出图像Y上煤岩界面点，根据图像像素坐标系到采煤机机体坐标系的映射关系进行相应点列坐标变换，获取机体坐标系下煤岩界面点列坐标。

Claims (5)

1.一种基于可见光和红外图像融合的煤岩识别装置，包括防爆外壳(1)、可见光相机(6)和煤岩识别模块(8)，可见光相机(6)和煤岩识别模块(8)均设置在防爆壳体(1)内，所述可见光相机(6)通过可见光传感器将采集的图像信息输送至煤岩识别模块(8)，煤岩识别模块(8)输出信号至采煤机的PLC调高控制模块，PLC调高控制模块与采煤机截割滚筒的液压执行单元信号相连，其特征在于，还包括红外相机(3)和环形光源(4)，红外相机(3)通过红外传感器将采集的图像信息输送至煤岩识别模块(8)，防爆壳体(1)面对煤岩壁的一面为高透光板一(2)，防爆壳体(1)内部竖直设置一块高透光板二(5)，高透光板二(5)与防爆壳体(1)背板之间连接一块支撑板(7)，红外相机(3)和可见光相机(6)并排设置在支撑板(7)上端，煤岩识别模块(8)设置在支撑板(7)下侧的防爆壳体(1)背板处，环形光源(4)均匀布置在高透光板二(5)上。

2.根据权利要求1所述的基于可见光和红外图像融合的煤岩识别装置，其特征在于，红外相机(3)内的红外传感器采用UFPA探测器，可见光相机(6)内的可见光传感器采用CCD传感器，红外相机(3)和可见光相机(6)的镜头平行并穿过高透光板二(5)，红外相机(3)和可见光相机(6)存在重叠的视角区域。

3.根据权利要求1或2所述的基于可见光和红外图像融合的煤岩识别装置，其特征在于，防爆外壳(1)底部四角具有隔振器(9)，整个装置通过隔振器(9)固定在采煤机机体(10)。

4.一种基于可见光和红外图像融合的煤岩识别方法，其特征在于，包括以下步骤：

第一步、对红外相机(3)和可见光相机(6)进行标定，获取相应的内参矩阵和畸变矩阵；

第二步、根据相机标定参数，实现图像像素坐标系到采煤机机体坐标系的映射，得到同一场景下的红外和可见光煤岩图像；

第三步、采煤机自动截割之前，采用人工示教方式进行采煤机第一刀的截割；

第四步、红外相机(3)和可见光相机(6)等时间间隔同时拍摄工作面红外煤岩图像和可见光煤岩图像；

第五步、使用红外煤岩图像和可见光煤岩图像进行煤岩图像界面识别，提取融合图像上煤岩界面坐标点信息；

第六步、将上一刀截割时嵌入式煤岩界面识别模块的识别结果作为指令传输到PLC调高控制模块，生成控制电压信号，控制液压执行单元动作，采煤机完成一刀截割；

第七步、重复第四步～第六步，完成矿采工作面中采煤机的自动截割。

5.根据权利要求4所述的基于可见光和红外图像融合的煤岩识别方法，其特征在于，第五步煤岩图像界面识别步骤如下：

a.基于小波变换和数学形态学，结合煤岩图像形态、煤岩颜色、纹理、断口形状的特点，对可见光和红外煤岩图像分别进行预处理和图像像素级融合，最大限度保留两类图像的完整信息；

b.基于尺度不变特征变换特征点图像无缝拼接原理，提取煤岩融合图像特征点，通过透视变换，将拍摄的最新图像实时拼接到已获取的工作面煤岩图像上，最终得到下一刀截割的完整工作面煤岩融合图像；

c.根据融合图像中煤岩的颜色、纹理、断口形状的特征差异，选取合适网络参数，利用细胞神经网络识别煤岩界面，提取煤岩界面曲线信息；

d.等间隔选取煤岩界面曲线上的坐标点，通过坐标变换，获取机体坐标系下煤岩界面点列坐标。