[go: up one dir, main page]

CN116398134A - 一种基于巡检视觉感知的采煤机截割规划方法及设备 - Google Patents

一种基于巡检视觉感知的采煤机截割规划方法及设备 Download PDF

Info

Publication number
CN116398134A
CN116398134A CN202310118997.XA CN202310118997A CN116398134A CN 116398134 A CN116398134 A CN 116398134A CN 202310118997 A CN202310118997 A CN 202310118997A CN 116398134 A CN116398134 A CN 116398134A
Authority
CN
China
Prior art keywords
shearer
cutting
space
perception
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310118997.XA
Other languages
English (en)
Inventor
南柄飞
叶晨曦
郭志杰
韩默渊
刘清
李重重
吴江伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Meike Tianma Automation Technology Co Ltd
CCTEG Beijing Tianma Intelligent Control Technology Co Ltd
Original Assignee
Beijing Meike Tianma Automation Technology Co Ltd
CCTEG Beijing Tianma Intelligent Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Meike Tianma Automation Technology Co Ltd, CCTEG Beijing Tianma Intelligent Control Technology Co Ltd filed Critical Beijing Meike Tianma Automation Technology Co Ltd
Priority to CN202310118997.XA priority Critical patent/CN116398134A/zh
Publication of CN116398134A publication Critical patent/CN116398134A/zh
Priority to AU2023414159A priority patent/AU2023414159A1/en
Priority to PCT/CN2023/116784 priority patent/WO2024159749A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21C—MINING OR QUARRYING
    • E21C35/00—Details of, or accessories for, machines for slitting or completely freeing the mineral from the seam, not provided for in groups E21C25/00 - E21C33/00, E21C37/00 or E21C39/00
    • E21C35/24—Remote control specially adapted for machines for slitting or completely freeing the mineral
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21F—SAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00—Methods or devices for use in mines or tunnels, not covered elsewhere
    • E21F17/18—Special adaptations of signalling or alarm devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Multimedia (AREA)
  • Geology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Excavating Of Shafts Or Tunnels (AREA)

Abstract

本发明提出一种基于巡检视觉感知的采煤机截割规划方法及设备，该方法结合采场移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建和采煤机的自动检测识别；针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，进行采煤机捕获追踪；针对截割空间中采煤机部件的目标对象进行状态感知，并基于状态感知数据确定最优安全截割曲线。通过本发明，能够视觉智能感知截割空间的设备、环境状态完成实时截割规划，具有较强的数据信息时效性，以及工程实施连续性；针对截割空间中关联设备，以及周围环境状态感知结果进行实时可视化交互，以便工作人员实时进行截割辅助干预，获取更准确的截割规划数据。

Description

一种基于巡检视觉感知的采煤机截割规划方法及设备
技术领域
本发明涉及煤矿开采技术领域，尤其涉及一种基于巡检视觉感知的采煤机截割规划方法、装置、设备、存储介质。
背景技术
目前在综采工艺中，记忆截割仍是当前采煤过程中针对煤机滚筒进行自动调高控制的主要技术方法与手段。通常首先基于先验地质探测数据进行采煤机截割初步规划，然后在此基础上通过采煤机司机示范作业操作，系统记录获取采煤机在示范作业过程中的相关状态数据。最后，采煤机记忆截割系统针对所获取数据进行分析与处理，生成记忆截割曲线，为后续采煤机截割作业提供数据支撑。然而，目前这种基于记忆截割的采煤机调高自动控制方法，当煤层起伏变化较大时，需要人工频繁干预辅助完成整个截割过程，降低工作面自动化生产效率。并且，这种方法与系统无法实时准确感知捕获采煤机滚筒，以及液压支架顶梁空间状态，导致在实际作业过程中可能出现采煤机滚筒切割液压支架顶梁危险异常，因此需要人工实时监控进行干预操作。
基于此，本方案将基于移动平台(机器人)视觉，结合煤矿井下场景现实捕捉及感知系统提出一种更安全、更精确、更高效的采煤机截割规划方法。此方法能够针对煤层起伏变化情况，通过巡检视觉实时感知捕获采场，以及作业设备的空间状态，自适应调整截割曲线，实现连续作业截割规划，提高工作面自动化生产效率。并且，此方法可以在采煤机滚筒，以及液压支架顶梁空间状态感知捕获的基础上，避免自主跟机过程中采煤机滚筒切割液压支架顶梁的危险异常，提升工作面智能化安全生产管控水平。
发明内容
本发明提供一种基于巡检视觉感知的采煤机截割规划方法、装置、设备、存储介质，旨在实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。
为此，本发明的第一个目的是提出一种基于巡检视觉感知的采煤机截割规划方法，包括：
在采场环境中特定位置设立具有先验信息标识的移动平台，获取移动平台坐标系与地质坐标系之间的空间映射关系；
搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻，并基于移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，同时在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别；
当采煤机出现在视觉监测范围内后，针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，基于采煤机运动状态信息，进行采煤机捕获追踪；
针对截割空间中采煤机部件的目标对象进行状态感知，并基于状态感知数据确定最优安全截割曲线。
其中，搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻，并基于移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，同时在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别包括步骤：
初始化移动平台运动位置，结合综采工作面工况，围绕采煤机检测识别目标对象进行运动路径预规划；
在运动过程中，移动平台结合系统空间坐标映射关系获取自身在地质坐标系下的绝对坐标信息，基于视觉传感器数据及状态感知传感器数据，根据实时定位及建图系统(SLAM)实现移动平台实时定位；其中，所述视觉传感器数据包括各类型视觉相机、各类型激光雷达所采集数据，所述状态感知传感器包括各类型惯性导航里程计、轮速计、UWB设备所采集数据；
同时进行采场空间数字化构建，利用视觉感知，智能检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别。
其中，在实现采煤机的自动检测识别的步骤中，包括：
通过机器学习算法针对视觉传感器数据实时进行采煤机检测识别，当采煤机出现在视觉监测范围内后，移动平台针对采煤机运动状态进行感知分析，获取采煤机运动状态信息；
根据采煤机定位、运行速度、加速度的状态数据，针对移动平台进行运动状态控制与规划；
实时调整视觉传感器姿态，实现目标对象的稳定捕获追踪，保证采煤机一直处于系统视觉监测范围内；
当移动平台在移动过程中检测到采场中出现障碍物时，将基于机器人平台模型与采场局部地图进行局部避障路径规划，完成障碍物的自主绕行，然后重新执行采煤机的捕获追踪。
其中，在针对截割空间中采煤机部件的目标对象进行状态感知的步骤中，包括：
结合采场空间数字化构建地图数据、采煤机物理模型，以及采煤机捕获追踪结果数据，针对采煤机滚筒进行实例分割；基于实例分割结果进行分析，结合滚筒运行状态，计算获取滚筒上边沿、下边沿，以及中心点位置信息数据；
实时检测识别截割空间中液压支架顶板，及互帮板状态；结合采场空间数字化构建地图数据、液压支架物理模型，以及液压支架空间状态数据，进行液压支架顶板实例分割，计算获取顶梁边缘线顶板空间信息数据；
基于采场空间数字化构建地图数据，针对截割空间中局部煤壁区域进行实例分割，计算获取煤壁空间曲面。
其中，基于状态感知数据确定最优安全截割曲线的步骤包括：
结合截割空间状态感知数据利用人工智能算法进行数据的脱敏、筛选优化处理，进行数字孪生物理仿真模型与场景模型的构建与优化；
基于截割空间状态感知数据，实时判断截割空间安全状态；当跟机过程中出现预设异常状况时，进行截割安全预警；
结合截割空间内计算获取的感知信息，数字孪生目标对象物理仿真模型，以及截割规划先验信息，利用优化算法构建采煤机滚筒截割高度优化模型，实时计算获取采煤机安全截割最优曲线。
其中，基于运动模型对目标对象移动方向、移动速度信息进行移动规划预测的步骤中，状态感知数据包括：
截割空间中采煤机滚筒的实时空间状态；
截割空间中液压支架顶板的实时空间状态；
截割空间中煤壁的空间曲面。
其中，针对采煤机已完成作业区域进行截割曲线优化处理与分析，保存更新为下一刀作业截割规划的先验信息；首次截割作业时，截割规划先验信息可根据地质探测数据进行计算获取；
基于在截割空间中获取的感知结果信息与最优安全截割曲线，驱动数字孪生实景动态仿真实时构建，完成可视化交互，以便工作人员根据场景需求进行截割规划的辅助干预。
本发明的第二个目的是提出一种基于巡检视觉感知的采煤机截割规划装置，包括：
空间映射模块，用于在采场环境中特定位置设立具有先验信息标识的移动平台，获取移动平台坐标系与地质坐标系之间的空间映射关系；
采场空间数字化构建模块，用于通过搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻，并基于移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，同时在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别；
采煤机捕获追踪模块，用于当采煤机出现在视觉监测范围内后，针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，基于采煤机运动状态信息，进行采煤机捕获追踪；
截割规划模块，用于针对截割空间中采煤机部件的目标对象进行状态感知，并结合数字孪生物理仿真模型与场景模型，基于状态感知数据确定最优安全截割曲线。
本发明的第三个目的在于提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的方法中的各步骤。
本发明的第四个目的在于提出存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据前述技术方案的方法中的各步骤。
区别于现有技术，本发明提供的基于巡检视觉感知的采煤机截割规划方法，获取采场移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，并在采场空间中进行采煤机的自动检测识别；当采煤机出现在视觉监测范围内后，针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，进行采煤机捕获追踪；针对截割空间中采煤机部件的目标对象进行状态感知，并基于状态感知数据确定最优安全截割曲线。通过本发明，能够视觉智能感知截割空间的设备、环境状态完成实时截割规划，具有较强的数据信息时效性，以及工程实施连续性；针对截割空间中关联设备，以及周围环境状态感知结果进行实时可视化交互，以便工作人员实时进行截割辅助干预，获取更准确的截割规划数据。
附图说明
本发明的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提供的一种基于巡检视觉感知的采煤机截割规划方法的流程示意图。
图2是本发明提供的一种基于巡检视觉感知的采煤机截割规划方法的逻辑示意图。
图3是本发明提供的一种基于巡检视觉感知的采煤机截割规划装置的结构示意图。
图4是本发明提供的一种存储有计算机指令的非瞬时计算机可读存储介质的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，为本发明实施例所提供的一种基于巡检视觉感知的采煤机截割规划方法，本发明进行采煤机截割规划的逻辑如图2所示，该方法包括：
S110：在采场环境中特定位置设立具有先验信息标识的移动平台，获取移动平台坐标系与地质坐标系之间的空间映射关系。
基于地质模型，通过在采场环境中特定位置设立具有先验信息标识的方式，获取移动平台坐标系与地质坐标系之间的空间映射关系，实现系统空间坐标一体化。
S120：搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻，同时基于移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，并在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别。
初始化移动平台运动位置，结合综采工作面工况，以特定方式、特定策略，围绕采煤机检测识别目标对象进行运动路径预规划。
在运动过程中，移动平台结合系统空间坐标映射关系获取自身在地质坐标系下的绝对坐标信息，基于视觉传感器数据及状态感知传感器数据，根据实时定位及建图系统(SLAM)实现移动平台实时定位；其中，所述视觉传感器数据包括各类型视觉相机、各类型激光雷达所采集数据，所述状态感知传感器包括各类型惯性导航里程计、轮速计、UWB设备所采集数据。
同时进行采场空间数字化构建，利用视觉感知，智能检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别。
S130：当采煤机出现在视觉监测范围内后，针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，基于采煤机运动状态信息，进行采煤机捕获追踪。
通过机器学习算法针对视觉传感器数据实时进行采煤机检测识别，当采煤机出现在视觉监测范围内后，移动平台针对采煤机运动状态进行感知分析，获取采煤机运动状态信息。根据采煤机定位、运行速度、加速度等状态数据针对移动平台进行相应运动状态控制与规划。同时实时调整视觉传感器姿态，实现目标的稳定捕获追踪，保证采煤机一直处于系统视觉监测范围内。当移动平台在移动过程中检测到采场中出现障碍物时，则系统将基于机器人平台模型与采场局部地图进行局部避障路径规划，完成障碍物的自主绕行，然后重新执行采煤机的捕获追踪。
S140：针对截割空间中采煤机部件的目标对象进行状态感知，并基于状态感知数据确定最优安全截割曲线。
在移动平台稳定捕获追踪采煤机的基础上，针对截割空间中采煤机滚筒、液压支架顶梁等目标对象进行状态感知，具体如下：
结合采场空间数字化构建地图数据、采煤机物理模型，以及采煤机捕获追踪结果数据，针对采煤机滚筒进行实例分割。基于实例分割结果进行分析，结合滚筒运行状态，计算获取滚筒上边沿、下边沿，以及中心点位置等信息数据；
实时检测识别截割空间中液压支架顶板，及互帮板状态。同样结合采场空间数字化构建地图数据、液压支架物理模型，以及液压支架空间状态数据，进行液压支架顶板实例分割，计算获取顶梁边缘线等顶板空间信息数据；
基于采场空间数字化构建地图数据，针对截割空间中局部煤壁区域进行实例分割，计算获取煤壁空间曲面。
针对截割空间状态感知数据利用人工智能算法进行数据的脱敏、筛选等优化处理；
结合截割空间状态感知数据，实时判断截割空间安全状态。当跟机过程中出现液压支架未正常闭合、采煤机滚筒与顶梁距离过近、采煤机侧倾等异常状况时，进行截割安全预警；
结合截割空间内计算获取的感知信息，数字孪生目标对象物理仿真模型，以及截割规划先验信息，利用机器学习、粒子滤波等优化算法构建采煤机滚筒截割高度优化模型，实时计算获取采煤机安全截割最优曲线。其中所使用的感知信息包括：
①截割空间中采煤机滚筒的实时空间状态；
②截割空间中液压支架顶板的实时空间状态；
③截割空间中煤壁的空间曲面。
针对采煤机已完成作业区域进行截割曲线优化处理与分析，保存更新为下一刀作业截割规划的先验信息。首次截割作业时，截割规划先验信息可根据地质探测数据进行计算获取；
基于在截割空间中获取的感知结果信息与最优安全截割曲线，驱动数字孪生实景动态仿真实时构建，完成可视化交互，以便工作人员根据场景需求进行截割规划的辅助干预。
区别于现有技术，本发明的方案具备以下优势：
1.本方案无需对作业设备进行改造，工程实施难度小，维护成本低；
2.本方案通过移动平台(机器人)视觉智能感知截割空间的设备、环境状态完成实时截割规划，具有较强的数据信息时效性，以及工程实施连续性；
3.本方案能够实时可视化监测截割空间中关联设备，以及周围环境状态，避免自主跟机过程中发生采煤机滚筒切割液压支架顶梁的危险异常，安全生产智能化管控水平高；
4.本方案能够实现系统针对截割空间中关联设备，以及周围环境状态感知结果进行实时可视化交互，以便工作人员实时进行截割辅助干预，获取更准确的截割规划数据；
5.本方案系统具有高度可扩展性，能够与其他感知系统进行联动，实现更鲁棒、更精准的截割规划。
如图3所示，本发明提供了一种基于巡检视觉感知的采煤机截割规划装置300，包括：
空间映射模块310，用于在采场环境中特定位置设立具有先验信息标识的移动平台，获取移动平台坐标系与地质坐标系之间的空间映射关系；
采场空间数字化构建模块320，用于通过搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻过程中基于移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，并在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别；
采煤机捕获追踪模块330，用于当采煤机出现在视觉监测范围内后，针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，基于采煤机运动状态信息，进行采煤机捕获追踪；
截割规划模块340，用于针对截割空间中采煤机部件的目标对象进行状态感知，并基于状态感知数据确定最优安全截割曲线。
为了实现实施例，本发明还提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的基于巡检视觉感知的采煤机截割规划方法中的各步骤。
非临时性计算机可读存储介质800包括指令的存储器810，接口830，指令可由根据基于巡检视觉感知的采煤机截割规划处理器820执行以完成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的基于巡检视觉感知的采煤机截割规划。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现所述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。所述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
所述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，所述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对所述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于巡检视觉感知的采煤机截割规划方法，其特征在于，包括：
在采场环境中特定位置设立具有先验信息标识的移动平台，获取所述移动平台坐标系与地质坐标系之间的空间映射关系；
搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻，并基于所述移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，同时在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别；
当采煤机出现在视觉监测范围内后，针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，结合数字孪生物理仿真模型与场景模型，基于所述采煤机运动状态信息，进行采煤机捕获追踪；
针对截割空间中采煤机部件的目标对象进行状态感知，并基于状态感知数据确定最优安全截割曲线。
2.根据权利要求1所述的基于巡检视觉感知的采煤机截割规划方法，其特征在于，搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻，并基于所述移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，同时在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别包括步骤：
初始化移动平台运动位置，结合综采工作面工况，围绕采煤机检测识别目标对象进行运动路径预规划；
在运动过程中，移动平台结合系统空间坐标映射关系获取自身在地质坐标系下的绝对坐标信息，基于视觉传感器数据及状态感知传感器数据，根据实时定位及建图系统(SLAM)实现移动平台实时定位；其中，所述视觉传感器数据包括各类型视觉相机、各类型激光雷达所采集数据，所述状态感知传感器包括各类型惯性导航里程计、轮速计、UWB设备所采集数据；
同时进行采场空间数字化构建，利用视觉感知，智能检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别。
3.根据权利要求2所述的基于巡检视觉感知的采煤机截割规划方法，其特征在于，在实现采煤机的自动检测识别的步骤中，包括：
通过机器学习算法针对视觉传感器数据实时进行采煤机检测识别，当采煤机出现在视觉监测范围内后，移动平台针对采煤机运动状态进行感知分析，获取采煤机运动状态信息；
根据采煤机定位、运行速度、加速度的状态数据，针对移动平台进行运动状态控制与规划；
实时调整视觉传感器姿态，实现目标对象的稳定捕获追踪，保证采煤机一直处于系统视觉监测范围内；
当移动平台在移动过程中检测到采场中出现障碍物时，将基于机器人平台模型与采场局部地图进行局部避障路径规划，完成障碍物的自主绕行，然后重新执行采煤机的捕获追踪。
4.根据权利要求1所述的基于巡检视觉感知的采煤机截割规划方法，其特征在于，在针对截割空间中采煤机部件的目标对象进行状态感知的步骤中，包括：
结合采场空间数字化构建地图数据、采煤机物理模型，以及采煤机捕获追踪结果数据，针对采煤机滚筒进行实例分割；基于实例分割结果进行分析，结合滚筒运行状态，计算获取滚筒上边沿、下边沿，以及中心点位置信息数据；
实时检测识别截割空间中液压支架顶板，及互帮板状态；结合采场空间数字化构建地图数据、液压支架物理模型，以及液压支架空间状态数据，进行液压支架顶板实例分割，计算获取顶梁边缘线顶板空间信息数据；
基于采场空间数字化构建地图数据，针对截割空间中局部煤壁区域进行实例分割，计算获取煤壁空间曲面。
5.根据权利要求3所述的基于巡检视觉感知的采煤机截割规划方法，其特征在于，基于状态感知数据确定最优安全截割曲线的步骤包括：
结合截割空间状态感知数据利用人工智能算法进行数据的脱敏、筛选优化处理，进行数字孪生物理仿真模型与场景模型的构建与优化；
基于截割空间状态感知数据，实时判断截割空间安全状态；当跟机过程中出现预设异常状况时，进行截割安全预警；
结合截割空间内计算获取的感知信息，数字孪生目标对象物理仿真模型，以及截割规划先验信息，利用优化算法构建采煤机滚筒截割高度优化模型，实时计算获取采煤机安全截割最优曲线。
6.根据权利要求5所述的基于巡检视觉感知的采煤机截割规划方法，其特征在于，所述状态感知数据包括：
截割空间中采煤机滚筒的实时空间状态；
截割空间中液压支架顶板的实时空间状态；
截割空间中煤壁的空间曲面。
7.根据权利要求6所述的基于巡检视觉感知的采煤机截割规划方法，其特征在于，针对采煤机已完成作业区域进行截割曲线优化处理与分析，保存更新为下一刀作业截割规划的先验信息；首次截割作业时，截割规划先验信息可根据地质探测数据进行计算获取；
基于在截割空间中获取的感知结果信息与最优安全截割曲线，驱动数字孪生实景动态仿真实时构建，完成可视化交互，以便工作人员根据场景需求进行截割规划的辅助干预。
8.一种基于巡检视觉感知的采煤机截割规划装置，其特征在于，包括：
空间映射模块，用于在采场环境中特定位置设立具有先验信息标识的移动平台，获取所述移动平台坐标系与地质坐标系之间的空间映射关系；
采场空间数字化构建模块，用于通过搭载视觉传感器及状态感知传感器的移动平台进行采煤机搜寻，并基于所述移动平台坐标系与地质坐标系之间的空间映射关系，进行采场空间数字化构建，同时在采场空间中检测判断采煤机是否在视觉监测范围内，实现采煤机的自动检测识别；
采煤机捕获追踪模块，用于当采煤机出现在视觉监测范围内后，针对采煤机运动状态进行感知分析，获取采煤机运动状态信息，基于所述采煤机运动状态信息，进行采煤机捕获追踪；
截割规划模块，用于针对截割空间中采煤机部件的目标对象进行状态感知，并结合数字孪生物理仿真模型与场景模型，基于状态感知数据确定最优安全截割曲线。
9.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法中的各步骤。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法中的各步骤。
CN202310118997.XA 2023-02-03 2023-02-03 一种基于巡检视觉感知的采煤机截割规划方法及设备 Pending CN116398134A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310118997.XA CN116398134A (zh) 2023-02-03 2023-02-03 一种基于巡检视觉感知的采煤机截割规划方法及设备
AU2023414159A AU2023414159A1 (en) 2023-02-03 2023-09-04 Coal mining machine cutting planning method and device based on inspection vision perception
PCT/CN2023/116784 WO2024159749A1 (zh) 2023-02-03 2023-09-04 基于巡检视觉感知的采煤机截割规划方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310118997.XA CN116398134A (zh) 2023-02-03 2023-02-03 一种基于巡检视觉感知的采煤机截割规划方法及设备

Publications (1)

Publication Number Publication Date
CN116398134A true CN116398134A (zh) 2023-07-07

Family

ID=87009273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310118997.XA Pending CN116398134A (zh) 2023-02-03 2023-02-03 一种基于巡检视觉感知的采煤机截割规划方法及设备

Country Status (3)

Country Link
CN (1) CN116398134A (zh)
AU (1) AU2023414159A1 (zh)
WO (1) WO2024159749A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024159749A1 (zh) * 2023-02-03 2024-08-08 北京天玛智控科技股份有限公司 基于巡检视觉感知的采煤机截割规划方法及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120063289B (zh) * 2025-04-25 2025-07-25 北京星际导控科技有限责任公司 一种煤矿智能化综采的动态导航定位方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109630110B (zh) * 2019-01-18 2020-02-18 天地科技股份有限公司 一种综采工作面煤层厚度自适应截割控制方法及电子设备
US11180992B2 (en) * 2020-02-19 2021-11-23 Joy Global Underground Mining Llc High stress impact detection for a longwall shearer
CN113160404B (zh) * 2021-04-23 2024-04-23 陕西陕煤黄陵矿业有限公司 采煤机截割曲线规划方法、系统、设备及存储介质
CN116398134A (zh) * 2023-02-03 2023-07-07 北京天玛智控科技股份有限公司 一种基于巡检视觉感知的采煤机截割规划方法及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024159749A1 (zh) * 2023-02-03 2024-08-08 北京天玛智控科技股份有限公司 基于巡检视觉感知的采煤机截割规划方法及设备

Also Published As

Publication number Publication date
AU2023414159A1 (en) 2024-08-29
WO2024159749A1 (zh) 2024-08-08

Similar Documents

Publication Publication Date Title
JP7506876B2 (ja) 自律車両における運動挙動推定および動的挙動推定のための技術
EP3660231B1 (en) System and method for autonomous operation of heavy machinery
WO2024159749A1 (zh) 基于巡检视觉感知的采煤机截割规划方法及设备
US11567197B2 (en) Automated object detection in a dusty environment
US9500079B2 (en) Method and control system for a mining vehicle and a mining vehicle
CN116050277A (zh) 一种煤矿井下场景现实捕捉感知及仿真方法及设备
CN210660083U (zh) 用于在采矿机执行切割操作时控制采矿机前进方向的系统
AU2014409929B2 (en) A method of operating a vehicle and a vehicle operating system
US12243324B2 (en) Visual guidance system and method
CN116022657A (zh) 路径规划方法、装置和起重机
US20230236021A1 (en) Information processing device
CN119658721B (zh) 一种基于语音交互的机器人救助应急控制系统
CN116629106A (zh) 移动机器人运行场景的准数字孪生方法、系统、设备及介质
CN116109675A (zh) 一种煤矿井下场景现实捕捉感知方法及设备
CN117058211A (zh) 基于激光定位的抓斗防摇碰撞策略控制方法和系统
CN118392057A (zh) 红层隧道施工大变形的无人机结构光扫描预警系统及方法
CN116859904B (zh) 一种无人智能凿岩台车控制方法及装置
US20240185719A1 (en) Systems and methods for detecting false positives in collision notifications
CN116321053A (zh) 用于非视距远程遥控驾驶的装载机作业引导系统
CN119573704A (zh) 一种井下救援装备定位导航方法及其系统、电子设备
CN120364594A (zh) 大直径长管节管桩吊运路径规划方法及装置
HK40030920A (zh) 重型機械自主操作的系統和方法
HK40030920B (zh) 重型機械自主操作的系統和方法
CN119002507A (zh) 光伏清洁机器人及其行驶方法
CN118034277A (zh) 煤矿井下场景退化条件下巷道空间接触式碰撞避障方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination