[go: up one dir, main page]

CN115049897A - 基于改进YoloV5神经网络的矿下机器人检测系统 - Google Patents

基于改进YoloV5神经网络的矿下机器人检测系统 Download PDF

Info

Publication number
CN115049897A
CN115049897A CN202210693151.4A CN202210693151A CN115049897A CN 115049897 A CN115049897 A CN 115049897A CN 202210693151 A CN202210693151 A CN 202210693151A CN 115049897 A CN115049897 A CN 115049897A
Authority
CN
China
Prior art keywords
robot
improved
pictures
neural network
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210693151.4A
Other languages
English (en)
Inventor
冯炫
王为源
曹豪
潘冬
严宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Zhiyin Technology Co ltd
Original Assignee
Shaanxi Zhiyin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Zhiyin Technology Co ltd filed Critical Shaanxi Zhiyin Technology Co ltd
Priority to CN202210693151.4A priority Critical patent/CN115049897A/zh
Publication of CN115049897A publication Critical patent/CN115049897A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于矿下应用技术领域，尤其涉及一种基于改进YoloV5神经网络的矿下机器人检测系统。与现有技术相比，本发明的优点和积极效果在于，本发明提供一种基于改进YoloV5神经网络的矿下机器人检测系统，通过对机器人进行拍照以及图片处理，利用改进YoloV5神经网络，实现多特征点的匹配，进而使机器人检测速度、响应速度以及准确率得到大幅度的提高，进而为矿下机器人的使用安全提供了可靠保证。

Description

基于改进YoloV5神经网络的矿下机器人检测系统
技术领域
本发明属于矿下应用技术领域，尤其涉及一种基于改进YoloV5神经网络的矿下机器人检测系统。
背景技术
多年以来，我国一直保持着世界第一大煤炭生产国和世界第一大煤炭消费国的地位。煤矿由于灾害重、风险大，生产过程中下井人员多、危险岗位多，事故时有发生。这不仅让人们时常为煤矿从业者的安全“提心吊胆”，更成为影响社会整体公共安全和稳定的短板。面对煤矿灾害重、风险大、下井人员多、危险岗位多等情况，我国也在积极研发应用煤矿机器人，来相应减少井下作业人数、降低安全风险、提高生产效率、减轻矿工劳动强度。
目前，我国已经开发了针对矿下施工的各类机器人，比如，掘进类的有掘进机器人、全断面立井盾构机器人、临时支护机器人、钻锚机器人、喷浆机器人等机器人；采煤类的有采煤机机器人、超前支护机器人、充填支护机器人、露天矿穿孔爆破机器人；运输类的有运输类的有搬运机器人、破碎机器人、车场推车机器人、巷道清理机器人、煤仓清理机器人、水仓清理机器人、选矸机器人、巷道冲尘机器人等机器人，当然，还有其他种类的机器人。
由于矿下机器人的工作性质以及工作环境的问题，需要对机器人本身以及动作是否安全进行检测，目前主要检测的方式有无线电检测、光电检测以及声波检测，上述三种检测方法虽然能够实现有效检测，但其存在检测精度低或响应速度慢的问题。
发明内容
本发明针对上述的传统矿下机器人检测所存在的技术问题，提出一种方案简单、操作方便且检测精度高和响应速度快的基于改进YoloV5神经网络的矿下机器人检测系统。
为了达到上述目的，本发明采用的技术方案为，本发明提供一种基于改进YoloV5神经网络的矿下机器人检测系统，包括以下步骤：
a、首先利用相机对需要检测的机器人进行多角度拍照，获取机器人在正常状态下的照片；
b、然后对机器人工作时进行多角度拍照；
c、然后，将b步骤获取的图片采用数据扩增的方法增加图片数量；
d、接着对c步骤获得所有的图片以机器人最小外接矩形的方式进行标注，标注完成后，将得到的图片复制3份，得到该机器人的数据集；
e、将数据集的图片统一归化尺寸大小一致的图片；
f、将归化后的图片输入到改进后的YOLOv5网络中与a步骤获取的照片进行匹配，判断机器人是否存在安全隐患或是否正常工作；
其中，所述f步骤中，改进后的YOLOv5网络包括带有Focus网络结构的BottleneckCSP主干网络、改进的SPP结构以及改进的样本匹配方法，其中，Focus网络结构的操作方法为：在一张图片中每隔一个像素拿到一个值；改进的SPP结构；所述改进的SPP结构的操作方法为：对于每个区域，通过三种划分方式进行池化：直接对整个整个区域池化、将区域划分成2×2的格子后对每个格子进行池化以及将区域划分成4×4的格子后对每个格子进行池化，然后将三种池化方法得到的向量进行拼接，得到该机器人的特征；所述改进的样本匹配方法为在训练时每个特征由多个a步骤获取的正常状态下的照片来进行验证。
作为优选，所述a步骤中，多角度拍照包括机器人正常静止状态下多角度拍摄以及机器人正常动作状态下多角度拍摄。
作为优选，所述a步骤中，多角度拍摄包括机器人外部相机拍摄以及机器人上设置的摄像头拍摄。
作为优选，所述b步骤中，利用矿下环境固定位置的相机以及机器人上设置的摄像头进行拍摄。
作为优选，所述c步骤中，通过图像拼接、旋转、加入噪声的方法，扩充b步骤中所获取的图片的数量。
与现有技术相比，本发明的优点和积极效果在于，
1、本发明提供一种基于改进YoloV5神经网络的矿下机器人检测系统，通过对机器人进行拍照以及图片处理，利用改进YoloV5神经网络，实现多特征点的匹配，进而使机器人检测速度、响应速度以及准确率得到大幅度的提高，进而为矿下机器人的使用安全提供了可靠保证。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
实施例1，本实施例提供一种基于改进YoloV5神经网络的矿下机器人检测系统，具体操作如下：
首先利用相机对需要检测的机器人进行多角度拍照，获取机器人在正常状态下的照片，此步骤的主要目的就是为了YoloV5神经网络中正样本匹配训练时制作先验框，而此处的正常状态是指机器人无外观损害、无任何异常状态且无工作状态下的状态，考虑到机器人在静止状态下和工作状态下，状态可能不同，比如，油缸的开合，挖掘机构的开合，为此，多角度拍照包括机器人正常静止状态下多角度拍摄以及机器人正常动作状态下多角度拍摄，这样，从静和动两方面来获取机器人的照片，而此时的多角度不管有动作的多角度，还包括机器人位置上的多角度，为此，多角度拍摄包括机器人外部相机拍摄以及机器人上设置的摄像头拍摄。而机器人上的摄像头主要用于拍摄外部相机不容易拍摄且机器人相对容易发生故障的位置。
然后对机器人工作时进行多角度拍照，此时的多角度拍摄和机器人在正常状态下的拍摄角度是一致的，这样设置的目的，主要是为了方便更好的匹配。
然后，将机器人在工作状态时获取的图片采用数据扩增的方法增加图片数量，扩增的方法主要是通过图像拼接、旋转、加入噪声的方法，扩充所获取的图片的数量，这样做的目的也是为了增加样本的数量，通过增加样本的数量来获取更多的特征，从而提高检测的准确度。
接着扩增后获得所有的图片以机器人最小外接矩形的方式进行标注，标注完成后，将得到的图片复制3份，得到该机器人的数据集，这里面所说的最小外接矩形就将图片中机器人最小外接(或外切)矩形以外的图片予以删除，这样的目的主要是为了去除其他杂物，确保准确度，而复制三份的主要目的也是为了增加样本的数量。
为了方便对图片进行处理，需要将数据集的图片统一归化尺寸大小一致的图片，在本实施例中，将其统一归化为640*640尺寸大小的图片。
将归化后的图片输入到改进后的YOLOv5网络中与a步骤获取的照片进行匹配，判断机器人是否存在安全隐患或是否正常工作；
在本实施例中，主要对现有的YOLOv5网络进行了三处改进，具体的说，带有Focus网络结构的BottleneckCSP主干网络、改进的SPP结构以及改进的样本匹配方法，其中，Focus网络结构的操作方法为：在一张图片中每隔一个像素拿到一个值，这个时候获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍。同时，BottleneckCSP主干网络包括若干个1×1和3×3的卷积层，这样设置的目的通过增加通道的数量以及卷积核的相互运算下，达到增加样本量的输入，从而扩大特征量，最终确保运算的准确性。
而改进的SPP结构的操作方法为：对于每个区域，通过三种划分方式进行池化：直接对整个整个区域池化、将区域划分成2×2的格子后对每个格子进行池化以及将区域划分成4×4的格子后对每个格子进行池化，然后将三种池化方法得到的向量进行拼接，得到该机器人的特征，更为具体的说，系统中SPP特征图通道数为256，对于每个区域，通过三种划分方式进行池化：直接对整个整个区域池化，每层得到一个点，共256个点，构成一个1×256的向量；将区域划分成2×2的格子，每个格子池化，得到一个1×256的向量，共2*2＝4个格子，最终得到4个1×256的向量；将区域划分成4×4的格子，每个格子池化，得到一个1×256的向量，共4*4＝16个格子，最终得到16个1×256的向量，将三种划分方式池化得到的结果进行拼接，得到(1+4+16)×246＝21×256的特征，这样，就增加的样本的特征点，在匹配时能够更好的匹配。
同时，改进的样本匹配方法为在训练时每个特征由多个正常状态下获取的照片来进行验证。在之前的Yolo系列里面，在训练时每一个真实框对应一个正样本，即在训练时，每一个真实框(工作状态下的图)仅由一个先验框(正常状态下获取的照片)负责预测。在本实施例中，为了加快模型的训练效率，增加了正样本的数量，在训练时，每一个真实框可以由多个先验框负责预测。这样，达到提高响应速度的目的。
通过照片匹配的方式对矿下机器人进行检测，不进能够获取到机器人内部的一些信息且响应速度更快，从而更为准确的对机器人目前的状态进行判定，从而对机器人的安全使用提供保障。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于改进YoloV5神经网络的矿下机器人检测系统，其特征在于，包括以下步骤：
a、首先利用相机对需要检测的机器人进行多角度拍照，获取机器人在正常状态下的照片；
b、然后对机器人工作时进行多角度拍照；
c、然后，将b步骤获取的图片采用数据扩增的方法增加图片数量；
d、接着对c步骤获得所有的图片以机器人最小外接矩形的方式进行标注，标注完成后，将得到的图片复制3份，得到该机器人的数据集；
e、将数据集的图片统一归化尺寸大小一致的图片；
f、将归化后的图片输入到改进后的YOLOv5网络中与a步骤获取的照片进行匹配，判断机器人是否存在安全隐患或是否正常工作；
其中，所述f步骤中，改进后的YOLOv5网络包括带有Focus网络结构的BottleneckCSP主干网络、改进的SPP结构以及改进的样本匹配方法，其中，Focus网络结构的操作方法为：在一张图片中每隔一个像素拿到一个值；改进的SPP结构；所述改进的SPP结构的操作方法为：对于每个区域，通过三种划分方式进行池化：直接对整个整个区域池化、将区域划分成2×2的格子后对每个格子进行池化以及将区域划分成4×4的格子后对每个格子进行池化，然后将三种池化方法得到的向量进行拼接，得到该机器人的特征；所述改进的样本匹配方法为在训练时每个特征由多个a步骤获取的正常状态下的照片来进行验证。
2.根据权利要求1所述的基于改进YoloV5神经网络的矿下机器人检测系统，其特征在于，所述a步骤中，多角度拍照包括机器人正常静止状态下多角度拍摄以及机器人正常动作状态下多角度拍摄。
3.根据权利要求2所述的基于改进YoloV5神经网络的矿下机器人检测系统，其特征在于，所述a步骤中，多角度拍摄包括机器人外部相机拍摄以及机器人上设置的摄像头拍摄。
4.根据权利要求1所述的基于改进YoloV5神经网络的矿下机器人检测系统，其特征在于，所述b步骤中，利用矿下环境固定位置的相机以及机器人上设置的摄像头进行拍摄。
5.根据权利要求4所述的基于改进YoloV5神经网络的矿下机器人检测系统，其特征在于，所述c步骤中，通过图像拼接、旋转、加入噪声的方法，扩充b步骤中所获取的图片的数量。
CN202210693151.4A 2022-06-17 2022-06-17 基于改进YoloV5神经网络的矿下机器人检测系统 Pending CN115049897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210693151.4A CN115049897A (zh) 2022-06-17 2022-06-17 基于改进YoloV5神经网络的矿下机器人检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210693151.4A CN115049897A (zh) 2022-06-17 2022-06-17 基于改进YoloV5神经网络的矿下机器人检测系统

Publications (1)

Publication Number Publication Date
CN115049897A true CN115049897A (zh) 2022-09-13

Family

ID=83164164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210693151.4A Pending CN115049897A (zh) 2022-06-17 2022-06-17 基于改进YoloV5神经网络的矿下机器人检测系统

Country Status (1)

Country Link
CN (1) CN115049897A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292329A (zh) * 2023-11-24 2023-12-26 烟台大学 一种建筑机器人工作异常监测方法、系统、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090043088A (ko) * 2007-10-29 2009-05-06 삼성전자주식회사 영상 기반의 로봇 고장 자가 진단 장치 및 방법
CN107097226A (zh) * 2016-02-19 2017-08-29 发那科株式会社 机器人系统的故障诊断装置
CN111531580A (zh) * 2020-04-27 2020-08-14 武汉工程大学 一种基于视觉的多工业机器人故障检测方法及系统
CN113297956A (zh) * 2021-05-22 2021-08-24 温州大学 一种基于视觉的手势识别方法及系统
CN113822372A (zh) * 2021-10-20 2021-12-21 中国民航大学 基于YOLOv5神经网络的无人机检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090043088A (ko) * 2007-10-29 2009-05-06 삼성전자주식회사 영상 기반의 로봇 고장 자가 진단 장치 및 방법
CN107097226A (zh) * 2016-02-19 2017-08-29 发那科株式会社 机器人系统的故障诊断装置
CN111531580A (zh) * 2020-04-27 2020-08-14 武汉工程大学 一种基于视觉的多工业机器人故障检测方法及系统
CN113297956A (zh) * 2021-05-22 2021-08-24 温州大学 一种基于视觉的手势识别方法及系统
CN113822372A (zh) * 2021-10-20 2021-12-21 中国民航大学 基于YOLOv5神经网络的无人机检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292329A (zh) * 2023-11-24 2023-12-26 烟台大学 一种建筑机器人工作异常监测方法、系统、介质及设备
CN117292329B (zh) * 2023-11-24 2024-03-08 烟台大学 一种建筑机器人工作异常监测方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
Xiao et al. Development of an image data set of construction machines for deep learning object detection
Chen et al. Image-based segmentation and quantification of weak interlayers in rock tunnel face via deep learning
Lenjani et al. Automated building image extraction from 360 panoramas for postdisaster evaluation
Paal et al. Automated damage index estimation of reinforced concrete columns for post-earthquake evaluations
Wang et al. Building damage detection from satellite images after natural disasters on extremely imbalanced datasets
Zhang et al. Deep learning‐based automatic detection of muck types for earth pressure balance shield tunneling in soft ground
Oh et al. Robust sewer defect detection with text analysis based on deep learning
Chen et al. Collaborative mobile-cloud computing for civil infrastructure condition inspection
Ouyang et al. Automated pixel-level crack monitoring system for large-scale underground infrastructure–A case study at CERN
Lei et al. Intelligent recognition of joints and fissures in tunnel faces using an improved mask region‐based convolutional neural network algorithm
CN113642765B (zh) 矿井监测设备优化部署方法、设备、电子设备及存储介质
CN115049897A (zh) 基于改进YoloV5神经网络的矿下机器人检测系统
Yan et al. Application of computer vision technology in surface damage detection and analysis of shedthin tiles in China: a case study of the classical gardens of Suzhou
Jiang et al. A method of concrete damage detection and localization based on weakly supervised learning
Wu et al. Detecting leakage water of shield tunnel segments based on mask R-CNN
Chen et al. GFSegNet: A multi-scale segmentation model for mining area ground fissures
KR101966732B1 (ko) 석회석 광산 갱내의 디지털 사진 자료를 이용한 암상 분석 방법
Leach et al. Data augmentation for improving deep learning models in building inspections or postdisaster evaluation
CN114549972A (zh) 露天矿采场提取方法、装置、设备、介质及程序产品
Maltezos et al. Understanding historical cityscapes from aerial imagery through machine learning
Singh et al. Enhancing dragline operations supervision through computer vision: real time height measurement of dragline spoil piles dump using YOLO
Nosrati et al. A novel approach for polygonal rooftop detection in satellite/aerial imageries
CN112052824A (zh) 基于YOLOv3算法的煤气管道特定物体目标检测告警方法、装置、系统及存储介质
Choi et al. Hybrid Data Augmentation for Enhanced Crack Detection in Building Construction
Qiao et al. Multi‐CrackNet: A Fast Segmentation and Quantification Combined Method for Rock Discontinuity Traces by Capturing an Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 013, Room F2004, 20th Floor, Block 4-A, Xixian Financial Port, Fengdong New Town Energy and Gold Trade Zone, Xixian New District, Xi'an City, Shaanxi Province 710000

Applicant after: Shaanxi Zhiyin Technology Co.,Ltd.

Address before: 710000 Zhang Bu Jie ban Xing Wang Cun, Gaoling District, Xi'an City, Shaanxi Province

Applicant before: Shaanxi Zhiyin Technology Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination