[go: up one dir, main page]

CN114926456B - 一种半自动标注和改进深度学习的铁轨异物检测方法 - Google Patents

一种半自动标注和改进深度学习的铁轨异物检测方法 Download PDF

Info

Publication number
CN114926456B
CN114926456B CN202210669222.7A CN202210669222A CN114926456B CN 114926456 B CN114926456 B CN 114926456B CN 202210669222 A CN202210669222 A CN 202210669222A CN 114926456 B CN114926456 B CN 114926456B
Authority
CN
China
Prior art keywords
rail
model
algorithm
improved
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210669222.7A
Other languages
English (en)
Other versions
CN114926456A (zh
Inventor
王国华
谢函
古卓恒
连佩仪
凌海涛
陈嘉豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210669222.7A priority Critical patent/CN114926456B/zh
Publication of CN114926456A publication Critical patent/CN114926456A/zh
Application granted granted Critical
Publication of CN114926456B publication Critical patent/CN114926456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明公开了一种半自动标注和改进深度学习的铁轨异物检测方法，包括：基于热红外人体分割结果，半自动标注数据集；针对铁轨户外全天候环境，对ResNet 50神经网络进行改进完成对不同环境场景的识别；根据场景识别的结果，对YOLOv5神经网络进行改进，识别铁轨异物；对图片进行铁轨轮廓提取，结合异物位置，设计了针对铁轨异物入侵的报警策略，进行分等级的报警判断。通过引入深度学习的场景分类结合改进的目标识别网络，本发明提高了不同环境场景下的铁轨异物识别的效果，提升了对异物入侵铁轨报警的精准度，结合科学的报警策略，降低了异物入侵铁轨造成列车事故的可能性。

Description

一种半自动标注和改进深度学习的铁轨异物检测方法
技术领域：
本发明涉及计算机视觉与模式识别、智能交通系统(intelligenttransportation systems,ITS)领域，具体为一种半自动标注和改进深度学习的铁轨异物检测方法。
背景技术：
传统的检测方法需要在沿线铁轨安装多个摄像头，成本高且实时性较差。
在传统的检测方法中，中国铁道科学研究院的端嘉盈(端嘉盈.高速列车运营环境监测无线传感器网络研究[D].中国铁道科学研究院,2017.)提出了对现有的铁路监测设备进行改进，增加无线发送模块，实现信息的无线传播，同时能够接受地面上的监测信息，并进行处理、存储和显示，有效的解决了有线网络布线成本高、无法灵活检测的问题。北方工业大学的林玉兵(林玉兵.三维激光雷达图像在铁路异物侵限检测中的应用研究[D].北方工业大学,2018.)提出使用三维激光雷达进行铁路的异物侵限检测，通过使用GL-1025激光雷达与云台系统结合组成三维激光雷达系统进行信息采集，之后对三维点云数据进行格式转换、三维建模等操作，最后采用OTSU算法以及K均值聚类和DBSCAN聚类进行目标检测，最后实验结果表明算法能够自动对目标进行分类和检测，同时在不同场景中都有较好的检测效果。但是由于点云数据的庞大以及对硬件的要求，因此想要完成实时检测难度很大。一种主动式轨道状态监测系统(CN113484420A)为轨道加装主动式轨道状态监测系统，一种铁路电网巡检机器人(CN114194231A)采用机器人巡检的方式，为铁轨异物检测提供了新的创新方向。
在基于深度学习的技术方法中，王磊(王磊.面向铁路行车安全的高精度行人检测算法研究与系统设计[D].北京交通大学,2019.)提出了小尺度行人检测算法，该算法基于Faster R-CNN网络从弱语义分割损失函数、通道放射变换和特征融合对网络结构进行了优化。刘慧等人(刘慧,张礼帅,沈跃,等.基于改进SSD的果园行人实时检测方法[J].农业机械学报,2019,50(4):8.)提出了行人实时监测算法，将空洞卷积引入SSD扩大卷积神经网络的感受野。芮挺等人(芮挺,费建超,周遊,等.基于深度卷积神经网络的行人检测[J].计算机工程与应用,2016,52(13):5.)提出了一种多层网络结构构建卷积神经网络来检测行人的算法，该算法对于行人检测有较高的效率。王宁(王宁.基于特征融合的铁路入侵行人分类算法[D].北京交通大学.)提出了特征融合即卷积神经网络特征和手工行人特征融合的铁路行人分类算法。江西理工大学的何文玉等人(何文玉,杨杰,张天露.基于深度学习的轨道异物入侵检测算法[J].计算机工程与设计,2020,41(12):8.)提出结合传统机器学习算法对图像进行基本处理，划定入侵区域，利用深度学习的YOLO-V3网络模型进行多次训练，通过训练模型检测划定好的入侵区域，检测区域内是否存在异物的方法，使实时检测异物入侵成为了可能，但这需要在沿线安装多个摄像设备而成本高昂，其机动性不足，没有充分发挥YOLOv3算法实时性的优点。
综上所述，尽管目前的基于深度学习技术方法异物检测在其他领域已经初有成效，但对于铁路智能交通系统这一细分领域，其检测速率、检测准确率、检测效率和鲁棒性方面仍然有进一步改进空间。
发明内容：
本发明实施例的目的在于提供一种半自动标注和改进深度学习的铁轨异物检测方法，旨在促进解决已有的铁轨异物检测方法实时性不高，鲁棒性不强，难以应对多种复杂环境下的铁轨异物侵限情况。
一种半自动标注和改进深度学习的铁轨异物检测方法，其包括如下步骤：
(1)提出基于热红外的人体分割算法，将分割结果映射到可见光图像中，快速获得可见光的人体标注框，建立YOLOv5训练数据集；
(2)提出基于改进的ResNet 50模型的场景分类算法，指导执行不同场景下的人体识别模型的人体识别方法；
(3)利用提出改进的YOLOv5模型的目标检测算法，离线训练分类模型，对铁轨异物进行目标检测，实现异物检测；
(4)提出基于传统算法和改进深度学习的铁轨轮廓提取算法，实现对单张图片进行铁轨分割并提取轮廓；
(5)提出根据铁轨分割结果和异物位置的异物报警策略算法，指导研判整张图片报警等级，实现报警等级判断。
进一步的，步骤(1)所述的快速获得可见光人体标注框通过以下步骤获得：通过选取焦距一致的热红外摄像头和可见光摄像头，在场景温度低于25摄氏度以下的场景下，同时录制热红外和可见光视频；在此基础上，借助热红外人体在25摄氏度以下容易被otsu算法分割出来的特点，利用otsu算法自动完成热红外人体图像的分割，然后将分割结果映射到可见光图像中，从而直接获得大量可见光人体标注框结果；最后，对少部分可能分割错误的结果进行少量人工校正，半自动获取可见光的人体标注框，建立YOLOv5训练数据集。
进一步的，步骤(2)所述的改进的ResNet 50模型的场景分类算法为：针对ResNet50场景分类模型，引入迁移学习机制训练模型，将ImageNet上预训练的模型权重迁移到模型中，以加速网络模型的收敛；步骤(2)在激活函数的选择上具体是将Relu函数改为LRelu函数，防止梯度消失。
进一步的，步骤(3)所述的改进YOLOv5模型的目标检测算法为：针对YOLOv5目标检测模型，在获得数据之后，采用Mosaic数据增强和实时数据加载数据，改善边界框预测损失函数，利用GT目标边界框UID分配器、GT目标边界框UID匹配器、边界框位置与分类损失权重算法的模型构成，改善了位置精度和分类精度；步骤(3)在收集组合目标特征方面，加入了卷积注意力机制，并且对于预测部分，在传统的sigmoid函数σ(x)基础上，在MobileNetv3网络中又引入了h-swish函数，将原先在Bounding box使用的损失函数的CIOU_Loss，改为了GIOU_Loss；最后在YOLOv5算法的检测模块中加入deepsort追踪模块防止漏检，从而提升系统检测异物的鲁棒性。
进一步的，步骤(4)所述的基于传统算法的轨道线检测方法为：对直线型铁轨,利用Hough变化进行铁路轨道边缘特征提取；对曲线型铁轨，先对铁轨进行分段，得到分段直线铁轨，再利用Hough进行铁路轨道边缘特征提取，之后对其进行合并得到曲线轨道边缘提取，结合二者提出适用于直线、曲线、多轨直线、多轨曲线四种不同类型复杂环境下的轨道线轮廓分割算法；而步骤(4)所述的基于改进深度学习的铁轨轮廓提取算法为：采用基于DeepLabv3+语义分割网络的深度学习算法进行铁轨轮廓提取；最终对两个模型得出的数据结果进行取轮廓并集处理，留下它们公共的部分作为最终提取出的轨道轮廓。
进一步的，步骤(5)所述的异物报警策略算法为：利用步骤(4)获得单张图片轨道轮廓相应坐标，利用步骤(3)获得单张图片异物坐标，根据提出的自定义的函数和算法对于整张图片异物入侵情况进行加权判断，并最终归一化为整张图片的报警等级。
与现有轨道异物检测技术相比，本发明具有如下优点和效果：本发明的步骤(1)所述的方法能够在数据预处理阶段半自动地获得可见光行人标注框数据集，且在后期审阅时进一步手工提升标注精度；步骤(2)所述的方法，针对铁轨户外场景，常见光照、天气等差异较大，本发明引入基于改进深度学习的场景分类算法，根据该场景分类结果指导后续的人体检测模型完成高精度异物识别，解决此类模型难以适用于不同场景下的复杂环境；步骤(3)所述的基于改进YOLOv5模型的目标检测算法在获得数据之后，改进损失函数，改善了位置精度和分类精度，还在收集组合目标特征方面，加入了卷积注意力机制，除此之外加入追踪模块防止系统漏检，最终解决轨道异物检测系统的鲁棒性不强，传统YOLOv5算法框架针对某些特定的环境情况检测精确的不足的问题；步骤(4)所述的基于传统算法和改进深度学习的铁轨轮廓提取算法，结合了传统铁轨轮廓分割方法和基于深度学习的铁轨轮廓分割方法的优点，具体采用改进Hough变换算法检测出轨道线并分割出铁轨轮廓以及使用基于DeepLabv3+语义分割网络的深度学习算法进行轨道线语义分割并提取出铁轨轮廓，然后将两者得出的数据结果进行取轮廓并集处理，最终提高提取铁轨轮廓的精准性；步骤(5)所述设计的异物报警策略算法能够指导研判整张图片报警等级，根据自定义函数得出线性的报警等级，实现精准判断处理轨道异物入侵，大幅度降低误触报警与过度报警情况的发生，减少了事故发生的可能性。
本发明的另一个优势在于系统的硬件条件是基于车载摄像头，相比在轨道沿线分段安装静态摄像头全天24小时不间断实时监控轨道这一传统轨道异物检测方法，具有更强的经济适用性以及更高的容错率，大大提高了轨道异物入侵检测效率并且降低了异物入侵轨道造成列车事故的可能性。
附图说明：
图1是本发明实施例提供的半自动标注和改进深度学习的铁轨异物检测方法总流程图。
图2是本发明实施例提供的基于热红外的人体分割算法，将分割结果映射到可见光图像中，快速获得可见光的人体标注框，建立YOLOv5训练数据集的方法。
图3是本发明实施例提供的基于改进的ResNet 50模型的场景分类算法，指导执行不同场景下的人体识别模型的人体识别方法。
图4是YOLOv5网络模型结构图。
图5是本发明实施例提供的基于传统算法和改进深度学习的铁轨轮廓提取算法的实施例图。
具体实施方式：
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
本发明的整体流程如图1所示，本发明实施例的一种半自动标注和改进深度学习的铁轨异物检测方法包括以下步骤：
S1：通过选取焦距一致的热红外摄像头和可见光摄像头，在场景温度低于25摄氏度以下的场景下，同时录制热红外和可见光视频；在此基础上，借助热红外人体在25摄氏度以下容易被otsu算法分割出来的特点，利用otsu算法自动完成热红外人体图像的分割，然后将分割结果映射到可见光图像中，从而直接获得大量可见光人体标注框结果；最后，对少部分可能分割错误的结果进行少量人工校正，半自动获取可见光的人体标注框，建立YOLOv5训练数据集。
S2：将训练数据集根据图片所在环境场景分为各类环境并打上标签，包括晴天、阴天、雨天、雾天、雪天和黑夜六大类，再利用提出的基于改进的深度残差网络ResNet 50分类算法，对上述打好标签的数据集进行离线训练，得到能够识别图片环境的ResNet 50模型；利用该ResNet 50模型对S1建立的YOLOv5训练数据集进行分类处理，得到基于不同环境场景下的多种训练数据集；所述的基于改进的ResNet 50分类算法为：首先，引入迁移学习机制训练模型，将ImageNet上预训练的模型权重迁移到我们的模型中，以加速网络模型的收敛；其次，在激活函数的选择上，将Relu函数改为LRelu函数，防止深层网络的梯度消失。
S3：接下来利用基于改进的YOLOv5目标检测算法，对S2中得到的基于不同环境场景下的多种训练数据集分开进行离线训练，得到基于不同环境场景下的改进的YOLOv5模型；所述的基于改进的YOLOv5目标检测算法步骤为：获得数据之后，采用Mosaic数据增强和实时数据加载数据，改善边界框预测损失函数，利用GT目标边界框UID分配器、GT目标边界框UID匹配器、边界框位置与分类损失权重算法的模型，改善了位置精度和分类精度；在收集组合目标特征方面，加入了卷积注意力机制；最后在预测部分，在传统的sigmoid函数σ(x)基础上，在MobileNetv3中又引入了h-swish函数，将原先在Bounding box使用的损失函数的CIOU_Loss，改为了GIOU_Loss；最后在YOLOv5算法的检测模块中加入deepsort追踪模块防止漏检，从而提升系统检测异物的鲁棒性。
S4：经过上述训练得到的模型对列车行驶场景过程中是否有异物侵限进行检测，同时提出一种新的基于改进深度学习的铁轨轮廓提取算法来进行铁轨分割并提取轮廓。传统的轨道线检测方法会使用Hough变换对预处理后的轨道线图像进行检测，可粗略定位图像中可能存在的轨道线，再结合轨道线自身特征进行筛选得到轨道线位置，最终分割提取出铁轨轮廓；而基于深度学习的铁轨轮廓提取方法采用基于DeepLabv3+语义分割网络进行轨道线语义分割以此提取出铁轨轮廓。我们对传统的铁轨轮廓提取方法和基于深度学习的铁轨轮廓提取方法进行改进，具体做法为对两个模型得出的数据结果进行取轮廓并集处理，留下它们公共的部分作为我们最终提取出的铁轨轮廓，从而更精准的用于报警研判，提取得到铁轨轮廓后将两个模型运行得到的结果传入报警策略模型。
S5：利用提出的报警策略模型对于传入结果进行报警研判；所述提出的报警策略模型算法为：针对S3和S4传入的异物检测结果和铁轨轮廓提取结果，对上层输入特征进行加权融合，最终归一化为单张图片的报警等级；所述的报警策略模型的原理：对于异物检测的输入结果进行特征提取，获得n个异物的位置的图片绝对坐标向量。
异物位置的图片绝对坐标向量如(1)所示，其中xi为异物在图片中的横坐标，yi为异物在图片中的纵坐标。
Ai＝(xi,yi),i∈{1,2,……,n} (1)
根据此结果，对于语义分割的输入结果进行特征提取，获得第i行像素的铁轨像素宽度绝对值，其表达式如(2)所示。
其中Wi1，Wi2为铁轨语义边界在纵坐标yi的横坐标值。
同时得到异物相对铁轨语义边界的距离，其表达式如(3)所示。
报警判断值表达式如(4)所示。
当P≥0.5时报警。
S6：根据S5报警策略模型的输出的结果，判断是否需要动车发出警报。
如图2，所述S1具体流程为：
S11：选取焦距一致的热红外摄像头和可见光摄像头在列车上布署。
S12：在场景温度低于25摄氏度以下的场景下，同时录制热红外和可见光视频。
S13：将S12录制收集到的视频流按照抽帧的方法对视频进行处理，时间间隔为1s，即每隔1s在视频中抽取一张图片，特别地，对于存在人体异物的图像，利用双线程对于两个摄像头收集到的图片进行时序匹配的同时抽帧处理。
S14：在此基础上，借助热红外人体在25摄氏度以下容易被otsu算法分割出来的特点，利用otsu算法自动完成热红外人体图像的分割。
S15：将热红外人体图像分割结果映射到可见光图像中，从而直接获得大量可见光人体标注框结果。
S16：对少部分可能分割错误的结果进行少量人工校正，半自动获取可见光的人体标注框。
S17：根据S15半自动获取的可见光人体标注框结果，按照8：1：1分为训练集、测试集和验证集，最终建立YOLOv5训练数据集。
如图3，所述S2具体流程为：
S21：首先将加载好的预训练模型迁移到我们的场景分类模型中，随后将S17中建立好的训练数据集打上标签后输入改进的ResNet 50网络中进行训练，利用交叉验证的方法来训练和评估模型的性能，最终得到一个能够识别训练数据集图片所在环境场景的最优分类器。
S22：在迁移学习方面，需要获取ResNet 50网络在ImageNet数据集中预训练的网络权重，使用命令wget下载预训练模型，利用torch.load_state_dict(torch.load("./resnet50-pre.pth"),strict＝False)载入模型预训练权重。
S23：在激活函数方面，为了避免梯度消失的问题，将Relu函数更改为LRelu函数，保证网络在更深层也能很好的收敛，其中LRelu函数如(5)所示。
S24：在模型训练方面，取batch_size＝64，epoch＝20，对模型进行训练，从而得到能够识别训练数据集图片所在环境场景的分类器。
S25：根据该分类器，我们对S17中建立好的YOLOv5训练数据集进行基于环境场景分类，最终得到基于不同环境场景下的多种YOLOv5训练数据集。
如图4，所述S3具体流程为：
S31：根据S25得到的基于不同环境场景下的多种训练数据集，对于不同环境场景，利用不同的环境场景训练数据集，训练基于此环境情况下的改进的YOLOv5模型，得到基于改进YOLOv5网络的不同环境场景条件铁轨异物检测算法。
S32：在数据加载器中，YOLOv5输入端采用mosaic数据增强，在create_dataloader中设置参数augment＝True，检查hyp.scratch.yaml中Mosaic是否设置为1.0，同时保留原始信息，在每次检测输入了新的图片之后，通过调整图像亮度和使用马赛克方法来进行Mosaic数据增强，实现实时数据增强的目的。把4张图片通过随机缩放、随机裁减、随机排布的方式进行拼接。
S33：在收集组合目标特征方面，加入了卷积注意力机制，YOLOv4中应用了注意力机制Modified SAM，但YOLOv5中并没有应用相关注意力机制，因此对特征提取网络添加卷积注意力机制模块CBAM，在commom.py中加入标准卷积层+CBAM模块对应的累和函数，在骨干网络中，往第一个卷积后加入CBAM，把相应的“Conv”改为了“Conv_CBAM”。
S34：改善边界框预测损失函数，利用GT目标边界框UID分配器、GT目标边界框UID匹配器、边界框位置与分类损失权重算法的模型，进而改善位置精度和分类精度将原先在Bounding box使用的损失函数的CIOU_Loss，改为了GIOU_Loss，具体变换如(6)和(7)所示。
S35：在预测方面，传统的sigmoid函数σ(x)在移动端非常消耗计算资源，而Relu6函数具有易于量化部署，因此在在传统的sigmoid函数σ(x)基础上，引入h-swish函数，能在保持精度的情况下加快速度，其中h-swish函数如(8)所示。
S36：最后在YOLOv5算法的检测模块代码中加入deepsort追踪模块防止漏检，将目标的外观信息加入到帧间匹配的计算中，从而提升系统检测异物的鲁棒性。
如图5，所述S4具体流程为：
S41：对传统的轨道线分割方法进行改进：对直线型铁轨，利用Hough变换进行铁路轨道边缘特征提取；对曲线型铁轨，先对铁轨进行分段，得到分段直线铁轨，再利用Hough变换进行铁路轨道边缘特征提取，之后对其进行合并得到曲线轨道边缘提取；最终结合两者提出适用于直线、曲线、多轨直线、多轨曲线四种不同类型复杂环境下的轨道线轮廓分割算法。
S42：由于自然场景中包含大量不相关目标，其中很大部分都有直线成分，会对轨道区域的识别造成较大影响，因此需要先在图像中划分ROI(Region of Interest)区域，在ROI区域中识别铁轨可以大大提高识别准确率，排除不相关因素的干扰。我们使用cv2.setMouseCallback函数，通过点击图像中的像素点获取像素点的坐标；ROI区域为矩形，选择时只要选择矩形对角线两个端点的像素点坐标即可，可以返回相应的坐标值，通过该坐标值绘制ROI区域。
S43：在进行Hough变换之前往往还包含一部分预处理流程用以增强图像边缘，本算法的预处理包括灰度值转换、直方图均衡化和高斯滤波三个阶段。灰度值转换阶段我们使用cv2.cvtColor函数，参数为cv2.COLOR_RGB2GRAY，将原始三通道RGB彩图转换为灰度图。
S44：图像转换为单通道灰度图之后对图像进行直方图均衡化用以增强对比度。直方图均衡化通过拉伸像素强度分布范围来增强图像对比度，均衡化后的图像只是近似均匀分布，而图像的动态范围扩大本质上是扩大量化间隔并减少量化级别，各区域之间有明显的边界。我们使用cv2.equalizeHist函数对灰度图像进行直方图均衡化，对于正常光照条件下的自然场景，经过直方图均衡化后，图像对比度往往会提高，有利于目标边缘的检测。
S45：对图像进行高斯滤波处理，高斯滤波对整幅图像进行加权平均，每一个像素点的值都是其本身和领域内其他像素值经过加权平均得到的，消除图像中的高斯噪声。高斯滤波的具体操作为：用一个高斯核(也称卷积、模板)扫描图像中的每一个像素，用模板确定的领域内像素的加权平均灰度值去替代模板中心像素点的值。我们使用使用cv2.GaussianBlur函数对图像进行高斯滤波处理并且自行定义高斯核尺寸。
S46：将预处理结束的图片进行Hough变换处理并提取铁轨轮廓。Hough变换原理是将影像空间中的曲线(包括直线)变换到参数空间中，通过检测参数空间中的极值点，确定出该曲线的描述参数，从而提取影像中的规则曲线。Hough直线检测中采用极坐标系进行表示，直线极坐标表达式如(9)所示。
ρ ＝xcosθ +ysinθ (9)
表达式(9)中：ρ为原点到直线的距离，θ为直线与y轴的夹角，(x,y)为直线上一点的坐标。
将坐标系中每个点坐标分别带入式中，对于每一个给定的θ，分别计算ρ的大小并对相同大小的ρ进行统计，由此确定直线。
S47：而基于深度学习的铁轨轮廓提取方法我们采用基于改进语义分割的深度学习算法进行铁轨轮廓提取。具体流程为：使用车载摄像头获取列车行驶过程中采集的铁轨图像，送入系统提前训练好的DeepLabv3+语义分割网络进行轨道线语义分割。
S48：将分割得到的仅含轨道线的二值图像进行透视变换得到鸟瞰图，筛选有效轨道线像素点，对有效轨道线点使用最小二乘法进行多项式拟合，输出左右轨道线多项式拟合系数，根据该系数我们可以确定分割出铁轨轮廓。
S49：最终对上述的两个模型得出的数据结果进行取轮廓并集处理，留下它们公共的部分作为我们分割提取出的铁轨轮廓，用于报警研判以及后续的数据处理阶段，该方法比起传统的轨道分割方法和基于深度学习的轨道分割方法具有更强的精准性和抗干扰能力，能够有效解决传统轨道轮廓分割算法环境适应性差，鲁棒性不强，对弯道轨道轮廓提取不够准确等问题。
所述S5和S6具体流程为：
将异物检测结果和铁轨语义分割结果传入报警策略模型，根据报警策略模型，输出是否需要报警；如果模型判定为需要报警，则对后台进行报警，并在前台视频帧中用红色框框住异物，触发动车报警和紧急制动等操作；若模型判定为不需要报警，则在前台监控视频流中用其他颜色框框住需要注意的异物。

Claims (3)

1.一种半自动标注和改进深度学习的铁轨异物检测方法，其特征在于包括如下步骤：
(1)提出基于热红外的人体分割算法，将分割结果映射到可见光图像中，快速获得可见光的人体标注框，建立YOLOv5训练数据集；
(2)提出基于改进的ResNet 50模型的场景分类算法，指导执行不同场景下的人体识别模型的人体识别方法；
(3)利用提出改进的YOLOv5模型的目标检测算法，离线训练分类模型，对铁轨异物进行目标检测，实现异物检测；
(4)提出基于传统算法和改进深度学习的铁轨轮廓提取算法，实现对单张图片进行铁轨分割并提取轮廓；
(5)提出根据铁轨分割结果和异物位置的异物报警策略算法，指导研判整张图片报警等级，实现报警等级判断；
步骤(1)所述的快速获得可见光人体标注框通过以下方式获得：通过选取焦距一致的热红外摄像头和可见光摄像头，在场景温度低于25摄氏度以下的场景下，同时录制热红外和可见光视频；在此基础上，借助热红外人体在25摄氏度以下容易被otsu算法分割出来的特点，利用otsu算法自动完成热红外图像的分割，然后将分割结果映射到可见光图像中，从而直接获得大量可见光人体标注框结果；最后，对少部分可能分割错误的结果进行少量人工校正，半自动获取可见光的人体标注框，建立YOLOv5训练数据集；步骤(3)所述的改进YOLOv5模型的目标检测算法为：针对YOLOv5目标检测模型，在获得数据之后，采用Mosaic数据增强和实时数据加载数据，改善边界框预测损失函数，利用GT目标边界框UID分配器、GT目标边界框UID匹配器、边界框位置与分类损失权重算法的模型构成，改善了位置精度和分类精度；在收集组合目标特征方面，加入了卷积注意力机制；最后在预测部分，在传统的sigmoid函数σ(x)基础上，在MobileNetv3中又引入了h-swish函数，将原先在Bounding box使用的损失函数的CIOU_Loss，改为了GIOU_Loss；最后在YOLOv5算法的检测中加入deepsort追踪模块防止漏检，从而提升系统检测异物的鲁棒性；步骤(4)所述传统算法是指将预处理结束的图片进行Hough变换处理并提取铁轨轮廓；步骤(4)所述改进深度学习的铁轨轮廓提取算法是指使用车载摄像头获取列车行驶过程中采集的铁轨图像，送入系统提前训练好的DeepLabv3+语义分割网络进行轨道线语义分割；然后，对两个模型得出的数据结果进行取轮廓并集处理，留下它们公共的部分作为最终提取出的铁轨轮廓。
2.根据权利要求1所述的半自动标注和改进深度学习的铁轨异物检测方法，其特征在于，步骤(2)所述的改进的ResNet 50模型的场景分类算法为：针对ResNet50场景分类模型，引入迁移学习机制训练模型，将ImageNet上预训练的模型权重迁移到模型中，以加速网络模型的收敛；其次，在激活函数的选择上，将Relu函数改为LRelu函数，防止梯度消失。
3.根据权利要求1所述的半自动标注和改进深度学习的铁轨异物检测方法，其特征在于，步骤(5)所述异物报警策略算法为：利用步骤(4)获得单张图片轨道轮廓相应坐标，利用步骤(3)获得单张图片异物坐标，根据提出的自定义的函数和算法对于整张图片异物入侵情况进行加权判断，并最终归一化为整张图片的报警等级。
CN202210669222.7A 2022-06-14 2022-06-14 一种半自动标注和改进深度学习的铁轨异物检测方法 Active CN114926456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210669222.7A CN114926456B (zh) 2022-06-14 2022-06-14 一种半自动标注和改进深度学习的铁轨异物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210669222.7A CN114926456B (zh) 2022-06-14 2022-06-14 一种半自动标注和改进深度学习的铁轨异物检测方法

Publications (2)

Publication Number Publication Date
CN114926456A CN114926456A (zh) 2022-08-19
CN114926456B true CN114926456B (zh) 2025-02-25

Family

ID=82814395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210669222.7A Active CN114926456B (zh) 2022-06-14 2022-06-14 一种半自动标注和改进深度学习的铁轨异物检测方法

Country Status (1)

Country Link
CN (1) CN114926456B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363506A (zh) * 2023-02-28 2023-06-30 深圳市绿洲光生物技术有限公司 一种复式神经网络架构的浮游生物目标检测与分类方法
CN116797960A (zh) * 2023-03-02 2023-09-22 中国铁建重工集团股份有限公司 一种侵限检测方法、检测装置及地铁检测车
CN116229388B (zh) * 2023-03-27 2023-09-12 哈尔滨市科佳通用机电股份有限公司 基于目标检测网络的动车异物检测方法、系统及设备
CN117079245B (zh) * 2023-07-05 2024-09-17 浙江工业大学 一种基于无线信号的交通道路目标识别方法
CN117218150A (zh) * 2023-09-12 2023-12-12 厦门大学 基于机器学习大黄鱼脾脏白点感染程度量化分析方法
CN118552578B (zh) * 2024-06-05 2025-01-28 深圳市南惠环保科技有限公司 一种基于图像分析的新能源废旧锂电池回收识别方法
CN119625584A (zh) * 2025-02-12 2025-03-14 北京全路通信信号研究设计院集团有限公司 一种电子围栏识别方法及系统
CN119625585A (zh) * 2025-02-12 2025-03-14 北京全路通信信号研究设计院集团有限公司 一种基于无人机的铁路安全防护方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205510A (zh) * 2021-05-25 2021-08-03 石家庄铁道大学 铁路侵限异物检测方法、装置及终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205510A (zh) * 2021-05-25 2021-08-03 石家庄铁道大学 铁路侵限异物检测方法、装置及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于YOLO的铁路侵限异物检测方法;于晓英;苏宏升;姜泽;董昱;;兰州交通大学学报;20200415(第02期);第43-48页 *

Also Published As

Publication number Publication date
CN114926456A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN114926456B (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN104809443B (zh) 基于卷积神经网络的车牌检测方法及系统
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN112101175A (zh) 基于局部图像的高速公路车辆检测及多属性特征提取方法
WO2024037408A1 (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN108334844B (zh) 一种输电线路巡检的沿线自动跟踪方法
CN113888754B (zh) 一种基于雷达视觉融合的车辆多属性识别方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN111461036B (zh) 一种利用背景建模增强数据的实时行人检测方法
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN112561899A (zh) 电力巡检图像识别方法
CN102915433A (zh) 基于字符组合的车牌定位和识别方法
CN106886778A (zh) 一种监控场景下车牌字符分割与识别方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN112733914A (zh) 一种基于支持向量机的水下目标视觉识别分类方法
CN108198417A (zh) 一种基于无人机的道路巡检系统
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及系统
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
CN111583341B (zh) 云台像机移位检测方法
CN119131364A (zh) 一种基于无监督对抗学习的无人机小目标检测方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
Prakoso et al. Vehicle detection using background subtraction and clustering algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant