CN115100175A - 一种基于小样本目标检测的轨道交通检测方法 - Google Patents

Abstract

本发明公开了一种基于小样本目标检测的轨道交通检测方法，该方法包括以下步骤；S1、接收轨道交通巡检任务，获取轨道交通巡检区域；S2、获取轨道交通巡检区域内宏观上的测试图像及参考图像，并采用图像帧前后对比算法对测试图像及参考图像进行对比，实现对轨道交通宏观的筛选；S3、根据筛选结果进行自适应微观切换，完成变化区域的筛选；S4、采用小样本目标检测算法对变化区域的具体形态进行识别。本发明能够在轨道交通沿线检测是否有沉积，宏观是轨道旁边检测是否有车、人经过，微观是检测是否有石头、裂缝等，通过宏观与微观上的配合，准确的得到轨道交通变化区域及识别变化区域的具体形态。

Description

一种基于小样本目标检测的轨道交通检测方法

技术领域

本发明涉及轨道交通技术领域，具体来说，涉及一种基于小样本目标检测的轨道交通检测方法。

背景技术

随着高速铁路、重载铁路、城际铁路、城市轨道交通等的高速发展，我国总体规模和建设速度都处于世界第一的位置。轨道交通的安全运行意义重大，因此轨道交通的检测方法的发展十分重要。轨道交通范围大、路程长，需要采用检测设备进行轨道交通检测。

专利号201910376394.3公开了一种轨道交通设备的巡检方法及装置，包括接收服务器发送的巡检任务单，所述巡检任务单包括目标检测设备集，获取采集装置采集的巡检图像信息，识别所述巡检图像信息中包括的实际检测设备集，对所述实际检测设备集与所述目标检测设备集进行集合运算，确定巡检结果，实现了对巡检任务的自动复核检查。

专利号201410100802.X公开了一种地铁隧道表面裂缝的检测方法，利用高速面阵相机对地铁隧道洞体表面进行高速图像采集；获得二值化图像；获得滤除不规则及分布无规律的噪声点的隧道表面图像；根据所述滤除不规则及分布无规律的噪声点的隧道表面图像进行隧道表面裂缝的检测，并在检测到裂缝后对其大小进行计算。

但是，以上专利在使用时存在以下问题：轨道检测的场景多样，宏观上轨道旁边有车、人经过，微观的可能有石头、裂缝等。且轨道交通的范围大、路程长，若针对微观区域进行目标检测，则效率低，没有做到宏观与微观之间的结合，无法做到效率的提升。同时若出现少量图像采集样本可用的情况下，很容易忽视新物体的细粒度的特征，会对结果产生很大误导。在小样本检测中，具有尺度感知修改的特征提取器倾向于过度拟合，无法进行泛化，导致基类和新类的性能下降。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于小样本目标检测的轨道交通检测方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种基于小样本目标检测的轨道交通检测方法，该方法包括以下步骤；

S1、接收轨道交通巡检任务，获取轨道交通巡检区域；

S2、获取轨道交通巡检区域内宏观上的测试图像及参考图像，并采用图像帧前后对比算法对测试图像及参考图像进行对比，实现对轨道交通宏观的筛选；

S3、根据筛选结果进行自适应微观切换，完成变化区域的筛选；

S4、采用小样本目标检测算法对变化区域的具体形态进行识别。

进一步的，所述S2中采用图像帧前后对比算法对测试图像及参考图像进行对比，实现对铁轨宏观的筛选还包括以下步骤：

完成测试图像与参考图像对比的准备工作；

通过孪生神经网络分别对测试图像及参考图像的特征进行提取；

利用全卷积网络对提取的测试图像及参考图像的特征进行整合相加，并利用softmax进行分类，得到变化图像。

进一步的，所述完成测试图像与参考图像对比的准备工作还包括以下步骤：

设定测试图像与参考图像的大小为w×h×d；

设定变化的类别标签从集合l＝1，2…，N对齐到变化图I_w×h；

其中，N是定义的语义变化的类别数，w表示图像的宽度、h表示图像的高度，d表示图像的通道数。

进一步的，所述孪生神经网络包括ResNet残差块、卷积层及反卷积层，所述卷积层的卷积核大小为1×1。

进一步的，所述采用图像帧前后对比算法对测试图像及参考图像进行对比之前若训练数据有限，则进行迁移学习，其中，所述迁移学习还包括以下步骤：

采用ResNet50作为预训练模型；

利用反卷积网络的concate将预训练模型的输出做和，并利用1×1的卷积核将维度减少至N；

使用softmax分类器进行分类，得到的变化图像的大小为w×h×N；

其中，w表示图像的宽度、h表示图像的高度，N是定义的语义变化的类别数。

进一步的，所述S4中采用小样本目标检测算法对变化区域的具体形态进行识别还包括以下步骤：

获取变化区域的图像和支持集，将变化区域的图像和支持集输入共享特征提取器，并生成查询和支持特征；

将查询和支持特征输入密集关系蒸馏模块，并经过一个3×3的卷积被编码为键和值；

在获取查询特征和支持特征的键/值图后，进行关系蒸馏。

进一步的，所述在获取查询特征和支持特征的键/值图后，进行关系蒸馏还包括以下步骤：

通过测量查询特征的关键映射和支持特征的关键映射之间的相似性得到支持特征的软权重，即以非局部方式执行像素级相似性，公式如下：

F(k_qi,k_sj)＝φ(k_qi)^Tφ'(k_sj)；

其中，i和j是查询和支持位置的索引，φ、φ'表示两个不同的线性变换，参数在训练过程中通过反向传播学习，形成一个动态学习的相似度函数，k_qi,k_sj是查询特征的关键映射和支持特征的关键映射，T为非零自然数。

进一步的，所述像素级相似性计算之后，通过试行softmax归一化以输出最终权重：

其中，exp为以自然常数e为底的指数函数。

通过加权求和与产生的软权重来检索支持特征的值，并将支持特征的值与查询特征的值连接起来，输出公式为：

y＝concat[v_q,W*v_s]；

其中，*表示矩阵内积，W为最终权重，v_q,v_s是支持特征的值与查询特征的值，支持特征有N个，并带来了N个键值对，对N个输出结果进行求和获得最终结果，即细化的查询特征。

进一步的，所述将查询和支持特征输入密集关系蒸馏模块，并经过一个3×3的卷积被编码为键和值时，键用来度量查询特征和支持特征的相似度，值则存放具体的信息。

进一步的，所述获得最终结果之后，将细化的查询特征输入RPN网络，并输出区域建议；

以区域建议及特征为输入，通过RoIAlign输出尺度分别为4×4、8×8及12×12的三个分辨率的特征图，其中，大分辨率的特征图来检测小物体，小分辨率的特征图来检测大物体，并得到全面的特征；

每个特征包括两个块，第一个块包含全局平均池化，第二个块包含两个连续的全连接层；

每个特征的权重经过softmax归一化，则聚合特征的最终输出为三个特征的加权求和。

本发明的有益效果为：本发明能够在轨道交通沿线检测是否有沉积，宏观是轨道旁边检测是否有车、人经过，微观是检测是否有石头、裂缝等。通过在宏观上通过图像对比，锁定轨道变化区域，检测的成功率高，且无需对测试图像及参考图像进行配准，以及不会受到光线、视角及季节的影响。同时通过对变化区域进行内容识别，从而快速识别变化区域的具体形态，通过三种不同的池化分辨率来捕获更丰富的上下文特征，不会导致过拟合，且在少量的样本数据时，能够很好地进行泛化。本发明适应地利用不同尺度的特征来产生更全面的特征表示。通过宏观与微观上的配合，准确的得到轨道交通变化区域及识别变化区域的具体形态。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于小样本目标检测的轨道交通检测方法的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种基于小样本目标检测的轨道交通检测方法。小样本目标检测旨在仅使用少数带注释的训练示例从新类别中检测目标。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于小样本目标检测的轨道交通检测方法，该方法包括以下步骤；

S1、接收轨道交通巡检任务，获取轨道交通巡检区域；

S2、获取轨道交通巡检区域内宏观上的测试图像及参考图像，并采用图像帧前后对比算法对测试图像及参考图像进行对比，实现对轨道交通宏观的筛选；

其中，所述S2中采用图像帧前后对比算法对测试图像及参考图像进行对比，实现对铁轨宏观的筛选还包括以下步骤：

完成测试图像与参考图像对比的准备工作；

通过孪生神经网络分别对测试图像及参考图像的特征进行提取；

利用全卷积网络对提取的测试图像及参考图像的特征进行整合相加，并利用softmax进行分类，得到变化图像。

所述完成测试图像与参考图像对比的准备工作还包括以下步骤：

设定测试图像与参考图像的大小为w×h×d；

设定变化的类别标签从集合l＝1，2…，N对齐到变化图I_w×h；

其中，N是定义的语义变化的类别数，w表示图像的宽度、h表示图像的高度，d表示图像的通道数。

所述孪生神经网络包括ResNet残差块、卷积层及反卷积层，所述卷积层的卷积核大小为1×1。

所述采用图像帧前后对比算法对测试图像及参考图像进行对比之前若训练数据有限，则进行迁移学习，其中，所述迁移学习还包括以下步骤：

采用ResNet50作为预训练模型；

利用反卷积网络的concate(concat)将预训练模型的输出做和，并利用1×1的卷积核将维度减少至N；

使用softmax分类器进行分类，得到的变化图像的大小为w×h×N；

其中，w表示图像的宽度、h表示图像的高度，N是定义的语义变化的类别数。

ResNet在2015年被提出，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测、分割、识别等领域里得到广泛的应用。

S3、根据筛选结果进行自适应微观切换，完成变化区域的筛选；

S4、采用小样本目标检测算法对变化区域的具体形态进行识别；

其中，所述S4中采用小样本目标检测算法对变化区域的具体形态进行识别还包括以下步骤：

获取变化区域的图像和支持集，将变化区域的图像和支持集输入共享特征提取器，并生成查询和支持特征；

将查询和支持特征输入密集关系蒸馏模块，并经过一个3×3的卷积被编码为键和值；

在获取查询特征和支持特征的键/值图后，进行关系蒸馏。

所述在获取查询特征和支持特征的键/值图后，进行关系蒸馏还包括以下步骤：

通过测量查询特征的关键映射和支持特征的关键映射之间的相似性得到支持特征的软权重，即以非局部方式执行像素级相似性，公式如下：

F(k_qi,k_sj)＝φ(k_qi)^Tφ'(k_sj)；

其中，i和j是查询和支持位置的索引，φ、φ'表示两个不同的线性变换，参数在训练过程中通过反向传播学习，形成一个动态学习的相似度函数，k_qi,k_sj是查询特征的关键映射和支持特征的关键映射，T为非零自然数。

所述像素级相似性计算之后，通过试行softmax归一化以输出最终权重：

其中，exp为以自然常数e为底的指数函数。

通过加权求和与产生的软权重来检索支持特征的值，并将支持特征的值与查询特征的值连接起来，输出公式为：

y＝concat[v_q,W*v_s]；

其中，*表示矩阵内积，W为最终权重，v_q,v_s是支持特征的值与查询特征的值，支持特征有N个，并带来了N个键值对，对N个输出结果进行求和获得最终结果，即细化的查询特征。

所述将查询和支持特征输入密集关系蒸馏模块，并经过一个3×3的卷积被编码为键和值时，键用来度量查询特征和支持特征的相似度，值则存放具体的信息。

所述获得最终结果之后，将细化的查询特征输入RPN网络，并输出区域建议；

以区域建议及特征为输入，通过RoIAlign输出尺度分别为4×4、8×8及12×12的三个分辨率的特征图，其中，大分辨率的特征图来检测小物体，小分辨率的特征图来检测大物体，并得到全面的特征；

每个特征包括两个块，第一个块包含全局平均池化，第二个块包含两个连续的全连接层；

每个特征的权重经过softmax归一化，则聚合特征的最终输出为三个特征的加权求和。

RPN网络是一个提特征的网络，比如VGG，Res等，传给RPN网络的是一个特征图，其实也就是一个tensor，比如用ZF网络，输出特征图：13*13*256。RoIAlign是一种区域特征聚集方式，很好地解决了ROI Pooling操作中两次量化造成的区域不匹配的问题。在检测测任务中将ROI Pooling替换为ROI Align可以提升检测模型的准确性。softmax用于多分类过程中，它将多个神经元的输出，映射到(0，1)区间内，可以看成概率来理解，从而来进行多分类。

综上所述，本发明能够在轨道交通沿线检测是否有沉积，宏观是轨道旁边检测是否有车、人经过，微观是检测是否有石头、裂缝等。通过在宏观上通过图像对比，锁定轨道变化区域，检测的成功率高，且无需对测试图像及参考图像进行配准，以及不会受到光线、视角及季节的影响。同时通过对变化区域进行内容识别，从而快速识别变化区域的具体形态，通过三种不同的池化分辨率来捕获更丰富的上下文特征，不会导致过拟合，且在少量的样本数据时，能够很好地进行泛化。本发明适应地利用不同尺度的特征来产生更全面的特征表示。通过宏观与微观上的配合，准确的得到轨道交通变化区域及识别变化区域的具体形态。。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于小样本目标检测的轨道交通检测方法，其特征在于，该方法包括以下步骤；

S1、接收轨道交通巡检任务，获取轨道交通巡检区域；

S2、获取轨道交通巡检区域内宏观上的测试图像及参考图像，并采用图像帧前后对比算法对测试图像及参考图像进行对比，实现对轨道交通宏观的筛选；

S3、根据筛选结果进行自适应微观切换，完成变化区域的筛选；

S4、采用小样本目标检测算法对变化区域的具体形态进行识别。

2.根据权利要求1所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述S2中采用图像帧前后对比算法对测试图像及参考图像进行对比，实现对铁轨宏观的筛选还包括以下步骤：

完成测试图像与参考图像对比的准备工作；

通过孪生神经网络分别对测试图像及参考图像的特征进行提取；

利用全卷积网络对提取的测试图像及参考图像的特征进行整合相加，并利用softmax进行分类，得到变化图像。

3.根据权利要求2所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述完成测试图像与参考图像对比的准备工作还包括以下步骤：

设定测试图像与参考图像的大小为w×h×d；

设定变化的类别标签从集合l＝1，2…，N对齐到变化图I_w×h；

其中，N是定义的语义变化的类别数，w表示图像的宽度、h表示图像的高度，d表示图像的通道数。

4.根据权利要求3所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述孪生神经网络包括ResNet残差块、卷积层及反卷积层，所述卷积层的卷积核大小为1×1。

5.根据权利要求4所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述采用图像帧前后对比算法对测试图像及参考图像进行对比之前若训练数据有限，则进行迁移学习，其中，所述迁移学习还包括以下步骤：

采用ResNet50作为预训练模型；

利用反卷积网络的concate将预训练模型的输出做和，并利用1×1的卷积核将维度减少至N；

使用softmax分类器进行分类，得到的变化图像的大小为w×h×N；

其中，w表示图像的宽度、h表示图像的高度，N是定义的语义变化的类别数。

6.根据权利要求1所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述S4中采用小样本目标检测算法对变化区域的具体形态进行识别还包括以下步骤：

获取变化区域的图像和支持集，将变化区域的图像和支持集输入共享特征提取器，并生成查询和支持特征；

将查询和支持特征输入密集关系蒸馏模块，并经过一个3×3的卷积被编码为键和值；

在获取查询特征和支持特征的键/值图后，进行关系蒸馏。

7.根据权利要求6所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述在获取查询特征和支持特征的键/值图后，进行关系蒸馏还包括以下步骤：

通过测量查询特征的关键映射和支持特征的关键映射之间的相似性得到支持特征的软权重，即以非局部方式执行像素级相似性，公式如下：

F(k_qi,k_sj)＝φ(k_qi)^Tφ'(k_sj)；

其中，i和j是查询和支持位置的索引，φ、φ'表示两个不同的线性变换，参数在训练过程中通过反向传播学习，形成一个动态学习的相似度函数，k_qi,k_sj是查询特征的关键映射和支持特征的关键映射，T为非零自然数。

8.根据权利要求7所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述像素级相似性计算之后，通过试行softmax归一化以输出最终权重：

其中，exp为以自然常数e为底的指数函数。

通过加权求和与产生的软权重来检索支持特征的值，并将支持特征的值与查询特征的值连接起来，输出公式为：

y＝concat[v_q,W*v_s]；

其中，*表示矩阵内积，W为最终权重，v_q,v_s是支持特征的值与查询特征的值，支持特征有N个，并带来了N个键值对，对N个输出结果进行求和获得最终结果，即细化的查询特征。

9.根据权利要求6所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述将查询和支持特征输入密集关系蒸馏模块，并经过一个3×3的卷积被编码为键和值时，键用来度量查询特征和支持特征的相似度，值则存放具体的信息。

10.根据权利要求9所述的一种基于小样本目标检测的轨道交通检测方法，其特征在于，所述获得最终结果之后，将细化的查询特征输入RPN网络，并输出区域建议；

以区域建议及特征为输入，通过RoIAlign输出尺度分别为4×4、8×8及12×12的三个分辨率的特征图，其中，大分辨率的特征图来检测小物体，小分辨率的特征图来检测大物体，并得到全面的特征；

每个特征包括两个块，第一个块包含全局平均池化，第二个块包含两个连续的全连接层；

每个特征的权重经过softmax归一化，则聚合特征的最终输出为三个特征的加权求和。

Images