CN112382068A - 基于bim与dnn的车站候车线跨越检测系统 - Google Patents

Abstract

本发明公开了一种基于BIM与DNN的车站候车线跨越检测系统。系统包括：站台建筑信息模型模块，用于构建车站站台建筑信息模型；跨越检测模块，用于检测安全候车线界定的危险区域是否存在行人；数据计算模块，用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量；第一跨越预测模块，用于从数据计算模块获取数据，若所述夹角不属于设定角度范围，则预测行人无跨越倾向，否则进一步判断实时移动速度分量是否为零，若为零则预测行人无跨越倾向，否则进一步判断实时移动速度分量序列是否递减，若是则预测行人无跨越倾向，否则预测行人有跨越倾向。利用本发明，提高了站台安全监测性能。

Description

基于BIM与DNN的车站候车线跨越检测系统

技术领域

本发明涉及BIM、人工智能技术领域，具体涉及一种基于BIM与DNN的车站候车线跨越检测系统。

背景技术

轨道交通逐渐成为人们日常出行的主要交通工具，包括地铁、普通火车、高铁。为防止坠落事故，站台均设置有候车警戒线，并派工作人员进行巡视。由于轨道交通场景下，旅客流量大，人工巡视往往效果不佳。一些方法通过计算乘客与警戒线的距离来判断乘客是否跨越候车线，缺点是仅对已经发生的跨越行为进行检测，不能实现对非危险区域行人的跨越倾向预测，为阻止越线、采取预防措施提供缓冲时间。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于BIM与DNN的车站候车线跨越检测系统。

一种基于BIM与DNN的车站候车线跨越检测系统，该系统包括：

站台建筑信息模型模块，用于构建车站站台建筑信息模型；

跨越检测模块，用于检测安全候车线界定的危险区域是否存在行人；

数据计算模块，用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量；

第一跨越预测模块，用于从数据计算模块获取数据，若所述夹角不属于设定角度范围，则预测行人无跨越倾向，否则进一步判断实时移动速度分量是否为零，若为零则预测行人无跨越倾向，否则进一步判断实时移动速度分量序列是否递减，若是则预测行人无跨越倾向，否则预测行人有跨越倾向。

所述设定角度范围满足：

设定角度范围中任一角度对应的行人实时朝向面向安全候车线，且行人实时朝向所在直线与安全候车线的较小夹角大于第一角度。

该系统还包括：

第二跨越预测模块，用于计算位于非危险区域行人的实时越线倾向指标，若实时越线倾向指标持续超过设定阈值，则预测行人有跨越倾向，所述实时越线倾向指标为：

其中，

t表示实时移动速度分量的计算次数，θ_t为非危险区域的行人实时朝向与安全候车线之间的夹角，v_t为向安全候车线方向的实时移动速度分量，l_t为行人与安全候车线之间的实时距离，0<ρ<1，β为权值平衡参数，a为底数常数，θ_t按如下规则计数：以安全候车线为零度轴线，从安全候车线向轨道侧逆时针旋转为0-180度，从安全候车线向远离轨道侧顺时针旋转为0度至-180度。

该系统还包括：

警报模块，用于出现危险情况时，发出警报，所述危险情况包括：危险区域内存在行人。

所述危险情况还包括：

所述第一跨越预测模块的预测结果为有跨越倾向的危险情况、所述第二预测模块的预测结果为有跨越倾向的危险情况。

所述危险情况还包括：

针对第一跨越预测模块的预测结果，设置第一滑动时间窗口，针对第二跨越预测模块的预测结果，设置第二滑动时间窗口，第一滑动时间窗口与第二滑动时间窗口具有相同的起始时刻、尺寸、步长；

第一滑动时间窗口内第一跨越预测模块的预测结果为有跨越倾向的第一次数，第二滑动时间窗口内第二跨越预测模块的预测结果为有跨越倾向的第二次数，若第一次数与第二次数均达到设定条件，则判断为危险情况。

所述行人检测基于行人关键点检测深度神经网络执行，检测的行人关键点包括左右肩部关键点、左右脚关键点。

所述行人实时朝向的获得方法：

将左肩关键点与右肩关键点连接得到第一连线；

为第一连线规定方向为左肩关键点指向右肩关键点，得到第一向量；

在站台建筑信息模型地面坐标系上，将第一向量逆时针旋转90度得到第二向量，第二向量的单位向量即为行人实时朝向。

该系统还包括：

实时跟踪模块，用于实时跟踪行人。

该系统还包括：

可视化模块，用于结合WebGIS技术对车站站台区域建筑信息模型进行可视化。

本发明与现有技术相比，具有以下有益效果：

1.本发明对危险区域的越线人员进行检测，同时对非危险区域的行人进行越线倾向检测，为阻止越线、采取预防措施提供缓冲时间，提高了站台的安全监测性能。

2.连续的速度分量之间是有关联的，速度分量不会瞬间增大到特别大，也不会瞬间降低到特别小，因此，速度分量经过一定程度累积之后，才会降为零，第二跨越预测模块将越线倾向进行量化，有利于提高越线预测的准确率，同时防止瞬时速度带来的误检。

3.结合BIM技术，提高了站台信息模型的信息集成能力，结合WebGIS技术能够提供更好的可视化效果。

附图说明

图1为本发明的系统框架图；

图2为行人实时朝向示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于BIM与DNN的车站候车线跨越检测系统。图1为本发明系统的框架图。下面通过具体实施例来进行说明。

实施例1：

基于BIM与DNN的车站候车线跨越检测系统包括：站台建筑信息模型模块、跨越检测模块、数据计算模块、第一跨越预测模块。

站台建筑信息模型模块，用于构建车站站台建筑信息模型。

先构建站台建筑信息模型(BIM，Building Information Modeling)以及信息交换模块，即以车站站台的建筑信息数据为基础，建立起三维建筑空间模型和建筑信息的有机综合体。站台建筑信息模型中的数据包括轨道位置信息、站台位置信息、安全候车线位置信息等站台地理环境信息以及相机位置信息。通过信息交换模块，站台建筑信息模型可以获取相机实时感知的站台场景信息、行人检测结果以及跨越倾向检测结果。信息交换模块是一种BIM的数据库的访问模块，可以是多种形式，在此举例：可以是RESTful、MQ等多种信息交换形式，实施者可以根据需要决定具体采用何种实现方式。将行人跟踪检测结果、跨越倾向预测结果利用WebGIS进行可视化处理，监管人员可在Web上进行检索、查询和分析，便于监管人员对跨越候车线的乘客发出警告，并采取相应的应对措施。

车站站台部署多个摄像头，摄像头应至少覆盖安全候车线附近区域，能够监控到安全候车线附近的行人移动情况。为了降低系统的使用难度，提高用户体验，本实施例中的安全候车线位置信息通过自动检测获得，具体地通过候车线感知模块实现。安全候车线感知模块，用于实现识别和提取候车线，最终结果都投影到BIM地面中，以便通过安全候车线和乘客双脚关键点的位置关系来检测是否跨越安全线。

安全候车线感知模块利用安全候车线检测神经网络来实现。安全候车线检测神经网络的训练方法如下：选择站台区域中包含候车线的图像作为训练数据集，对数据集进行标注，车道标注为0，候车线标注为1，其他类别标注为2。考虑到候车线是相对车道而言的，对车道进行标注是为了降低网络训练所需时间、提高网络的感知精度，更加准确快速的感知候车线。其中随机选择数据集的80％作为训练集，剩余的20％作为验证集。将站台摄像头采集的图像数据以及标注的标签数据输入网络中进行训练，候车线感知编码器Encoder1进行特征提取，输出为第一特征图Featuremap1；然后通过候车线感知解码器Decoder1对Featuremap1进行上采样，输入为Encoder1产生的Featuremap1，网络最终输出为语义分割图。Loss函数使用交叉熵损失函数进行训练。至此，通过安全候车线检测神经网络即可将站台中候车线提取出来，将结果投影到BIM地面平面中，方便后续检测候车乘客的跨线行为。

跨越检测模块，用于检测安全候车线界定的危险区域是否存在行人。其中，行人检测基于行人关键点检测深度神经网络执行，检测的行人关键点包括左右肩部关键点、左右脚关键点。

利用站台普通摄像头对站台环境进行图像采集，作为行人关键点检测神经网络的输入。由于站台等车的乘客较多，进行人体检测时容易出现错检、误检的情况，因此需要对站台等待区域的乘客进行实例区分，以便后续准确识别乘客跨越候车线的行为。

行人关键点检测神经网络基于部分亲和场实现，包括两个分支，第一分支输出关键点热图，即PCM，第二分支输出关节亲和场PAFs。利用站台摄像头采集图像，将人的左肩部、右肩部、左脚、右脚等选为关键点。然后制作图像标签数据。关键点热图标签的制作分为两步，第一步对选定的关键点进行标注，标记关键点的位置，即X、Y坐标；第二步，将标注的人体散点图与高斯核卷积得到双脚关键点。高斯核的尺寸，实施者可以根据摄像头高度自行调整、选取。PAFs采用一系列的2D向量场对图像域中的肢体的位置和方向进行编码。即属于一个躯干上的每一个像素都对应一个2D向量，这个向量表示躯干上一个关键点到另一个关键点的方向。关节亲和场的标签制作如下：根据经验人体肢体宽度编码关节亲和场，例如编码从颈部关键点指向左右髋部中心点的适当宽度的亲和场。在本实施例中，可以编码从左脚关键点指向右脚关键点的方向与从左肩部关键点指向右肩部关键点的方向，也可以编码从左肩部关键点指向左脚关键点的方向与从右肩部关键点指向右脚关键点的方向，并用单位矢量表示，数据标注应当包括关键点位置和亲和矢量。

行人关键点检测神经网络的训练方法如下。第一分支的训练：摄像头采集的图像要经过归一化处理，即将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。通过采集的图像和热力图标签数据，端到端地训练关键点检测编码器Encoder2和关键点检测解码器Decoder2。Encoder2对图像进行特征提取，输入为经过归一化处理的图像数据，输出为第二特征图Featuremap2；Decoder2是对Featuremap2进行上采样并最终生成关键点热力图(heatmap)，其输入为Encoder2产生的Featuremap2，输出为关键点热力图。Loss函数采用均方误差损失函数进行训练。需要注意的是，由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。第二分支的训练：通过采集的图像和标签数据，训练关系矢量谱编码器Encoder3、关系矢量谱解码器Decoder3。Encoder3对图像进行特征提取，输入为经过归一化处理的图像数据，输出为第三特征图Featuremap3；Decoder3是对Featuremap3进行上采样与特征提取，并最终生成关节亲和场图，其输入为Encoder3产生的Featuremap3。Loss函数采用均方误差损失函数。利用PAFs进行多人姿态检测的匹配方法，通过积分的方式获得各个相邻部件之间的连接权重值，应用条件约束的匹配算法，即根据没有两个边共享节点的条件通过最大权重匹配获得最终的匹配关系。至此，通过行人关键点检测神经网络得到站台中属于每个乘客的关键点，将脚部关键点投影到站台BIM模型中。

跨越检测模块，用于检测安全候车线界定的危险区域是否存在行人。结合车站站台BIM模型，将安全候车线以及乘客双脚关键点都投影到BIM模型中，是为了能够更加清晰直观的得到乘客双脚关键点与候车线之间的位置关系。根据BIM中候车线与人脚部关键点的位置关系来判断乘客是否跨越安全候车线。当乘客双脚关键点坐标位于候车线外时，则认为候车乘客跨越安全候车线，会发出预警。

本发明考虑到乘客可能存在跨越安全候车线的风险，因此，对没有跨越候车线的乘客进行进一步检测，分析其是否存在跨线风险。主要通过乘客的朝向以及移动速率来进行分析。对于不存在跨线行为的乘客，根据其左右肩部关键点来判断其朝向，乘客朝向为过乘客左右肩部关键点连线中点作左右肩膀连线的垂线，其方向根据乘客左右肩部来确定，记为朝向向量。

数据计算模块，用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量。

行人实时朝向的获得方法：将左肩关键点与右肩关键点连接得到第一连线；为第一连线规定方向为左肩关键点指向右肩关键点，得到第一向量；在站台建筑信息模型地面坐标系上，将第一向量逆时针旋转90度得到第二向量，第二向量的单位向量即为行人实时朝向。即首先过乘客左右肩关键点的中心点向候车线作垂线，若乘客面向候车线，则指向候车线的垂线单位向量即为行人实时朝向，若乘客背向候车线，则背向候车线的垂线单位向量为行人实时朝向。然后计算乘客(即行人)实时朝向向量与安全候车线之间的夹角。夹角按如下规则计数：以安全候车线为零度轴线，从安全候车线向轨道侧逆时针旋转为0-180度，从安全候车线向远离轨道侧顺时针旋转为0度至-180度。图2为行人实时朝向示意图。

实时移动速度分量的计算方法：分别计算相邻两帧之间同一关键点位置，然后根据帧频，计算瞬时速度与瞬时速度方向。根据关键点在站台建筑模型中的投影以及夹角，获得向安全候车线方向的实时移动速度分量。本发明中，利用跟踪模块对乘客进行实时跟踪，从而确认是否是同一人的关键点。优选地，可以通过相邻帧之间乘客包围框的IOU来判断是否是同一关键点，避免不同帧的同一目标重复检测。乘客包围框可以根据检测的关键点位置获得。IOU方式即求得两个关键点的交并比，当IOU的值大于0.8时，则认为其为同一目标。相邻关键点的IOU对乘客进行跟踪检测为众所周知的，实施者可以自行调整阈值。

第一跨越预测模块，用于从数据计算模块获取数据，若所述夹角不属于设定角度范围，则预测行人无跨越倾向，否则进一步判断实时移动速度分量是否为零，若为零则预测行人无跨越倾向，否则进一步判断实时移动速度分量序列是否递减，若是则预测行人无跨越倾向，否则预测行人有跨越倾向。设定角度范围满足：设定角度范围中任一角度对应的行人实时朝向面向安全候车线，且行人实时朝向所在直线与安全候车线的较小夹角大于第一角度。

在本实施例中，以图2中角度a来规定角度范围。以图2中垂线为对称轴，较小夹角若小于第一角度a，则认为乘客正对候车线，否则认为背对候车线。在此需要说明，乘客朝向向量是指过左右肩部连线中点作乘客左右肩部连线垂线的向量，具体方向前述已经说明。

一般地，认为乘客在背对候车线时不会有跨线风险，因此，当乘客背对候车线时，将认为其不存在跨越安全候车线的风险；当乘客正对候车线时，进一步分析乘客移动速率。获取乘客的移动速率之后，按照时间比较关键点的速率变化，并基于乘客移动速率变化来预测乘客是否存在跨越候车线风险。如果乘客的移动速率为零或者速率是递减的，将认为不存在跨越候车线的风险；如果乘客脚部关键点的移动速率大于零且是近似均匀或递增变化的，则认为有跨越安全候车线的风险，工作人员将及时进行预警，防止乘客出现跨越候车线的行为。

系统还包括：警报模块，用于出现危险情况时，发出警报，危险情况包括：危险区域内存在行人。危险情况还包括：所述第一跨越预测模块的预测结果为有跨越倾向的危险情况。

为了获得实时的越线倾向预测量化值，提高越线倾向预测，本发明设置第二跨越预测模块。第二跨越预测模块，用于计算位于非危险区域行人的实时越线倾向指标，若实时越线倾向指标持续超过设定阈值，则预测行人有跨越倾向，所述实时越线倾向指标为：

其中，

t表示实时移动速度分量的计算次数，θ_t为非危险区域的行人实时朝向与安全候车线之间的夹角，vt为向安全候车线方向的实时移动速度分量，l_t为行人与安全候车线之间的实时距离，0<ρ<1，β为权值平衡参数，a为底数常数，θ_t按如下规则计数：以安全候车线为零度轴线，从安全候车线向轨道侧逆时针旋转为0-180度，从安全候车线向远离轨道侧顺时针旋转为0度至-180度。优选地，ρ取0.5，β取0.8，a取0.8，设定阈值取0.45。

因此，危险情况还包括：所述第二跨越预测模块的预测结果为有跨越倾向的危险情况。

结合第一跨越预测模块、第二跨越预测模块，危险情况还包括：针对第一跨越预测模块的预测结果，设置第一滑动时间窗口，针对第二跨越预测模块的预测结果，设置第二滑动时间窗口，第一滑动时间窗口与第二滑动时间窗口具有相同的起始时刻、尺寸、步长；第一滑动时间窗口内第一跨越预测模块的预测结果为有跨越倾向的第一次数，第二滑动时间窗口内第二跨越预测模块的预测结果为有跨越倾向的第二次数，若第一次数与第二次数均达到设定条件，则判断为危险情况。实施者应当清楚，第一跨越预测模块对速度分量进行分析时，应向前取速度分量序列进行分析，从而得到当前时刻的预测结果。结合两个跨越预测模块，提高了跨越预测精度。

该系统还包括：可视化模块，用于结合WebGIS技术对车站站台区域建筑信息模型进行可视化。为了方便管理且更直观的呈现信息，本发明结合站台BIM模型通过WebGIS技术进行可视化，通过调用信息交换模块实时更新站台三维模型和相关信息，并可查看相机感知信息，展示当前候车线跨越检测结果信息。通过WebGIS的可视化，管理人员可以在Web上进行检索、查询和分析，便于管理人员及时了解整个拍摄区域内的行人越线趋势并对其采取进一步的管理。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于BIM与DNN的车站候车线跨越检测系统，其特征在于，该系统包括：

站台建筑信息模型模块，用于构建车站站台建筑信息模型；

跨越检测模块，用于检测安全候车线界定的危险区域是否存在行人；

数据计算模块，用于计算非危险区域的行人实时朝向与安全候车线之间的夹角、向安全候车线方向的实时移动速度分量；

第一跨越预测模块，用于从数据计算模块获取数据，若所述夹角不属于设定角度范围，则预测行人无跨越倾向，否则进一步判断实时移动速度分量是否为零，若为零则预测行人无跨越倾向，否则进一步判断实时移动速度分量序列是否递减，若是则预测行人无跨越倾向，否则预测行人有跨越倾向。

2.如权利要求1所述的系统，所述设定角度范围满足：

设定角度范围中任一角度对应的行人实时朝向面向安全候车线，且行人实时朝向所在直线与安全候车线的较小夹角大于第一角度。

3.如权利要求1所述的系统，其特征在于，该系统还包括：

第二跨越预测模块，用于计算位于非危险区域行人的实时越线倾向指标，若实时越线倾向指标持续超过设定阈值，则预测行人有跨越倾向，所述实时越线倾向指标为：

其中，

ve_t-1＝(1-ρ)*ve_t-2+ρ*v_t-1，t表示实时移动速度分量的计算次数，θ_t为非危险区域的行人实时朝向与安全候车线之间的夹角，v_t为向安全候车线方向的实时移动速度分量，l_t为行人与安全候车线之间的实时距离，0<ρ<1，β为权值平衡参数，a为底数常数，θ_t按如下规则计数：以安全候车线为零度轴线，从安全候车线向轨道侧逆时针旋转为0-180度，从安全候车线向远离轨道侧顺时针旋转为0度至-180度。

4.如权利要求1或3所述的系统，其特征在于，该系统还包括：

警报模块，用于出现危险情况时，发出警报，所述危险情况包括：危险区域内存在行人。

5.如权利要求4所述的系统，其特征在于，所述危险情况还包括：

所述第一跨越预测模块的预测结果为有跨越倾向的危险情况、所述第二预测模块的预测结果为有跨越倾向的危险情况。

6.如权利要求4所述的系统，其特征在于，所述危险情况还包括：

针对第一跨越预测模块的预测结果，设置第一滑动时间窗口，针对第二跨越预测模块的预测结果，设置第二滑动时间窗口，第一滑动时间窗口与第二滑动时间窗口具有相同的起始时刻、尺寸、步长；

第一滑动时间窗口内第一跨越预测模块的预测结果为有跨越倾向的第一次数，第二滑动时间窗口内第二跨越预测模块的预测结果为有跨越倾向的第二次数，若第一次数与第二次数均达到设定条件，则判断为危险情况。

7.如权利要求1所述的系统，其特征在于，所述行人检测基于行人关键点检测深度神经网络执行，检测的行人关键点包括左右肩部关键点、左右脚关键点。

8.如权利要求1或3所述的系统，其特征在于，所述行人实时朝向的获得方法：

将左肩关键点与右肩关键点连接得到第一连线；

为第一连线规定方向为左肩关键点指向右肩关键点，得到第一向量；

在站台建筑信息模型地面坐标系上，将第一向量逆时针旋转90度得到第二向量，第二向量的单位向量即为行人实时朝向。

9.如权利要求1所述的系统，其特征在于，该系统还包括：

实时跟踪模块，用于实时跟踪行人。

10.如权利要求1所述的系统，其特征在于，该系统还包括：

可视化模块，用于结合WebGIS技术对车站站台区域建筑信息模型进行可视化。

Images