CN107662867B - 乘客运输机的梯级滚轮监测和维修操作人员监测 - Google Patents

Abstract

本发明涉及乘客运输机的梯级滚轮监测和维修操作人员监测，属于乘客运输机技术领域。本发明的监测系统和监测方法中，使用成像传感器和/或深度感测传感器对所述乘客运输机的所述梯级滚轮/维修操作人员进行感测以获取数据帧，对所述数据帧进行分析处理以监测所述梯级滚轮的运动或位置/维修操作人员的活动或位置是否处于正常状态。

Description

乘客运输机的梯级滚轮监测和维修操作人员监测

技术领域

本发明属于乘客运输机技术领域，涉及乘客运输机（Passenger Conveyor）的梯级滚轮（Step roller）的运动的异物自动监测以及对维修操作人员的活动的自动监测。

背景技术

乘客运输机（例如扶梯或移动人行道）在地铁、商场、机场等公共场所中应用越来越广泛，其运行的安全性愈发重要。乘客运输机的梯级（Step）在运动的过程中可能会由于某些因素导致梯级发生跳动等，从而引起梯级损坏甚至对其上面的乘客带来风险。梯级的跳动等问题是可能是由于导轨发生变形或导轨接头不平整或异物卡入运行轨道等致使梯级滚轮的运行不正常所导致，产生的现象可能是梯级在相应的轨道上跳动、上冲或下沉等，因此，梯级滚轮的运动正常是保证梯级安全运行的重要条件之一。

发明内容

按照本发明的第一方面，提供一种乘客运输机的梯级滚轮监测系统，包括：成像传感器和/或深度感测传感器，用于对所述乘客运输机的至少部分所述梯级滚轮进行感测以获取数据帧；以及处理装置，用于对所述数据帧进行分析处理以监测运行的所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置是否处于正常状态，其中，所述正常状态是指所述梯级滚轮在预定轨迹图案中运动。

按照本发明的第二方面，提供一种乘客运输机的梯级滚轮监测方法，包括步骤：通过成像传感器和/或深度感测传感器对所述乘客运输机的至少部分所述梯级滚轮进行感测以获取数据帧；以及对所述数据帧进行分析处理以监测运行的所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置是否处于正常状态；其中，所述正常状态是指所述梯级滚轮在预定轨迹图案中运动。

按照本发明的第三方面，提供一种用于监测乘客运输机的维修操作人员的行动的监测系统，包括：成像传感器和/或深度感测传感器，用于对所述维修操作人员进行感测以获取数据帧；以及处理装置，用于对所述数据帧进行分析处理以监测运行的所述维修操作人员的活动和/位置是否处于正常状态，其中，所述正常状态是指所述维修操作人员的活动和/位置在一个或多个预定轨迹图案中。

按照本发明的第四方面，提供一种用对乘客运输机的维修操作人员的行动进行监测的方法，包括步骤：通过成像传感器和/或深度感测传感器对所维修操作人员进行感测以获取数据帧；以及对所述数据帧进行分析处理以监测运行的所述维修操作人员的活动是否处于正常状态；其中，所述正常状态是指所述维修操作人员的活动和/位置在一个或多个预定轨迹图案中。

按照本发明的第五方面，提供一种乘客运输系统，包括乘客运输机和上述任一所述的监测系统，根据以下描述和附图本发明的以上特征和操作将变得更加显而易见。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。

图1是按照本发明一实施例的乘客运输机的梯级滚轮监测系统的结构示意图。

图2是按照本发明一实施例的乘客运输机的感测装置的安装示意图。

图3是图1所示的梯级滚轮监测系统中对梯级滚轮的运动是否处于正常状态的判断示例示意图。

图4是按照本发明第一实施例的乘客运输机的梯级滚轮监测方法的流程示意图。

图5是按照本发明第二实施例的乘客运输机的梯级滚轮监测方法的流程示意图。

图6是按照本发明一实施例的乘客运输机的维修操作人员监测系统的结构示意图。

图7是按照本发明一实施例的对乘客运输机的维修操作人员的活动的方法流程示意图。

具体实施方式

现在将参照附图更加完全地描述本发明，附图中示出了本发明的示例性实施例。但是，本发明可按照很多不同的形式实现，并且不应该被理解为限制于这里阐述的实施例。相反，提供这些实施例使得本公开变得彻底和完整，并将本发明的构思完全传递给本领域技术人员。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同处理装置和/或微控制器装置中实现这些功能实体。

在本发明中，乘客运输机包括自动扶梯（Escalator）和移动人行道（MovingWalkway）。以下图示实施例中，以自动扶梯为示例对本发明实施例的梯级滚轮监测系统和监测方法进行详细说明，但是，应当理解到，以下实施例的针对自动扶梯的梯级滚轮监测系统和监测方法同样可以类推地应用到移动人行道中，其中可能需要发生的例如适用性的改进是本领域技术人员在本发明实施例的教导下能够获知的。

需要说明的是，在本发明中，乘客运输机的乘客运输机的梯级滚轮的运动处于“正常状态”是指梯级滚轮在预定轨迹图案中运动；相反地，“非正常状态”是指所述梯级滚轮未在预定轨迹图案中运动，例如，梯级滚轮的运动过程中发生上冲（upthrust）、跳动（bounce）或下沉（sag）等。梯级滚轮的运动处于非正常状态时，将可能导致梯级非正常运转，有可能给梯级上面的乘客带来危险，因此，是需要避免梯级滚轮的运动处于非正常状态、或及时发现梯级滚轮的运动处于非正常状态。其中，本发明中的“运动”包括所有位置的时间导数，例如，包括但不限于速率、加速度和抖动等。

其中，预定轨迹图案可以是允许的（permitted）轨迹组合形成的图案区域，其是一个相对的概念，其可以根据具体情况而设置，例如，对乘客运输机的安全性要求越高，该图案区域相对越小，要求梯级滚轮更精确地运行。

图1所示为按照本发明一实施例的乘客运输机的梯级滚轮监测系统的结构示意图，图2所示为按照本发明一实施例的乘客运输机的感测装置的安装示意图，图3是图1所示的梯级滚轮监测系统中对梯级滚轮的运动是否处于正常状态的判断示例示意图。

结合图1至图3所示，该实施例的梯级滚轮监测系统可以用来在预定时间段内持续监测乘客运输机在日常运行工况（包括有乘客的运行工况和无乘客的空载运行工况）下的扶梯900的每个梯级950对应的梯级滚轮951的运动是否处于正常状态。

在日常运行工况下，梯级950是按某一方向按预定速度不断周转运行，其是与梯级滚轮951同步地周转运行，图2中示出了梯级滚轮951在运动时的侧视图，在正常状态下，梯级滚轮951是沿轨道960运转，虚线与轨道960之间的区域示意一实例的预定轨迹图案970。为保证梯级运行的安全性，一般地，要求梯级滚轮951的运动的过程中不超出预定轨迹图案970的范围。如果超出该预定轨迹图案970的范围运行，则表示梯级滚轮951和梯级950的运行对于扶梯900上的乘客存在风险。

图1所示实施例的梯级滚轮监测系统包括感测装置310与感测装置310耦接的处理装置100，扶梯900包括乘客运输机控制器910、诸如电机的制动部件920以及警报单元930等。

感测装置310具体为成像传感器（imaging sensor）或者深度感测传感器（depthsensing sensor），或者为它们的组合。根据具体需要和传感器所能够监测的区域范围大小，可以在扶梯900的内部设置一个或多个感测装置310，例如，310₁至310_n，N为大于或等于1的整数。感测装置310以相对能清楚、准确地感测扶梯900的运动的或静止的梯级滚轮951为准进行安装，其具体安装方式和安装位置不是限制性的。在图1所示实施例中，示出了感测装置310在感测时所能感测到的场景，也即能够感测扶梯900的梯级滚轮951的侧面的场景。在图2所示实施例中，采用例如四个感测装置310₁至310₄感测梯级滚轮951的侧面的场景，感测装置310₁至310₄均大致朝向乘客运输机900的梯级950的侧面安装，这样，能更准确获取梯级滚轮951的运动轨迹。并且，感测装置310₁至310₄均安装在扶梯900的内部，此时，由于深度传感器感测获取深度图可以并不依赖于环境光，因此，感测装置310为深度传感器时，能相对获得清晰的深度图；如果感测装置310为成像传感器，在扶梯900的内部可以对应地安装照明部件，其能够照亮梯级滚轮951，有利于成像传感器获得清晰的图像帧。

需要说明的是，由于可能需要监测轨道960上运行的所有梯级滚轮951的运动，因此，可以在根据装置的监测视角范围等确定需要安装的感测装置310数量，其具体数量不是限制性的。每个感测装置310感测相应部分的轨道960上运行的梯级滚轮951，并在处理装置100中进行相应的分析处理。当然，如果仅对部分轨道960上运行的梯级滚轮951进行监测，也可以采用一个感测装置310。

成像传感器可以是各种类型的2D图像传感器，应当理解，任何能够拍摄获取包括像素灰度信息的图像帧的图像传感器都可以在此应用，当然，能够拍摄获取包括像素灰度信息和色彩信息（例如RGB信息）的图像帧的图像传感器也可以在此应用。

深度感测传感器可以是针对任何1D、2D、3D深度传感器或其组合，为准确感测梯级滚轮951的扶手部件等以及可能出现的异物，可以根据具体应用环境选择相应类型的深度感测传感器。这种传感器可在能够产生对应纹理的深度图（还已知为点云或占据栅格）的光学、电磁或声谱下操作。各种深度感测传感器技术和装置包括但不限于结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、回声定位设备、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列(FPA)或包括前述中至少一个的组合。不同技术可包括主动（传输和接收信号）或被动（仅接收信号）且可在电磁或声谱（诸如视觉、红外线等）带下操作。使用深度感测可具有超越常规2D成像的特定优点，使用红外线感测可具有超越可见光谱成像的特定益处，替代或此外，使得传感器可以是具有一个或多个像素空间分辨率的红外线传感器，例如被动红外线(PIR)传感器或小型IR焦平面阵列(FPA)。

应注意，2D成像传感器（例如常规安全相机）与1D、2D或3D深度感测传感器之间在深度感测提供许多优点的程度上会存在性质上和数量上的差异。在2D成像中，在从成像器的每个径向方向上的来自第一个对象的反射色彩（波长的混合物）被捕获。接着，2D图像可包括源照明和场景中对象的光谱反射系数的组合光谱。2D图像可由人员解译成图片。在1D、2D或3D深度感测传感器中，不存在色彩（光谱）信息；更确切地说，在从传感器的径向方向（1D）或方向（2D、3D）上到第一反射对象的距离（深度、范围）被捕获。1D、2D和3D技术可具有固有最大可检测范围极限且可具有相对低于典型2D成像器的空间分辨率。在对环境照明问题的相对免疫方面，与常规2D成像比较，使用1D、2D或3D深度感测可有利地提供改进型操作、对遮蔽对象的较好分离和较好的私密保护。使用红外线感测可具有超过可见光谱成像的特定益处。举例来说，2D图像会无法被转变成深度图且深度图也无法具有被转变成2D图像（例如，至连续深度的人为分配连续色彩或灰度会使人略微类似于人员如何见到2D图像来粗略地解译深度图，其并非常规意义上的图像。）的能力。

在感测装置310具体为成像传感器和深度感测传感器的组合时，感测装置310可以为RGB-D传感器，其可以同时获取RGB信息和深度（D）信息。

在感测装置310对扶梯900的梯级滚轮951进行感测并实时地获得多幅连续的数据帧，即序列帧；如果是采用成像传感器感测获取，序列帧为多个图像帧，其中的每个像素具有例如相应的灰度信息和色彩信息；如果是采用深度感测传感器感测获取，序列帧为多个深度图，其中的每个像素或占据栅格也具有对应深度尺寸（反映深度信息）。

上述感测装置310感测获取数据帧的过程可以被处理装置100或乘客输送机控制器910来控制实现，感测装置310感测获取数据帧的也被进一步发送至处理装置100，处理装置100进一步负责用于对每幅数据帧进行分析处理，并最终确认扶梯900的梯级滚轮951是否处于正常状态的信息，例如，确定是否有梯级滚轮951上冲跳出预定轨迹图案970。

继续如图1所示，处理装置100被配置为包括目标对象检测器120，其用于从感测装置310获取的数据帧中检测出关于梯级滚轮951的目标对象，这样，可以从每幅数据帧中区分出梯级滚轮951对应的目标对象，便于后续对目标对象进行处理。在一实施例中，目标对象检测器120可以预先地通过学习训练来得到，为此，在处理装置100中还设置有目标对象训练模块110；目标对象训练模块110首先获取梯级滚轮951的运动处于正常状态下感测的至少一幅数据帧，该数据帧包含梯级滚轮951，通过人工的方式标识出数据帧中的梯级滚轮951，例如标识出梯级滚轮951所对应的二维边界（如果数据帧是二维图像）或三维边界（如果数据帧是三维深度图）；进一步使用图形分类算法等，并且使用被标识出的梯级滚轮951对应的数据帧部分，学习并训练得到关于梯级滚轮951的目标对象模型，该目标对象模型包括梯级滚轮951的形状、尺寸、颜色（如果有）、动作等特征，因此，该目标对象模型反映了梯级滚轮951的诸多特征信息。目标对象检测器120使用目标对象训练模块110训练获取的目标对象模型，可以从后续在线获取的或离线获取的数据帧中准确地检测或识别出关于梯级滚轮951的目标对象。

需要说明的是，目标对象检测器120的检测准确程度与目标对象训练模块110的学习训练效果有关，学习训练次数越多，也可能目标对象模型更准确反映关于梯级滚轮951的特征信息，因此，可以更准确地检测出关于梯级滚轮951的目标对象。以上目标对象训练模块110针对梯级滚轮951的学习训练过程可以离线地预先完成。目标对象检测器120可以在线地持续运行，以不断检测出每幅数据帧中关于梯级滚轮951的目标对象。

在又一替换实施例中，目标对象检测器120可以使用例如霍夫圆变换（HoughCircle Transform）、闭合的轮廓算法（其中轮廓具有恒定的曲率）等算法来检测诸如梯级滚轮951的圆形的目标对象。

继续如图1所示，处理装置100中还设置有位置特征提取模块130，位置特征提取模块130从基于已检测出的目标对象提取相应的特征，尤其包括提取目标对象的位置特征。其中，位置特征等信息可以通过目标对象的多个特征点或像素/栅格的距离某一参考点的距离值（2D平面距离或3D距离）来定义。

继续如图1所示，处理装置100中还设置有状态判断模块160，状态判断模块160可以与位置特征提取模块130耦接，并获取其提取出来的关于梯级滚轮951的目标对象的位置特征，并且，状态判断模块160中还可以存储或预先设置有预定轨迹图案970；状态判断模块160基于每幅数据帧对应的关于一个或多个梯级滚轮951的目标对象的位置特征判断该目标对象是否处于预定轨迹图案中，并在判断为“是”的情况下确定相应的梯级滚轮951的运动处于正常状态。

具体而言，如图3所示，虚线971所包围形成的区域是在数据帧坐标下的预定轨迹图案970，951a和951b是其中两个梯级滚轮951在该数据帧上的目标对象，其位置特征被提取，并通过与预定轨迹图案970比较，可以判断出梯级滚轮951的目标对象951a和951b是没有全部处于预定轨迹图案970中，因此，表示该数据帧对应的时刻，两个梯级滚轮951的运动处于非正常状态，其中目标对象951a对应的梯级滚轮很可能是处于上冲的过程中，目标对象951b对应的梯级滚轮很可能是处于下沉的过程中。这种判断方法可以应用于在静止状态下对梯级滚轮951获取的数据帧，静止的级滚轮951对应的位置特征被提取，通过与预定轨迹图案970比较，可以判断出梯级滚轮951的目标对象951a和951b是没有全部处于预定轨迹图案970中，从而判断出梯级滚轮951的位置是否处于正常状态，此时，正常状态是指所述梯级滚轮的位置对应在预定轨迹图案中。

以上实施例的判断模块160中的判断方式是基于某一幅数据帧的处理结果判断得到梯级滚轮951的运动状态结果。

继续如图1所示，处理装置100中还设置有轨迹生成模块140，轨迹生成模块140根据多幅连续的数据帧对应获得的目标对象的位置特征生成关于该目标对象的一条或多条运动轨迹。具体而言，位置特征提取模块130获得的所述位置特征以及目标对象检测器120所检测的目标对象在轨迹生成模块140中进行处理。轨迹生成模块140中使用贝叶斯过滤（Bayesian Filter）技术，实现续数据帧的其中一个相同目标对象的跟踪，从而通过预定时间段的数据帧中获得多个的目标对象，可以跟踪获得同一相应目标对象。进一步，基于每幅数据帧中被跟踪的同一目标对象的位置信息（从位置特征提取模块130获得），生成该目标对象对应的梯级滚轮951在预定时间段的一条或多条运动轨迹。以上具体的贝叶斯过滤技术例如可以但不限于为卡尔曼过滤（Kalman Filter）、粒子过滤（Particle Filter）等。相应地，状态判断模块160可以与该轨迹生成模块140耦接，基于相应目标对象在预定时间段的运动轨迹以及预定轨迹图案970，判断该运动轨迹是否处于预定轨迹图案970中，如果判断为“是”，则表示该目标对象对应的梯级滚轮951在该预定时间段的运动是处于正常状态，反之则处于非正常状态。

以上实施例中状态判断模块160基于运动轨迹进行判断，其是一个动态判断的过程，是基于多幅数据帧来判断出来的，因此，判断相对更加准确合理，判断结果可信度高；例如，如果某幅数据帧的目标对象检测中随机地出现较大误差，如果基于其对应的位置特征来判断是否处于预定轨迹图案970中，可能会存在相应的误判断。特别是在运动轨迹的生成过程中采用过滤技术后，以上某幅数据帧的目标对象检测中随机地出现较大误差时，很可能会被直接过滤掉，从而，大大提高判断的准确性。

在一实施例中，如图1所示，处理装置100中还设置有预定轨迹图案生成模块150，其可以基于在梯级滚轮951的运动处于正常状态下感测的多幅连续的数据帧，生成梯级滚轮951的预定轨迹图案，预定轨迹图案生成模块150与目标对象检测器120和位置特征提取模块130耦接，其生成预定轨迹的原理与轨迹生成模块140生成运动轨迹的原理基本相同，只是使用的数据帧存在不同，在此省略对其描述。预定轨迹图案生成模块150获得的预定轨迹是在正常状态下获得的标准运动轨迹，应当理解，在该预定轨迹上增加一定区域范围（例如公差允许的范围或者梯级滚轮951的允许跳动范围），即可生成得到预定轨迹图案970。

在又一替换实施例中，还可以采用轨迹生成模块140来处理在梯级滚轮951的运动处于正常状态下感测的多幅连续的数据帧，执行预定轨迹图案生成模块150基本相同的功能，来生成得到预定轨迹图案970。

因此，将理解到，预定轨迹图案970是一个相对的概念，其可以根据具体情况而设置，例如，在扶梯900的运行工况变化后重新设置，在梯级滚轮951的运行准确度要求高后重新设置。预定轨迹图案970可以在对梯级滚轮951监测之前预先地生成，其也可以基于存储的数据帧在离线状态下生成。

以上实施例的处理装置100中的状态判断模块160确定被监测的梯级滚轮951的运动处于非正常状态时（例如梯级滚轮951发生上冲、严重跳动或下沉时），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，控制器910控制降低梯级运行速度，还例如，控制器910进一步发送信号至制动部件930进行制动，以安全停止梯级的运动。处理装置200还可以发送信号至安装在扶梯900上方的警报单元930，提醒乘客注意安全，例如发出报警声或提醒消息，当然，处理装置200还可以发送信号至楼宇的监控中心940等，提示及时进行现场处理。发现扶梯900的梯级滚轮的运动处于非正常状态时所具体采取的措施不是限制性的。

以上图1所示实施例的梯级滚轮监测系统可以实现对扶梯900的梯级滚轮951的运动进行实时地自动进行监测，能及时有效地发现梯级滚轮951的运动，有利于及时采用相应措施，避免安全事故的发生，大大提高扶梯运行的安全性。

应当理解到，本发明实施例的监测系统基于深度感测传感器获得深度图进行监测时，深度感测传感器对于梯级滚轮951这些相对细小部件的感测将更准确，并且深度感测传感器具有对环境光强变化的免疫性的特点，不受扶梯900内部的光强弱的影响，因此，在目标对象训练、目标对象检测、位置特征提取、轨迹生成等方面的准确性将更强，判断的准确性也更好。

以下图4示例说明基于图1所示的实施例的梯级滚轮监测系统监测梯级滚轮的运动是否处于正常状态的方法流程，结合图1和图4进一步说明本发明实施例的梯级滚轮监测系统的工作原理。

首先，成像传感器和/或深度感测传感器待机准备，即步骤S11。

进一步，对乘客运输机的至少部分所述梯级滚轮进行感测以获取数据帧步骤，即S111或步骤S112；在步骤S111中，感测在梯级滚轮的运动处于正常状况下的数据帧，该步骤感测的数据帧是用于后续步骤S12和步骤S13；在步骤S112中，感测在日常运行工况下关于梯级滚轮的数据帧，该步骤感测的数据帧是日常运行工况下随时获取，例如可以每秒钟获取30幅连续的数据帧，获取的数据帧供后续实时分析处理。

进一步，步骤S12，对关于梯级滚轮951的目标对象学习训练。在该步骤中，根据在梯级滚轮的运动处于正常状态下感测的至少一幅数据帧（步骤S111中获得）中的被人工标识出来的梯级滚轮，进行学习训练以开发出关于梯级滚轮951的目标对象模型。该步骤在如图1所示的目标对象训练模块110中完成。具体学习训练的方法以及目标对象模型参见以上关于目标对象训练模块110的描述。

进一步，步骤S13，检测出关于梯级滚轮的目标对象。在该步骤中，可以对步骤S112获得的每副数据帧进行检测处理，从而监测日常工况下的梯级滚轮951的运动状态；也可以对步骤S111获得的每副数据帧进行检测处理，从而后续生成预定轨迹图案。在该步骤中，具体可以基于目标对象模型从数据帧中检测出关于梯级滚轮951的目标对象。该步骤在如图1所示的目标对象检测器120中完成，具体检测方法参见以上关于目标对象检测器120的描述。

进一步，步骤S14，基于已检测出的目标对象提取位置特征。该步骤在如图1所示的位置特征提取模块130中完成，具体提取方法参见以上关于位置特征提取模块130的描述。

进一步，步骤S15，生成预定轨迹图案。在该步骤中，基于步骤S111的多幅连续的数据帧对应获得的目标对象以及目标对象相应的位置特征，生成预定轨迹图案。该步骤在如图1所示的预定轨迹图案生成模块150中完成，也可以在轨迹生成模块140中完成，具体提取方法参见以上关于预定轨迹图案生成模块150或轨迹生成模块140的描述。

并且，步骤S16，根据步骤S112的多幅连续的所述数据帧对应获得的目标对象的位置特征，生成关于该目标对象的一条或多条运动轨迹。在一实施例中，使用过滤技术跟踪多幅连续的数据帧中被检测出的同一所述目标对象，并应用从所述多幅连续的数据帧分别提取得到的该同一所述目标对象的位置特征，生成关于该目标对象的运动轨迹。该步骤在如图1所示的轨迹生成模块140中完成，具体生成方法参见以上关于轨迹生成模块140的描述。

进一步，步骤S17，判断该运动轨迹是否处于预定轨迹图案中；如果判断为“是”，进入步骤S181，确定梯级滚轮951的运动处于正常状态；如果判断为“否”，进入步骤S182，确定梯级滚轮951的运动处于非正常状态。步骤S17和步骤S181、S182在如图1所示的状态判断模块160中完成，具体判断方法参见以上关于状态判断模块160的描述。

进一步，在确定梯级滚轮951的运动处于非正常状态的情况下，进入步骤S19，触发报警，并触发扶梯的制动单元进行制动。具体地，还可以触发发送信息至监控中心940。

至此，以上对扶梯900的梯级滚轮951的运动的一次监测过程基本完成，该过程的某些步骤（例如步骤S112、S13、S14、S16和S17）可以不断重复循环持续运行，以持续监控扶梯900的梯级滚轮951的运动状态。该监测方法实现对扶梯900的梯级滚轮951的运动进行实时地自动进行监测，能及时有效地发现梯级滚轮951的运动，有利于及时采用相应措施，避免安全事故的发生，大大提高扶梯运行的安全性。

图5所示为按照本发明第二实施例的乘客运输机的梯级滚轮监测方法的流程示意图。在该第二实施例中，同样包括如图4所示第一实施例中的步骤S11、S111、S112、S12、S13、S14、S15、S181、S182和S19，在此省略对它们的描述；相比于图4所示第一实施例的监测方法，主要区别在于判断步骤，即步骤S27，在该步骤S27中，是基于步骤S14获得位置特征，判断目标对象是否处于预定轨迹图案中，并在判断为“是”的情况下进入步骤S181，否则进入步骤S182。该步骤S27同样在如图1中的判断模块160中完成，可以基于某一幅数据帧的处理结果判断得到的梯级滚轮951的运动状态结果。

申请人注意到，以上对梯级滚轮951的运动的监测原理可以类推地应用到对扶梯900的维修操作人员的活动的监测。以下将详细实例说明。

以下图示实施例中，以自动扶梯为示例对本发明实施例的维修操作人员监测系统和监测方法进行详细说明，但是，应当理解到，以下实施例的针对自动扶梯的维修操作人员监测系统和监测方法同样可以类推地应用到移动人行道中，其中可能需要发生的例如适用性的改进是本领域技术人员在本发明实施例的教导下能够获知的。

需要说明的是，在本发明中，乘客运输机的乘客运输机的维修操作人员的活动处于“正常状态”是维修操作人员在预定轨迹图案中行动或活动；相反地，“非正常状态”是指所述维修操作人员未在预定轨迹图案中行动或活动，例如，维修操作人员在现场维修过程中，进入不属于预定轨迹图案所对应的区域范围（即，危险区域）中等。维修操作人员的行动或活动处于非正常状态时，将维修操作人员的维修操作肯定是不符合相关操作规程要求的，有可能给操作人员乘客带来生命危险，因此，是需要避免维修操作人员的行动或活动处于非正常状态、或及时发现维修操作人员的危险行动或活动。

图6所示为按照本发明一实施例的乘客运输机的维修操作人员监测系统的结构示意图。

在维修工况下，对于各种维修操作，现有技术中是存在相应的规程或标准来限制维修操作人员的活动，但是，维修操作人员在维修扶梯900时，容易发生违规操作，特别是进入一些不允许进入的区域，容易导致严重安全性问题。

如图6所示，该实施例的维修操作人员监测系统可以用来在预定时间段内（例如维修时间段内）持续监测扶梯900的维修操作人员980的活动是否处于正常状态。

图6所示实施例的维修操作人员监测系统包括感测装置310与感测装置310耦接的处理装置200，扶梯900包括乘客运输机控制器910、诸如电机的制动部件920以及警报单元930等。其中，感测装置310、乘客运输机控制器910、警报单元930等是图1所示实施例的监测系统中被揭示，在此省略对它们的描述。

需要说明的是，感测装置310对扶梯900的维修操作人员980进行感测并实时地获得多幅连续的数据帧，即序列帧；如果是采用成像传感器感测获取，序列帧为多个图像帧，其中的每个像素具有例如相应的灰度信息和/或色彩信息；如果是采用深度感测传感器感测获取，序列帧为多个深度图，其中的每个像素或占据栅格也具有对应深度尺寸（反映深度信息）。感测装置310以相对能清楚、准确地感测维修操作人员980的活动为准进行安装，其具体安装方式和安装位置不是限制性的。

上述感测装置310感测获取数据帧的过程可以被处理装置200或乘客输送机控制器910来控制实现，感测装置310感测获取数据帧的也被进一步发送至处理装置200，处理装置200进一步负责用于对每幅数据帧进行分析处理，并最终确认扶梯900的维修操作人员980是否处于正常状态的信息，例如，确定是否有维修操作人员980进入预定轨迹图案之外的危险区域。

继续如图6所示，处理装置200被配置为包括目标对象检测器220，其用于从感测装置310获取的数据帧中检测出关于维修操作人员980的目标对象，这样，可以从每幅数据帧中区分出维修操作人员980对应的目标对象，便于后续对目标对象进行处理。目标对象可以是操作人员980整体，也可以是操作人员980的一个或多个身体部位，例如在监视维修操作人员980的手部活动时，目标对象可以包括操作人员980的手部。在一实施例中，目标对象检测器220可以预先地通过学习训练来得到，为此，在处理装置200中还设置有目标对象训练模块210；目标对象训练模块210首先获取维修操作人员980的活动处于正常状态下感测的至少一幅数据帧，该数据帧包含维修操作人员980，通过人工的方式标识出数据帧中的维修操作人员980，例如标识出维修操作人员980所对应的二维边界（如果数据帧是二维图像）或三维边界（如果数据帧是三维深度图），即身体轮廓图，或者标识出维修操作人员980的骨架图；进一步使用图形分类算法等，并且使用被标识出的维修操作人员980对应的数据帧部分，学习并训练得到关于维修操作人员980的目标对象模型，该目标对象模型包括维修操作人员980的骨架形状等特征，因此，该目标对象模型反映了维修操作人员980的诸多特征信息。其中对于骨架图的分辨可以更充分仔细，可以包括手的手指的位置、手腕关节的位置等。目标对象检测器220使用目标对象训练模块210训练获取的目标对象模型，可以从后续在线或离线获取的数据帧中准确地检测或识别出关于维修操作人员980的目标对象。

需要说明的是，目标对象检测器220的检测准确程度与目标对象训练模块210的学习训练效果有关，学习训练次数越多，也可能目标对象模型更准确反映关于维修操作人员980的特征信息，因此，可以更准确地检测出关于维修操作人员980的目标对象。以上目标对象训练模块210针对维修操作人员980的学习训练过程可以离线地预先完成。目标对象检测器220可以在线地持续运行，以不断检测出每幅数据帧中关于维修操作人员980的目标对象。

继续如图6所示，处理装置200中还设置有位置特征提取模块230，位置特征提取模块230从基于已检测出的目标对象提取相应的特征，尤其包括提取目标对象的位置特征。其中，位置特征等信息可以通过目标对象的多个特征点或像素/栅格的距离某一参考点的距离值（2D平面距离或3D距离）来定义。

继续如图6所示，处理装置200中还设置有轨迹生成模块240，轨迹生成模块240根据多幅连续的数据帧对应获得的目标对象的位置特征生成关于该目标对象的一条或多条活动轨迹。具体而言，位置特征提取模块230获得的所述位置特征以及目标对象检测器220所检测的目标对象在轨迹生成模块240中进行处理。轨迹生成模块240中使用贝叶斯过滤（Bayesian Filter）技术，实现续数据帧的其中一个相同目标对象的跟踪，从而通过预定时间段的数据帧中获得多个的目标对象，可以跟踪获得同一相应目标对象。进一步，基于每幅数据帧中被跟踪的同一目标对象的位置信息（从位置特征提取模块230获得），生成该目标对象对应的维修操作人员980在预定时间段的一条或多条活动轨迹。以上具体的贝叶斯过滤技术例如可以但不限于为卡尔曼滤波（Kalman Filter）、粒子滤波（Particle Filter）等。

以上通过轨迹生成模块240生成的多条活动轨迹可以允许以不同顺序的维修操作人员的操作行为表现，其中，这些不同顺序都是可以接受的或者允许的，例如，在维修操作时，四个螺丝以不同顺序紧固一些设备的罩是可以接受的或者允许的，但是，仅以三个螺丝来紧固一些设备的罩是不允许的，此时将被定义为非正常状态。

轨迹生成模块240进一步可以识别或分类对于活动或行为（例如旋开螺丝、移开罩、润滑部件等）的活动轨迹，具体可以使用诸如概率编程（Probabilistic Programming）、马尔可夫逻辑网络（Markov Logic Networks）、脑回神经中枢网络（Convolutional Neuralnetworks）等行为识别技术，根据以上轨迹生成模块240的分类，可以随后通过警报单元930来提供相应的解释给维修操作人员980。对于不同分类的活动轨迹，可以预先通过训练建立相应的轨迹模型，在识别过程中，可以将该运动轨迹与相应的轨迹模型进行比较以识别其运动轨迹的类型。

继续如图6所示，处理装置200中还设置有状态判断模块260，状态判断模块260可以与位置特征提取模块230、轨迹生成模块240耦接，并获取关于维修操作人员980的目标对象的位置特征以及相应的活动轨迹，并且，状态判断模块260中还可以存储或预先设置有预定轨迹图案971；状态判断模块260基于相应目标对象在预定时间段的活动轨迹以及预定轨迹图案，判断该活动轨迹是否处于预定轨迹图案中，如果判断为“是”，则表示该目标对象对应的维修操作人员980在该预定时间段的活动是处于正常状态，反之则处于非正常状态。

以上实施例中状态判断模块260基于活动轨迹进行判断，其是一个动态判断的过程，是基于多幅数据帧来判断出来的，因此，判断相对更加准确合理，判断结果可信度高。特别是在活动轨迹的生成过程中采用过滤技术后，以上某幅数据帧的目标对象检测中随机地出现较大误差时，很可能会被直接过滤掉，从而，大大提高判断的准确性。

在一实施例中，如图6所示，处理装置200中还设置有预定轨迹图案生成模块250，其可以基于在维修操作人员980的活动处于正常状态下感测的多幅连续的数据帧，生成维修操作人员980的预定轨迹图案，预定轨迹图案生成模块250与目标对象检测器220和位置特征提取模块230耦接，其生成预定轨迹的原理与轨迹生成模块240生成活动轨迹的原理基本相同，只是使用的数据帧存在不同，在此省略对其描述。预定轨迹图案生成模块250获得的预定轨迹是在维修操作人员980按照维修操作标准下获得的标准活动轨迹，应当理解，在该预定轨迹上可以增加一定区域范围（例如公差允许的范围或者维修操作人员980的允许获得范围），即可生成得到预定轨迹图案。对于2D图像，该预定轨迹图案可能是一个2D平面范围；对于深度感测传感器获得的3D深度图，该预定轨迹图案可能是一个3D空间范围。在该预定轨迹图案对应的范围内，至少维修操作人员的活动是安全的。

在又一替换实施例中，还可以采用轨迹生成模块240来处理在维修操作人员980的活动处于正常状态下感测的多幅连续的数据帧，执行预定轨迹图案生成模块250基本相同的功能，来生成得到预定轨迹图案。

因此，将理解到，预定轨迹图案是一个相对的概念，其可以根据具体情况而设置，例如，在扶梯900的维修操作标准变化后重新设置，在维修操作人员980的活动准确度要求高后重新设置。预定轨迹图案可以在对维修操作人员980监测之前预先地生成，其也可以基于存储的数据帧在离线状态下生成。

需要说明的是，对于扶梯900的不同维修工况，可以生成不同的预定轨迹图案，在监测时，基于当前被监测的维修工况类型，判断模块260判断模块选择相应的预定轨迹图案来与维修操作人员980的活动轨迹相比较。

以上实施例的处理装置200中的状态判断模块260确定被监测的维修操作人员980的活动处于非正常状态时（例如维修操作人员980违规进入危险区时），可以发送信号至安装在扶梯900上方的警报单元930，提醒维修操作人员980操作违规，例如发出报警声或提醒消息，当然，处理装置200还可以发送信号至楼宇的监控中心940等，提示管理人员进行相应的处理，避免发生严重事故。发现扶梯900的维修操作人员的活动处于非正常状态时所具体采取的措施不是限制性的。

以上图6所示实施例的维修操作人员监测系统可以实现对扶梯900的维修操作人员971的活动进行实时地自动进行监测，能及时有效地发现维修操作人员971的危险或违规操作活动，有利于及时采用相应措施，避免安全事故的发生，保障维修操作的安全性，也有利于对维修操作人员的管理。

以下图7示例说明基于图6所示的实施例的维修操作人员监测系统监测维修操作人员的活动是否处于正常状态的方法流程，结合图6和图7进一步说明本发明实施例的监测系统的工作原理。

首先，成像传感器和/或深度感测传感器待机准备，即步骤S31。

进一步，对乘客运输机上或附近的维修操作人员进行感测以获取数据帧步骤，即S311或步骤S312；在步骤S311中，感测在维修操作人员的活动处于正常状况下的数据帧，该步骤感测的数据帧是用于后续步骤S32和步骤S33；在步骤S312中，感测在维修工况下关于维修操作人员的数据帧，该步骤感测的数据帧是在维修工况下随时获取，例如可以每秒钟获取30幅连续的数据帧，获取的数据帧供后续实时分析处理。

进一步，步骤S32，对关于维修操作人员980的目标对象学习训练。在该步骤中，根据在维修操作人员的活动处于正常状态下感测的至少一幅数据帧（步骤S311中获得）中的被人工标识出来的维修操作人员，进行学习训练以开发出关于维修操作人员980的目标对象模型。该步骤在如图6所示的目标对象训练模块210中完成。具体学习训练的方法以及目标对象模型参见以上关于目标对象训练模块210的描述。

进一步，步骤S33，检测出关于维修操作人员的目标对象。在该步骤中，可以对步骤S312获得的每副数据帧进行检测处理，从而监测维修工况下的维修操作人员980的活动状态；也可以对步骤S311获得的每副数据帧进行检测处理，从而后续生成预定轨迹图案。在该步骤中，具体可以基于目标对象模型从数据帧中检测出关于维修操作人员980的目标对象。该步骤在如图6所示的目标对象检测器220中完成，具体检测方法参见以上关于目标对象检测器220的描述。

进一步，步骤S34，基于已检测出的目标对象提取位置特征。该步骤在如图6所示的位置特征提取模块230中完成，具体提取方法参见以上关于位置特征提取模块230的描述。

进一步，步骤S35，生成预定轨迹图案。在该步骤中，基于步骤S311的多幅连续的数据帧对应获得的目标对象以及目标对象相应的位置特征，生成预定轨迹图案。该步骤在如图6所示的预定轨迹图案生成模块250中完成，也可以在轨迹生成模块240中完成，具体提取方法参见以上关于预定轨迹图案生成模块250或轨迹生成模块240的描述。

并且，步骤S36，根据步骤S312的多幅连续的所述数据帧对应获得的目标对象的位置特征，生成关于该目标对象的一条或多条活动轨迹。在一实施例中，使用过滤技术跟踪多幅连续的数据帧中被检测出的同一所述目标对象，并应用从所述多幅连续的数据帧分别提取得到的该同一所述目标对象的位置特征，生成关于该目标对象的活动轨迹。该步骤在如图6所示的轨迹生成模块240中完成，具体生成方法参见以上关于轨迹生成模块240的描述。

进一步，步骤S37，判断该活动轨迹是否处于预定轨迹图案中；如果判断为“是”，进入步骤S381，确定维修操作人员980的活动处于正常状态；如果判断为“否”，进入步骤S382，确定维修操作人员980的活动处于非正常状态。步骤S37和步骤S381、S382在如图6所示的状态判断模块260中完成，具体判断方法参见以上关于状态判断模块260的描述。

进一步，在确定维修操作人员980的活动处于非正常状态的情况下，进入步骤S39，触发报警，从而提醒维修操作人员注意违规操作。具体地，还可以触发发送信息至监控中心940。

至此，以上对扶梯900的维修操作人员980的活动的一次监测过程基本完成，该过程的某些步骤（例如步骤S312、S33、S34、S36和S37）可以不断重复循环持续运行，以持续监控扶梯900的维修操作人员980的活动状态。

需要说明的是，本文公开和描绘的元件（包括附图中的流程图和方块图）意指元件之间的逻辑边界。然而，根据软件或硬件工程实践，描绘的元件及其功能可通过计算机可执行介质在机器上执行，计算机可执行介质具有能够执行存储在其上的程序指令的处理器，所述程序指令作为单片软件结构、作为独立软件模块或作为使用外部程序、代码、服务等的模块，或这些的任何组合，且全部这些执行方案可落入本公开的范围内。

虽然不同非限制性实施方案具有特定说明的组件，但本发明的实施方案不限于这些特定组合。可能使用来自任何非限制性实施方案的组件或特征中的一些与来自任何其它非限制性实施方案的特征或组件组合。

虽然示出、公开和要求了特定步骤顺序，但应了解步骤可以任何次序实施、分离或组合，除非另外指明，且仍将受益于本公开。前述描述是示例性的而非定义成受限于其内。本文公开了各种非限制性实施方案，然而，本领域的一般技术人员将意识到根据上述教示，各种修改和变更将落入附属权利要求的范围内。因此，将了解在附属权利要求的范围内，可实行除了特定公开之外的公开内容。由于这个原因，应研读附属权利要求来确定真实范围和内容。

Claims (40)

1.一种乘客运输机的梯级滚轮监测系统，其特征在于，包括：

成像传感器和/或深度感测传感器，用于对所述乘客运输机的至少部分所述梯级滚轮进行感测以获取数据帧；以及

处理装置，用于对所述数据帧进行分析处理以监测运行的所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置是否处于正常状态，其中，所述正常状态是指所述梯级滚轮的运动和/或位置在预定轨迹图案中；

其中，所述处理装置被配置为包括：

目标对象检测器，用于从所述数据帧中检测出关于梯级滚轮的目标对象；

位置特征提取模块，用于基于已检测出的所述目标对象提取位置特征；

轨迹生成模块，用于根据多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成关于该目标对象的运动轨迹；

状态判断模块，用于判断所述运动轨迹是否处于所述预定轨迹图案中，并在判断为“是”的情况下确定所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态。

2.如权利要求1所述的梯级滚轮监测系统，其特征在于，所述状态判断模块还被配置为：基于所述位置特征判断所述目标对象是否处于所述预定轨迹图案中，并在判断为“是”的情况下确定所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态。

3.如权利要求1所述的梯级滚轮监测系统，其特征在于，所述轨迹生成模块还被配置为：使用过滤技术跟踪多幅连续的数据帧中由所述目标对象检测器检测出的同一所述目标对象，并应用所述位置特征提取模块从所述多幅连续的数据帧分别提取得到的该同一所述目标对象的位置特征生成关于该目标对象的运动轨迹。

4.如权利要求3所述的梯级滚轮监测系统，其特征在于，所述过滤技术为卡尔曼过滤或粒子过滤。

5.如权利要求1或3所述的梯级滚轮监测系统，其特征在于，所述轨迹生成模块还用于根据在所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态下感测的多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成所述预定轨迹图案。

6.如权利要求1所述的梯级滚轮监测系统，其特征在于，所述处理装置被配置为还包括：

目标对象训练模块，用于根据在所述梯级滚轮的运动处于正常状态下感测的至少一幅数据帧中的被人工标识出来的梯级滚轮、进行学习训练以开发出关于梯级滚轮的目标对象模型；

并且，其中所述目标对象检测器基于所述目标对象模型从所述数据帧中检测出关于梯级滚轮的目标对象。

7.如权利要求1或6所述的梯级滚轮监测系统，其特征在于，所述处理装置被配置为还包括：

预定轨迹图案生成模块，用于基于在所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态下感测的多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成所述预定轨迹图案。

8.如权利要求1所述的梯级滚轮监测系统，其特征在于，所述成像传感器/深度感测传感器包括朝向所述乘客运输机的梯级的侧面安装的一个或多个成像传感器/深度感测传感器。

9.如权利要求8所述的梯级滚轮监测系统，其特征在于，朝向所述乘客运输机的梯级的侧面安装的深度感测传感器被安装在所述乘客运输机的内部。

10.如权利要求8所述的梯级滚轮监测系统，其特征在于，朝向所述乘客运输机的梯级的侧面安装的成像传感器被安装在所述乘客运输机的内部，并且，在所述乘客运输机的内部安装照明部件。

11.如权利要求1所述的梯级滚轮监测系统，其特征在于，所述梯级滚轮监测系统还包括警报单元，所述处理装置在确定所述梯级滚轮的运动处于非正常状态时触发所述警报单元工作，其中，所述非正常状态是指所述梯级滚轮的运动和/或位置未在预定轨迹图案。

12.如权利要求1所述的梯级滚轮监测系统，其特征在于，所述处理装置还被配置为，在确定所述梯级滚轮的运动处于非正常状态时触发输出信号使能所述乘客运输机的制动部件工作。

13.一种乘客运输机的梯级滚轮监测方法，其特征在于，包括步骤：

通过成像传感器和/或深度感测传感器对所述乘客运输机的至少部分所述梯级滚轮进行感测以获取数据帧；以及

对所述数据帧进行分析处理以监测运行的所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置是否处于正常状态；

其中，所述正常状态是指所述梯级滚轮的运动和/或位置在预定轨迹图案中；

其中，分析处理步骤包括：

从所述数据帧中检测出关于梯级滚轮的目标对象；

基于已检测出的所述目标对象提取位置特征；

根据多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成关于该目标对象的运动轨迹；

判断所述运动轨迹是否处于所述预定轨迹图案中，并在判断为“是”的情况下确定所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态。

14.如权利要求13所述的梯级滚轮监测方法，其特征在于，在判断步骤中，还基于所述位置特征判断所述目标对象是否处于所述预定轨迹图案中，并在判断为“是”的情况下确定所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态。

15.如权利要求13所述的梯级滚轮监测方法，其特征在于，在生成运动轨迹的步骤中，使用过滤技术跟踪多幅连续的数据帧中由目标对象检测器检测出的同一所述目标对象，并应用位置特征提取模块从所述多幅连续的数据帧分别提取得到的该同一所述目标对象的位置特征生成关于该目标对象的运动轨迹。

16.如权利要求15所述的梯级滚轮监测方法，其特征在于，所述过滤技术为卡尔曼过滤或粒子过滤。

17.如权利要求13或15所述的梯级滚轮监测方法，其特征在于，在生成运动轨迹的步骤中，根据在所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态下感测的多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成所述预定轨迹图案。

18.如权利要求13所述的梯级滚轮监测方法，其特征在于，所述分析处理步骤还包括：

根据在所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于正常状态下感测的至少一幅数据帧中的被人工标识出来的梯级滚轮、进行学习训练以开发出关于梯级滚轮的目标对象模型；

在检测目标对象的步骤中，基于所述目标对象模型从所述数据帧中检测出关于梯级滚轮的目标对象。

19.如权利要求13或18所述的梯级滚轮监测方法，其特征在于，所述分析处理步骤还包括：

基于在所述梯级滚轮的运动处于正常状态下感测的多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成所述预定轨迹图案。

20.如权利要求13或14所述的梯级滚轮监测方法，其特征在于，所述分析处理步骤还包括：

在确定所述梯级滚轮的运动处于非正常状态时触发警报单元工作，其中，所述非正常状态是指所述梯级滚轮的运动和/或位置未在预定轨迹图案中。

21.如权利要求13或14所述的梯级滚轮监测方法，其特征在于，所述分析处理步骤还包括：

在确定所述梯级滚轮的运动和/或静止的所述梯级滚轮的位置处于非正常状态时触发输出信号使能所述乘客运输机的制动部件工作。

22.一种用于监测乘客运输机的维修操作人员的行动的监测系统，其特征在于，包括：

成像传感器和/或深度感测传感器，用于对所述维修操作人员进行感测以获取数据帧；以及

处理装置，用于对所述数据帧进行分析处理以监测运行的所述维修操作人员的活动和/位置是否处于正常状态，其中，所述正常状态是指所述维修操作人员的活动和/位置在一个或多个预定轨迹图案中，所述一个或多个预定轨迹图案是基于在所述维修操作人员的活动和/或位置处于正常状态下感测的多幅连续的所述数据帧对应获得的目标对象的位置特征生成的；

其中，所述处理装置被配置为包括：

目标对象检测器，用于从所述数据帧中检测出关于维修操作人员的目标对象；

位置特征提取模块，用于基于已检测出的所述目标对象提取位置特征；

轨迹生成模块，用于根据多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成关于该目标对象的活动轨迹；

状态判断模块，用于判断所述活动轨迹是否处于所述一个或多个预定轨迹图案中，并在判断为“是”的情况下确定所述维修操作人员的活动处于正常状态。

23.如权利要求22所述的系统，其特征在于，所述处理装置被配置为还包括：预定轨迹图案生成模块，用于基于在所述维修操作人员的活动和/或位置处于正常状态下感测的多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成所述一个或多个预定轨迹图案。

24.如权利要求22所述的系统，其特征在于，所述状态判断模块还被配置为：基于所述位置特征判断所述目标对象是否处于所述预定轨迹图案中，并在判断为“是”的情况下确定所述维修操作人员的活动和/位置处于正常状态。

25.如权利要求22所述的系统，其特征在于，所述轨迹生成模块还被配置为：使用过滤技术跟踪多幅连续的数据帧中由所述目标对象检测器检测出的同一所述目标对象，并应用所述位置特征提取模块从所述多幅连续的数据帧分别提取得到的该同一所述目标对象的位置特征生成关于该目标对象的活动轨迹。

26.如权利要求25所述的系统，其特征在于，所述过滤技术为卡尔曼过滤或粒子过滤。

27.如权利要求23或25所述的系统，其特征在于，所述轨迹生成模块还用于对所述目标对象的活动轨迹进行识别和/或分类。

28.如权利要求22所述的系统，其特征在于，所述处理装置被配置为还包括：

目标对象训练模块，用于根据在所述维修操作人员的活动和/或位置处于正常状态下感测的至少一幅数据帧中的被人工标识出来的维修操作人员、进行学习训练以开发出关于维修操作人员的目标对象模型；

并且，其中所述目标对象检测器基于所述目标对象模型从所述数据帧中检测出关于维修操作人员的目标对象。

29.如权利要求22所述的系统，其特征在于，所述监测系统还包括警报单元，所述处理装置在确定所述维修操作人员的活动和/或位置处于非正常状态时触发所述警报单元工作，其中，所述非正常状态是指所述维修操作人员的活动和/或位置未在一个或多个预定轨迹图案中。

30.如权利要求22所述的系统，其特征在于，所述处理装置还被配置为，在确定所述维修操作人员的活动和/或位置处于非正常状态时输出提示信号至监控中心。

31.一种用对乘客运输机的维修操作人员的行动进行监测的方法，其特征在于，包括步骤：

通过成像传感器和/或深度感测传感器对所述维修操作人员进行感测以获取数据帧；以及

对所述数据帧进行分析处理以监测运行的所述维修操作人员的活动和/或位置是否处于正常状态；所述正常状态是指所述维修操作人员的活动和/或位置在一个或多个预定轨迹图案中，所述一个或多个预定轨迹图案是基于在所述维修操作人员的活动和/或位置处于正常状态下感测的多幅连续的所述数据帧对应获得的目标对象的位置特征生成的，其中，分析处理步骤包括：

从所述数据帧中检测出关于维修操作人员的目标对象；

基于已检测出的所述目标对象提取位置特征；

根据多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成关于该目标对象的活动轨迹；

判断所述活动轨迹是否处于所述一个或多个预定轨迹图案中，并在判断为“是”的情况下确定所述维修操作人员的活动和/或位置处于正常状态。

32.如权利要求31所述的方法，其特征在于，在判断步骤中，基于所述位置特征判断所述目标对象是否处于所述预定轨迹图案中，并在判断为“是”的情况下确定所述维修操作人员的活动和/位置处于正常状态。

33.如权利要求32所述的方法，其特征在于，在生成活动轨迹的步骤中，使用过滤技术跟踪多幅连续的数据帧中由目标对象检测器检测出的同一所述目标对象，并应用位置特征提取模块从所述多幅连续的数据帧分别提取得到的该同一所述目标对象的位置特征生成关于该目标对象的活动轨迹。

34.如权利要求33所述的方法，其特征在于，所述过滤技术为卡尔曼过滤或粒子过滤。

35.如权利要求31或33所述的方法，其特征在于，在生成活动轨迹的步骤中，根据在所述维修操作人员的活动和/或位置处于正常状态下感测的多幅连续的所述数据帧对应获得的所述目标对象的位置特征生成所述一个或多个预定轨迹图案。

36.如权利要求31或33所述的方法，其特征在于，在生成活动轨迹的步骤中，对所述目标对象的活动轨迹进行识别和/或分类。

37.如权利要求31所述的方法，其特征在于，所述分析处理步骤还包括：

根据在所述维修操作人员的活动和/或位置处于正常状态下感测的至少一幅数据帧中的被人工标识出来的维修操作人员、进行学习训练以开发出关于维修操作人员的目标对象模型；

在检测目标对象的步骤中，基于所述目标对象模型从所述数据帧中检测出关于维修操作人员的目标对象。

38.如权利要求31或32所述的方法，其特征在于，所述分析处理步骤还包括：

在确定所述维修操作人员的活动和/或位置处于非正常状态时触发警报单元工作，其中，所述非正常状态是指所述维修操作人员未在一个或多个预定轨迹图案中活动。

39.如权利要求31或32所述的方法，其特征在于，所述分析处理步骤还包括：

在确定所述维修操作人员的和/或位置处于非正常状态时输出提示信号至监控中心。

40.一种乘客运输系统，包括乘客运输机和如权利要求1至12、22至30中任一项所述的监测系统。

Images