CN107662872B - 乘客运输机的监测系统及其监测方法 - Google Patents

Abstract

本发明提供一种乘客运输机的监测系统及其监测方法，属于乘客运输机技术领域。本发明的监测系统和检测方法中，使用成像传感器和/或深度感测传感器对所述乘客运输机的被监测对象进行感测以获取数据帧，所述数据帧通过处理装置进行分析处理以监测所述被监测对象是否处于正常状态。所述被监测对象可以包括着陆板、梯级、在维护检修工况下使用的安全护栏和/或梯级的速度等。

Description

乘客运输机的监测系统及其监测方法

技术领域

本发明属于乘客运输机技术领域，涉及乘客运输机的自动监测。

背景技术

乘客运输机（例如扶梯或自动人行道）在地铁、商场、机场等公共场所中应用越来越广泛，其运行的安全性愈发重要。

乘客运输机在运行的过程中，可能会发生反转运行、速度异常、梯级（Step）缺失、着陆板（Landing Plate）移动或缺失等异常，从而引发较大的安全性事故；或者在乘客运输机的检修操作过程中，由于不规范操作而未置放安全护栏（Barrier）、同时乘客运输机在检修运行状态，此时乘客进入乘客运输机也非常容易引发较大的安全性事故。

发明内容

按照本发明的一方面，提供一种乘客运输机的监测系统，包括：成像传感器和/或深度感测传感器，用于对所述乘客运输机的被监测对象进行感测以获取数据帧；

处理装置，用于对所述数据帧进行分析处理以监测所述被监测对象是否处于正常状态，其被配置为包括：

背景获取模块，用于基于在所述被监测对象处于正常状态或非正常状态下感测的数据帧获取背景模型；

前景检测模块，用于将实时感测的数据帧与所述背景模型进行比对处理以获得前景对象；以及

工况判断模块，用于至少基于所述前景对象进行数据处理以判断所述被监测对象是否处于正常状态。

按照本发明的又一方面，提供一种乘客运输机的监测方法，包括步骤：

对所述乘客运输机的被监测对象进行感测以获取数据帧；

基于在所述被监测对象处于正常状态或非正常状态下感测的数据帧预先地获取背景模型；

将实时感测的数据帧与所述背景模型进行比对处理以获得前景对象；以及

至少基于所述前景对象进行数据处理以判断所述被监测对象是否处于正常状态。

按照本发明的还一方面，提供一种乘客运输系统，包括乘客运输机和以上所述及的监测系统。

根据以下描述和附图本发明的以上特征和操作将变得更加显而易见。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。

图1是按照本发明第一实施例的乘客运输机的监测系统的结构示意图。

图2是按照本发明第一实施例的乘客运输机的监测方法的流程示意图。

图3是按照本发明第二实施例的乘客运输机的监测系统的结构示意图。

图4是按照本发明第二实施例的乘客运输机的监测方法的流程示意图。

图5是按照本发明第三实施例的乘客运输机的监测系统的结构示意图。

图6是按照本发明第三实施例的乘客运输机的监测方法的流程示意图。

图7是按照本发明第四实施例的乘客运输机的监测系统的结构示意图。

图8是按照本发明第四实施例的乘客运输机的监测方法的流程示意图。

图9是按照本发明第五实施例的乘客运输机的监测方法的流程示意图。

具体实施方式

现在将参照附图更加完全地描述本发明，附图中示出了本发明的示例性实施例。但是，本发明可按照很多不同的形式实现，并且不应该被理解为限制于这里阐述的实施例。相反，提供这些实施例使得本公开变得彻底和完整，并将本发明的构思完全传递给本领域技术人员。附图中，相同的标号指代相同的元件或部件，因此，将省略对它们的描述。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同处理装置和/或微控制器装置中实现这些功能实体。

在本发明中，乘客运输机包括自动扶梯（Escalator）和自动人行道（MovingWalkways）。以下图示实施例中，以自动扶梯为示例对本发明实施例的监测系统和监测方法进行详细说明，但是，应当理解到，以下实施例的针对自动扶梯的监测系统和监测方法同样可以类推地应用到自动人行道中，其可能需要发生的例如适用性的改进是本领域技术人员在本发明实施例的教导下能够获知的。

需要说明的是，在本发明中，乘客运输机的被监测对象处于“正常状态”是指被监测对象至少不会为乘客带来安全隐患的工况状态，相反地，“非正常状态”是指被监测对象至少可能会为乘客带来安全隐患的工况状态，例如，不符合相关标准或规定的工况状态。本领域技术人员可以根据具体的应用环境、具体的被监测对象等来事先定义“正常状态”和“非正常状态”。

图1所示为按照本发明第一实施例的乘客运输机的监测系统的结构示意图。图1所示实施例的监测系统可以用来检测乘客运输机在日常运行工况（包括有乘客的运行工况和无乘客的空载运行工况）下的扶梯900的着陆板（Landing Plate）903的状态是否正常，例如是否发生移位或缺失，其中着陆板903通常固定在扶梯900的第一端的出入口区域901和第二端的出入口区域902。如果着陆板903发生移位或缺失，乘客容易被卷入扶梯900中而发生严重安全事故。

图1所示实施例的监测系统具体地包括感测装置310与感测装置310耦接的处理装置100，扶梯900包括乘客运输机控制910、诸如电机的驱动部件920以及警报单元930。

感测装置310具体为成像传感器（imaging sensor）或者深度感测传感器（depthsensing sensor），或者为它们的组合。根据具体需要和传感器所能够监测的区域范围大小，可以在扶梯900上设置一个或多个感测装置310，例如，310₁至310_n，N为大于或等于1的整数。感测装置310以相对能清楚、准确获取扶梯900的被监测对象为准进行安装，其具体安装方式和安装位置不是限制性的。在该实施例中，感测装置310为两个，其分别被对应设置在扶梯900的两端的出入口区域（901和902）的大致上方，从而可以分别感测出入区域（901和902）的着陆板903。应当理解，为准确感测着陆板903，可以根据具体应用环境选择相应类型的成像传感器或者深度感测传感器，甚至还可以出入区域（901和902）的上方配置相应的照明灯具等。

感测装置310可以是各种类型的2D图像传感器的成像传感器，应当理解，任何能够拍摄获取包括像素亮度信息的图像帧的图像传感器都可以在此应用，当然，能够拍摄获取包括像素亮度信息和色彩信息（例如RGB信息）的图像帧的图像传感器也可以在此应用。

感测装置310可以是针对任何1D、2D、3D深度传感器或其组合。这种传感器可在能够产生对应尺寸的深度图（还已知为点云或占据栅格）的光学、电磁或声谱下操作。各种深度感测传感器技术和装置包括但不限于结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、回声定位设备、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列 (FPA)或包括前述中至少一个的组合。不同技术可包括主动（传输和接收信号）或被动（仅接收信号）且可在电磁或声谱（诸如视觉、红外线等）带下操作。使用深度感测可具有超越常规2D成像的特定优点，使用红外线感测可具有超越可见光谱成像的特定益处，替代或此外，使得传感器可以是具有一个或多个像素空间分辨率的红外线传感器，例如被动红外线(PIR)传感器或小型IR焦平面阵列(FPA)。

应注意，2D成像传感器（例如常规监视相机）与1D、2D或3D深度感测传感器之间在深度感测提供许多优点的程度上会存在性质上和数量上的差异。在2D成像中，在从成像器的每个径向方向上的来自第一个对象的反射色彩（波长的混合物）被捕获。接着，2D图像可包括源照明和场景中对象的光谱反射系数的组合光谱。2D图像可由人员大致地解译成图片。在1D、2D或3D深度感测传感器中，不存在色彩（光谱）信息；更确切地说，在从传感器的径向方向（1D）或方向（2D、 3D）上到第一反射对象的距离（深度、范围）被捕获。1D、2D和3D技术可具有固有最大可检测范围极限且可具有相对低于典型2D成像器的空间分辨率。在对环境照明问题的相对免疫方面，与常规2D成像比较，使用1D、2D或3D深度感测可有利地提供改进型操作、对遮蔽对象的较好分离和较好的私密保护。使用红外线感测可具有超过可见光谱成像的特定益处。举例来说，2D图像会无法被转变成深度图且深度图也无法具有被转变成2D图像（例如，至连续深度的人为分配连续色彩或亮度会使人略微类似于人员如何见到2D图像来粗略地解译深度图，其并非常规意义上的图像。）的能力。

在感测装置310具体为成像传感器和深度感测传感器的组合时，感测装置310可以为RGB-D传感器，其可以同时获取RGB信息和深度（D）信息。

感测装置310对扶梯900的着陆板903进行感测并实时地获得多个数据帧，即序列帧；如果是采用成像传感器感测获取，序列帧为多个图像帧，其中的每个像素具有例如相应的亮度信息和色彩信息；如果是采用深度感测传感器感测获取，序列帧为多个深度图，其中的每个像素或占据栅格也具有对应深度尺寸（反映深度信息）。

如果需要全时段地对着陆板903进行监测，不管在有乘客的运行工况和无乘客的空载运行工况，多个感测装置310₁至310_n均同时工作获取相应的序列帧，每幅帧被传输至处理装置100，处理装置100负责用于对每幅帧进行分析处理，并最终获得扶梯900的着陆板903是否处于正常状态的信息，例如确定是否发生移位或缺失。

具体地，处理装置100被配置为包括背景获取模块110和前景检测模块120。其中，背景获取模块110得到以扶梯900空载（即不存在乘客时）正常运行工况下的一幅或多幅2D图像或3D深度图并基于它们计算出背景；因此，背景获取模块110基于在扶梯900确定空载正常状态下获取的序列帧来学习获取背景模型，背景模型的建立可以在监测系统初始化的阶段进行，也即，在对日常运行工况的着陆板监测之前对其进行初始化以获得背景模型。背景模型的学习建立具有可以但不限于采用诸如高斯混合模型（Gaussian Mixture Model）、码书模型（Code Book Model）或者鲁棒主成分分析（Robust Principle ComponentsAnalysis, RPCA）等；其中，对于基于成像传感器获取的图像帧学习得到背景模型，其是典型的亮度背景模型或者色度背景模型；对于深度感测传感器获取的帧学习得到背景模型，其是典型的深度背景模型。

需要理解地是，在其后的着陆板的监测阶段中，背景模型可以自适应地更新。对于应用场景、传感器类型或设置发生变化时，可以在初始阶段重新学习获取相应的背景模型。

前景检测模块120用于将实时获取的数据帧与背景模型进行比对处理以获得前景对象；该前景对象在多数情况下对应为乘客及其携带的物品等，当然，如果着陆板903发生移位或缺失，其相应的数据帧部分与背景模型的相应部分进行比对处理，获得的前景也包括反映着陆板903发生移位或缺失的特征。具体地，在比对处理过程中，对于使用成像传感器的情形，数据帧为2D图像，背景模型也是基于2D图像形成，比对处理过程具体可以为差分处理，例如，对于2D图像的某一像素点，其与背景模型对应的像素点进行比对求差值（例如亮度的差值），在该差值大于预定值时作保留处理，因此，可以获得前景对象；对于使用深度感测传感器的情形，数据帧为深度图，背景模型也是基于3D深度图形成，例如，对于深度图的某一占据栅格，其可以与背景模型对应的占据栅格进行比对（例如求出深度的差值），在该差值大于预定值时该占据栅格的深度信息作保留处理（表示该占据栅格是），因此，可以获得前景对象。

在一实施例中，前景检测模块120可以运用一些过滤技术去除前景对象的噪音，例如，采用腐蚀（erosion）和膨胀图像处理（dilation image processing）技术去除噪音，以更准确地获得前景对象。需要说明的是，所述过滤可以包括关于空间的、时间的或时空内核的卷积等。

以上比对处理为差分处理时，需要说明的是，当前深度图与背景模型的差分处理包括在当前深度图与背景模型的特征（例如集群特征的形心、分离的超平面等）之间计算差别或距离，其中距离可以通过Minkowski-p距离测量、非中心的皮尔森相关（UncenteredPearson Correlation）方法等方法计算。

在一实施例中，处理装置100还包括前景特征提取模块130，前景特征提取模块130从前景对象提取相应的前景特征，为监测扶梯900的着陆板，提取的前景特征包括前景对象的形状和尺寸等特征，甚至还包括颜色和/或位置等特征。以成像传感器获取的数据帧为例，颜色特征通过前景对象的各个像素的色度体现，形状、尺寸和位置特征通过前景对象中的像素的亮度值变化体现出来；以深度感测传感器获取的数据帧为例，形状、尺寸和位置特征通过前景对象中的占据栅格的深度值变化体现出来。

需要说明的是，对于位置特征，如果数据帧是通过深度感测传感器获取，前景特征提取模块130提取的位置特征为3D位置特征。

需要说明的是，在该实施例或以下实施例中，提取的特征（描述符）可以是形状特征或其他特征，形状特征可以是诸如方向梯度的直方图（HoG）、泽尼克矩（Zernikemoment）、形心相对边界点分布不变（Centroid Invariance to boundary pointdistribution）、轮廓曲率（Contour Curvature）等；前景特征提取模块可以提取其他特征对形状（或形态）的匹配或过滤提供额外信息，例如，其他特征可以包括但不限于, 尺度不变特征转换（Scale Invariant Feature Transform, SIFT）、加速鲁棒特征（Speed-UpRobust Feature，SURF）算法, 仿射尺度不变特征变换（Affine Scale Invariant FeatureTransform，ASIFT)、其它SIFT变量、哈里斯角点检测（Harris Corner Detector）、 最小同值分割吸收核（Smallest Univalue Segment Assimilating Nucleus，SUSAN）算法、FAST(Features from Accelerated Segment Test)角点检测、相位相关（Phase Correlation）、归一化互相关（Normalized Cross-Correlation）、 渐变位置方向直方图（GradientLocation Orientation Histogram，GLOH) 算法、 二元鲁棒独立基本特征（Binary RobustIndependent Elementary Features，BRIEF)算法、环绕中心极值（Center SurroundExtremas (CenSure/STAR)）算法、 面向的和旋转的BRIEF（Oriented and Rotated BRIEF，ORB) 算法等特征。甚至前景特征提取模块提取的还包括颜色、颜色直方图、边缘直方图等。

进一步地，处理装置100还包括着陆板工况判断模块140，工况判断模块140基于前景特征判断着陆板903是否处于正常状态。具体地，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、尺寸和位置特征与背景模型中的关于着陆板的形状、尺寸和位置特征进行比较，判断着陆板是否移位或缺失；或者基于前景对象的形状、尺寸、位置和颜色特征分别与背景模型中的关于着陆板的形状、尺寸、位置和颜色特征进行比较，判断着陆板是否缺失或移位。需要说明的是，背景模型中的关于着陆板的形状、尺寸和色彩的特征信息可以在背景获取模块110中实现；如果前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于着陆板903的特征信息比较，可以判断出该前景特征与着陆板903不相关，着陆板工况判断模块140可以容易地判断着陆板903处于正常状态。

在该实施例或其他实施例中，着陆板工况判断模块使用的特征可以被比较或被分类为某一形状，其中，使用诸如以下技术的一个或多个：集群、深层学习（Deep Learning）、卷积神经网络（Convolutional Neural Networks）、递归神经网络（Recursive NeuralNetworks）、 字典学习（Dictionary Learning）、视觉词袋（Bag of visual words）、支持向量机（Support Vector Machine，SVM）、 决策树（Decision Trees）、模糊逻辑（FuzzyLogic）等。

需要说明的是，在该实施例或其他实施例中，比较过程中确定特征之间的差别可以通过以下方法的一种或多种完成：贝叶斯推理(Bayesian inference)、马尔可夫模型技术（Markov Model techniques）、隐马尔科夫模型（Hidden Markov Models，HMM）、马尔科夫决策过程（Markov Decision Processes，MDP）、部分可观测MPD（Partially ObservableMDPs）、马尔科夫决策逻辑（Markov Decision Logic）、概率规划（ProbabilisticProgramming）、深层学习（Deep Learning）、神经网络（Neural Networks）、卷积神经网络（Convolutional Neural Networks）、递归神经网络（Recursive Neural Networks）、字典学习（Dictionary Learning）、视觉词袋（Bag of visual words）、支持向量机（SupportVector Machine，SVM）、决策树（Decision Trees）、模糊逻辑（Fuzzy Logic）等。

以2D图像处理中着陆板缺失为例，获取的前景对象将包括着陆板903敞开后的对象的2D图像，基于该对象的2D图像，该对象的位置、尺寸和形状等特征也被提取，进而与背景模型进行比较，例如，比较相同位置对应的形状、尺寸等特征，可以判断出某一位置缺少着陆板，从而直接判断其为缺失。

以深度图处理中着陆板缺失为例，获取的前景对象将包括着陆板位置敞开后的对象的深度图，基于该对象的深度图，该对象的位置、尺寸和3D形状等特征也被提取，进而与背景模型进行比较，例如比例相同位置对应的尺寸和3D形状等特征，可以判断出某一位置缺少着陆板，从而直接判断其为缺失。

需要说明的是，处理装置100的着陆板工况判断模块140中，如果从获取的前景对象的形状和尺寸等特征判断其为乘客或乘客携带的物品，并且，从获取的前景对象的位置特征判断该乘客或乘客携带的物品处于着陆板903上，考虑到此时着陆板903（未被乘客或乘客携带的物品遮挡的部分）的图像或深度图可能相对模糊，并且，基于该未被遮挡部分着陆板903对应的前景对象（如果发生了移位或缺失）的特征提取相对困难，着陆板工况判断模块140可以放弃当前这个数据帧的判断或放弃该判断结果，进入下一数据帧的数据处理，直到从获取的前景对象的位置特征判断该乘客或乘客携带的物品未处于着陆板903上，以该数据帧的判断结果作为着陆板903的监测结果。以被感测的是乘客为例，乘客会被作为前景对象获取，同时，相应的特征也被提取，着陆板工况判断模块140可以基于DPM技术和提取的相应特征判断出该前景对象为乘客。

需要理解的是，在又一实施例中，如果被监测的扶梯处于空载正常状态，此时感测装置310获取的数据帧实际上与用于计算得到背景模型的数据帧基本相同（如果着陆板903未发生移位或缺失），这样在前景检测模块120中将基本没有前景对象（例如仅存在噪音信息），此时，着陆板工况判断模块140可以直接确定所述被监测对象处于正常状态，而不需要基于前景特征提取模块130提取的前景特征进行判断。

进一步地，着陆板工况判断模块140可以被配置为，基于连续多幅相邻的数据帧的判断结果为着陆板903处于同一非正常状态（例如缺失）时，着陆板工况判断模块140才确定当前着陆板903处于该非正常状态，这样，有利于提高判断的准确性。

需要说明的是，相邻帧是被定义为在临时序列上的任何两幅帧，而不必须限于立即相继的帧。在相邻帧中的对象的速度的确定可以基于帧的时间戳（timestamp）或者基于平均帧时间以及相邻帧之间的相继帧的数量计数。

以上实施例的处理装置100中的着陆板工况判断模块140确定被监测的着陆板903处于非正常状态时（例如着陆板缺失或移位），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，控制器910进一步发送信号至驱动部件920降低梯级运行速度，或者发送信号至制动部件（图中未示出）进行制动处理，处理装置100还可以发送信号至安装在扶梯900上方的警报单元930，提醒乘客注意安全，例如播报“着陆板移动，不要踩踏着陆板”等消息。当然，处理装置100还可以发送信号至楼宇的电梯维护中心等，提示及时进行现场处理。发现扶梯900的着陆板903处于不正常状态时所具体采取的措施不是限制性的。

以上图1所示实施例的监测系统可以实现对扶梯900的着陆板903进行实时地自动进行状态监测，监测准确而且能够及时发现着陆板异常状况，有利于及时避免安全事故发生。

以下图2示例说明基于图1所示的实施例的监测系统进行着陆板监测的方法流程，结合图1和图2进一步说明本发明实施例的监测系统的工作原理。

首先，步骤S11，通过成像传感器和/或深度感测传感器对乘客输送机的着陆板进行感测以获取数据帧。在学习获取背景模型时，数据帧是在空载正常状态（扶梯900上没有乘客且着陆板903完全正常）下感测获取；在其他情形，该数据帧是日常运行工况下随时获取，例如可以每秒钟获取30幅数据帧，每隔预定时间地或连续地获取5秒钟时段内的序列帧供后续分析处理。

进一步，步骤S12，基于在空载正常状态下感测的数据帧获取背景模型。该步骤在背景获取模块110中完成，其可以在系统的初始化阶段实现。如果同时采用成像传感器和深度感测传感器，基于成像传感器和深度感测传感器分别获取的数据帧，分别学习获取得到背景模型。

进一步，步骤S13，将实时感测的数据帧与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块120中完成，并且，该前景对象可以发送至着陆板工况判断模块140进行分析处理。

进一步，步骤S14，从前景对象提取相应的前景特征。该步骤在前景特征提取模块130中完成，提取的前景特征包括前景对象的形状和尺寸，甚至还包括颜色和/或位置等信息。以成像传感器获取的数据帧为例，颜色信息通过前景对象的各个像素的色度体现，形状、尺寸和位置信息通过前景对象中的像素的亮度值变化体现出来；以深度感测传感器获取的数据帧为例，形状、尺寸和位置信息通过前景对象中的占据栅格的深度值变化体现出来。

进一步，步骤S15，判断着陆板是否处于正常状态，如果判断为“否”，则表示当前着陆板903处于非正常状态，则进入步骤S16，触发报警和扶梯制动操作。该步骤S15和步骤S16在着陆板工况判断模块中完成。具体地，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、尺寸和位置特征与背景模型中的关于着陆板的形状、尺寸和位置特征进行比较，判断着陆板是否移位或缺失；或者基于前景对象的形状、尺寸、位置和颜色特征分别与背景模型中的关于着陆板的形状、尺寸、位置和颜色特征进行比较，判断着陆板是否缺失或移位。需要说明的是，背景模型中的关于着陆板的形状、尺寸和色彩的特征信息可以在背景获取模块110中实现；如果前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于着陆板903的特征信息比较，可以判断出该前景特征与着陆板903不相关，着陆板工况判断模块140可以容易地判断着陆板903处于正常状态。

在判断过程中，如果从获取的前景对象的形状和尺寸等特征判断其为乘客或乘客携带的物品，并且，从获取的前景对象的位置特征判断该乘客或乘客携带的物品处于着陆板903上，在一实施例中，在该步骤S15中，考虑到此时着陆板903（未被乘客或乘客携带的物品遮挡的部分）的图像或深度图可能相对模糊，并且，基于该未被遮挡部分着陆板903对应的前景对象（如果发生了移位或缺失）的特征提取相对困难，着陆板工况判断模块140可以放弃当前这个数据帧的判断或放弃该判断结果，进入下一数据帧的数据处理，直到从获取的前景对象的位置特征判断该乘客或乘客携带的物品未处于着陆板903上，以该数据帧的判断结果作为着陆板903的监测结果。

在又一实施例中，如果被监测的扶梯处于空载正常状态，此时感测装置310获取的数据帧实际上与用于计算得到背景模型的数据帧基本相同（如果着陆板903未发生移位或缺失），这样在前景检测模块120中将基本没有前景对象（例如仅存在噪音信息），此时，在该步骤S15中，着陆板工况判断模块140可以直接确定所述被监测对象处于正常状态，而不需要基于前景特征提取模块130提取的前景特征进行判断。

步骤S15中，可以在连续多幅连续的数据帧的判断结果为“否”时，才进入步骤S16，这样，有利于提高判断的准确性，防止误操作。

至此，以上实施例的日常运行工况下的着陆板监测过程基本结束，该过程可以不但重复循环持续运行，以持续监控扶梯900的着陆板。需要说明的是，如果同时采用成像传感器和深度感测传感器，它们将分别获取各自的数据帧，以上步骤S12至S15是分别针对各自的数据帧分别进行处理的，并且在成像传感器和深度感测传感器任一对应的数据帧在步骤S15被判断为“否”时，则进入步骤S16。这样，可以避免成像传感器和深度感测传感器中的任意一个在进行监测时的缺点，保证及时可靠地发现着陆板处于非正常状态。

图3所示为按照本发明第二实施例的乘客运输机的监测系统的结构示意图。图3所示实施例的监测系统可以用来监测在日常运行工况（包括有乘客的运行工况和无乘客的空载运行工况）下的扶梯900的梯级（Step）904的状态是否正常，例如是否发生梯级缺失。如果梯级904发生梯级缺失当人有乘客在乘坐扶梯900，非常容易引发严重安全事故，这是需要完全避免的。

图3所示实施例的监测系统具体地包括感测装置310与感测装置310耦接的处理装置200，扶梯900包括乘客运输机控制910、诸如电机的驱动部件920以及警报单元930。

感测装置310具体为成像传感器（imaging sensor）或者深度感测传感器（depthsensing sensor），或者为它们的组合。根据具体需要和传感器所能够监测的区域范围大小，可以在扶梯900上设置一个或多个感测装置310，例如，310₁至310_n，N为大于或等于1的整数。感测装置310以相对能清楚、准确获取扶梯900的被监测对象为准进行安装，其具体安装方式和安装位置不是限制性的。在该实施例中，感测装置310可以为一个或两个，其安装在扶梯900的某一段梯级904的大致正上方。应当理解，为准确感测梯级904，可以根据具体应用环境选择相应类型的成像传感器或者深度感测传感器，甚至还可以在监测的某一段梯级904的上方配置相应的照明灯具等。

感测装置310具体设置与图1所示实例完全相同，在此省略描述。

在感测装置310对扶梯900的梯级904进行感测并实时地获得多个数据帧，即序列帧；如果是采用成像传感器感测获取，序列帧为多个图像帧，其中的每个像素具有例如相应的亮度信息和色彩信息；如果是采用深度感测传感器感测获取，序列帧为多个深度图，其中的每个像素或占据栅格也具有对应深度尺寸（反映深度信息）。

如果需要全时段地对梯级904进行监测，不管在有乘客的运行工况和无乘客的空载运行工况，多个感测装置310₁至310_n均同时工作获取相应的序列帧，每幅帧被传输至处理装置200，处理装置200负责用于对每幅帧进行数据处理，并最终获得扶梯900的梯级904是否处于正常状态的信息，例如确定是否发生梯级缺失。

具体地，处理装置200被配置为包括背景获取模块210和前景检测模块220。其中，背景获取模块210得到以扶梯900空载（即不存在乘客时）正常运行工况下的一幅或多幅2D图像或3D深度图并基于它们计算出背景；因此，背景获取模块210基于在扶梯900确定空载正常状态下获取的序列帧来学习获取背景模型，背景模型的建立可以在监测系统初始化的阶段进行，也即，在对日常运行工况的梯级监测之前对其进行初始化以获得背景模型。背景模型的学习建立具有可以但不限于采用诸如高斯混合模型（Gaussian Mixture Model）、码书模型（Code Book Model）或者鲁棒主成分分析（Robust Principle ComponentsAnalysis, RPCA）等；其中，对于基于成像传感器获取的图像帧学习得到背景模型，其是典型的亮度背景模型或者色度背景模型；对于深度感测传感器获取的帧学习得到背景模型，其是典型的深度背景模型。

需要理解地是，在其后的梯级的监测阶段中，背景模型可以自适应地更新。对于应用场景、传感器类型或设置发生变化时，可以在初始阶段重新学习获取相应的背景模型。

前景检测模块220用于将实时获取的数据帧与背景模型进行比对处理以获得前景对象，例如具体采用差分法获得前景对象，该前景对象在多数情况下对应为乘客及其携带的物品等，当然，如果梯级904发生梯级缺失，其相应的数据帧部分与背景模型的相应部分进行比对处理，获得的前景也包括反映梯级904发生梯级缺失的特征。具体地，在比对处理过程中，对于使用成像传感器的情形，数据帧为2D图像，背景模型也是基于2D图像形成，比对处理过程具体可以为差分处理，例如，对于2D图像的某一像素点，其与背景模型对应的像素点进行比对求差值（例如亮度的差值），在该差值大于预定值时作保留处理，因此，可以获得前景对象；对于使用深度感测传感器的情形，数据帧为深度图，背景模型也是基于3D深度图形成，例如，对于深度图的某一占据栅格，其可以与背景模型对应的占据栅格进行比对（例如求出深度的差值），在该差值大于预定值时该占据栅格的深度信息作保留处理（表示该占据栅格是），因此，可以获得前景对象。

在一实施例中，前景检测模块220可以运用一些过滤技术去除前景对象的噪音，例如，采用腐蚀（erosion）和膨胀图像处理技术去除噪音，以更准确地获得前景对象。

在一实施例中，处理装置200还包括前景特征提取模块230，前景特征提取模块230从前景对象提取相应的前景特征，为监测扶梯900的梯级，提取的前景特征包括前景对象的形状和尺寸，甚至还包括颜色和/或位置等信息。以成像传感器获取的数据帧为例，颜色信息通过前景对象的各个像素的色度体现，形状、尺寸和位置信息通过前景对象中的像素的亮度值变化体现出来；以深度感测传感器获取的数据帧为例，形状、尺寸和位置信息通过前景对象中的占据栅格的深度值变化体现出来。

需要说明的是，对于位置特征，如果数据帧是通过深度感测传感器获取，前景特征提取模块130提取的位置特征为3D位置特征。

进一步地，处理装置200还包括梯级工况判断模块240，工况判断模块240基于前景特征判断梯级904是否处于正常状态。具体地，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、尺寸和位置特征与背景模型中的关于梯级的形状、尺寸和位置特征进行比较，判断梯级是否梯级缺失；或者基于前景对象的形状、尺寸、位置和颜色特征分别与背景模型中的关于梯级的形状、尺寸、位置和颜色特征进行比较，判断梯级是否缺失。需要说明的是，背景模型中的关于梯级的形状、尺寸和色彩的特征信息可以在背景获取模块210中实现；假设前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于梯级904的特征信息比较，可以判断出该前景特征与梯级904不相关，梯级工况判断模块240可以容易地判断梯级904处于正常状态。

以2D图像处理中梯级缺失为例，获取的前景对象将包括梯级904缺失敞开后的对象的2D图像，基于该对象的2D图像，该对象的位置、尺寸和形状等特征也被提取，进而与背景模型进行比较，例如，比较相同位置对应的形状、尺寸等特征，可以判断出某一位置缺少梯级，从而直接判断其为缺失。

以深度图处理中梯级缺失为例，获取的前景对象将包括梯级位置敞开后的对象的深度图，基于该对象的深度图，该对象的位置和3D形状等特征也被提取，进而与背景模型进行比较，例如比例相同位置对应3D形状等特征，可以判断出某一位置缺少梯级，从而直接判断其为缺失。

需要说明的是，处理装置200的梯级工况判断模块240中，如果从获取的前景对象的形状和尺寸等特征判断其为乘客或乘客携带的物品，并且，从获取的前景对象的位置特征判断该乘客或乘客携带的物品处于某一相应区域的梯级904上，考虑到此时该区域的梯级904（未被乘客或乘客携带的物品遮挡的部分）的图像或深度图可能相对模糊，并且，基于该未被遮挡部分梯级904对应的前景对象（如果发生了梯级缺失）的特征提取相对困难，梯级工况判断模块240可以放弃当前这个数据帧的判断或放弃该判断结果，进入下一数据帧的数据处理，直到从获取的数据帧的某一相应区域的梯级904上不存在乘客或乘客携带的物品的前景对象，以该数据帧的判断结果作为梯级904的监测结果。

需要理解的是，在又一实施例中，假设被监测的扶梯处于空载正常状态，此时感测装置310获取的数据帧实际上与用于计算得到背景模型的数据帧基本相同（如果梯级904未发生梯级缺失），这样在前景检测模块220中将基本没有前景对象（例如仅存在噪音信息），此时，梯级工况判断模块240可以直接确定所述被监测对象处于正常状态，而不需要基于前景特征提取模块230提取的前景特征进行判断。当然，如果存在前景对象（很可能为梯级缺失导致），还是基于前景特征提取模块230提取的前景特征进行判断确定。

进一步地，梯级工况判断模块240可以被配置为，基于连续多幅（例如两幅）连续的数据帧的判断结果为同一梯级904缺失时，梯级工况判断模块240才确定当前梯级904处于该非正常状态，这样，有利于提高判断的准确性。

以上实施例的处理装置200中的梯级工况判断模块240确定被监测的梯级904处于非正常状态时（例如梯级缺失），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，控制器910进一步发送信号至驱动部件920降低梯级和扶手的运行速度，或者发送信号至制动部件（图中未示出）进行制动处理，处理装置200还可以发送信号至安装在扶梯900上方的警报单元930，提醒乘客注意安全，例如播报“梯级缺失注意踩踏梯级”等消息。当然，处理装置200还可以发送信号至楼宇的电梯维护中心等，提示及时进行现场处理。发现扶梯900的梯级904处于不正常状态时所具体采取的措施不是限制性的。

以上图3所示实施例的监测系统可以实现对扶梯900的梯级904进行实时地自动进行状态监测，监测准确而且能够及时发现梯级异常状况，有利于及时避免安全事故发生。

以下图4示例说明基于图3所示的实施例的监测系统进行梯级监测的方法流程，结合图3和图4进一步说明本发明实施例的监测系统的工作原理。

首先，步骤S21，通过成像传感器和/或深度感测传感器对乘客输送机的梯级进行感测以获取数据帧。在学习获取背景模型时，数据帧是在空载正常状态（扶梯900上没有乘客且梯级904完全正常）下感测获取；在其他情形，该数据帧是日常运行工况下随时获取，例如可以每秒钟获取30幅数据帧，每隔预定时间地或连续地获取预定时间段内（例如梯级运转一周的时段内）的序列帧供后续分析处理。

进一步，步骤S22，基于在空载正常状态下感测的数据帧获取背景模型。该步骤在背景获取模块210中完成，其可以在系统的初始化阶段实现。如果同时采用成像传感器和深度感测传感器，基于成像传感器和深度感测传感器分别获取的数据帧，分别学习获取得到背景模型。

进一步，步骤S23，将实时感测的数据帧与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块220中完成，并且，该前景对象可以发送至梯级工况判断模块240进行分析处理。

进一步，步骤S24，从前景对象提取相应的前景特征。该步骤在前景特征提取模块230中完成，提取的前景特征包括前景对象的形状和位置，甚至还包括颜色和/或尺寸等信息。

进一步，步骤S25，判断梯级是否处于正常状态，如果判断为“否”，则表示当前梯级904处于非正常状态，则进入步骤S26，触发报警和扶梯制动操作。该步骤S25和步骤S26在梯级工况判断模块中完成。具体地，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、尺寸和位置特征与背景模型中的关于梯级的形状、尺寸和位置特征进行比较，判断梯级是否梯级缺失；或者基于前景对象的形状、尺寸、位置和颜色特征分别与背景模型中的关于梯级的形状、尺寸、位置和颜色特征进行比较，判断梯级是否缺失或移位。需要说明的是，背景模型中的关于梯级的形状、尺寸和色彩的特征信息可以在背景获取模块210中实现；如果前景特征是关于乘客的前景对象的前景特征，其与背景模型的关于梯级904的特征信息比较，可以判断出该前景特征与梯级904不相关，梯级工况判断模块240可以容易地判断梯级904处于正常状态。

步骤S25中，可以在连续多幅连续的数据帧的判断结果为“否”时，才进入步骤S26，这样，有利于提高判断的准确性，防止误操作。

至此，以上实施例的日常运行工况下的梯级监测过程基本结束，该过程可以不但重复循环持续运行，以持续监控扶梯900的梯级。需要说明的是，如果同时采用成像传感器和深度感测传感器，它们将分别获取各自的数据帧，以上步骤S22至S25是分别针对各自的数据帧分别进行处理的，并且在成像传感器和深度感测传感器任一对应的数据帧在步骤S25被判断为“否”时，则进入步骤S26。在又一替换实施例中，分别来自成像传感器和深度感测传感器数据可以通过以下一种或多种技术来进行以上步骤S22至S25的过程：贝叶斯估计（Bayesian estimation）、最大概似法（Maximum likelihood，ML）、最大后验（Maximum apriori，MAP）、非线性最小二乘法（Non-linear least squares）等。这样，可以避免成像传感器和深度感测传感器中的任意一个在进行监测时的缺点，保证及时可靠地发现梯级处于非正常状态。

图5所示为按照本发明第三实施例的乘客运输机的监测系统的结构示意图。图5所示实施例的监测系统可以用来监测在维护检修工况下的扶梯900的安全护栏（Barrier）905的状态是否正常，例如是否发生安全护栏缺失。如果安全护栏905确实或置放位置不当，容易有乘客进入在维护检修工况的扶梯900上乘坐，非常容易引发严重安全事故，这是需要完全避免的。

图5所示实施例的监测系统具体地包括感测装置310与感测装置310耦接的处理装置300，扶梯900包括乘客运输机控制910、诸如电机的驱动部件920以及警报单元930。

感测装置310具体为成像传感器（Imaging sensor）或者深度感测传感器（Depthsensing sensor），或者为它们的组合。根据具体需要和传感器所能够监测的区域范围大小，可以在扶梯900上设置一个或多个感测装置310，例如，310₁至310_n，N为大于或等于1的整数。感测装置310以相对能清楚、准确获取扶梯900的被监测对象为准进行安装，其具体安装方式和安装位置不是限制性的。在该实施例中，感测装置310为两个，其分别被对应设置在扶梯900的两端的出入口区域（901和902）的大致上方，从而可以分别感测出入区域（901和902）的安全护栏905。应当理解，为准确感测着安全护栏905，可以根据具体应用环境选择相应类型的成像传感器或者深度感测传感器，甚至还可以在应该设置安全护栏905的位置的上方配置相应的照明灯具等。

感测装置310具体设置与图1所示实例完全相同，在此省略描述。

在检测维修时，感测装置310被触发并对扶梯900的安全护栏905应当所在的区域进行感测并实时地获得多个数据帧；如果是采用成像传感器感测获取，序列帧为多个图像帧，其中的每个像素具有例如相应的亮度信息和色彩信息；如果是采用深度感测传感器感测获取，序列帧为多个深度图，其中的每个像素或占据栅格也具有对应深度尺寸（反映深度信息）。

如果需要在检测维修工况下全时段地对安全护栏905进行监测，多个感测装置310₁至310_n均同时工作获取相应的序列帧，每幅帧被传输至处理装置300，处理装置300负责用于对每幅帧进行数据处理，并最终获得扶梯900的安全护栏905是否处于正常状态的信息，例如确定是否发生安全护栏缺失。

具体地，处理装置300被配置为包括背景获取模块301和前景检测模块320。其中，背景获取模块301的一种可以是以安全护栏905处于正常状态下所获得的一幅或多幅2D图像或3D深度图获取背景模型，背景获取模块301的第二种可以是以需要设置安全围栏905的区域在未设置安全围栏905时所获得的一幅或多幅2D图像或3D深度图获取背景模型；因此，第一种情况下，背景获取模块301基于在正确设置有安全护栏905的情况下获取的数据帧来学习获取第一种背景模型；第二种情况下，背景获取模块301基于在没有安全护栏905的情况下获取的数据帧来学习获取第二种背景模型。第一种背景模型和第二种背景模型的建立可以在维护检修扶梯900之前对其进行，处理装置300在该期间被初始化以获得背景模型。背景模型的学习建立具有可以但不限于采用诸如高斯混合模型（Gaussian MixtureModel）、码书模型（Code Book Model）或者鲁棒主成分分析（Robust PrincipleComponents Analysis, RPCA）等；其中，对于基于成像传感器获取的图像帧学习得到背景模型，其是典型的亮度背景模型或者色度背景模型；对于深度感测传感器获取的帧学习得到背景模型，其是典型的深度背景模型。

需要理解地是，在其后的安全护栏的监测阶段中，背景模型可以自适应地更新。对于应用场景、传感器类型、安全护栏类型发生变化时，可以在初始阶段重新学习获取相应的背景模型。

前景检测模块320用于从实时获取的数据帧减去背景模型获得前景对象（以上第二种背景模型示例），或者从背景模型减去实时获取的数据帧获得前景对象（以上第一种背景模型示例），例如，采用差分法获得前景对象。以上第二种背景模型示例，如果安全护栏905发生安全护栏缺失，其相应的数据帧部分与背景模型的相应部分进行比对处理，获得的前景对象也包括反映安全护栏905发生安全护栏缺失的特征。

在一实施例中，前景检测模块320可以运用一些过滤技术去除前景对象的噪音，例如，采用腐蚀（erosion）和膨胀图像处理技术去除噪音，以更准确地获得前景对象。需要说明的是，所述过滤可以包括关于空间的、时间的或时空内核的卷积等。

在一实施例中，处理装置300还包括前景特征提取模块330，前景特征提取模块330从前景对象提取相应的前景特征，为监测扶梯900的安全护栏，提取的前景特征包括前景对象的形状和颜色（安全护栏905一般为明确区别于其它物体颜色的黄色），甚至还包括尺寸和/或位置等信息。以成像传感器获取的数据帧为例，颜色信息通过前景对象的各个像素的色度体现，形状、尺寸和位置信息通过前景对象中的像素的亮度值变化体现出来；以深度感测传感器获取的数据帧为例，形状、尺寸和位置信息通过前景对象中的占据栅格的深度值变化体现出来。

进一步地，处理装置300还包括安全护栏工况判断模块340，工况判断模块340基于前景特征判断安全护栏905是否处于正常状态。具体地，可以将前景特征在背景模型中进行比较判断，例如，基于前景对象的形状、尺寸和位置特征与背景模型中的关于安全护栏的形状、尺寸和位置特征进行比较，判断安全护栏是否安全护栏缺失；或者基于前景对象的形状、尺寸、位置和颜色特征分别与背景模型中的关于安全护栏的形状、尺寸、位置和颜色特征进行比较，判断安全护栏是否缺失。需要说明的是，背景模型中的关于安全护栏的形状、尺寸和色彩的特征信息可以在背景获取模块301中实现。

以背景模型为上述第一种背景模型为例，假设前景特征主要是关于维修人员的前景对象的前景特征，其与第一种背景模型的关于安全护栏905的特征信息比较，可以判断出该前景特征与安全护栏905不相关，安全护栏工况判断模块340则可以容易地判断安全护栏905处于正常状态；假设前景特征主要是关于安全护栏的前景对象的前景特征，其与第一种背景模型的关于安全护栏905的特征信息比较，可以判断出该前景特征与安全护栏905相同或大致相同，安全护栏工况判断模块340则可以容易地判断安全护栏905处于缺失状态。

以背景模型为上述第二种背景模型为例，假设前景特征是关于安全护栏905的前景对象的前景特征，其与第二种背景模型的关于安全护栏905的特征信息比较，可以判断出该前景特征与安全护栏905相关，进一步判断该前景特征的位置特征与第二种背景模型的关于安全护栏905的位置信息大致相同，安全护栏工况判断模块340则可以容易地判断安全护栏905处于正常状态；假设前景特征主要是关于维修人员的前景对象的前景特征，其与第二种背景模型的关于安全护栏905的特征信息比较，可以判断出该前景特征与安全护栏905不相关，安全护栏工况判断模块340则可以容易地判断安全护栏905处于缺失状态。

进一步，以2D图像处理中安全护栏缺失为例，将当前的2D图像帧与上述第一种背景模型进行比对处理，获得关于安全护栏905的前景对象，基于该对象的2D图像，该对象的位置、颜色和形状等特征也被提取，进而与背景模型进行比较，例如，比较对应的形状、颜色等特征，可以判断出缺少安全护栏，从而直接判断安全护栏905处于非正常状态。

进一步，以深度图处理中安全护栏缺失为例，将当前的3D深度图像帧与上述第一种背景模型（基于深度信息的模型）进行比对处理，获得关于安全护栏905的前景对象，该对象的位置和3D形状等特征也被提取，进而与背景模型进行比较，例如比例相同位置对应3D形状等特征，可以判断出某一位置缺少安全护栏，从而直接判断安全护栏905处于非正常状态。

进一步地，安全护栏工况判断模块340可以被配置为，基于连续多幅（例如两幅）连续的数据帧的判断结果为同一安全护栏905缺失时，安全护栏工况判断模块340才确定当前安全护栏905处于该非正常状态，这样，有利于提高判断的准确性。

在还一实施例中，以第二背景模型为例，在确定包括安全护栏的前景对象时，基于所述安全护栏的前景对象的位置特征判断安全护栏905是否处于相应的正确位置的正常状态，也即判断安全护栏905的置放位置是否得当；安全护栏905的前景对象的位置特征通过前景特征提取模块330获得，其中，数据帧由深度感测传感器感测获得时，安全护栏330的前景对象的位置特征为3D位置特征。具体地，前景特征提取模块330可以提取安全护栏905的前景对象的多个角点（例如四个角的角点）对应的3D位置特征和/或安全护栏905的前景对象的中心点对应的3D位置特征，通过这些位置特征，可更准确地判断出安全护栏905的置放位置是否合适。

以上实施例的处理装置300中的安全护栏工况判断模块340确定被监测的安全护栏905处于非正常状态时（例如安全护栏缺失），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，控制器910进一步发送信号至制动部件（图中未示出）进行制动处理，处理装置300还可以发送信号至安装在扶梯900上方的警报单元930，提醒乘客注意安全，并提醒维修人员设置安全护栏905，例如播报“安全护栏缺失，禁止乘坐扶梯，请立即设置安全护栏”等消息。当然，处理装置300还可以发送信号至楼宇的电梯维护中心等，提示及时进行现场处理。发现扶梯900的安全护栏905处于不正常状态时所具体采取的措施不是限制性的。

以上图5所示实施例的监测系统可以实现在扶梯900检修维护时自动对安全护栏905进行状态监测，监测准确而且能够及时发现安全护栏异常状况，有利于及时避免安全事故发生。

以下图6示例说明基于图5所示的实施例的监测系统进行安全护栏监测的方法流程，结合图5和图6进一步说明本发明实施例的监测系统的工作原理。

首先，步骤S31，通过成像传感器和/或深度感测传感器对乘客输送机的出入口区域（901和902）进行感测以获取数据帧。在学习获取背景模型时，以上第一种背景模型对应的数据帧是在安全护栏905正确设置的情况下感测获取，以上第二种背景模型对应的数据帧是在没有设置安全护栏905的情况下感测获取；在其他情形，该数据帧是维护检修工况下随时获取，例如可以每秒钟获取30幅数据帧，每隔预定时间地或连续地获取预定数量的数据帧供后续分析处理。

进一步，步骤S32，以上述第二种背景模型为例，基于在未设置安全栅栏的情况下感测的数据帧获取背景模型。该步骤在背景获取模块301中完成，其可以在系统的初始化阶段实现。如果同时采用成像传感器和深度感测传感器，基于成像传感器和深度感测传感器分别获取的数据帧，分别学习获取得到背景模型。

进一步，步骤S33，将实时感测的数据帧与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块320中完成，并且，该前景对象可以发送至安全护栏工况判断模块340进行分析处理。

进一步，步骤S34，从前景对象提取相应的前景特征。该步骤在前景特征提取模块330中完成，提取的前景特征包括前景对象的形状和位置，甚至还包括颜色和/或尺寸等信息。

进一步，步骤S35，判断是否处于已设置安全护栏的正常状态，如果判断为“否”，则表示当前安全护栏905处于非正常状态，则进入步骤S36，触发报警和扶梯制动操作。该步骤S35和步骤S36在安全护栏工况判断模块340中完成。具体的判断方法在以上关于安全护栏工况判断模块340的描述中已经公开。

至此，以上实施例的维护检修工况下的安全护栏监测过程基本结束，该过程可以不但重复循环持续运行，以持续监控扶梯900的安全护栏。需要说明的是，如果同时采用成像传感器和深度感测传感器，它们将分别获取各自的数据帧，以上步骤S32至S35是分别针对各自的数据帧分别进行处理的，并且在成像传感器和深度感测传感器任一对应的数据帧在步骤S35被判断为“否”时，则进入步骤S36。又一替换实施例中，分别来自成像传感器和深度感测传感器数据可以通过以下一种或多种技术来进行以上步骤S22至S25的过程：贝叶斯估计（Bayesian estimation）、最大概似法（Maximum likelihood，ML）、最大后验（Maximuma priori，MAP）、非线性最小二乘法（Non-linear least squares）等。这样，可以避免成像传感器和深度感测传感器中的任意一个在进行监测时的缺点，保证及时可靠地发现安全护栏处于非正常状态。

图7所示为按照本发明第四实施例的乘客运输机的监测系统的结构示意图。图7所示实施例的监测系统用于对图7中示例的扶梯900的梯级（Step）和/或扶手（Handrail）的运行速度进行监测，具体地包括感测装置310与感测装置310耦接的处理装置400，扶梯900包括乘客运输机控制910、诸如电机的驱动部件920以及制动/启动按钮940。

感测装置310具体设置与图1所示实例完全相同，在此省略描述。

多个感测装置310₁至310_n可以在扶梯900的日常运行工况下获取相应的多个连续的数据帧形成的序列帧，以实时地监测扶梯920的梯级的速度。序列帧被传输至处理装置400，处理装置400负责用于对序列帧进行分析处理，并最终获得扶梯900的关于梯级和/或扶手的速度信息。

在该实施例中，处理装置400中设置有背景获取模块410和前景检测模块420。其中背景获取模块410得到扶梯900空载（即不存在乘客时）的一幅或多幅2D图像或3D深度图并基于它们计算出背景；因此，背景获取模块410基于在扶梯900确定是空载正常运行工况下获取的序列帧来学习获取背景模型，背景模型的建立可以在监测系统初始化的阶段进行，也即，在对日常运行工况的速度监测之前对其进行初始化以获得背景模型，背景模型的学习建立具有可以但不限于采用诸如高斯混合模型（Gaussian Mixture Model）、码书模型（Code Book Model）或者鲁棒主成分分析（Robust Principle Components Analysis,RPCA）等，其中，对于基于成像传感器获取的序列帧学习得到背景模型，其是典型的亮度背景模型或者色度背景模型；对于深度感测传感器获取的序列帧学习得到背景模型，其是由例如RPCA发现的深度背景模型。在一实施例中，还可以融合一段时间内的多个序列帧来学习建立背景模型以提高背景模型的精度。

需要理解地是，在其后的速度检测阶段中，背景模型可以自适应地更新。对于应用场景、传感器类型或设置发生变化时，可以在初始阶段重新学习获取相应的背景模型。

前景检测模块420用于将实时获取的序列帧与背景模型进行比对处理以获得前景对象，该前景对象在多数情况下为乘客及其携带的物品等，通过获得前景对象，可以获得每副帧中前景对象所在的位置或区域的信息；前景检测模块420进而将序列帧中不存在前景对象的区域定义为速度感测区域，例如每幅帧中不存在诸如乘客干扰的区域（例如不站乘客的梯级或不被乘客手所覆盖的带色彩标识的扶手区域）被用来速度检测判断。这是由于考虑到在扶梯900在日常运行工况下乘客是变化且可移动的，如果对序列帧中的乘客区域进行分析，以下所述的光流估算模块441可能将不能准确获得移位信息。

需要说明的是，在又一实施例中，在扶梯900上乘客较多或拥挤时，获取上述关于梯级的速度感测区域可能是困难的，此时，也可以通过前景检测模块420直接获取关于扶梯900上的例如乘客的前景对象，光流估算模块441基于该前景对象计算出特征点，并基于光流法计算序列帧中任何相邻帧之间的前景对象的相应特征点在帧坐标下的移位。也就是说，同样基于光流法计算出前景对象的移位。在该实施例中，由于可能存在乘客自行移动的可能，因此，移位计算可能存在不准确性，导致速度计算可能存在一定误差，但是，基于该移位最后计算出的扶梯900运行速度基本能够反映出运行反转、速度超速或欠速等的速度异常情形，同样可以用来监测扶梯的日常运行工况。

具体地，在比对处理获得前景对象过程中，对于使用成像传感器的情形，数据帧为2D图像，背景模型也是基于2D图像形成，比对处理过程具体可以为差分处理，例如，对于2D图像的某一像素点，其与背景模型对应的像素点进行比对求差值（例如亮度的差值），在该差值大于预定值时作保留处理，因此，可以获得前景对象；对于使用深度感测传感器的情形，数据帧为深度图，背景模型也是基于3D深度图形成，例如，对于深度图的某一占据栅格，其可以与背景模型对应的占据栅格进行比对（例如求出深度的差值），在该差值大于预定值时该占据栅格的深度信息作保留处理（表示该占据栅格是），因此，可以获得前景对象。

在一实施例中，前景检测模块420可以运用一些过滤技术去除前景对象的噪音，例如，采用腐蚀（erosion）和膨胀图像处理技术去除噪音，以更准确地获得前景对象。需要说明的是，所述过滤可以包括关于空间的、时间的或时空内核的卷积等。

处理装置400还包括光流估算模块441。前景检测模块420定义出序列帧中的速度感测区域后，光流估算模块441被配置为基于光流法计算序列帧中任何相邻帧之间的速度感测区域的相应特征点在帧坐标下的移位；光流估算模块130基于光流法计算在帧坐标下的移位，光流法具体可以应用Lucas-Kanade光流法，在此具体应用的光流法类型不是限制性的。

以成像传感器获取的序列帧为例，序列帧为多个图像帧，例如，每秒钟获取的15至30个的图像帧，其中每个图像帧像素具有相应的亮度值；如果成像传感器可以获取色彩信息，每个图像帧像素还具有相应的色彩信息。在对诸如梯级进行速度监测时，可以以梯级对应的图像的若干点作为特征点；具体地，可以以运动的梯级图像中亮度显著分布不同的点或细小区域作为特征点；每个特征点可以包括一个或多个像素点。给图像中的每一个像素点（包括特征点的像素）赋予一个速度矢量，形成图像运动场，图像运动场转移到二维图像上则表示为光流场，光流场上反映图像帧上每一像素点亮度的变化趋势。对于连续的序列帧，特征点在某一帧上对应的帧坐标位置是可以确定的，如果梯级运动，采集的与该帧相邻的下一帧上，在同样的帧坐标位置周围去搜索具有基本相同亮度值的点作为该特征点，这两幅相邻帧上的同一特征点确定的情况下，在帧坐标下的移位因此可以基本确认，类推地，可以确定任何相邻帧之间的相应特征点在帧坐标下的移位。需要理解的是，如果特征点包括色彩信息，上述移位可以基于亮度值和/或色度值来确定特征点并进而确定移位。

以深度感测传感器获取的序列帧为例，序列帧为多个深度图，例如，每秒钟获取的15至30个的深度图，每帧包括有感测视域内的对象的深度图数据。在对诸如梯级进行速度监测时，可以以梯级对应的深度图的若干占据栅格作为特征点，具体地，可以以运动的梯级对应的诸多占据栅格中其深度显著变化的栅格或细小区域作为特征点；每个特征点可以包括一个或多个占据栅格；给图像中的每一个占据栅格（包括特征点的像素）赋予一个速度矢量，形成图像运动场，图像运动场转移到二维图像上则表示为光流场，光流场上反映深度图上每一占据栅格的深度的变化趋势。对于连续的序列帧，特征点在某一帧上对应的帧坐标位置是可以确定的，如果梯级运动，采集的与该帧相邻的下一帧上，在同样的帧坐标位置周围去搜索具有基本相同深度值的点作为该特征点（例如通过快速傅立叶变换（FastFourier Transform）），这两幅相邻帧上的同一特征点确定的情况下，在帧坐标下的移位因此可以基本确认，类推地，可以确定任何相邻帧之间的相应特征点在帧坐标下的移位。

需要说明的是，以上移位不但可以包括移位大小，还可以包括移位方向信息。

处理装置400还被配置有包括校准模块442，校准模块442将上述特征点在帧坐标中的移位转换为在空间全局坐标下的移位。该校准过程可以在速度检测之前预先地离线完成，例如，在成像传感器和/或深度感测传感器安装完成后、或者其关键设置变化后，重新进行校准，校准所采用的具体方法不是限制性的。

处理装置400还被配置有时间计算模块443，其确定序列帧中任何相邻帧之间的时间量。以每秒钟获取30帧为例，相邻帧之间的时间量大致为1/30秒。具体地，可以在每帧获取时被标注印时戳（time stamp），从而，任何帧之间的时间量都是可以获取的。需要理解的是，“相邻帧”是指用来分析的帧是在时间上相邻的，其可以是连续获取的帧。

处理装置400还被配置有速度计算模块444，速度计算模块444基于特征点在空间全局坐标下的移位和对应的时间量，计算获得任何相邻帧对应时间点的速度信息，并进一步组合获得序列帧的速度信息。以每秒获取的序列帧为n个为例，每秒可以获得（n-1）个速度信息，该（n-1）个速度信息被组合在一起获得该n序列帧的速度信息。需要说明的是，速度信息可以包括速度大小信息和速度方向信息，速度计算模块444从而可以基于速度方向信息判断扶梯900的梯级是否发生反转运行，基于速度大小信息判断是否发生速度异常。这样，可以对扶梯900的日常运行工况进行实时监测，及时发现扶梯900运行速度不正常的问题，即即使发现运行速度处于不正常状态。

在速度计算模块444发现扶梯900运行速度处于不正常状态时（例如超速或反转），可以发出相应的信号至扶梯900的乘客输送机控制器910，以采取相应的措施，例如，控制器910进一步发送信号至驱动部件920降低梯级和扶手的运行速度，处理装置400还可以发送信号至安装在扶梯900上方的警报单元930，提请乘客注意、防止跌倒。当然，处理装置400还可以发送信号至楼宇的电梯维护中心等，提示及时进行现场处理。发现扶梯900的运行速度不正常时所具体采取的措施不是限制性的。

需要说明的是，以上处理装置400中的光流估算模块441、校准模块442、时间计算模块443和速度计算模块444主要地形成了处理装置400中的工况判断模块。

以下图8和图9分别示例说明基于图7所示的实施例的监测系统进行梯级速度检测和扶手速度监测的方法流程，结合图7和图8、图9进一步说明本发明实施例的监测系统的工作原理。

以日常运行工况下监测扶梯900的梯级的运行速度为示例，如图7和图8所示，首先，步骤S41，通过成像传感器和/或深度感测传感器对乘客输送机的至少一部分梯级进行感测以获取序列帧，在学习获取背景模型时，序列帧是在空载正常运行工况下感测获取；在其他情形，该序列帧是日常运行工况下随时获取，例如可以获取小于或等于1秒钟时段内的序列帧供后续分析处理。

进一步，步骤S42，基于在乘客输送机处于空载正常运行工况下获取的序列帧获取背景模型。该步骤在背景获取模块410中完成，其可以在系统的初始化阶段实现，或者可以自适用地更新获取背景模型，例如，使用GMM、RPCA等自适用背景算法。

进一步，步骤S43，将实时获取的序列帧逐个地与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块420中完成。

进一步，步骤S44，将序列帧中不存在前景对象的区域定义为速度感测区域。该步骤在前景检测模块420中对每帧逐一处理完成。

进一步，步骤S45，基于光流法计算序列帧中任何相邻帧之间的速度感测区域的相应特征点在帧坐标下的移位。该移位的具体计算在光流估算模块441中完成。在又一实施例中，在难于定义以上速度感测区域时，也可以基于光流法计算序列帧中任何相邻帧之间的前景对象的相应特征点在帧坐标下的移位。

进一步，步骤S46，将特征点在帧坐标中的移位转换为在空间全局坐标下的移位。该步骤在校准模块442中完成。

进一步，步骤S47，确定序列帧中任何相邻帧之间的时间量。该步骤在时间计算模块443中完成。

进一步，步骤S48，基于特征点在空间坐标下的移位和对应的时间量计算获得任何相邻帧对应时间点的速度信息，并进一步组合获得序列帧的速度信息。该步骤在速度计算模块444中完成。

进一步，步骤S49，判断梯级是否发生反转运行或速度异常，如果判断为“是”，触发报警，即步骤S50。步骤S49在速度计算模块444中完成，其可以基于速度方向信息判断是否发生梯级反转运行、基于速度大小信息判断（判断是否超出预定速度大小）是否发生梯级速度异常。步骤S50中，还可以发出信号至扶梯900的控制器910，以控制扶梯900的速度或制动等，发现扶梯900的运行速度不正常时所具体采取的措施不是限制性的。

至此，以上实施例的日常运行工况下的梯级速度检测过程基本结束，该过程可以不但重复循环持续运行，以持续监控扶梯900的梯级的运行速度。需要说明的是，如果同时采用成像传感器和深度感测传感器，它们将分别获取各自的序列帧，以上步骤S42至S48是分别针对各自的序列帧分别进行处理的。

以日常运行工况下检测扶梯900的扶手的运行速度为示例，如图7和图9所示，在该实施例中，扶手的速度监测仅采用成像传感器，并且是可以获取色彩信息和亮度信息的成像传感器，并且，在扶手上设置有色彩明显区别于扶手色彩的一个或多个彩色的色彩标识。

首先，步骤S51，通过成像传感器对乘客输送机的至少一部分扶手成像以获取序列帧。在学习获取背景模型时，序列帧是在空载正常运行工况下感测获取；在其他情形，该序列帧是日常运行工况下随时获取，例如可以获取小于或等于1秒钟时段内的序列帧供后续分析处理。

进一步，步骤S52，基于在乘客输送机处于空载正常运行工况下获取的序列帧获取背景模型。该步骤在背景获取模块410中完成，其可以在系统的初始化阶段实现，或者可以自适用地更新获取背景模型，例如，使用GMM、RPCA等方法

进一步，步骤S53，将实时获取的序列帧逐个地与背景模型进行比对处理以获得前景对象。该步骤在前景检测模块420中完成。

进一步，步骤S54，将序列帧中不存在前景对象的区域定义为速度感测区域。该步骤在前景检测模块420中完成。

进一步，步骤S55，基于光流法计算序列帧中任何相邻帧之间的速度感测区域的相应特征点在帧坐标下的移位。该步骤在光流估算模块441中对每帧逐一处理完成。其中，特征点的选取可以以运动的扶手图像中色度显著变化的像素点或像素区域作为特征点，例如色彩标识的边缘上的点。光流法计算过程中，光流场上反映图像帧上每一点色度的变化趋势，是基于色度值来确定相邻帧之间的相应特征点在帧坐标下的移位。

进一步，步骤S56，将特征点在帧坐标中的移位转换为在空间全局坐标下的移位。该步骤在校准模块442中完成。

进一步，步骤S57，确定序列帧中任何相邻帧之间的时间量。该步骤在时间计算模块443中完成。

进一步，步骤S58，基于特征点在空间坐标下的移位和对应的时间量计算获得任何相邻帧对应时间点的速度信息，并进一步组合获得序列帧的速度信息。该步骤在速度计算模块444中完成。

进一步，步骤S59，判断扶手是否发生反转运行或速度异常，如果判断为“是”，触发报警，即步骤S60。步骤S49在速度计算模块444中完成，其可以基于速度方向信息判断是否发生扶手反转运行、基于速度大小信息判断（判断是否超出预定速度大小）是否发生扶手速度异常。

至此，以上实施例的日常运行工况下的扶手速度检测过程基本结束，该过程可以不但重复循环持续运行，以持续监控扶梯900的扶手的运行速度。

以上实施例的梯级或扶梯的监测方法可以基于成像传感器或深度感测传感器完成，可以替代现有的速度传感器来完成，并且，能够实时监测扶梯的日常运行工况下的速度，能及时发现扶梯运行的不正常情况，智能化程度高，能有效地保证乘客的安全。

在以上图7所示实施例的监测系统以及图8和图9所示实施例的监测方法中，如果监测系统同时使用成像传感器和深度感测传感器二者时，数据帧将包括成像传感器获取的第一数据帧和深度感测传感器获取的第二数据帧；背景获取模块、前景检测模块均都被配置为针对所述第一数据帧和第二数据帧进行分别处理以相应地获得前景对象，光流估算模块、校准模块、时间计算模块和速度计算模块都被配置为分别针对第一数据帧形成的序列帧和第二数据帧形成的序列帧进行处理以相应地获得第一速度信息和第二速度信息。在一实施例中，速度计算模块将基于第一速度信息和第二速度信息加权计算获得成像传感器和深度感测传感器获取的序列帧的速度信息。这样由于，基于成像传感器和深度感测传感器各自计算得到的速度信息可能存在不准确的可能性，例如，成像传感器在环境光强变化较大时可能导致计算得到的上述第一速度信息相对不准确，而深度感测传感器在深度信息获取不准的环境条件下，也可能导致计算得到的上述第二速度信息相对不准确，因此，通过对第一速度信息和第二速度信息的加权计算，可以提高速度检测的准确性。需要理解的是，具体的加权比例大小可以根据实际应用环境条件等来确定。

需要说明的是，以上图1、图3、图5和图7所示实施例的监测系统中的处理装置（100或200或300或400）具体可以设置楼宇的控制中心，也可以与扶梯900的控制器910等集成地设置，其具体设置形式不是限制性的。并且，以上图1、图3、图5和图7所示实施例的监测系统中的多个，可以集成在一起实现，并且共用感测装置310，从而实现对着陆板、梯级、在维护检修工况下使用的安全护栏、梯级的速度的多个同时监测，降低成本。

需要说明的是，本文公开和描绘的元件（包括附图中的流程图和方块图）意指元件之间的逻辑边界。然而，根据软件或硬件工程实践，描绘的元件及其功能可通过计算机可执行介质在机器上执行，计算机可执行介质具有能够执行存储在其上的程序指令的处理器，所述程序指令作为单片软件结构、作为独立软件模块或作为使用外部程序、代码、服务等的模块，或这些的任何组合，且全部这些执行方案可落入本公开的范围内。

虽然不同非限制性实施方案具有特定说明的组件，但本发明的实施方案不限于这些特定组合。可能使用来自任何非限制性实施方案的组件或特征中的一些与来自任何其它非限制性实施方案的特征或组件组合。

虽然示出、公开和要求了特定步骤顺序，但应了解步骤可以任何次序实施、分离或组合，除非另外指明，且仍将受益于本公开。

前述描述是示例性的而非定义成受限于其内。本文公开了各种非限制性实施方案，然而，本领域的一般技术人员将意识到根据上述教示，各种修改和变更将落入附属权利要求的范围内。因此，将了解在附属权利要求的范围内，可实行除了特定公开之外的公开内容。由于这个原因，应研读附属权利要求来确定真实范围和内容。

Claims (74)

1.一种乘客运输机的监测系统，其特征在于，包括：

成像传感器和深度感测传感器，用于对所述乘客运输机的被监测对象进行感测以获取数据帧；

处理装置，用于对所述数据帧进行分析处理以监测所述被监测对象是否处于正常状态，其被配置为包括：

背景获取模块，用于基于在所述被监测对象处于正常状态或非正常状态下感测的数据帧获取背景模型；

前景检测模块，用于将实时感测的数据帧与所述背景模型进行比对处理以获得前景对象；以及

工况判断模块，用于至少基于所述前景对象进行数据处理以判断所述被监测对象是否处于正常状态；

其中，所述数据帧包括所述成像传感器获取的第一数据帧和所述深度感测传感器获取的第二数据帧；

其中，所述背景获取模块进一步被配置为基于所述第一数据帧和第二数据帧分别获取背景模型；

所述前景检测模块被配置为基于所述第一数据帧和第二数据帧分别获得第一前景对象和第二前景对象；以及

所述工况判断模块被配置为，基于所述第一前景对象和第二前景对象进行数据处理以分别判断所述被监测对象是否处于正常状态，并在都判断为处于非正常状态时才确定所述被监测对象处于非正常状态。

2.如权利要求1所述的监测系统，其特征在于，所述处理装置还包括：

前景特征提取模块，用于根据被监测对象从所述前景对象提取相应的前景特征；

其中，所述工况判断模块基于所述前景特征判断所述被监测对象是否处于正常状态。

3.如权利要求2所述的监测系统，其特征在于，所述被监测对象包括所述乘客运输机的着陆板，所述工况判断模块在所述着陆板移位或缺失时被判断为非正常状态。

4.如权利要求3所述的监测系统，其特征在于，所述前景特征提取模块提取的前景特征包括前景对象的形状特征、尺寸特征和位置特征的一个或多个，所述工况判断模块基于所述前景对象的形状特征、尺寸特征和位置特征的一个或多个判断所述着陆板是否移位或缺失。

5.如权利要求4所述的监测系统，其特征在于，所述数据帧由成像传感器获取时，所述前景特征提取模块提取的前景特征还包括前景对象的色彩特征，所述工况判断模块还结合所述前景对象的色彩特征判断所述着陆板是否移位或缺失。

6.如权利要求3所述的监测系统，其特征在于，所述工况判断模块还被配置为，基于前景对象的位置特征判断乘客或乘客携带的物品对应的前景对象是否位于所述着陆板上，如果判断为“是”，放弃基于当前处理的所述数据帧对所述着陆板是否处于正常状态的判断或放弃当前处理的所述数据帧对应的所述着陆板是否处于正常状态的判断结果。

7.如权利要求2所述的监测系统，其特征在于，所述被监测对象包括所述乘客运输机的梯级，所述工况判断模块在所述梯级缺失时被判断为非正常状态。

8.如权利要求7所述的监测系统，其特征在于，所述前景特征提取模块提取的前景特征包括前景对象的形状特征、尺寸特征和位置特征的一个或多个，所述工况判断模块基于所述前景对象的形状特征、尺寸特征和位置特征的一个或多个判断所述梯级是否缺失。

9.如权利要求8所述的监测系统，其特征在于，所述数据帧由成像传感器获取时，所述前景特征提取模块提取的前景特征还包括前景对象的色彩特征，所述工况判断模块还结合所述前景对象的色彩特征判断所述梯级是否缺失。

10.如权利要求7所述的监测系统，其特征在于，所述工况判断模块还被配置为，基于前景对象的位置特征判断乘客或乘客携带的物品对应的前景对象是否位于所述梯级上，如果判断为“是”，放弃基于当前处理的所述数据帧对所述梯级是否处于正常状态的判断或放弃当前处理的所述数据帧对应的所述梯级是否处于正常状态的判断结果。

11.如权利要求7所述的监测系统，其特征在于，所述成像传感器和深度感测传感器感测获取预定时段内的数据帧供所述处理装置进行分析处理。

12.如权利要求2所述的监测系统，其特征在于，所述被监测对象包括在维护检修工况下的所述乘客运输机的使用的安全护栏，所述工况判断模块在所述安全护栏缺失和/或置放位置不当时被判断为非正常状态。

13.如权利要求12所述的监测系统，其特征在于，所述背景获取模块被配置为，基于所述安全护栏处于正常状态下感测的数据帧获取第一背景模型，或者基于所述安全护栏处于未置放的非正常状态下感测的数据帧获取第二背景模型。

14.如权利要求12所述的监测系统，其特征在于，所述前景特征提取模块提取的前景特征包括前景对象的形状特征、尺寸特征和位置特征的一个或多个，所述工况判断模块基于所述前景对象的形状特征、尺寸特征和位置特征的一个或多个判断所述安全护栏是否缺失和/或置放位置不当。

15.如权利要求14所述的监测系统，其特征在于，所述数据帧由成像传感器获取时，所述前景特征提取模块提取的前景特征还包括前景对象的色彩特征，所述工况判断模块还结合所述前景对象的色彩特征判断所述安全护栏是否缺失和/或置放位置不当。

16.如权利要求13所述的监测系统，其特征在于，所述前景检测模块被配置为：将实时感测的数据帧与所述第二背景模型进行比对处理以获得前景对象；

所述工况判断模块还被配置为：确定所述前景对象是否包括所述安全护栏的前景对象，在不包括所述安全护栏的前景对象时，确定所述安全护栏处于所述安全护栏缺失的正常状态。

17.如权利要求16所述的监测系统，其特征在于，所述工况判断模块还被配置为：在确定包括所述安全护栏的前景对象时，基于所述安全护栏的前景对象的位置特征判断所述安全护栏是否处于相应的正确位置的正常状态；

其中，所述安全护栏的前景对象的位置特征通过所述前景特征提取模块获得。

18.如权利要求17所述的监测系统，其特征在于，所述数据帧由所述深度感测传感器感测获得时，所述安全护栏的前景对象的位置特征为3D位置特征。

19.如权利要求17或18所述的监测系统，其特征在于，所述安全护栏的前景对象的位置特征包括所述安全护栏的前景对象的多个角点对应的位置特征和/或所述安全护栏的前景对象的中心点对应的位置特征。

20.如权利要求12所述的监测系统，其特征在于，所述工况判断模块还被配置为，在至少连续两幅的所述数据帧的判断结果为所述安全护栏处于同一非正常状态时，确定所述安全护栏处于该非正常状态。

21.如权利要求3或12所述的监测系统，其特征在于，两个所述成像传感器分别被对应设置在所述乘客运输机的两端的出入口区域的大致上方以分别感测所述出入口区域的着陆板，两个所述深度感测传感器分别被对应设置在所述乘客运输机的两端的出入口区域的大致上方以分别感测所述出入口区域的着陆板。

22.如权利要求3或7所述的监测系统，其特征在于，背景获取模块中，基于在所述被监测对象处于正常状态感测的数据帧获取背景模型；所述工况判断模块还被配置为在基本没有所述前景对象时直接确定所述被监测对象处于正常状态。

23.如权利要求4或8或14所述的监测系统，其特征在于，所述前景特征提取模块提取的前景特征还包括以下特征的一个或多个：尺度不变特征转换、加速鲁棒特征、仿射尺度不变特征变换、哈里斯角点检测、 最小同值分割吸收核、FAST角点检测、相位相关、归一化互相关、渐变位置方向直方图、 二元鲁棒独立基本特征、环绕中心极值以及面向的和旋转的二元鲁棒独立基本特征。

24.如权利要求4或8或14所述的监测系统，其特征在于，所述形状特征包括以下特征的一个或多个：方向梯度的直方图、泽尼克矩、形心相对边界点分布不变和轮廓曲率。

25.如权利要求4或8或14所述的监测系统，其特征在于，所述工况判断模块被配置为使用以下技术的一个或多个来对其所使用的特征进行比较或分类：集群、深层学习、卷积神经网络、递归神经网络、 字典学习、视觉词袋、支持向量机、 决策树和模糊逻辑。

26.如权利要求1所述的监测系统，其特征在于，所述被监测对象包括所述乘客运输机的在日常运行工况下的至少梯级的速度，所述数据帧为某一时段感测获取的序列帧，所述工况判断模块在至少所述梯级的运行速度超速或发生反转时判断为非正常状态。

27.如权利要求26所述的监测系统，其特征在于，所述前景检测模块被配置为，从实时获取的序列帧减去所述背景模型获得前景对象，进而将所述序列帧中不存在前景对象的区域定义为速度感测区域；并且所述工况判断模块还包括：

光流估算子模块，用于基于光流法计算所述序列帧中任何相邻帧之间的速度感测区域的相应特征点在帧坐标下的移位；

校准子模块，用于将所述特征点在帧坐标中的移位转换为在空间全局坐标下的移位；

时间计算子模块，用于确定所述序列帧中任何相邻帧之间的时间量；和

速度计算子模块，用于基于所述特征点在空间全局坐标下的移位和对应的时间量计算获得任何相邻帧对应时间点的速度信息，并进一步组合获得所述序列帧的速度信息。

28.如权利要求27所述的监测系统，其特征在于，所述速度信息包括速度大小信息以及速度方向信息，所述速度计算子模块还被配置为基于所述速度方向信息判断是否发生反转运行、基于所述速度大小信息判断是否发生速度异常。

29.如权利要求28所述的监测系统，其特征在于，所述监测系统还包括警报单元，所述速度计算子模块在确定发生反转运行或速度异常的情况下触发所述警报单元工作。

30.如权利要求27所述的监测系统，其特征在于，所述监测系统还用于监测所述乘客运输机的在日常运行工况下的扶手的速度信息，其中所述序列帧仅由所述成像传感器获取。

31.如权利要求30所述的监测系统，其特征在于，所述扶手上设置有色彩明显区别于扶手色彩的一个或多个色彩标识，在所述光流估算子模块中，选取所述扶手的图像中色度显著变化的像素点或像素区域作为特征点。

32.如权利要求27所述的监测系统，其特征在于，如果所述序列帧通过所述成像传感器感测获取，所述光流估算子模块中，光流法计算所使用的光流场反映所述数据帧上每一像素点的亮度和/或色度的变化趋势。

33.如权利要求27所述的监测系统，其特征在于，如果所述序列帧通过所述深度感测传感器感测获取，所述光流估算子模块中光流法计算所使用的光流场反映所述数据帧上每一占据栅格的深度的变化趋势。

34.如权利要求27所述的监测系统，其特征在于，所述速度计算子模块还被配置为对所述序列帧对应的多个速度信息进行平滑过滤处理，过滤后留下的速度信息被组合形成所述序列帧的速度信息。

35.如权利要求34所述的监测系统，其特征在于，在所述平滑过滤处理中，使用有限脉冲响应滤波器进行过滤。

36.如权利要求27所述的监测系统，其特征在于，所述监测系统包括所述成像传感器和所述深度感测传感器二者时，所述序列帧包括所述成像传感器获取的第一序列帧和所述深度感测传感器获取的第二序列帧；其中，所述光流估算子模块、校准子模块、时间计算子模块和速度计算子模块都被配置为均针对所述第一序列帧和第二序列帧进行分别处理以分别获得第一速度信息和第二速度信息。

37.如权利要求36所述的监测系统，其特征在于，所述速度计算子模块还被配置为基于所述第一速度信息和第二速度信息加权计算获得所述速度信息。

38.如权利要求27所述的监测系统，其特征在于，其特征在于，所述光流估算子模块还被配置用来计算所述序列帧的特征点。

39.如权利要求1所述的监测系统，其特征在于，所述成像传感器和所述深度感测传感器二者被集成设置为RGB-D传感器。

40.如权利要求1或2所述的监测系统，其特征在于，所述处理装置还被配置为，在所述工况判断模块确定所述被监测对象处于非正常状态时触发输出信号至所述乘客运输机和/或楼宇的电梯维护中心以实现预防安全事故发生。

41.一种乘客运输机的监测方法，包括步骤：

对所述乘客运输机的被监测对象进行感测以获取数据帧；

基于在所述被监测对象处于正常状态或非正常状态下感测的数据帧预先地获取背景模型；

将实时感测的数据帧与所述背景模型进行比对处理以获得前景对象；以及

至少基于所述前景对象进行数据处理以判断所述被监测对象是否处于正常状态；

其中，所述数据帧包括成像传感器获取的第一数据帧和深度感测传感器获取的第二数据帧；

其中，所述获取背景模型的步骤中，基于所述第一数据帧和第二数据帧分别获取背景模型；

所述获得前景对象的步骤中，基于所述第一数据帧和第二数据帧分别获得第一前景对象和第二前景对象；以及

所述判断步骤中，基于所述第一前景对象和第二前景对象进行数据处理以分别判断所述被监测对象是否处于正常状态，并在都判断为处于非正常状态时才确定所述被监测对象处于非正常状态。

42.如权利要求41所述的监测方法，其特征在于，还包括步骤：根据被监测对象从所述前景对象提取相应的前景特征；

其中，所述判断步骤中，基于所述前景特征判断所述被监测对象是否处于正常状态。

43.如权利要求42所述的监测方法，其特征在于，所述被监测对象包括所述乘客运输机的着陆板，所述判断步骤中，在所述着陆板移位或缺失时被判断为非正常状态。

44.如权利要求43所述的监测方法，其特征在于，所述提取前景特征的步骤中，提取的前景特征包括前景对象的形状特征、尺寸特征和位置特征的一个或多个；所述判断步骤中，基于所述前景对象的形状特征、尺寸特征和位置特征的一个或多个判断所述着陆板是否移位或缺失。

45.如权利要求44所述的监测方法，其特征在于，所述数据帧由成像传感器获取时，所述提取前景特征的步骤中，提取的前景特征还包括前景对象的色彩特征；所述判断步骤中，还结合所述前景对象的色彩特征判断所述着陆板是否移位或缺失。

46.如权利要求43所述的监测方法，其特征在于，所述判断步骤中，基于前景对象的位置特征判断乘客或乘客携带的物品对应的前景对象是否位于所述着陆板上，如果判断为“是”，放弃基于当前处理的所述数据帧对所述着陆板是否处于正常状态的判断或放弃当前处理的所述数据帧对应的所述着陆板是否处于正常状态的判断结果。

47.如权利要求42所述的监测方法，其特征在于，所述被监测对象包括所述乘客运输机的梯级；所述判断步骤中，在所述梯级缺失时被判断为非正常状态。

48.如权利要求47所述的监测方法，其特征在于，所述提取前景特征的步骤中，提取的前景特征包括前景对象的形状特征、尺寸特征和位置特征的一个或多个；所述判断步骤中，基于所述前景对象的形状特征、尺寸特征和位置特征的一个或多个判断所述梯级是否缺失。

49.如权利要求48所述的监测方法，其特征在于，所述数据帧由成像传感器获取时，所述提取前景特征的步骤中，提取的前景特征还包括前景对象的色彩特征；所述判断步骤中，还结合所述前景对象的色彩特征判断所述梯级是否缺失。

50.如权利要求47所述的监测方法，其特征在于，所述判断步骤中，基于前景对象的位置特征判断乘客或乘客携带的物品对应的前景对象是否位于所述梯级上，如果判断为“是”，放弃基于当前处理的所述数据帧对所述梯级是否处于正常状态的判断或放弃当前处理的所述数据帧对应的所述梯级是否处于正常状态的判断结果。

51.如权利要求42所述的监测方法，其特征在于，所述被监测对象包括在维护检修工况下的所述乘客运输机的使用的安全护栏，所述判断步骤中，在所述安全护栏缺失和/或置放位置不当时被判断为非正常状态。

52.如权利要求51所述的监测方法，其特征在于，所述获取背景模型的步骤中，基于所述安全护栏处于正常状态下感测的数据帧获取第一背景模型，或者基于所述安全护栏处于未置放的非正常状态下感测的数据帧获取第二背景模型。

53.如权利要求51所述的监测方法，其特征在于，所述提取前景特征的步骤中，提取的前景特征包括前景对象的形状特征、尺寸特征和位置特征的一个或多个；所述判断步骤中，基于所述前景对象的形状特征、尺寸特征和位置特征的一个或多个判断所述安全护栏是否缺失和/或置放位置不当。

54.如权利要求53所述的监测方法，其特征在于，所述数据帧由成像传感器获取时，所述提取前景特征的步骤中，提取的前景特征还包括前景对象的色彩特征；所述判断步骤中，还结合所述前景对象的色彩特征判断所述安全护栏是否缺失和/或置放位置不当。

55.如权利要求52所述的监测方法，其特征在于，所述提取前景特征的步骤中，将实时感测的数据帧与所述第二背景模型进行比对处理以获得前景对象；

所述判断步骤中，确定所述前景对象是否包括所述安全护栏的前景对象，在不包括所述安全护栏的前景对象时，确定所述安全护栏处于所述安全护栏缺失的正常状态。

56.如权利要求55所述的监测方法，其特征在于，所述判断步骤中，在确定包括所述安全护栏的前景对象时，基于所述安全护栏的前景对象的位置特征判断所述安全护栏是否处于相应的正确位置的正常状态；

其中，所述安全护栏的前景对象的位置特征在所述提取前景特征的步骤中获得。

57.如权利要求56所述的监测方法，其特征在于，所述数据帧由所述深度感测传感器感测获得时，所述安全护栏的前景对象的位置特征为3D位置特征。

58.如权利要求56或57所述的监测方法，其特征在于，所述安全护栏的前景对象的位置特征包括所述安全护栏的前景对象的多个角点对应的位置特征和/或所述安全护栏的前景对象的中心点对应的位置特征。

59.如权利要求43或47或51所述的监测方法，其特征在于，所述获取背景模型的步骤中，基于在所述被监测对象处于正常状态感测的数据帧获取背景模型；所述判断步骤中，在基本没有所述前景对象时直接确定所述被监测对象处于正常状态。

60.如权利要求44或48或53所述的监测方法，其特征在于，所述提取前景特征的步骤还包括提取以下特征的一个或多个：尺度不变特征转换、加速鲁棒特征、仿射尺度不变特征变换、哈里斯角点检测、 最小同值分割吸收核、FAST角点检测、相位相关、归一化互相关、渐变位置方向直方图、 二元鲁棒独立基本特征、环绕中心极值以及面向的和旋转的二元鲁棒独立基本特征。

61.如权利要求44或48或53所述的监测方法，其特征在于，所述形状特征包括以下特征的一个或多个：方向梯度的直方图、泽尼克矩、形心相对边界点分布不变和轮廓曲率。

62.如权利要求44或48或53所述的监测方法，其特征在于，所述判断步骤中，使用以下技术的一个或多个来对其所使用的特征进行比较或分类：集群、深层学习、卷积神经网络、递归神经网络、 字典学习、视觉词袋、支持向量机、决策树和模糊逻辑。

63.如权利要求41所述的监测方法，其特征在于，所述被监测对象包括所述乘客运输机的在日常运行工况下的至少梯级的速度，所述数据帧为某一时段感测获取的序列帧；所述判断步骤中，在至少所述梯级的运行速度超速或发生反转时判断为非正常状态。

64.如权利要求63所述的监测方法，其特征在于，所述获得前景对象的步骤中，从实时获取的序列帧减去所述背景模型获得前景对象，进而将所述序列帧中不存在前景对象的区域定义为速度感测区域；并且，所述判断步骤还包括以下子步骤：

基于光流法计算所述序列帧中任何相邻帧之间的速度感测区域的相应特征点在帧坐标下的移位；

将所述特征点在帧坐标中的移位转换为在空间全局坐标下的移位；

确定所述序列帧中任何相邻帧之间的时间量；和

基于所述特征点在空间全局坐标下的移位和对应的时间量计算获得任何相邻帧对应时间点的速度信息，并进一步组合获得所述序列帧的速度信息。

65.如权利要求64所述的监测方法，其特征在于，所述速度信息包括速度大小信息以及速度方向信息，在计算速度信息的子步骤中，基于所述速度方向信息判断是否发生反转运行、基于所述速度大小信息判断是否发生速度异常。

66.如权利要求64所述的监测方法，其特征在于，所述被监测对象还包括所述乘客运输机的在日常运行工况下的至少梯级的速度，其中所述序列帧仅由所述成像传感器获取。

67.如权利要求64所述的监测方法，其特征在于，如果所述序列帧通过所述成像传感器感测获取，在计算移位的子步骤中，光流法计算所使用的光流场反映所述数据帧上每一像素点的亮度和/或色度的变化趋势。

68.如权利要求64所述的监测方法，其特征在于，在计算速度信息的子步骤中，对所述序列帧对应的多个速度信息进行平滑过滤处理，过滤后留下的速度信息被组合形成所述序列帧的速度信息。

69.如权利要求68所述的监测方法，其特征在于，在所述平滑过滤处理中，使用有限脉冲响应滤波器进行过滤。

70.如权利要求64所述的监测方法，其特征在于，所述序列帧包括所述成像传感器获取的第一序列帧和所述深度感测传感器获取的第二序列帧；其中，计算移位的子步骤、移位转换子步骤、确定时间量的子步骤和计算速度信息的子步骤均针对所述第一序列帧和第二序列帧进行分别处理以分别获得第一速度信息和第二速度信息。

71.如权利要求70所述的监测方法，其特征在于，在计算速度信息的子步骤中，基于所述第一速度信息和第二速度信息加权计算获得所述速度信息。

72.如权利要求41或42所述的监测方法，其特征在于，所述判断步骤中，确定所述被监测对象处于非正常状态时触发输出信号至所述乘客运输机和/或楼宇的电梯维护中心以实现预防安全事故发生。

73.如权利要求64所述的监测方法，其特征在于，还包括计算所述序列帧的特征点的步骤。

74.一种乘客运输系统，包括乘客运输机和如权利要求1至40中任一项所述的监测系统。

Images