[go: up one dir, main page]

CN105519102B - 视频监控方法和视频监控系统 - Google Patents

视频监控方法和视频监控系统 Download PDF

Info

Publication number
CN105519102B
CN105519102B CN201580000334.1A CN201580000334A CN105519102B CN 105519102 B CN105519102 B CN 105519102B CN 201580000334 A CN201580000334 A CN 201580000334A CN 105519102 B CN105519102 B CN 105519102B
Authority
CN
China
Prior art keywords
information
video
video data
acquisition device
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580000334.1A
Other languages
English (en)
Other versions
CN105519102A (zh
Inventor
俞刚
李超
尚泽远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Publication of CN105519102A publication Critical patent/CN105519102A/zh
Application granted granted Critical
Publication of CN105519102B publication Critical patent/CN105519102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及基于深度视频的视频监控方法、视频监控系统以及计算机程序产品。一种视频监控方法，包括：获取经由视频采集装置采集的视频数据；基于所述视频数据，确定作为监控目标的对象；以及提取所述对象的特征信息；其中，所述视频数据为包含深度信息的视频数据。

Description

视频监控方法和视频监控系统
技术领域
本公开涉及视频监控领域，更具体地，本公开涉及基于深度视频的视频监控方法和视频监控系统。
背景技术
当前的图像或者视频监控往往需要依赖于工作人员人工的检测和处理。虽然越多来多的场景(例如机场、车站、商场、街道等)有摄像头覆盖，但是因为监控系统自身无法实现对行人特征的分析和跟踪，所以需要很多人力来进行处理和监视。这样需要配备大量的人力去进行监控和管理，并且随着摄像头规模进一步扩大后，难以高效的处理和反应一些突发事件。
智能监控的目的是根据图像数据，自动跟踪视频场景中的行人，并且对每个行人的特点和行为做分析处理。目前，智能监控往往仅仅依赖于传统非深度相机(RGB摄像机)。由于相机本身的限制，导致行人跟踪的精度不准，并且受限于场景中的行人动作姿态，所以基于行人的特征分析效果达不到预期。深度相机(深度摄像机)目前已被广泛用于人机交互等应用场景，但目前还不存在成熟的系统和方法能将其推广到智能监控领域。特别地，现有的各种监控系统，均无法实现对行人的特征(比如身高、体重、运动速度)的准确分析和对行人异常行为的有效检测。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种基于深度视频的视频监控方法、视频监控系统以及计算机程序产品，其能够高速有效地跟踪场景中的行人，并且准确实时地分析行人的特征信息，从而实现对于场景的统计分析以及异常情况监控。
根据本公开的一个实施例，提供了一种视频监控方法，包括：获取经由视频采集装置采集的视频数据；基于所述视频数据，确定作为监控目标的对象；以及提取所述对象的特征信息；其中，所述视频数据为包含深度信息的视频数据。
此外，根据本公开的一个实施例的视频监控方法，还包括：配置所述视频采集装置，并且确定所述视频采集装置的坐标参数。
此外，根据本公开的一个实施例的视频监控方法，其中确定所述视频采集装置的坐标参数包括：选择预定基准面上的多个基准点；基于所述多个基准点的坐标信息，确定所述视频采集装置的相机坐标系统与世界坐标系统的变换关系；基于所述变换关系，确定所述视频采集装置的坐标参数。
此外，根据本公开的一个实施例的视频监控方法，其中，所述基于所述视频数据，确定作为监控目标的对象包括：确定所述视频数据中的背景信息；基于所述背景信息，确定所述视频数据的每帧中的前景信息；获取对应于所述前景信息的前景区域的边缘轮廓信息；以及基于所述边缘轮廓信息，确定所述对象。
此外，根据本公开的一个实施例的视频监控方法，其中，基于所述边缘轮廓信息，确定所述对象包括：基于所述边缘轮廓信息，获取候选块；确定大于第一预定阈值的所述候选块为候选对象；以及基于预定算法获取所述候选对象的评估值，确定所述评估值大于第二预定阈值的所述候选对象为所述对象。
此外，根据本公开的一个实施例的视频监控方法，其中，基于所述边缘轮廓信息，确定所述对象还包括：匹配前一帧与当前帧中确定的所述对象的每一个，以确定离开前一帧的对象。
此外，根据本公开的一个实施例的视频监控方法，其中所述对象的特征信息包括：对象的体型信息以及移动速度。
此外，根据本公开的一个实施例的视频监控方法，其中提取所述对象的体型信息包括：选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定所述头部点在世界坐标系统中的坐标参数；以及基于所述头部点在世界坐标系统中的坐标参数，确定所述对象的头部距离地面的距离作为所述对象的身高信息。
此外，根据本公开的一个实施例的视频监控方法，其中提取所述对象的体型信息包括：选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定在世界坐标系统中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
此外，根据本公开的一个实施例的视频监控方法，还包括：
计算所述对象的第一固定点在世界坐标体系中在第一选定帧与第二选定帧之间的运动距离；
基于所述第一选定帧与所述第二选定帧之间的时间间隔以及所述运动距离，确定所述对象的移动速度。
此外，根据本公开的一个实施例的视频监控方法，其中提取所述对象的体型信息还包括：提取所述对象的身高信息和轮廓信息；基于预先采集的不同对象的身高信息、轮廓信息与体重信息之间的对应关系，根据所述对象的身高信息和轮廓信息确定所述对象的体重信息。
此外，根据本公开的一个实施例的视频监控方法，还包括：分析所述特征信息，确定所述对象的异常事件，其中分析所述特征信息，确定所述对象的异常事件包括：在预定时间段内所述对象的体型信息的变化大于预定第三阈值时和/或所述对象的移动速度大于第四阈值时，确定所述对象的异常事件。
根据本公开的另一个实施例，提供了一种视频监控系统，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取经由视频采集装置采集的视频数据；基于所述视频数据，确定作为监控目标的对象；以及提取所述对象的特征信息；其中，所述视频数据为包含深度信息的视频数据。
此外，根据本公开的另一个实施例的视频监控系统，还包括用于采集所述视频数据的所述视频采集装置。
此外，根据本公开的另一个实施例的视频监控系统，其中在所述计算机程序指令被所述处理器运行时还执行以下步骤：选择预定基准面上的多个基准点；基于所述多个基准点的坐标信息，确定所述视频采集装置的相机坐标系统与世界坐标系统的变换关系；基于所述变换关系，确定所述视频采集装置的坐标参数。
此外，根据本公开的另一个实施例的视频监控系统，其中在所述计算机程序指令被所述处理器运行时所执行的基于所述视频数据，确定作为监控目标的对象的步骤包括：确定所述视频数据中的背景信息；基于所述背景信息，确定所述视频数据的每帧中的前景信息；获取对应于所述前景信息的前景区域的边缘轮廓信息；以及基于所述边缘轮廓信息，确定所述对象。
此外，根据本公开的另一个实施例的视频监控系统，其中在所述计算机程序指令被所述处理器运行时所执行的基于所述边缘轮廓信息，确定所述对象的步骤包括：基于所述边缘轮廓信息，获取候选块；确定大于第一预定阈值的所述候选块为候选对象；以及基于预定算法获取所述候选对象的评估值，确定所述评估值大于第二预定阈值的所述候选对象为所述对象。
此外，根据本公开的另一个实施例述的视频监控系统，其中在所述计算机程序指令被所述处理器运行时所执行的基于所述边缘轮廓信息，确定所述对象的步骤还包括：匹配前一帧与当前帧中确定的所述对象的每一个，以确定离开前一帧的对象。
此外，根据本公开的另一个实施例的视频监控系统，其中所述对象的特征信息包括：对象的体型信息以及移动速度。
此外，根据本公开的另一个实施例的视频监控系统，其中在所述计算机程序指令被所述处理器运行时所执行的提取所述对象的体型信息的步骤包括：选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定所述头部点在世界坐标系统中的坐标参数；以及基于所述头部点在世界坐标系统中的坐标参数，确定所述对象的头部距离地面的距离作为所述对象的身高信息。
此外，根据本公开的另一个实施例的视频监控系统，其中在所述计算机程序指令被所述处理器运行时所执行的提取所述对象的体型信息的步骤包括：选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定在世界坐标系统中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
此外，根据本公开的另一个实施例的视频监控系统，其中在所述计算机程序指令被所述处理器运行时所执行的提取所述对象的特征信息的步骤包括：计算所述对象的第一固定点在世界坐标体系中在第一选定帧与第二选定帧之间的运动距离；基于所述第一选定帧与所述第二选定帧之间的时间间隔以及所述运动距离，确定所述对象的移动速度。
此外，根据本公开的另一个实施例的视频监控方法，其中在所述计算机程序指令被所述处理器运行时所执行的提取所述对象的体型信息的步骤还包括：提取所述对象的身高信息和轮廓信息；基于预先采集的不同对象的身高信息、轮廓信息与体重信息之间的对应关系，根据所述对象的身高信息和轮廓信息确定所述对象的体重信息。
此外，根据本公开的另一个实施例的视频监控系统，其中在所述计算机程序指令被所述处理器运行时还执行：分析所述特征信息，确定所述对象的异常事件，并且其中在所述计算机程序指令被所述处理器运行所执行的确定所述对象的异常事件的步骤包括：在预定时间段内所述对象的体型信息的变化大于预定第三阈值时和/或所述对象的移动速度大于第四阈值时，确定所述对象的异常事件。
根据本公开的又一个实施例，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取经由视频采集装置采集的视频数据；基于所述视频数据，确定作为监控目标的对象；以及提取所述对象的特征信息；其中，所述视频数据为包含深度信息的视频数据。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示根据本发明实施例的视频监控方法的流程图。
图2是图示根据本发明实施例的视频监控系统的功能性框图。
图3是进一步图示根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程图。
图4是图示用于确定视频采集装置的参数的相机坐标系统和世界坐标系统的示意图。
图5是进一步图示根据本发明实施例的视频监控方法中确定作为监控目标的对象的流程图。
图6是图示根据本发明实施例的视频监控方法中确定前景信息的示意图。
图7是进一步图示根据本发明实施例的视频监控方法中确定对象的身高信息的第一示例的流程图。
图8是进一步图示根据本发明实施例的视频监控方法中确定对象的身高信息的第二示例的流程图。
图9是图示根据本发明实施例的视频监控方法中确定对象的身高信息的示意图。
图10是进一步图示根据本发明实施例的视频监控方法中确定对象的移动速度的流程图。
图11是图示根据本发明实施例的视频监控方法中确定对象的移动速度的示意图。
图12是进一步图示根据本发明实施例的视频监控方法中确定对象的体重信息的流程图。
图13是进一步图示根据本发明实施例的视频监控方法中确定对象的异常事件的流程图。
图14是图示根据本发明实施例的视频监控系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
以下，将参考附图详细描述本发明的优选实施例。
图1是图示根据本发明实施例的视频监控方法的流程图。如图1所示，根据本发明实施例的视频监控方法包括以下步骤。
在步骤S101中，获取经由视频采集装置采集的视频数据。在本发明的一个实施例中，所述视频采集装置为能够获取被摄体的深度信息的深度相机(深度摄像机)。获取经由视频采集装置采集的视频数据包括但不限于，在由物理位置上分离配置的视频采集装置采集视频数据之后，经由有线或者无线方式，接收从所述视频采集装置发送的视频数据。可替代地，视频采集装置可以与视频监控系统中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，视频监控系统中的其他模块或组件经由内部总线接收从所述视频采集装置发送的视频数据。此后，处理进到步骤S102。
在步骤S102中，基于所述视频数据，确定作为监控目标的对象。在本发明的一个实施例中，所述作为监控目标的对象为所述视频数据中记录的行人和/或其他物体，诸如交通工具、动物等。确定作为监控目标的对象一般地包括对于深度视频数据进行背景建模，然后根据背景数据来判断各个帧中的前景信息，并且基于预定算法获得前景区域的边缘轮廓信息，从而基于各个前景区域的轮廓来判断是否为待监控的对象。以下，将参照附图进一步详细描述如何确定作为监控目标的对象的流程。此后，处理进到步骤S103。
在步骤S103中，提取所述对象的特征信息。在本发明的一个实施例中，所述对象的特征信息包括但不限于所述对象的身高、体重、移动速度等中的至少一种。以下，将参照附图进一步详细描述如何提取所述对象的特征信息的流程。
上述根据本发明实施例的视频监控方法，采用深度相机/摄像机作为视频采集装置，从而实现基于深度视频信息的对象检测和特征信息提取，为进一步的统计分析和异常情况监控提供了准确和高效的数据保证。
以下，将参照图2进一步描述执行上述视频监控方法的视频监控系统。
图2是图示根据本发明实施例的视频监控系统的功能性框图。如图2所示，根据本发明实施例的视频监控系统20包括视频数据获取模块21、监控对象确定模块22、特征信息提取模块23以及特征信息分析模块24。所述视频数据获取模块21、监控对象确定模块22、特征信息提取模块23以及特征信息分析模块24例如可以由诸如硬件(服务器、专用计算机等)、软件、固件以及它们的任意可行的组合配置。
具体地，所述视频数据获取模块21用于获取视频数据。在本发明的一个实施例中，所述视频数据获取模块21可以包括能够获取被摄体的深度信息的深度相机(深度摄像机)的视频采集装置。所述视频采集装置可以与其后的监控对象确定模块22、特征信息提取模块23以及特征信息分析模块24物理上分离，或者物理上位于同一位置甚至位于同一机壳内部。在所述视频采集装置与其后的监控对象确定模块22、特征信息提取模块23以及特征信息分析模块24物理上分离的情况下，所述视频数据获取模块21进一步经由有线或者无线方式将所述视频采集装置获取的深度视频数据发送给其后的模块。在所述视频采集装置与其后的监控对象确定模块22、特征信息提取模块23以及特征信息分析模块24物理上位于同一位置甚至位于同一机壳内部的情况下，所述视频数据获取模块21经由内部总线将所述视频采集装置获取的深度视频数据发送给其后的模块。所述视频数据可以包括深度视频数据以及彩色视频数据。更具体地，可以根据视频采集装置的位置参数以及视频数据中每个像素点的深度信息值，确定视频数据中每个像素的三维位置参数。在经由有线或者无线方式或者经由内部总线发送所述视频数据之前，可以将其预定格式进行编码和压缩为视频数据包，以减少发送需要占用的通信量和带宽。
所述监控对象确定模块22用于基于从所述视频数据获取模块21获取的所述视频数据，确定作为监控目标的对象。所述监控对象确定模块22例如对于深度视频数据进行背景建模，然后根据背景数据来判断各个帧中的前景信息，并且基于预定算法获得前景区域的边缘轮廓信息，从而基于各个前景区域的轮廓来判断是否为待监控的对象。更具体地，所述监控对象确定模块22可以检测视频的每一帧中是否存储在行人，并且确定每个行人的具体位置。对于不同帧中的行人进行匹配关联，实现对于行人在不同帧中的准备追踪。
所述特征信息提取模块23用于对于由所述监控对象确定模块22确定的待监控的对象，基于从所述视频数据获取模块21获取的所述视频数据，提取各个待监控的对象的特征信息，诸如所述对象的身高、体重、移动速度等。
所述特征信息分析模块24用于对于由所述特征信息提取模块23提取的特征信息进行存储、统计分析以及异常情况的监控。更具体地，存储的数据包括但不限于行人在每一帧的位置、每个行人的特征信息、每一帧图像的具体时刻等。所述特征信息分析模块24实时分析特征信息以监控可能出现的异常情况，并且对于长期存储的特征信息进行整理和统计规律提取。例如，行人在哪个时刻比较多地出现，行人的平均身高、体重等特征。
以下，将进一步参照附图详细描述由根据本发明实施例的视频监控系统的各个模块执行的根据本发明实施例的视频监控方法的各个具体步骤流程。
首先，参照图3和图4描述视频采集装置的配置以及视频采集装置的坐标参数的确定。可以由上述视频数据获取模块21控制和执行视频采集装置的配置以及视频采集装置的坐标参数的确定。图3是进一步图示根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程图。图4是图示用于确定视频采集装置的参数的相机坐标系统和世界坐标系统的示意图。
如图3所示，根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程包括以下步骤。
在步骤S301中，配置视频采集装置。将作为所述视频采集装置的深度相机(深度摄像机)安装在需要监控的场景中。通常，深度相机(深度摄像机)的安装高度为2-3.5米，其视角为俯视地面(如图4示意性所示)。在此，所述视频采集装置可以是单一深度相机(即，只有深度相机镜头)或者深度彩色双镜头相机。在深度彩色双镜头相机的情况下，需要对相机进行校准，使得两个镜头得到的图像相对应和同步。此后，处理进到步骤S302，以便对于安装后的所述视频采集装置，确定其离基准面的实际高度和角度等坐标参数。
在步骤S302中，选择预定基准面上的多个基准点。如图4所示，所述预定基准面可以是地平面，选择的基准点的数目越大(例如，大于等于5个)，精度越高。此后，处理进到步骤S303。
在步骤S303中，基于选择的多个基准点的坐标信息，确定视频采集装置的相机坐标系统与世界坐标系统的变换关系。如图4所示，由点Oc与Xc、Yc和Zc轴构成的直角坐标系为相机坐标系统。为了描述相机的位置，引入世界坐标系统，由点Ow与Xw、Yw和Zw轴构成的直角坐标系为世界坐标系统。可以通过选择多个基准点，基于最小二乘法来估计相机坐标系统到世界坐标系统的转换矩阵，即相机坐标系统与世界坐标系统的变换关系。此后，处理进到步骤S304。
在步骤S304中，基于所述变换关系，确定视频采集装置的坐标参数。通过利用所述变换关系，将相机坐标系统转换到世界坐标系统，可以确定视频采集装置的实际高度和角度等坐标参数。同样地，将视频采集装置采集的视频中的像素点转换到世界坐标系统，可以确定视频场景中的完整地平面位置。
以下，将参照图5和图6描述作为监控目标的对象的确定。可以由上述监控对象确定模块22控制和执行监控目标的对象的确定。图5是进一步图示根据本发明实施例的视频监控方法中确定作为监控目标的对象的流程图。图6是图示根据本发明实施例的视频监控方法中确定前景信息的示意图。
如图5所示，根据本发明实施例的视频监控方法中确定作为监控目标的对象的流程包括以下步骤。
在步骤S501中，确定视频数据中的背景信息。在本发明的一个实施例中，在根据深度视频进行背景建模时，例如可以拍摄没有任何监控对象存在的背景帧作为背景信息，如图6(A)示出了作为背景信息的背景帧601。此后，处理进到步骤S502。
在步骤S502中，基于所述背景信息，确定所述视频数据的每帧中的前景信息。在本发明的一个实施例中，例如如图6(B)示出了所述视频数据的当前帧602，通过将所述背景帧601与所述当前帧602进行深度差比较，确定作为前景信息的前景区域603，如图6(C)所示。此后，处理进到步骤S503。
在步骤S503中，获取对应于所述前景信息的前景区域的边缘轮廓信息。在本发明的一个实施例中，根据在步骤S502中确定的前景区域，使用边缘检测算法来得到所述前景区域的边缘轮廓信息。此后，处理进到步骤S504。
在步骤S504中，基于所述边缘轮廓信息，获取候选块。在本发明的一个实施例中，基于在步骤S503中获取的边缘轮廓，使用双层轮廓来得到前景的多个候选块。此后，处理进到步骤S505。
在步骤S505中，确定大于第一预定阈值的所述候选块为候选对象。具在本发明的一个实施例中，所述第一预定阈值为候选块的最小可接受面积，其面积不大于所述第一预定阈值的候选块可能是由于噪声而产生的，从而剔除该面积过小的候选块，剩余的每一个候选块代表一个候选对象。此后，处理进到步骤S506。
在步骤S506中，基于预定算法获取所述候选对象的评估值，确定所述评估值大于第二预定阈值的所述候选对象为所述对象。在本发明的一个实施例中，可以基于彩色图像的行人检测算法和/或人头检测算法给每个候选对象进行评估，将其评估值大于第二预定阈值的候选对象确定为所述对象(例如，确定为行人)。在应用所述行人检测算法的情况下，遍历深度视频帧中所有可能的矩形框，每一个矩形框代表一个行人的候选区域。对于该区域，提取梯度直方图的图像特征，然后根据使用支持向量机来做分类，判断该矩形区域是否有行人存在。在应用人头检测算法的情况下，遍历深度视频帧中所有可能的矩形框，对于每个矩形框，提取颜色和纹理特征，此后采用训练好的支持向量机来判断该区域是否有人头存在。此后，处理进到步骤S507。
在步骤S507中，匹配前一帧与当前帧中确定的所述对象的每一个，以确定离开前一帧的对象。在本发明的一个实施例中，对于当前帧中确定的行人和前一帧中确定的行人进行匹配，匹配的标准可以是行人的行进距离以及候选对象上提取的颜色纹理信息。根据匹配的结果，可以得到同一个行人在不同帧上面的跟踪结果。例如，假设在第t-1帧中存在M个检测到的行人，在第t帧存在N个检测到的行人，那么需要求得第t-1帧检测到的行人与第t帧检测到的每个行人之间的距离，该距离可以定义为行人在两帧中头部点之间的空间位置距离。如果第t-1帧检测到的行人到第t帧的所有行人的最小距离小于预定阈值，则认为该第t-1帧检测到的行人匹配到第t帧中具有最小距离的行人。如果该最小距离大于预定阈值，则认为该第t-1帧检测到的行人已经离开第t帧，从而不再继续跟踪该行人。
以下，将参照图7到图12描述提取所述对象的特征信息。可以由上述特征信息提取模块23控制和执行所述对象的特征信息的提取。图7是进一步图示根据本发明实施例的视频监控方法中确定对象的身高信息的第一示例的流程图。图8是进一步图示根据本发明实施例的视频监控方法中确定对象的身高信息的第二示例的流程图。图9是图示根据本发明实施例的视频监控方法中确定对象的身高信息的示意图。图10是进一步图示根据本发明实施例的视频监控方法中确定对象的移动速度的流程图。图11是图示根据本发明实施例的视频监控方法中确定对象的移动速度的示意图。图12是进一步图示根据本发明实施例的视频监控方法中确定对象的体重信息的流程图。
如图7所示，根据本发明实施例的视频监控方法中确定对象的身高信息的第一示例的流程包括以下步骤。
在步骤S701中，选取对象距离所述视频采集装置的最近点作为所述对象的头部点。在本发明的一个实施例中，如图9所示，选取对象距离所述视频采集装置的最近点，因为行人为直立，所以该最近点可以假设为头部点901。此后，处理进到步骤S702。
在步骤S702中，基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定所述头部点在世界坐标系统中的坐标参数。如上参照图3和图4已经描述的，可以将所述头部点在所述视频采集装置的相机坐标系统中的坐标参数转换为世界坐标系统的坐标参数。此后，处理进到步骤S703。
在步骤S703中，基于所述头部点在世界坐标系统中的坐标参数，确定所述对象的头部距离地面的距离作为所述对象的身高信息。在本发明的一个实施例中，如图9所示，确定头部点901距离地面的距离为所述对象的身高902。
根据本发明实施例的视频监控方法中确定对象的身高信息的方法不限于如图7所示的第一示例。如图8所示，根据本发明实施例的视频监控方法中确定对象的身高信息的第二示例的流程包括以下步骤。
在步骤S801中，类似于步骤S701，选取对象距离所述视频采集装置的最近点作为所述对象的头部点。此后，处理进到步骤S802。
在步骤S802中，选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点。在本发明的一个实施例中，脚底点可以定义为行人的前景区域在图像坐标系的纵轴上的最大值的点。此后，处理进到步骤S803。
在步骤S803中，基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定在世界坐标体系中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
除了参照图7到图9描述的身高信息，所述对象的特征信息还包括所述对象的移动速度以及体重信息等。
如图10所示，根据本发明实施例的视频监控方法中确定对象的移动速度的流程包括以下步骤。
在步骤S1001中，计算所述对象的第一固定点在世界坐标体系中在第一选定帧与第二选定帧之间的运动距离。在本发明的一个实施例中，所述第一固定点可以是所述对象的头部点。本发明不限于此，所述第一固定点还可以是所述对象的脚底点或对象上的任一固定点。在本发明的一个实施例中，第一选定帧是第T帧，第二选定帧是第T+t帧。如图11所示，所述对象在第一选定帧中是对象1101，在第二选定帧中是对象1102。所述第一固定点在世界坐标体系中在第一选定帧第T帧与第二选定帧第T+t帧之间的运动距离为运动距离1103。此后，处理进到步骤S1002。
在步骤S1002中，基于所述第一选定帧与所述第二选定帧之间的时间间隔以及所述运动距离，确定所述对象的移动速度。也就是说，所述对象的移动速度可以确定为V＝运动距离1103/t。
如图12所示，根据本发明实施例的视频监控方法中确定对象的体重信息的流程包括以下步骤。
在步骤S1201中，提取所述对象的身高信息和轮廓信息。此后，处理进到步骤S1202。
在步骤S1202中，基于预先采集的不同对象的身高信息、轮廓信息与体重信息之间的对应关系，根据所述对象的身高信息和轮廓信息确定所述对象的体重信息。在本发明的一个实施例中，首先采集包含不同身高体重的行人的数据集。其后，采集每个行人在深度相机下处于不同深度时的相应轮廓信息。对于每个轮廓的面积，根据该轮廓所在的深度距离进行正规化。然后，将所有行人的身高进行量化(例如，量化为多个身高区间)，对于落在同一区间内的所有数据拟合，从而建立正规化的轮廓面积与体重之间的关系。当已经建立和训练好对应关系的模型之后，当需要测量行人的体重时，根据该行人的身高所在区域的线性模型，以及正规化后的行人的轮廓面积，得到根据所述对应关系的模型确定的体重值。
以上参照图7到图12描述的所述对象的特征信息可以进一步用于对于对象的异常事件的监控。图13是进一步图示根据本发明实施例的视频监控方法中确定对象的异常事件的一种流程图。
如图13所示，根据本发明实施例的视频监控方法中确定对象的异常事件的流程包括以下步骤。其中，步骤S1301到步骤S1303与参照图1描述的步骤S101到S103相同，将省略其重复描述。
在步骤S1304中，分析所述特征信息。可以由上述特征信息分析模块24控制和执行所述特征信息的分析。在本发明的一个实施例中，分析所述特征信息包括分析获取的对象体型信息以及对象的移动速度。此后，处理进到步骤S1305。
在步骤S1305中，判断所述对象的体型信息的变化是否大于预定阈值。在本发明的一个实施例中，如果行人的身高信息与之前帧相比出现的变化大于预定阈值(例如，1米)，则可以判断出现诸如行人摔倒的异常事件。如果在步骤S1305获得肯定结果，则处理进到步骤S1307。
在步骤S1307中，判断出现异常事件。在本发明的一个实施例中，响应于出现异常事件，可以以适当的方式向视频监控系统的监控人员发出出现异常事件的警报。
如果在步骤S1305获得否定结果，则处理进到步骤S1306。
在步骤S1306中，继续判断所述对象的移动速度是否大于预定阈值。在本发明的一个实施例中，如果行人的移动速度突然大于预定阈值(例如，4米/秒)，则可以判断有异常事件出现。如果在步骤S1306获得肯定结果，则处理进到步骤S1307。相反地，如果在步骤S1306获得肯定结果，则确定基于步骤S1304的特征信息的分析，没有异常事件出现，处理返回步骤S1301。从而继续实时获取经由视频采集装置采集的视频数据并且继续执行监控。
以上步骤S1301至步骤S1307仅为确定对象的异常事件的一种示例性流程。在确定对象的异常事件的其他实现方式中，可以仅监控对象的移动速度，也可以仅监控对象的体型信息的变化，可以同时监控对象的体型信息的变化和对象的移动速度，还可以先监控对象的移动速度再监控对象的体型信息的变化，在此并不进行限定。
图14是图示根据本发明实施例的视频监控系统的示意性框图。如图14所示，根据本发明实施例的视频监控系包括：处理器141、存储器142、以及在所述存储器142的中存储的计算机程序指令143。
所述计算机程序指令143在所述处理器141运行时可以实现根据本发明实施例的视频监控系统的各个功能模块的功能，并且/或者可以执行根据本发明实施例的视频监控方法的各个步骤。
具体地，在所述计算机程序指令143被所述处理器141运行时执行以下步骤：获取经由视频采集装置采集的视频数据；基于所述视频数据，确定作为监控目标的对象；以及提取所述对象的特征信息；其中，所述视频数据为包含深度信息的视频数据。
例如，在所述计算机程序指令143被所述处理器141运行时还执行以下步骤：选择预定基准面上的多个基准点；基于所述多个基准点的坐标信息，确定所述视频采集装置的相机坐标系统与世界坐标系统的变换关系；基于所述变换关系，确定所述视频采集装置的坐标参数。
此外，在所述计算机程序指令143被所述处理器141运行时所执行的基于所述视频数据，确定作为监控目标的对象的步骤包括：确定所述视频数据中的背景信息；基于所述背景信息，确定所述视频数据的每帧中的前景信息；获取对应于所述前景信息的前景区域的边缘轮廓信息；以及基于所述边缘轮廓信息，确定所述对象。
此外，在所述计算机程序指令143被所述处理器141运行时所执行的基于所述边缘轮廓信息，确定所述对象的步骤包括：基于所述边缘轮廓信息，获取候选块；确定大于第一预定阈值的所述候选块为候选对象；以及基于预定算法获取所述候选对象的评估值，确定所述评估值大于第二预定阈值的所述候选对象为所述对象。
此外，在所述计算机程序指令143被所述处理器141运行时所执行的基于所述边缘轮廓信息，确定所述对象的步骤还包括：匹配前一帧与当前帧中确定的所述对象的每一个，以确定离开前一帧的对象。
此外，所述对象的特征信息包括：对象的体型信息以及移动速度。
此外，在所述计算机程序指令143被所述处理器141运行时所执行的提取所述对象的体型信息的步骤包括：选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定所述头部点在世界坐标系统中的坐标参数；以及基于所述头部点在世界坐标系统中的坐标参数，确定所述对象的头部距离地面的距离作为所述对象的身高信息。
此外，在所述计算机程序指令143被所述处理器141运行时所执行的提取所述对象的体型信息的步骤包括：选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定在世界坐标系统中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
此外，在所述计算机程序指令143被所述处理器141运行时所执行的提取所述对象的特征信息的步骤包括：计算所述对象的第一固定点在世界坐标体系中在第一选定帧与第二选定帧之间的运动距离；基于所述第一选定帧与所述第二选定帧之间的时间间隔以及所述运动距离，确定所述对象的移动速度。
此外，在所述计算机程序指令143被所述处理器141运行时所执行的提取所述对象的体型信息的步骤还包括：提取所述对象的身高信息和轮廓信息；基于预先采集的不同对象的身高信息、轮廓信息与体重信息之间的对应关系，根据所述对象的身高信息和轮廓信息确定所述对象的体重信息。
此外，在所述计算机程序指令143被所述处理器141运行时还执行：分析所述特征信息，确定所述对象的异常事件，并且其中在所述计算机程序指令被所述处理器运行所执行的确定所述对象的异常事件的步骤包括：在预定时间段内所述对象的体型信息的变化大于预定第三阈值时和/或所述对象的移动速度大于第四阈值时，确定所述对象的异常事件。
根据本发明实施例的视频监控系统中的各模块可以通过根据本发明实施例的视频监控系统中的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行人脸活动识别的计算机可读的程序代码。
所述计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在上面详细描述的本发明的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (29)

1.一种视频监控方法，包括：
获取经由视频采集装置采集的视频数据；
基于所述视频数据，确定作为监控目标的对象；以及
提取所述对象的特征信息；
其中，所述视频数据仅为包含深度信息的视频数据，
所述基于所述视频数据，确定作为监控目标的对象包括：
基于所述包括深度信息的视频数据，确定所述视频数据中的背景信息；
基于所述背景信息，确定所述视频数据的每帧中的前景信息；
获取对应于所述前景信息的前景区域的边缘轮廓信息；
基于所述边缘轮廓信息，获取候选块；
确定大于第一预定阈值的所述候选块为候选对象；以及
基于预定算法获取所述候选对象的评估值，确定所述评估值大于第二预定阈值的所述候选对象为所述对象，
其中所述第一预定阈值为所述候选块的最小可接受面积。
2.如权利要求1所述的视频监控方法，还包括：
配置所述视频采集装置，并且确定所述视频采集装置的坐标参数。
3.如权利要求2所述的视频监控方法，其中确定所述视频采集装置的坐标参数包括：
选择预定基准面上的多个基准点；
基于所述多个基准点的坐标信息，确定所述视频采集装置的相机坐标系统与世界坐标系统的变换关系；
基于所述变换关系，确定所述视频采集装置的坐标参数。
4.如权利要求1所述的视频监控方法，其中，基于所述边缘轮廓信息，确定所述对象还包括：
匹配前一帧与当前帧中确定的所述对象的每一个，以确定离开前一帧的对象。
5.如权利要求1所述的视频监控方法，其中所述对象的特征信息包括：对象的体型信息以及移动速度。
6.如权利要求5所述的视频监控方法，其中提取所述对象的体型信息包括：
选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；
基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定所述头部点在世界坐标系统中的坐标参数；以及
基于所述头部点在世界坐标系统中的坐标参数，确定所述对象的头部距离地面的距离作为所述对象的身高信息。
7.如权利要求5所述的视频监控方法，其中提取所述对象的体型信息包括：
选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；
选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点；
基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定在世界坐标系统中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
8.如权利要求5所述的视频监控方法，还包括：
计算所述对象的第一固定点在世界坐标体系中在第一选定帧与第二选定帧之间的运动距离；
基于所述第一选定帧与所述第二选定帧之间的时间间隔以及所述运动距离，确定所述对象的移动速度。
9.如权利要求5所述的视频监控方法，其中提取所述对象的体型信息还包括：
提取所述对象的身高信息和轮廓信息；
基于预先采集的不同对象的身高信息、轮廓信息与体重信息之间的对应关系，根据所述对象的身高信息和轮廓信息确定所述对象的体重信息。
10.如权利要求5所述的视频监控方法，还包括：
分析所述特征信息，确定所述对象的异常事件，
其中分析所述特征信息，确定所述对象的异常事件包括：
在预定时间段内所述对象的体型信息的变化大于预定第三阈值时和/或所述对象的移动速度大于第四阈值时，确定所述对象的异常事件。
11.一种视频监控系统，包括：
处理器；
存储器；和
存储在所述存储器中的计算机程序，在所述计算机程序被所述处理器运行时执行以下步骤：
获取经由视频采集装置采集的视频数据；
基于所述视频数据，确定作为监控目标的对象；以及
提取所述对象的特征信息；
其中，所述视频数据仅为包含深度信息的视频数据，
其中在所述计算机程序被所述处理器运行时所执行的基于所述视频数据，确定作为监控目标的对象的步骤包括：
基于所述包括深度信息的视频数据，确定所述视频数据中的背景信息；
基于所述背景信息，确定所述视频数据的每帧中的前景信息；
获取对应于所述前景信息的前景区域的边缘轮廓信息；
基于所述边缘轮廓信息，获取候选块；
确定大于第一预定阈值的所述候选块为候选对象；以及
基于预定算法获取所述候选对象的评估值，确定所述评估值大于第二预定阈值的所述候选对象为所述对象，
其中所述第一预定阈值为所述候选块的最小可接受面积。
12.如权利要求11所述的视频监控系统，还包括用于采集所述视频数据的所述视频采集装置。
13.如权利要求12所述的视频监控系统，其中在所述计算机程序被所述处理器运行时还执行以下步骤：
选择预定基准面上的多个基准点；
基于所述多个基准点的坐标信息，确定所述视频采集装置的相机坐标系统与世界坐标系统的变换关系；
基于所述变换关系，确定所述视频采集装置的坐标参数。
14.如权利要求13所述的视频监控系统，其中在所述计算机程序被所述处理器运行时所执行的基于所述边缘轮廓信息，确定所述对象的步骤还包括：
匹配前一帧与当前帧中确定的所述对象的每一个，以确定离开前一帧的对象。
15.如权利要求11所述的视频监控系统，其中所述对象的特征信息包括：对象的体型信息以及移动速度。
16.如权利要求15所述的视频监控系统，其中在所述计算机程序被所述处理器运行时所执行的提取所述对象的体型信息的步骤包括：
选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；
基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定所述头部点在世界坐标系统中的坐标参数；以及
基于所述头部点在世界坐标系统中的坐标参数，确定所述对象的头部距离地面的距离作为所述对象的身高信息。
17.如权利要求15所述的视频监控系统，其中在所述计算机程序被所述处理器运行时所执行的提取所述对象的体型信息的步骤包括：
选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；
选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点；
基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定在世界坐标系统中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
18.如权利要求15所述的视频监控系统，其中在所述计算机程序被所述处理器运行时所执行的提取所述对象的特征信息的步骤包括：
计算所述对象的第一固定点在世界坐标体系中在第一选定帧与第二选定帧之间的运动距离；
基于所述第一选定帧与所述第二选定帧之间的时间间隔以及所述运动距离，确定所述对象的移动速度。
19.如权利要求15所述的视频监控系统，其中在所述计算机程序被所述处理器运行时所执行的提取所述对象的体型信息的步骤还包括：
提取所述对象的身高信息和轮廓信息；
基于预先采集的不同对象的身高信息、轮廓信息与体重信息之间的对应关系，根据所述对象的身高信息和轮廓信息确定所述对象的体重信息。
20.如权利要求15所述的视频监控系统，其中在所述计算机程序被所述处理器运行时还执行：分析所述特征信息，确定所述对象的异常事件，并且其中在所述计算机程序被所述处理器运行所执行的确定所述对象的异常事件的步骤包括：
在预定时间段内所述对象的体型信息的变化大于预定第三阈值时和/或所述对象的移动速度大于第四阈值时，确定所述对象的异常事件。
21.一种视频监控系统，包括：
视频数据获取模块，用于获取视频数据；
监控对象确定模块，用于基于所述视频数据，确定作为监控目标的对象；
特征信息提取模块，用于提取所述对象的特征信息，
其中，所述视频数据仅为包含深度信息的视频数据，
其中所述监控对象确定模块基于所述包括深度信息的视频数据，确定所述视频数据中的背景信息；基于所述背景信息，确定所述视频数据的每帧中的前景信息；获取对应于所述前景信息的前景区域的边缘轮廓信息；基于所述边缘轮廓信息，获取候选块；确定大于第一预定阈值的所述候选块为候选对象；以及基于预定算法获取所述候选对象的评估值，确定所述评估值大于第二预定阈值的所述候选对象为所述对象，
其中所述第一预定阈值为所述候选块的最小可接受面积。
22.如权利要求21所述的视频监控系统，其中所述视频数据获取模块选择预定基准面上的多个基准点；基于所述多个基准点的坐标信息，确定所述视频数据获取模块的相机坐标系统与世界坐标系统的变换关系；基于所述变换关系，确定所述视频数据获取模块的坐标参数。
23.如权利要求21所述的视频监控系统，其中所述监控对象确定模块匹配前一帧与当前帧中确定的所述对象的每一个，以确定离开前一帧的对象。
24.如权利要求21所述的视频监控系统，其中所述对象的特征信息包括：对象的体型信息以及移动速度。
25.如权利要求24所述的视频监控系统，其中所述特征信息提取模块选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定所述头部点在世界坐标系统中的坐标参数；以及基于所述头部点在世界坐标系统中的坐标参数，确定所述对象的头部距离地面的距离作为所述对象的身高信息。
26.如权利要求24所述的视频监控系统，其中所述特征信息提取模块选取所述对象距离所述视频采集装置的最近点作为所述对象的头部点；选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点；基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系，确定在世界坐标系统中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
27.如权利要求24所述的视频监控系统，其中所述特征信息提取模块计算所述对象的第一固定点在世界坐标体系中在第一选定帧与第二选定帧之间的运动距离；基于所述第一选定帧与所述第二选定帧之间的时间间隔以及所述运动距离，确定所述对象的移动速度。
28.如权利要求24所述的视频监控系统，其中所述特征信息提取模块提取所述对象的身高信息和轮廓信息；基于预先采集的不同对象的身高信息、轮廓信息与体重信息之间的对应关系，根据所述对象的身高信息和轮廓信息确定所述对象的体重信息。
29.如权利要求24所述的视频监控系统，还包括：
特征信息分析模块，用于对于所述特征信息进行存储、统计分析以及异常事件的监控，
其中，所述特征信息分析模块在预定时间段内所述对象的体型信息的变化大于预定第三阈值时和/或所述对象的移动速度大于第四阈值时，确定所述对象的异常事件。
CN201580000334.1A 2015-03-26 2015-03-26 视频监控方法和视频监控系统 Active CN105519102B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075126 WO2016149938A1 (zh) 2015-03-26 2015-03-26 视频监控方法、视频监控系统以及计算机程序产品

Publications (2)

Publication Number Publication Date
CN105519102A CN105519102A (zh) 2016-04-20
CN105519102B true CN105519102B (zh) 2018-12-28

Family

ID=55725079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000334.1A Active CN105519102B (zh) 2015-03-26 2015-03-26 视频监控方法和视频监控系统

Country Status (3)

Country Link
US (1) US9792505B2 (zh)
CN (1) CN105519102B (zh)
WO (1) WO2016149938A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104994360B (zh) * 2015-08-03 2018-10-26 北京旷视科技有限公司 视频监控方法和视频监控系统
US10157452B1 (en) * 2015-09-28 2018-12-18 Amazon Technologies, Inc. Image processing system for image rectification
CN106204549B (zh) * 2016-06-30 2018-09-11 北京文安智能技术股份有限公司 一种基于视频分析的广告牌监测方法、装置及电子设备
CN106529400A (zh) * 2016-09-26 2017-03-22 深圳奥比中光科技有限公司 移动终端及其人体监测方法、装置
CN106529399A (zh) * 2016-09-26 2017-03-22 深圳奥比中光科技有限公司 人体信息采集方法、装置及系统
US10535142B2 (en) * 2017-01-10 2020-01-14 Electronics And Telecommunication Research Institute Method and apparatus for accelerating foreground and background separation in object detection using stereo camera
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
CN108364316A (zh) 2018-01-26 2018-08-03 阿里巴巴集团控股有限公司 交互行为检测方法、装置、系统及设备
CN109087275A (zh) * 2018-03-21 2018-12-25 杨娟 计算机评估方法
CN111354034A (zh) * 2019-04-02 2020-06-30 北京航空航天大学 面向轨道交通乘客表面积估算的图像识别系统及方法
CN110338800A (zh) * 2019-07-17 2019-10-18 成都泰盟软件有限公司 自动测量身高体重的躺椅
CN110418112A (zh) * 2019-08-09 2019-11-05 上海商汤智能科技有限公司 一种视频处理方法及装置、电子设备和存储介质
US11132585B2 (en) * 2019-12-17 2021-09-28 Robert Bosch Gmbh System and method for detecting abnormal passenger behavior in autonomous vehicles
CN111582242B (zh) * 2020-06-05 2024-03-26 上海商汤智能科技有限公司 滞留检测方法、装置、电子设备和存储介质
CN111767850A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 突发事件的监控方法、装置、电子设备和介质
CN112560610B (zh) * 2020-12-03 2021-09-28 西南交通大学 一种视频监控对象分析方法、装置、设备及可读存储介质
CN112528854B (zh) 2020-12-12 2023-07-25 南方电网调峰调频发电有限公司 振动对象监测方法、装置、计算机设备和存储介质
CN112700657B (zh) * 2020-12-21 2023-04-28 阿波罗智联(北京)科技有限公司 用于生成检测信息的方法、装置、路侧设备和云控平台
CN114758147B (zh) * 2020-12-29 2024-11-22 南宁富联富桂精密工业有限公司 人体异常姿态识别方法、装置及计算机可读存储介质
CN113099173A (zh) * 2021-03-25 2021-07-09 湖南桥康智能科技有限公司 一种具有物体位移测量计算功能的智能网络摄像机
CN114596526B (zh) * 2022-03-02 2024-09-06 捻果科技(深圳)有限公司 一种基于视频分析技术的机场安全联动预警方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN101727671A (zh) * 2009-12-01 2010-06-09 湖南大学 基于路面共线三点及其平行线的单摄像机标定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061781A1 (en) 2002-09-17 2004-04-01 Eastman Kodak Company Method of digital video surveillance utilizing threshold detection and coordinate tracking
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
WO2010004563A1 (en) * 2008-07-10 2010-01-14 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US8417062B2 (en) * 2009-10-19 2013-04-09 Ut-Battelle, Llc System and method for stabilization of fisheye video imagery
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US9740937B2 (en) * 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
CN102722721A (zh) * 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
CN103716579B (zh) * 2012-09-28 2017-05-10 中国科学院深圳先进技术研究院 视频监控方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN101727671A (zh) * 2009-12-01 2010-06-09 湖南大学 基于路面共线三点及其平行线的单摄像机标定方法

Also Published As

Publication number Publication date
US9792505B2 (en) 2017-10-17
CN105519102A (zh) 2016-04-20
WO2016149938A1 (zh) 2016-09-29
US20170032194A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
CN105519102B (zh) 视频监控方法和视频监控系统
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
CN104994360B (zh) 视频监控方法和视频监控系统
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
CN107566781B (zh) 视频监控方法和视频监控设备
US9235754B2 (en) Person tracking device, person tracking method, and non-transitory computer readable medium storing person tracking program
JP5603403B2 (ja) 対象物計数方法、対象物計数装置および対象物計数プログラム
CN105493502B (zh) 视频监控方法、视频监控系统以及计算机可读存储介质
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN112001230B (zh) 睡觉行为的监控方法、装置、计算机设备和可读存储介质
WO2015131734A1 (zh) 一种前视监视场景下的行人计数方法、装置和存储介质
CN110235083A (zh) 对象识别方法和系统的无监督学习
CN105938622A (zh) 检测运动图像中的物体的方法和装置
Khan Congestion detection in pedestrian crowds using oscillation in motion trajectories
CN105426827A (zh) 活体验证方法、装置和系统
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
KR20140109790A (ko) 영상 처리 장치 및 영상 처리 방법
CN101533472A (zh) 信息处理设备、方法和程序
CN106815563B (zh) 一种基于人体表观结构的人群数量预测方法
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
JP2020154808A (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR101529620B1 (ko) 이동 방향별 보행자 계수 방법 및 장치
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
CN104123569B (zh) 一种基于有监督学习的视频人数信息统计方法
CN114359962A (zh) 一种姿态识别方法、装置及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant