[go: up one dir, main page]

CN111507264A - 基于视频的行为分析方法、装置、设备 - Google Patents

基于视频的行为分析方法、装置、设备 Download PDF

Info

Publication number
CN111507264A
CN111507264A CN202010305224.9A CN202010305224A CN111507264A CN 111507264 A CN111507264 A CN 111507264A CN 202010305224 A CN202010305224 A CN 202010305224A CN 111507264 A CN111507264 A CN 111507264A
Authority
CN
China
Prior art keywords
human body
video
human
behavior
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010305224.9A
Other languages
English (en)
Inventor
周泓
杨诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010305224.9A priority Critical patent/CN111507264A/zh
Publication of CN111507264A publication Critical patent/CN111507264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种行为分析方法、装置、设备。所述方法包括：获取视频样本，对视频样本进行处理，通过预先训练好的人体姿态估计模型对视频样本进行人体关键点检测，得到视频样本中人体目标的姿态数据，通过预先训练好的人体行为分析模型对人体目标的姿态数据分析，得到人体目标的行为含义，从而通过人体姿态估计模型与人体行为分析模型的结合，实现对人体行为的细粒度分析，提高人体行为分析效果。

Description

基于视频的行为分析方法、装置、设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于视频的行为分析方法、装置、设备。
背景技术
行为分析是指通过特定的算法分析视频、深度传感器采集到的行为数据，实现对人的行为进行识别、分析的技术。心理学家以及社会学家们的研究表明，肢体语言在人类表达信息时占据着非常重要的地位，其表达信息的丰富程度和可信度都远远超过语言。可见，行为分析方面的研究在视频监控、人机交互、基于内容的视频检索等方面都有重要的作用。
当前情况下，大多数的行为分析方法可以在将人体目标的行为分类为一些已定义的行为类别，例如走路、跑步、抓取等，采用的算法通常为端到端的卷积神经网络。然而，现有的行为分析方法的关注点大多是粗粒度的行为分析，缺乏细粒度的行为分析方法。细粒度的行为分析对于改善人机交互和医疗诊断具有非常重要的作用。例如，在人机交互方面，对于机器人来讲，更好地理解人类的肢体语言对于人机交互体验的改善是必要的，而肢体语言往往是局部的动作，而非全局的行为。又如，在医疗诊断方面，尤其是一些运动障碍相关的疾病，在进行自动诊断时更多需要关注其行为的细节，而非其整体的行为。
发明内容
基于此，有必要针对上述技术问题，提供一种能够对用户行为进行细粒度分析的基于视频的行为分析方法、装置、设备和存储介质。
一种基于视频的行为分析方法，所述方法包括：
获取视频样本，对所述视频样本进行处理；
通过预先训练好的人体姿态估计模型对所述视频样本进行人体关键点检测，得到所述视频样本中人体目标的姿态数据；
通过预先训练好的人体行为分析模型对所述人体目标的姿态数据进行分析，得到所述人体目标的行为含义。
在其中一个实施例中，所述对所述视频样本进行处理的步骤，包括：
每隔预设的图像帧数对所述视频样本进行采样，得到视频子样本。
在其中一个实施例中，所述视频样本中人体目标的姿态数据包括所述人体目标在所述视频子样本中的姿态数据；所述通过预先训练好的人体姿态估计模型对所述视频样本进行人体关键点检测的步骤，包括：
通过所述人体姿态估计模型对所述视频子样本中的每帧图像进行人体关键点检测，得到所述每帧图像中的人体姿态无向图；
按照所述视频子样本中每帧图像的时间顺序，对所述人体姿态无向图进行排序，得到所述人体目标在所述视频子样本中的姿态数据。
在其中一个实施例中，所述人体行为分析模型为图卷积神经网络。
在其中一个实施例中，所述通过预先训练好的人体行为分析模型对所述人体目标的人体姿态数据进行分析的步骤，包括：
将所述人体目标的人体姿态数据输入所述人体行为分析模型，得到所述人体目标的行为类型；
根据行为类型与行为含义的预设对应关系，确定所述人体目标的行为类型所对应的行为含义。
在其中一个实施例中，所述获取视频样本之前，所述方法还包括：
获取训练样本，所述训练样本为预先标记了人体关键点的人体图像；
根据所述训练样本，对所述人体姿态估计模型进行有监督训练。
在其中一个实施例中，所述获取视频样本之前，所述方法还包括：
获取训练样本，所述训练样本为预先标记了行为类型的视频片段；
通过训练好的所述人体姿态估计模型对所述训练样本进行关键点检测，获得所述训练样本中人体目标的姿态数据；
通过所述训练样本中人体目标的姿态数据和所述训练图像对应的行为类型，对所述人体行为分析模型进行有监督训练。
一种基于视频的行为分析装置，所述装置包括：
视频获取模块，用于获取视频样本，对所述视频样本进行处理；
关键点检测模块，用于通过预先训练好的人体姿态估计模型对所述视频样本进行人体关键点检测，得到所述视频样本中人体目标的姿态数据；
姿态分析模块，用于通过预先训练好的人体行为分析模型对所述人体目标的姿态数据进行分析，得到所述人体目标的行为含义。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述行为分析方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述行为分析方法所述的步骤。
上述基于视频的行为分析方法、装置、设备和存储介质，获取视频样本，对视频样本进行处理，通过预先训练好的人体姿态估计模型对视频样本进行人体关键点检测，得到视频样本中人体目标的姿态数据，通过预先训练号的人体行为分析模型对人体目标的姿态数据进行分析，得到人体目标的行为含义，从而通过人体姿态估计模型和人体行为分析模型的结合，实现对人体行为的细粒度分析，有效地提高了行为分析的准确度。
附图说明
图1为一个实施例中基于视频的行为分析方法的流程示意图；
图2为另一个实施例中基于视频的行为分析方法的流程示意图；
图3为另一个实施例中基于视频的行为分析方法中人体姿态无向图的示例图；
图4为另一个实施例中基于视频的行为分析方法中人体姿态无向图序列的示例图；
图5为一个实施例中基于视频的行为分析方法中人体姿态估计模型的训练流程示例图；
图6为一个实施例中基于视频的行为分析方法中人体行为识别模型的训练流程示例图；
图7为一个实施例中基于视频的行为分析装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于视频的行为分析方法，可以应用于视频数据处理平台，视频数据处理平台可位于计算机上，也可位于服务器或者服务器群上。
在一个实施例中，如图1所示，提供了一种基于视频的行为分析方法，包括以下步骤：
步骤102，获取视频样本，对视频样本进行处理。
具体地，视频样本可为用户输入的人体动态视频，也可为摄像设备发送的人体动态视频，人体行为视频的视频内容为人体目标动态展现相应的行为姿态(例如走路、招手等)。其中，视频样本中可能出现一个人体目标，也可能出现多个不同的人体目标。当用户想要分析一个人体目标的行为含义时，可以在视频样本的预先标记或者选中该人体目标，以便后续追踪并分析该人体目标的行为含义，当用户想要分析多个不同人体目标的行为含义时，可以分别标记这些人体目标，也可都不进行标记，默认对视频样本中所有人体目标进行行为分析。
步骤104，通过预先训练的人体姿态估计模型对视频样本进行人体关键点检测，得到视频样本中人体目标的姿态数据。
具体地，预先训练好人体姿态估计模型，将视频样本输入人体姿态估计模型，以检测视频样本中各个人体目标的人体关键点，由这些人体关键点组合得到各个人体目标的姿态数据，从而通过人体关键点检测得到人体目标姿态的抽象化表示，有效减少了环境噪声的影响，同时使得后续的行为分析更为方便。其中，人体关键点在人体姿态估计模型训练时已经设置好，例如将头部、肩部、手腕、膝盖等部位设置为人体关键点。
在一个实施例中，人体姿态估计模型为卷积神经网络模型，从而通过卷积神经网络模型检测人体关键点，提高人体关键点的检测准确度。
步骤106，通过预先训练的人体行为分析模型对人体目标的姿态数据进行分析，得到人体目标的行为含义。
具体地，预先训练好人体行为分析模型，将各个人体目标的姿态数据输入人体行为分析模型，对各个人体目标的姿态数据进行细微分析，得到所对应的行为含义，从而分析得到人体目标的肢体语言。其中，行为含义即姿态数据所对应行为的表示意思，例如，摇头行为的表示意思通常为否定。
在一个实施例中，人体行为分析模型为卷积神经网络模型，从而通过人体行为分析模型进行对姿态数据进行分析，提高行为分析的细微程度和可靠度。
上述基于视频的行为分析方法中，先通过训练好的人体姿态估计模型对视频样本进行人体关键点检测，再通过训练好的人体行为分析模型对检测人体关键点得到的姿态数据进行分析，得到人体目标的行为含义，从而通过人体姿态估计模型得到人体目标姿态的抽象化表示，在降低环境噪声影响的同时提高后续行为分析的效率，通过人体行为分析模型实现对人体姿态进行细节分析。进而，通过人体姿态估计模型与人体行为分析模型的结合实现了针对细微的人体行为的分析，同时在改善人体行为分析模型时可不影响人体姿态估计模型，提高了模型的灵活性和可扩展性。
在一个实施例中，如图2所示，提供了一种基于视频的行为分析方法，该训练方法包括以下步骤：
步骤202，获取视频样本，每隔预设的图像帧数对视频样本进行采样，得到视频子样本。
具体地，获取视频样本，视频样本可为一个视频片段，也可为多个视频片段，且视频片段的时长不固定。为了提高人体姿态估计模型的处理效果，对视频样本进行处理。在处理时，每隔预设的图像帧数对视频样本进行采样，例如每隔5帧对视频样本进行一次采样，得到视频子样本，从而在相邻帧上人体目标的行为姿态基本不变时，通过间隔采样避免后续检测人体关键点时对视频片样本中的每一图像帧进行检测，在不影响人体关键点检测效果的前提下提高后续人体关键点的检测效率。
在一个实施例中，采样所得到的每个视频子样本的时长相同，从而通过保证人体姿态估计模型的输入数据的一致性，提高人体姿态估计模型的检测效果。
在一个实施例中，根据单个人体动作的平均时长，预先设置视频子样本的时长，从而使得每个视频子样本对应一个人体动作，保证视频子样本的完整性。
步骤204，通过人体姿态估计模型对视频子样本中的每帧图像进行人体关键点检测，得到每帧图像中的人体姿态无向图。
具体地，将视频子样本输入人体姿态估计模型，通过人体姿态估计模型对视频子样本中的每帧图像进行人体关键点检测，得到每帧图像中人体目标的各个人体关键点的分布情况，根据每帧图像中人体目标的人体关键点分布情况，构建每帧图像对应的人体姿态无向图，从而通过无向图这类数据结构结合人体关键点，抽象地表示出每帧图像中人体目标的姿态，通过一系列的人体姿态无向图即可抽象地表示出视频子样本中人体目标的行为。其中，人体关键点的分布情况可包括人体关键点的位置和人体关键点之间的连接关系，人体关键点之间的连接关系体现在人体姿态图中即为关键点之间的无向边，体现在图像中则为人体关键点之间是否存在肢体连接或者肢体接触，例如，当头部为关键点V1、颈部为关键点V2、手部为关键点V3，关键点V1和V2时必定连接的，手部触摸颈部则V3与V2之间存在连接关系，手部触摸头部则V3与V1之间存在连接关系。
作为示例地，图3为人体姿态无向图的示例图，在图3中分布有6个关键点：V1、V2、V3、V4、V5、V6，通过关键点检测可以从图像帧中检测到人体目标上这6个关键点的分布情况，根据这6个关键点的分布情况，可构建出该人体姿态无向图。
步骤206，按照视频子样本中每帧图像的时间顺序，对人体姿态无向图进行排序，得到人体目标在视频子样本中的姿态数据，人体目标在视频样本中的姿态数据包括人体目标在视频子样本中的姿态数据。
具体地，按照视频子样本中每帧图像的时间顺序，对视频子样本中每帧图像对应的人体姿态无向图进行排序，得到视频子样本中人体目标的人体姿态无向图序列。视频子样本中人体目标的人体姿态无向图序列，即该人体目标在视频子样本中的姿态数据，人体目标在视频样本中的姿态数据又包括该人体目标在视频子样本中的姿态数据。
作为示例地，图4为人体姿态无向图序列的示例图，在图4中，人体姿态无向图序列中包括按照时间顺序排列的n个人体姿态无向图，n的大小由视频子样本中的图像帧数决定，tn表示第n帧图像帧在视频子样本的时间轴上所对应的时间。
步骤208，通过预先训练好的人体行为分析模型对人体目标的姿态数据进行分析，得到人体目标的行为含义。
具体地，将人体目标在视频子样本中的姿态数据输入训练好的人体行为分析模型，通过人体行为分析模型对人体姿态无向图序列进行分析，得到人体姿态无向图序列所对应的行为类型，再根据行为类型与行为含义的预设对应关系，得到人体姿态无向图序列对应的行为含义，即得到人体目标的行为含义。
在一个实施例中，人体行为分析模型为图卷积神经网络，从而通过图卷积神经网络对人体姿态无向图进行分析，并在分析时捕捉到不同时间点的人体姿态无向图之间的联系，有效地提高基于人体姿态无向图序列的行为分析效果。
上述基于视频的行为分析方法中，将视频样本处理为视频子样本，通过人体姿态估计模型对视频子样本的每帧图像进行人体关键点提取，得到对视频子样本所对应的人体行为进行抽象表示的人体姿态无向图序列，通过人体行为分析模型对人体姿态无向图序列进行分析，得到人体目标的行为含义，从而通过人体姿态估计模型得到人体目标姿态的抽象化表示，在降低环境噪声影响的同时提高后续行为分析的效率，通过人体行为分析模型实现对人体姿态进行细节分析。进而，通过人体姿态估计模型与人体行为分析模型的结合实现了针对细微的人体行为的分析，同时在改善人体行为分析模型时可不影响人体姿态估计模型，提高了模型的灵活性和可扩展性。
在一个实施例中，如图5所示，提供了一种基于视频的行为分析方法中人体姿态估计模型的训练方法，该训练方法包括以下步骤：
步骤502，获取训练样本，训练样本包括预先标记了人体关键点的人体图像。
具体地，预先采集训练样本，训练样本为人体图像集，人体图像集中的每张人体图像包括一个或多个人体目标、且每个人体目标的人体关键点都被预先标记了。其中，可预先构建人体关键点数据集，在人体关键点数据集中包括各个可作为人体关键点的人体部位信息。例如，在人体关键点数据集中，将人体头部设置为关键点V1、将人体颈部设置为关键点V2、……等等，在此对人体关键点的设置不进行限制，又如，可采用微软发布的COCO数据集作为人体关键点数据集。
步骤504，根据训练样本，对人体姿态估计模型进行有监督训练。
具体地，将训练样本，即预先标记了人体目标的人体关键点的图像输入人体姿态估计模型，获得人体姿态估计模型输出的人体关键点分布情况，将人体姿态估计模型输出的人体关键点分布情况与预先标记的人体关键点分布情况进行比较，根据比较结果采用反向传播算法对人体姿态估计模型进行参数调整，再将训练样本中的下一张图像输入参数调整后的人体姿态估计模型，如此，不断收敛人体姿态估计模型输出的人体关键点分布情况与预先标记的人体关键点分布情况之间的误差，实现对人体姿态估计模型的有监督训练。
在一个实施例中，如图6所示，提供了一种基于视频的行为分析方法中人体行为分析模型的训练方法，该训练方法包括以下步骤：
步骤602，获取训练样本，训练样本包括预先标记了行为类型的视频片段。
具体地，预先采集人体行为视频，每隔预设图像帧数对人体行为视频进行一次采样，多次采样可得到一个视频片段，且保证一个视频片段对应一个行为类型。如此，可采样得到多个视频片段，并标记每个视频标段对应的行为类型。
在一个实施例中，每个视频片段的时长一致，从而分布保证人体姿态估计模型的输入数据中的图像数量、输出数据中的人体姿态无向图数量的一致性。
在一个实施例中，预先设置预设数量个行为类型，根据行为类型的种类数量，通过多维向量对行为类型进行表示，每一维对应一种行为类型，从而提高后续人体行为分析模型的有监督训练效果。作为示例地，预设设置40种行为类型，采样40维向量表示行为类型，每一维对应一种行为类型，(1，0，0，……，0)表示第一种行为类型，(0，1，0，0，……，0)表示第二种行为类型。
在一个实施例中，在设置行为类型时，同时根据专家意见设置不同行为类型对应的行为含义，从而在后续的人体行为分析模型确定了行为类型后，可以清楚地确定想要的行为含义。
步骤604，通过训练好的人体姿态估计模型对训练样本进行关键点检测，获得训练样本中人体目标的姿态数据。
具体地，从训练样本中获取一个视频片段，将该视频片段中的每帧视频图像依次输入训练好的人体姿态估计模型，检测每帧视频图像中的人体关键点，得到该视频片段中每帧视频图像对应的人体姿态无向图，按照每帧视频图像的时间顺序，对这些人体姿态无向图进行排序，得到该视频片段对应的人体姿态无向图序列。如此，可对所有视频片段进行上述关键点检测。由所有视频片段对应的人体姿态无向图序列，构成训练样本中人体目标的姿态数据。
步骤606，通过训练样本中人体目标的姿态数据和训练图像对应的行为类型，对人体行为分析模型进行有监督训练。
具体地，将视频片段对应的人体姿态无向图序列输入人体行为分析模型，获得人体行为分析模型输出的行为类型，将人体行为分析模型输出的行为类型与预先标记的视频片段的行为类型进行比较，根据比较结果和反向传播算法对人体行为分析模型进行参数调整，进而再将下一视频片段输入参数调整后的人体行为分析模型，依此，不断收敛人体行为分析模型输出的行为类型与预先标记的行为类型之间的误差，实现对人体行为分析模型的有监督训练。
在一个实施例中，人体行为分析模型为图卷积神经网络，在人体行为分析模型对人体姿态无向图序列进行分析时，每层隐藏层的输出可表示为：
Hl＝σ(f(Hl-1))，其中，l≥1，
Figure BDA0002455539520000101
Xi'j表示关键点Xij以及与Xij连接的关键点，Xij表示第i个人体姿态无向图中的第j个关键点(或顶点)，Wi表示第i个人体姿态无向图在当前隐藏层中对应的权重。从而通过人体行为模型分析人体姿态无向图序列时，能够捕捉到不同的人体姿态无向图之间的联系，间接地对人体姿态关系进行了建模，实现对细微、局部的人体行为的分析。
在一个实施例中，人体行为分析模型中采用了soft(指数归一化函数)分类器，从而在通过多层隐藏层对人体姿态无向图进行分析后，根据隐藏层的输出进行行为分类，最终确定人体目标的行为类型。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种基于视频的行为分析装置700，包括：视频获取模块702、关键点检测模块704和姿态分析模块706，其中：
视频获取模块702，用于获取视频样本，对视频样本进行处理；
关键点检测模块704，用于通过训练好的人体姿态估计模型对视频样本进行人体关键点检测，得到视频样本中人体目标的姿态数据；以及
姿态分析模块706，用于通过预先训练好的人体行为分析模型对人体目标的姿态数据进行分析，得到人体目标的行为含义。
在一个实施例中，视频获取模块702包括：
视频采样模块，用于每隔预设的图像帧数对视频样本进行采样，得到视频子样本。
在一个实施例中，视频样本中人体目标的姿态数据包括人体目标在视频子样本中的姿态数据；关键点检测模块704包括：
人体姿态无向图生成模块，用于通过人体姿态估计模型对视频子样本中的每帧图像进行人体关键点检测，得到每帧图像中的人体姿态无向图；
无向图排序模块，用于按照视频子样本中每帧图像的时间顺序，对人体姿态无向图进行排序，得到人体目标在视频子样本中的姿态数据。
在一个实施例中，人体行为分析模型为图卷积神经网络。
在一个实施例中，姿态分析模块706包括：
行为类型确定模块，用于将人体目标的人体姿态数据输入人体行为分析模型，得到人体目标的行为类型；以及
行为含义确定模块，用于根据行为类型与行为含义的预设对应关系，确定人体目标的行为类型所对应的行为含义。
在一个实施例中，基于视频的行为分析装置700还包括：
第一训练样本获取模块，用于获取训练样本，训练样本包括预先标记了人体关键点的人体图像；以及
人体姿态估计模型训练模块，用于根据训练样本，对人体姿态估计模型进行有监督训练。
在一个实施例中，基于视频的行为分析装置700还包括：
第二训练样本获取模块，用于获取训练样本，训练样本为预先标记了行为类型的视频片段；
训练样本关键点检测模块，用于通过训练练好的人体姿态估计模型对训练样本进行关键点检测，获得训练样本中人体目标的姿态数据；以及
人体行为分析模型训练模块，用于通过训练样本中人体目标的姿态数据和训练图像对应的行为类型，对人体行为分析模型进行有监督训练。
关于基于视频的行为分析装置的具体限定可以参见上文中对于基于视频的行为分析方法的限定，在此不再赘述。上述基于视频的行为分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频样本、人体关键点等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行为分析方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的各步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的各步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视频的行为分析方法，其特征在于，所述方法包括：
获取视频样本，对所述视频样本进行处理；
通过预先训练好的人体姿态估计模型对所述视频样本进行人体关键点检测，得到所述视频样本中人体目标的姿态数据；
通过预先训练好的人体行为分析模型对所述人体目标的姿态数据进行分析，得到所述人体目标的行为含义。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频样本进行处理的步骤，包括：
每隔预设的图像帧数对所述视频样本进行采样，得到视频子样本。
3.根据权利要求2所述的方法，其特征在于，所述视频样本中人体目标的姿态数据包括所述人体目标在所述视频子样本中的姿态数据；所述通过预先训练好的人体姿态估计模型对所述视频样本进行人体关键点检测的步骤，包括：
通过所述人体姿态估计模型对所述视频子样本中的每帧图像进行人体关键点检测，得到所述每帧图像中的人体姿态无向图；
按照所述视频子样本中每帧图像的时间顺序，对所述人体姿态无向图进行排序，得到所述人体目标在所述视频子样本中的姿态数据。
4.根据权利要求3所述的方法，其特征在于，所述人体行为分析模型为图卷积神经网络。
5.根据权利要求1所述的方法，其特征在于，所述通过预先训练好的人体行为分析模型对所述人体目标的人体姿态数据进行分析的步骤，包括：
将所述人体目标的人体姿态数据输入所述人体行为分析模型，得到所述人体目标的行为类型；
根据行为类型与行为含义的预设对应关系，确定所述人体目标的行为类型所对应的行为含义。
6.根据权利要求1所述的方法，其特征在于，所述获取视频样本之前，所述方法还包括：
获取训练样本，所述训练样本包括预先标记了人体关键点的人体图像；
根据所述训练样本，对所述人体姿态估计模型进行有监督训练。
7.根据权利要求1所述的方法，其特征在于，所述获取视频样本之前，所述方法还包括：
获取训练样本，所述训练样本为预先标记了行为类型的视频片段；
通过训练好的所述人体姿态估计模型对所述训练样本进行关键点检测，获得所述训练样本中人体目标的姿态数据；
通过所述训练样本中人体目标的姿态数据和所述训练图像对应的行为类型，对所述人体行为分析模型进行有监督训练。
8.一种基于视频的行为分析装置，其特征在于，所述装置包括：
视频获取模块，用于获取视频样本，对所述视频样本进行处理；
关键点检测模块，用于通过预先训练好的人体姿态估计模型对所述视频样本进行人体关键点检测，得到所述视频样本中人体目标的姿态数据；
姿态分析模块，用于通过预先训练好的人体行为分析模型对所述人体目标的姿态数据进行分析，得到所述人体目标的行为含义。
9.一种计算机设备，包括包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010305224.9A 2020-04-17 2020-04-17 基于视频的行为分析方法、装置、设备 Pending CN111507264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010305224.9A CN111507264A (zh) 2020-04-17 2020-04-17 基于视频的行为分析方法、装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010305224.9A CN111507264A (zh) 2020-04-17 2020-04-17 基于视频的行为分析方法、装置、设备

Publications (1)

Publication Number Publication Date
CN111507264A true CN111507264A (zh) 2020-08-07

Family

ID=71874410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010305224.9A Pending CN111507264A (zh) 2020-04-17 2020-04-17 基于视频的行为分析方法、装置、设备

Country Status (1)

Country Link
CN (1) CN111507264A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933280A (zh) * 2020-09-15 2020-11-13 广东电网有限责任公司电力科学研究院 一种员工心理健康状态评估方法及装置
CN112749625A (zh) * 2020-12-10 2021-05-04 深圳市优必选科技股份有限公司 时序行为检测方法、时序行为检测装置及终端设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221621A (zh) * 2007-01-12 2008-07-16 国际商业机器公司 警告监督用户受监视用户的行为的方法和系统
US20090244309A1 (en) * 2006-08-03 2009-10-01 Benoit Maison Method and Device for Identifying and Extracting Images of multiple Users, and for Recognizing User Gestures
US20140270140A1 (en) * 2013-03-14 2014-09-18 Mattersight Corporation Methods and system for analyzing multichannel electronic communication data
CN106022251A (zh) * 2016-05-17 2016-10-12 沈阳航空航天大学 基于视觉共生矩阵序列的异常双人交互行为识别方法
CN108549863A (zh) * 2018-04-11 2018-09-18 腾讯科技（深圳）有限公司 人体姿态预测方法、装置、设备及存储介质
CN110188710A (zh) * 2019-06-03 2019-08-30 石家庄铁道大学 列车驾驶员动态行为识别方法
CN110909054A (zh) * 2019-11-18 2020-03-24 国网甘肃省电力公司 一种交互行为数据采集方法及系统
CN110995810A (zh) * 2019-11-25 2020-04-10 腾讯科技（深圳）有限公司 一种基于人工智能的对象识别方法和相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244309A1 (en) * 2006-08-03 2009-10-01 Benoit Maison Method and Device for Identifying and Extracting Images of multiple Users, and for Recognizing User Gestures
CN101221621A (zh) * 2007-01-12 2008-07-16 国际商业机器公司 警告监督用户受监视用户的行为的方法和系统
US20140270140A1 (en) * 2013-03-14 2014-09-18 Mattersight Corporation Methods and system for analyzing multichannel electronic communication data
CN106022251A (zh) * 2016-05-17 2016-10-12 沈阳航空航天大学 基于视觉共生矩阵序列的异常双人交互行为识别方法
CN108549863A (zh) * 2018-04-11 2018-09-18 腾讯科技（深圳）有限公司 人体姿态预测方法、装置、设备及存储介质
CN110188710A (zh) * 2019-06-03 2019-08-30 石家庄铁道大学 列车驾驶员动态行为识别方法
CN110909054A (zh) * 2019-11-18 2020-03-24 国网甘肃省电力公司 一种交互行为数据采集方法及系统
CN110995810A (zh) * 2019-11-25 2020-04-10 腾讯科技（深圳）有限公司 一种基于人工智能的对象识别方法和相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
社会工作者职业水平考试辅导用书编写组编, 知识产权出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933280A (zh) * 2020-09-15 2020-11-13 广东电网有限责任公司电力科学研究院 一种员工心理健康状态评估方法及装置
CN112749625A (zh) * 2020-12-10 2021-05-04 深圳市优必选科技股份有限公司 时序行为检测方法、时序行为检测装置及终端设备
CN112749625B (zh) * 2020-12-10 2023-12-15 深圳市优必选科技股份有限公司 时序行为检测方法、时序行为检测装置及终端设备

Similar Documents

Publication Publication Date Title
CN111950329B (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
Zhang et al. Real-time sow behavior detection based on deep learning
CN110889325A (zh) 多任务面部动作识别模型训练和多任务面部动作识别方法
CN114359787B (zh) 目标属性识别方法、装置、计算机设备及存储介质
CN108062556B (zh) 一种药物-疾病关系识别方法、系统和装置
CN110516712B (zh) 虫害图像识别方法、虫害监控方法、装置、设备及介质
WO2019217281A1 (en) Video object tracking
CN109002766A (zh) 一种表情识别方法及装置
WO2020238353A1 (zh) 数据处理方法和装置、存储介质及电子装置
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
US20150371520A1 (en) Vision based system for detecting distress behavior
CN113449586B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111507264A (zh) 基于视频的行为分析方法、装置、设备
Ousmane et al. Automatic recognition system of emotions expressed through the face using machine learning: Application to police interrogation simulation
CN110378213A (zh) 行为识别方法、装置、计算机设备和存储介质
CN114639165B (zh) 基于人工智能的行人重识别方法、装置、设备及存储介质
CN114422450B (zh) 基于多源网络流量数据的网络流量分析方法和装置
JP2022002080A (ja) 対照学習に基づくデータの分類のための人工知能システム
US12189720B2 (en) Image analysis device and method, and method for generating image analysis model used for same
CN114742990B (zh) 基于人工智能的目标检测方法、装置、设备及存储介质
Djibrine et al. Deep Learning-based Approaches for Preventing and Predicting Wild Animals Disappearance: A Review
CN117251813A (zh) 一种网络流量异常检测方法和系统
CN116612498A (zh) 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备
CN116051994A (zh) 基于电磁特性和深度学习的sar目标识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication