[go: up one dir, main page]

CN112036267A - 一种目标检测方法、装置、设备和计算机可读存储介质 - Google Patents

一种目标检测方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112036267A
CN112036267A CN202010819962.5A CN202010819962A CN112036267A CN 112036267 A CN112036267 A CN 112036267A CN 202010819962 A CN202010819962 A CN 202010819962A CN 112036267 A CN112036267 A CN 112036267A
Authority
CN
China
Prior art keywords
data
target object
image
dimensional
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010819962.5A
Other languages
English (en)
Other versions
CN112036267B (zh
Inventor
邓海燕
谭龙田
陈高
陈彦宇
马雅奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010819962.5A priority Critical patent/CN112036267B/zh
Publication of CN112036267A publication Critical patent/CN112036267A/zh
Application granted granted Critical
Publication of CN112036267B publication Critical patent/CN112036267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测方法、装置、设备和计算机可读存储介质。该方法包括：每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据；按照采集时刻从先到后的顺序，顺次融合相同时刻采集的图像数据和深度数据，得到相同时刻对应的图像深度融合数据；按照融合时刻从先到后的顺序，顺次将融合得到的图像深度融合数据输入预先训练的目标检测模型，通过目标检测模型在顺次输入的图像深度融合数据中提取目标对象的属性数据，并且根据顺次输入的图像深度融合数据生成目标对象对应的三维运动轨迹数据。本发明无需用户坚守在目标对象的周围，查看目标检测模型输出的目标对象的属性数据和三维运动轨迹数据即可，监护过程更加灵活，监护效率高。

Description

一种目标检测方法、装置、设备和计算机可读存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种目标检测方法、装置、设备和计算机可读存储介质。
背景技术
在一些应用场景中，需要关注目标对象的动态，以便识别目标对象的需求。例如：在日常生活中，存在一些生活不能自理，健康出现问题的特需人群，如：儿童、老人、病患等。这些特需人群需要24小时监护，以避免因无人监护出现的不良后果。例如：儿童因无人看管，造成儿童受伤，病患因无人陪护，造成发病无人救治。
目前，对特需人群的监护多采用人工监护，监护人员一般需要24小时陪伴在被监护人的周围，因为监护人员离开之后，被监护人可能会出现不可预知的危险。但是，采用24小时人工监护的方式，需要监护人员坚守在监护场所，如果需要同时监护多个被监护人，则需要一对一配备监护人员，使得这种人工监护方式的效率较为低下。
发明内容
本发明实施例的主要目的在于提供一种目标检测方法、装置、设备和计算机可读存储介质，以解决现有的人工监护效率较低的问题。
针对上述技术问题，本发明实施例是通过以下技术方案来实现的：
本发明实施例提供了一种目标检测方法，包括：每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据；按照采集时刻从先到后的顺序，顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据；按照融合时刻从先到后的顺序，顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型，通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据。
其中，所述顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据，包括：组合所述相同时刻采集的所述图像数据和所述深度数据，形成所述相同时刻对应的图像深度一维数组，将所述图像深度一维数组作为所述相同时刻对应的图像深度融合数据。
其中，所述目标检测模型包括：相互连接的YOLO模型和长短期记忆LSTM模型；所述通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据，包括：通过所述YOLO模型在顺次输入的所述图像深度融合数据中，检测所述目标对象，提取所述目标对象的关键点的三维坐标数据以及所述目标对象的属性数据；通过所述LSTM模型在顺次输入的所述图像深度融合数据中，对所述YOLO模型检测到的所述目标对象进行运动轨迹跟踪，得到所述目标对象的运动轨迹数据，并且根据所述目标对象的运动轨迹数据以及所述YOLO模型在所述图像深度融合数据中提取的所述目标对象的关键点的三维坐标数据，生成所述目标对象的三维运动轨迹数据。
其中，所述YOLO模型包括：三维卷积层；所述提取所述目标对象的关键点的三维坐标数据，包括：通过所述三维卷积层在所述图像深度融合数据的图像数据部分中提取所述目标对象的关键点的二维特征数据，在所述图像深度融合数据的深度数据部分中提取所述目标对象的关键点的一维特征数据；根据所述二维特征数据和所述一维特征数据，生成所述目标对象的关键点的三维坐标数据；其中，所述一维特征数据的空间维度与所述二维特征数据的空间维度不同。
其中，所述运动轨迹数据为所述目标对象在所述图像深度融合数据中的区域位置数据；所述三维运动轨迹数据包括：多帧三维运动轨迹图像；所述根据所述目标对象的运动轨迹数据以及所述YOLO模型在所述图像深度融合数据中提取的所述目标对象的关键点的三维坐标数据，生成所述目标对象的三维运动轨迹数据，包括：构建三维坐标空间；按照融合时刻从先到后的顺序，顺次获取每个所述图像深度融合数据中所述目标对象的区域位置数据和关键点的三维坐标数据，得到多组所述区域位置数据和所述关键点的三维坐标数据；针对每组所述区域位置数据和所述关键点的三维坐标数据，根据所述区域位置数据和所述关键点的三维坐标数据，在所述三维坐标空间中设置所述目标对象对应的三维模型，生成一帧三维运动轨迹图像。
其中，在所述得到所述目标对象的运动轨迹数据之后，所述方法还包括：将所述目标对象的运动轨迹数据与预设的异常状态数据进行比较；在所述目标对象的运动轨迹数据与所述异常状态数据的相似度大于预设的相似度阈值时，执行所述异常状态数据对应的异常告警操作。
其中，在所述顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型之前，所述方法还包括：同时采集检测环境的图像数据和目标对象对应的深度数据；融合同时采集的所述图像数据和所述深度数据，得到样本图像深度融合数据并为所述样本图像深度融合数据标注属性数据和区域位置数据；基于所述样本图像深度融合执行数据增强处理，得到所述样本图像深度融合数据对应的多个增强图像深度融合数据，将每个所述增强图像深度融合数据作为一个样本图像深度融合数据，以便利用得到的所有样本图像深度融合数据训练所述目标检测模型。
本发明实施例还提供了一种目标检测装置，包括：采集模块，用于每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据；融合模块，用于按照采集时刻从先到后的顺序，顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据；检测模块，用于按照融合时刻从先到后的顺序，顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型，通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据。
本发明实施例还提供了一种目标检测设备，所述目标检测设备包括处理器、存储器；所述处理器用于执行所述存储器中存储的目标检测程序，以实现上述任一项所述的目标检测法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的目标检测方法。
本发明实施例的有益效果如下：
在本发明实施例中，采集目标对象所在检测环境的图像数据和目标对象对应的深度数据，将图像数据和深度数据融合为一路数据并输入预先训练的目标检测模型中，展示该目标检测模型输出的目标对象的属性数据和三维运动轨迹数据，使得用户可以直观地看到目标对象的属性信息以及目标对象的运动轨迹。通过本发明实施例，用户无需一直坚守在目标对象的周围，查看目标检测模型输出的目标对象的属性数据和三维运动轨迹数据即可，监护过程更加灵活，并且可以同时监护多个监护对象，人工成本低，监护效率高。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明一实施例的目标检测方法的流程图；
图2是根据本发明一实施例的目标检测模型的处理步骤流程图；
图3是根据本发明一实施例的LSTM模型的处理步骤流程图；
图4是根据本发明一实施例的目标检测装置的结构图；
图5是根据本发明一实施例的目标检测设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本发明作进一步地详细说明。
根据本发明的实施例，提供了一种目标检测方法。如图1所示，为根据本发明一实施例的目标检测方法的流程图。
步骤S110，每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据。
预设时间段的时间长度为经验值或者通过实验获得的值。
检测环境是指目标对象所在的环境。
目标对象是指监护对象的图像。例如：监护对象为儿童、老人、病患，当然，监护对象也可以是动物。
具体而言，同时调用摄像头和深度传感器，使摄像头采集检测环境的图像数据，使深度传感器采集目标对象对应的深度数据。摄像头的拍摄间隔和深度传感器的采样间隔。该拍摄间隔和采样间隔为该预设时间段。
图像数据是指摄像头采集的一帧图像的数据。进一步地，摄像头的取景范围为检测环境。
深度数据是指以深度传感器的位置作为起点，监护对象在检测环境中的深度值。其中，将监护对象在检测环境中的深度值作为目标对象对应的深度值。进一步地，深度传感器正对监护对象或者监护对象的监护位置。该监护位置例如是儿童床、患者的床位。进一步地，如果深度传感器正对可运动的监护对象，则可以在监护对象上设置定位装置，使该定位装置向深度传感器实时地传输目标对象所在的位置；或者，在深度传感器上设置红外接收器，在监护对象上设置红外发射器，使该红外发射器向红外接收器发送红外信号，使红外接收器根据接收到的红外信号定位红外发射器的位置，并控制深度传感器对准该红外发射器的位置。
步骤S120，按照采集时刻从先到后的顺序，顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据。
相邻两个采样时刻的间隔为上述的预设时间段。每个采集时刻可以采集到一组图像数据和深度数据。在先的采集时刻早于在后的采集时刻。
按照采集时刻从先到后的顺序，将每组图像数据和深度数据进行融合处理，得到该组图像数据和深度数据对应的图像深度融合数据。
具体而言，融合处理包括：组合所述相同时刻采集的所述图像数据和所述深度数据，形成所述相同时刻对应的图像深度一维数组，将所述图像深度一维数组作为所述相同时刻对应的图像深度融合数据。将图像数据作为图像深度一维数组中的图像数据部分(图像数据元素)，将深度数据作为图像深度一维数组中的深度数据部分(深度数据元素)。进一步地，本实施例对图像数据元素和深度数据元素在图像深度一维数组中的排序不做限定。
步骤S130，按照融合时刻从先到后的顺序，顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型，通过所述目标检测模型提取所述目标对象的属性数据并生成所述目标对象对应的三维运动轨迹数据。
目标检测模型，用于在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据。
目标对象的属性数据，包括但不限于：目标对象的类别、姓名、年龄、身高、肤色、着装和编号。目标对象的类别例如是：儿童、老人和病患。编号例如是：腕带上标明的住院号码。
三维运动轨迹数据，是指目标对象在三维坐标空间中运动的视频数据。
三维运动轨迹数据，包括：多帧三维运动轨迹图像。播放该多帧三维运动轨迹图像用于展示目标对象在三维坐标空间中运动轨迹。
进一步地，三维运动轨迹数据，包括：目标对象(监护对象)在当前采集时刻的三维运动轨迹数据和目标对象在未来时刻的三维运动轨迹数据。未来时刻是指从当前采集时刻开始，预设时间长度之后的时刻。也即是说，通过训练目标检测模型，使得该目标检测模型根据顺次输入的图像深度融合数据预测目标对象在未来时刻的三维运动轨迹数据。
在预设的显示设备中展示目标检测模型输出的目标对象的属性数据以及目标对象对应的三维运动轨迹数据。
在本发明实施例中，采集目标对象所在检测环境的图像数据和目标对象对应的深度数据，将图像数据和深度数据融合为一路数据并输入预先训练的目标检测模型中，展示该目标检测模型输出的目标对象的属性数据和三维运动轨迹数据，使得用户可以直观地看到目标对象的属性信息以及目标对象的运动轨迹。通过本发明实施例，用户无需一直坚守在目标对象的周围，查看目标检测模型输出的目标对象的属性数据和三维运动轨迹数据即可，监护过程更加灵活，并且可以同时监护多个监护对象，人工成本低，监护效率高。
进一步地，由于监护对象的状态具有灵活性，监护对象的类型具有多样性(儿童、老人、各种病患)，且监护对象在检测环境中的移动路径随机，所以利用目标检测模型对目标对象(监护对象)进行轨迹跟踪并生成三维运动轨迹数据，对监护对象的自动化监护具有重要意义。
进一步地，由于预先训练的目标检测模型可以预测目标对象在未来时刻的三维运动轨迹数据，所以，用户可以根据目标对象在未来时刻的三维运动轨迹数据进行预判，对监护对象进行风险预估，及时解决监护对象遇到的问题，保证监护对象的安全性，避免问题发现或者处理不及时造成的时间、人工和经济成本的浪费。例如：根据一段时间采集的图像数据和深度数据，预测到目标对象即将拔掉输液针，这时用户可以及时出现在目标对象身边，帮助或者阻止目标对象的拔针行为。
为了使本发明实施例的目标检测过程更加清楚，下面对目标检测模型的结构和功能进行进一步地描述。
目标检测模型为预先训练的模型。所述目标检测模型包括：相互连接的YOLO(YouOnly Look Once)模型和LSTM(Long Short-Term Memory，长短期记忆)模型。
下面对目标检测模型的处理过程进行进一步地描述。
如图2所示，为根据本发明一实施例的目标检测模型的处理步骤流程图。
步骤S210，顺次将融合得到的图像深度融合数据输入YOLO模型。
YOLO模型，用于在图像深度融合数据的图像数据中，检测目标对象，提取目标对象的属性数据，检测目标对象的关键点并且提取关键点的三维坐标数据。其中，关键点的数量可以是多个。
关键点，是指目标对象的关键位置。例如：眉头、眼角、嘴角、耳垂、肩头、肘部、膝盖等。关键点可以勾勒出目标对象的图像区域。
步骤S220，通过YOLO模型在顺次输入的所述图像深度融合数据中，检测所述目标对象，提取所述目标对象的关键点的三维坐标数据以及所述目标对象的属性数据。
关键点的三维坐标数据是指关键点在三维空间中的坐标。
在本实施例中，为了更加精确度地展示目标对象的三维运动数据，可以提取多个关键点中每个关键点的三维坐标数据。
通过YOLO模型将检测到的目标对象以及检测到的目标对象的关键点输出到LSTM模型中。
步骤S230，通过LSTM模型在顺次输入的所述图像深度融合数据中，对YOLO模型检测到的所述目标对象进行运动轨迹跟踪，得到所述目标对象的运动轨迹数据，并且根据所述目标对象的运动轨迹数据以及YOLO模型在所述图像深度融合数据中提取的所述目标对象的关键点的三维坐标数据，生成所述目标对象的三维运动轨迹数据。
LSTM模型，用于根据YOLO模型输出的结果，对目标对象进行运动轨迹跟踪，并生成目标对象的三维运动轨迹数据。
运动轨迹跟踪，即是对目标对象的关键点的跟踪。
运动轨迹数据，包括：目标对象在图像深度融合数据中的区域位置数据。该区域位置数据可以是目标对象的关键点形成的图形的区域位置。该图形与目标对象相似。
图像深度融合数据包括图像数据部分和深度数据部分，运动轨迹数据为所述目标对象在图像深度融合数据的图像数据中的区域位置数据。
由于目标对象的关键点可以反映出目标对象的姿态，所以运动轨迹数据可以反映监护对象(目标对象)的状态。可以利用一帧图像数据的运动轨迹数据或者多帧图像数据的运动轨迹数据，确定监护对象的状态。该状态包括：健康状态、行为状态。例如：通过一帧图像数据的运动轨迹数据，确定监护对象是否处于检测环境的预设范围内。又如：通过一帧图像数据的运动轨迹数据，确定监护对象是否佩戴口罩，是否与他人保持距离。再如：通过多帧图像数据的运动轨迹数据，确定监护对象是否步态正常，确定监护对象是否出现抽搐。
在目标检测模型中，还可以包括基础网络模型，该基础网络模型的输出连接YOLO模型的输入，YOLO模型的输出连接LSTM模型的输入。该基础网络模型，用于对图像深度融合数据中的图像数据进行预处理，将图像数据转换为灰度数据并降低图像数据中的噪声。
下面对YOLO模型检测关键点以及提取关键点的三维坐标数据的过程进行进一步地描述。
YOLO模型在检测到目标对象的图像之后，在目标对象的图像中进行关键点识别，针对识别出的多个预设类型的关键点，提取每种关键点的三维坐标数据。多个预设类型的关键点包括但不限于：眉心关键点、肩部关键点、肘部关键点、腰部关键点、膝盖关键点、脚步关键点。
进一步地，YOLO模型包括：三维卷积层。进一步地，该YOLO模型为第四版YOLO算法模型(YOLOv4)。将YOLO模型的二维卷积层扩展为三维卷积层。该三维卷积层包括三个通道的卷积层。三个通道的卷积层的结构相同，每个通道的卷积层用于提取一个空间维度的特征数据。
通过所述三维卷积层在所述图像深度融合数据的图像数据部分中提取所述目标对象的关键点的二维特征数据，在所述图像深度融合数据的深度数据部分中提取所述目标对象的关键点的一维特征数据；根据所述二维特征数据和所述一维特征数据，生成所述目标对象的关键点的三维坐标数据。
其中，所述一维特征数据的空间维度与所述二维特征数据的空间维度不同。例如：二维特征数据包括：关键点对应的X轴和Y轴的坐标；一维特征数据包括：关键点对应的Z轴坐标；将关键点对应的X轴、Y轴和Z轴坐标进行融合，得到关键点对应的三维坐标数据。
下面针对LSTM模型的处理过程进行进一步地描述。如图3所示，为根据本发明一实施例的LSTM模型的处理步骤流程图。
步骤S310，构建三维坐标空间。
该三维坐标空间可以为预设视角的天空盒子。
该预设视角与采集图像数据的摄像头的视角相同。
步骤S320，按照融合时刻从先到后的顺序，顺次获取每个所述图像深度融合数据中所述目标对象的区域位置数据和关键点的三维坐标数据，得到多组区域位置数据和关键点的三维坐标数据。
三维运动轨迹数据包括：多帧三维运动轨迹图像。三维运动轨迹图像是指目标对象对应的三维模型在三维坐标空间中的图像。
目标对象的区域位置数据可以体现目标对象在图像数据中的区域位置。
LSTM模型可以在连续输入的多个图像深度融合数据中，提取多帧图像数据的时序特征，根据时序特征确定目标对象在图像数据中的区域位置。提取的时序特征为前一帧图像数据和后一帧图像数据中的异同数据。如：人在步行前进过程中是连贯的，人的图像由近及远(或是由远及近)在相邻两帧图像数据之间存在部分相似与不同，时间特征用于体现这种时序关系，可以表示前后两帧图像数据之间在时序间的异同特征。
步骤S330，针对每组区域位置数据和关键点的三维坐标数据，根据所述区域位置数据和关键点的三维坐标数据，在所述三维坐标空间中设置所述目标对象对应的三维模型，生成一帧三维运动轨迹图像。
每组区域位置数据和关键点的三维坐标数据，为在同一图像深度融合数据中提取得到的。
在本实施例中，可以使用Unity3D生成目标对象的三维运动轨迹图像。
具体而言，可以预先采集监护对象的三维模型，即目标对象对应的三维模型。区域位置数据指示了目标对象在XOY平面的区域位置；关键点的三维坐标数据指示了目标对象的关键点在三维坐标空间中的位置；将该三维模型设置在目标对象在XOY平面的区域位置；确定目标对象的每个关键点在该三维模型上分别映射的映射点，将每个映射点的三维坐标调整为对应的关键点的三维坐标；在调整完成之后，生成预设视角下的三维模型的图像，作为目标对象对应的一帧三维运动轨迹图像。
在本实施例中，由于目标对象的运动轨迹数据可以用于表示监护对象的状态，所以，为了避免错过监护对象出现的异常行为，在得到目标对象的运动轨迹数据之后，将所述目标对象的运动轨迹数据与预设的异常状态数据进行比较；在目标对象的运动轨迹数据与所述异常状态数据的相似度大于预设的相似度阈值时，执行所述异常状态数据对应的异常告警操作。
异常状态数据是监护对象出现异常行为时的图像数据。
相似度阈值为经验值或者通过实验获得的值。
异常告警操作包括：发出预设的告警音，和/或，向目标用户发送与异常状态数据对应告警内容的信息。该信息为文本信息和/或语音信息。
例如：监护对象为病患，目标对象的运动轨迹数据为病患正在拔输液针，异常状态数据为监护对象拔输液针的图像数据，这样，目标对象的运动轨迹数据与异常状态数据的相似度大于相似度阈值，发出预设的告警音或者向护士站发送病患正在试图拔针的信息。
在本实施例中，目标检测模型为预先训练得到的。在训练目标检测模型之前，需要为目标检测模型设置样本数据集。该样本数据集包括多个已经被标注的样本图像深度融合数据。
具体而言，同时采集检测环境的图像数据和目标对象对应的深度数据；融合同时采集的所述图像数据和所述深度数据，得到样本图像深度融合数据并为所述样本图像深度融合数据标注属性数据和区域位置数据。进一步地，在采集检测环境的图像数据时，尽可能采集监护对象的侧面、正面、背面等多角度的图像数据，保证样本图像深度融合数据的多样性，以便于更好的进行目标对象的三维检测。
在样本图像深度融合数据的数量较少时，可以对样本图像深度融合数据进行增强处理，即在已有的样本图像深度融合数据的基础上，扩充样本图像深度融合数据的数量。具体的，基于所述样本图像深度融合执行数据增强处理，得到所述样本图像深度融合数据对应的多个增强图像深度融合数据，将每个所述增强图像深度融合数据作为一个样本图像深度融合数据，以便利用得到的所有样本图像深度融合数据训练所述目标检测模型。
进一步地，对样本图像深度融合数据中的图像数据进行随机裁剪、缩放、旋转、翻转、镜像、添加噪声以及随机调整对比度、亮度、色度等，得到新的图像数据，将新的图像数据和样本图像深度融合数据中的深度数据进行组合，得到新的图像深度融合数据，将新的图像深度融合数据作为样本图像深度融合数据。
将得到的样本图像深度融合数据存储到预设的样本数据集中。
在训练目标检测模型之前，设置目标检测模型的训练数据。在本实施例中，该训练数据包括但不限于：迭代次数，目标检测模型的权重初始值和网络结构，学习率，卷积核。
在训练目标检测模型时，采用梯度下降法训练目标检测模型。在利用训练数据集训练目标检测模型的过程中，根据预设的迭代次数，不断调整目标检测模型的参数和权重。在迭代结束之后，如果目标检测模型尚未收敛，则调整目标检测模型的网络结构，重新对目标检测模型进行训练，直到目标检测模型收敛为止。
进一步地，为了增加YOLO模型的准确性和鲁棒性，对YOLO模型增加多尺度训练，将样本图像深度融合数据中的图像数据转换为多种尺度，使用多种尺度的图像数据训练YOLO模型。例如：将YOLO模型的配置文件中的图像宽高设置为640*640，以便提高YOLO模型对小目标的检测精度。
在本实施例中，利用损失函数确定目标检测模型的准确性和稳定性。当目标检测模型的损失值小于预设的损失阈值，则说明目标检测模型已经收敛。进一步地，损失函数可以为置信度损失函数、分类损失函数或者基于目标矩形选择框的损失函数。例如：可以使用距离交并比(Distance Intersection Over Union，简称DIOU)损失函数或者完整交并比(Complete Intersection Over Union，简称CIOU)损失函数来计算目标检测模型的损失值，并在该损失值大于预设的损失阈值时，调整目标检测模型的参数。
本发明实施例还提供了一种目标检测装置。如图4所示，为根据本发明一实施例的目标检测装置的结构图。
该目标检测装置，包括：采集模块410、融合模块420和检测模块430。
采集模块410，用于每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据。
融合模块420，用于按照采集时刻从先到后的顺序，顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据。
检测模块430，用于按照融合时刻从先到后的顺序，顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型，通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据。
本发明实施例所述的装置的功能已经在上述方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
本实施例提供一种目标检测设备。如图5所示，为根据本发明一实施例的目标检测设备的结构图。
在本实施例中，所述目标检测设备，包括但不限于：处理器510、存储器520。
所述处理器510用于执行存储器520中存储的目标检测程序，以实现上述的目标检测方法。
具体而言，所述处理器510用于执行存储器520中存储的目标检测程序，以实现以下步骤：每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据；按照采集时刻从先到后的顺序，顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据；按照融合时刻从先到后的顺序，顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型，通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据。
其中，所述顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据，包括：组合所述相同时刻采集的所述图像数据和所述深度数据，形成所述相同时刻对应的图像深度一维数组，将所述图像深度一维数组作为所述相同时刻对应的图像深度融合数据。
其中，所述目标检测模型包括：相互连接的YOLO模型和长短期记忆LSTM模型；所述通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据，包括：通过所述YOLO模型在顺次输入的所述图像深度融合数据中，检测所述目标对象，提取所述目标对象的关键点的三维坐标数据以及所述目标对象的属性数据；通过所述LSTM模型在顺次输入的所述图像深度融合数据中，对所述YOLO模型检测到的所述目标对象进行运动轨迹跟踪，得到所述目标对象的运动轨迹数据，并且根据所述目标对象的运动轨迹数据以及所述YOLO模型在所述图像深度融合数据中提取的所述目标对象的关键点的三维坐标数据，生成所述目标对象的三维运动轨迹数据。
其中，所述YOLO模型包括：三维卷积层；所述提取所述目标对象的关键点的三维坐标数据，包括：通过所述三维卷积层在所述图像深度融合数据的图像数据部分中提取所述目标对象的关键点的二维特征数据，在所述图像深度融合数据的深度数据部分中提取所述目标对象的关键点的一维特征数据；根据所述二维特征数据和所述一维特征数据，生成所述目标对象的关键点的三维坐标数据；其中，所述一维特征数据的空间维度与所述二维特征数据的空间维度不同。
其中，所述运动轨迹数据为所述目标对象在所述图像深度融合数据中的区域位置数据；所述三维运动轨迹数据包括：多帧三维运动轨迹图像；所述根据所述目标对象的运动轨迹数据以及所述YOLO模型在所述图像深度融合数据中提取的所述目标对象的关键点的三维坐标数据，生成所述目标对象的三维运动轨迹数据，包括：构建三维坐标空间；按照融合时刻从先到后的顺序，顺次获取每个所述图像深度融合数据中所述目标对象的区域位置数据和关键点的三维坐标数据，得到多组所述区域位置数据和所述关键点的三维坐标数据；针对每组所述区域位置数据和所述关键点的三维坐标数据，根据所述区域位置数据和所述关键点的三维坐标数据，在所述三维坐标空间中设置所述目标对象对应的三维模型，生成一帧三维运动轨迹图像。
其中，在所述得到所述目标对象的运动轨迹数据之后，所述方法还包括：将所述目标对象的运动轨迹数据与预设的异常状态数据进行比较；在所述目标对象的运动轨迹数据与所述异常状态数据的相似度大于预设的相似度阈值时，执行所述异常状态数据对应的异常告警操作。
其中，在所述顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型之前，所述方法还包括：同时采集检测环境的图像数据和目标对象对应的深度数据；融合同时采集的所述图像数据和所述深度数据，得到样本图像深度融合数据并为所述样本图像深度融合数据标注属性数据和区域位置数据；基于所述样本图像深度融合执行数据增强处理，得到所述样本图像深度融合数据对应的多个增强图像深度融合数据，将每个所述增强图像深度融合数据作为一个样本图像深度融合数据，以便利用得到的所有样本图像深度融合数据训练所述目标检测模型。
本发明实施例还提供了一种计算机可读存储介质。这里的计算机可读存储介质存储有一个或者多个程序。其中，计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当计算机可读存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述的目标检测方法。由于上面已经对该目标检测方法进行了详细描述，故在此不做赘述。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据；
按照采集时刻从先到后的顺序，顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据；
按照融合时刻从先到后的顺序，顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型，通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据。
2.根据权利要求1所述的方法，其特征在于，所述顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据，包括：
组合所述相同时刻采集的所述图像数据和所述深度数据，形成所述相同时刻对应的图像深度一维数组，将所述图像深度一维数组作为所述相同时刻对应的图像深度融合数据。
3.根据权利要求1所述的方法，其特征在于，
所述目标检测模型包括：相互连接的YOLO模型和长短期记忆LSTM模型；
所述通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据，包括：
通过所述YOLO模型在顺次输入的所述图像深度融合数据中，检测所述目标对象，提取所述目标对象的关键点的三维坐标数据以及所述目标对象的属性数据；
通过所述LSTM模型在顺次输入的所述图像深度融合数据中，对所述YOLO模型检测到的所述目标对象进行运动轨迹跟踪，得到所述目标对象的运动轨迹数据，并且根据所述目标对象的运动轨迹数据以及所述YOLO模型在所述图像深度融合数据中提取的所述目标对象的关键点的三维坐标数据，生成所述目标对象的三维运动轨迹数据。
4.根据权利要求3所述的方法，其特征在于，
所述YOLO模型包括：三维卷积层；
所述提取所述目标对象的关键点的三维坐标数据，包括：
通过所述三维卷积层在所述图像深度融合数据的图像数据部分中提取所述目标对象的关键点的二维特征数据，在所述图像深度融合数据的深度数据部分中提取所述目标对象的关键点的一维特征数据；
根据所述二维特征数据和所述一维特征数据，生成所述目标对象的关键点的三维坐标数据；其中，所述一维特征数据的空间维度与所述二维特征数据的空间维度不同。
5.根据权利要求3所述的方法，其特征在于，
所述运动轨迹数据为所述目标对象在所述图像深度融合数据中的区域位置数据；
所述三维运动轨迹数据包括：多帧三维运动轨迹图像；
所述根据所述目标对象的运动轨迹数据以及所述YOLO模型在所述图像深度融合数据中提取的所述目标对象的关键点的三维坐标数据，生成所述目标对象的三维运动轨迹数据，包括：
构建三维坐标空间；
按照融合时刻从先到后的顺序，顺次获取每个所述图像深度融合数据中所述目标对象的区域位置数据和关键点的三维坐标数据，得到多组所述区域位置数据和所述关键点的三维坐标数据；
针对每组所述区域位置数据和所述关键点的三维坐标数据，根据所述区域位置数据和所述关键点的三维坐标数据，在所述三维坐标空间中设置所述目标对象对应的三维模型，生成一帧三维运动轨迹图像。
6.根据权利要求3所述的方法，其特征在于，在所述得到所述目标对象的运动轨迹数据之后，所述方法还包括：
将所述目标对象的运动轨迹数据与预设的异常状态数据进行比较；
在所述目标对象的运动轨迹数据与所述异常状态数据的相似度大于预设的相似度阈值时，执行所述异常状态数据对应的异常告警操作。
7.根据权利要求1～6中任一项所述的方法，其特征在于，在所述顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型之前，所述方法还包括：
同时采集检测环境的图像数据和目标对象对应的深度数据；
融合同时采集的所述图像数据和所述深度数据，得到样本图像深度融合数据并为所述样本图像深度融合数据标注属性数据和区域位置数据；
基于所述样本图像深度融合执行数据增强处理，得到所述样本图像深度融合数据对应的多个增强图像深度融合数据，将每个所述增强图像深度融合数据作为一个样本图像深度融合数据，以便利用得到的所有样本图像深度融合数据训练所述目标检测模型。
8.一种目标检测装置，其特征在于，包括：
采集模块，用于每隔预设时间段采集检测环境的图像数据和目标对象对应的深度数据；
融合模块，用于按照采集时刻从先到后的顺序，顺次融合相同时刻采集的所述图像数据和所述深度数据，得到所述相同时刻对应的图像深度融合数据；
检测模块，用于按照融合时刻从先到后的顺序，顺次将融合得到的所述图像深度融合数据输入预先训练的目标检测模型，通过所述目标检测模型在顺次输入的所述图像深度融合数据中提取所述目标对象的属性数据，并且根据顺次输入的所述图像深度融合数据生成所述目标对象对应的三维运动轨迹数据。
9.一种目标检测设备，其特征在于，所述目标检测设备包括处理器、存储器；所述处理器用于执行所述存储器中存储的目标检测程序，以实现权利要求1～7中任一项所述的目标检测法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～7中任一项所述的目标检测方法。
CN202010819962.5A 2020-08-14 2020-08-14 一种目标检测方法、装置、设备和计算机可读存储介质 Active CN112036267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010819962.5A CN112036267B (zh) 2020-08-14 2020-08-14 一种目标检测方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010819962.5A CN112036267B (zh) 2020-08-14 2020-08-14 一种目标检测方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112036267A true CN112036267A (zh) 2020-12-04
CN112036267B CN112036267B (zh) 2024-11-08

Family

ID=73578617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010819962.5A Active CN112036267B (zh) 2020-08-14 2020-08-14 一种目标检测方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112036267B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
CN112859907A (zh) * 2020-12-25 2021-05-28 湖北航天飞行器研究所 少样本条件下基于三维特效仿真的火箭残骸高空检测方法
CN114863201A (zh) * 2022-03-24 2022-08-05 深圳元戎启行科技有限公司 三维检测模型的训练方法、装置、计算机设备和存储介质
WO2023119968A1 (ja) * 2021-12-20 2023-06-29 コニカミノルタ株式会社 ３次元座標算出方法及び３次元座標算出装置
CN116524135A (zh) * 2023-07-05 2023-08-01 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法
CN108171212A (zh) * 2018-01-19 2018-06-15 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN108229531A (zh) * 2017-09-29 2018-06-29 北京市商汤科技开发有限公司 对象特征处理方法、装置、存储介质和电子设备
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及系统
US20190206066A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Human Analytics Using Fusion Of Image & Depth Modalities
CN111460978A (zh) * 2020-03-30 2020-07-28 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及系统
CN108229531A (zh) * 2017-09-29 2018-06-29 北京市商汤科技开发有限公司 对象特征处理方法、装置、存储介质和电子设备
US20190206066A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Human Analytics Using Fusion Of Image & Depth Modalities
CN108171212A (zh) * 2018-01-19 2018-06-15 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
CN111460978A (zh) * 2020-03-30 2020-07-28 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859907A (zh) * 2020-12-25 2021-05-28 湖北航天飞行器研究所 少样本条件下基于三维特效仿真的火箭残骸高空检测方法
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
WO2023119968A1 (ja) * 2021-12-20 2023-06-29 コニカミノルタ株式会社 ３次元座標算出方法及び３次元座標算出装置
CN114863201A (zh) * 2022-03-24 2022-08-05 深圳元戎启行科技有限公司 三维检测模型的训练方法、装置、计算机设备和存储介质
CN114863201B (zh) * 2022-03-24 2025-02-21 深圳元戎启行科技有限公司 三维检测模型的训练方法、装置、计算机设备和存储介质
CN116524135A (zh) * 2023-07-05 2023-08-01 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统
CN116524135B (zh) * 2023-07-05 2023-09-15 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统

Also Published As

Publication number Publication date
CN112036267B (zh) 2024-11-08

Similar Documents

Publication Publication Date Title
CN112036267B (zh) 一种目标检测方法、装置、设备和计算机可读存储介质
US11948401B2 (en) AI-based physical function assessment system
Stone et al. Fall detection in homes of older adults using the Microsoft Kinect
Kumar et al. Human activity recognition (har) using deep learning: Review, methodologies, progress and future research directions
Lotfi et al. Supporting independent living for older adults; employing a visual based fall detection through analysing the motion and shape of the human body
JP7311640B2 (ja) 行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体
CN113903455A (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
CN111753747B (zh) 基于单目摄像头和三维姿态估计的剧烈运动检测方法
CN107506706A (zh) 一种基于三维摄像头的人体跌倒检测方法
JP7185805B2 (ja) 転倒リスク評価システム
KR102205964B1 (ko) 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법
Fieraru et al. Learning complex 3D human self-contact
Mansoor et al. A machine learning approach for non-invasive fall detection using Kinect
US20230040650A1 (en) Real-time, fine-resolution human intra-gait pattern recognition based on deep learning models
Alazrai et al. Fall detection for elderly using anatomical-plane-based representation
Soni et al. Automated fall detection from a camera using support vector machine
Li et al. Posture recognition technology based on kinect
Seredin et al. The study of skeleton description reduction in the human fall-detection task
Martinez-Villaseñor et al. Design and analysis for fall detection system simplification
Oumaima et al. Vision-based fall detection and prevention for the elderly people: A review & ongoing research
Seredin et al. The basic assembly of skeletal models in the fall detection problem
Dai Vision-based 3d human motion analysis for fall detection and bed-exiting
Mastorakis Human fall detection methodologies: from machine learning using acted data to fall modelling using myoskeletal simulation
KR20220042631A (ko) 보행 영상 기반의 보행 측정 방법 및 이의 장치
Saraswat et al. Pose estimation based fall detection system using mediapipe

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant