CN111932623A - 一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备 - Google Patents
一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备 Download PDFInfo
- Publication number
- CN111932623A CN111932623A CN202010799010.1A CN202010799010A CN111932623A CN 111932623 A CN111932623 A CN 111932623A CN 202010799010 A CN202010799010 A CN 202010799010A CN 111932623 A CN111932623 A CN 111932623A
- Authority
- CN
- China
- Prior art keywords
- face
- robot
- mobile robot
- camera
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000008859 change Effects 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备，该方法通过移动机器人按照规划路径来拍摄不同角度的人脸照片，采集不同角度人脸的特征，为该人脸设置新的人脸编号信息，将人脸编号信息与该人脸不同角度的特性信息存入到人脸特征数据库中。本申请方法实现方法简单、可靠性高，可利用移动机器人高效采集和标注大量的人脸数据。
Description
技术领域
本发明涉及人脸数据自动采集标注的技术领域，尤其涉及一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备。
背景技术
随着机器学习的发展与应用，人工智能逐渐走进社会生活，并不断改善和提高我们的生活水平。机器学习尤其是深度学习需要大量的标定数据用于模型训练，但人工的数据采集与标定效率低下且耗费巨大。由于vslam技术可以估计相机运动，可以自由地计算物体在图像中的位置，所以可以节省人工标定的成本，如果有自动生成的带高质量标注的样本数据，则能够很大程度上加速分类器的训练过程。让自主移动机器人搭载摄像头，在指定的区域内自主移动时采集人脸数据并标定，能够极大的提升图像数据的采集与标定效率，自动生成带高质量标注的样本数据。
该方法在目前的研究中具备一定的创新性，如专利申请CN202010384123.5提供一种人脸图像采集方法、装置和电子设备,专利申请CN202010071240.6提供一种基于三目相机的三维人脸采集方法及装置，上述方法均不涉及利用自主移动机器人进行人脸数据采集与标定的方法。
因此为丰富相关领域的算法研究，以更为高效的方法解决图像的采集与标定，减少人力的支出，设计了基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备。
发明内容
针对上述技术问题，本申请实施例提供了一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备。本申请是通过如下技术方案实现的：
一种基于移动机器人的人脸数据自动采集标注方法，该方法应用于人脸数据自动采集标注系统，该方法包括如下步骤：
步骤S1、人脸数据自动采集标注系统进行初始化操作；
步骤S2、移动机器人在既定路径上运动；
步骤S3、当移动机器人的摄像头采集到人脸图像后，通过人脸检测算法检测出当前人脸在对应图像检测框中的位置，调整摄像头采集当前检测到的人脸图像，从所述检测到的人脸图像中提取人脸特征；
步骤S4、对提取的所述人脸特征与搭建的人脸特征数据库中的特征进行匹配，确定当前提取的所述人脸特征是否已存在于人脸特征数据库中，若当前提取的所述人脸特征已存在人脸特征数据库中，则返回并执行步骤S2；机器人继续在既定路径上运动，若当前提取的所述人脸特征不在人脸特征数据库中，则执行步骤S5；
步骤S5、机器人将基于运动信息和vslam算法确定移动机器人摄像头的位姿变化；
步骤S6、根据移动机器人摄像头的位姿变化和三角测量法得到检测人脸的三维空间位置；
步骤S7、得到所述检测人脸的三维空间位置后，移动机器人规划路径来拍摄不同角度的人脸照片，采集不同角度人脸的特征，为该人脸设置新的人脸编号信息，将拍摄所述人脸照片时人脸机器人的相对位置标注到所述人脸照片的照片信息中；
步骤S8、将新的人脸编号信息与该人脸不同角度的特性信息存入到人脸特征数据库中，返回执行步骤S2，移动机器人回到既定路径上继续运动。
进一步的，在步骤S1中，所述人脸数据自动采集标注系统进行初始化操作，具体包括：
步骤S101、导入初始化参数以及标记栅格，其中，所述初始化参数包括：系统采集时长、采集人脸目标数量、人脸采集相似度阈值、移动机器人移动最大速度、环绕运动安全距离；所述标记栅格包括：既定巡航路线上多个标记点；
步骤S102、导入环境地图，将当前机器人所在位置设置为定位零点；
步骤S103、将环境地图转化为环境栅格地图；
步骤S104、将环境栅格地图的各个栅格中包括墙体在内的各种障碍物所在位置设置为不可通行栅格，其他栅格被设置为可通行栅格。
进一步的，所述环境栅格地图中栅格大小的划分取决于机器人的外廓大小，每个单元栅格的边长为机器人最大外廓长度加上预设定的避障安全距离。
进一步的，在步骤S3中，所述通过人脸检测算法检测出当前人脸在对应图像检测框中的位置，具体包括：
利用HOG+SVM方法将图像中人脸部分分割出来，并提取人脸部分特征，形成特征向量，根据人脸的特征向量信息和特征在图像检测框中的位置信息推测出完整人脸的位置。
进一步的，在步骤S5中，所述基于运动信息和vslam算法确定移动机器人摄像头的位姿变化，包括：
步骤501、根据移动机器人定位变化的运动信息，结合odom和imu传感器数据，计算机器人拍摄两张连续照片之间的位姿变化；
步骤502、用vslam算法计算拍摄这两张照片的摄像头相对位姿变化；
步骤503、结合机器人位姿变化和摄像头位姿变化，计算出摄像头绝对位姿变化。
进一步的，在步骤S6中，所述根据移动机器人摄像头的位姿变化和三角测量法得到检测人脸的三维空间位置，具体包括：
步骤601、根据拍摄相邻两张照片摄像头绝对位姿变化，和人脸在两张图片中的位置，通过三角测量法，计算出人脸相对摄像头的空间位置；
步骤602、结合机器人拍摄上述连续两张照片时的定位信息和人脸相对与摄像头的空间位置，计算人脸的相对机器人定位零点的空间位置。
进一步的，在步骤S8中，所述得到检测人脸的三维空间位置后，移动机器人规划路径来拍摄不同角度的人脸照片，具体包括：
移动机器人将人脸在环境中的位置设置为运动路径圆点，以在系统初始化中设定的环绕运动安全距离为半径，规划处的圆环路径为移动机器人的移动路径，移动机器人做一次环绕运动拍摄不同角度的人脸照片。
一种基于移动机器人的人脸数据自动采集标注系统，该系统包括机器人环境探测模块、机器人定位模块、处理器、存储器以及后台人脸特征数据库：
机器人环境探测模块，包括视觉传感器、超声波传感器、红外传感器、激光雷达和毫米波雷达；
机器人定位模块，包括视觉估计模块、机器人IMU、机器人里程计和机器人激光雷达；
后台人脸特征数据库，用于保存采集和标注的人脸特征信息和人脸编号信息；
存储器，用来存储人脸数据自动采集标注方法的程序；
处理器，用于执行所述存储器中存储的程序，以实现上述人脸数据自动采集标注方法。
进一步的，所述视觉传感器包括单目摄像头、双目摄像头、深度摄像头。
一种电子设备，包括存储器单元和处理器单元，所述存储器单元上存储有计算机程序，所述处理器单元执行所述程序时实现上述方法。
与现有技术相比，本申请方法实现方法简单、可靠性高，可利用移动机器人高效采集和标注大量的人脸数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的人脸数据自动采集标注方法流程示意图；
图2是本申请实施例的场景应用示例图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
图1为本申请的一种基于移动机器人的人脸数据自动采集标注方法流程示意图本申请提供的基于移动机器人的人脸数据自动采集标注方法，包括如下步骤：
步骤S1，系统初始化；
所述系统初始化，包括：导入各种参数以及标记栅格；
所述导入各种参数，包括：系统采集时长(本发明实施中设置为8小时)，采集人脸目标数量(本发明实施中设置为1000)，人脸采集相似度阈值(本发明实施中设置为95％)，移动机器人移动最大速度(本发明实施中设置为0.5m/s)，环绕运动安全距离(本发明实施中设置为2m)。
所述标记栅格，包括：既定巡航路线上多个标记点
导入环境地图，将当前机器人所在位置设置为定位零点。
将环境地图转化为环境栅格地图；
将环境栅格地图的各个栅格中包括墙体在内的各种障碍物所在位置设置为不可通行栅格，其他栅格被设置为可通行栅格；
所述环境栅格地图中栅格大小的划分取决于：机器人的外廓大小，每个单元栅格的边长为机器人最大外廓长度加上预设定的避障安全距离。
步骤S2，移动机器人在既定路径上运动；
步骤S3，当移动机器人的摄像头采集到人脸图像后，通过人脸检测算法检测出当前人脸在对应图像检测框中的位置，调整摄像头采集当前检测到的人脸图像，提取人脸特征；
所述人脸检测算法检测出当前人脸在对应图像检测框中的位置，包括::利用HOG+SVM方法将图像中人脸部分分割出来，并提取人脸部分特征，形成特征向量，根据人脸的特征向量信息和特征在图像检测框中的位置信息推测出完整人脸的位置。
所述HOG+SVM方法是：
HOG(Histogram of Oriented Gradients)方向梯度直方图法，是一种特征值检测的方式。用来进行物体检测的特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征。它主要是利用了图片中特征点的梯度信息作为特征值，可以用来做行人、一些物品的检测。
SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在行人检测中可以用作区分行人和非行人的分类器。
步骤S4，对检测到的人脸特征与搭建的人脸特征数据库中的特征进行匹配，确定当前人脸特征是否已在人脸特征数据库中，即当前检测到的人脸是否是已确定人脸编号信息的人脸。若当前检测到的人脸特征已存在人脸特征数据库中，返回执行步骤S2，机器人继续在既定路径上运动。若当前检测到的人脸特征不在人脸特征数据库中，则执行步骤S5；
步骤S5，机器人将基于运动信息和vslam算法确定移动机器人摄像头的位姿变化；
所述基于运动信息和vslam算法确定移动机器人摄像头的位姿变化，包括：
步骤501、根据移动机器人定位变化，结合odom和imu传感器数据，计算机器人拍摄两张连续照片之间的位姿变化。
步骤502、用vslam算法计算拍摄这两张照片的摄像头相对位姿变化。
步骤503、结合机器人位姿变化和摄像头位姿变化，计算出摄像头绝对位姿变化。
所述vslam技术是指：视觉同时定位与建图(visual simultaneous localizationand mapping)，能够通过摄像头拍摄的图像计算出摄像头的6维度位姿轨迹变化，同时计算出图像中的物体(地图点)的空间位置，并以此建图和用于定位。本文使用vslam技术来计算摄像头拍摄的两张图像之间的位姿变化。
步骤S6，根据移动机器人摄像头的位姿变化和三角测量法得到检测人脸的三维空间位置；
所述根据移动机器人摄像头的位姿变化和三角测量法得到检测人脸的三维空间位置，包括：
步骤601、根据拍摄相邻两张照片摄像头绝对位姿变化，和人脸在两张图片中的位置，通过三角测量法，计算出人脸相对摄像头的空间位置；
所述三角测量法是指：通过三角化(Triangulation)的方法估计两张图片中某一物体、特征点或像素点的深度，再结合摄像头外参和图像坐标可以求得图像中物体、特征点或像素的三维空间位置
步骤602、结合机器人拍摄上述连续两张照片时的定位信息和人脸相对与摄像头的空间位置，计算人脸的相对机器人定位零点的空间位置。
步骤S7，得到检测人脸的三维空间位置后，移动机器人规划路径来拍摄不同角度的人脸照片，采集不同角度人脸的特征，为该人脸设置新的人脸编号信息，将拍摄该照片的人脸机器人相对位置标注到照片信息中。
步骤S8，将新的人脸编号信息与该人脸不同角度的特性信息存入到人脸特征数据库中，返回执行步骤S2，移动机器人回到既定路径上继续运动。
所述得到检测人脸的三维空间位置后，移动机器人规划路径来拍摄不同角度的人脸照片，包括:移动机器人将人脸在环境中的位置设置为运动路径圆点，以在系统初始化中设定的环绕运动安全距离为半径，规划处的圆环路径为移动机器人的移动路径，移动机器人做一次环绕运动拍摄不同角度的人脸照片。
本申请还提出一种基于移动机器人的人脸数据自动采集标注系统，该系统包括：
处理器，用于执行所述基于移动机器人的人脸数据自动采集标注方法程序；
机器人环境探测模块，包括视觉传感器、超声波传感器、红外传感器、激光雷达和毫米波雷达；
机器人定位模块，包括视觉估计模块和机器人IMU；
存储指令的存储器，用来保存基于移动机器人的人脸数据自动采集标注方法的程序；
后台人脸特征数据库系统，用于保存采集和标注的人脸特征信息和人脸编号信息。
所述视觉传感器包括：单目摄像头、双目摄像头、深度摄像头。
在一些实施例中，计算机程序的部分或者全部可以经由ROM而被载入和/或安装到设备上。当计算机程序加载并被执行时，可以执行上文描述的方法的一个或多个步骤。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种基于移动机器人的人脸数据自动采集标注方法，该方法应用于人脸数据自动采集标注系统，其特征在于，该方法包括如下步骤：
步骤S1、人脸数据自动采集标注系统进行初始化操作；
步骤S2、移动机器人在既定路径上运动；
步骤S3、当移动机器人的摄像头采集到人脸图像后，通过人脸检测算法检测出当前人脸在对应图像检测框中的位置，调整摄像头采集当前检测到的人脸图像，从所述检测到的人脸图像中提取人脸特征；
步骤S4、对提取的所述人脸特征与搭建的人脸特征数据库中的特征进行匹配，确定当前提取的所述人脸特征是否已存在于人脸特征数据库中，若当前提取的所述人脸特征已存在人脸特征数据库中，则返回并执行步骤S2；机器人继续在既定路径上运动，若当前提取的所述人脸特征不在人脸特征数据库中，则执行步骤S5；
步骤S5、机器人将基于运动信息和vslam算法确定移动机器人摄像头的位姿变化；
步骤S6、根据移动机器人摄像头的位姿变化和三角测量法得到检测人脸的三维空间位置；
步骤S7、得到所述检测人脸的三维空间位置后，移动机器人规划路径来拍摄不同角度的人脸照片，采集不同角度人脸的特征，为该人脸设置新的人脸编号信息，将拍摄所述人脸照片时人脸机器人的相对位置标注到所述人脸照片的照片信息中；
步骤S8、将新的人脸编号信息与该人脸不同角度的特性信息存入到人脸特征数据库中，返回执行步骤S2，移动机器人回到既定路径上继续运动。
2.如权利要求1所述的人脸数据自动采集标注方法，其特征在于，在步骤S1中，所述人脸数据自动采集标注系统进行初始化操作，具体包括：
步骤S101、导入初始化参数以及标记栅格，其中，所述初始化参数包括：系统采集时长、采集人脸目标数量、人脸采集相似度阈值、移动机器人移动最大速度、环绕运动安全距离；所述标记栅格包括：既定巡航路线上多个标记点；
步骤S102、导入环境地图，将当前机器人所在位置设置为定位零点；
步骤S103、将环境地图转化为环境栅格地图；
步骤S104、将环境栅格地图的各个栅格中包括墙体在内的各种障碍物所在位置设置为不可通行栅格，其他栅格被设置为可通行栅格。
3.如权利要求1所述的人脸数据自动采集标注方法，其特征在于，所述环境栅格地图中栅格大小的划分取决于机器人的外廓大小，每个单元栅格的边长为机器人最大外廓长度加上预设定的避障安全距离。
4.如权利要求1所述的人脸数据自动采集标注方法，其特征在于，在步骤S3中，所述通过人脸检测算法检测出当前人脸在对应图像检测框中的位置，具体包括：
利用HOG+SVM方法将图像中人脸部分分割出来，并提取人脸部分特征，形成特征向量，根据人脸的特征向量信息和特征在图像检测框中的位置信息推测出完整人脸的位置。
5.如权利要求1所述的人脸数据自动采集标注方法，其特征在于，在步骤S5中，所述基于运动信息和vslam算法确定移动机器人摄像头的位姿变化，包括：
步骤501、根据移动机器人定位变化的运动信息，结合odom和imu传感器数据，计算机器人拍摄两张连续照片之间的位姿变化；
步骤502、用vslam算法计算拍摄这两张照片的摄像头相对位姿变化；
步骤503、结合机器人位姿变化和摄像头位姿变化，计算出摄像头绝对位姿变化。
6.如权利要求1所述的人脸数据自动采集标注方法，其特征在于，在步骤S6中，所述根据移动机器人摄像头的位姿变化和三角测量法得到检测人脸的三维空间位置，具体包括：
步骤601、根据拍摄相邻两张照片摄像头绝对位姿变化，和人脸在两张图片中的位置，通过三角测量法，计算出人脸相对摄像头的空间位置；
步骤602、结合机器人拍摄上述连续两张照片时的定位信息和人脸相对与摄像头的空间位置，计算人脸的相对机器人定位零点的空间位置。
7.如权利要求1所述的人脸数据自动采集标注方法，其特征在于，在步骤S8中，所述得到检测人脸的三维空间位置后，移动机器人规划路径来拍摄不同角度的人脸照片，具体包括：
移动机器人将人脸在环境中的位置设置为运动路径圆点，以在系统初始化中设定的环绕运动安全距离为半径，规划处的圆环路径为移动机器人的移动路径，移动机器人做一次环绕运动拍摄不同角度的人脸照片。
8.一种基于移动机器人的人脸数据自动采集标注系统，其特征在于，该系统包括机器人环境探测模块、机器人定位模块、处理器、存储器以及后台人脸特征数据库：
机器人环境探测模块，包括视觉传感器、超声波传感器、红外传感器、激光雷达和毫米波雷达；
机器人定位模块，包括视觉估计模块、机器人IMU、机器人里程计和机器人激光雷达；
后台人脸特征数据库，用于保存采集和标注的人脸特征信息和人脸编号信息；
存储器，用来存储人脸数据自动采集标注方法的程序；
处理器，用于执行所述存储器中存储的程序，以实现如权利要求1至7之一所述的人脸数据自动采集标注方法。
9.如权利要求8所述的人脸数据自动采集标注系统，其特征在于，所述视觉传感器包括单目摄像头、双目摄像头、深度摄像头。
10.一种电子设备，包括存储器单元和处理器单元，所述存储器单元上存储有计算机程序，其特征在于，所述处理器单元执行所述程序时实现如权利要求1至7之一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799010.1A CN111932623A (zh) | 2020-08-11 | 2020-08-11 | 一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799010.1A CN111932623A (zh) | 2020-08-11 | 2020-08-11 | 一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111932623A true CN111932623A (zh) | 2020-11-13 |
Family
ID=73307347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010799010.1A Pending CN111932623A (zh) | 2020-08-11 | 2020-08-11 | 一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932623A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598807A (zh) * | 2020-12-22 | 2021-04-02 | 深圳数联天下智能科技有限公司 | 人脸关键点检测模型的训练方法、装置、计算机设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103472828A (zh) * | 2013-09-13 | 2013-12-25 | 桂林电子科技大学 | 基于改进蚁群粒子群算法的移动机器人路径规划方法 |
| WO2018107916A1 (zh) * | 2016-12-14 | 2018-06-21 | 南京阿凡达机器人科技有限公司 | 一种基于环境地图的机器人安防巡检方法及其机器人 |
| CN109333535A (zh) * | 2018-10-25 | 2019-02-15 | 同济大学 | 一种自主移动机器人的导引方法 |
| US20190281209A1 (en) * | 2016-12-02 | 2019-09-12 | SZ DJI Technology Co., Ltd. | Photographing control method, apparatus, and control device |
| US20190333239A1 (en) * | 2016-12-02 | 2019-10-31 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Positioning method and device |
| CN110728715A (zh) * | 2019-09-06 | 2020-01-24 | 南京工程学院 | 一种智能巡检机器人像机角度自适应调整方法 |
| US20200159246A1 (en) * | 2018-11-19 | 2020-05-21 | Ankobot (Shenzhen) Smart Technologies Co., Ltd. | Methods and systems for mapping, localization, navigation and control and mobile robot |
-
2020
- 2020-08-11 CN CN202010799010.1A patent/CN111932623A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103472828A (zh) * | 2013-09-13 | 2013-12-25 | 桂林电子科技大学 | 基于改进蚁群粒子群算法的移动机器人路径规划方法 |
| US20190281209A1 (en) * | 2016-12-02 | 2019-09-12 | SZ DJI Technology Co., Ltd. | Photographing control method, apparatus, and control device |
| US20190333239A1 (en) * | 2016-12-02 | 2019-10-31 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Positioning method and device |
| WO2018107916A1 (zh) * | 2016-12-14 | 2018-06-21 | 南京阿凡达机器人科技有限公司 | 一种基于环境地图的机器人安防巡检方法及其机器人 |
| CN109333535A (zh) * | 2018-10-25 | 2019-02-15 | 同济大学 | 一种自主移动机器人的导引方法 |
| US20200159246A1 (en) * | 2018-11-19 | 2020-05-21 | Ankobot (Shenzhen) Smart Technologies Co., Ltd. | Methods and systems for mapping, localization, navigation and control and mobile robot |
| CN110728715A (zh) * | 2019-09-06 | 2020-01-24 | 南京工程学院 | 一种智能巡检机器人像机角度自适应调整方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598807A (zh) * | 2020-12-22 | 2021-04-02 | 深圳数联天下智能科技有限公司 | 人脸关键点检测模型的训练方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874100B (zh) | 用于使用视觉稀疏地图进行自主导航的系统和方法 | |
| CN106940186B (zh) | 一种机器人自主定位与导航方法及系统 | |
| US10939791B2 (en) | Mobile robot and mobile robot control method | |
| US20200159222A1 (en) | Object tracking using depth information | |
| CN110070615A (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN110726409A (zh) | 一种基于激光slam和视觉slam地图融合方法 | |
| CN108919811A (zh) | 一种基于tag标签的室内移动机器人SLAM方法 | |
| Tamjidi et al. | 6-DOF pose estimation of a portable navigation aid for the visually impaired | |
| Zhang et al. | Multiple vehicle-like target tracking based on the velodyne lidar | |
| CN114415736A (zh) | 一种无人机多阶段视觉精准降落方法和装置 | |
| WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
| Ferguson et al. | A 2d-3d object detection system for updating building information models with mobile robots | |
| CN115586767A (zh) | 一种多机器人路径规划方法和装置 | |
| US20240362889A1 (en) | Applying depth estimation to keypoint detection and descriptor generation for autonomous driving control | |
| KR102601141B1 (ko) | 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법 | |
| CN111932623A (zh) | 一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备 | |
| CN114782639A (zh) | 一种基于多传感器融合的快速式差速潜伏式agv稠密三维重建方法 | |
| Xu et al. | 2D/3D sensor exploitation and fusion for enhanced object detection | |
| Vempati et al. | Victim detection from a fixed-wing uav: Experimental results | |
| CN117635651A (zh) | 一种基于YOLOv8实例分割的动态环境SLAM方法 | |
| Frosi et al. | D3VIL-SLAM: 3D visual inertial LiDAR SLAM for outdoor environments | |
| Huang et al. | Image-based localization for indoor environment using mobile phone | |
| Singh et al. | Efficient deep learning-based semantic mapping approach using monocular vision for resource-limited mobile robots | |
| Weber et al. | Follow me: Real-time in the wild person tracking application for autonomous robotics | |
| Xia et al. | YOLO-based semantic segmentation for dynamic removal in visual-inertial SLAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201113 |