CN111160262A - 一种融合人体关键点检测的人像分割方法 - Google Patents
一种融合人体关键点检测的人像分割方法 Download PDFInfo
- Publication number
- CN111160262A CN111160262A CN201911399482.1A CN201911399482A CN111160262A CN 111160262 A CN111160262 A CN 111160262A CN 201911399482 A CN201911399482 A CN 201911399482A CN 111160262 A CN111160262 A CN 111160262A
- Authority
- CN
- China
- Prior art keywords
- human body
- key point
- point detection
- portrait
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000003709 image segmentation Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 29
- 230000036544 posture Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合人体关键点检测的人像分割方法，首先利用人体关键点检测算法计算出人体关节位置，基于关节位置生成人体关节连接图；然后将关节连接图和待分割图像拼接到一起，送入快速分割网络中得到人体的掩膜。本发明利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性，对不同场景的人像分割具有良好的分割精度；本发明具有较高的分割准确率，可以应对人体的大姿态变化和不同的明暗，清晰度等变化，并且具有实时的速度，能够应用于视频或者图像中的人体精准定位、背景剔除等需求。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种融合了人体关键点检测的快速人像分割方法。
背景技术
智能监控和手机应用的很多场合都需要对人像的前景和背景进行分割，很多实际场景都需要在手机或者客户端上进行计算，由此对于算法的速度和计算量提出了要求。同时，由于人像不是刚体，人像的外观存在千变万化的差异性，并且要求处理的视频或者图片的场景各不相同，由此需要模型对于人像的特征具有很强的判别能力。同时人像本身存在非常大的姿态变化，传统的分割方法无法解决各种不同的姿态变化。
发明内容
本发明的目的在于提供一种融合人体关键点检测的人像分割方法，以解决上述技术问题。本发明能够针对不同场景、不同动作的人像都具有很高的分割准确度和鲁棒性。
相对于现有技术，本发明采用如下技术方案：
一种融合人体关键点检测的人像分割方法，包括以下步骤：
1)采集若干不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；
2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集；
3)搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练；
4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当作快速人像分割网络的输入进行训练；
5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到人体关节连接图；
6)将步骤5)中的人体关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的快速人像分割网络进行预测，得到人像的前景/背景分割掩膜；掩膜中值为1的像素表示前景人像，值为0的像素表示背景。
进一步的，所述步骤1)中采集的人像照片均为单人图片，并且采集的人像身体部分不允许有遮挡。
进一步的，所述步骤3)中搭建的快速人体关键点检测网络将OpenPose中的主干网络换成了MobileNet后的OpenPose。
进一步的，所述步骤4)中的快速分割网络使用了残差网络中的跨层连接和BottleNeck结构。
进一步的，所述步骤4)中训练的具体步骤是：
4.1)在人像分割数据集上统计每一张图片的均值和标准差，求出数据集上图像均值和标准差的平均数；利用统计得到的均值和标准差将训练集上的每一张训练图像归一化；
4.2)将步骤3)中得到的人体关节连接图进行二值化处理，关键点和关节点之间的连接数值取1，其他的背景像素数值取0。将关节连接图和归一化的图片拼接成四通道的图片当作训练样本；
4.3)训练的过程中，使用随机在线扩充的方法获取更多的训练样本，对于每一张训练图片随机顺时针或逆时针旋转0-45度，随机水平翻转，随机颜色增强，随机亮度调整，随机模糊；
4.4)训练中每一次迭代的批次大小为16，一共进行40000次迭代，梯度优化方法为随机梯度下降算法；初始学习率为0.01；训练中使用的损失函数为逐像素的二元交叉熵损失。
进一步的，所述步骤5)中的人体关节连接图按照步骤4.2)中同样的方法进行二值化处理。
进一步的，所述步骤6)的待测图片使用步骤4.1)中所统计的全数据集的图片均值和方差进行归一化。
相对于现有技术，本发明具有以下有益效果：本发明利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性，对不同场景的人像分割具有良好的分割精度；本发明步骤4)中的网络使用了BottleNeck结构，特征图经过卷积先降低通道数，然后在下一层重新恢复通道数，并且利用跨层连接把输入特征图和输出特征图相加得到最终的结果，该结构在保证分割准确率的同时可以显著降低计算量，提升运行速度，具有实时的运行速度。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为步骤4)中训练的快速关键点检测网络的结果示意图。
图2为算法的总体步骤流程图。
图3(a)为分割网络的具体结构示意图；图3(b)为BottleNeck结构示意图。
图4为步骤5)中训练的快速分割网络的结果示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
一种融合人体关键点检测的人像分割方法，包括以下步骤：
1)采集实际运用场景中的不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；
2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集，作为训练数据集。
3)按照搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练。训练的关键点网络效果示意图如图1。一共检测18个关键点，包含背景标注一共19类，顺序如下：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，右眼-14，左眼-15，有耳朵-16，左耳朵-17，背景-18；根据检测出的关键点的位置和人体关节的连接关系。
4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当做输入进行训练。整体算法的流程图如图2所示。分割网络的具体结构如图3(a)：图像先经过一系列卷积降低特征图的大小，得到高层语义信息；然后通过上采样逐步提升特征图的大小，利用跨层连接逐步与底层信息结合。底层特征具有丰富的位置信息，高层特征具有丰富的语义信息，利用跨层连接逐步融合高层、底层特征图使得结果同时具有语义和位置信息。步骤4)中的网络使用了如图3(b)所示的BottleNeck结构，特征图经过卷积先降低通道数，然后在下一层重新恢复通道数，并且利用跨层连接把输入特征图和输出特征图相加得到最终的结果。该结构在保证分割准确率的同时可以显著降低计算量，提升运行速度。
5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到关节连接图。
6)将步骤5)中的关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的网络进行预测，得到人像的前景/背景分割掩膜。掩膜中值为1的像素表示前景人像，值为0的像素表示背景。
本发明利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性。对不同场景的人像分割结果如图4，可见该发明具有良好的分割精度。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。
Claims (8)
1.一种融合人体关键点检测的人像分割方法，其特征在于，包括以下步骤：
1)采集若干不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；
2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集；
3)搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练；
4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当作快速人像分割网络的输入进行训练；
5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到人体关节连接图；
6)将步骤5)中的人体关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的快速人像分割网络进行预测，得到人像的前景/背景分割掩膜；掩膜中值为1的像素表示前景人像，值为0的像素表示背景。
2.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤1)中采集的人像照片均为单人图片，并且采集的人像身体部分不允许有遮挡。
3.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤3)中搭建的快速人体关键点检测网络将OpenPose中的主干网络换成了MobileNet后的OpenPose。
4.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤4)中的快速分割网络使用了残差网络中的跨层连接和BottleNeck结构。
5.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤4)中训练的具体步骤是：
4.1)在人像分割数据集上统计每一张图片的均值和标准差，求出数据集上图像均值和标准差的平均数；利用统计得到的均值和标准差将训练集上的每一张训练图像归一化；
4.2)将步骤3)中得到的人体关节连接图进行二值化处理，关键点和关节点之间的连接数值取1，其他的背景像素数值取0。将关节连接图和归一化的图片拼接成四通道的图片当作训练样本；
4.3)训练的过程中，使用随机在线扩充的方法获取更多的训练样本，对于每一张训练图片随机顺时针或逆时针旋转0-45度，随机水平翻转，随机颜色增强，随机亮度调整，随机模糊；
4.4)训练中每一次迭代的批次大小为16，一共进行40000次迭代，梯度优化方法为随机梯度下降算法；初始学习率为0.01；训练中使用的损失函数为逐像素的二元交叉熵损失。
6.根据权利要求5所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤5)中的人体关节连接图按照步骤4.2)中同样的方法进行二值化处理。
7.根据权利要求5所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤6)的待测图片使用步骤4.1)中所统计的全数据集的图片均值和方差进行归一化。
8.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：步骤3)中一共检测18个关键点，包含背景标注一共19类，顺序如下：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，右眼-14，左眼-15，有耳朵-16，左耳朵-17，背景-18；检测出的关键点的位置和人体关节的连接关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911399482.1A CN111160262A (zh) | 2019-12-30 | 2019-12-30 | 一种融合人体关键点检测的人像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911399482.1A CN111160262A (zh) | 2019-12-30 | 2019-12-30 | 一种融合人体关键点检测的人像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111160262A true CN111160262A (zh) | 2020-05-15 |
Family
ID=70559406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911399482.1A Pending CN111160262A (zh) | 2019-12-30 | 2019-12-30 | 一种融合人体关键点检测的人像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160262A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754528A (zh) * | 2020-06-24 | 2020-10-09 | Oppo广东移动通信有限公司 | 人像分割方法、装置、电子设备和计算机可读存储介质 |
| CN114549557A (zh) * | 2022-02-28 | 2022-05-27 | 重庆紫光华山智安科技有限公司 | 一种人像分割网络训练方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084161A (zh) * | 2019-04-17 | 2019-08-02 | 中山大学 | 一种人体骨骼关键点的快速检测方法及系统 |
| CN110276316A (zh) * | 2019-06-26 | 2019-09-24 | 电子科技大学 | 一种基于深度学习的人体关键点检测方法 |
| CN110334675A (zh) * | 2019-07-11 | 2019-10-15 | 山东大学 | 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 |
| CN110443144A (zh) * | 2019-07-09 | 2019-11-12 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
-
2019
- 2019-12-30 CN CN201911399482.1A patent/CN111160262A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084161A (zh) * | 2019-04-17 | 2019-08-02 | 中山大学 | 一种人体骨骼关键点的快速检测方法及系统 |
| CN110276316A (zh) * | 2019-06-26 | 2019-09-24 | 电子科技大学 | 一种基于深度学习的人体关键点检测方法 |
| CN110443144A (zh) * | 2019-07-09 | 2019-11-12 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN110334675A (zh) * | 2019-07-11 | 2019-10-15 | 山东大学 | 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| XI CHEN 等: "Real-time Human Segmentation using Pose Skeleton Map", 《PROCEEDINGS OF THE 38TH CHINESE CONTROL CONFERENCE》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754528A (zh) * | 2020-06-24 | 2020-10-09 | Oppo广东移动通信有限公司 | 人像分割方法、装置、电子设备和计算机可读存储介质 |
| CN114549557A (zh) * | 2022-02-28 | 2022-05-27 | 重庆紫光华山智安科技有限公司 | 一种人像分割网络训练方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| CN107330453B (zh) | 基于分步识别和融合关键部位检测的色情图像识别方法 | |
| CN112837315B (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
| CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN110598609A (zh) | 一种基于显著性引导的弱监督目标检测方法 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN109685121A (zh) | 图像检索模型的训练方法、图像检索方法、计算机设备 | |
| CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| CN107169994B (zh) | 基于多特征融合的相关滤波跟踪方法 | |
| CN113033454B (zh) | 一种城市视频摄像中建筑物变化的检测方法 | |
| CN109360179B (zh) | 一种图像融合方法、装置及可读存储介质 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN106658169A (zh) | 一种基于深度学习多层次分割新闻视频的通用方法 | |
| WO2020151148A1 (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
| WO2021103474A1 (zh) | 图像的处理方法和装置、存储介质及电子装置 | |
| CN113361466A (zh) | 一种基于多模态交叉指导学习的多光谱目标检测方法 | |
| CN114155556A (zh) | 一种基于加入通道混洗模块的堆叠沙漏网络的人体姿态估计方法及系统 | |
| CN110276279A (zh) | 一种基于图像分割的任意形状场景文本探测方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN111161213A (zh) | 一种基于知识图谱的工业产品缺陷图像分类方法 | |
| CN114612693A (zh) | 基于编解码网络的图像拼接伪造定位方法 | |
| CN116778241A (zh) | 一种基于多模态融合与度量学习的logo识别方法 | |
| CN113095371A (zh) | 一种面向三维重建的特征点匹配方法及系统 | |
| CN116095363A (zh) | 基于关键行为识别的移动端短视频高光时刻剪辑方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Jie Inventor after: Wu Tianqi Inventor after: Huang Ling Inventor after: Feng Hao Inventor after: Zheng Jingyuan Inventor after: Qi Donglian Inventor after: Yan Yunfeng Inventor after: Chen Xi Inventor after: Han Yifeng Inventor after: Wang Enhua Inventor before: Zhao Jie Inventor before: Wu Tianqi Inventor before: Huang Ling Inventor before: Feng Hao Inventor before: Zheng Jingyuan Inventor before: Qi Donglian Inventor before: Yan Yunfeng Inventor before: Chen Xi Inventor before: Han Yifeng Inventor before: Wang Enhua |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200515 |