CN110543906A - 基于数据增强和Mask R-CNN模型的肤质自动识别方法 - Google Patents
基于数据增强和Mask R-CNN模型的肤质自动识别方法 Download PDFInfo
- Publication number
- CN110543906A CN110543906A CN201910806679.6A CN201910806679A CN110543906A CN 110543906 A CN110543906 A CN 110543906A CN 201910806679 A CN201910806679 A CN 201910806679A CN 110543906 A CN110543906 A CN 110543906A
- Authority
- CN
- China
- Prior art keywords
- skin
- model
- data
- training
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000036555 skin type Effects 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 21
- 208000017520 skin disease Diseases 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 206010013786 Dry skin Diseases 0.000 claims description 2
- 206010039792 Seborrhoea Diseases 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 230000037336 dry skin Effects 0.000 claims description 2
- 230000007935 neutral effect Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000037312 oily skin Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000037307 sensitive skin Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 206010048768 Dermatosis Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000037075 skin appearance Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明请求保护一种基于数据增强和Mask R‑CNN模型的肤质自动识别方法，本发明方案由五个阶段组成：数据标注、数据增强、模型训练、参数调节、模型选取五个阶段。大大地节省了当今皮肤护理行业的人力资源，并且能实现高效快捷的肤质检测。同时本模型有自适应以及增量学习的特性，随着训练数据集的扩大和使用数量的递增，可获得更高的识别准确率。
Description
技术领域
本发明属于深度学习图像识别领域，具体涉及基于数据增强和Mask R-CNN 模型的肤质自动识别方法。
背景技术
皮肤肤质检测在人们日常生活中非常常见，根据不同肤质所研发的皮肤护理产品亦非常多样，因此对于不同肤质使用不同类型的皮肤护理产品则显得尤为重要。但现今对于肤质检测的手段相对匮乏，一般由医生或美容师检测，由此问题入手，本发明提出利用图像识别方法进行肤质检测，与医生和美容师检测不同，图像识别检测系统更为客观和方便，并且能大大节省用户在皮肤护理上付出的人力物力。使用特征提取算法并结合分类器是目前在图像识别领域的一种主流方法。
但是人工提取特征并不适用于通用的肤质分类系统。有以下主要原因：1) 皮肤特征繁多，人工提取特征通常应用于一种或有限种特征的皮肤。它很难应大规模的数据集。2)皮肤外观的类间相似度高和类内差异化大，造成肤质的识别较为困难。为了解决这些问题，在这个领域上使用自动识别分类方法就显得尤为重要了，然而基于皮肤图像的自动识别分类是非常具有挑战性的工作，由于分类识别算法的局限性和现实中皮肤图像的噪声影响(如光线、拍摄抖动、图片噪点等)导致识别准确率低下。
随着近年来深度学习算法的发展和提升，卷积神经网络和在此基础上发展的MaskR-CNN算法在图像检测领域崭露头角，为解决肤质识别上的困难奠定基础。基于上述以上问题，本发明提出了一个基于数据增强和Mask R-CNN算法的肤质自动识别方法。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种可以提高识别的效率和准确率提供辅助支持的基于数据增强和Mask R-CNN模型的肤质自动识别方法。本发明的技术方案如下：
一种基于数据增强和Mask R-CNN模型的肤质分类自动识别方法，其特征在于，包括以下步骤：
步骤S1，对大量的已知不同肤质图像组成的数据库进行标注，标注皮肤图像中包括位置特征和类型特征在内的特征，然后将皮肤图像划分为训练图像集、测试图像集和验证图像集；
步骤S2，对标注好的已知皮肤图像的训练图像集进行数据离线增强处理，所述数据离线增强处理采用翻转、旋转、缩放和裁剪四种数据增强方法，将数据数目变为增强因子*原数据集的数目，其中增强因子是指指是数据做离线增强之后增长的倍数；
步骤S3，采用迁移学习方法，在预训练好的Microsoft COCO数据集的基础上进行训练，以获得优化的初始参数，从而加快模型训练的速度、识别率和泛化能力，将标注好的10000张皮肤照片中选取6000张作为训练图像集，2000张作为测试图像集，2000张作为验证图像集，通过验证图像集检验模型的准确率，通过训练结果对模型进行参数调节，直至模型收敛；
步骤S4，重复步骤S2、S3训练多个模型，对比其评价性指标，使用目标优化算法选取一个最优的模型作为目标，完成目标自动识别。
进一步的，所述步骤S1的具体实现过程为：使用yolo_mark图像检测标注工具对已知目标图像进行标注位置以及类型，其中肤质的类型有五种，分别是干性皮肤、油性皮肤、混合性皮肤、中性皮肤和敏感性皮肤，该工具在window 系统下运行，依赖opencv库，使用json格式文件记录图像信息，图像信息包括图像名称、图像尺寸、位置及类型，然后按照60％、20％、20％的比例分别将皮肤病图像数据集划分为训练集、验证集和测试集。
进一步的，所述步骤S2进行数据离线增强处理包括以下几个步骤：
S2.1定义增强因子为2，其中数据离线增强后增长的倍数为2，将皮肤图片做镜面翻折；
S2.2定义增强因子为4，将皮肤图片按顺时针或逆时针旋转90度；
S2.3对皮肤图片进行任意放大和缩小，然后对皮肤图片按原始尺寸进行裁剪。
进一步的，步骤S3的具体实现过程为：使用tensorflow深度学习框架搭建 MaskR-CNN模型，在预训练好的Microsoft COCO数据集的基础上进行训练：
步骤S3.1，将经过离线数据增强后得到的皮肤图像作为卷积神经网络的输入，进行特征提取，特征提取的过程是：S4.1.1将预处理得到的不同尺寸的皮肤图像缩放至固定的大小，然后将固定大小的皮肤图像输入卷积神经网络，S4.1.2 在卷积神经网络中，对皮肤图像进行多次卷积和池化操作，得到皮肤特征图；
步骤S3.2，利用RPN(候选区域网络)网络生成推荐候选区域，每张图片输出M个候选区域；
步骤S3.3，将候选区域映射到卷积神经网络的最后一层卷积上；
步骤S3.4，通过RoI Align层使每个候选区域生成固定尺寸的feature map，皮肤图像中的像素和feature map中的像素完全对齐；
步骤S3.5，将上层的输出送入全连接层，对这些候选区域进行分类，利用 softmax函数得到最后输出的类别概率，通过概率判定所属肤质的类别；
步骤S3.6，使用训练集按上述步骤对模型训练一定的周期以后，暂停训练并且保存模型训练数据，观察模型的损失函数值随着训练周期的变化情况；
步骤S3.7，如果损失函数值呈现下降趋势，则继续训练模型直至收敛，反之，损失函数值呈现波动状态或者上升趋势，则需要调整模型参数，调整后重新开始训练模型。
进一步的，所述步骤S3.1进行卷积神经网络特征提取包括以下几个步骤：
S3.1.1首先对图像进行归一化预处理，减去数据集中的像素均值，得到 224x224尺寸的图像，输入层负责从经过预处理的皮肤图片数据集中载入图像。
S3.1.2卷积层以特征图为单元，卷积核代表特征，每个单元通过卷积核作用于上层特征图的局部区域，经过局部区域的加权与ReLU非线性处理来获取图像的局部特征。
进一步的，所述步骤S3.5采用Softmax分类器进行特征识别包括以下几个步骤：
S3.5.1设输入待识别皮肤图片数目为N，有k(k＝5)类目标类别，对于测试的图片xi根据贝叶斯定理，估计当前图片xi处属于j类别的的概率为p(yi＝j|xi)，则用假设函数hθ(xi)估计当前图片xi对于各个类别的所属概率如下：
其中，表示模型的参数、k为类别数目、xi测试图像i，表示对概率分布进行归一化。
进一步的，所述步骤S3.6的损失函数表示为下式：
L＝Lcls+Lreg+Lmask
其中，Lcls为分类误差，Lreg为检测误差，Lmask为分割误差
Lcls和Lreg是利用全连接层预测出的每个候选区域(RoI)的类别和目标回归框坐标值，Lmask表示对每个候选区域进行分割的误差，其中分割输出的维度为 k*m*m(k为类别数，m*m为特征图的大小),即对k个Mask进行编码，每一个Mask有k个类别，对每一个像素使用sigmod函数求二值交叉熵。
模型训练采用批量训练方法，主要参数设置为：基础学习率0.01，动量因子参数为0.9，正则化衰减系数为0.0001。
进一步的，步骤S4的具体实现过程为：使用相同的训练集在多个模型上训练，根据各个模型的召回率、准确率以及F值，通过多目标优化算法(带精英策略的非支配排序遗传算法)，选取一个各项指标最优的模型。
本发明的优点及有益效果如下：
本发明的目的在于提供一种针对皮肤图像的肤质自动识别分类方法。通过训练Mask R-CNN模型，实现对于皮肤图像自动识别分类。为了使得深度学习模型受图像数据限制所造成的过拟合现象，本发明采用数据增强和迁移学习的方法进行数据预处理。使用本方法，可以提高肤质识别的效率和准确率，为用户根据各种肤质的特性制定更准确和有效的皮肤护理方案。
(1)采用先进地目标检测算法Mask R-CNN，较传统地卷积数据网络算法有减少计算量、效率提升以及识别准确率提升等优点。
(2)本方法具有自适应与增量学习特性
(3)本方法能有效地减少肤质检测中人为造成的误诊断，可以大大提升肤质的效率，节约大量皮肤护理行业资源。
(4)本方法创新性地将图像检测算法与肤质分类结合，使得肤质检测可快速便捷地进行，从而使用户可以根据肤质检测结果有针对性地选择皮肤护理产品以及做出适当的美容方案。
(5)本方法创新性地将多目标优化算法(带精英策略的非支配排序遗传算法)与模型选取结合，从而可以从训练的大量模型中更为准确地选择出最优化模型。
附图说明
图1是本发明提供优选实施例Mask R-CNN模型整体网络结构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明基于目标检测算法Mask R-CNN，该算法主要由两个模块组成：第一是RPN网络，用于生成候选区域，第二个模块是ROI Align，用于进行目标检测，通过全卷积网络网络输出Binary Mask，方案具体步骤如下：
(1)数据标注：将原始地皮肤病图像进行标注，画出病灶区域；
(2)数据增强：对标注好的皮肤病标记图像进行数据离线增强处理，将数据数目变为增强因子*原数据集的数目。其中增强因子是指指的是数据做离线增强之后增长的倍数。本发明采用翻转、旋转、缩放和裁剪四种数据增强方法。
(3)模型训练：初始化Mask R-CNN模型，整体网络结构如图1：
i.卷积神经网络：用于提取皮肤病病灶特征图，该特征图将由RPN 网络和全连接层共享。
ii.RPN网络用于生成推荐候选区域。
iii.通过RoI Align层使每个候选区域生成固定尺寸的feature map，皮肤病图像中的像素和feature map中的像素完全对齐。
iv.全连接层：利用softmax函数得到最后输出的类别概率。
(4)参数调节：开始训练模型时，先将学习率设置为0.1，通过高的学习率来得到近似全局最优，然后利用较小的学习率来得到局部最优，以获得全局最优。
参数调节有以下几种情况：
当损失函数值呈现下降趋势时，继续训练模型直至收敛。
当损失函数值呈现波动或者上升趋势时，需要降低学习率。
当模型不收敛时，需要增大mini batch的数量，减少全连接层层的节点数量。
(5)模型选择：根据上述步骤训练好的模型的准确率、召回率以及F值，利用目标优化算法，选择最优的模型。
本发明提出了基于数据增强、迁移学习和Mask R-CNN模型的皮肤病自动识别方法，所述方法的具体步骤如下：
步骤S1，对大量的皮肤病图像组成的数据库进行标注，标注皮肤病图片中的病灶位置和病情类型，然后将图像划分为训练图像集、测试图像集和验证图像集。
步骤S2，对标注好的皮肤病标记图像进行数据离线增强处理，将数据数目变为增强因子*原数据集的数目。其中增强因子是指指是数据做离线增强之后增长的倍数。本发明采用翻转、旋转、缩放和裁剪四种数据增强方法。
步骤S3，采用迁移学习方法，将ImageNet上预训练好的模型迁移到数据增强后的训练图像集进行训练，以获得优化的初始参数，从而加快模型训练的速度、识别率和泛化能力。通过验证图像集检验模型的准确率，通过训练结果对模型进行参数调节，直至模型收敛。
步骤S4，重复步骤S2、S3训练多个模型，对比其评价性指标，使用目标优化算法选取一个最优的模型。
所描述的步骤S1的具体实施过程为：使用yolo_mark图像检测标注工具对皮肤病图像进行标注病灶位置以及疾病类型，该工具在window系统下运行，依赖opencv库。使用json格式文件记录图像信息，信息包括皮肤病图像名称、图像尺寸、病灶位置、疾病类型，然后按照60％、20％、20％的比例分别将皮肤病图像数据集划分为训练集、验证集和测试集。
所描述的步骤S2进行数据离线增强处理包括以下几个步骤：
S2.1定义增强因子为2(数据离线增强后增长的倍数为2)，将皮肤患处图片做镜面翻折。
S2.2定义增强因子为4(数据离线增强后增长的倍数为2)，将皮肤患处图片按顺时针或逆时针旋转90度。
S2.3对皮肤患处图片进行任意放大和缩小，然后对患处图片按原始尺寸进行裁剪。
所描述的步骤S3的具体实现过程为：使用tensorflow深度学习框架搭建卷积神经网络模型，在预训练好的Microsoft COCO数据集的基础上进行训练。训练的具体过程如下：
步骤S3.1，预处理得到的皮肤图像作为卷积神经网络的输入，进行特征提取。特征提取的过程是：S3.1.1将预处理得到的不同尺寸的皮肤图像缩放至固定的大小，然后将固定大小的皮肤图像输入卷积神经网络，S3.1.2在卷积神经网络中，对皮肤图像进行多次卷积和池化操作，得到皮肤特征图。
步骤S3.2，利用RPN网络(候选区域网络)生成推荐候选区域，每张图片输出M个候选区域。
步骤S3.3，将候选区域映射到卷积神经网络的最后一层卷积上。
步骤S3.4，通过RoI Align层使每个候选区域生成固定尺寸的feature map，皮肤病图像中的像素和feature map中的像素完全对齐。
步骤S3.5，将上层的输出送入全连接层，利用softmax函数得到最后输出的类别概率，通过概率判定所属肤质的类别。
步骤S3.6，使用训练集按上述步骤对模型训练一定的周期以后，暂停训练并且保存模型训练数据，观察模型的损失函数值随着训练周期的变化情况，模型训练采用批量训练方法，主要参数设置为：基础学习率0.01，动量因子参数为0.9，正则化衰减系数为0.0001。。
步骤S3.7，如果损失函数值呈现下降趋势，则继续训练模型直至收敛，反之，损失函数值呈现波动状态或者上升趋势，则需要调整模型参数，调整后重新开始训练模型。
所描述的步骤S4的具体实现过程为：使用相同的训练集在多个模型上训练，根据各个模型的召回率、准确率以及F值，通过多目标优化算法，选取一个各项指标最优的模型。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (9)
1.一种基于数据增强和Mask R-CNN模型的肤质分类自动识别方法，其特征在于，包括以下步骤：
步骤S1，对大量的已知不同肤质图像组成的数据库进行标注，标注皮肤图像中包括位置特征和类型特征在内的特征，然后将皮肤图像划分为训练图像集、测试图像集和验证图像集；
步骤S2，对标注好的已知皮肤图像的训练图像集进行数据离线增强处理，所述数据离线增强处理采用翻转、旋转、缩放和裁剪四种数据增强方法，将数据数目变为增强因子*原数据集的数目，其中增强因子是指指是数据做离线增强之后增长的倍数；
步骤S3，采用迁移学习方法，在预训练好的Microsoft COCO数据集的基础上进行训练，以获得优化的初始参数，从而加快模型训练的速度、识别率和泛化能力，将标注好的10000张皮肤照片中选取6000张作为训练图像集，2000张作为测试图像集，2000张作为验证图像集，通过验证图像集检验模型的准确率，通过训练结果对模型进行参数调节，直至模型收敛；
步骤S4，重复步骤S2、S3训练多个模型，对比其评价性指标，使用目标优化算法选取一个最优的模型作为目标，完成目标自动识别。
2.根据权利要求1所述的一种基于数据增强和Mask R-CNN模型的肤质自动识别方法，其特征在于，所述步骤S1的具体实现过程为：使用yolo_mark图像检测标注工具对已知目标图像进行标注位置以及类型，其中肤质的类型有五种，分别是干性皮肤、油性皮肤、混合性皮肤、中性皮肤和敏感性皮肤，该工具在window系统下运行，依赖opencv库，使用json格式文件记录图像信息，图像信息包括图像名称、图像尺寸、位置及类型，然后按照60％、20％、20％的比例分别将皮肤病图像数据集划分为训练集、验证集和测试集。
3.根据权利要求2所述的一种基于数据增强和Mask R-CNN模型的肤质自动识别方法，其特征在于，所述步骤S2进行数据离线增强处理包括以下几个步骤：
S2.1 定义增强因子为2，其中数据离线增强后增长的倍数为2，将皮肤图片做镜面翻折；
S2.2 定义增强因子为4，将皮肤图片按顺时针或逆时针旋转90度；
S2.3 对皮肤图片进行任意放大和缩小，然后对皮肤图片按原始尺寸进行裁剪。
4.根据权利要求3所述的一种基于数据增强和Mask R-CNN模型的肤质自动识别方法，其特征在于，步骤S3的具体实现过程为：使用tensorflow深度学习框架搭建Mask R-CNN模型，在预训练好的Microsoft COCO数据集的基础上进行训练：
步骤S3.1，将经过离线数据增强后得到的皮肤图像作为卷积神经网络的输入，进行特征提取，特征提取的过程是：S4.1.1将预处理得到的不同尺寸的皮肤图像缩放至固定的大小，然后将固定大小的皮肤图像输入卷积神经网络，S4.1.2在卷积神经网络中，对皮肤图像进行多次卷积和池化操作，得到皮肤特征图；
步骤S3.2，利用RPN候选区域网络生成推荐候选区域，每张图片输出M个候选区域；
步骤S3.3，将候选区域映射到卷积神经网络的最后一层卷积上；
步骤S3.4，通过RoI Align层使每个候选区域生成固定尺寸的feature map，皮肤图像中的像素和feature map中的像素完全对齐；
步骤S3.5，将上层的输出送入全连接层，对这些候选区域进行分类，利用softmax函数得到最后输出的类别概率，通过概率判定所属肤质的类别；
步骤S3.6，使用训练集按上述步骤对模型训练一定的周期以后，暂停训练并且保存模型训练数据，观察模型的损失函数值随着训练周期的变化情况；
步骤S3.7，如果损失函数值呈现下降趋势，则继续训练模型直至收敛，反之，损失函数值呈现波动状态或者上升趋势，则需要调整模型参数，调整后重新开始训练模型。
5.根据权利要求4所述的一种基于数据增强和Mask R-CNN模型的目标自动识别方法，其特征在于，所述步骤S3.1进行卷积神经网络特征提取包括以下几个步骤：
S3.1.1 首先对图像进行归一化预处理，减去数据集中的像素均值，得到224x224尺寸的图像，输入层负责从经过预处理的皮肤图片数据集中载入图像。
S3.1.2 卷积层以特征图为单元，卷积核代表特征，每个单元通过卷积核作用于上层特征图的局部区域，经过局部区域的加权与ReLU非线性处理来获取图像的局部特征。
6.根据权利要求4所述的一种基于数据增强和Mask R-CNN模型的目标自动识别方法，其特征在于，所述步骤S3.5采用Softmax分类器进行特征识别包括以下几个步骤：
S3.5.1 设输入待识别皮肤图片数目为N，有k(k＝5)类目标类别，对于测试的图片x_i根据贝叶斯定理，估计当前图片xi处属于j类别的的概率为p(yi＝j|xi)，则用假设函数hθ(xi)估计当前图片xi对于各个类别的所属概率如下：
其中，θl T表示模型的参数、k为类别数目、xi测试图像i，表示对概率分布进行归一化。
7.根据权利要求4所述的一种基于数据增强和Mask R-CNN模型的目标自动识别方法，其特征在于，所述步骤S3.6的损失函数表示为下式：
L＝Lcls+Lreg+Lmask
其中，Lcls为分类误差，Lreg为检测误差，Lmask为分割误差Lcls和Lreg是利用全连接层预测出的每个候选区域(RoI)的类别和目标回归框坐标值，Lmask表示对每个候选区域进行分割的误差，其中分割输出的维度为k*m*m(k为类别数，m*m为特征图的大小),即对k个Mask进行编码，每一个Mask有k个类别，对每一个像素使用sigmod函数求二值交叉熵。
8.根据权利要求4所述的一种基于数据增强和Mask R-CNN模型的肤质自动识别方法，采用批量训练方法，主要参数设置为：基础学习率0.01，动量因子参数为0.9，正则化衰减系数为0.0001。
9.根据权利要求4所述的一种基于数据增强和Mask R-CNN模型的目标自动识别方法，其特征在于，步骤S4的具体实现过程为：使用相同的训练集在多个模型上训练，根据各个模型的召回率、准确率以及F值，通过目标优化算法，选取一个各项指标最优的模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910806679.6A CN110543906B (zh) | 2019-08-29 | 2019-08-29 | 基于Mask R-CNN模型的肤质自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910806679.6A CN110543906B (zh) | 2019-08-29 | 2019-08-29 | 基于Mask R-CNN模型的肤质自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110543906A true CN110543906A (zh) | 2019-12-06 |
| CN110543906B CN110543906B (zh) | 2023-06-16 |
Family
ID=68710889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910806679.6A Active CN110543906B (zh) | 2019-08-29 | 2019-08-29 | 基于Mask R-CNN模型的肤质自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110543906B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310827A (zh) * | 2020-02-14 | 2020-06-19 | 北京工业大学 | 一种基于双阶段卷积模型的目标区域检测方法 |
| CN111368453A (zh) * | 2020-03-17 | 2020-07-03 | 创新奇智(合肥)科技有限公司 | 一种基于深度强化学习的面料裁剪优化方法 |
| CN112241836A (zh) * | 2020-10-10 | 2021-01-19 | 天津大学 | 一种基于增量学习的虚拟负荷主导参数辨识方法 |
| CN112435237A (zh) * | 2020-11-24 | 2021-03-02 | 山西三友和智慧信息技术股份有限公司 | 一种基于数据增强与深度网络的皮肤病变分割方法 |
| CN112686145A (zh) * | 2020-12-29 | 2021-04-20 | 广东各有所爱信息科技有限公司 | 一种面部皮肤肤质的识别方法及其智能终端 |
| WO2022222224A1 (zh) * | 2021-04-19 | 2022-10-27 | 平安科技（深圳）有限公司 | 基于深度学习模型的数据增强方法、装置、设备及介质 |
| CN115760624A (zh) * | 2022-11-17 | 2023-03-07 | 北京邮电大学 | 人脸图像祛斑方法、装置、设备及介质 |
| US12136254B2 (en) | 2020-09-02 | 2024-11-05 | Samsung Electronics Co., Ltd. | Method and apparatus with image processing |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180039864A1 (en) * | 2015-04-14 | 2018-02-08 | Intel Corporation | Fast and accurate skin detection using online discriminative modeling |
| CN109730769A (zh) * | 2018-12-10 | 2019-05-10 | 华南理工大学 | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 |
| CN109785321A (zh) * | 2019-01-30 | 2019-05-21 | 杭州又拍云科技有限公司 | 基于深度学习和Gabor滤波器的睑板腺区域提取方法 |
| CN110148121A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 一种皮肤图像处理方法、装置、电子设备及介质 |
-
2019
- 2019-08-29 CN CN201910806679.6A patent/CN110543906B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180039864A1 (en) * | 2015-04-14 | 2018-02-08 | Intel Corporation | Fast and accurate skin detection using online discriminative modeling |
| CN109730769A (zh) * | 2018-12-10 | 2019-05-10 | 华南理工大学 | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 |
| CN109785321A (zh) * | 2019-01-30 | 2019-05-21 | 杭州又拍云科技有限公司 | 基于深度学习和Gabor滤波器的睑板腺区域提取方法 |
| CN110148121A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 一种皮肤图像处理方法、装置、电子设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| ERICK ALFARO: "A Brief Analysis of U-Net and Mask R-CNN for Skin Lesion Segmentation", 《IWOBI2019》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310827A (zh) * | 2020-02-14 | 2020-06-19 | 北京工业大学 | 一种基于双阶段卷积模型的目标区域检测方法 |
| CN111368453A (zh) * | 2020-03-17 | 2020-07-03 | 创新奇智(合肥)科技有限公司 | 一种基于深度强化学习的面料裁剪优化方法 |
| CN111368453B (zh) * | 2020-03-17 | 2023-07-07 | 创新奇智(合肥)科技有限公司 | 一种基于深度强化学习的面料裁剪优化方法 |
| US12136254B2 (en) | 2020-09-02 | 2024-11-05 | Samsung Electronics Co., Ltd. | Method and apparatus with image processing |
| CN112241836A (zh) * | 2020-10-10 | 2021-01-19 | 天津大学 | 一种基于增量学习的虚拟负荷主导参数辨识方法 |
| CN112241836B (zh) * | 2020-10-10 | 2022-05-20 | 天津大学 | 一种基于增量学习的虚拟负荷主导参数辨识方法 |
| CN112435237A (zh) * | 2020-11-24 | 2021-03-02 | 山西三友和智慧信息技术股份有限公司 | 一种基于数据增强与深度网络的皮肤病变分割方法 |
| CN112435237B (zh) * | 2020-11-24 | 2024-06-21 | 山西三友和智慧信息技术股份有限公司 | 一种基于数据增强与深度网络的皮肤病变分割方法 |
| CN112686145A (zh) * | 2020-12-29 | 2021-04-20 | 广东各有所爱信息科技有限公司 | 一种面部皮肤肤质的识别方法及其智能终端 |
| WO2022222224A1 (zh) * | 2021-04-19 | 2022-10-27 | 平安科技（深圳）有限公司 | 基于深度学习模型的数据增强方法、装置、设备及介质 |
| CN115760624A (zh) * | 2022-11-17 | 2023-03-07 | 北京邮电大学 | 人脸图像祛斑方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110543906B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543906A (zh) | 基于数据增强和Mask R-CNN模型的肤质自动识别方法 | |
| CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
| CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| CN106096538B (zh) | 基于定序神经网络模型的人脸识别方法及装置 | |
| CN108648191B (zh) | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN108615010A (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| CN101667245B (zh) | 基于支持向量新颖检测分类器级联的人脸检测方法 | |
| CN112784869B (zh) | 一种基于注意力感知与对抗学习的细粒度图像识别方法 | |
| CN107316307A (zh) | 一种基于深度卷积神经网络的中医舌图像自动分割方法 | |
| CN111027493A (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN111126127B (zh) | 一种多级空间上下文特征指导的高分辨率遥感影像分类方法 | |
| CN107085704A (zh) | 基于elm自编码算法的快速人脸表情识别方法 | |
| CN106803069A (zh) | 基于深度学习的人群高兴程度识别方法 | |
| CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
| CN108805222A (zh) | 一种基于arm平台的深度学习数字手写体识别方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN109033978A (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
| CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN114332136B (zh) | 人脸属性数据标注方法、计算机设备及存储介质 | |
| CN110288613A (zh) | 一种超高像素的组织病理图像分割方法 | |
| CN109508670A (zh) | 一种基于红外摄像头的静态手势识别方法 | |
| CN109685030A (zh) | 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |