[go: up one dir, main page]

CN113221837A - 对象分割方法、对象分割模型的训练方法和装置 - Google Patents

对象分割方法、对象分割模型的训练方法和装置 Download PDF

Info

Publication number
CN113221837A
CN113221837A CN202110611351.6A CN202110611351A CN113221837A CN 113221837 A CN113221837 A CN 113221837A CN 202110611351 A CN202110611351 A CN 202110611351A CN 113221837 A CN113221837 A CN 113221837A
Authority
CN
China
Prior art keywords
segmentation
weight
training
model
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110611351.6A
Other languages
English (en)
Other versions
CN113221837B (zh
Inventor
苏驰
李凯
刘弘也
王育林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110611351.6A priority Critical patent/CN113221837B/zh
Publication of CN113221837A publication Critical patent/CN113221837A/zh
Application granted granted Critical
Publication of CN113221837B publication Critical patent/CN113221837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种对象分割方法、对象分割模型的训练方法和装置，将获取到的包含有目标对象的待分割图像输入至训练完成的对象分割模型中，得到分割结果；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果、样本携带的部位分割标签和辅助信息标签，调整训练模型的网络参数、损失函数中部位分割标签对应的第一权重和辅助信息标签对应的第二权重。该方式中，对象分割模型通过分割任务和辅助任务训练得到，该辅助任务可使模型学习到对象各部位的边界信息和整体信息，同时，随着模型的训练进行，可自适应的调节每个任务在损失函数中的权重，从而使得训练完成的模型能够准确的分割出对象的各个部位。

Description

对象分割方法、对象分割模型的训练方法和装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种对象分割方法、对象分割模型的训练方法和装置。
背景技术
人体分割通常是指自动识别定位出图像中人体的各个关键部位，如头发、脸部、胳膊、双腿、双脚等部位。人体分割对于以人为中心的分析非常重要，并且具有许多工业上的应用，例如虚拟现实、视频监控和行为分析等。相关技术中，通常采用基于深度学习的图像语义分割模型对待处理图像中人体进行分割；但是相较于其他的图像分割任务，人体分割具有一定的特殊性，例如，复杂衣着条件下人体不同部位的边界难以辨认、人体姿势较多和人体形变较大等，从而人体分割的精度较差。
发明内容
本发明的目的在于提供一种对象分割方法、对象分割模型的训练方法和装置，以提高图像中对象部位的分割精确度。
第一方面，本发明提供了一种对象分割方法，该方法包括：获取包含有目标对象的待分割图像；将该待分割图像输入至预先训练完成的对象分割模型中，得到目标对象的分割结果；其中，该对象分割模型通过预设的样本和损失函数训练得到：该样本携带有部位分割标签和辅助信息标签，辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果，以及部位分割标签、辅助信息标签和损失函数，调整训练模型的网络参数、第一权重和第二权重。
在可选的实施方式中，上述根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果，以及部位分割标签、辅助信息标签和损失函数，调整训练模型的网络参数、第一权重和第二权重的步骤，包括：将样本输入至训练模型中，输出样本中对象的分割预测结果和辅助预测结果；根据分割预测结果、部位分割标签、第一函数和第一权重，确定第一损失值；根据辅助预测结果、辅助信息标签、第二函数和第二权重，确定第二损失值；根据第一损失值和第二损失值，更新训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和损失函数，调整第一权重和第二权重。
在可选的实施方式中，上述辅助信息标签包括预设关键点的位置标签和部位边缘的位置标签；上述辅助预测结果包括预设关键点的检测结果和部位边缘检测结果；第二权重包括预设关键点的位置标签对应的第三权重和部位边缘的位置标签对应的第四权重；上述基于更新前的网络参数、更新后的网络参数和损失函数，调整第一权重和第二权重的步骤，包括：根据更新前的网络参数、更新后的网络参数和损失函数，确定目标函数；基于目标函数，调整第一权重、第三权重和第四权重。
在可选的实施方式中，上述目标函数包括：
Δ＝Lsegmentation(W)-Lsegmentation(W')
上述基于目标函数，调整第一权重、第三权重和第四权重的步骤，包括：通过下述算式调整第一权重、第三权重和第四权重：
Figure BDA0003095283480000031
Figure BDA0003095283480000032
Figure BDA0003095283480000033
其中，Δ表示目标函数，W表示更新前的网络参数，W′表示更新后的网络参数；Lsegmentation(W)表示网络参数更新前的第一函数；Lsegmentation(W')表示网络参数更新后的第一函数；w′e表示调整后的第四权重；w′s表示调整后的第一权重；w′p表示调整后的第三权重；we表示调整前的第四权重；ws表示调整前的第一权重；wp表示调整前的第三权重；αe、αs和αp均表示学习因子，为预设值。
第二方面，本发明提供了一种对象分割模型的训练方法，该训练方法包括：获取预设的样本集；其中，该样本集中的每个样本的样本图像均携带有部位分割标签和辅助信息标签，该辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；基于样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型；其中，损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在训练模型的训练过程中，第一权重和第二权重根据训练模型的输出结果、部位分割标签和辅助信息标签进行调整。
在可选的实施方式中，上述辅助信息标签包括对象的预设关键点的位置标签和部位边缘的位置标签；上述第二权重包括预设关键点的位置标签对应的第三权重和部位边缘的位置标签对应的第四权重；上述基于样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型的步骤，包括：从样本集中确定训练样本；将训练样本中的样本图像输入至训练模型中，输出样本图像中对象的分割预测结果、预设关键点的检测结果和部位边缘检测结果；根据分割预测结果、部位分割标签、第一函数和第一权重，确定第一损失值；根据预设关键点的检测结果、预设关键点的位置标签、第二函数和第三权重，确定第三损失值；根据部位边缘检测结果、部位边缘的位置标签、第二函数和第四权重，确定第四损失值；基于第一损失值、第三损失值和第四损失值，更新训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和损失函数，更新第一权重第三权重和第四权重；继续执行从样本集中确定训练样本的步骤，直到训练模型收敛，得到对象分割模型。
在可选的实施方式中，上述对象分割模型的训练模型包括：特征提取网络，以及与该特征提取网络连接的对象分割网络、关键点检测网络和边缘检测网络；上述将训练样本中的样本图像输入至训练模型中，输出样本图像中对象的分割预测结果、预设关键点的检测结果和部位边缘检测结果的步骤，包括：将样本图像输入至特征提取网络，得到样本图像的图像特征；通过对象分割网络，基于图像特征输出样本图像中对象的分割预测结果；通过关键点检测网络，基于图像特征输出样本图像中预设关键点的检测结果；通过边缘检测网络输出部位边缘检测结果。
第三方面，本发明提供了一种对象分割装置，该装置包括：图像获取模块，用于获取包含有目标对象的待分割图像；结果确定模块，用于将待分割图像输入至预先训练完成的对象分割模型中，得到目标对象的分割结果；其中，对象分割模型通过预设的样本和损失函数训练得到：样本携带有部位分割标签和辅助信息标签，辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；该损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果，以及部位分割标签、辅助信息标签和损失函数，调整训练模型的网络参数、第一权重和第二权重。
第四方面，本发明提供了一种对象分割模型的训练装置，该训练装置包括：样本集获取模块，用于获取预设的样本集；其中，该样本集中的每个样本的样本图像均携带有部位分割标签和辅助信息标签，该辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；模型训练模块，用于基于样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型；其中，该损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在训练模型的训练过程中，第一权重和第二权重根据训练模型的输出结果、部位分割标签和辅助信息标签进行调整。
第五方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述对象分割方法或者上述对象分割模型的训练方法。
第六方面，本发明提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述对象分割方法或者上述对象分割模型的训练方法。
本发明实施例带来了以下有益效果：
本发明提供的一种对象分割方法、对象分割模型的训练方法和装置，首先获取包含有目标对象的待分割图像；然后将该待分割图像输入至预先训练完成的对象分割模型中，得到目标对象的分割结果；该对象分割模型通过预设的样本和损失函数训练得到：样本携带有部位分割标签和辅助信息标签，辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；损失函数包括：所部位分割标签对应的第一函数和第一权重，以及所辅助信息标签对应的第二函数和第二权重；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果，以及部位分割标签、辅助信息标签和所损失函数，调整所训练模型的网络参数、第一权重和第二权重。该方式中，对象分割模型通过分割任务和辅助任务训练得到，该辅助任务可使模型学习到对象各部位的边界信息和整体信息，从而提高了模型的分割精度；同时，随着模型的训练进行，可自适应的调节每个任务在损失函数中的权重，也进一步提升了训练完成的模型的分割精度。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种对象分割方法的流程图；
图2为本发明实施例提供的一种对象分割模型的训练方法的流程图；
图3为本发明实施例提供的另一种对象分割模型的训练方法的流程图；
图4为本发明实施例提供的一种对象分割模型的训练模型的示意图；
图5为本发明实施例提供的一种对象分割装置的结构示意图；
图6为本发明实施例提供的一种对象分割模型的训练装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，提供了两种人体分割算法，一种是传统人体分割算法，该算法通常使用人工设计的规则进行人体特征的提取(如词袋特征、颜色特征等)，然后训练人体分割模型，最后利用条件随机场等概率图模型对分割结果进行后处理来得到更为平滑准确的结果。但是该方法在对人体图像进行分割时未利用人体图像的高层语义信息，同时包括复杂的后处理过程，整个算法流程比较繁琐，不能端到端进行优化，导致人体分割的精度比较差、速度较慢。
另一种是基于深度学习的人体分割算法，深度学习可以直接从原始的人体图像中自动学习适合人体分割的特征，不需要人工干预。由于人体分割可以看作是图像语义分割的一个特例，通常的做法是采用成熟的图像语义分割模型，将人体图像输入至模型，以使模型直接输出最终的分割结果。但是，这种采用普通的图像语义分割模型的方式，没有考虑人体分割任务的特殊性。人体分割一定程度上可以看作是更加细粒度的语义分割任务，复杂衣着条件下人体不同部位的边界更难以辨认，同时，相较于其他物体，人体的形变更大，姿势更多，这大大增加了人体部位识别的难度，导致人体分割的整体效果较差，精度也较差。
针对上述问题，本发明实施例提供的一种对象分割方法、对象分割模型的训练方法和装置，该技术可以应用于人体的部位分割、动物的部位分割等各类图像分割场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种对象分割方法进行详细介绍，如图1所示，该方法包括如下步骤：
步骤S102，获取包含有目标对象的待分割图像。
上述待分割图像可以是通过摄像机或者照相机拍摄的图片或者照片，也可以是指定的视频文件中的某一视频帧；该待分割图像中包含的目标对象可以是各种人体、动物或者其他静物对象等，该待分割图像中可以包含有至少一个目标对象。在具体实现时，可以通过通信连接的照相机、摄像头等设备拍摄后传入，或者从存储有已经拍摄完成的待分割的图像的存储设备中获取待分割图像，也可以从指定的视频文件的存储设备中获取待分割图像。
步骤S104，将上述待分割图像输入至预先训练完成的对象分割模型中，得到目标对象的分割结果。
上述对象分割模型通过预设的样本和损失函数训练得到：样本携带有部位分割标签和辅助信息标签，该辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；该损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果，以及部位分割标签、辅助信息标签和损失函数，调整训练模型的网络参数、第一权重和第二权重。
在具体实现时，上述样本为预设的样本集中的任意一个样本，该样本集中的每个样本均包含有样本图像，每个样本图像均包含有对象且携带有部位分割标签和辅助信息标签，该辅助标签信息可以同时包括预设关键点的位置标签和部位边缘的位置标签，也可以仅包含二者中的一种。其中，预设关键点可以预先设置，预设关键点具体可以为手腕、肘部、膝盖等位置点；标注样本图像中对象的这些关键点的位置，有利于知晓对象的姿势，以及各个部位相对于关键点的位置。
在模型训练时，预设关键点的位置标签用于关键点检测这一辅助任务的训练，通过关键点检测可以使得模型学习到目标各部位的整体信息，进而提高对象各部位分类的精度，降低错误分类(例如，把腿预测为胳膊)出现的概率；上述部位边缘的位置标签用于边缘检测这一辅助任务的训练，通过边缘检测可以使得模型更加准确地识别对象不同部位的边界，有助于精准分割对象的各个部位。上述部位分割标签用于对象的部位分割这一主任务的训练。
在具体实现时，针对每个训练任务对应的损失函数均设置了对应的权重，包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；当辅助信息标签同时包括预设关键点的位置标签和部位边缘的位置标签，该第二函数可以包括预设关键点的位置标签对应的第三函数(相当于关键点检测任务对应的损失函数)和部位边缘的位置标签对应的第四函数(相当于边缘检测任务对应的损失函数)；第二权重可以包括预设关键点的位置标签对应的第三权重(相当于关键点检测任务对应的损失函数的权重)和部位边缘的位置标签对应的第四权重(相当于边缘检测任务对应的损失函数的权重)。
现有技术中通常是人工根据经验选取每个任务对应的权重的大小，但是这种方式需要大量的试错，很难得到最优的权重参数；同时人工选择的权重在整个训练过程中一般是保持不变的，这也存在不合理之处。而且，随着训练的进行，不同任务的重要程度是不同的，更好的方式是让权重随着训练的进行不断自适应变化。因而，本发明在对象分割模型的训练过程中，可以根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果，以及部位分割标签、辅助信息标签和损失函数，调整训练模型的网络参数、第一权重和第二权重；也即是本发明在模型训练的过程中，可以随着训练的进行，自动调节不同任务的权重，进一步提高对象分割的精度。
在实际应用中，将获取到的包含有目标对象的待分割图像输入至训练完成的对象分割模型中，可以得到目标对象的分割结果，该分割结果中包含有目标对象各个部位的所属类别。
本发明实施例提供的一种对象分割方法，将获取到的包含有目标对象的待分割图像输入至训练完成的对象分割模型中，得到分割结果；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果、样本携带的部位分割标签和辅助信息标签，调整训练模型的网络参数、损失函数中部位分割标签对应的第一权重和辅助信息标签对应的第二权重。该方式中，对象分割模型通过分割任务和辅助任务训练得到，该辅助任务可使模型学习到对象各部位的边界信息和整体信息，从而提高了模型的分割精度；同时，随着模型的训练进行，可自适应的调节每个任务在损失函数中的权重，也进一步提升了训练完成的模型的分割精度。
针对上述对象分割方法，本发明实施例还提供了一种对象分割模型的训练方法，该对象分割模型为实现上述对象分割方法所使用的模型，如图2所示，该训练方法包括如下步骤：
步骤S202，获取预设的样本集；其中，该样本集中的每个样本的样本图像均携带有部位分割标签和辅助信息标签，该辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签。
上述样本集中包含有大量的样本，每个样本中的样本图像携带的部位分割标签和辅助信息标签均是由标注人员预先标注好的。例如，标注样本集中的每个样本图像X∈RH ×V×3(高度是H，宽度是V，3代表RGB三个通道)的部位分割标签Y∈RH×V，部位分割标签Y矩阵的每一个元素Yi,j∈[1,…,C]代表样本图像中该像素Yi,j(Yi,j表示样本图像的像素矩阵中的第i行第j列对应的像素)所属的对象部位类别，这里假设一共定义了C个不同的对象部位类别；标注每一幅样本图像X∈RH×V×3的边缘标签E∈RH×V，部位边缘的位置标签E矩阵的每一个元素Ei,j∈[1,2]，其中，1代表该像素(相当于元素)位于不同部位的边界处，2代表该像素未位于不同部位的边界处；标注每一幅样本图像X∈RH×V×3的预设关键点的位置标签P∈RN ×2，N代表一共有N个不同的预设关键点(比如手腕、膝盖等)，2代表每一个预设关键点在样本图像中的xy坐标。
步骤S204，基于上述样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型；其中，损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在训练模型的训练过程中，第一权重和第二权重根据训练模型的输出结果、部位分割标签和辅助信息标签进行调整。
在模型的训练过程中，首先将样本集中的样本输入至训练模型中，输出该样本中对象的分割预测结果和辅助预测结果；然后根据分割预测结果、部位分割标签、第一函数和第一权重，确定第一损失值；再根据辅助预测结果、辅助信息标签、第二函数和第二权重，确定第二损失值；进而根据第一损失值和第二损失值，更新训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和损失函数，调整第一权重和第二权重。
在具体实现时，上述第一函数和第二函数可以是相同的函数，也可以是不同的函数，该第一函数和第二函数可以采用交叉熵损失函数、平方误差损失函数等。具体地，上述部位分割标签相当于分割预测结果的标准结果，根据第一函数可以得到分割预测结果与部位分割预测结果的第一差距，将该第一差距与第一权重的乘积确定为第一损失值；同样地，上述辅助信息标签相当于辅助预测结果的标注结果，根据第二函数可以得到辅助预测结果与辅助信息标签的第二差距，将该第二差距与第二权重的乘积确定为第二损失值；然后将第一损失值与第二损失的和确定为模型最终的损失值，根据最终的损失值来更新训练模型的网络参数，最后再根据更新前的网络参数和更新后的网络参数，调整第一权重和第二权重，以便后续训练模型时，根据调整后的第一权重和第二权重计算第一损失值和第二损失值。
上述对象分割模型的训练方法，首先获取预设的样本集；然后，基于该样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型；该损失函数包括：样本的部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在训练模型的训练过程中，第一权重和第二权重根据训练模型的输出结果、部位分割标签和辅助信息标签进行调整。该方式中，对象分割模型通过分割任务和辅助任务训练得到，该辅助任务可使模型学习到对象各部位的边界信息和整体信息，从而提高了模型的分割精度；同时，随着模型的训练进行，可自适应的调节每个任务在损失函数中的权重，也进一步提升了训练完成的模型的分割精度。
本发明实施例还提供了另一种对象分割模型的训练方法，该方法在上述训练方法实施例的基础上实现；该训练方法重点描述样本的辅助信息标签包括对象的预设关键点的位置标签和部位边缘的位置标签，且第二权重包括预设关键点的位置标签对应的第三权重和部位边缘的位置标签对应的第四权重的情况下，基于样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型的具体过程(通过下述步骤S304-S314实现)；如图3所示，该训练方法包括如下步骤：
步骤S302，获取预设的样本集。
步骤S304，从上述样本集中确定训练样本。
在第一次从样本集中确定训练样本时，从样本集中随机选取一个样本作为训练样本；之后确定训练样本对时，可以从样本集中没有确定为训练样本的样本中，随机选取一个样本作为新的训练样本。
步骤S306，将训练样本中的样本图像输入至训练模型中，输出该样本图像中对象的分割预测结果、预设关键点的检测结果和部位边缘检测结果。
上述训练模型可以是神经网络或者深度学习模型等。在具体实现时，该对象分割模型的训练模型可以包括：特征提取网络，以及与该特征提取网络连接的对象分割网络、关键点检测网络和边缘检测网络；基于此，上述步骤S306可以通过下述步骤10-11实现：
步骤10，将训练样本中的样本图像输入至特征提取网络，得到该样本图像的图像特征；通过对象分割网络，基于图像特征输出样本图像中对象的分割预测结果。
上述特征提取网络用于对样本图像进行特征提取，并输出样本图像的图像特征；该特征图像分别为后续对象分割网络、关键点检测网络和边缘检测网络的输入，该特征图像中所包含的信息也可以称为共享信息或公共特征；该特征提取网络可以由卷积层和激活函数组合实现。
上述对象分割网络可以基于输入的特征图像对样本图像中的对象进行部位分割，并输出分割预测结果：该对象分割网络可以通过卷积层或者全连接层实现；对象分割网络输出的分割预测结果中，通常包括样本图像中的每个像素位置的向量，该向量中的特征点用于指示该像素位置属于某一部位的概率。
步骤11，通过关键点检测网络，基于图像特征输出样本图像中预设关键点的检测结果；通过边缘检测网络输出部位边缘检测结果。
上述关键点检测网络可以基于输入的特征图像，输出样本图像中预设关键点的检测结果；该关键点检测网络可以通过卷积层或者全连接层实现；关键点检测网络输出的预设关键点的检测结果中，通常包括每个预设关键点在样本图像中的坐标。上述边缘检测网络可以基于输入的特征图像，输出样本图像中对象各个部位的边缘检测结果；该边缘检测网络可以通过卷积层或者全连接层实现；边缘检测网络输出的各个部位的边缘检测结果中，通常包括样本图像中的每个像素位置的向量，该向量中的特征点用于指示该像素位置是否属于部位边缘。
如图4所示为本发明实施例提供的一种对象分割模型的训练模型的示意图；图4中的特征提取网络由四个Block(Block1、Block2、Block3和Block4)组成，其中，每一个Block都是由多个“卷积层+激活函数”组成的，具体由多少个“卷积层+激活函数”组成，可以由具体应用的速度精度需求决定，一般来说，个数越多网络整体越深，性能越好，速度越慢。图4中的对象分割网络是由一个Block(如图4中的Block4-1)和输出层组成的，关键点检测网络也是由一个Block(如图4中的Block4-2)和输出层组成的，边缘检测网络也是由一个Block(如图4中的Block4-3)和输出层组成的。
具体地，将样本图像X∈RH×V×3(样本图像的高度是H，宽度是V，3代表RGB三个通道)输入至特征提取网络中，该特征提取网络即可输出该样本图像的特征图像，该特征图像的大小可以为h×v×c；其中，h代表特征图像的高度，v代表特征图像的宽度，c代表特征图像的通道数。
然后将特征提取网络输出的特征图像分别输入至对象分割网络、关键点检测网络和边缘检测网络，该对象分割网络可以输出分割预测结果，该分割预测结果可以表示为
Figure BDA0003095283480000141
可知，分割预测结果的高度和宽度与样本图像相同，然后每个像素位置对应一个长度为C的特征向量。C的取值与预设的部位种类相关；例如，对象部位种类包括10种，则C的取值为10；对于某个像素位置，该像素位置的长度为C的特征向量中，每个特征点对应一个部位种类，该特征点的特征值，代表该像素位置属于该部位种类的概率。
上述关键点检测网络可以基于输入的特征图像，输出预设关键点的检测结果，该预设关键点的检测结果可以表示为
Figure BDA0003095283480000151
可知，预设关键点的检测结果的大小是N*2，具体可以表示为一个N行2列的矩阵，每行包括一个预设关键点的x坐标值和y坐标值。上述边缘检测网络可以基于输入的特征个，输出为各个部位的边缘检测结果，该边缘检测结果可以表示为
Figure BDA0003095283480000152
可知，边缘检测结果的高度和宽度与样本图像相同，然后每个像素位置对应一个长度为2的特征向量。该特征向量中，一个特征点的特征值表示当前像素位置属于部位边缘的概率，另一个特征点的特征值表示当前像素位置不属于部位边缘的概率。
在实际应用中，当对图4中的训练模型训练完成后，可以将图4中的特征提取网络和对象分割网络组成的网络结构，确定为训练完成的对象分割模型；也可以将最终训练后的训练模型最为对象分割模型，该对象分割模型可以有三个输出，在对象分割时，仅采用对象分割网络的输出结果。
步骤S308，根据上述分割预测结果、部位分割标签、第一函数和第一权重，确定第一损失值；根据预设关键点的检测结果、预设关键点的位置标签、第二函数和第三权重，确定第三损失值；根据部位边缘检测结果、部位边缘的位置标签、第二函数和第四权重，确定第四损失值。
在具体实现时，假设分割预测结果表示为
Figure BDA0003095283480000153
对于样本图像中的每个像素位置(i，j)，分割预测结果中该像素位置的向量为
Figure BDA0003095283480000154
该向量输入至softmax函数可以得到概率向量
Figure BDA0003095283480000155
该概率向量中的每个特征值的算式如下：
Figure BDA0003095283480000156
其中，
Figure BDA0003095283480000161
代表向量
Figure BDA0003095283480000162
的第k个元素。
根据样本图像的部位分割标签Y∈RH×V、上述概率向量
Figure BDA0003095283480000163
和第一函数，可以计算分割的损失量Lsegmentation，将分割的损失量与第一权重相乘可以得到第一损失值L1：
Figure BDA0003095283480000164
L1＝ws*Lsegmentation；
其中，
Figure BDA0003095283480000165
代表向量
Figure BDA0003095283480000166
的第Yi,j个元素，ws表示第一权重。
上述预设关键点的检测结果表示为
Figure BDA0003095283480000167
其中，N代表预设关键点的数量，2表示每个预设关键点对应两个数据，分别为该关键点的x坐标值和y坐标值；预设关键点的位置标签可以表示为P∈RN×2；基于此，可以计算关键点检测的损失量Lpoint，将该损失量与第三权重相乘即可得到第损失值L3：
Figure BDA0003095283480000168
L3＝wp*Lpoint；
其中，||M||1代表矩阵M各元素的绝对值之和，wp表示第三权重。
上述部位边缘检测结果可以表示为
Figure BDA0003095283480000169
对于样本图像中的每个像素位置(i，j)，部位边缘检测结果中该像素位置的向量为
Figure BDA00030952834800001610
该向量中包括两个数据，一个数据代表该像素位置属于部位边缘的概率，另一个数据代表该像素位置不属于部位边缘的概率。将
Figure BDA00030952834800001611
输入至softmax函数，得到概率向量
Figure BDA00030952834800001612
该概率向量中的每个特征值的算式如下：
Figure BDA00030952834800001613
其中，
Figure BDA00030952834800001614
代表向量
Figure BDA00030952834800001615
的第k个元素。
根据上述概率向量
Figure BDA0003095283480000171
部位边缘的位置标签E∈RH×V，可以确定边缘检测的损失量Ledge，将该损失量与第四权重相乘即可得到第四损失值L4：
Figure BDA0003095283480000172
L4＝we*Ledge；
其中，
Figure BDA0003095283480000173
代表向量
Figure BDA0003095283480000174
的第Ei,j个元素。
步骤S310，基于上述第一损失值、第三损失值和第四损失值，更新训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和损失函数，更新所述第一权重、第三权重和第四权重。
基于第一损失值、第三损失值和第四损失值，可以得到训练模型最终的损失值。具体的，最终的损失值等于第一损失值、第三损失值和第四损失值之和，即整体损失值L＝L1+L3+L4。然后，通过反向传播算法求整体损失函数L对训练模型中所有参数W的导数
Figure BDA0003095283480000175
接下来通过随机梯度下降算法更新初始模型的参数：
Figure BDA0003095283480000176
不断迭代地对初始模型的参数进行更新，直到收敛。其中，α是学习率，是一个人工预先设定的超参数，常见的取值为0.01，0.001等。
在具体实现时，上述更新第一权重、第三权重和第四权重的具体过程可以通过下述步骤20-21实现：
步骤20，根据更新前的网络参数、更新后的网络参数和损失函数，确定目标函数。
由于本发明的主要目的是对象分割，而边缘检测和关键点检测只是训练的辅助任务，因而，训练时希望分割的损失量Lsegmentation降低的越快越好，所以需要设置目标函数来近似表征分割的损失量的降低速度，可以用下述算式表示目标函数：
Δ＝Lsegmentation(W)-Lsegmentation(W')
其中，Δ表示目标函数，W表示更新前的网络参数，W′表示更新后的网络参数；Lsegmentation(W)表示网络参数更新前的第一函数；Lsegmentation(W')表示网络参数更新后的第一函数。
步骤21，基于上述目标函数，调整第一权重、第三权重和第四权重。
具体地，可以通过下述算式调整第一权重、第三权重和第四权重：
Figure BDA0003095283480000181
Figure BDA0003095283480000182
Figure BDA0003095283480000183
其中，w′e表示调整后的第四权重；w′s表示调整后的第一权重；w′p表示调整后的第三权重；we表示调整前的第四权重；ws表示调整前的第一权重；wp表示调整前的第三权重；αe、αs和αp均表示学习因子，为预设值，该预设值可以设置为0.01、0.001等。
步骤S312，判断更新后的网络参数是否收敛；如果是，执行步骤S314；否则，执行步骤S304。
步骤S314，根据网络参数更新后的训练模型，确定对象分割模型。
在具体实现时，可以将数据集中的样本按照预设比例(例如，10:1)划分为用来训练模型的样本集，以及用来验证模型的测试集。通过测试集可以确定训练后的对象分割模型的精度；通常可以从测试集中确定测试样本，将该测试样本输入至训练完成的对象分割模型中可以得到分割测试结果，将该分割预测结果与测试样本的标签比对，判定该分割测试结果是否正确，继续从测试集中确定测试样本，直到测试集中的所有样本选取完毕；统计每个测试样本对应的测试结果对应的正确性，得到训练后的对象分割模型的预测精度。其中，在测试过程中，可以只获取初始模型输出的对象分割结果
Figure BDA0003095283480000191
对于每一个像素位置i∈[1,…,H],j∈[1,…,W]，该像素位置包括C中部位类别对应的概率，将其中的最大值对应的部位类别，确定为该像素位置的部位类别。
上述对象分割模型的训练方法，与现有的传统人体分割算法相比，该方式可以自动学习与对象部位有关的多层级语义特征，提高了对象分割的精度，同时不需要复杂的结果后处理，也提高了对象分割的速度。另外，与现有的基于深度学习的对象分割算法相比，该方式引入多任务学习的思想来进一步提高人体分割的精度，通过边缘检测这一辅助任务，可以使得网络更加注意人体不同部位的边界，提高人体不同部位边界的定位精度；通过人体关键点检测，可以使得模型学习到对象各部位的整体信息，进而提高对象各部位分类的精度，降低错误分类出现的概率。同时，为了平衡训练过程中不同任务的权重，该方式可以随着模型训练的进行，自动调节不同任务的权重，进一步提高了对象分割的精度。
针对于上述对象分割方法的实施例，本发明实施例提供了一种对象分割装置，如图5所示，该装置包括：
图像获取模块50，用于获取包含有目标对象的待分割图像。
结果确定模块51，用于将待分割图像输入至预先训练完成的对象分割模型中，得到目标对象的分割结果。
其中，上述对象分割模型通过预设的样本和损失函数训练得到：该样本携带有部位分割标签和辅助信息标签，该辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果，以及部位分割标签、辅助信息标签和损失函数，调整训练模型的网络参数、第一权重和第二权重。
上述对象分割装置，将获取到的包含有目标对象的待分割图像输入至训练完成的对象分割模型中，得到分割结果；在对象分割模型的训练过程中，根据对象分割模型的训练模型基于样本输出的分割预测结果和辅助预测结果、样本携带的部位分割标签和辅助信息标签，调整训练模型的网络参数、损失函数中部位分割标签对应的第一权重和辅助信息标签对应的第二权重。该方式中，对象分割模型通过分割任务和辅助任务训练得到，该辅助任务可使模型学习到对象各部位的边界信息和整体信息，从而提高了模型的分割精度；同时，随着模型的训练进行，可自适应的调节每个任务在损失函数中的权重，也进一步提升了训练完成的模型的分割精度。
进一步地，上述装置还包括模型训练模块，该模型训练单元，用于：将样本输入至训练模型中，输出样本中对象的分割预测结果和辅助预测结果；根据分割预测结果、部位分割标签、第一函数和第一权重，确定第一损失值；根据辅助预测结果、辅助信息标签、第二函数和第二权重，确定第二损失值；根据第一损失值和第二损失值，更新训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和损失函数，调整第一权重和第二权重。
在具体实现时，上述辅助信息标签包括预设关键点的位置标签和部位边缘的位置标签；该辅助预测结果包括预设关键点的检测结果和部位边缘检测结果；第二权重包括预设关键点的位置标签对应的第三权重和部位边缘的位置标签对应的第四权重；上述模型训练单元，还用于：根据更新前的网络参数、更新后的网络参数和损失函数，确定目标函数；基于目标函数，调整第一权重、第三权重和第四权重。
具体地，上述目标函数包括：
Δ＝Lsegmentation(W)-Lsegmentation(W')
通过下述算式调整第一权重、第三权重和第四权重：
Figure BDA0003095283480000211
Figure BDA0003095283480000212
Figure BDA0003095283480000213
其中，Δ表示目标函数，W表示更新前的网络参数，W′表示更新后的网络参数；Lsegmentation(W)表示网络参数更新前的所述第一函数；Lsegmentation(W')表示网络参数更新后的第一函数；w′e表示调整后的第四权重；w′s表示调整后的第一权重；w′p表示调整后的第三权重；we表示调整前的第四权重；ws表示调整前的第一权重；wp表示调整前的第三权重；αe、αs和αp均表示学习因子，为预设值。
本发明实施例所提供的对象分割装置，其实现原理及产生的技术效果和前述对象分割方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
针对于上述对象分割模型的训练方法的实施例，本发明实施例还提供了一种对象分割模型的训练装置，如图6所示，该训练装置包括：
样本集获取模块60，用于获取预设的样本集；其中，该样本集中的每个样本的样本图像均携带有部位分割标签和辅助信息标签，该辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签。
模型训练模块61，用于基于样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型；其中，该损失函数包括：部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在训练模型的训练过程中，第一权重和第二权重根据训练模型的输出结果、部位分割标签和辅助信息标签进行调整。
上述对象分割模型的训练模型，首先获取预设的样本集；然后，基于该样本集和预设的损失函数训练对象分割模型的训练模型，得到对象分割模型；该损失函数包括：样本的部位分割标签对应的第一函数和第一权重，以及辅助信息标签对应的第二函数和第二权重；在训练模型的训练过程中，第一权重和第二权重根据训练模型的输出结果、部位分割标签和辅助信息标签进行调整。该方式中，对象分割模型通过分割任务和辅助任务训练得到，该辅助任务可使模型学习到对象各部位的边界信息和整体信息，从而提高了模型的分割精度；同时，随着模型的训练进行，可自适应的调节每个任务在损失函数中的权重，也进一步提升了训练完成的模型的分割精度。
在具体实现时，上述辅助信息标签包括对象的预设关键点的位置标签和部位边缘的位置标签；第二权重包括所述预设关键点的位置标签对应的第三权重和部位边缘的位置标签对应的第四权重；上述模型训练模块61，用于：从样本集中确定训练样本；将训练样本中的样本图像输入至训练模型中，输出样本图像中对象的分割预测结果、预设关键点的检测结果和部位边缘检测结果；根据分割预测结果、部位分割标签、第一函数和第一权重，确定第一损失值；根据预设关键点的检测结果、预设关键点的位置标签、第二函数和第三权重，确定第三损失值；根据部位边缘检测结果、部位边缘的位置标签、第二函数和第四权重，确定第四损失值；基于第一损失值、第三损失值和第四损失值，更新训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和损失函数，更新第一权重、第三权重和第四权重；继续执行从样本集中确定训练样本的步骤，直到训练模型收敛，得到对象分割模型。
在一些实施例中，上述对象分割模型的训练模型包括：特征提取网络，以及与该特征提取网络连接的对象分割网络、关键点检测网络和边缘检测网络；上述模型训练模块61，还用于：将样本图像输入至特征提取网络，得到样本图像的图像特征；通过对象分割网络，基于图像特征输出样本图像中对象的分割预测结果；通过所述关键点检测网络，基于图像特征输出样本图像中预设关键点的检测结果；通过边缘检测网络输出部位边缘检测结果。
在具体实现时，可以通过下述算式调整第一权重、第三权重和第四权重：
Figure BDA0003095283480000231
Figure BDA0003095283480000232
Figure BDA0003095283480000233
其中，Δ＝Lsegmentation(W)-Lsegmentation(W')，Δ表示目标函数，W表示更新前的网络参数，W′表示更新后的网络参数；Lsegmentation(W)表示网络参数更新前的所述第一函数；Lsegmentation(W')表示网络参数更新后的第一函数；w′e表示调整后的第四权重；w′s表示调整后的第一权重；w′p表示调整后的第三权重；we表示调整前的第四权重；ws表示调整前的第一权重；wp表示调整前的第三权重；αe、αs和αp均表示学习因子，为预设值。
本发明实施例所提供的对象分割模型的训练装置，其实现原理及产生的技术效果和前述对象分割模型的训练方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述训练方法实施例中相应内容。
本发明实施例还提供了一种电子设备，如图7所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述对象分割方法或者上述对象分割模型的训练方法。
进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述对象分割方法或者上述对象分割模型的训练方法，具体实现可参见方法实施例。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种对象分割方法，其特征在于，所述方法包括：
获取包含有目标对象的待分割图像；
将所述待分割图像输入至预先训练完成的对象分割模型中，得到所述目标对象的分割结果；
其中，所述对象分割模型通过预设的样本和损失函数训练得到：所述样本携带有部位分割标签和辅助信息标签，所述辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；所述损失函数包括：所述部位分割标签对应的第一函数和第一权重，以及所述辅助信息标签对应的第二函数和第二权重；
在所述对象分割模型的训练过程中，根据所述对象分割模型的训练模型基于所述样本输出的分割预测结果和辅助预测结果，以及所述部位分割标签、所述辅助信息标签和所述损失函数，调整所述训练模型的网络参数、所述第一权重和所述第二权重。
2.根据权利要求1所述的方法，其特征在于，所述根据所述对象分割模型的训练模型基于所述样本输出的分割预测结果和辅助预测结果，以及所述部位分割标签、所述辅助信息标签和所述损失函数，调整所述训练模型的网络参数、所述第一权重和所述第二权重的步骤，包括：
将所述样本输入至所述训练模型中，输出所述样本中对象的分割预测结果和辅助预测结果；
根据所述分割预测结果、所述部位分割标签、所述第一函数和所述第一权重，确定第一损失值；根据所述辅助预测结果、所述辅助信息标签、所述第二函数和所述第二权重，确定第二损失值；
根据所述第一损失值和所述第二损失值，更新所述训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和所述损失函数，调整所述第一权重和所述第二权重。
3.根据权利要求2所述的方法，其特征在于，所述辅助信息标签包括预设关键点的位置标签和部位边缘的位置标签；所述辅助预测结果包括预设关键点的检测结果和部位边缘检测结果；所述第二权重包括所述预设关键点的位置标签对应的第三权重和所述部位边缘的位置标签对应的第四权重；
所述基于更新前的网络参数、更新后的网络参数和所述损失函数，调整所述第一权重和所述第二权重的步骤，包括：
根据所述更新前的网络参数、所述更新后的网络参数和所述损失函数，确定目标函数；
基于所述目标函数，调整所述第一权重、所述第三权重和所述第四权重。
4.根据权利要求3所述的方法，其特征在于，所述目标函数包括：
Δ＝Lsegmentation(W)-Lsegmentation(W')
所述基于所述目标函数，调整所述第一权重、所述第三权重和所述第四权重的步骤，包括：通过下述算式调整所述第一权重、所述第三权重和所述第四权重：
Figure FDA0003095283470000021
Figure FDA0003095283470000022
Figure FDA0003095283470000023
其中，Δ表示所述目标函数，W表示所述更新前的网络参数，W′表示所述更新后的网络参数；Lsegmentation(W)表示网络参数更新前的所述第一函数；Lsegentation(W′)表示网络参数更新后的所述第一函数；w′e表示调整后的第四权重；w′s表示调整后的第一权重；w′p表示调整后的第三权重；we表示调整前的第四权重；ws表示调整前的第一权重；wp表示调整前的第三权重；αe、αs和αp均表示学习因子，为预设值。
5.一种对象分割模型的训练方法，其特征在于，所述训练方法包括：
获取预设的样本集；其中，所述样本集中的每个样本的样本图像均携带有部位分割标签和辅助信息标签，所述辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；
基于所述样本集和预设的损失函数训练所述对象分割模型的训练模型，得到所述对象分割模型；其中，所述损失函数包括：所述部位分割标签对应的第一函数和第一权重，以及所述辅助信息标签对应的第二函数和第二权重；在所述训练模型的训练过程中，所述第一权重和所述第二权重根据所述训练模型的输出结果、所述部位分割标签和所述辅助信息标签进行调整。
6.根据权利要求5所述的训练方法，其特征在于，所述辅助信息标签包括对象的预设关键点的位置标签和部位边缘的位置标签；所述第二权重包括所述预设关键点的位置标签对应的第三权重和所述部位边缘的位置标签对应的第四权重；
所述基于所述样本集和预设的损失函数训练所述对象分割模型的训练模型，得到所述对象分割模型的步骤，包括：
从所述样本集中确定训练样本；
将所述训练样本中的样本图像输入至所述训练模型中，输出所述样本图像中对象的分割预测结果、预设关键点的检测结果和部位边缘检测结果；
根据所述分割预测结果、所述部位分割标签、所述第一函数和所述第一权重，确定第一损失值；根据所述预设关键点的检测结果、所述预设关键点的位置标签、所述第二函数和所述第三权重，确定第三损失值；根据所述部位边缘检测结果、所述部位边缘的位置标签、所述第二函数和所述第四权重，确定第四损失值；
基于所述第一损失值、所述第三损失值和所述第四损失值，更新所述训练模型的网络参数；基于更新前的网络参数、更新后的网络参数和所述损失函数，更新所述第一权重、所述第三权重和所述第四权重；继续执行从所述样本集中确定训练样本的步骤，直到所述训练模型收敛，得到所述对象分割模型。
7.根据权利要求6所述的方法，其特征在于，所述对象分割模型的训练模型包括：特征提取网络，以及与所述特征提取网络连接的对象分割网络、关键点检测网络和边缘检测网络；
所述将所述训练样本中的样本图像输入至所述训练模型中，输出所述样本图像中对象的分割预测结果、预设关键点的检测结果和部位边缘检测结果的步骤，包括：
将所述样本图像输入至所述特征提取网络，得到所述样本图像的图像特征；通过所述对象分割网络，基于所述图像特征输出所述样本图像中对象的分割预测结果；
通过所述关键点检测网络，基于所述图像特征输出所述样本图像中预设关键点的检测结果；通过所述边缘检测网络输出所述部位边缘检测结果。
8.一种对象分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含有目标对象的待分割图像；
结果确定模块，用于将所述待分割图像输入至预先训练完成的对象分割模型中，得到所述目标对象的分割结果；
其中，所述对象分割模型通过预设的样本和损失函数训练得到：所述样本携带有部位分割标签和辅助信息标签，所述辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；所述损失函数包括：所述部位分割标签对应的第一函数和第一权重，以及所述辅助信息标签对应的第二函数和第二权重；
在所述对象分割模型的训练过程中，根据所述对象分割模型的训练模型基于所述样本输出的分割预测结果和辅助预测结果，以及所述部位分割标签、所述辅助信息标签和所述损失函数，调整所述训练模型的网络参数、所述第一权重和所述第二权重。
9.一种对象分割模型的训练装置，其特征在于，所述训练装置包括：
样本集获取模块，用于获取预设的样本集；其中，所述样本集中的每个样本的样本图像均携带有部位分割标签和辅助信息标签，所述辅助信息标签包括对象的预设关键点的位置标签和/或部位边缘的位置标签；
模型训练模块，用于基于所述样本集和预设的损失函数训练所述对象分割模型的训练模型，得到所述对象分割模型；其中，所述损失函数包括：所述部位分割标签对应的第一函数和第一权重，以及所述辅助信息标签对应的第二函数和第二权重；在所述训练模型的训练过程中，所述第一权重和所述第二权重根据所述训练模型的输出结果、所述部位分割标签和所述辅助信息标签进行调整。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至4任一项所述的对象分割方法或者权利要求5至7任一项所述的对象分割模型的训练方法。
11.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至4任一项所述的对象分割方法或者权利要求5至7任一项所述的对象分割模型的训练方法。
CN202110611351.6A 2021-06-01 2021-06-01 对象分割方法、对象分割模型的训练方法和装置 Active CN113221837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110611351.6A CN113221837B (zh) 2021-06-01 2021-06-01 对象分割方法、对象分割模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110611351.6A CN113221837B (zh) 2021-06-01 2021-06-01 对象分割方法、对象分割模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN113221837A true CN113221837A (zh) 2021-08-06
CN113221837B CN113221837B (zh) 2024-06-07

Family

ID=77082565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110611351.6A Active CN113221837B (zh) 2021-06-01 2021-06-01 对象分割方法、对象分割模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN113221837B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118552136A (zh) * 2024-07-26 2024-08-27 浪潮智慧供应链科技(山东)有限公司 基于大数据的供应链智能库存管理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130275A1 (en) * 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
CN111932568A (zh) * 2020-08-10 2020-11-13 北京金山云网络技术有限公司 人体图像分割方法、人体图像分割模型的训练方法和装置
WO2021087985A1 (zh) * 2019-11-08 2021-05-14 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130275A1 (en) * 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
WO2021087985A1 (zh) * 2019-11-08 2021-05-14 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
CN111932568A (zh) * 2020-08-10 2020-11-13 北京金山云网络技术有限公司 人体图像分割方法、人体图像分割模型的训练方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周俊;王明军;邵乔林;: "农田图像绿色植物自适应分割方法", 农业工程学报, no. 18 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118552136A (zh) * 2024-07-26 2024-08-27 浪潮智慧供应链科技(山东)有限公司 基于大数据的供应链智能库存管理系统及方法

Also Published As

Publication number Publication date
CN113221837B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN106683091B (zh) 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN112950581A (zh) 质量评估方法、装置和电子设备
CN111932568B (zh) 人体图像分割方法、人体图像分割模型的训练方法和装置
CN108230359A (zh) 目标检测方法和装置、训练方法、电子设备、程序和介质
CN112001403B (zh) 一种图像轮廓检测方法及系统
CN111783779B (zh) 图像处理方法、装置和计算机可读存储介质
CN109858327B (zh) 一种基于深度学习的字符分割方法
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN112949571A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN118799343B (zh) 基于深度信息的植物分割方法、装置及设备
CN110909665A (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
CN108921023A (zh) 一种确定低质量人像数据的方法及装置
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
CN113033444A (zh) 年龄估计方法、装置和电子设备
CN112070060B (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN113221837B (zh) 对象分割方法、对象分割模型的训练方法和装置
CN114359892A (zh) 三维目标检测方法、装置及计算机可读存储介质
CN106709490A (zh) 一种字符识别方法和装置
CN113298084A (zh) 用于语义分割的特征图提取方法及系统
CN112749704B (zh) 文本区域的检测方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant