发明内容
本申请实施例的目的在于提供一种图像分割方法、装置、电子设备及存储介质,能够强化图像中人体部件的结构和语义关系,消除人体部件内部的纹理差异,强化人体部件的整体一致性,提高图像分割的精度。
第一方面,本申请实施例提供了一种图像分割方法,所述方法包括:
对待处理图像进行特征提取,获得多个不同尺度的特征图像,所述待处理图像为包括人体部件的图像;
对所述多个不同尺度的特征图像进行融合,得到融合特征图像;
根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征;
基于所述人体特征点特征和所述人体部件边缘特征进行图像融合,得到图像分割结果。
在上述实现过程中,通过压缩和扩张特征层来分别强化图像中人体部件的结构和语义关系,其中,通过获取人体特征点特征来消除人体部件的语义信息,强化人体部件之间的结构关系;通过获取人体部件边缘特征来消除人体部件内部的纹理差异,强化人体部件的整体一致性;从而提高了图像分割的精度。
进一步地,所述根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征的步骤,包括:
对所述多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
对所述多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征;
根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征。
在上述实现过程中,获取人体特征点特征图和人体部件边缘特征图,进而根据人体特征点特征图和人体部件边缘特征图分别获取人体特征点特征和人体部件边缘特征,可以使得图像在人体部件分割时,不会出现人体部件的混淆以及不会由于歧义的衣着等被误分割。
进一步地,所述根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征的步骤,包括:
根据所述人体特征点特征图的像素点和所述融合特征图像的像素点之间的所述第一相似度,确定特征相似度矩阵;
将所述特征相似度矩阵和所述融合特征图像进行加权计算,获得所述人体特征点特征。
在上述实现过程中,通过获取特征相似度矩阵及加权计算,获得加权后的人体特征点特征,可以消除人体部件的语义信息,强化人体部件之间的结构关系。
进一步地,所述将所述特征相似度矩阵和所述融合特征图像进行加权计算,获得所述人体特征点特征的步骤,包括:
将所述特征相似度矩阵和所述融合特征图像相乘,获得所述人体特征点特征。
上述实现过程中,加权计算后的人体特征点特征包含人体特征点信息,可以消除人体部件的语义信息,强化人体部件之间的结构关系。
进一步地,所述根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征的步骤,包括:
根据所述人体部件边缘特征图的像素点和所述融合特征图像的像素点之间的所述第二相似度,确定边缘相似度矩阵;
将所述边缘相似度矩阵和所述融合特征图像进行加权计算,得到所述人体部件边缘特征。
在上述实现过程中,通过获取边缘相似度矩阵及加权计算,获得加权后的人体部件边缘特征,可以消除人体部件内部的纹理差异,强化人体部件的整体一致性。
进一步地,所述将所述边缘相似度矩阵和所述融合特征图像进行加权计算,得到所述人体部件边缘特征的步骤,包括:
将所述边缘相似度矩阵和所述融合特征图像相乘,获得所述人体部件边缘特征。
在上述实现过程中,加权计算后的人体部件边缘特征包含了人体部件边缘信息,可以消除人体部件内部的纹理差异,强化人体部件的整体一致性。
第二方面,本申请实施例还提供一种图像分割装置,所述装置包括:
特征图像获取模块,用于对待处理图像进行特征提取,获得多个不同尺度的特征图像,所述待处理图像为包括人体部件的图像;
图像融合模块,用于对所述多个不同尺度的特征图像进行融合,得到融合特征图像;
特征获取模块,用于根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征;
特征融合模块,用于基于所述人体特征点特征和所述人体部件边缘特征进行图像融合,得到图像分割结果。
在上述实现过程中,通过压缩和扩张特征层来分别强化图像中人体部件的结构和语义关系,其中,通过获取人体特征点特征来消除人体部件的语义信息,强化人体部件之间的结构关系;通过获取人体部件边缘特征来消除人体部件内部的纹理差异,强化人体部件的整体一致性;从而提高了图像分割的精度。
进一步地,所述特征获取模块包括:
特征点提取单元,用于对所述多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
图像分割单元,用于对所述多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
特征获取单元,用于根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征;根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征。
在上述实现过程中,获取人体特征点特征图和人体部件边缘特征图,进而根据人体特征点特征图和人体部件边缘特征图分别获取人体特征点特征和人体部件边缘特征,可以使得图像在人体部件分割时,不会出现人体部件的混淆以及不会由于歧义的衣着等被误分割。
第三方面,本申请实施例还提供了一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所电子设备执行第一方面所述的图像分割方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的图像分割方法。
第五方面,本申请实施例提供的一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行如第一方面任一项所述的方法。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
现有的图像分割方法基本都主要在于优化模型结构,增加感受野以及优化边缘。尽管这些方法的精度都得到了一定的提升,但仍然存在很多问题。这些问题主要体现在人体部件的混淆上。一方面,由于人的对称结构,人体的左腿右腿左胳膊右胳膊在形状和纹理上几乎没有区别,但是在分割的过程中往往需要把两者的顺序区分出来。另一方面,由于遮挡等因素,人体部件的形状也很容易被误导;基于上述原因,在人体部件分割时会导致分割精度的下降,同时由于部件内部存在纹理差异,会降低部件的整体一致性。
需要说明的是,以上现有技术中的技术方案所存在的种种缺陷,均是发明人经过仔细的实践研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是发明人在实现本申请过程中对本申请做出的贡献。
针对上述现有技术中的问题,本申请提供了一种图像分割方法、装置、电子设备及存储介质。
实施例一
参见图1,本申请实施例提供一种图像分割方法,该方法包括:
S1,对待处理图像进行特征提取,获得多个不同尺度的特征图像,该待处理图像为包括人体部件的图像;
S2,对多个不同尺度的特征图像进行融合,得到融合特征图像;
S3,根据多个不同尺度的特征图像和融合特征图像得到人体特征点特征和人体部件边缘特征;
S4,基于人体特征点特征和人体部件边缘特征进行图像融合,得到图像分割结果。
在S1中,输入一张待处理图像,该待处理图像为包括人体部件的图像,其中,人体部件包括人体头部、脖子、肩膀、胳膊、躯干、腿部、脚部等部位。在本申请实施例中,人体部件可以通过人体特征点表征,例如可以分别通过头部、肩膀、手肘、腹部、膝盖、脚部等人体多个特征点表征人体的各个部件。示例地,可以通过手腕、手肘、肩膀等特征点表征人体胳膊,人体其他部件也可以通过该部件对应的特征点表征。
通过特征网络对输入的待处理图像进行特征提取,经过特征网络每一层的下采样,得到多个不同尺度的特征图像。
在本申请实施例中,采用了特征网络作为主干网络,具体地,采用了一个标准的语义分割网络,特征网络的每一层通过卷积和上采样,加上上一层的特征,做一次卷积,输入到下一层。在整个实施过程中,输入一张包括人体部件的待处理图像,通过多层卷积和下采样的特征网络(主干网络),从待处理图像中提取出多个不同尺度的特征图像,进而对多个不同尺度的特征图像进行融合,得到融合特征图像。
如图2所示,S3进一步包括:
S31,对多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
S32,对多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
S33,根据人体特征点特征图和融合特征图像之间的第一相似度,得到人体特征点特征;
S34,根据人体部件边缘特征图和融合特征图像之间的第二相似度,得到人体部件边缘特征。
在具体实施中,人体特征点特征图都是局部的特征图,有多少个人体特征点就有多少张特征图输出;为了对下采样后多个不同尺度的特征图像(多层特征图)进行合并,同时为了提升人体特征点特征图和特征网络输出的特征向量每个通道之间的相互关系,可以在特征点提取的过程中对人体特征点特征图中多个不同尺度的特征图像进行乱序处理,可以提升后续提取到的人体特征点特征的精度。
人体部件边缘特征图只是一张特征图,表示图像中的人体部件边缘。可以通过解码处理完成对基于提取到的低维向量包含的特征信息进行检测和分类等。
S33进一步包括:
根据人体特征点特征图的像素点和融合特征图像的像素点之间的第一相似度,确定特征相似度矩阵;
将特征相似度矩阵和融合特征图像进行加权计算,获得人体特征点特征。
具体地,将特征相似度矩阵述融合特征图像相乘,获得人体特征点特征。
图3示出了一实施例中获取人体特征点特征的过程,如图3所示,在S33中,人体特征点特征图的特征C×H×W经过转换得到N×HW维特征,将融合特征图像的特征C×H×W转换为HW×C维特征,通过计算N×HW维特征、HW×C维特征上所有像素点的相似度,得到N×C维的特征相似度矩阵,该N×C维的特征相似度矩阵为特征层的注意力权重;将N×C维的特征相似度矩阵和融合特征图像的特征C×H×W相乘,获得注意力加权计算后的人体特征点特征。加权计算后的人体特征点特征包含了人体特征点信息,可以消除人体部件的语义信息,强化人体部件之间的结构关系。如图4所示,经过上述处理,使得人体部件不会出现混淆的情况。
上述过程中,C表示特征的通道,H表示特征的高,W表示特征的宽,N表示特征的维度。
S34进一步包括:
根据人体部件边缘特征图的像素点和融合特征图像的像素点之间的第二相似度,确定边缘相似度矩阵;
将边缘相似度矩阵和融合特征图像进行加权计算,得到人体部件边缘特征。
具体地,将边缘相似度矩阵和融合特征图像相乘,获得人体部件边缘特征。
图5示出了一实施例中获取人体部件边缘特征的过程。如图5所示,在S34中,人体部件边缘特征图的特征C×H×W经过转换得到D×HW维特征,将融合特征图像的特征C×H×W转换为HW×D维特征,通过计算D×HW维特征、HW×D维特征上所有像素点的相似度,得到HW×HW维的边缘相似度矩阵;将HW×HW维的边缘相似度矩阵和转换后的融合特征图像的特征D×H×W维特征相乘,获得D×HW维特征,再和融合特征图像的特征C×H×W串联,获得(D+C)×HW维特征,将(D+C)×HW维特征进行卷积,获得注意力加权计算后的人体部件边缘特征。加权计算后的人体部件边缘特征包含了人体部件边缘信息,可以消除人体部件内部的纹理差异,强化人体部件的整体一致性。如图6所示,经过上述处理,使得人体部件内部更加一致,不会由于歧义的衣着等被误分割。
在上述过程中,C表示特征的通道,H表示特征的高,W表示特征的宽,D表示特征的维度。
在S4中,对加权计算后的人体特征点特征和加权计算后的人体部件边缘特征进行融合,获得图像分割结果,这里的图像分割结果为蒙版图,在图像中分布不同颜色块,每个颜色块用一个数字表示,具体地,可以0-15表示颜色块,0表示背景,1-15表示15个不同的人体部件。
示例性地,可以将加权计算后的人体特征点特征和加权计算后的人体部件边缘特征通过卷积后获得图像分割结果。
图7示出了采用本申请实施例方法所得的实验数据,这里比较的是其它图像分割方法,如SegNet、FCN-8s等。图中“Ours”一列是本申请实施例的实验数据,384x384和473x473表示两个不同的模型输入。左边第一列是每个人体部件对应的项目,如头发(hair)、左手臂(1-arm)等;最后一行是所有人体部件平均的数据。由此可看出,本申请实施例提供的方法能提高图像分割的精度,优于其它方法的精度。
在本申请实施例方法中,通过压缩和扩张特征层来分别强化图像中人体部件的结构和语义关系,其中,通过获取人体特征点特征来消除人体部件的语义信息,强化人体部件之间的结构关系;通过获取人体部件边缘特征来消除人体部件内部的纹理差异,强化人体部件的整体一致性;从而提高了图像分割的精度。
实施例二
为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种图像分割装置。
参见图8,本申请实施例的图像分割装置包括:
特征图像获取模块1,用于对待处理图像进行特征提取,获得多个不同尺度的特征图像,该待处理图像为包括人体部件的图像;
图像融合模块2,用于对多个不同尺度的特征图像进行融合,得到融合特征图像;
特征获取模块3,用于根据多个不同尺度的特征图像和融合特征图像得到人体特征点特征和人体部件边缘特征;
特征融合模块4,用于基于人体特征点特征和人体部件边缘特征进行图像融合,得到图像分割结果。
进一步地,特征获取模块3包括:
特征点提取单元,用于对多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
图像分割单元,用于对多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
特征获取单元,用于根据人体特征点特征图和融合特征图像之间的第一相似度,得到人体特征点特征;根据人体部件边缘特征图和融合特征图像之间的第二相似度,得到人体部件边缘特征。
具体地,特征融合模块4获得的图像分割结果为分割图像,这里的分割图像为蒙版图,在图像中分布不同颜色块,每个颜色块用一个数字表示,具体地,可以0-15表示颜色块,0表示背景,1-15表示15个不同的人体部件。
上述的图像分割装置可实施上述实施例一的图像分割方法。上述实施例一中的可选项也适用于本实施例,这里不再详述。
本申请实施例的其余内容可参照上述实施例一的内容,在本实施例中,不再进行赘述。
实施例三
本申请实施例提供一种电子设备,包括存储器及处理器,该存储器用于存储计算机程序,该处理器运行计算机程序以使电子设备执行实施例一的图像分割方法。
可选地,上述电子设备可以是服务器。
请参见图9,图9为本申请实施例提供的电子设备的结构组成示意图。该电子设备可以包括处理器91、通信接口92、存储器93和至少一个通信总线94。其中,通信总线94用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口92用于与其他节点设备进行信令或数据的通信。处理器91可以是一种集成电路芯片,具有信号的处理能力。
上述的处理器91可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器91也可以是任何常规的处理器等。
存储器93可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。存储器93中存储有计算机可读取指令,当计算机可读取指令由所述处理器91执行时,设备可以执行上述图1至图7方法实施例涉及的各个步骤。
可选地,电子设备还可以包括存储控制器、输入输出单元。存储器93、存储控制器、处理器91、外设接口、输入输出单元各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通信总线94实现电性连接。处理器91用于执行存储器93中存储的可执行模块,例如设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是,但不限于,鼠标和键盘等。
可以理解,图9所示的结构仅为示意,电子设备还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。
另外,本申请实施例还提供一种计算机可读存储介质,其存储有计算机程序,该计算机程序被处理器执行时实现实施例一的图像分割方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品在计算机上运行时,使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。