[go: up one dir, main page]

CN113470051B - 图像分割方法、计算机终端及存储介质 - Google Patents

图像分割方法、计算机终端及存储介质 Download PDF

Info

Publication number
CN113470051B
CN113470051B CN202111035749.6A CN202111035749A CN113470051B CN 113470051 B CN113470051 B CN 113470051B CN 202111035749 A CN202111035749 A CN 202111035749A CN 113470051 B CN113470051 B CN 113470051B
Authority
CN
China
Prior art keywords
result
height
target
image
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111035749.6A
Other languages
English (en)
Other versions
CN113470051A (zh
Inventor
张定乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202111035749.6A priority Critical patent/CN113470051B/zh
Publication of CN113470051A publication Critical patent/CN113470051A/zh
Application granted granted Critical
Publication of CN113470051B publication Critical patent/CN113470051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像分割方法、计算机终端及存储介质。其中,该方法包括:获取目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。本申请解决了相关技术中的图像分割方法应用于航拍图像或航拍图像时,出现分割结果不全,鲁棒性不高的技术问题。

Description

图像分割方法、计算机终端及存储介质
技术领域
本申请涉及图像处理领域,具体而言,涉及一种图像分割方法、计算机终端及存储介质。
背景技术
在遥感图像处理中,由于遥感图像中目标大小、形状、旋转角度多种多样,通常采用语义分割的方法对目标进行提取。目前常用的图像分割方法大多是基于相机获取的影像,由于遥感图像与相机获取的影像存在较大差异,导致采用上述图像分割方法进行分割时,会出现分割结果不全,鲁棒性不高等情况。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像分割方法、计算机终端及存储介质,以至少解决相关技术中的图像分割方法应用于航拍图像或航拍图像时,出现分割结果不全,鲁棒性不高的技术问题。
根据本申请实施例的第一方面,提供了一种图像分割方法,包括:获取目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
根据本申请实施例的第二方面,还提供了一种图像分割方法,包括:获取遥感图像;对遥感图像进行图像分割,得到遥感图像的初始分割结果;预测得到遥感图像的高度结果,其中,高度结果用于表征遥感图像中的像素点与遥感图像包含的地物边界的最短距离;基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果。
根据本申请实施例的第三方面,还提供了一种图像分割方法,包括:获取无人机拍摄到的航拍图像;对航拍图像进行图像分割,得到航拍图像的初始分割结果;预测得到航拍图像的高度结果,其中,高度结果用于表征航拍图像中的像素点与航拍图像包含的地物边界的最短距离;基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果。
根据本申请实施例的第四方面,还提供了一种图像分割方法,包括:云服务器接收客户端上传的目标图像;云服务器对目标图像进行图像分割,得到目标图像的初始分割结果;云服务器预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;云服务器基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;云服务器将目标分割结果反馈至客户端。
根据本申请实施例的第五方面,还提供了一种图像分割方法,包括:通过调用第一函数获取目标图像,其中,第一函数包括:第一参数,第一参数的参数值为目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;通过调用第二函数输出目标分割结果,其中,第二函数包括:第二参数,第二参数的参数值为目标分割结果。
根据本申请实施例的第六方面,提供了一种图像分割装置,包括:获取模块,用于获取目标图像;分割模块,用于对目标图像进行图像分割,得到目标图像的初始分割结果;预测模块,用于预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;修正模块,用于基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
根据本申请实施例的第七方面,还提供了一种图像分割装置,包括:获取模块,用于获取遥感图像;分割模块,用于对遥感图像进行图像分割,得到遥感图像的初始分割结果;预测模块,用于预测得到遥感图像的高度结果,其中,高度结果用于表征遥感图像中的像素点与遥感图像包含的地物边界的最短距离;修正模块,用于基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果。
根据本申请实施例的第八方面,还提供了一种图像分割装置,包括:获取模块,用于获取无人机拍摄到的航拍图像;分割模块,用于对航拍图像进行图像分割,得到航拍图像的初始分割结果;预测模块,用于预测得到航拍图像的高度结果,其中,高度结果用于表征航拍图像中的像素点与航拍图像包含的地物边界的最短距离;修正模块,用于基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果。
根据本申请实施例的第九方面,还提供了一种图像分割装置,包括:接收模块,用于接收客户端上传的目标图像;分割模块,用于对目标图像进行图像分割,得到目标图像的初始分割结果;预测模块,用于预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;修正模块,用于基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;反馈模块,用于将目标分割结果反馈至客户端。
根据本申请实施例的第十方面,还提供了一种图像分割装置,包括:第一调用模块,用于通过调用第一函数获取目标图像,其中,第一函数包括:第一参数,第一参数的参数值为目标图像;分割模块,用于对目标图像进行图像分割,得到目标图像的初始分割结果;预测模块,用于预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;修正模块,用于基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;第二调用模块,用于通过调用第二函数输出目标分割结果,其中,第二函数包括:第二参数,第二参数的参数值为目标分割结果。
根据本申请实施例的第十一方面,还提供了一种图像分割方法,包括:获取建筑物图像;对建筑物图像进行图像分割,得到建筑物图像包含的建筑物的初始分割结果;预测得到建筑物图像的高度结果,其中,高度结果用于表征建筑物图像中的像素点与建筑物的边界的最短距离;基于高度结果对建筑物的初始分割结果进行修正,得到建筑物的目标分割结果。
根据本申请实施例的第十二方面,还提供了一种图像分割装置,包括:获取模块,用于获取建筑物图像;分割模块,用于对建筑物图像进行图像分割,得到建筑物图像包含的建筑物的初始分割结果;预测模块,用于预测得到建筑物图像的高度结果,其中,高度结果用于表征建筑物图像中的像素点与建筑物的边界的最短距离;修正模块,用于基于高度结果对建筑物的初始分割结果进行修正,得到建筑物的目标分割结果。
根据本申请实施例的第十三方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述任意一个实施例中的图像分割方法。
根据本申请实施例的第十四方面,还提供了一种计算机终端,包括:处理器和存储器,处理器用于运行存储器中存储的程序,其中,程序运行时执行上述任意一个实施例中的图像分割方法。
在本申请实施例中,在获取到目标图像之后,首先对目标图像进行图像分割,得到目标图像的初始分割结果,并且预测得到目标图像的高度结果,最后基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果,实现针对目标显示大小较大且特征单一的图像进行图像处理的目的。容易注意到的是,由于高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离,也即,高度结果体现出了目标边界的语义信息,因此,在利用高度结果对初始分割结果进行修正的过程中,充分考虑了目标边界的语义信息,使得目标分割结果更加完整,减少只提取部分目标的情况,达到了提高图像分割准确度的技术效果,进而解决了相关技术中的图像分割方法应用于航拍图像或航拍图像时,出现分割结果不全,鲁棒性不高的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据现有技术的一种图像分割方法的流程图;
图2是根据本申请实施例的一种用于实现图像分割方法的计算机终端(或移动设备)的硬件结构框图;
图3是根据本申请实施例的第一种图像分割方法的流程图;
图4是根据本申请实施例的一种可选的交互界面的示意图;
图5是根据本申请实施例的另一种可选的交互界面的示意图;
图6是根据本申请实施例的一种可选的等高线图的示意图;
图7是根据本申请实施例的一种可选的等高线回归方法的流程图;
图8是根据本申请实施例的一种可选的图像分割方法的流程图;
图9是根据本申请实施例的第二种图像分割方法的流程图;
图10是根据本申请实施例的第三种图像分割方法的流程图;
图11是根据本申请实施例的第四种图像分割方法的流程图;
图12是根据本申请实施例的第五种图像分割方法的流程图;
图13是根据本申请实施例的第一种图像分割装置的示意图;
图14是根据本申请实施例的第二种图像分割装置的示意图;
图15是根据本申请实施例的第三种图像分割装置的示意图;
图16是根据本申请实施例的第六种图像分割方法的流程图;
图17根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
语义分割:可以是指对于图像中的每个像素,给出该像素所属的类别,例如,车、建筑物等。
等高线:在地形图中可以是指高程相等的相邻各点所连接形成的闭合曲线。在本申请实施例中,可以是指每个独立目标的多边形内部到边界最短距离相同的相邻点的连线。
如图1所示,通常基于深度学习的遥感图像信息提取的算法流程是:输入遥感图像,进行语义分割任务以及其他独立不同的子任务,再将语义分割结果和子任务结果融合处理,获得最终结果。例如,可以采用HRNet(High-Resolution Network,高分辨率网络)和DecoupledSegNet(Decoupled Segmentation Network,解耦分割网络)两种方法,其中,HRNet分为两个阶段:粗粒度分割结果获取以及细粒度分割结果修正;DecoupledSegNet将语义分割任务分为低频的中间物体区域预测,以及高频边界预测。
上述方法是基于相机获取的影像,该影像具有如下两个特点:目标显示大小(所占像素个数)较小,物体特征鲜明,语义信息丰富。但是,遥感图像中的目标显示大小较大,且特征单一,语义信息匮乏。导致采用上述方法应用于遥感图像时,会出现分割不全,鲁棒性不高等情况。
为了解决上述问题,本申请提供了一种图像分割方案,通过充分挖掘边界的语义信息,使得语义信息由外到内不断传播,达到精准图像分割的目的。
实施例1
根据本申请实施例,提供了一种图像分割方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图2示出了一种用于实现图像分割方法的计算机终端(或移动设备)的硬件结构框图。如图2所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图2所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的图像分割方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像分割方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
图2示出的硬件结构框图,不仅可以作为上述计算机终端10(或移动设备)的示例性框图,还可以作为上述服务器的示例性框图,一种可选实施例中,上述的服务器可以是本地部署的服务器或云端服务器,经由数据网络连接或电子连接到一个或多个客户端。数据网络连接可以是局域网连接、广域网连接、因特网连接,或其他类型的数据网络连接。
在上述运行环境下,本申请提供了如图3所示的图像分割方法。图3是根据本申请实施例的第一种图像分割方法的流程图。如图3所示,该方法可以包括如下步骤:
步骤S302,获取目标图像。
上述步骤中的目标图像可以是包含有显示大小较大,且特征单一的目标的图像,与相机获取的影像不同。可选的,目标图像可以是遥感图像,也可以是无人机拍摄的航拍图像,还可以是雷达图像,但不仅限于此。在不同应用场景中,该目标图像中包含的目标的类型不同,例如,在气象应用场景中,目标图像包含的目标可以是云层;在水利应用场景中,目标图像包含的目标可以是堤坝、河流、湖泊等;在农林业场景领域中,目标图像包含的目标可以是地块、大棚等;在灾害应用场景中,目标图像包含的目标可以是山体、堤坝等;在城市规划应用场景中,目标图像包含的目标可以是路网、地块、建筑物等。
在一种可选的实施例中,目标图像可以由卫星或无人机拍摄,并通过网络传输给服务器,由服务器处理,同时可以将目标图像展示给用户,如图4所示,目标图像可以显示在图像采集区域内;在另一种可选的实施例中,目标图像可以由卫星或无人机拍摄,并由用户主动上传至服务器,由服务器处理,如图5所示,用户可以通过点击交互界面中的“上传图像”按钮,或将目标图像直接拖入虚线框的方式完成目标图像上传服务器的目的,而且,用户上传的图像可以显示在图像采集区域内。此处的服务器可以是部署在本地的服务器,也可以是部署在云端的服务器。
步骤S304,对目标图像进行图像分割,得到目标图像的初始分割结果。
在一种可选的实施例中,可以采用现有的图像分割方法对目标图像进行图像分割,具体实现方案在此不做赘述,得到的分割结果作为初始分割结果,该结果存在缺失,且鲁棒性不高。
步骤S306,预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离。
由于相同目标在不同目标图像中的大小可能不同,导致不同目标图像中,像素点与目标边界的最短距离不同,因此,为了使本申请提供的方法可以适用于不同目标图像,在本申请实施例中,可以通过不同的标签值来表示不同距离,标签值越小表明该像素点与目标边界的最短距离越小,因此,上述步骤中的高度结果是目标图像中像素点的高度标签。
为了充分挖掘目标边界的语义信息,可以添加等高线回归任务,预测目标边界区域内的多条等高线,也即,在目标边界区域内从外到内预测多条闭合曲线,其中,同一条闭合曲线上的像素点到目标边界的最短距离相同,不同闭合曲线上的像素点到目标边界的最短距离不同。因此,在本申请实施例中,可以针对不同等高线设置不同标签值,进而将等高线的标签值作为该等高线上所有像素点的高度标签,可选的,可以将等高线从外到内的排序值作为该等高线的标签。对于其他没有位于等高线上的其他像素点,可以将其他像素点的标签设为固定值,需要说明的是,由于其他像素点并不表征边界的语义信息,可以将其他像素点的高度标签默认置0,但不仅限于此,也可以根据其他像素点到目标边界的最短距离进行设定。
例如,对于如图6所示,遥感图像包含有多个地块,对于每个地块都可以预测多条闭合曲线,由于地块大小不同,预测得到的闭合曲线的数量也不同。如图6中虚线所示所示,可以预测出四条等高线,而且,最外面一条等高线上所有像素点的高度标签为1,第二条等高线上所有像素点的高度标签为2;第三条等高线上所有像素点的高度标签为3;最里面一条等高线上所有像素点的高度标签为4,其他像素点的高度标签为0。
在一种可选的实施例中,可以通过人工方式确定目标图像中的目标边界,进而采用将目标边界不断向内收缩的方式得到多条闭合曲线,具体可以调用opencv的腐蚀操作完成,腐蚀大小可以根据预测效率和准确度进行确定,腐蚀大小越小,预测准确度越高,但效率越低,可选的,腐蚀大小为固定数值1,但不仅限于此。在另一种可选的实施例中,为了提高高度结果的预测精确度和预测效率,可以预先训练一个执行等高线回归任务的高度预测模型,进而可以利用高度预测模型对目标图像进行处理,预测得到高度结果。在本申请实施例中,以利用高度预测模型的处理方式为例进行说明。
步骤S308,基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
在本申请上述实施例中,通过预测目标图像的高度结果使得目标边界区域内,语义信息由外到内不断传播,使得越靠近中心区域,语义信息越模糊的情况得以解决,因此,可以结合边界的语义信息对初始分割结果进行修正,使得最终得到的目标分割结果更加完整,大大减少只提取部分目标的情况。
在一种可选的实施例中,服务器在对目标图像进行图像分割,得到目标分割结果之后,可以直接展示给用户查看,如图4所示,目标分割结果可以显示在结果反馈区域内;在另一种可选的实施例中,服务器在对目标图像进行图像分割,得到目标分割结果之后,可以通过网络将目标分割结果反馈用户的客户端,由客户端展示给用户查看,如图5所示,目标分割结果可以显示在结果反馈区域内。进一步地,目标分割结果展示给用户之后,可以通过用户反馈来验证目标分割结果是否正确,如果用户认为目标分割结果不正确,则可以反馈正确的分割结果,如图4和图5所示,用户可以在结果反馈区域内反馈正确的分割结果,并将其上传至服务器,从而服务器可以根据用户反馈对模型进行再次训练,达到提升服务器性能的效果。
例如,以农业场景中的地块分割为例进行说明,卫星、无人机或雷达采集到的地块图像之后,可以将地块图像直接发送至服务器进行地块分割,也可以传输给客户端,由用户进行选择,并上传需要进行地块分割的地块图像至服务器。服务器在获取到地块图像之后,可以采用现有图像分割方法对地块图像进行图像分割,得到地块图像的初始分割结果,该初始分割结果包括:地块在地块图像中的初始区域,同时,可以利用预先训练好的高度预测模型对地块图像进行处理,预测得到地块图像的高度结果,该高度结果可以表征地块图像中的像素点与地块图像中包含的地块边界的最短距离,最后,可以利用预测得到的高度结果对初始分割结果进行修正,得到地块的目标分割结果,该目标分割结果包括:地块在地块图像中的目标区域,也即,利用预测得到的高度结果对地块的初始区域进行修正,得到地块的实际区域。在得到目标分割结果之后,服务器可以直接将目标分割结果展示给用户查看,或者,服务器将目标分割结果下发至客户端,由客户端展示给用户查看,从而用户可以看到分割出的地块的实际区域,并且可以通过用户的反馈结果对高度预测模型进行优化,提升服务器的性能。
又例如,以城市规划场景中的建筑物分割为例进行说明,卫星、无人机或雷达采集到的建筑物图像之后,可以将建筑物图像直接发送至服务器进行建筑物分割,也可以传输给客户端,由用户进行选择,并上传需要进行建筑物分割的建筑物图像至服务器。服务器在获取到建筑物图像之后,可以采用现有图像分割方法对建筑物图像进行图像分割,得到建筑物图像包含的建筑物的初始分割结果,该初始分割结果包括:建筑物在建筑物图像中的初始区域,同时,可以利用预先训练好的高度预测模型对建筑物图像进行处理,预测得到建筑物图像的高度结果,该高度结果可以表征建筑物图像中的像素点与建筑物的边界的最短距离,最后,可以利用预测得到的高度结果对初始分割结果进行修正,得到建筑物图像的目标分割结果,该目标分割结果包括:建筑物在建筑物图像中的目标区域,也即,利用预测得到的高度结果对建筑物的初始区域进行修正,得到建筑物的实际区域。在得到目标分割结果之后,服务器可以直接将目标分割结果展示给用户查看,或者,服务器将目标分割结果下发至客户端,由客户端展示给用户查看,从而用户可以看到分割出的建筑物的实际区域,并且可以通过用户的反馈结果对高度预测模型进行优化,提升服务器的性能。
通过本申请上述实施例提供的方案,在获取到目标图像之后,首先对目标图像进行图像分割,得到目标图像的初始分割结果,并且预测得到目标图像的高度结果,最后基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果,实现针对目标显示大小较大且特征单一的图像进行图像处理的目的。容易注意到的是,由于高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离,也即,高度结果体现出了目标边界的语义信息,因此,在利用高度结果对初始分割结果进行修正的过程中,充分考虑了目标边界的语义信息,使得目标分割结果更加完整,减少只提取部分目标的情况,达到了提高图像分割准确度的技术效果,进而解决了相关技术中的图像分割方法应用于航拍图像或航拍图像时,出现分割结果不全,鲁棒性不高的技术问题。
本申请上述实施例中,该方法还包括:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练,其中,高度预测模型用于预测目标图像的高度结果。
上述步骤中的初始训练样本可以是相关技术中用于图像分割模型训练的样本,该样本中的标注框可以表征训练图像的图像分割结果,可以通过人工对训练图像中每个训练目标的边界进行标注的方式获得。为了降低人工标注成本,可以直接从互联网或公开图像集中获取已标注图像作为初始训练样本。
由于初始训练样本仅仅包含有用于表征图像分割结果的标注框,并未包含每个像素点与训练目标边界的高度标注结果,因此,为了确保训练得到的高度预测模型可以实现对目标图像的高度结果进行预测,在本申请实施例中,可以首先生成训练图像的高度标注结果,进而将现有标注框和新生成的高度标注结果共同作为训练图像的标注信息,得到最终用于完成高度预测模型训练的目标训练样本。高度预测模型的训练过程与相关技术中图像分割模型的训练过程相似,在此不做赘述。
现有的标注框往往是多边形闭合框,在高度预测模型的训练过程中,可以通过将标注框不断向内收缩的方式得到多条等高线,具体可以调用opencv的腐蚀操作完成,可选的,腐蚀大小为1。在一种可选的实施例中,可以根据预测得到的多条闭合曲线,确定训练图像中所有像素点的高度标签,并将所有像素点的高度标签,作为训练图像的高度标注结果,其中,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,而对于除目标像素点之外的其他像素点,可以将预先设定的固定值作为其他像素点的高度标签。在另一种可选的实施例中,由于高度预测模型的主要任务是预测出目标图像的等高线图,也即,目标像素点的高度标签是高度预测模型的训练过程中需要使用的标注信息,因此,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,并将目标像素点的高度标签,作为训练图像的高度标注结果。
本申请上述实施例中,生成训练图像的高度标注结果包括:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
在一种可选的实施例中,可以通过将标注框连续多次向内收缩的方式,生成多条等高线,进而可以确定位于每条等高线上的目标像素点的高度标签。由于高度预测模型用于预测实际获取到的目标图像的高度结果,因此,高度预测模型的训练过程中只需要目标像素点的高度标签,可选的,可以直接将目标像素点的高度标签作为高度标注结果。
本申请上述实施例中,在对标注框进行一次收缩之后,该方法还包括:确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
上述步骤中的预设数量可以是根据实际预测准确度和效率需求所设定的值,预设数量越小,标注框收缩次数越多,边界的语义信息越丰富,预测准确度越高,但效率越低。可选的,上述的预设数量可以是0,也即,收缩后的标注框内不包含任何一个像素点,无法继续收缩。
例如,以图6和图7所示的等高线回归方法为例进行说明。首先训练图像中目标的多边形标注框进行收缩,向内收缩距离为1,得到最外面的一条等高线,该等高线上所有像素点的高度标签为1;然后再次向内收缩,向内收缩距离为1,得到第二条等高线,该等高线上所有像素点的高度标签为2;再次向内收缩,向内收缩距离为1,得到第三条等高线,该等高线上所有像素点的高度标签为3;再次向内收缩,向内收缩距离为1,得到最里面一条等高线,该等高线上所有像素点的高度标签为4,此时,最里面一条等高线内并未包含其他像素点,结束收缩。在遥感图像中所有目标均处理完毕之后,可以得到整个图像的高度标注结果。
本申请上述实施例中,基于训练图像中的像素点的高度,得到高度标注结果包括:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
上述步骤中的预设高度可以是训练图像的高度,例如1024。
在一种可选的实施例中,如图7所示,在训练图像中所有目标均收缩完毕之后,可以得到和训练图像大小相同的等高线图,然后除以预设高度进行归一化处理,得到等高线,也即得到高度标注结果。
本申请上述实施例中,基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果包括:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
在一种可选的实施例中,可以利用3x3的卷积对目标图像的高度结果进行特征变换,完成对等高线图的语义提取,得到语义特征,然后基于该语义特征对初始分割结果进行修正,完成语义分割目的,得到目标分割结果。
本申请上述实施例中,基于语义特征对初始分割结果进行修正,得到目标分割结果包括:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
在一种可选的实施例中,为了实现分割结果修正,可以将等高线图中提取出的语义特征与初始分割结果进行拼接,也即以channel方式连接在一起,得到的拼接后的特征是一种增强的语义特征,最后拼接后的特征经过卷积可以得到目标分割结果。
本申请上述实施例中,在预测得到目标图像的高度结果之后,该方法还包括:在交互界面上显示目标图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
上述步骤中的交互界面可以是如图4和图5所示的界面,用户可以通过该界面查看目标分割结果、高度结果,并且可以在该界面上对上述结果进行调整,并反馈给服务器。
由于高度结果的准确度会影响最终目标分割结果的准确度,为了确保高度结果的准确度,在一种可选的实施例中,服务器可以直接将高度结果展示给用户查看,也即,将高度结果展示在交互界面上,在另一种可选的实施例中,服务器可以通过网络将高度结果下发给客户端,由客户端展示给用户查看,也即,将高度结果展示在交互界面上。进一步地,高度结果可以由用户进行确认,如果用户确认无误,则可以直接基于该高度结果进行初始分割结果的修正过程;如果用户确认有误,则用户可以在交互界面上对高度结果进行修正,得到相应的修正结果,并将修正结果反馈给服务器,则可以基于修正结果进行初始分割结果的修正过程,而且,可以根据修正结果对高度预测模型进行优化,提升服务器的性能。
本申请上述实施例中,在基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果之后,该方法还包括:确定目标分割结果中包含的目标的类别;基于目标的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
上述步骤中的目标的类别可以是目标图像中目标的具体类别,可以是预先根据分割需求所设定的类别。例如,仍以农业场景中的地块分割为例进行说明,地块的类别可以是地块的高度,如平原、丘陵等。又例如,仍以城市规划场景中的建筑物分割为例进行说明,建筑物的类别可以是建筑物的具体类型,如商业楼、高层住宅、图书馆、体育中心等。
上述步骤中的目标展示方式可以是指展示目标所在区域的颜色、边界线的粗细、边界线的线形等,但不仅限于此,在本申请中以区域颜色为例进行说明。
在一种可选的实施例中,为了方便用户更加清楚、直观地查看到目标所在区域,可以采用现有目标识别方案对目标分割结果中包含的不同目标的具体类别,进而确定相应的目标展示方式,最终按照目标展示方式展示给用户查看,目标分割结果可以展示在交互界面中。可选的,为了方便用户更加直观地确定不同目标的类别,还可以在交互界面中将目标的类别名称显示出来。
例如,仍以农业场景中的地块分割为例进行说明,在得到目标分割结果,也即,得到地块图像中每个地块所在区域之后,可以根据地块不同高度确定地块的类别,进而确定展示的颜色,最终,可以使用不同颜色标记不同高度的地块,例如,使用绿色标记丘陵,使用黄色标记平原。
又例如,以城市规划场景中的建筑物分割为例进行说明,在得到目标分割结果,也即,得到建筑物图像中每个建筑物所在区域之后,可以通过识别得到每个建筑物的类别,进而确定展示的颜色,最终,可以使用不同颜色标记不同类别的建筑物,例如,使用绿色标记住宅楼,使用黄色标记商务楼,使用蓝色标记体育中心。进一步地,可以将每个建筑物的类别名称显示在该建筑物所在区域内。
下面结合图8对本申请一种优选的实施例进行详细说明,该方法可以由计算机终端或服务器执行。如图8所示,该方法包括如下步骤:
步骤S801,获取遥感图像。
步骤S802,利用预先训练好的基础网络对遥感图像进行处理,得到初步分割结果和高度结果。
可选的,上述的基础网络可以是任意的卷积神经网络结构,该网络结构可以执行现有的语义分割任务,以及本申请中的等高线预测任务,其中,可以利用卷积将从基础网络中得到的特征,变换成维度为1的特征,得到高度结果。
需要说明的是,基础网络在训练过程,可以利用预先构建的等高线图进行监督,等高线图的构建过程如图7所示,在此不做赘述。
步骤S803,利用卷积对高度结果进行特征变换,完成对等高线图的语义提取,得到高度结果的语义特征。
步骤S804,将语义特征与初步分割结果拼接,得到拼接后的特征,即增强的语义特征。
步骤S805,拼接后的特征经过卷积得到目标分割结果。
本申请通过添加等高线回归任务,合理地指明了边界语义信息的传播方向,并把语义分割分成粗分割和结果修正两个步骤,达到精准预测的目的,解决了遥感图像由于目标大、语义信息低导致分割结果不完成,算法鲁棒性不高的问题。通过该方案,遥感图像预测结果将更加完整,大大减少只提取部分目标的情况。
实施例2
根据本申请实施例,还提供了一种图像分割方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图9是根据本申请实施例的第二种图像分割方法的流程图。如图9所示,该方法可以包括如下步骤:
步骤S902,获取遥感图像。
在不同应用领域中,该遥感图像中包含的目标的类型不同,例如,在气象应用领域中,遥感图像包含的目标可以是云层;在水利应用领域中,遥感图像包含的目标可以是堤坝、河流、湖泊等;在农林业应用领域中,遥感图像包含的目标可以是地块、大棚等;在灾害应用领域中,遥感图像包含的目标可以是山体、堤坝等;在城市规划应用领域中,遥感图像包含的目标可以是路网、地块、建筑物等。
在一种可选的实施例中,遥感图像可以由卫星拍摄,并通过网络传输给服务器,由服务器处理,同时可以将遥感图像展示给用户,如图4所示,遥感图像可以显示在图像采集区域内;在另一种可选的实施例中,遥感图像可以由卫星拍摄,并由用户主动上传至服务器,由服务器处理,如图5所示,用户可以通过点击交互界面中的“上传图像”按钮,或将遥感图像直接拖入虚线框的方式完成遥感图像上传服务器的目的,而且,用户上传的图像可以显示在图像采集区域内。此处的服务器可以是部署在本地的服务器,也可以是部署在云端的服务器。
步骤S904,对遥感图像进行图像分割,得到遥感图像的初始分割结果。
在一种可选的实施例中,可以采用现有的图像分割方法对遥感图像进行图像分割,具体实现方案在此不做赘述,得到的分割结果作为初始分割结果,该结果存在缺失,且鲁棒性不高。
步骤S906,预测得到遥感图像的高度结果,其中,高度结果用于表征遥感图像中的像素点与遥感图像包含的地物边界的最短距离。
由于相同地物在不同遥感图像中的大小可能不同,导致不同遥感图像中,像素点与地物边界的最短距离不同,因此,为了使本申请提供的方法可以适用于不同遥感图像,在本申请实施例中,可以通过不同的标签值来表示不同距离,标签值越小表明该像素点与地物边界的最短距离越小,因此,上述步骤中的高度结果是遥感图像中像素点的高度标签。
为了充分挖掘地物边界的语义信息,可以添加等高线回归任务,预测地物边界区域内的多条等高线,也即,在地物边界区域内从外到内预测多条闭合曲线,其中,同一条闭合曲线上的像素点到地物边界的最短距离相同,不同闭合曲线上的像素点到地物边界的最短距离不同。因此,在本申请实施例中,可以针对不同等高线设置不同标签值,进而将等高线的标签值作为该等高线上所有像素点的高度标签,可选的,可以将等高线从外到内的排序值作为该等高线的标签。对于其他没有位于等高线上的其他像素点,可以将其他像素点的标签设为固定值,需要说明的是,由于其他像素点并不表征边界的语义信息,可以将其他像素点的高度标签默认置0,但不仅限于此,也可以根据其他像素点到地物边界的最短距离进行设定。
例如,对于如图6所示,遥感图像包含有多个地块,对于每个地块都可以预测多条闭合曲线,由于地块大小不同,预测得到的闭合曲线的数量也不同。如图6中的虚线所示所示,可以预测出四条等高线,而且,最外面一条等高线上所有像素点的高度标签为1,第二条等高线上所有像素点的高度标签为2;第三条等高线上所有像素点的高度标签为3;最里面一条等高线上所有像素点的高度标签为4,其他像素点的高度标签为0。
在一种可选的实施例中,可以通过人工方式确定遥感图像中的地物边界,进而采用将地物边界不断向内收缩的方式得到多条闭合曲线,具体可以调用opencv的腐蚀操作完成,腐蚀大小可以根据预测效率和准确度进行确定,腐蚀大小越小,预测准确度越高,但效率越低,可选的,腐蚀大小为固定数值1,但不仅限于此。在另一种可选的实施例中,为了提高高度结果的预测精确度和预测效率,可以预先训练一个执行等高线回归任务的高度预测模型,进而可以利用高度预测模型对遥感图像进行处理,预测得到高度结果。在本申请实施例中,以利用高度预测模型的处理方式为例进行说明。
步骤S908,基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果。
在本申请上述实施例中,通过预测遥感图像的高度结果使得地物边界区域内,语义信息由外到内不断传播,使得越靠近中心区域,语义信息越模糊的情况得以解决,因此,可以结合边界的语义信息对初始分割结果进行修正,使得最终得到的目标分割结果更加完整,大大减少只提取部分目标的情况。
在一种可选的实施例中,服务器在对遥感图像进行图像分割,得到目标分割结果之后,可以直接展示给用户查看,如图4所示,目标分割结果可以显示在结果反馈区域内;在另一种可选的实施例中,服务器在对遥感图像进行图像分割,得到目标分割结果之后,可以通过网络将目标分割结果反馈用户的客户端,由客户端展示给用户查看,如图5所示,目标分割结果可以显示在结果反馈区域内。进一步地,目标分割结果展示给用户之后,可以通过用户反馈来验证目标分割结果是否正确,如果用户认为目标分割结果不正确,则可以反馈正确的分割结果,如图4和图5所示,用户可以在结果反馈区域内反馈正确的分割结果,并将其上传至服务器,从而服务器可以根据用户反馈对模型进行再次训练,达到提升服务器性能的效果。
本申请上述实施例中,该方法还包括:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
上述步骤中的初始训练样本可以是相关技术中用于图像分割模型训练的样本,该样本中的标注框可以表征训练图像的图像分割结果,可以通过人工对训练图像中每个训练地物的边界进行标注的方式获得。为了降低人工标注成本,可以直接从互联网或公开图像集中获取已标注图像作为初始训练样本。
由于初始训练样本仅仅包含有用于表征图像分割结果的标注框,并未包含每个像素点与训练地物边界的高度标注结果,因此,为了确保训练得到的高度预测模型可以实现对遥感图像的高度结果进行预测,在本申请实施例中,可以首先生成训练图像的高度标注结果,进而将现有标注框和新生成的高度标注结果共同作为训练图像的标注信息,得到最终用于完成高度预测模型训练的目标训练样本。高度预测模型的训练过程与相关技术中图像分割模型的训练过程相似,在此不做赘述。
现有的标注框往往是多边形闭合框,在高度预测模型的训练过程中,可以通过将标注框不断向内收缩的方式得到多条等高线,具体可以调用opencv的腐蚀操作完成,可选的,腐蚀大小为1。在一种可选的实施例中,可以根据预测得到的多条闭合曲线,确定训练图像中所有像素点的高度标签,并将所有像素点的高度标签,作为训练图像的高度标注结果,其中,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,而对于除目标像素点之外的其他像素点,可以将预先设定的固定值作为其他像素点的高度标签。在另一种可选的实施例中,由于高度预测模型的主要任务是预测出遥感图像的等高线图,也即,目标像素点的高度标签是高度预测模型的训练过程中需要使用的标注信息,因此,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,并将目标像素点的高度标签,作为训练图像的高度标注结果。
本申请上述实施例中,生成训练图像的高度标注结果包括:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
在一种可选的实施例中,可以通过将标注框连续多次向内收缩的方式,生成多条等高线,进而可以确定位于每条等高线上的目标像素点的高度标签。由于高度预测模型用于预测实际获取到的遥感图像的高度结果,因此,高度预测模型的训练过程中只需要目标像素点的高度标签,可选的,可以直接将目标像素点的高度标签作为高度标注结果。
本申请上述实施例中,在对标注框进行一次收缩之后,该方法还包括:确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
上述步骤中的预设数量可以是根据实际预测准确度和效率需求所设定的值,预设数量越小,标注框收缩次数越多,边界的语义信息越丰富,预测准确度越高,但效率越低。可选的,上述的预设数量可以是0,也即,收缩后的标注框内不包含任何一个像素点,无法继续收缩。
例如,以图6和图7所示的等高线回归方法为例进行说明。首先训练图像中地物的多边形标注框进行收缩,向内收缩距离为1,得到最外面的一条等高线,该等高线上所有像素点的高度标签为1;然后再次向内收缩,向内收缩距离为1,得到第二条等高线,该等高线上所有像素点的高度标签为2;再次向内收缩,向内收缩距离为1,得到第三条等高线,该等高线上所有像素点的高度标签为3;再次向内收缩,向内收缩距离为1,得到最里面一条等高线,该等高线上所有像素点的高度标签为4,此时,最里面一条等高线内并未包含其他像素点,结束收缩。在遥感图像中所有地物均处理完毕之后,可以得到整个图像的高度标注结果。
本申请上述实施例中,基于训练图像中的像素点的高度,得到高度标注结果包括:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
上述步骤中的预设高度可以是训练图像的高度,例如1024。
在一种可选的实施例中,如图7所示,在训练图像中所有地物均收缩完毕之后,可以得到和训练图像大小相同的等高线图,然后除以预设高度进行归一化处理,从而得到高度标注结果。
本申请上述实施例中,基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果包括:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
在一种可选的实施例中,可以利用3x3的卷积对遥感图像的高度结果进行特征变换,完成对等高线图的语义提取,得到语义特征,然后基于该语义特征对初始分割结果进行修正,完成语义分割目的,得到目标分割结果。
本申请上述实施例中,基于语义特征对初始分割结果进行修正,得到目标分割结果包括:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
在一种可选的实施例中,为了实现分割结果修正,可以将等高线图中提取出的语义特征与初始分割结果进行拼接,也即以channel方式连接在一起,得到的拼接后的特征是一种增强的语义特征,最后拼接后的特征经过卷积可以得到目标分割结果。
本申请上述实施例中,在预测得到遥感图像的高度结果之后,该方法还包括:在交互界面上显示遥感图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
上述步骤中的交互界面可以是如图4和图5所示的界面,用户可以通过该界面查看目标分割结果、高度结果,并且可以在该界面上对上述结果进行调整,并反馈给服务器。
由于高度结果的准确度会影响最终目标分割结果的准确度,为了确保高度结果的准确度,在一种可选的实施例中,服务器可以直接将高度结果展示给用户查看,也即,将高度结果展示在交互界面上,在另一种可选的实施例中,服务器可以通过网络将高度结果下发给客户端,由客户端展示给用户查看,也即,将高度结果展示在交互界面上。进一步地,高度结果可以由用户进行确认,如果用户确认无误,则可以直接基于该高度结果进行初始分割结果的修正过程;如果用户确认有误,则用户可以在交互界面上对高度结果进行修正,得到相应的修正结果,并将修正结果反馈给服务器,则可以基于修正结果进行初始分割结果的修正过程,而且,可以根据修正结果对高度预测模型进行优化,提升服务器的性能。
本申请上述实施例中,在基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果之后,该方法还包括:确定目标分割结果中包含的地物的类别;基于地物的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
上述步骤中的地物的类别可以是遥感图像中地物的具体类别,可以是预先根据分割需求所设定的类别。例如,仍以农业场景中的地块分割为例进行说明,地块的类别可以是地块的高度,如平原、丘陵等。又例如,仍以城市规划场景中的建筑物分割为例进行说明,建筑物的类别可以是建筑物的具体类型,如商业楼、高层住宅、图书馆、体育中心等。
上述步骤中的目标展示方式可以是指展示地物所在区域的颜色、边界线的粗细、边界线的线形等,但不仅限于此,在本申请中以区域颜色为例进行说明。
在一种可选的实施例中,为了方便用户更加清楚、直观地查看到地物所在区域,可以采用现有目标识别方案对目标分割结果中包含的不同地物的具体类别,进而确定相应的目标展示方式,最终按照目标展示方式展示给用户查看,目标分割结果可以展示在交互界面中。可选的,为了方便用户更加直观地确定不同地物的类别,还可以在交互界面中将地物的类别名称显示出来。
实施例3
根据本申请实施例,还提供了一种图像分割方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图10是根据本申请实施例的第三种图像分割方法的流程图。如图10所示,该方法可以包括如下步骤:
步骤S1002,获取无人机拍摄到的航拍图像。
在不同应用领域中,该航拍图像中包含的目标的类型不同,例如,在水利应用领域中,航拍图像包含的目标可以是堤坝、河流、湖泊等;在农林业应用领域中,航拍图像包含的目标可以是地块、大棚等;在灾害应用领域中,航拍图像包含的目标可以是山体、堤坝等;在城市规划应用领域中,航拍图像包含的目标可以是路网、地块、建筑物等。
在一种可选的实施例中,航拍图像可以由无人机拍摄,并通过网络传输给服务器,由服务器处理,同时可以将航拍图像展示给用户,如图4所示,航拍图像可以显示在图像采集区域内;在另一种可选的实施例中,航拍图像可以由无人机拍摄,并由用户主动上传至服务器,由服务器处理,如图5所示,用户可以通过点击交互界面中的“上传图像”按钮,或将航拍图像直接拖入虚线框的方式完成航拍图像上传服务器的目的,而且,用户上传的图像可以显示在图像采集区域内。此处的服务器可以是部署在本地的服务器,也可以是部署在云端的服务器。
步骤S1004,对航拍图像进行图像分割,得到航拍图像的初始分割结果。
在一种可选的实施例中,可以采用现有的图像分割方法对航拍图像进行图像分割,具体实现方案在此不做赘述,得到的分割结果作为初始分割结果,该结果存在缺失,且鲁棒性不高。
步骤S1006,预测得到航拍图像的高度结果,其中,高度结果用于表征航拍图像中的像素点与航拍图像包含的地物边界的最短距离。
由于相同地物在不同航拍图像中的大小可能不同,导致不同航拍图像中,像素点与地物边界的最短距离不同,因此,为了使本申请提供的方法可以适用于不同航拍图像,在本申请实施例中,可以通过不同的标签值来表示不同距离,标签值越小表明该像素点与地物边界的最短距离越小,因此,上述步骤中的高度结果是航拍图像中像素点的高度标签。
为了充分挖掘地物边界的语义信息,可以添加等高线回归任务,预测地物边界区域内的多条等高线,也即,在地物边界区域内从外到内预测多条闭合曲线,其中,同一条闭合曲线上的像素点到地物边界的最短距离相同,不同闭合曲线上的像素点到地物边界的最短距离不同。因此,在本申请实施例中,可以针对不同等高线设置不同标签值,进而将等高线的标签值作为该等高线上所有像素点的高度标签,可选的,可以将等高线从外到内的排序值作为该等高线的标签。对于其他没有位于等高线上的其他像素点,可以将其他像素点的标签设为固定值,需要说明的是,由于其他像素点并不表征边界的语义信息,可以将其他像素点的高度标签默认置0,但不仅限于此,也可以根据其他像素点到地物边界的最短距离进行设定。
例如,对于如图6所示,航拍图像包含有多个地块,对于每个地块都可以预测多条闭合曲线,由于地块大小不同,预测得到的闭合曲线的数量也不同。如图6中的虚线所示所示,可以预测出四条等高线,而且,最外面一条等高线上所有像素点的高度标签为1,第二条等高线上所有像素点的高度标签为2;第三条等高线上所有像素点的高度标签为3;最里面一条等高线上所有像素点的高度标签为4,其他像素点的高度标签为0。
在一种可选的实施例中,可以通过人工方式确定航拍图像中的地物边界,进而采用将地物边界不断向内收缩的方式得到多条闭合曲线,具体可以调用opencv的腐蚀操作完成,腐蚀大小可以根据预测效率和准确度进行确定,腐蚀大小越小,预测准确度越高,但效率越低,可选的,腐蚀大小为固定数值1,但不仅限于此。在另一种可选的实施例中,为了提高高度结果的预测精确度和预测效率,可以预先训练一个执行等高线回归任务的高度预测模型,进而可以利用高度预测模型对航拍图像进行处理,预测得到高度结果。在本申请实施例中,以利用高度预测模型的处理方式为例进行说明。
步骤S1008,基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果。
在本申请上述实施例中,通过预测航拍图像的高度结果使得地物边界区域内,语义信息由外到内不断传播,使得越靠近中心区域,语义信息越模糊的情况得以解决,因此,可以结合边界的语义信息对初始分割结果进行修正,使得最终得到的目标分割结果更加完整,大大减少只提取部分目标的情况。
在一种可选的实施例中,服务器在对航拍图像进行图像分割,得到目标分割结果之后,可以直接展示给用户查看,如图4所示,目标分割结果可以显示在结果反馈区域内;在另一种可选的实施例中,服务器在对航拍图像进行图像分割,得到目标分割结果之后,可以通过网络将目标分割结果反馈用户的客户端,由客户端展示给用户查看,如图5所示,目标分割结果可以显示在结果反馈区域内。进一步地,目标分割结果展示给用户之后,可以通过用户反馈来验证目标分割结果是否正确,如果用户认为目标分割结果不正确,则可以反馈正确的分割结果,如图4和图5所示,用户可以在结果反馈区域内反馈正确的分割结果,并将其上传至服务器,从而服务器可以根据用户反馈对模型进行再次训练,达到提升服务器性能的效果。
本申请上述实施例中,该方法还包括:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
上述步骤中的初始训练样本可以是相关技术中用于图像分割模型训练的样本,该样本中的标注框可以表征训练图像的图像分割结果,可以通过人工对训练图像中每个训练地物的边界进行标注的方式获得。为了降低人工标注成本,可以直接从互联网或公开图像集中获取已标注图像作为初始训练样本。
由于初始训练样本仅仅包含有用于表征图像分割结果的标注框,并未包含每个像素点与训练地物边界的高度标注结果,因此,为了确保训练得到的高度预测模型可以实现对航拍图像的高度结果进行预测,在本申请实施例中,可以首先生成训练图像的高度标注结果,进而将现有标注框和新生成的高度标注结果共同作为训练图像的标注信息,得到最终用于完成高度预测模型训练的目标训练样本。高度预测模型的训练过程与相关技术中图像分割模型的训练过程相似,在此不做赘述。
现有的标注框往往是多边形闭合框,在高度预测模型的训练过程中,可以通过将标注框不断向内收缩的方式得到多条等高线,具体可以调用opencv的腐蚀操作完成,可选的,腐蚀大小为1。在一种可选的实施例中,可以根据预测得到的多条闭合曲线,确定训练图像中所有像素点的高度标签,并将所有像素点的高度标签,作为训练图像的高度标注结果,其中,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,而对于除目标像素点之外的其他像素点,可以将预先设定的固定值作为其他像素点的高度标签。在另一种可选的实施例中,由于高度预测模型的主要任务是预测出航拍图像的等高线图,也即,目标像素点的高度标签是高度预测模型的训练过程中需要使用的标注信息,因此,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,并将目标像素点的高度标签,作为训练图像的高度标注结果。
本申请上述实施例中,生成训练图像的高度标注结果包括:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
在一种可选的实施例中,可以通过将标注框连续多次向内收缩的方式,生成多条等高线,进而可以确定位于每条等高线上的目标像素点的高度标签。由于高度预测模型用于预测实际获取到的航拍图像的高度结果,因此,高度预测模型的训练过程中只需要目标像素点的高度标签,可选的,可以直接将目标像素点的高度标签作为高度标注结果。
本申请上述实施例中,在对标注框进行一次收缩之后,该方法还包括:确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
上述步骤中的预设数量可以是根据实际预测准确度和效率需求所设定的值,预设数量越小,标注框收缩次数越多,边界的语义信息越丰富,预测准确度越高,但效率越低。可选的,上述的预设数量可以是0,也即,收缩后的标注框内不包含任何一个像素点,无法继续收缩。
例如,以图6和图7所示的等高线回归方法为例进行说明。首先训练图像中地物的多边形标注框进行收缩,向内收缩距离为1,得到最外面的一条等高线,该等高线上所有像素点的高度标签为1;然后再次向内收缩,向内收缩距离为1,得到第二条等高线,该等高线上所有像素点的高度标签为2;再次向内收缩,向内收缩距离为1,得到第三条等高线,该等高线上所有像素点的高度标签为3;再次向内收缩,向内收缩距离为1,得到最里面一条等高线,该等高线上所有像素点的高度标签为4,此时,最里面一条等高线内并未包含其他像素点,结束收缩。在航拍图像中所有地物均处理完毕之后,可以得到整个图像的高度标注结果。
本申请上述实施例中,基于训练图像中的像素点的高度,得到高度标注结果包括:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
上述步骤中的预设高度可以是训练图像的高度,例如1024。
在一种可选的实施例中,如图7所示,在训练图像中所有地物均收缩完毕之后,可以得到和训练图像大小相同的等高线图,然后除以预设高度进行归一化处理,从而得到高度标注结果。
本申请上述实施例中,基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果包括:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
在一种可选的实施例中,可以利用3x3的卷积对航拍图像的高度结果进行特征变换,完成对等高线图的语义提取,得到语义特征,然后基于该语义特征对初始分割结果进行修正,完成语义分割目的,得到目标分割结果。
本申请上述实施例中,基于语义特征对初始分割结果进行修正,得到目标分割结果包括:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
在一种可选的实施例中,为了实现分割结果修正,可以将等高线图中提取出的语义特征与初始分割结果进行拼接,也即以channel方式连接在一起,得到的拼接后的特征是一种增强的语义特征,最后拼接后的特征经过卷积可以得到目标分割结果。
本申请上述实施例中,在预测得到航拍图像的高度结果之后,该方法还包括:在交互界面上显示航拍图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
上述步骤中的交互界面可以是如图4和图5所示的界面,用户可以通过该界面查看目标分割结果、高度结果,并且可以在该界面上对上述结果进行调整,并反馈给服务器。
由于高度结果的准确度会影响最终目标分割结果的准确度,为了确保高度结果的准确度,在一种可选的实施例中,服务器可以直接将高度结果展示给用户查看,也即,将高度结果展示在交互界面上,在另一种可选的实施例中,服务器可以通过网络将高度结果下发给客户端,由客户端展示给用户查看,也即,将高度结果展示在交互界面上。进一步地,高度结果可以由用户进行确认,如果用户确认无误,则可以直接基于该高度结果进行初始分割结果的修正过程;如果用户确认有误,则用户可以在交互界面上对高度结果进行修正,得到相应的修正结果,并将修正结果反馈给服务器,则可以基于修正结果进行初始分割结果的修正过程,而且,可以根据修正结果对高度预测模型进行优化,提升服务器的性能。
本申请上述实施例中,在基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果之后,该方法还包括:确定目标分割结果中包含的地物的类别;基于地物的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
上述步骤中的目标的类别可以是目标图像中目标的具体类别,可以是预先根据分割需求所设定的类别。例如,仍以农业场景中的地块分割为例进行说明,地块的类别可以是地块的高度,如平原、丘陵等。又例如,仍以城市规划场景中的建筑物分割为例进行说明,建筑物的类别可以是建筑物的具体类型,如商业楼、高层住宅、图书馆、体育中心等。
上述步骤中的目标展示方式可以是指展示地物所在区域的颜色、边界线的粗细、边界线的线形等,但不仅限于此,在本申请中以区域颜色为例进行说明。
在一种可选的实施例中,为了方便用户更加清楚、直观地查看到地物所在区域,可以采用现有目标识别方案对目标分割结果中包含的不同地物的具体类别,进而确定相应的目标展示方式,最终按照目标展示方式展示给用户查看,目标分割结果可以展示在交互界面中。可选的,为了方便用户更加直观地确定不同地物的类别,还可以在交互界面中将地物的类别名称显示出来。
实施例4
根据本申请实施例,还提供了一种图像分割方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图11是根据本申请实施例的第四种图像分割方法的流程图。如图11所示,该方法可以包括如下步骤:
步骤S1102,云服务器接收客户端上传的目标图像。
在一种可选的实施例中,目标图像可以由卫星或无人机拍摄,并由用户主动上传至云服务器,由云服务器处理,如图5所示,用户可以通过点击交互界面中的“上传图像”按钮,或将目标图像直接拖入虚线框的方式完成目标图像上传云服务器的目的,而且,用户上传的图像可以显示在图像采集区域内。
步骤S1104,云服务器对目标图像进行图像分割,得到目标图像的初始分割结果。
步骤S1106,云服务器预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离。
步骤S1108,云服务器基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
步骤S1110,云服务器将目标分割结果反馈至客户端。
在一种可选的实施例中,云服务器在对目标图像进行图像分割,得到目标分割结果之后,可以通过网络将目标分割结果反馈用户的客户端,由客户端展示给用户查看,如图5所示,目标分割结果可以显示在结果反馈区域内。进一步地,目标分割结果展示给用户之后,可以通过用户反馈来验证目标分割结果是否正确,如果用户认为目标分割结果不正确,则可以反馈正确的分割结果,用户可以在结果反馈区域内反馈正确的分割结果,并将其上传至云服务器,从而云服务器可以根据用户反馈对模型进行再次训练,达到提升云服务器性能的效果。
本申请上述实施例中,云服务器利用高度预测模型对目标图像进行处理,预测得到高度结果。
本申请上述实施例中,该方法还包括:云服务器获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;云服务器生成训练图像的高度标注结果;云服务器基于训练图像和高度标注结果,生成目标训练样本;云服务器利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,云服务器生成训练图像的高度标注结果包括:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,在对标注框进行一次收缩之后,该方法还包括:确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,基于训练图像中的像素点的高度,得到高度标注结果包括:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,云服务器基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果包括:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,基于语义特征对初始分割结果进行修正,得到目标分割结果包括:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,在预测得到目标图像的高度结果之后,该方法还包括:在交互界面上显示目标图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,在基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果之后,该方法还包括:确定目标分割结果中包含的目标的类别;基于目标的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例5
根据本申请实施例,还提供了一种图像分割方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图12是根据本申请实施例的第五种图像分割方法的流程图。如图12所示,该方法可以包括如下步骤:
步骤S1202,通过调用第一函数获取目标图像,其中,第一函数包括:第一参数,第一参数的参数值为目标图像。
上述步骤中的第一函数可以是客户端与服务器进行数据传输的函数,具体用于客户端将目标图像进行上传,第一参数的参数值可以是目标图像本身,也可以是目标图像的存储地址等。
步骤S1204,对目标图像进行图像分割,得到目标图像的初始分割结果。
步骤S1206,预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离。
步骤S1208,基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
步骤S1210,通过调用第二函数输出目标分割结果,其中,第二函数包括:第二参数,第二参数的参数值为目标分割结果。
上述步骤中的第二函数可以是客户端与服务器进行数据传输的函数,具体用于服务器反馈目标分割结果至客户端,第二参数的参数值可以是目标分割结果本身,也可以是目标分割结果的存储地址等。
本申请上述实施例中,利用高度预测模型对目标图像进行处理,预测得到高度结果。
本申请上述实施例中,该方法还包括:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,生成训练图像的高度标注结果包括:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,在对标注框进行一次收缩之后,该方法还包括:确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,基于训练图像中的像素点的高度,得到高度标注结果包括:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果包括:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,基于语义特征对初始分割结果进行修正,得到目标分割结果包括:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,在预测得到目标图像的高度结果之后,该方法还包括:在交互界面上显示目标图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,在基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果之后,该方法还包括:确定目标分割结果中包含的目标的类别;基于目标的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
实施例6
根据本申请实施例,还提供了一种用于实施上述图像分割方法的图像分割装置,如图13所示,该装置1300包括:获取模块1302、分割模块1304、预测模块1306和修正模块1308。
其中,获取模块1302用于获取目标图像;分割模块1304用于对目标图像进行图像分割,得到目标图像的初始分割结果;预测模块1306用于预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;修正模块1308用于基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
此处需要说明的是,上述获取模块1302、分割模块1304、预测模块1306和修正模块1308对应于实施例1中的步骤S302至步骤S308,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本申请上述实施例中,预测模块还用于利用高度预测模型对目标图像进行处理,预测得到高度结果。
本申请上述实施例中,该装置还包括:结果生成模块、样本生成模块和训练模块。
其中,获取模块还用于获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;结果生成模块用于生成训练图像的高度标注结果;样本生成模块用于基于训练图像和高度标注结果,生成目标训练样本;训练模块用于利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,生成模块包括:收缩单元、高度确定单元和处理单元。
其中,收缩单元用于对标注框进行多次收缩,得到多个收缩后的标注框;确定单元用于基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;处理单元用于基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,生成模块还还包括:数量确定单元和停止单元。
其中,数量确定单元用于确定当前收缩得到的标注框包含的像素点的数量;收缩单元还用于如果数量大于预设数量,则继续对标注框进行收缩;停止单元用于如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,处理单元还用于获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,修正模块包括:变换单元和修正单元。
其中,变化单元用于对高度结果进行特征变换,得到高度结果的语义特征;修正单元用于基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,修正单元还用于将语义特征与初始分割结果进行拼接,得到拼接后的特征,并对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,该装置还包括:显示模块,用于在交互界面上显示目标图像的高度结果;接收模块,用于接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;修正模块还用于基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,该装置还包括:类别确定模块,用于确定目标分割结果中包含的目标的类别;方式确定模块,用于基于目标的类别,确定目标分割结果对应的目标展示方式;显示模块,用于按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例7
根据本申请实施例,还提供了一种用于实施上述图像分割方法的图像分割装置,如图13所示,该装置1300包括:获取模块1302、分割模块1304、预测模块1306和修正模块1308。
其中,获取模块1302用于获取遥感图像;分割模块1304用于对遥感图像进行图像分割,得到遥感图像的初始分割结果;预测模块1306用于预测得到遥感图像的高度结果,其中,高度结果用于表征遥感图像中的像素点与遥感图像包含的地物边界的最短距离;修正模块1308用于基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果。
此处需要说明的是,上述获取模块1302、分割模块1304、预测模块1306和修正模块1308对应于实施例2中的步骤S902至步骤S908,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例2所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本申请上述实施例中,预测模块还用于利用高度预测模型对遥感图像进行处理,预测得到高度结果。
本申请上述实施例中,该装置还包括:结果生成模块、样本生成模块和训练模块。
其中,获取模块还用于获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;结果生成模块用于生成训练图像的高度标注结果;样本生成模块用于基于训练图像和高度标注结果,生成目标训练样本;训练模块用于利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,生成模块包括:收缩单元、高度确定单元和处理单元。
其中,收缩单元用于对标注框进行多次收缩,得到多个收缩后的标注框;确定单元用于基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;处理单元用于基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,生成模块还还包括:数量确定单元和停止单元。
其中,数量确定单元用于确定当前收缩得到的标注框包含的像素点的数量;收缩单元还用于如果数量大于预设数量,则继续对标注框进行收缩;停止单元用于如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,处理单元还用于获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,修正模块包括:变换单元和修正单元。
其中,变化单元用于对高度结果进行特征变换,得到高度结果的语义特征;修正单元用于基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,修正单元还用于将语义特征与初始分割结果进行拼接,得到拼接后的特征,并对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,该装置还包括:显示模块,用于在交互界面上显示遥感图像的高度结果;接收模块,用于接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;修正模块还用于基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,该装置还包括:类别确定模块,用于确定目标分割结果中包含的地物的类别;方式确定模块,用于基于地物的类别,确定目标分割结果对应的目标展示方式;显示模块,用于按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例2提供的方案以及应用场景、实施过程相同,但不仅限于实施例2所提供的方案。
实施例8
根据本申请实施例,还提供了一种用于实施上述图像分割方法的图像分割装置,如图13所示,该装置1300包括:获取模块1302、分割模块1304、预测模块1306和修正模块1308。
其中,获取模块1302用于获取无人机拍摄到的航拍图像;分割模块1304用于对航拍图像进行图像分割,得到航拍图像的初始分割结果;预测模块1306用于预测得到航拍图像的高度结果,其中,高度结果用于表征航拍图像中的像素点与航拍图像包含的地物边界的最短距离;修正模块1308用于基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果。
此处需要说明的是,上述获取模块1302、分割模块1304、预测模块1306和修正模块1308对应于实施例3中的步骤S1002至步骤S1008,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例3所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本申请上述实施例中,预测模块还用于利用高度预测模型对航拍图像进行处理,预测得到高度结果。
本申请上述实施例中,该装置还包括:结果生成模块、样本生成模块和训练模块。
其中,获取模块还用于获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;结果生成模块用于生成训练图像的高度标注结果;样本生成模块用于基于训练图像和高度标注结果,生成目标训练样本;训练模块用于利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,生成模块包括:收缩单元、高度确定单元和处理单元。
其中,收缩单元用于对标注框进行多次收缩,得到多个收缩后的标注框;确定单元用于基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;处理单元用于基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,生成模块还还包括:数量确定单元和停止单元。
其中,数量确定单元用于确定当前收缩得到的标注框包含的像素点的数量;收缩单元还用于如果数量大于预设数量,则继续对标注框进行收缩;停止单元用于如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,处理单元还用于获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,修正模块包括:变换单元和修正单元。
其中,变化单元用于对高度结果进行特征变换,得到高度结果的语义特征;修正单元用于基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,修正单元还用于将语义特征与初始分割结果进行拼接,得到拼接后的特征,并对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,该装置还包括:显示模块,用于在交互界面上显示航拍图像的高度结果;接收模块,用于接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;修正模块还用于基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,该装置还包括:类别确定模块,用于确定目标分割结果中包含的地物的类别;方式确定模块,用于基于地物的类别,确定目标分割结果对应的目标展示方式;显示模块,用于按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例9
根据本申请实施例,还提供了一种用于实施上述图像分割方法的图像分割装置,该装置部署在云服务器中,如图14所示,该装置1400包括:接收模块1402、分割模块1404、预测模块1406、修正模块1408和反馈模块1410。
其中,接收模块1402用于接收客户端上传的目标图像;分割模块1404用于对目标图像进行图像分割,得到目标图像的初始分割结果;预测模块1406用于预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;修正模块1408用于基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;反馈模块1410用于将目标分割结果反馈至客户端。
此处需要说明的是,上述接收模块1402、分割模块1404、预测模块1406、修正模块1408和反馈模块1410对应于实施例4中的步骤S1102至步骤S1110,五个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本申请上述实施例中,预测模块还用于利用高度预测模型对目标图像进行处理,预测得到高度结果。
本申请上述实施例中,该装置还包括:结果生成模块、样本生成模块和训练模块。
其中,获取模块还用于获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;结果生成模块用于生成训练图像的高度标注结果;样本生成模块用于基于训练图像和高度标注结果,生成目标训练样本;训练模块用于利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,生成模块包括:收缩单元、高度确定单元和处理单元。
其中,收缩单元用于对标注框进行多次收缩,得到多个收缩后的标注框;确定单元用于基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;处理单元用于基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,生成模块还还包括:数量确定单元和停止单元。
其中,数量确定单元用于确定当前收缩得到的标注框包含的像素点的数量;收缩单元还用于如果数量大于预设数量,则继续对标注框进行收缩;停止单元用于如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,处理单元还用于获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,修正模块包括:变换单元和修正单元。
其中,变化单元用于对高度结果进行特征变换,得到高度结果的语义特征;修正单元用于基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,修正单元还用于将语义特征与初始分割结果进行拼接,得到拼接后的特征,并对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,该装置还包括:显示模块,用于在交互界面上显示目标图像的高度结果;接收模块还用于接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;修正模块还用于基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,该装置还包括:类别确定模块,用于确定目标分割结果中包含的目标的类别;方式确定模块,用于基于目标的类别,确定目标分割结果对应的目标展示方式;显示模块,用于按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例10
根据本申请实施例,还提供了一种用于实施上述图像分割方法的图像分割装置,如图15所示,该装置1500包括:第一调用模块1502、分割模块1504、预测模块1506、修正模块1508和第二调用模块1510。
其中,第一调用模块1502用于通过调用第一函数获取目标图像,其中,第一函数包括:第一参数,第一参数的参数值为目标图像;分割模块1504用于对目标图像进行图像分割,得到目标图像的初始分割结果;预测模块1506用于预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;修正模块1508用于基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;第二调用模块1510用于通过调用第二函数输出目标分割结果,其中,第二函数包括:第二参数,第二参数的参数值为目标分割结果。
此处需要说明的是,上述第一调用模块1502、分割模块1504、预测模块1506、修正模块1508和第二调用模块1510对应于实施例5中的步骤S1202至步骤S1210,五个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本申请上述实施例中,预测模块还用于利用高度预测模型对目标图像进行处理,预测得到高度结果。
本申请上述实施例中,该装置还包括:结果生成模块、样本生成模块和训练模块。
其中,获取模块还用于获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;结果生成模块用于生成训练图像的高度标注结果;样本生成模块用于基于训练图像和高度标注结果,生成目标训练样本;训练模块用于利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,生成模块包括:收缩单元、高度确定单元和处理单元。
其中,收缩单元用于对标注框进行多次收缩,得到多个收缩后的标注框;确定单元用于基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;处理单元用于基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,生成模块还还包括:数量确定单元和停止单元。
其中,数量确定单元用于确定当前收缩得到的标注框包含的像素点的数量;收缩单元还用于如果数量大于预设数量,则继续对标注框进行收缩;停止单元用于如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,处理单元还用于获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,修正模块包括:变换单元和修正单元。
其中,变化单元用于对高度结果进行特征变换,得到高度结果的语义特征;修正单元用于基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,修正单元还用于将语义特征与初始分割结果进行拼接,得到拼接后的特征,并对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,该装置还包括:显示模块,用于在交互界面上显示目标图像的高度结果;接收模块,用于接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;修正模块还用于基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,该装置还包括:类别确定模块,用于确定目标分割结果中包含的目标的类别;方式确定模块,用于基于目标的类别,确定目标分割结果对应的目标展示方式;显示模块,用于按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例11
根据本申请实施例,还提供了一种图像分割方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图16是根据本申请实施例的第六种图像分割方法的流程图。如图16所示,该方法可以包括如下步骤:
步骤S1602,获取建筑物图像。
在一种可选的实施例中,建筑物图像可以由卫星拍摄,并通过网络传输给服务器,由服务器处理,同时可以将建筑物图像展示给用户,如图4所示,建筑物图像可以显示在图像采集区域内;在另一种可选的实施例中,建筑物图像可以由卫星拍摄,并由用户主动上传至服务器,由服务器处理,如图5所示,用户可以通过点击交互界面中的“上传图像”按钮,或将建筑物图像直接拖入虚线框的方式完成建筑物图像上传服务器的目的,而且,用户上传的图像可以显示在图像采集区域内。此处的服务器可以是部署在本地的服务器,也可以是部署在云端的服务器。
步骤S1604,对建筑物图像进行图像分割,得到建筑物图像包含的建筑物的初始分割结果。
在一种可选的实施例中,可以采用现有的图像分割方法对建筑物图像进行图像分割,具体实现方案在此不做赘述,得到的分割结果作为初始分割结果,该分割结果包含有建筑物的初始区域,该结果存在缺失,且鲁棒性不高。
步骤S1606,预测得到建筑物图像的高度结果,其中,高度结果用于表征建筑物图像中的像素点与建筑物的边界的最短距离。
由于相同建筑物在不同图像中的大小可能不同,导致不同图像中,像素点与建筑物边界的最短距离不同,因此,为了使本申请提供的方法可以适用于不同建筑物图像,在本申请实施例中,可以通过不同的标签值来表示不同距离,标签值越小表明该像素点与建筑物的边界的最短距离越小,因此,上述步骤中的高度结果是建筑物图像中像素点的高度标签。
为了充分挖掘建筑物边界的语义信息,可以添加等高线回归任务,预测建筑物边界区域内的多条等高线,也即,在建筑物边界区域内从外到内预测多条闭合曲线,其中,同一条闭合曲线上的像素点到建筑物边界的最短距离相同,不同闭合曲线上的像素点到建筑物边界的最短距离不同。因此,在本申请实施例中,可以针对不同等高线设置不同标签值,进而将等高线的标签值作为该等高线上所有像素点的高度标签,可选的,可以将等高线从外到内的排序值作为该等高线的标签。对于其他没有位于等高线上的其他像素点,可以将其他像素点的标签设为固定值,需要说明的是,由于其他像素点并不表征边界的语义信息,可以将其他像素点的高度标签默认置0,但不仅限于此,也可以根据其他像素点到建筑物边界的最短距离进行设定。
在一种可选的实施例中,可以通过人工方式确定建筑物图像中的建筑物边界,进而采用将建筑物边界不断向内收缩的方式得到多条闭合曲线,具体可以调用opencv的腐蚀操作完成,腐蚀大小可以根据预测效率和准确度进行确定,腐蚀大小越小,预测准确度越高,但效率越低,可选的,腐蚀大小为固定数值1,但不仅限于此。在另一种可选的实施例中,为了提高高度结果的预测精确度和预测效率,可以预先训练一个执行等高线回归任务的高度预测模型,进而可以利用高度预测模型对建筑物图像进行处理,预测得到高度结果。在本申请实施例中,以利用高度预测模型的处理方式为例进行说明。
步骤S1608,基于高度结果对初始分割结果进行修正,得到建筑物的目标分割结果。
在本申请上述实施例中,通过预测建筑物图像的高度结果使得建筑物边界区域内,语义信息由外到内不断传播,使得越靠近中心区域,语义信息越模糊的情况得以解决,因此,可以结合边界的语义信息对初始分割结果进行修正,使得最终得到的目标分割结果更加完整,大大减少只提取部分目标的情况。
在一种可选的实施例中,服务器在对建筑物图像进行图像分割,得到目标分割结果之后,可以直接展示给用户查看,如图4所示,目标分割结果可以显示在结果反馈区域内;在另一种可选的实施例中,服务器在对建筑物图像进行图像分割,得到目标分割结果之后,可以通过网络将目标分割结果反馈用户的客户端,由客户端展示给用户查看,如图5所示,目标分割结果可以显示在结果反馈区域内。进一步地,目标分割结果展示给用户之后,可以通过用户反馈来验证目标分割结果是否正确,如果用户认为目标分割结果不正确,则可以反馈正确的分割结果,如图4和图5所示,用户可以在结果反馈区域内反馈正确的分割结果,并将其上传至服务器,从而服务器可以根据用户反馈对模型进行再次训练,达到提升服务器性能的效果。
本申请上述实施例中,该方法还包括:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练建筑物的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
上述步骤中的初始训练样本可以是相关技术中用于图像分割模型训练的样本,该样本中的标注框可以表征训练图像的图像分割结果,可以通过人工对训练图像中每个训练建筑物的边界进行标注的方式获得。为了降低人工标注成本,可以直接从互联网或公开图像集中获取已标注图像作为初始训练样本。
由于初始训练样本仅仅包含有用于表征图像分割结果的标注框,并未包含每个像素点与训练建筑物边界的高度标注结果,因此,为了确保训练得到的高度预测模型可以实现对建筑物图像的高度结果进行预测,在本申请实施例中,可以首先生成训练图像的高度标注结果,进而将现有标注框和新生成的高度标注结果共同作为训练图像的标注信息,得到最终用于完成高度预测模型训练的目标训练样本。高度预测模型的训练过程与相关技术中图像分割模型的训练过程相似,在此不做赘述。
现有的标注框往往是多边形闭合框,在高度预测模型的训练过程中,可以通过将标注框不断向内收缩的方式得到多条等高线,具体可以调用opencv的腐蚀操作完成,可选的,腐蚀大小为1。在一种可选的实施例中,可以根据预测得到的多条闭合曲线,确定训练图像中所有像素点的高度标签,并将所有像素点的高度标签,作为训练图像的高度标注结果,其中,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,而对于除目标像素点之外的其他像素点,可以将预先设定的固定值作为其他像素点的高度标签。在另一种可选的实施例中,由于高度预测模型的主要任务是预测出建筑物图像的等高线图,也即,目标像素点的高度标签是高度预测模型的训练过程中需要使用的标注信息,因此,对于位于闭合曲线上的目标像素点,可以直接将标注框收缩次数作为目标像素点的高度标签,并将目标像素点的高度标签,作为训练图像的高度标注结果。
本申请上述实施例中,生成训练图像的高度标注结果包括:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
在一种可选的实施例中,可以通过将标注框连续多次向内收缩的方式,生成多条等高线,进而可以确定位于每条等高线上的目标像素点的高度标签。由于高度预测模型用于预测实际获取到的建筑物图像的高度结果,因此,高度预测模型的训练过程中只需要目标像素点的高度标签,可选的,可以直接将目标像素点的高度标签作为高度标注结果。
本申请上述实施例中,在对标注框进行一次收缩之后,该方法还包括:确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
上述步骤中的预设数量可以是根据实际预测准确度和效率需求所设定的值,预设数量越小,标注框收缩次数越多,边界的语义信息越丰富,预测准确度越高,但效率越低。可选的,上述的预设数量可以是0,也即,收缩后的标注框内不包含任何一个像素点,无法继续收缩。
例如,以图6和图7所示的等高线回归方法为例进行说明。首先训练图像中建筑物的多边形标注框进行收缩,向内收缩距离为1,得到最外面的一条等高线,该等高线上所有像素点的高度标签为1;然后再次向内收缩,向内收缩距离为1,得到第二条等高线,该等高线上所有像素点的高度标签为2;再次向内收缩,向内收缩距离为1,得到第三条等高线,该等高线上所有像素点的高度标签为3;再次向内收缩,向内收缩距离为1,得到最里面一条等高线,该等高线上所有像素点的高度标签为4,此时,最里面一条等高线内并未包含其他像素点,结束收缩。在建筑物图像中所有建筑物均处理完毕之后,可以得到整个图像的高度标注结果。
本申请上述实施例中,基于训练图像中的像素点的高度,得到高度标注结果包括:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
上述步骤中的预设高度可以是训练图像的高度,例如1024。
在一种可选的实施例中,在训练图像中所有建筑物均收缩完毕之后,可以得到和训练图像大小相同的等高线图,然后除以预设高度进行归一化处理,从而得到高度标注结果。
本申请上述实施例中,基于高度结果对初始分割结果进行修正,得到建筑物图像的目标分割结果包括:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
在一种可选的实施例中,可以利用3x3的卷积对建筑物图像的高度结果进行特征变换,完成对等高线图的语义提取,得到语义特征,然后基于该语义特征对初始分割结果进行修正,完成语义分割目的,得到目标分割结果。
本申请上述实施例中,基于语义特征对初始分割结果进行修正,得到目标分割结果包括:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
在一种可选的实施例中,为了实现分割结果修正,可以将等高线图中提取出的语义特征与初始分割结果进行拼接,也即以channel方式连接在一起,得到的拼接后的特征是一种增强的语义特征,最后拼接后的特征经过卷积可以得到目标分割结果。
本申请上述实施例中,在预测得到建筑物图像的高度结果之后,该方法还包括:在交互界面上显示建筑物图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
上述步骤中的交互界面可以是如图4和图5所示的界面,用户可以通过该界面查看目标分割结果、高度结果,并且可以在该界面上对上述结果进行调整,并反馈给服务器。
由于高度结果的准确度会影响最终目标分割结果的准确度,为了确保高度结果的准确度,在一种可选的实施例中,服务器可以直接将高度结果展示给用户查看,也即,将高度结果展示在交互界面上,在另一种可选的实施例中,服务器可以通过网络将高度结果下发给客户端,由客户端展示给用户查看,也即,将高度结果展示在交互界面上。进一步地,高度结果可以由用户进行确认,如果用户确认无误,则可以直接基于该高度结果进行初始分割结果的修正过程;如果用户确认有误,则用户可以在交互界面上对高度结果进行修正,得到相应的修正结果,并将修正结果反馈给服务器,则可以基于修正结果进行初始分割结果的修正过程,而且,可以根据修正结果对高度预测模型进行优化,提升服务器的性能。
本申请上述实施例中,在基于高度结果对初始分割结果进行修正,得到建筑物的目标分割结果之后,该方法还包括:确定目标分割结果中包含的建筑物的类别;基于建筑物的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
上述步骤中的建筑物的类别可以是建筑物的具体类型,如商业楼、高层住宅、图书馆、体育中心等。
上述步骤中的目标展示方式可以是指展示建筑物所在区域的颜色、边界线的粗细、边界线的线形等,但不仅限于此,在本申请中以区域颜色为例进行说明。
在一种可选的实施例中,为了方便用户更加清楚、直观地查看到建筑物所在区域,可以采用现有目标识别方案对目标分割结果中包含的不同建筑物的具体类别,进而确定相应的目标展示方式,最终按照目标展示方式展示给用户查看,目标分割结果可以展示在交互界面中。可选的,为了方便用户更加直观地确定不同建筑物的类别,还可以在交互界面中将建筑物的类别名称显示出来。
例如,以城市规划场景中的建筑物分割为例进行说明,在得到目标分割结果,也即,得到建筑物图像中每个建筑物所在区域之后,可以通过识别得到每个建筑物的类别,进而确定展示的颜色,最终,可以使用不同颜色标记不同类别的建筑物,例如,使用绿色标记住宅楼,使用黄色标记商务楼,使用蓝色标记体育中心。进一步地,可以将每个建筑物的类别名称显示在该建筑物所在区域内。
实施例12
根据本申请实施例,还提供了一种用于实施上述图像分割方法的图像分割装置,如图13所示,该装置1300包括:获取模块1302、分割模块1304、预测模块1306和修正模块1308。
其中,获取模块1302用于获取建筑物图像;分割模块1304用于对建筑物图像进行图像分割,得到建筑物图像包含的建筑物的初始分割结果;预测模块1306用于预测得到建筑物图像的高度结果,其中,高度结果用于表征建筑物图像中的像素点与建筑物的边界的最短距离;修正模块1308用于基于高度结果对初始分割结果进行修正,得到建筑物的目标分割结果。
此处需要说明的是,上述获取模块1302、分割模块1304、预测模块1306和修正模块1308对应于实施例11中的步骤S1602至步骤S1608,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例11所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本申请上述实施例中,预测模块还用于利用高度预测模型对建筑物图像进行处理,预测得到高度结果。
本申请上述实施例中,该装置还包括:结果生成模块、样本生成模块和训练模块。
其中,获取模块还用于获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练建筑物的标注框;结果生成模块用于生成训练图像的高度标注结果;样本生成模块用于基于训练图像和高度标注结果,生成目标训练样本;训练模块用于利用目标训练样本对高度预测模型进行训练。
本申请上述实施例中,生成模块包括:收缩单元、高度确定单元和处理单元。
其中,收缩单元用于对标注框进行多次收缩,得到多个收缩后的标注框;确定单元用于基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;处理单元用于基于目标像素点的高度,得到高度标注结果。
本申请上述实施例中,生成模块还还包括:数量确定单元和停止单元。
其中,数量确定单元用于确定当前收缩得到的标注框包含的像素点的数量;收缩单元还用于如果数量大于预设数量,则继续对标注框进行收缩;停止单元用于如果数量小于或等于预设数量,则停止对标注框进行收缩。
本申请上述实施例中,处理单元还用于获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
本申请上述实施例中,修正模块包括:变换单元和修正单元。
其中,变化单元用于对高度结果进行特征变换,得到高度结果的语义特征;修正单元用于基于语义特征对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,修正单元还用于将语义特征与初始分割结果进行拼接,得到拼接后的特征,并对拼接后的特征进行处理,得到目标分割结果。
本申请上述实施例中,该装置还包括:显示模块,用于在交互界面上显示建筑物图像的高度结果;接收模块,用于接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;修正模块还用于基于修正结果对初始分割结果进行修正,得到目标分割结果。
本申请上述实施例中,该装置还包括:类别确定模块,用于确定目标分割结果中包含的建筑物的类别;方式确定模块,用于基于建筑物的类别,确定目标分割结果对应的目标展示方式;显示模块,用于按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例11提供的方案以及应用场景、实施过程相同,但不仅限于实施例11所提供的方案。
实施例13
本申请的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行图像分割方法中以下步骤的程序代码:获取目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
可选地,图17根据本申请实施例的一种计算机终端的结构框图。如图17所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器1702、以及存储器1704。
其中,存储器可用于存储软件程序以及模块,如本申请实施例中的图像分割方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像分割方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
可选的,上述处理器还可以执行如下步骤的程序代码:利用高度预测模型对目标图像进行处理,预测得到高度结果。
可选的,上述处理器还可以执行如下步骤的程序代码:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
可选的,上述处理器还可以执行如下步骤的程序代码:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
可选的,上述处理器还可以执行如下步骤的程序代码:在对标注框进行一次收缩之后,确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
可选的,上述处理器还可以执行如下步骤的程序代码:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
可选的,上述处理器还可以执行如下步骤的程序代码:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
可选的,上述处理器还可以执行如下步骤的程序代码:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
可选的,上述处理器还可以执行如下步骤的程序代码:在交互界面上显示目标图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
可选的,上述处理器还可以执行如下步骤的程序代码:确定目标分割结果中包含的目标的类别;基于目标的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取遥感图像;对遥感图像进行图像分割,得到遥感图像的初始分割结果;预测得到遥感图像的高度结果,其中,高度结果用于表征遥感图像中的像素点与遥感图像包含的地物边界的最短距离;基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果。
可选的,上述处理器还可以执行如下步骤的程序代码:利用高度预测模型对遥感图像进行处理,预测得到高度结果。
可选的,上述处理器还可以执行如下步骤的程序代码:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取无人机拍摄到的航拍图像;对航拍图像进行图像分割,得到航拍图像的初始分割结果;预测得到航拍图像的高度结果,其中,高度结果用于表征航拍图像中的像素点与航拍图像包含的地物边界的最短距离;基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果。
可选的,上述处理器还可以执行如下步骤的程序代码:利用高度预测模型对航拍图像进行处理,预测得到高度结果。
可选的,上述处理器还可以执行如下步骤的程序代码:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:云服务器接收客户端上传的目标图像;云服务器对目标图像进行图像分割,得到目标图像的初始分割结果;云服务器预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;云服务器基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;云服务器将目标分割结果反馈至客户端。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:通过调用第一函数获取目标图像,其中,第一函数包括:第一参数,第一参数的参数值为目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;通过调用第二函数输出目标分割结果,其中,第二函数包括:第二参数,第二参数的参数值为目标分割结果。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取建筑物图像;对建筑物图像进行图像分割,得到建筑物图像包含的建筑物的初始分割结果;预测得到建筑物图像的高度结果,其中,高度结果用于表征目标图像中的像素点与建筑物的边界的最短距离;基于高度结果对建筑物的初始分割结果进行修正,得到建筑物的目标分割结果。
可选的,上述处理器还可以执行如下步骤的程序代码:确定建筑物的类别;基于建筑物的类别,确定建筑物对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
采用本申请实施例,提供了一种图像分割方案。通过利用预测得到的高度结果对初始分割结果进行修正,由于高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离,也即,高度结果体现出了目标边界的语义信息,因此,在利用高度结果对初始分割结果进行修正的过程中,充分考虑了目标边界的语义信息,使得目标分割结果更加完整,减少只提取部分目标的情况,达到了提高图像分割准确度的技术效果,进而解决了相关技术中的图像分割方法应用于航拍图像或航拍图像时,出现分割结果不全,鲁棒性不高的技术问题。
本领域普通技术人员可以理解,图17所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图17其并不对上述电子装置的结构造成限定。例如,计算机终端A还可包括比图17中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图17所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例14
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例所提供的图像分割方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用高度预测模型对目标图像进行处理,预测得到高度结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练目标的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:对标注框进行多次收缩,得到多个收缩后的标注框;基于多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,目标像素点位于多个收缩后的标注框对应的位置上;基于目标像素点的高度,得到高度标注结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在对标注框进行一次收缩之后,确定当前收缩得到的标注框包含的像素点的数量;如果数量大于预设数量,则继续对标注框进行收缩;如果数量小于或等于预设数量,则停止对标注框进行收缩。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取训练图像中的像素点的高度与预设高度的比值,得到高度标注结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:对高度结果进行特征变换,得到高度结果的语义特征;基于语义特征对初始分割结果进行修正,得到目标分割结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:将语义特征与初始分割结果进行拼接,得到拼接后的特征;对拼接后的特征进行处理,得到目标分割结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在交互界面上显示目标图像的高度结果;接收高度结果对应的修正结果,其中,修正结果通过对高度结果进行修正得到;基于修正结果对初始分割结果进行修正,得到目标分割结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:确定目标分割结果中包含的目标的类别;基于目标的类别,确定目标分割结果对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取遥感图像;对遥感图像进行图像分割,得到遥感图像的初始分割结果;预测得到遥感图像的高度结果,其中,高度结果用于表征遥感图像中的像素点与遥感图像包含的地物边界的最短距离;基于高度结果对初始分割结果进行修正,得到遥感图像的目标分割结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用高度预测模型对遥感图像进行处理,预测得到高度结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取无人机拍摄到的航拍图像;对航拍图像进行图像分割,得到航拍图像的初始分割结果;预测得到航拍图像的高度结果,其中,高度结果用于表征航拍图像中的像素点与航拍图像包含的地物边界的最短距离;基于高度结果对初始分割结果进行修正,得到航拍图像的目标分割结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用高度预测模型对航拍图像进行处理,预测得到高度结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取初始训练样本,其中,初始训练样本包括:训练图像,以及训练图像包含的训练地物的标注框;生成训练图像的高度标注结果;基于训练图像和高度标注结果,生成目标训练样本;利用目标训练样本对高度预测模型进行训练。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:云服务器接收客户端上传的目标图像;云服务器对目标图像进行图像分割,得到目标图像的初始分割结果;云服务器预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;云服务器基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;云服务器将目标分割结果反馈至客户端。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:通过调用第一函数获取目标图像,其中,第一函数包括:第一参数,第一参数的参数值为目标图像;对目标图像进行图像分割,得到目标图像的初始分割结果;预测得到目标图像的高度结果,其中,高度结果用于表征目标图像中的像素点与目标图像包含的目标边界的最短距离;基于高度结果对初始分割结果进行修正,得到目标图像的目标分割结果;通过调用第二函数输出目标分割结果,其中,第二函数包括:第二参数,第二参数的参数值为目标分割结果。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取建筑物图像;对建筑物图像进行图像分割,得到建筑物图像包含的建筑物的初始分割结果;预测得到建筑物图像的高度结果,其中,高度结果用于表征目标图像中的像素点与建筑物的边界的最短距离;基于高度结果对建筑物的初始分割结果进行修正,得到建筑物的目标分割结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:确定建筑物的类别;基于建筑物的类别,确定建筑物对应的目标展示方式;按照目标展示方式,在交互界面上显示目标分割结果。
需要说明的是,本申请上述实施例中所涉及的图像的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种图像分割方法,其特征在于,包括:
获取目标图像;
对所述目标图像进行图像分割,得到所述目标图像包含的目标的初始分割结果;
预测得到所述目标图像的高度结果,其中,所述高度结果用于表征所述目标图像中的像素点与所述目标图像包含的目标边界的最短距离;
基于所述高度结果对所述初始分割结果进行修正,得到所述目标图像的目标分割结果;
其中,所述高度结果为所述像素点的高度标签,预测得到所述目标图像的高度结果包括:在目标边界区域内从外到内预测多条闭合曲线;基于每条闭合曲线的标签值,确定所述每条闭合曲线上的像素点的高度标签;确定未位于所述多条闭合曲线上的像素点的高度标签为预设值。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取初始训练样本,其中,所述初始训练样本包括:训练图像,以及所述训练图像包含的训练目标的标注框;
生成所述训练图像的高度标注结果;
基于所述训练图像和所述高度标注结果,生成目标训练样本;
利用所述目标训练样本对高度预测模型进行训练,其中,所述高度预测模型用于预测所述目标图像的高度结果。
3.根据权利要求2所述的方法,其特征在于,生成所述训练图像的所述高度标注结果包括:
对所述标注框进行多次收缩,得到多个收缩后的标注框;
基于所述多个收缩后的标注框对应的收缩次数,确定目标像素点的高度,其中,所述目标像素点位于所述多个收缩后的标注框对应的位置上;
基于所述目标像素点的高度,得到所述高度标注结果。
4.根据权利要求1所述的方法,其特征在于,基于所述高度结果对所述初始分割结果进行修正,得到所述目标图像的所述目标分割结果包括:
对所述高度结果进行特征变换,得到所述高度结果的语义特征;
基于所述语义特征对所述初始分割结果进行修正,得到所述目标分割结果。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,在预测得到所述目标图像的高度结果之后,所述方法还包括:
在交互界面上显示所述目标图像的高度结果;
接收所述高度结果对应的修正结果,其中,所述修正结果通过对所述高度结果进行修正得到;
基于所述修正结果对所述初始分割结果进行修正,得到所述目标分割结果。
6.根据权利要求1至4中任意一项所述的方法,其特征在于,在基于所述高度结果对所述初始分割结果进行修正,得到所述目标图像的目标分割结果之后,所述方法还包括:
确定所述目标分割结果中包含的目标的类别;
基于所述目标的类别,确定所述目标分割结果对应的目标展示方式;
按照所述目标展示方式,在交互界面上显示所述目标分割结果。
7.一种图像分割方法,其特征在于,包括:
获取建筑物图像;
对所述建筑物图像进行图像分割,得到所述建筑物图像包含的建筑物的初始分割结果;
预测得到所述建筑物图像的高度结果,其中,所述高度结果用于表征所述建筑物图像中的像素点与所述建筑物的边界的最短距离;
基于所述高度结果对所述建筑物的初始分割结果进行修正,得到所述建筑物的目标分割结果;
其中,所述高度结果为所述像素点的高度标签,预测得到所述建筑物图像的高度结果包括:在所述建筑物的边界区域内从外到内预测多条闭合曲线;基于每条闭合曲线的标签值,确定所述每条闭合曲线上的像素点的高度标签;确定未位于所述多条闭合曲线上的像素点的高度标签为预设值。
8.根据权利要求7所述的方法,其特征在于,在基于所述高度结果对所述建筑物的初始分割结果进行修正,得到所述建筑物的目标分割结果之后,所述方法还包括:
确定所述建筑物的类别;
基于所述建筑物的类别,确定所述建筑物对应的目标展示方式;
按照所述目标展示方式,在交互界面上显示所述目标分割结果。
9.一种图像分割方法,其特征在于,包括:
云服务器接收客户端上传的目标图像;
所述云服务器对所述目标图像进行图像分割,得到所述目标图像包含的目标的初始分割结果;
所述云服务器预测得到所述目标图像的高度结果,其中,所述高度结果用于表征所述目标图像中的像素点与所述目标图像包含的目标边界的最短距离;
所述云服务器基于所述高度结果对所述初始分割结果进行修正,得到所述目标图像的目标分割结果;
所述云服务器将所述目标分割结果反馈至所述客户端;
其中,所述高度结果为所述像素点的高度标签,所述云服务器预测得到所述目标图像的高度结果包括:在所述目标边界区域内从外到内预测多条闭合曲线;基于每条闭合曲线的标签值,确定所述每条闭合曲线上的像素点的高度标签;确定未位于所述多条闭合曲线上的像素点的高度标签为预设值。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的图像分割方法。
11.一种计算机终端,其特征在于,包括:处理器和存储器,所述处理器用于运行所述存储器中存储的程序,其中,所述程序运行时执行权利要求1至9中任意一项所述的图像分割方法。
CN202111035749.6A 2021-09-06 2021-09-06 图像分割方法、计算机终端及存储介质 Active CN113470051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111035749.6A CN113470051B (zh) 2021-09-06 2021-09-06 图像分割方法、计算机终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111035749.6A CN113470051B (zh) 2021-09-06 2021-09-06 图像分割方法、计算机终端及存储介质

Publications (2)

Publication Number Publication Date
CN113470051A CN113470051A (zh) 2021-10-01
CN113470051B true CN113470051B (zh) 2022-02-08

Family

ID=77867470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111035749.6A Active CN113470051B (zh) 2021-09-06 2021-09-06 图像分割方法、计算机终端及存储介质

Country Status (1)

Country Link
CN (1) CN113470051B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527028A (zh) * 2022-08-16 2022-12-27 北京百度网讯科技有限公司 地图数据处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514448A (zh) * 2013-10-24 2014-01-15 北京国基科技股份有限公司 船形识别方法和系统
CN111161275B (zh) * 2018-11-08 2022-12-23 腾讯科技(深圳)有限公司 医学图像中目标对象的分割方法、装置和电子设备
CN110148148B (zh) * 2019-03-01 2024-11-05 纵目科技(上海)股份有限公司 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
CN110751659B (zh) * 2019-09-27 2022-06-10 北京小米移动软件有限公司 图像分割方法及装置、终端、存储介质
CN112734775B (zh) * 2021-01-19 2023-07-07 腾讯科技(深圳)有限公司 图像标注、图像语义分割、模型训练方法及装置
CN113160257B (zh) * 2021-04-23 2024-01-16 深圳市优必选科技股份有限公司 图像数据标注方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113470051A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US10643071B2 (en) System and method for augmenting an image with stylized features
CN113591804B (zh) 图像特征提取方法、计算机可读存储介质以及计算机终端
US11238647B2 (en) Apparatus for building map using machine learning and image processing
CN101536078A (zh) 改进图像蒙板
WO2020000960A1 (zh) 图像分离方法、装置、计算机设备及存储介质
CN111080526A (zh) 航拍图像的农田面积的测算方法、装置、设备及介质
CN111833372A (zh) 一种前景目标提取方法及装置
CN104317876A (zh) 路网矢量数据的生成方法及装置
WO2019036860A1 (en) POSITIONING A TERMINAL DEVICE BASED ON DEEP LEARNING
CN113378897A (zh) 基于神经网络的遥感图像分类方法、计算设备及存储介质
US20240320969A1 (en) Construction stage detection using satellite or aerial imagery
US20220207679A1 (en) Method and apparatus for stitching images
CN113470051B (zh) 图像分割方法、计算机终端及存储介质
CN113496220A (zh) 影像处理方法、系统、计算机可读存储介质
CN111062863B (zh) 3d模型与经纬度坐标绑定方法、装置、设备及存储介质
CN113962850A (zh) 图像处理方法、计算机终端及存储介质
CN111325148A (zh) 遥感影像的处理方法、装置、设备和存储介质
US20240282104A1 (en) Roads and grading detection using satellite or aerial imagery
CN108874269B (zh) 一种目标跟踪方法、装置及系统
CN113971757A (zh) 图像分类方法、计算机终端及存储介质
CN112329852B (zh) 地表覆盖影像的分类方法、装置和电子设备
CN113593297B (zh) 一种停车位状态检测方法和装置
CN114399643A (zh) 图像处理方法、存储介质以及计算机终端
CN115439300A (zh) 全景图像处理方法、设备及存储介质
CN115249225A (zh) 针对黑暗场景的图像处理方法及装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant