[go: up one dir, main page]

CN110415285A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN110415285A
CN110415285A CN201910713741.7A CN201910713741A CN110415285A CN 110415285 A CN110415285 A CN 110415285A CN 201910713741 A CN201910713741 A CN 201910713741A CN 110415285 A CN110415285 A CN 110415285A
Authority
CN
China
Prior art keywords
depth
image
connected region
estimation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910713741.7A
Other languages
English (en)
Inventor
孔方圆
李骈臻
张长定
张伟
陈星�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201910713741.7A priority Critical patent/CN110415285A/zh
Publication of CN110415285A publication Critical patent/CN110415285A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供的图像处理方法、装置及电子设备，涉及图像处理技术领域。该图像处理方法包括：对待处理图像进行分割处理，得到至少一个目标子图像，并对所述待处理图像进行深度估计处理，得到深度估计图像；分别计算每个所述目标子图像的连通区域，并根据所述深度估计图像计算各个连通区域的深度均值；针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图。通过上述设置，可以改善填补结果过于突兀的问题。

Description

图像处理方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置及电子设备。
背景技术
单图深度估计是指根据一张2D图像估算其深度的方法，它在图片虚化、3D重建等过程中都有至关重要的作用。近年来，深度估计技术的发展使得单图深度估计的效果有了显著的提升。
但是，经发明人研究发现，在现有技术中，从原始图像获取人像分割结果后，直接将原始图像的深度估计图与人像分割结果相结合，然后通过滤波等方式填补深度图的边缘。因而，存在着填补结果过于突兀的问题。
发明内容
有鉴于此，本申请的目的在于提供一种图像处理方法、装置及电子设备，以改善现有技术中存在的问题。
为实现上述目的，本申请实施例采用如下技术方案：
一种图像处理方法，包括：
对待处理图像进行分割处理，得到至少一个目标子图像，并对所述待处理图像进行深度估计处理，得到深度估计图像；
分别计算每个所述目标子图像的连通区域，并根据所述深度估计图像计算各个连通区域的深度均值；
针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图。
在本申请实施例较佳的选择中，所述针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图的步骤，包括：
针对每个目标像素点，判断该目标像素点的深度估计值是否小于该目标像素点对应的连通区域的深度均值，其中，所述目标像素点包括各所述连通区域在所述待处理图像的深度估计图像上对应区域的各像素点；
若所述目标像素点的深度估计值小于该目标像素点对应的连通区域的深度均值，则将所述深度均值作为该像素点的深度值。
在本申请实施例较佳的选择中，所述针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图的步骤，还包括：
若所述目标像素点的深度估计值不小于该目标像素点对应的连通区域的深度均值，则将所述深度估计值作为该像素点的深度值。
在本申请实施例较佳的选择中，所述根据所述深度估计图像计算各个连通区域的深度均值的步骤，包括：
针对每个连通区域，计算该连通区域在所述待处理图像的深度估计图像上的对应区域包括的各像素点的像素值之和；
针对每个连通区域，根据该连通区域的像素值之和与该连通区域对应的像素点的数量计算该连通区域的深度均值。
在本申请实施例较佳的选择中，所述对待处理图像进行分割处理，得到至少一个目标子图像的步骤，包括：
对待处理图像进行分割处理，并对分割处理得到的结果进行保边滤波处理和二值化处理，得到至少一个目标子图像。
本申请实施例还提供了一种图像处理装置，包括：
处理模块，对待处理图像进行分割处理，得到至少一个目标子图像，并对所述待处理图像进行深度估计处理，得到深度估计图像；
深度均值计算模块，用于分别计算每个所述目标子图像的连通区域，并根据所述深度估计图像计算各个连通区域的深度均值；
填补模块，用于针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图。
在本申请实施例较佳的选择中，所述填补模块包括：
判断子模块，用于针对每个目标像素点，判断该目标像素点的深度估计值是否小于该目标像素点对应的连通区域的深度均值，其中，所述目标像素点包括各所述连通区域在所述待处理图像的深度估计图像上对应区域的各像素点；
第一深度值计算子模块，用于在所述目标像素点的深度估计值小于该目标像素点对应的连通区域的深度均值时，将所述深度均值作为该像素点的深度值。
在本申请实施例较佳的选择中，所述填补模块还包括：
第二深度值计算子模块，用于在所述目标像素点的深度估计值不小于该目标像素点对应的连通区域的深度均值时，将所述深度估计值作为该像素点的深度值。
在本申请实施例较佳的选择中，所述深度均值计算模块包括：
像素值计算子模块，用于针对每个连通区域，计算该连通区域在所述待处理图像的深度估计图像上的对应区域包括的各像素点的像素值之和；
深度均值计算子模块，用于针对每个连通区域，根据该连通区域的像素值之和与该连通区域对应的像素点的数量计算该连通区域的深度均值。
本申请实施例还提供了一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现上述的图像处理方法。
本申请实施例提供的图像处理方法、装置及电子设备，通过计算待处理图像分割结果的连通区域的深度均值，并根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，以使对像素点进行填补时考虑到对应连通区域内所有像素点的深度均值，从而改善填补结果过于突兀的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的图像处理方法的流程示意图。
图3为本申请实施例提供的图像img。
图4为本申请实施例提供的分割结果图像Seg。
图5为本申请实施例提供的分割滤波图像FilteredSeg。
图6为本申请实施例提供的分割二值化图像BinarySeg。
图7为本申请实施例提供的标记结果图Label。
图8为本申请实施例提供的步骤S120的流程示意图。
图9为本申请实施例提供的深度估计图像Depth。
图10为本申请实施例提供的深度图RefinedDepth。
图11为本申请实施例提供的步骤S130的流程示意图。
图12为本申请实施例提供的步骤S130的另一流程示意图。
图13为本申请实施例提供的图像处理装置的结构框图。
图标：10-电子设备；12-存储器；14-处理器；100-图像处理装置；110-处理模块；120-深度均值计算模块；130-填补模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
如图1所示，本申请实施例提供了一种电子设备10。该电子设备10可以包括存储器12、处理器14和图像处理装置100。其中，所述电子设备10的具体种类不受限制，可以根据实际应用需求进行设置。例如，可以包括，但不限于电脑、平板电脑、手机等设备。
详细地，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像处理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述图像处理装置100所包括的软件功能模块及计算机程序等，以实现图像处理方法。
其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等。
可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
结合图2，本申请实施例还提供一种可应用于上述电子设备10的图像处理方法。其中，所述图像处理方法有关的流程所定义的方法步骤可以由所述电子设备10实现，下面将对图2所示的具体流程进行详细阐述。
步骤S110，对待处理图像进行分割处理，得到至少一个目标子图像，并对所述待处理图像进行深度估计处理，得到深度估计图像。
在本实施例中，所述待处理图像可以包括至少一个人像和多个物品，并且所述人像和多个物品的深度值可以不同。
其中，所述目标子图像的数量不受限制，可以根据实际应用需求进行设置。例如，在一实施例中，仅需要对所述待处理图像中的人像进行分割，所述目标子图像的数量为一个。又例如，在另一实施例中，需要对所述待处理图像中的人脸五官和身材轮廓分别进行分割，所述目标子图像的数量为两个。
在本实施例中，可以通过深度估计模型DepthModel对所述待处理图像进行深度估计处理，得到深度估计图像。
步骤S120，分别计算每个所述目标子图像的连通区域，并根据所述深度估计图像计算各个连通区域的深度均值。
在本实施例中，所述目标子图像包括的连通区域的数量不受限制，可以根据实际应用需求进行设置。
例如，在一实施例中，所述目标子图像中包括两个不接触的人像，对应地，所述连通区域的数量为两个。又例如，在另一实施例中，所述目标子图像包括两个接触的人像，对应地，所述连通区域的数量为一个。
步骤S130，针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图。
通过以上方法，以根据待处理图像分割结果的连通区域的深度均值，在所述待处理图像的深度估计图像上的对应区域进行填补处理，以使对像素点进行填补时考虑到对应连通区域内所有像素点的深度均值，从而改善填补结果过于突兀的问题。
可选地，执行步骤S110对待处理图像进行分割处理的具体步骤不受限制，可以根据实际应用需求进行设置。
例如，在一实施例中，所述进行分割处理的具体步骤可以是通过一预设的人像分割模型对所述待处理图像进行分割处理。所述待处理图像和所述目标子图像的具体尺寸不受限制，可以根据实际应用需求进行设置。例如，在本实施例中，所述待处理图像和所述目标子图像的具体尺寸可以都为384*384。
需要说明的是，基于得到至少一个目标子图像的方式不同，步骤S110可以包括不同的步骤。例如，在一种可以替代的示例中，步骤S110可以包括以下步骤：对待处理图像进行分割处理，并对分割处理得到的结果进行保边滤波处理和二值化处理，得到至少一个目标子图像。
也就是说，在通过上述方案对所述待处理图像进行分割之后，可以得到至少一个子图像。然后，再对每个子图像进行保边滤波处理和二值化处理，得到至少一个目标子图像。
可选地，进行保边滤波处理的具体方式不受限制，可以根据实际应用需求进行设置。例如，在本实施例中，进行保边滤波处理的具体方式可以是通过加权中值滤波方法对所述分割处理得到的结果进行保边滤波处理，得到分割滤波图像。
需要说明的是，结合图3和图4，所述待处理图像可以是图像img，所述图像img的尺寸为384*384，通过预设的人像分割模型SegModel对所述图像img进行分割处理，得到分割结果图像Seg，所述分割结果图像Seg的尺寸为384*384。
其中，结合图5，在所述分割处理得到的结果为所述分割结果图像Seg时，通过加权中值滤波方法对所述分割结果图像Seg进行保边滤波处理，得到分割滤波图像FilteredSeg，以修复所述分割结果图像Seg的边缘，所述分割滤波图像FilteredSeg与所述图像img更贴合。
并且，结合图6，所述进行二值化处理的具体方式可以是：判断所述分割滤波图像FilteredSeg包括的各像素点的像素值是否大于预设值，在该像素点的像素值大于预设值时，该像素点的像素值为1；在该像素点的像素值不大于预设值时，该像素点的像素值为0，得到分割二值化图像BinarySeg，以使人像区域分割更为精确。
可选地，所述预设值的具体值不受限制，可以根据实际应用需求进行设置。例如，在本实施例中，所述预设值的具体值为128。
结合图7，在本实施例中，所述目标子图像包括两个不接触的人像，通过所述步骤S120可以得到包括两个连通区域的标记结果图Label。
可选地，执行步骤S120计算连通区域的具体步骤不受限制，可以根据实际应用需求进行设置。
例如，在本实施例中，可以通过预设的连通区域算法计算每个所述目标子图像的连通区域。所述连通区域算法的具体种类不受限制，可以根据实际应用需求进行设置。例如，在本实施例中，所述连通区域算法的具体种类可以是种子填充算法。
基于计算各个连通区域的深度均值的方式不同，所述步骤S120可以包括不同的步骤。例如，在一种可以替代的示例中，结合图8，所述步骤S120可以包括步骤S121和步骤S122。
步骤S121，针对每个连通区域，计算该连通区域在所述待处理图像的深度估计图像上的对应区域包括的各像素点的像素值之和。
其中，所述像素值指的是在所述深度估计图像上的对应区域包括的各像素点的深度估计值。
结合图9，在本实施例中，通过预设的深度估计模型DepthModel对所述图像img进行深度估计处理，得到深度估计图像Depth，所述深度估计图像Depth的尺寸为384*384。其中，所述深度估计图像Depth包括多个像素点，距离拍摄者的距离近的像素点深度估计值大，距离拍摄者的距离远的像素点深度估计值小，所述深度估计值的取值范围可以是0-255。
步骤S122，针对每个连通区域，根据该连通区域的像素值之和与该连通区域对应的像素点的数量计算该连通区域的深度均值。
其中，可以通过将该连通区域的像素值之和除以与该连通区域对应的像素点的数量得到该连通区域的深度均值。
结合图10，在本实施例中，根据该连通区域的深度均值对该连通区域在所述图像img的深度估计图像Depth上的对应区域进行填补处理，得到所述图像img的深度图RefinedDepth。
基于进行填补处理的方式不同，所述步骤S130可以包括不同的步骤。例如，在一种可以替代的示例中，结合图11，所述步骤S130可以包括步骤S131和步骤S132。
步骤S131，针对每个目标像素点，判断该目标像素点的深度估计值是否小于该目标像素点对应的连通区域的深度均值。
其中，所述目标像素点包括各所述连通区域在所述待处理图像的深度估计图像上对应区域的各像素点。
步骤S132，若所述目标像素点的深度估计值小于该目标像素点对应的连通区域的深度均值，则将所述深度均值作为该像素点的深度值。
详细地，每个所述目标像素点根据所述深度估计图像Depth可以得到一对应的深度估计值，将所述深度估计值与所述该目标像素点对应的连通区域的深度均值进行比较，以将所述深度均值引入所述填补处理的过程，从而改善填补结果过于突兀的问题。
在所述目标像素点的深度估计值大于或等于该目标像素点对应的连通区域的深度均值时，所述步骤S130可以包括不同的步骤。例如，在一种可以替代的示例中，所述步骤S130可以包括以下步骤：若所述目标像素点的深度估计值不小于该目标像素点对应的连通区域的深度均值，则将预设深度值作为该像素点的深度值。可选地，所述预设深度值的具体值不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，所述预设深度值的具体值可以是0。
在本实施例中，结合图12，所述步骤S130还可以包括步骤S133，以得到像素点的深度值。
步骤S133，若所述目标像素点的深度估计值不小于该目标像素点对应的连通区域的深度均值，则将所述深度估计值作为该像素点的深度值。
通过上述设置确定每个所述目标像素点的深度值，从而得到所述待处理图像的深度图。在本实施例中，在所述待处理图像为图像img时，所述深度图为深度图RefinedDepth。
进一步地，在本实施例中，为了进一步地提高所述深度图与所述待处理图像的贴合度，所述图像处理方法还可以包括以下步骤：对所述深度图RefinedDepth进行保边滤波处理，以得到所述图像img的最终深度图。
结合图13，本申请实施例还提供了一种图像处理装置100，可以应用于所述电子设备10。其中，该图像处理装置100可以包括处理模块110、深度均值计算模块120和填补模块130。
处理模块110，用于对待处理图像进行分割处理，得到至少一个目标子图像，并对所述待处理图像进行深度估计处理，得到深度估计图像。在本实施例中，所述处理模块110可以用于执行图2所示的步骤S110，关于所述处理模块110的相关内容可以参照前文对步骤S110的具体描述。
深度均值计算模块120，用于分别计算每个所述目标子图像的连通区域，并根据所述深度估计图像计算各个连通区域的深度均值。在本实施例中，所述深度均值计算模块120可以用于执行图2所示的步骤S120，关于所述深度均值计算模块120的相关内容可以参照前文对步骤S120的具体描述。
填补模块130，用于针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图。在本实施例中，所述填补模块130可以用于执行图2所示的步骤S130，关于所述填补模块130的相关内容可以参照前文对步骤S130的具体描述。
进一步地，所述填补模块130可以包括判断子模块和第一深度值计算子模块。
判断子模块，用于针对每个目标像素点，判断该目标像素点的深度估计值是否小于该目标像素点对应的连通区域的深度均值，其中，所述目标像素点包括各所述连通区域在所述待处理图像的深度估计图像上对应区域的各像素点。在本实施例中，所述判断子模块可以用于执行图11所示的步骤S131，关于所述判断子模块的相关内容可以参照前文对步骤S131的具体描述。
第一深度值计算子模块，用于在所述目标像素点的深度估计值小于该目标像素点对应的连通区域的深度均值时，将所述深度均值作为该像素点的深度值。在本实施例中，所述第一深度值计算子模块可以用于执行图11所示的步骤S132，关于所述第一深度值计算子模块的相关内容可以参照前文对步骤S132的具体描述。
进一步地，所述填补模块130还可以包括第二深度值计算子模块。
第二深度值计算子模块，用于在所述目标像素点的深度估计值不小于该目标像素点对应的连通区域的深度均值时，将所述深度估计值作为该像素点的深度值。在本实施例中，所述第二深度值计算子模块可以用于执行图12所示的步骤S133，关于所述第二深度值计算子模块的相关内容可以参照前文对步骤S133的具体描述。
进一步地，所述深度均值计算模块120还可以包括像素值计算子模块和深度均值计算子模块。
像素值计算子模块，用于针对每个连通区域，计算该连通区域在所述待处理图像的深度估计图像上的对应区域包括的各像素点的像素值之和。在本实施例中，所述像素值计算子模块可以用于执行图8所示的步骤S121，关于所述像素值计算子模块的相关内容可以参照前文对步骤S121的具体描述。
深度均值计算子模块，用于针对每个连通区域，根据该连通区域的像素值之和与该连通区域对应的像素点的数量计算该连通区域的深度均值。在本实施例中，所述深度均值计算子模块可以用于执行图8所示的步骤S122，关于所述深度均值计算子模块的相关内容可以参照前文对步骤S122的具体描述。
综上所述，本申请实施例提供的图像处理方法、装置及电子设备10，通过计算待处理图像分割结果的连通区域的深度均值，并根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，以使对像素点进行填补时考虑到对应连通区域内所有像素点的深度均值，从而改善填补结果过于突兀的问题。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对待处理图像进行分割处理，得到至少一个目标子图像，并对所述待处理图像进行深度估计处理，得到深度估计图像；
分别计算每个所述目标子图像的连通区域，并根据所述深度估计图像计算各个连通区域的深度均值；
针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图。
2.如权利要求1所述的图像处理方法，其特征在于，所述针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图的步骤，包括：
针对每个目标像素点，判断该目标像素点的深度估计值是否小于该目标像素点对应的连通区域的深度均值，其中，所述目标像素点包括各所述连通区域在所述待处理图像的深度估计图像上对应区域的各像素点；
若所述目标像素点的深度估计值小于该目标像素点对应的连通区域的深度均值，则将所述深度均值作为该像素点的深度值。
3.如权利要求2所述的图像处理方法，其特征在于，所述针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图的步骤，还包括：
若所述目标像素点的深度估计值不小于该目标像素点对应的连通区域的深度均值，则将所述深度估计值作为该像素点的深度值。
4.如权利要求1-3任意一项所述的图像处理方法，其特征在于，所述根据所述深度估计图像计算各个连通区域的深度均值的步骤，包括：
针对每个连通区域，计算该连通区域在所述待处理图像的深度估计图像上的对应区域包括的各像素点的像素值之和；
针对每个连通区域，根据该连通区域的像素值之和与该连通区域对应的像素点的数量计算该连通区域的深度均值。
5.如权利要求1-3任意一项所述的图像处理方法，其特征在于，所述对待处理图像进行分割处理，得到至少一个目标子图像的步骤，包括：
对待处理图像进行分割处理，并对分割处理得到的结果进行保边滤波处理和二值化处理，得到至少一个目标子图像。
6.一种图像处理装置，其特征在于，包括：
处理模块，对待处理图像进行分割处理，得到至少一个目标子图像，并对所述待处理图像进行深度估计处理，得到深度估计图像；
深度均值计算模块，用于分别计算每个所述目标子图像的连通区域，并根据所述深度估计图像计算各个连通区域的深度均值；
填补模块，用于针对每个连通区域，根据该连通区域的深度均值对该连通区域在所述待处理图像的深度估计图像上的对应区域进行填补处理，得到该待处理图像的深度图。
7.如权利要求6所述的图像处理装置，其特征在于，所述填补模块包括：
判断子模块，用于针对每个目标像素点，判断该目标像素点的深度估计值是否小于该目标像素点对应的连通区域的深度均值，其中，所述目标像素点包括各所述连通区域在所述待处理图像的深度估计图像上对应区域的各像素点；
第一深度值计算子模块，用于在所述目标像素点的深度估计值小于该目标像素点对应的连通区域的深度均值时，将所述深度均值作为该像素点的深度值。
8.如权利要求7所述的图像处理装置，其特征在于，所述填补模块还包括：
第二深度值计算子模块，用于在所述目标像素点的深度估计值不小于该目标像素点对应的连通区域的深度均值时，将所述深度估计值作为该像素点的深度值。
9.如权利要求6-8任意一项所述的图像处理装置，其特征在于，所述深度均值计算模块包括：
像素值计算子模块，用于针对每个连通区域，计算该连通区域在所述待处理图像的深度估计图像上的对应区域包括的各像素点的像素值之和；
深度均值计算子模块，用于针对每个连通区域，根据该连通区域的像素值之和与该连通区域对应的像素点的数量计算该连通区域的深度均值。
10.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现权利要求1-5任意一项所述的图像处理方法。
CN201910713741.7A 2019-08-02 2019-08-02 图像处理方法、装置及电子设备 Pending CN110415285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910713741.7A CN110415285A (zh) 2019-08-02 2019-08-02 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713741.7A CN110415285A (zh) 2019-08-02 2019-08-02 图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN110415285A true CN110415285A (zh) 2019-11-05

Family

ID=68365502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713741.7A Pending CN110415285A (zh) 2019-08-02 2019-08-02 图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110415285A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160309A (zh) * 2019-12-31 2020-05-15 深圳云天励飞技术有限公司 一种图像处理方法和相关设备
CN113112610A (zh) * 2021-03-29 2021-07-13 联想(北京)有限公司 一种信息处理方法、装置和电子设备
CN113139997A (zh) * 2020-01-19 2021-07-20 武汉Tcl集团工业研究院有限公司 一种深度图处理方法、存储介质及终端设备
CN114119701A (zh) * 2021-11-29 2022-03-01 维沃移动通信有限公司 图像处理方法及其装置
CN116993798A (zh) * 2023-09-28 2023-11-03 荣耀终端有限公司 一种图像处理方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007475A (zh) * 2014-04-17 2015-10-28 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN105096311A (zh) * 2014-07-01 2015-11-25 中国科学院科学传播研究中心 基于gpu的深度图修复和虚实场景结合技术
CN106303161A (zh) * 2015-06-24 2017-01-04 联想(北京)有限公司 一种图像处理方法及电子设备
CN107248143A (zh) * 2017-04-26 2017-10-13 中山大学 一种基于图像分割的深度图像修复方法
CN108234826A (zh) * 2018-01-15 2018-06-29 厦门美图之家科技有限公司 图像处理方法及装置
KR20180096355A (ko) * 2017-02-21 2018-08-29 서강대학교산학협력단 Rgb-d 카메라 포즈 추정의 정확도 향상을 위한 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007475A (zh) * 2014-04-17 2015-10-28 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN105096311A (zh) * 2014-07-01 2015-11-25 中国科学院科学传播研究中心 基于gpu的深度图修复和虚实场景结合技术
CN106303161A (zh) * 2015-06-24 2017-01-04 联想(北京)有限公司 一种图像处理方法及电子设备
KR20180096355A (ko) * 2017-02-21 2018-08-29 서강대학교산학협력단 Rgb-d 카메라 포즈 추정의 정확도 향상을 위한 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법
CN107248143A (zh) * 2017-04-26 2017-10-13 中山大学 一种基于图像分割的深度图像修复方法
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
CN108234826A (zh) * 2018-01-15 2018-06-29 厦门美图之家科技有限公司 图像处理方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160309A (zh) * 2019-12-31 2020-05-15 深圳云天励飞技术有限公司 一种图像处理方法和相关设备
CN113139997A (zh) * 2020-01-19 2021-07-20 武汉Tcl集团工业研究院有限公司 一种深度图处理方法、存储介质及终端设备
CN113112610A (zh) * 2021-03-29 2021-07-13 联想(北京)有限公司 一种信息处理方法、装置和电子设备
CN113112610B (zh) * 2021-03-29 2024-05-28 联想(北京)有限公司 一种信息处理方法、装置和电子设备
CN114119701A (zh) * 2021-11-29 2022-03-01 维沃移动通信有限公司 图像处理方法及其装置
CN116993798A (zh) * 2023-09-28 2023-11-03 荣耀终端有限公司 一种图像处理方法和电子设备
CN116993798B (zh) * 2023-09-28 2024-03-19 荣耀终端有限公司 一种图像处理方法和电子设备

Similar Documents

Publication Publication Date Title
CN110415285A (zh) 图像处理方法、装置及电子设备
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN111369666A (zh) 一种基于多台rgbd相机的动态目标重建方法和装置
CN110148147B (zh) 图像检测方法、装置、存储介质和电子装置
CN107564080B (zh) 一种人脸图像的替换系统
CN110136114B (zh) 一种波面高度测量方法、终端设备及存储介质
CN109660783A (zh) 虚拟现实视差校正
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
CN106648510B (zh) 一种显示分辨率的显示方法及装置
CN107316326A (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN107958446A (zh) 信息处理设备和信息处理方法
CN106910180B (zh) 一种图像质量评估方法及装置
CN108076384A (zh) 一种基于虚拟现实的图像处理方法、装置、设备和介质
WO2014120281A1 (en) Increasing frame rate of an image stream
CN113240576B (zh) 风格迁移模型的训练方法、装置、电子设备及存储介质
CN110443765A (zh) 图像处理方法、装置及电子设备
CN111209908A (zh) 更新标注框的方法、装置、存储介质和计算机设备
CN107274456A (zh) 一种图像格式的识别方法及装置
CN113766258A (zh) 直播间虚拟礼物赠送处理方法、设备及存储介质
KR100479983B1 (ko) 혼성 반사 모델에서의 포토 메트릭 스테레오 방법
Sim et al. Robust reweighted MAP motion estimation
CN109451318B (zh) 便于vr视频编码的方法、装置、电子设备及存储介质
KR20130142008A (ko) 신뢰도 기반의 스테레오 매칭 방법 및 장치
CN109377556A (zh) 人脸图像特征处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105

RJ01 Rejection of invention patent application after publication