CN114359123B - 一种图像处理方法和装置 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法和装置，所述方法包括：获取原始深度图和灰度图；依据所述原始深度图生成拟合平面；依据所述原始深度图和所述灰度图，生成融合图像；基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；对所述前景区域进行分辨率优化，得到目标前景；基于所述目标前景和所述拟合平面，生成目标深度图。本发明实施例能够准确检测出深度图中的前景区域，并对前景区域进行分辨率优化，提高前景区域清晰度。

Description

一种图像处理方法和装置

技术领域

本发明涉及图像技术领域，特别是涉及一种图像处理方法和一种图像处理装置。

背景技术

立体视觉在测绘、三维稠密重建、自动驾驶以及视觉导航等多个前言领域有着重要的应用，而深度图像的生成一直是立体视觉领域十分关键的因素。深度图输出的精度直接影响了立体视觉系统的整体稳定性和可用性。

通常深度图的生成是经过立体匹视差配算法得到，目前的立体匹配算法相对成熟。由于立体匹配算法运算消耗较大，所以在实时处理系统中，通常采用相机设备内部集成立体匹配算法(即设备直接输出深度图)，而不需要用户后端实现立体匹配算法。因为设备厂商是将立体匹配算法烧录在设备的芯片上，所以用户没法根据具体的使用场景去优化算法和调整算法参数，除非厂商支持用户定制。但是定制又存在定制费用高，时间周期长的问题。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法和相应的一种图像处理装置。

为了解决上述问题，本发明实施例公开了一种图像处理方法，包括：

获取原始深度图和灰度图；

依据所述原始深度图生成拟合平面；

依据所述原始深度图和所述灰度图，生成融合图像；

基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；

对所述前景区域进行分辨率优化，得到目标前景；

基于所述目标前景和所述拟合平面，生成目标深度图。

可选地，所述依据所述原始深度图和所述灰度图，生成融合图像的步骤包括：

对所述灰度图进行边缘检测，得到边缘检测结果；所述边缘检测结果包括第一像素值；

确定所述深度图中与所述第一像素值的位置对应的第二像素值；

按照预设线性关系对第一像素值和第二像素值进行融合，得到第三像素值；

针对所述第三像素值，生成融合图像。

可选地，所述基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域的步骤，包括：

针对所述融合图像生成掩模图像；所述掩模图像由第四像素值组成；

确定与所述第四像素值对应的边界长度；

确定所述原始深度图中除所述拟合平面的位置以外的至少一个待区分区域；

确定所述待区分区域中像素点的深度值；

依据所述深度值与所述边界长度得到所述待区分区域的前景参考值；

获取针对所述原始深度图的边缘数量；

基于所述前景参考值和所述边缘数量，确定前景区域。

可选地，所述基于所述前景参考值和所述边缘数量，确定前景区域的步骤包括：

若所述待区分区域的前景参考值不大于第一预设阈值且所述待区分区域对应的边沿数量不小于第一预设数量，则确定所述待区分区域为前景区域；

若所述待区分区域的前景参考值大于第一预设阈值且所述待区分区域对应的边沿数量小于第一预设数量，则确定所述待区分区域为背景区域。

可选地，所述对所述前景区域进行分辨率优化，得到目标前景的步骤包括：

采用预设活动轮廓信息，识别所述前景区域中的目标虚拟对象；

针对所述目标虚拟对象进行分辨率优化，得到目标前景。

可选地，所述针对所述目标虚拟对象进行分辨率优化，得到目标前景的步骤，包括：

获取所述原始深度图中与所述目标虚拟对象匹配的外接子图像；

获取所述灰度图中与所述外接子图像匹配的边缘掩模；

针对所述外接子图像进行插值处理，得到已插值图像；

叠加所述已插值图像和所述边缘掩模，得到叠加图像；

针对所述叠加图像进行边缘滤波，得到包含连通区域的滤波图像；

针对所述滤波图像进行深度值修复处理，得到目标子图像；

基于所述目标子图像，生成目标前景。

可选地，所述针对所述滤波图像进行深度值修复处理，得到目标子图像的步骤包括：

针对所述连通区域的边缘两侧进行均值滤波，得到均值图像；

生成与所述均值图像对应的三维点云数据；

对所述三维点云数据进行拟合，得到虚拟平面；

对所述虚拟平面进行反映射，得到深度值渐变图像；

对所述深度值渐变图像进行下采样处理，生成目标子图像。

本发明实施例还公开了一种图像处理装置，包括：

图像获取模块，用于获取原始深度图和灰度图；

拟合平面生成模块，用于依据所述原始深度图生成拟合平面；

融合模块，用于依据所述原始深度图和所述灰度图，生成融合图像；

前景区域确定模块，用于基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；

目标前景生成模块，用于对所述前景区域进行分辨率优化，得到目标前景；

目标深度图生成模块，用于基于所述目标前景和所述拟合平面，生成目标深度图。

本发明实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的图像处理方法的步骤。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。

本发明实施例包括以下优点：

在获取双目相机输出的灰度图和原始深度图后，依据原始深度图提取出拟合平面，对经过边缘检测处理的灰度图和原始深度图进行融合得到融合图像，基于拟合平面和融合图像检测出原始深度图中的前景区域，对前景区域进行分辨率优化，得到提高清晰度的目标前景，基于目标前景和拟合平面进行叠加，得到对感兴趣的目标前景进行局部的分辨率优化的目标深度图。

附图说明

图1是本发明的一种图像处理方法实施例的步骤流程图；

图2是本发明实施例提供的一种灰度图；

图3是针对图2的一种结构简图；

图4是本发明提供的一种灰度图的边缘结果示意图；

图5是本发明提供的一种外接矩形字图；

图6是本发明的一种图像处理示例流程图；

图7是本发明的一种图像处理装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的核心构思之一在于，在获取双目相机输出的灰度图和原始深度图后，依据原始深度图提取出拟合平面，对经过边缘检测处理的灰度图和原始深度图进行融合得到融合图像，基于拟合平面和融合图像检测出原始深度图中的前景区域，对前景区域进行分辨率优化，得到提高清晰度的目标前景，基于目标前景和拟合平面进行叠加，得到对感兴趣的目标前景进行局部的分辨率优化的目标深度图，避免了全局范围的泛优化，使得优化较全局优化而言更加精准和明显。

参照图1，示出了本发明的一种图像处理方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，获取原始深度图和灰度图；

本发明实施例可以应用于可飞行的移动体中，移动体中设置有双目相机，当移动体位于空中时，可以针对地面进行采集图像，输出针对地面的原始深度图和灰度图。

其中，原始深度图为经过预设双目立体匹配算法处理的图像。本发明对具体的双目立体匹配算法方法不做限定。

步骤102，依据所述原始深度图生成拟合平面；

先将深度图通过公式(1)-(2)转化成3D点云：

其中f为镜头焦距，dx,dy为相机的内参表示像平面上x/y轴上单个像素对应的物理长度，R和T表示相机的外参矩阵，默认为单位矩阵(u₀，v₀)为相机位于像素坐标中的位置，Zc为相机的预设光轴。通过结合计算式(1)和计算式(2)可以计算得到图像点[u,v]^T到世界坐标点[x_w,y_w,z_w]^T。

先从深度图对应的三维点集中选取一个子集，随后对3D点云子集进行平面进行拟合，平面方程为如下计算式(3)：

ax+by+cz＝d(d≥0),²+2+2＝1

(_i,y_i,i)为点集，i＝1,2,3…n

拟合平面即为一个最小二乘问题，如下式(4)，d_i表示到平面的距离:

对上述最小二乘计算式(4)转换为极值计算，得到计算式(5)：

对计算式(5)中的d、a、b、c进行偏导计算，得到计算式(6)：

在计算式(6)中，左侧大括号为n个点的协方差矩阵,(a,b,c)T即为该协方差矩阵的一个特征向量。在求得的特征向量中，选取最小的特征向量作为最佳拟合平面的法向量。因为特征向量越小，代表的就是协方差矩阵所囊括的点集中个点之间的差异越小，也就是一致性越好。

通过上述计算，得到多个拟合平面，拟合平面包括针对地面的地表面拟合平面。

在另一种可选实施例中，可采用基于灰度图的图像聚类或者区域分割，再选取分割后的面积较大区域(设定一个阈值σ)划分出用于平面拟合的点云子集，基于该点云子集生成拟合平面。

参照图2，示出了本发明实施例提供的一种灰度图。参照图3，示出了针对图2的一种结构简图。结合图2图3可知，在一些场景中，双目相机可能采集有针对建筑外立面(例如：大厦表面)的图像数据，则针对建筑体外表面的图像数据可以得到相应的建筑外表拟合平面。

可以通过不同拟合平面的大小和角度，确定出拟合平面为地表面拟合平面还是建筑外表拟合平面。

步骤103，依据所述原始深度图和所述灰度图，生成融合图像；

可以对原始深度图中的像素与灰度图中的像素进行融合，得到融合图像，融合后的图像具备更好的边缘检测特性。

步骤104，基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；

将原始深度图划分为前景区域、背景区域、拟合平面区域，其中，背景区域为针对非结构化物体(例如：植物)采集的图像数据所在区域，可以在原始深度图中先排除拟合平面区域，在原始深度图中其余区域中基于融合图像划分出前景区域和背景区域，由于融合图像具备更好的边缘检测特征，使得基于融合图像划分原始深度图的前景区域具备更好置信度。

步骤105，对所述前景区域进行分辨率优化，得到目标前景；

对上述步骤得到的前景区域进行分辨率优化，得到清晰度更高的目标前景。

步骤106，基于所述目标前景和所述拟合平面，生成目标深度图。

基于目标前景和拟合平面进行叠加，重构目标深度图，由于对目标前景进行优化，使得目标深度图中的目标前景相对于其他区域，具备更高清晰度，进而实现对原始深度图的前景区域进行局部的清晰度优化。

在具体实现中，可以针对目标前景、拟合平面、背景区域进行叠加，生成目标深度图。

在本发明实施例中，在获取双目相机输出的灰度图和原始深度图后，依据原始深度图提取出拟合平面，对经过边缘检测处理的灰度图和原始深度图进行融合得到融合图像，基于拟合平面和融合图像检测出原始深度图中的前景区域，对前景区域进行分辨率优化，得到提高清晰度的目标前景，基于目标前景和拟合平面进行叠加，得到对感兴趣的目标前景进行局部的分辨率优化的目标深度图，避免了全局范围的泛优化，使得优化较全局优化而言更加精准和明显。

在本发明的一种可选实施例中，所述步骤103包括：

子步骤S11，对所述灰度图进行边缘检测，得到边缘检测结果；所述边缘检测结果包括第一像素值；

子步骤S12，确定所述深度图中与所述第一像素值的位置对应的第二像素值；

子步骤S13，按照预设线性关系对第一像素值和第二像素值进行融合，得到第三像素值；

子步骤S14，针对所述第三像素值，生成融合图像。

参照图4，示出了本发明提供的一种灰度图的边缘结果示意图。为了增强边缘检测的鲁棒性，将灰度做边缘检测，得到边缘检测结果，将包含有第一像素值的边缘检测结果，融合到深度图，得到融合图像。

具体的，可以通过如下公式(7)计算融合图像中包含的第三像素值：

其中，P_i′为融合后的像素值，即第三像素值，α，β，γ为预设系数，为原始灰度图边缘检测后像素值即第一像素值，为深度图对应位置的值即第二像素值，i为像素索引用于区分不同位置的像素点。

在本发明的一种可选实施例中，所述步骤104包括：

子步骤S21，针对所述融合图像生成掩模图像；所述掩模图像由第四像素值组成；

子步骤S22，确定与所述第四像素值对应的边界长度；

子步骤S23，确定所述原始深度图中除所述拟合平面的位置以外的至少一个待区分区域；

子步骤S24，确定所述待区分区域中像素点的深度值；

子步骤S25，依据所述深度值与所述边界长度得到所述待区分区域的前景参考值；

子步骤S26，获取针对所述原始深度图的边缘数量；

子步骤S27，基于所述前景参考值和所述边缘数量，确定前景区域。

在具体实现中，可以针对融合图像生成匹配的掩模图像，进而确定掩模图像中包含的第四像素值P_j，并确定第四像素值对应的掩模图像的边界长度K。

对原始深度图进行聚类，基于聚类结果对原始深度图进行区域切割，划分出原始深度图中除去拟合平面所在区域以外的至少一个区域为待区分区域。在获取待区分区域中的深度值后，针对满足预设面积大小的待区分区域按照公式(8)计算前景参考值：

为前景参考值，v_i表示待区分区域中像素点的深度值，N为待区分区域中像素点数量,K为该点处的卷积结果，表示该点附近mxm区域内边界淹模的边界长度(其中，m为卷积矩阵的大小，例如：卷积矩阵为3，mxm区域为3x3区域),P_j为掩模图像的像素值。

对原始深度图进行边缘检测，得到原始深度图中的边缘数量。

结合前景参考值和边缘数量，确定前景区域。

在本发明的一种可选实施例中，所述子步骤S27包括：

子步骤S271，若所述待区分区域的前景参考值不大于第一预设阈值且所述待区分区域对应的边沿数量不小于第一预设数量，则确定所述待区分区域为前景区域；

子步骤S272，若所述待区分区域的前景参考值大于第一预设阈值且所述待区分区域对应的边沿数量小于第一预设数量，则确定所述待区分区域为背景区域。

若待区分区域中前景参考值大于第一阈值，并且待区分区域对应的位置具有第一预设数量的边缘，即待区分区域为前景区域，否则为背景区域。

在本发明的一种可选实施例中，所述步骤105包括：

子步骤S31，采用预设活动轮廓信息，识别所述前景区域中的目标虚拟对象；

可以构建活动轮廓线，通过活动轮廓线自适应4空间曲线，从而在目标前景区域中确定感兴趣的目标虚拟对象，目标虚拟对象为具备结构化特征的对象。例如：图3中的车辆A、车辆B、车辆C。

子步骤S32，针对所述目标虚拟对象进行分辨率优化，得到目标前景。

针对性地提高目标虚拟对象的分辨率，从而得到目标前景。

在具体实现中，可以如表达式(9)先构建活动轮廓线：

v(s)＝(x(s),y())∈[0,1]

并确定其能量函数为表达式(10)：

其中，E_ext表示外部能量，

α,β为常系数，用来表示各能量项对优化结果的影响。且分别对应为活动曲线的一阶导数和二阶导数的模的平方。当轮廓C靠近目标图像边缘，那么C的灰度的梯度将会增大，E_ext就会减小。在能量最小化的过程中，轮廓线就会朝着目标边缘靠近的方向演变。活动轮廓之后可以从前景中得到较为单一的物体块(目标虚拟对象)，对该物体区块做超分超分辨率变换来细化物体深度数据，得到目标前景。

在本发明的一种可选实施例中，所述子步骤S32包括：

子步骤S321，获取所述原始深度图中与所述目标虚拟对象匹配的外接子图像；

子步骤S322，获取所述灰度图中与所述外接子图像匹配的边缘掩模；

子步骤S323，针对所述外接子图像进行插值处理，得到已插值图像；

子步骤S324，叠加所述已插值图像和所述边缘掩模，得到叠加图像；

子步骤S325，针对所述叠加图像进行边缘滤波，得到包含连通区域的滤波图像；

子步骤S326，针对所述滤波图像进行深度值修复处理，得到目标子图像；

子步骤S327，基于所述目标子图像，生成目标前景。

参照图5，示出了本发明提供的一种外接矩形字图。在具体实现中，可以先从原深度图中剪切出上述活动轮廓的外接矩形子图。然后对该矩形子图做三线性插值来提高分辨率并叠加原始灰度图在该区域的边缘淹模，并对提高分辨率后的子图所对应的原始灰度图中的边缘做滤波(可以依据边缘的长度来做删除，剔除掉边缘较短的边缘)。经过第二步骤处理之后的物体边缘便将子深度图划分为几个连通区域，所以最后可以对这个连通区域做深度值修复。

在本发明的一种可选实施例中，所述子步骤S326包括：

子步骤S3261，针对所述连通区域的边缘两侧进行均值滤波，得到均值图像；

子步骤S3262，生成与所述均值图像对应的三维点云数据；

子步骤S3263，对所述三维点云数据进行拟合，得到虚拟平面；

子步骤S3264，对所述虚拟平面进行反映射，得到深度值渐变图像；

子步骤S3265，对所述深度值渐变图像进行下采样处理，生成目标子图像。

在具体实现中，可以分别对边缘两侧区域内的至少部分像素做均值滤波，然后将该连通区域映射到三维点云中去并拟合出一个对应的虚拟平面，之后将该虚拟平面反映射回深度图(变现为值的连续渐变)得到深度值渐变图像。对连续且值渐变的深度值渐变图像进行拼接，得到最终优化后的物体的目标子图像。最后通过下采样在将目标子图像填补到原始深度图中去。通过生成虚拟平面并反映射回深度图，能够明显提升深度图物体非边缘文理区域数值的连续性和一致性。

以下，以一个示例对本发明实施例做进一步说明：

参照图6，示出了本发明提供的一种图像处理示例流程图，包括如下步骤：

601，原始灰度图。双目相机针对采集到的图像数据，输出原始灰度图。

602，双目立体匹配并输出深度图。双目相机针对采集到的图像数据，按照预设的双目立体匹配算法读对其采集到的图像数据进行处理，输出深度图。

603，融合边缘检测。对灰度图进行边缘检测，并基于检测结果融合灰度图和深度图中的像素，得到融合图像。

604，前后景分离。基于融合图像区分出深度图中的前景区域和后景区域，以达到对深度图的前后景分离。

605，前景优化。对前景区域确定出感兴趣区域，并对感兴趣区域进行分辨率优化，从而实现对前景区域进行优化，并得到目标前景。

606，基于深度图的平面拟合。对深度图进行平面拟合处理，得到至少一个拟合平面。

607，地面提取。通过对深度图进行平面拟合处理，从而生成与深度图中与地面相对应的部分为地表面拟合平面。

608，建筑外立面提取。通过对深度图进行平面拟合处理，从而生成与深度图中与建筑外立面相对应的部分为建筑外表拟合平面。

609，深度图重构。组合目标前景、后景区域、地表面拟合平面、建筑外表拟合平面，以对深度图进行重构，生成新的深度图。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图7，示出了本发明的一种图像处理装置实施例的结构框图，具体可以包括如下模块：

图像获取模块701，用于获取原始深度图和灰度图；

拟合平面生成模块702，用于依据所述原始深度图生成拟合平面；

融合模块703，用于依据所述原始深度图和所述灰度图，生成融合图像；

前景区域确定模块704，用于基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；

目标前景生成模块705，用于对所述前景区域进行分辨率优化，得到目标前景；

目标深度图生成模块706，用于基于所述目标前景和所述拟合平面，生成目标深度图。

在本发明的一种可选实施例中，所述融合模块包括：

边缘检测子模块，用于对所述灰度图进行边缘检测，得到边缘检测结果；所述边缘检测结果包括第一像素值；

第二像素值确定子模块，用于确定所述深度图中与所述第一像素值的位置对应的第二像素值；

第三像素值确定子模块，用于按照预设线性关系对第一像素值和第二像素值进行融合，得到第三像素值；

图像融合子模块，用于针对所述第三像素值，生成融合图像。

在本发明的一种可选实施例中，所述前景区域确定模块包括：

掩模图像生成子模块，用于针对所述融合图像生成掩模图像；所述掩模图像由第四像素值组成；

边界长度确定子模块，用于确定与所述第四像素值对应的边界长度；

待区分区域确定子模块，用于确定所述原始深度图中除所述拟合平面的位置以外的至少一个待区分区域；

深度值确定子模块，用于确定所述待区分区域中像素点的深度值；

前景参考值子模块，用于依据所述深度值与所述边界长度得到所述待区分区域的前景参考值；

边缘数量确定子模块，用于获取针对所述原始深度图的边缘数量；

前景区域确定子模块，用于基于所述前景参考值和所述边缘数量，确定前景区域。

在本发明的一种可选实施例中，所述前景区域确定子模块包括：

第一判断单元，用于若所述待区分区域的前景参考值不大于第一预设阈值且所述待区分区域对应的边沿数量不小于第一预设数量，则确定所述待区分区域为前景区域；

第二判断单元，用于若所述待区分区域的前景参考值大于第一预设阈值且所述待区分区域对应的边沿数量小于第一预设数量，则确定所述待区分区域为背景区域。

在本发明的一种可选实施例中，所述目标前景生成模块包括：

目标虚拟对象识别子模块，用于采用预设活动轮廓信息，识别所述前景区域中的目标虚拟对象；

目标前景确定子模块，用于针对所述目标虚拟对象进行分辨率优化，得到目标前景。

在本发明的一种可选实施例中，所述目标前景确定子模块包括：

外接子图像获取单元，用于获取所述原始深度图中与所述目标虚拟对象匹配的外接子图像；

边缘掩模单元，用于获取所述灰度图中与所述外接子图像匹配的边缘掩模；

插值单元，用于针对所述外接子图像进行插值处理，得到已插值图像；

叠加单元，用于叠加所述已插值图像和所述边缘掩模，得到叠加图像；

滤波图像单元，用于针对所述叠加图像进行边缘滤波，得到包含连通区域的滤波图像；

目标子图像单元，用于针对所述滤波图像进行深度值修复处理，得到目标子图像；

目标前景生成单元，用于基于所述目标子图像，生成目标前景。

在本发明的一种可选实施例中，所述目标子图像单元包括：

均值子单元，用于针对所述连通区域的边缘两侧进行均值滤波，得到均值图像；

点云数据子单元，用于生成与所述均值图像对应的三维点云数据；

虚拟平面子单元，用于对所述三维点云数据进行拟合，得到虚拟平面；

反映射子单元，用于对所述虚拟平面进行反映射，得到深度值渐变图像；

目标子图像子单元，用于对所述深度值渐变图像进行下采样处理，生成目标子图像。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备，包括：包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法和一种图像处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

获取原始深度图和灰度图；

依据所述原始深度图生成拟合平面；其中，所述拟合平面为通过在所述原始深度图对应的三维点集中选取目标点云子集，并对所述目标点云子集进行平面拟合生成，其中，所述目标点云子集通过基于所述灰度图采用图像聚类或者区域分割的方式进行选取；

依据所述原始深度图和所述灰度图，生成融合图像；

基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；

对所述前景区域进行分辨率优化，得到目标前景；

基于所述目标前景和所述拟合平面，生成目标深度图；

其中，所述基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域的步骤，包括：

针对所述融合图像生成掩模图像；所述掩模图像由第四像素值组成；

确定与所述第四像素值对应的边界长度；

确定所述原始深度图中除所述拟合平面的位置以外的至少一个待区分区域；

确定所述待区分区域中像素点的深度值；

依据所述深度值与所述边界长度得到所述待区分区域的前景参考值；

获取针对所述原始深度图的边缘数量；

基于所述前景参考值和所述边缘数量，确定前景区域。

2.根据权利要求1所述的方法，其特征在于，所述依据所述原始深度图和所述灰度图，生成融合图像的步骤包括：

对所述灰度图进行边缘检测，得到边缘检测结果；所述边缘检测结果包括第一像素值；

确定所述深度图中与所述第一像素值的位置对应的第二像素值；

按照预设线性关系对第一像素值和第二像素值进行融合，得到第三像素值；

针对所述第三像素值，生成融合图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述前景参考值和所述边缘数量，确定前景区域的步骤包括：

若所述待区分区域的前景参考值不大于第一预设阈值且所述待区分区域对应的边沿数量不小于第一预设数量，则确定所述待区分区域为前景区域；

若所述待区分区域的前景参考值大于第一预设阈值且所述待区分区域对应的边沿数量小于第一预设数量，则确定所述待区分区域为背景区域。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述前景区域进行分辨率优化，得到目标前景的步骤包括：

采用预设活动轮廓信息，识别所述前景区域中的目标虚拟对象；

针对所述目标虚拟对象进行分辨率优化，得到目标前景。

5.根据权利要求4所述的方法，其特征在于，所述针对所述目标虚拟对象进行分辨率优化，得到目标前景的步骤，包括：

获取所述原始深度图中与所述目标虚拟对象匹配的外接子图像；

获取所述灰度图中与所述外接子图像匹配的边缘掩模；

针对所述外接子图像进行插值处理，得到已插值图像；

叠加所述已插值图像和所述边缘掩模，得到叠加图像；

针对所述叠加图像进行边缘滤波，得到包含连通区域的滤波图像；

针对所述滤波图像进行深度值修复处理，得到目标子图像；

基于所述目标子图像，生成目标前景。

6.根据权利要求5所述的方法，其特征在于，所述针对所述滤波图像进行深度值修复处理，得到目标子图像的步骤包括：

针对所述连通区域的边缘两侧进行均值滤波，得到均值图像；

生成与所述均值图像对应的三维点云数据；

对所述三维点云数据进行拟合，得到虚拟平面；

对所述虚拟平面进行反映射，得到深度值渐变图像；

对所述深度值渐变图像进行下采样处理，生成目标子图像。

7.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取原始深度图和灰度图；

拟合平面生成模块，用于依据所述原始深度图生成拟合平面；其中，所述拟合平面为通过在所述原始深度图对应的三维点集中选取目标点云子集，并对所述目标点云子集进行平面拟合生成，其中，所述目标点云子集通过基于所述灰度图采用图像聚类或者区域分割的方式进行选取；

融合模块，用于依据所述原始深度图和所述灰度图，生成融合图像；

前景区域确定模块，用于基于所述拟合平面和所述融合图像，确定所述原始深度图中的前景区域；

目标前景生成模块，用于对所述前景区域进行分辨率优化，得到目标前景；

目标深度图生成模块，用于基于所述目标前景和所述拟合平面，生成目标深度图；

其中，所述前景区域确定模块包括：

掩模图像生成子模块，用于针对所述融合图像生成掩模图像；所述掩模图像由第四像素值组成；

边界长度确定子模块，用于确定与所述第四像素值对应的边界长度；

待区分区域确定子模块，用于确定所述原始深度图中除所述拟合平面的位置以外的至少一个待区分区域；

深度值确定子模块，用于确定所述待区分区域中像素点的深度值；

前景参考值子模块，用于依据所述深度值与所述边界长度得到所述待区分区域的前景参考值；

边缘数量确定子模块，用于获取针对所述原始深度图的边缘数量；

前景区域确定子模块，用于基于所述前景参考值和所述边缘数量，确定前景区域。

8.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-6中任一项所述的图像处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。