CN117560480B - 一种图像深度估计方法及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像深度估计方法及电子设备，涉及图像处理技术领域，在不同的拍摄场景下都能够获取较准确的深度信息，提高了图像深度估计方法的鲁棒性。具体方案包括：响应于用于启动图像虚化功能的第一操作，采集双目图像；双目图像包括两帧图像；根据双目图像，获取拍摄场景的场景信息；在场景信息符合双目深度估计条件的情况下，采用双目深度估计算法对双目图像进行深度估计，得到第一深度图；在场景信息不符合双目深度估计条件的情况下，基于单目深度估计算法和双目图像中的单目图像，得到第二深度图。其中，双目深度估计条件用于指示以下至少一项：双目图像中的拍摄对象清晰、以及双目图像中的拍摄对象相同。

Description

一种图像深度估计方法及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像深度估计方法及电子设备。

背景技术

目前，电子设备（例如，手机）的相机提供有图像虚化的功能。图像虚化是根据图像的深度信息，对图像进行虚化处理，以实现图像中的一部分画面清晰，另一部分画面模糊的视觉效果。目前主要采用获取双目深度估计算法获取图像的深度信息。

然而，使用双目深度估计算法存在获取的深度信息不准确的问题。基于错误的深度信息对图像进行虚化处理可能出现图像中需要模糊处理的拍摄对象清晰（例如，背景清晰），图像中需要清晰显示的拍摄对象模糊（例如，拍摄主体模糊）等问题，导致虚化处理后的图像的视觉效果（或者说图像的虚化效果）较差。

发明内容

本申请实施例提供一种图像深度估计方法及电子设备，在不同的拍摄场景下都能够获取较准确的深度信息，提高了图像深度估计方法的鲁棒性，进而实现较好的图像虚化效果。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种图像深度估计方法，该方法应用于包括图像传感器的电子设备，该方法可以包括：响应于用于启动图像虚化功能的第一操作，采集双目图像；双目图像包括两帧图像；根据双目图像，获取拍摄场景的场景信息；在场景信息符合双目深度估计条件的情况下，采用双目深度估计算法对双目图像进行深度估计，得到第一深度图；在场景信息不符合双目深度估计条件的情况下，基于单目深度估计算法和双目图像中的单目图像，得到第二深度图；单目图像为双目图像包括的两帧图像中的任一帧图像。

其中，双目深度估计条件用于指示以下至少一项：双目图像中的拍摄对象清晰、以及双目图像中的拍摄对象相同。

可以理解的是，电子设备响应于图像虚化功能的第一操作，可以对拍摄场景采集双目图像；再根据双目图像获取拍摄场景的场景信息。由于双目图像中的拍摄对象不清晰、以双目图像中的拍摄对象的位置变化等都会导致双目深度估计算法获取的深度信息出错，因此，电子设备可以判断场景信息是否符合双目深度估计条件。进而，在场景信息符合双目深度估计条件的情况下，表示双目图像中的拍摄对象清晰和/或双目图像中的拍摄对象相同（包括双目图像中的拍摄对象的位置相同），则采用双目深度估计算法确定的深度信息准确度较高。其次，在场景信息不符合双目深度估计条件的情况下采用双目深度估计算法确定深度信息的出错率较高，因此，基于单目深度估计算法确定深度信息；相较于采用双目深度估计算法，基于单目深度估计算法确定的深度信息的准确度更高。

综上所述，采用本方案，在不同的拍摄场景下都能够获取较准确的深度信息，提高了图像深度估计方法的鲁棒性。

结合第一方面，在一种可能的实现方式中，第一深度图包括的第一深度信息和第二深度图包括的第二深度信息均为绝对深度信息。该方法还包括：响应于第一操作，采集飞行时间TOF深度图。上述基于单目深度估计算法和双目图像中的单目图像，得到第二深度图，包括：采用单目深度估计算法对单目图像进行深度估计，得到第三深度图；第三深度图包括的第三深度信息为相对深度信息；根据TOF深度图，对第三深度图进行转换，得到第二深度图。

可以理解的是，电子设备响应于第一操作，除了采集双目图像，同时获取TOF深度图。如果是光线较亮、以及拍摄对象近似处于静止状态的拍摄场景，则电子设备可以采用双目深度估计算法获取较准确的深度信息。如果是光线较暗的拍摄场景和拍摄对象处于运动状态的拍摄场景，电子设备不采用双目深度估计算法获取深度信息，而基于单目深度估计算法获取深度信息。也就是说，在不同的拍摄场景下电子设备采用不同的深度估计算法，当拍摄场景发生变化时电子设备可以切换所采用的深度估计算法，例如，从双目深度估计算法切换到单目深度估计算法，或者从单目深度估计算法切换到双目深度估计算法。其中，双目深度估计算法获取的是绝对深度信息，单目深度估计算法获取的是相对深度信息，绝对深度信息和相对深度信息是不同维度的深度信息。当电子设备基于不同维度的深度信息对图像进行虚化处理时，与拍摄主体的距离相同的拍摄对象的模糊程度不同（或者说虚化程度不同），会导致用户感知到与相机相同距离的拍摄对象的虚化程度发生变化。

对此，电子设备可以利用TOF深度图，将采用单目深度估计算法获取的相对深度信息转换为绝对深度信息。转换后的绝对深度信息和双目深度估计算法获取的绝对深度信息都可以表示拍摄对象和相机之间的真实距离，即转换后的绝对深度信息和双目深度估计算法是相同维度下的深度信息。那么，电子设备切换所采用的深度估计方法时不会发生与拍摄主体的距离相同的拍摄对象的虚化程度不同的情况。用户感受不到与相机相同距离的拍摄对象的虚化程度发生变化，可以实现双目深度估计算法和单目深度估计算法的无感切换。

结合第一方面，另一种可能的实现方式中，上述根据TOF深度图，对第三深度图进行转换，得到第二深度图，包括：根据TOF深度图和第三深度图，确定目标转换参数；目标转换参数用于将相对深度信息转换为绝对深度信息；利用目标转换参数，对第三深度图中的第三深度信息进行转换，得到第二深度图。

该实施方式描述了根据TOF深度图对第三深度图进行转换的一种实现方式。

结合第一方面，另一种可能的实现方式中，上述根据TOF深度图和第三深度图，确定目标转换参数，包括：对TOF深度图和第三深度图进行像素点匹配，得到多个像素点对；多个像素点对中的每个像素点对包括：TOF深度图中的一个像素点和第三深度图中的一个像素点；根据多个像素点对中各个像素点对的TOF深度信息和第三深度信息，以及预设目标函数，确定使预设目标函数最小化的目标转换参数。

其中，预设目标函数用于表示TOF深度信息和转换后的深度信息之间的差值的平方和，转换后的深度信息是利用目标转换参数对第三深度信息进行转换得到的。

可以理解的是，本申请实施例中的电子设备从TOF深度图和相对深度图中确定匹配的多个像素点对，利用多个像素点得到将相对深度信息转换为第二绝对深度信息的目标转换参数，也就是说，本方案利用多个像素点对实现将相对深度信息转换为第二绝对深度信息。相较于将整个TOF深度图和相对深度图输入到一个网络模型中，以使该网络模型基于整个TOF深度图和相对深度图将相对深度信息转换为绝对深度信息，本方案只利用多个像素点对实现将相对深度信息转换为第二绝对深度信息，对TOF深度图的分辨率和准确度要求较低，对采集TOF深度图的TOF传感器的性能要求也较低。本方案采用性能较低的TOF传感器的成本较小。

结合第一方面，另一种可能的实现方式中，场景信息包括：亮度指数和拍摄场景中拍摄对象的运动信息；亮度指数的数值大小和拍摄场景的亮度高低成反比；拍摄对象的运动信息用于表示拍摄对象在双目图像中的位移量。双目深度估计条件包括：亮度指数小于预设亮度阈值，以及拍摄对象的运动信息小于预设位移阈值。

可以理解的是，拍摄场景的亮度较低导致采集的双目图像中的拍摄对象不清晰。拍摄场景中拍摄对象处于运动状态导致双目图像中的拍摄对象不一样，例如，拍摄对象在双目图像中的位置发生偏移。而双目图像中的拍摄对象不清晰、以及双目图像中的拍摄对象不一样都会导致双目深度估计算法获取的深度信息出错，因此，电子设备可以获取亮度指数和拍摄对象的运动信息等场景信息，并判断亮度指数和拍摄对象的运动信息等场景信息是否符合双目深度估计条件。该双目深度估计条件包括：亮度指数小于预设亮度阈值，以及拍摄对象的运动信息小于预设位移阈值。亮度指数小于预设亮度阈值表示拍摄场景的亮度较高，拍摄对象的运动信息小于预设位移阈值表示拍摄场景中拍摄对象处于近似静止状态。进而，在场景信息满足该双目深度估计条件的情况下，拍摄场景的亮度较高，拍摄对象处于近似静止状态，都不会影响双目深度估计算法确定深度信息的准确度，即采用双目深度估计算法确定的深度信息准确度较高。

结合第一方面，另一种可能的实现方式中，上述方法还包括：对第一深度图或第二深度图进行高斯平滑和差分操作，得到高斯差分后的图像；基于高斯差分后的图像，对单目图像进行虚化处理，得到虚化后的图像。

可以理解的是，采用本方案，在不同的拍摄场景下都能够获取较准确的深度信息。利用准确的深度信息对图像进行虚化处理，可以准确确定出距离拍摄主体较近的拍摄主体以及距离拍摄主体较远的前景和背景。进而可以实现图像中的拍摄主体清晰，以及前景和背景模糊的视觉效果，即实现了较好的图像虚化效果。

结合第一方面，另一种可能的实现方式中，上述基于高斯差分后的图像，对单目图像进行虚化处理，得到虚化后的图像，包括：确定单目图像中的拍摄主体；拍摄主体是电子设备响应于第二操作所确定的，或者是基于电子设备启动的拍摄模式确定的，或者是电子设备默认的；基于高斯差分后的图像中的像素值，对单目图像中除拍摄主体所在的区域以外的其他区域进行虚化处理，得到虚化后的图像。

该实施方式描述了对单目图像进行虚化处理的一种实现方式。

结合第一方面，另一种可能的实现方式中，上述基于高斯差分后的图像中的像素值，对单目图像中除拍摄主体所在的区域以外的其他区域进行虚化处理，得到虚化后的图像，包括：根据高斯差分后的图像中与其他区域对应的像素点的像素值，对单目图像中的其他区域进行不同程度的模糊处理，得到虚化后的图像，以使虚化后的图像中的距离拍摄主体越远的区域的模糊程度越高。

该实施方式描述了对单目图像进行虚化处理的一种实现方式。

第二方面，提供了一种电子设备，该电子设备包括：处理器、存储器和通信接口。存储器和通信接口与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。其中，当处理器执行计算机指令时，使得该电子设备执行如上述第一方面中任一项所述的图像深度估计方法。

第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令。当计算机指令在电子设备上运行时，使得该电子设备执行如上述第一方面中任一项所述的图像深度估计方法。

第四方面，提供了一种包含计算机指令的计算机程序产品，当该计算机指令在电子设备上运行时，使得电子设备执行如上述第一方面中任一项所述的图像深度估计方法。

第五方面，提供了一种装置（例如，该装置可以是芯片系统），该装置包括处理器，用于支持电子设备实现上述第一方面所述的图像深度估计方法。在一种可能的设计中，该装置还包括存储器，该存储器，用于保存电子设备必要的程序指令和数据。该装置是芯片系统时，可以由芯片构成，也可以包含芯片和其他分立器件。

其中，第二方面至第五方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的手机的硬件结构示意图；

图2为本申请实施例提供的一种图像深度估计方法的流程图；

图3为本申请实施例提供的一种启动图像虚化功能的操作示意图；

图4为本申请实施例提供的另一种启动图像虚化功能的操作示意图；

图5为本申请实施例提供的一种深度信息转换的流程示意图；

图6为本申请实施例提供的一种对相对深度图和TOF深度图进行像素点匹配得到的多个像素点对的示意图；

图7为本申请实施例提供的一种图像深度估计过程的示意图；

图8为本申请实施例提供的一种图像深度估计装置的结构示意图；

图9为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了便于对申请的技术方案进行说明，以下首先在对本申请所涉及到的一些概念进行说明。

（1）深度信息：是指拍摄对象在三维空间中距离相机的程度。其中，深度信息可以是一个数值，深度信息可以称为深度值。

本申请实施例中，深度图可以是指包含像素点的深度信息的图像。

（2）图像虚化（或称为虚化处理）：是一种图像处理技术，通过对图像中深度信息处于特定范围内的像素施加模糊效果，以实现图像中部分画面模糊的视觉效果。

本申请实施例中，图像可以包括拍摄主体、前景和背景。拍摄主体可以是指相机焦点所指的拍摄对象，例如，拍摄主体可以是人物、动物或风景等等。相机焦点变化时，拍摄主体也随之变化。图像中位于拍摄主体前方的画面可以称为前景。位于拍摄主体背后的画面可以称为背景。

可选地，虚化处理可以包括：对前景和背景中的像素施加模糊效果，并且前景和背景中距离拍摄主体越远的像素的模糊程度越大。进而实现拍摄主体清晰、以及前景和背景模糊的视觉效果。拍摄主体清晰、以及前景和背景模糊的视觉效果，与景深效果类似。景深效果是指图像中景深范围内的区域清晰成像，拍摄主体的深度信息可以是景深范围。

进一步地，虚化处理还可以包括：对前景和背景中与拍摄主体的距离超过预设距离阈值的像素采用相同的模糊程度。可以用像素的深度信息与拍摄主体的深度信息之间的差值，表示像素与拍摄主体之间的距离。

（3）双目深度估计算法：是一种利用双目相机系统来计算拍摄场景中拍摄对象的深度信息的方法。通过将两个摄像头（通常是左右两个）放置在一定距离上，通过比较两个视角下的图像来计算拍摄对象的深度信息，以得到包含拍摄对象的深度信息的深度图。

双目深度估计算法主要基于三角测量原理，具体过程可以包括：先通过两个摄像头同时对拍摄对象进行拍摄得到两帧图像；然后，根据两帧图像，测量两个摄像头拍摄同一拍摄对象的像素偏移量或视差；再通过一些几何关系和标定参数，可以计算出拍摄对象相对于相机的距离，即深度信息。这个过程需要进行立体匹配、视差计算和深度恢复等步骤。

其中，视差是指两个摄像头拍照同一拍摄对象时拍摄对象在两个图像中的位置差异。双目深度估计算法依赖于自然光，因此，拍摄场景的光线亮度对该方法的影响较大。

可选地，双目深度估计算法使用的两个摄像头采集的两帧图像可以称为双目图像。

（4）单目深度估计算法：是一种利用单个摄像机来计算拍摄场景中拍摄对象的深度信息的方法。相对于双目深度估计算法，单目深度估计算法不需要两个摄像头，只需一个摄像头即可实现深度估计。

单目深度估计算法主要基于图像中的视觉线索和机器学习算法。通过对图像进行语义分割、运动分析、纹理分析等处理，结合已有的深度信息数据库或训练好的深度预测模型，可以推断出拍摄对象的深度信息。

然而，单目深度估计算法没有真实的距离信息，这意味着单目深度估计算法无法获取表示真实距离的深度信息，只能够获取表示所有拍摄对象与相机远近程度的深度信息。表示所有拍摄对象与相机远近程度的深度信息可以称为相对深度信息。进而得到包含拍摄对象的相对深度信息的深度图。包含拍摄对象的相对深度信息的深度图像可以称为相对深度图。

可选地，双目深度估计算法获取的深度信息可以表示拍摄对象和相机之间的真实距离，可以称为绝对深度信息。包含拍摄对象的绝对深度信息的深度图可以称为绝对深度图。

可选地，单目深度估计算法使用的一个摄像头采集的一帧图像可以称为单目图像。

（5）飞行时间（time of flight，TOF）技术：是一种用于测量拍摄对象与相机之间距离的方法，通过测量光信号从发射到接收所需的时间来推断拍摄对象的距离信息。

TOF技术通常使用红外光源作为光源，发射器发射出的光源经过拍摄对象反射后由接收器接收。通过记录光源从发射到接收的时间，再结合光速，可以计算出光源在空间中传播的距离。通过对整个拍摄场景进行多次测量，就可以得到拍摄对象的深度信息。

现有技术通常采用双目深度估计算法获取绝对深度信息，基于该绝对深度信息对图像进行虚化处理。其中，双目深度估计算法需要对两个摄像头拍摄的两帧图像进行立体匹配，以确定拍摄对象在两帧图像中的位置差异（即视差）。然而，光线较暗的拍摄场景（例如，夜晚拍摄场景）、以及拍摄对象处于运动状态的拍摄场景（例如，运动拍摄场景）都会导致立体匹配出错，则确定的视差出错，进而导致根据视差确定的绝对深度信息也出错。

综上所述，现有技术采用双目深度估计算法获取的绝对深度信息受拍摄场景的影响，存在绝对深度信息不准确的问题。进一步地，电子设备基于错误的绝对深度信息对图像进行虚化处理时存在对图像中需要清晰显示的拍摄主体进行模糊处理，对图像中需要模糊化的前景和背景没有模糊处理，以及对距离拍摄主体的较远的前景和背景的模糊程度不够等问题，从而无法实现图像中的拍摄主体清晰，图像中的前景和背景模糊的视觉效果，即虚化处理后的图像的视觉效果较差。

针对上述问题，本申请实施例提供一种图像深度估计方法，电子设备响应于启动图像虚化功能的用户操作，可以对拍摄场景采集双目图像。由于拍摄场景的亮度较低、以及拍摄场景中拍摄对象处于运动状态都会导致双目深度估计算法获取的深度信息出错，因此，电子设备可以根据双目图像获取环境亮度信息和拍摄对象的运动信息等场景信息，并判断环境亮度信息和拍摄对象的运动信息等场景信息是否符合双目深度估计条件。该双目深度估计条件可以用于指示拍摄场景的亮度较高，以及拍摄对象近似处于静止状态。进而，如果场景信息符合双目深度估计条件，表示拍摄场景的亮度较高，以及拍摄对象近似处于静止状态，采用双目深度估计算法确定的深度信息准确度较高。其次，如果场景信息不符合双目深度估计条件，采用双目深度估计算法确定深度信息的出错率较高，因此，基于单目深度估计算法确定深度信息。相较于采用双目深度估计算法，基于单目深度估计算法确定的深度信息的准确度更高。

综上所述，采用本方案，在不同的拍摄场景下都能够获取较准确的深度信息，提高了图像深度估计方法的鲁棒性。进一步地，利用准确的深度信息对图像进行虚化处理，可以准确确定出距离拍摄主体较近的拍摄主体以及距离拍摄主体较远的前景和背景，进而实现图像中的拍摄主体清晰，以及前景和背景模糊的视觉效果，即实现了较好的图像虚化效果。

本申请实施例提供的图像深度估计方法可应用于电子设备。电子设备可以是不包括显示器的电子设备，例如，芯片系统。电子设备还可以是包括显示器的电子设备，例如，手机、平板电脑、笔记本电脑、以及由芯片系统和显示器组成的设备等等。本申请实施例提供的图像深度估计方法的执行主体还可以为图像深度估计装置。该图像深度估计装置可以为电子设备，或者，该图像深度估计装置可以为电子设备中的用于执行图像深度估计方法的控制单元。本申请实施例对此不做任何限制。

示例性地，下面以电子设备是手机为例，介绍电子设备的硬件结构。如图1所示，手机100可以包括处理器110，外部存储器接口120，内部存储器121，传感器模块130，显示屏140和摄像头模块150等。其中，传感器模块130可以包括触摸传感器131、图像传感器132和TOF传感器133等。摄像头模块150可包括主摄像头（或称为主摄）151、广角摄像头152和长焦摄像头153。

处理器110可以用于执行上述方法实施例中手机执行的各个功能或者步骤。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器和数字信号处理器（digital signal processor，DSP）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，存储器用于存储指令和数据，例如，存储TOF深度图。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机的存储能力。外部存储卡通过外部存储器接口120与处理器120通信，实现数据存储功能。内部存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器120通过运行存储在内部存储器120的指令，从而执行上述方法实施例中手机执行的各个功能或者步骤。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的APP等。存储数据区可存储手机使用过程中所创建的数据等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。

显示屏140用于显示界面等。该显示屏140包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），发光二极管（light-emitting diode，LED），有机发光二极管（organic light-emitting diode，OLED）等。

其中，本申请实施例中的显示屏140如果集成了触摸传感器131，则显示屏140可以称为触摸屏。该触摸传感器131也可以称为“触控面板”。也就是说，显示屏140可以包括显示面板和触摸面板。触摸传感器131用于检测作用于其上或附近的触摸操作。触摸传感器131检测到触摸操作（如，上述图像预览操作，上述拍照操作）后，可触发手机的内核层的驱动周期性地扫描该触摸操作产生的触摸参数。然后，内核层的驱动将触摸参数传递给上层的相关模块，以便于相关模块确定触摸参数对应的触摸事件。本申请实施例中以显示屏140是集成有触摸传感器131的显示屏（即触摸屏）为例，对上述图像深度估计方法的具体过程进行说明。

手机100通过GPU，显示屏140，以及AP等实现显示功能。手机100可以通过ISP、摄像头模块150，图像传感器132，视频编解码器，GPU，显示屏140以及AP等实现拍摄功能。

本申请实施例中，手机100的相机模块（或称为相机）可以包括ISP、摄像头模块150、图像传感器132等组件。手机相机通过摄像头模块150中的任意一个摄像头（如主摄151、广角摄像头152或长焦摄像头153等）捕捉光线，并将光信号传递给图像传感器132。光信号经过图像传感器132转换为原始图像（或称为raw图）。然后，手机相机通过ISP将raw图处理为YUV图像，最后再将YUV图像转换为RGB图像，以供显示和后续处理。上述这一过程可以称为摄像头采集图像。

其中，raw图是指手机相机中的感光元件（如，图像传感器132）将捕捉到的光信号转化为电信号后得到的图像。

YUV是一种颜色编码格式，其中Y表示亮度（luminance），而U和V表示色度（chrominance）。在相机模块中，raw图像通常会经过ISP处理，转换为YUV格式的图像（即YUV图像）。这个过程涉及到白平衡校正、色彩校正和降噪等算法，将raw图转化为适合人眼观看和后续处理的图像。

RGB图像是由红、绿、蓝三种颜色通道构成的图像，每个像素的颜色是由这三个通道的数值组合而成的。在手机相机中，YUV图像通常会经过进一步的图像处理，如锐化、对比度调整等，最终转换为RGB图像。RGB图像可以直接显示在手机100的显示屏140上，或者进行后续的编辑和处理，如虚化处理、模糊处理等。

其中，主摄151是相机模块中的主要摄像头，它通常具有较高的像素数量和较大的感光元件尺寸，用于拍摄高质量的照片和视频。主摄151通常具有中等的视角，可以拍摄出较为自然和接近人眼观察角度的画面。

广角摄像头152具有较短的焦距，使得它能够拍摄更宽的视野范围，能够捕捉更多的场景和环境。广角摄像头152常用于拍摄风景、室内、大群人等场景，具有广阔的视野和更强化的透视效果。

长焦摄像头153则具有较长的焦距，通过光学放大实现对远处物体的拍摄。它可以捕捉到远距离的细节，适用于拍摄远处的物体、野生动物等需要更高放大倍数的场景。

在一些实施例中，手机100在执行双目深度估计算法的过程中使用的两个摄像头可以是主摄151和广角摄像头152。

在一些实施例中，手机100在执行单目深度估计算法的过程中使用的单个摄像头可以是主摄151。

本申请实施例中，TOF传感器133可以包括发射器和接收器。为了获得TOF深度图，TOF传感器133通常会在不同的方向上发射和接收光脉冲，并通过三角测量原理或其他算法来计算每个像素点的深度信息。这样就可以得到一个包含每个像素点的深度信息的TOF深度图。

可以理解的是，本实施例示意的结构并不构成对手机的具体限定。在另一些实施例中，手机可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

需要说明的是，以下实施例中的方法均可以在具有上述硬件结构的手机100中实现。

本申请实施例中，电子设备可以包括相机模块，相机模块包括多个摄像头和TOF传感器。电子设备响应于启动图像虚化功能的用户操作，可以通过相机模块中的两个摄像头采集两帧图像，同时通过TOF传感器获取TOF深度图。由于在光线较暗的拍摄场景（例如，夜晚拍摄场景）、以及拍摄对象处于运动状态的拍摄场景（例如，运动拍摄场景）下采用双目深度估计算法获取的深度信息不准。因此，电子设备可以基于这两帧图片进行场景识别。如果是光线较亮、以及拍摄对象近似处于静止状态的拍摄场景，则电子设备可以采用双目深度估计算法获取较准确的深度信息。如果是光线较暗的拍摄场景和拍摄对象处于运动状态的拍摄场景，电子设备不采用双目深度估计算法获取深度信息，而基于单目深度估计算法获取深度信息。

进一步地，在不同的拍摄场景下电子设备采用不同的深度估计方法，也就是说，当拍摄场景发生变化时电子设备可以切换所采用的深度估计方法，例如，从双目深度估计算法切换到单目深度估计算法，或者从单目深度估计算法切换到双目深度估计算法。其中，双目深度估计算法获取的是绝对深度信息，单目深度估计算法获取的是相对深度信息，绝对深度信息和相对深度信息是不同维度的深度信息。当电子设备基于不同维度的深度信息对图像进行虚化处理时，与拍摄主体的距离相同的拍摄对象的模糊程度不同（或者说虚化程度不同），导致用户感知到与相机相同距离的拍摄对象的虚化程度发生变化。

对此，电子设备可以利用TOF深度图，将采用单目深度估计算法获取的相对深度信息转换为绝对深度信息。转换后的绝对深度信息和双目深度估计算法获取的绝对深度信息都可以表示拍摄对象和相机之间的真实距离，即转换后的绝对深度信息和双目深度估计算法是相同维度下的深度信息。那么，电子设备切换所采用的深度估计方法时不会发生与拍摄主体的距离相同的拍摄对象的虚化程度不同的情况。用户感受不到与相机相同距离的拍摄对象的虚化程度发生变化，可以实现双目深度估计算法和单目深度估计算法的无感切换。

请参考图2，为本申请实施例提供的一种图像深度估计方法的流程图。如图2所示，该方法可以包括S201-S210。

S201、接收第一操作。

电子设备可以接收用户输入的第一操作。该第一操作可以用于启动相机的图像虚化功能。

在一些实施例中，电子设备可以提供多种拍摄模式，例如，人像拍摄模式，大光圈拍摄模式，夜景拍摄模式等等。多种拍摄模式中的一部分拍摄模式具有图像虚化功能。具有图像虚化功能的拍摄模式可以称为目标拍摄模式。例如，电子设备中系统相机APP提供的目标拍摄模式可以包括：人像拍摄模式和大光圈拍摄模式。

可选地，电子设备可以在相机工作的情况下接收第一操作，该第一操作用于启动目标拍摄模式。例如，电子设备可以在图像预览的情况下接收第一操作，第一操作用于启动目标拍摄模式。

其次，电子设备还可以在相机关闭的情况下接收第一操作，该第一操作用于启动相机，以及启动相机的目标拍摄模式。例如，电子设备在系统相机APP关闭的情况下接收第一操作，该第一操作用于启动系统相机APP的人像拍摄模式下的图像预览功能。

示例性地，以电子设备为手机，以及第一操作用于启动目标拍摄模式为例介绍电子设备接收第一操作的过程，如图3中的（a）所示，手机在相机工作的情况下，显示系统相机APP的第一图像预览界面310。该图像预览界面310可以包括人像拍摄模式对应的图标311、以及大光圈拍摄模式对应的图标312。手机可以接收用户在图像预览界面310上输入的对图标311的点击操作。对图标311的点击操作用于启动人像拍摄模式。手机100响应于对图标311的点击操作，启动人像拍摄模式下的图像预览功能，并显示人像拍摄模式下的第二图像预览界面320，如图3中的（b）所示。对图标311的点击操作属于第一操作。

示例性地，以电子设备为手机，以及第一操作用于启动相机，并启动相机的目标拍摄模式为例介绍电子设备接收第一操作的过程，如图4中的（a）所示，手机显示桌面界面410，该桌面界面410包括系统相机APP的图标411。手机可以接收用户在桌面界面410上输入的对图标411的点击操作。对图标411的点击操作可以用于启动系统相机APP的人像拍摄模式下的图像预览功能。手机100响应于对图标411的点击操作，启动相机和相机的人像拍摄模式下的图像预览功能，并显示人像拍摄模式下的第二图像预览界面320，如图4中的（b）所示。对图标411的点击操作属于第一操作。

S202、响应于第一操作，对拍摄场景采集双目图像和TOF深度图。

电子设备响应于用于启动图像虚化功能的第一操作，控制电子设备中的相机模块同时对拍摄场景采集两帧图像（或称为双目图像）和TOF深度图。具体地，电子设备响应于该第一操作，可以控制相机模块中的两个摄像头采集双目图像，与此同时，控制相机模块中的TOF传感器（如，TOF传感器133）采集TOF深度图。TOF深度图包括的深度信息可以称为TOF深度信息。

在一些实施例中，双目图像可以包括两帧RGB图像。

可选地，电子设备响应于该第一操作，可以控制主摄（如，主摄151）和广角摄像头（如，广角摄像头152）分别对拍摄场景采集一帧图像，从而得到双目图像。

需要说明的是，电子设备控制主摄采集一帧图像的详细内容，以及控制广角摄像头采集一帧图像的详细内容，都可以参照上述关于“摄像头采集图像”的介绍内容。

在一些实施例中，TOF深度图的分辨率可以小于电子设备采集的图像的分辨率。例如，TOF深度图的分辨率为30×40。

示例性地，请参考图5，为本申请实施例提供的深度信息转换的流程示意图。如图5所示，电子设备采集的双目图像包括一帧图像510。电子设备还采集到TOF深度图520。

需要说明的是，图5所示的所有图像（包括图像510、TOF深度图520、相对深度图530、第二深度图540和虚化后的图像550）在实际应用中都可以为彩色图。TOF深度图520中每个像素点的颜色可以用于表示TOF深度图520中每个像素点的深度信息，例如，红色表示较大的深度信息，蓝色表示较小的深度信息，图5中未示出。也就是说，图5所示的TOF深度图520中像素点的颜色不能表示实际应用中的该像素点的TOF深度信息，但是图5所示的TOF深度图520中颜色相同的像素点的TOF深度信息是相同的。

可以理解的是，如果电子设备采集分辨率较小的TOF深度图，则电子设备可以使用性能较低的TOF传感器，性能较低的TOF传感器的成本较小。

S203、根据双目图像，获取拍摄场景的场景信息。

电子设备可以对双目图像进行信息提取，得到拍摄场景的场景信息。从而根据拍摄场景的场景信息可以判断对该拍摄场景是否可以采用双目深度估计算法。

在一些实施例中，该场景信息可以包括：环境亮度信息和/或拍摄对象的运动信息。其中，环境亮度信息可以包括亮度指数（lux index）。该亮度指数的单位为勒克斯（lux）。该亮度指数的数值大小与拍摄场景的亮度高低成反比，也就是说，该亮度指数越大，拍摄场景的亮度越低。环境亮度信息还可以包括：拍摄场景的光照强度。光照强度的数值大小与拍摄场景的亮度高低成正比，也就是说，光照强度越大，拍摄场景的亮度越高。

其次，拍摄对象的运动信息可以表示拍摄对象在双目图像中的位移量，该运动信息的单位可以是像素个数，并且，该运动信息越大表示拍摄对象的运动速度越快。

在一些实施例中，电子设备获取环境亮度信息（例如，亮度指数）可以包括：通过对双目图像中的一帧图像（例如，通过主摄采集的图像）进行亮度信息分析，得到环境亮度信息。

在一些实施例中，电子设备获取拍摄对象的运动信息可以包括：对双目图像进行关键点检测和匹配，得到关键点对应关系；该关键点对应关系用于表示一帧图像中的多个关键点（或称为第一关键点）和另一帧图像中的多个关键点（或称为第二关键点）之间的一一对应关系；然后，可以确定每个第一关键点及其对应的第二关键点在双目图像中的位移量；再根据确定的多个位移量，得到拍摄对象的运动信息。其中，一帧图像和另一帧图像均属于双目图像。

S204、判断场景信息是否满足双目深度估计条件。

电子设备得到拍摄场景的场景信息后，判断该场景信息是否满足双目深度估计条件。如果该场景信息满足双目深度估计条件，则电子设备可以采用双目深度估计算法获取深度信息，即执行S205-S206。如果该场景信息不满足双目深度估计条件，则电子设备可以采用单目深度估计算法获取深度信息，即执行S207-S208。

在一些实施例中，环境亮度信息可以包括亮度指数，相应地，双目深度估计条件可以包括：亮度指数小于预设亮度阈值（例如，350lux），和/或拍摄对象的运动信息小于预设位移阈值（例如，15个像素）。

可选地，电子设备得到的拍摄场景的场景信息包括亮度指数和拍摄对象的运动信息的情况下，则电子设备可以判断该亮度指数是否小于预设亮度阈值，以及判断该运动信息是否小于预设位移阈值。如果亮度指数小于预设亮度阈值，并且，该运动信息小于预设位移阈值，表示该场景信息满足双目深度估计条件。如果亮度指数大于预设亮度阈值，或者该运动信息大于预设位移阈值，表示该场景信息不满足双目深度估计条件。

可以理解的是，亮度指数小于预设亮度阈值时表示拍摄场景的亮度较高。拍摄对象的运动信息小于预设位移阈值时表示拍摄对象近似处于静止状态。场景信息满足双目深度估计条件（包括亮度指数小于预设亮度阈值，以及拍摄对象的运动信息小于预设位移阈值）的情况下，拍摄场景的亮度较高不会导致双目深度估计算法获取的深度信息出错，拍摄对象近似处于静止状态也不会导致双目深度估计算法获取的深度信息出错。因此，电子设备在场景信息满足双目深度估计条件时采用双目深度估计算法可以获取准确的深度信息。其次，场景信息不满足双目深度估计条件时，拍摄场景的亮度较低和拍摄对象处于运动状态中的至少一项都可以导致双目深度估计算法获取的深度信息出错。因此，在场景信息不满足双目深度估计条件时，相较于采用双目深度估计算法，电子设备基于单目深度估计算法获取的深度信息的准确度更高。

在另一些实施例中，环境亮度信息可以包括拍摄场景的光照强度，该光照强度的数值大小与拍摄场景的亮度高低成正比。相应地，双目深度估计条件可以包括：该光照强度大于预设亮度阈值（例如，350lux），和/或拍摄对象的运动信息小于预设位移阈值（例如，15个像素）。

可选地，电子设备得到拍摄场景的场景信息后，可以不执行S204，而是判断场景信息是否满足单目深度估计条件。如果该场景信息满足单目深度估计条件，则电子设备可以采用单目深度估计算法获取深度信息，即执行S207-S208。如果该场景信息不满足单目深度估计条件，则电子设备可以采用双目深度估计算法获取深度信息，即执行S205-S206。

其中，单目深度估计条件与双目深度估计条件是对立的。例如，单目深度估计条件可以包括：亮度指数大于预设亮度阈值（例如，350lux），和/或拍摄对象的运动信息大于预设位移阈值（例如，15个像素）。

S205、对双目图像进行校正，得到两帧校正后的图像。

电子设备在场景信息满足双目深度估计条件的情况下，可以先对双目图像进行校正，得到两帧校正后的图像，以用于获取深度信息。

在一些实施例中，电子设备可以先对双目图像进行极线校正，得到两帧初始校正后的图像；再对两帧初始校正后的图像进行自学习校正，得到两帧校正后的图像。

可以理解的是，由于两个摄像头采集图像的视角存在一定的差异，为了简化深度估计问题，需要将两个摄像头采集的双目图像进行极线校正。极线校正是一种将图像的扫描线与极线对齐的过程，通过利用基础矩阵计算出双目图像之间的对应关系，从而将双目图像中的对应像素点对齐在同一水平线上。其次，自学习校正是为了解决极线校正中可能存在的误差或不准确性，通过自学习校正可以提高深度估计的准确度。

S206、对两帧校正后的图像进行双目深度估计，得到第一深度图，第一深度图包括第一绝对深度信息。

电子设备可以先对两帧校正后的图像进行处理，得到视差图。该视差图可以是指包含每个像素的视差值的图像。每个视差值表示了两帧校正后的图像中对应的两个像素点之间的水平间隔。然后，电子设备可以对视差图中每个像素的视差值进行转换，得到第一深度图。第一深度图包括每个像素的深度值（或称为第一深度信息）。第一深度图中的第一深度信息可以称为第一绝对深度信息，第一深度图可以称为第一绝对深度图。

可选地，视差图的分辨率和第一深度图的分辨率，都可以等于摄像头采集的图像的分辨率。

S207、对双目图像中的单目图像进行单目深度估计，得到相对深度图。

电子设备在场景信息不满足双目深度估计条件的情况下，可以对双目图像中的一帧图像（或称为单目图像）进行单目深度估计，得到一个深度图。该深度图包括的深度信息用于表示图像中的所有拍摄对象之间的相对距离，不是所有拍摄对象与相机的真实距离。该深度图中的深度信息可以称为相对深度信息，该深度图可以称为相对深度图。

可选地，单目图像可以为电子设备中的主摄采集的图像。

示例性地，如图5所示的图像510为主摄采集的图像。电子设备可以对图像510单目深度估计，得到相对深度图530。相对深度图530中每个像素点的像素值可以用于表示每个像素点的相对深度信息，并且，相对深度信息相同的像素点的颜色可以相同。

需要说明的是，相对深度图530中每个像素点的颜色可以用于表示相对深度图530中每个像素点的深度信息，例如，红色表示较大的深度信息，蓝色表示较小的深度信息，图5中未示出。也就是说，图5所示的相对深度图530中像素点的颜色不能表示实际应用中的该像素点的相对深度信息，但是图5所示的相对深度图530中颜色相同的像素点的相对深度信息是相同的。

S208、根据TOF深度图，对相对深度图进行转换，得到第二深度图，第二深度图包括第二绝对深度信息。

电子设备可以根据已采集到的TOF深度图、以及相对深度图，确定目标转换参数；该目标转换参数可以将相对深度信息转换为绝对深度信息。然后，利用该目标转换参数对相对深度图中每个像素的相对深度信息进行转换，得到包括第二深度信息的第二深度图。其中，该第二深度信息可以称为第二绝对深度信息，第二深度图可以称为第二绝对深度图。

在一些实施例中，电子设备可以采用最小二乘法，对TOF深度图和相对深度图进行处理，得到目标转换参数。该目标转换参数可以包括目标比例因子（scale）和目标偏移量（shift）。其中，电子设备采用最小二乘法对TOF深度图和相对深度图进行处理，得到目标转换参数可以包括：先对TOF深度图和相对深度图进行像素点匹配，得到多个像素点对；再根据多个像素点对中各个像素点对的相对深度信息和TOF深度信息，计算得到目标转换参数。每个像素点对可以包括：TOF深度图中的一个像素点和相对深度图中的一个相似点。

示例性地，结合图5，如图6所示，电子设备可以对TOF深度图520和相对深度图530进行像素点匹配，得到多个像素点对。该多个像素点对可以包括：多个圆圈531所示的TOF深度图520中的多个像素点。该多个像素点对还可以包括相对深度图530中的多个像素点，相对深度图530中的多个像素点可以是相对深度图530中与多个圆圈531的位置对应的多个像素点。

需要说明的是，每个圆圈531的颜色可以用于表示TOF深度图520中的每个像素点的深度信息，例如，红色表示较大的深度信息，蓝色表示较小的深度信息，图6中未示出。

其次，图6中的每个圆圈531的大小也不能表示像素点的实际大小。

进一步地，电子设备可以利用预设目标函数，对多个像素点对中各个像素点对的相对深度信息和TOF深度信息进行计算，得到目标转换参数。预设目标函数用于表示多个像素点对的多个TOF深度信息和多个转换后的深度信息之间的差值的平方和，多个转换后的深度信息是利用目标转换参数对多个像素点对的第三深度信息进行转换得到的。

可选地，预设目标函数可以为如下公式（1）所示的第一目标函数。电子设备可以将多个像素点对中各个像素点对的相对深度信息和TOF深度信息，代入第一目标函数中，计算得到目标比例因子和目标偏移量。该第一目标函数用于表示最小二乘准则。利用该第一目标函数可以计算得到使第一目标函数最小化的一个比例因子s和一个偏移量t，该比例因子s是目标比例因子，该偏移量t是目标偏移量。

（1）

其中，M是多个像素点对包括的像素点对的总个数。是多个像素点对中第i个像素点的相对深度信息。/>是第二像素点对中第i个像素点的TOF深度信息。相对深度图中的第i个像素点和TOF深度图中的第i个像素点组成一个像素点对。

可以理解的是，第一目标函数用于表示TOF深度信息和转换后的绝对深度信息之间的差值的平方和，并且，转换后的绝对深度信息是利用比例因子s和偏移量t对相对深度信息进行转换得到的。使第一目标函数最小化的比例因子s和偏移量t（即目标比例因子和目标偏移量）可使TOF深度信息和转换后的绝对深度信息之间的差值的平方和最小。

可选地，预设目标函数可以为如下公式（2）所示的第二目标函数。电子设备可以根据第i个像素点的相对深度信息，生成相对深度向量。/>。T表示转置操作。然后，电子设备可以将各个像素点的相对深度向量和TOF深度信息，代入第二目标函数中，计算得到目标转换参数。目标转换参数是使第二目标函数最小化的一个转换参数h。转换参数h可以是由比例因子s和偏移量t组成的向量，/>。目标转换参数包括的比例因子s为目标比例因子，目标转换参数h包括的偏移量t为目标偏移量。

（2）

其中，opt表示求解使第二目标函数最小化的一个转换参数h。

可以理解的是，第二目标函数也可以用于表示TOF深度信息和转换后的绝对深度信息之间的差值的平方和，并且，转换后的绝对深度信息是利用转换参数h对相对深度信息进行转换得到的。使第二目标函数最小化的转换参数h（即目标转换参数）可使TOF深度信息和转换后的绝对深度信息之间的差值的平方和最小。

可选地，第二目标函数也可以替换为如下公式（3）所示的解析函数。该解析函数也可以用于计算使得TOF深度信息和转换后的绝对深度信息之间的差值的平方和最小的转换参数h（即目标转换参数）。

（3）

可选地，电子设备得到目标比例因子和目标偏移量后，可以利用如下公式（4），对相对深度图中每个像素的相对深度信息d进行转换，得到每个像素的第二绝对深度信息。进而得到包括所有像素点的第二绝对深度信息的第二深度图。

（4）

示例性地，如图5所示，电子设备可以根据TOF深度图520，对相对深度图530进行转换，得到第二深度图540。第二深度图540中每个像素点的像素值可以用于表示每个像素点的第二绝对深度信息，第二绝对深度信息相同的多个像素点的像素值相同。

需要说明的是，第二深度图540中每个像素点的颜色可以用于表示第二深度图540中每个像素点的深度信息，例如，红色表示较大的深度信息，蓝色表示较小的深度信息，图5中未示出。也就是说，图5所示的第二深度图540中像素点的颜色不能表示实际应用中的该像素点的第二绝对深度信息，但是图5所示的第二深度图540中颜色相同的像素点的第二绝对深度信息是相同的。

其中，电子设备通过主摄采集的图像510中的人可以为拍摄主体。图像510中位于人背后的背景包括物体511、物体512和物体513。在对图像510进行单目深度估计得到的相对深度图530中，物体511的颜色、物体512的颜色和物体513的颜色基本相同，表示物体511的相对深度信息、物体512的相对深度信息和物体513的相对深度信息相同。然而，在实际的拍摄场景中这三个物体（包括物体511、物体512和物体513）与人的距离是越来越远的。进而可知，这三个物体的相对深度信息和这三个物体和人的真实距离不一致。对此，电子设备可以根据TOF深度图520，对相对深度图530进行转换，得到第二深度图540。在第二深度图540中，物体511的颜色与另外两个物体（包括物体512和物体513）的颜色都不同，表示物体511的第二绝对深度信息与另外两个物体的第二绝对深度信息都不同，与物体511与人的真实距离不同于另外两个物体与人的真实距离一致。

在一些实施例中，电子设备可以对前景和背景中与拍摄主体的距离超过预设距离阈值的像素采用相同的模糊程度，因此，电子设备根据TOF深度图，对相对深度图进行转换得到第二深度图后，可以将第二深度图中大于预设距离阈值的第二深度信息都设置为相同的数值（例如，预设距离阈值），得到更新后的第二深度图。

示例性地，如图5所示，在实际的拍摄场景中，物体512与人的距离和物体513与人的距离不同，并且，物体512和物体513与人的距离都较远，可能超过预设距离阈值。电子设备可以将第二深度图540中的物体512的第二深度信息和物体513的第二深度信息都设置为预设距离阈值，因此，第二深度图540中物体512的颜色和物体513的颜色相同。

需要说明的是，相较于将整个TOF深度图和相对深度图输入到一个网络模型中，以使该网络模型基于整个TOF深度图和相对深度图将相对深度信息转换为绝对深度信息，本申请实施例中的电子设备从TOF深度图和相对深度图中确定匹配的多个像素点对，利用多个像素点对将相对深度信息转换为第二绝对深度信息的技术方案，对TOF深度图的分辨率和准确度要求较低，对采集TOF深度图的TOF传感器的性能要求也较低。性能较低的TOF传感器的成本较小。

S209、对绝对深度图进行高斯平滑和差分操作，得到高斯差分后的图像。

电子设备得到绝对深度图（即第一深度图或第二深度图）后，可以对该深度图进行高斯平滑和差分操作，得到高斯差分后的图像。可选地，高斯差分后的图像可以称为sigma图。电子设备通过对深度图进行高斯平滑和差分操作，来提取出深度变化较大的区域，即物体边缘。sigma图是一种表示深度变化较大的区域的图像。

在一些实施例中，电子设备对该深度图进行高斯平滑和差分操作得到sigma图可以包括：先对深度图进行高斯模糊（Gaussian blur），得到高斯模糊后的深度图；再对高斯模糊后的深度图进行差分，得到sigma图。

在一些实施例中，绝对深度图（即第一深度图或第二深度图）的分辨率和双目图像的分辨率可以相同。sigma图的分辨率和双目图像的分辨率也可以相同。

S210、基于高斯差分后的图像，对单目图像进行虚化处理，得到虚化后的图像。

电子设备可以基于sigma图中像素点的像素值，对单目图像进行虚化处理，得到虚化后的图像。例如，如图5所示，电子设备对单目图像510进行虚化处理，得到虚化后的图像550。

进一步地，电子设备可以在拍摄界面上显示虚化后的图像。例如，如图3中的（b）所示，手机100在第二图像预览界面320上显示虚化后的图像。

在一些实施例中，电子设备可以先确定拍摄主体；然后，对单目图像中的拍摄主体所在的区域保持不变；还根据sigma图中像素点的像素值，对单目图像中除拍照主体所在的区域以外的其他区域进行模糊处理，得到虚化后的图像。其中，其他区域包括背景所在的区域和前景所在的区域。

可选地，电子设备可以自动确定默认的拍摄主体，或者基于启动的拍摄模式确定拍摄主体，又或者响应于用户输入的第二操作确定该第二操作所选的拍摄主体。例如，如图3中的（b）所示，电子设备在启动的拍摄模式为人像拍摄模式的情况下，确定拍摄主体为人。又例如，电子设备确定第二操作所选中的区域为拍摄主体。

可选地，电子设备可以根据sigma图中与其他区域对应的像素点的像素值，对单目图像中其他区域进行不同程度的模糊处理，得到虚化后的图像。该虚化后的图像中的其他区域的模糊程度不同。例如，该虚化后的图像中距离拍摄主体越远的区域的模糊程度越高。

可选地，电子设备根据sigma图中像素点的像素值，对单目图像中的其他区域进行模糊处理，得到虚化后的图像可以包括：采用目标滤波方法，根据sigma图中像素点的像素值，对单目图像中的其他区域进行不同程度的滤波处理（例如，对单目图像中的其他区域进行不同程度的滤波处理），得到虚化后的图像。目标滤波方法可以包括以下至少一项：圆形滤波、以及无限脉冲响应（Infinite Impulse Response，IIR）滤波等。

需要说明的是，电子设备执行S209- S210的过程，可以称为虚化处理过程。

请参考图7，为本申请实施例提供的另一种图像深度估计方法的流程图。如图7所示，电子设备采集得到双目图像和TOF深度图后，可以不执行S203-S203，而是将双目图像输入到二分类模型中，进行场景识别，二分类模型输出场景信息满足或不满足双目深度估计条件。

然后，电子设备在场景信息满足双目深度估计条件的情况下，可以不执行S205-S206，而是将双目图像输入到双目深度估计网络，进行视差测量，得到视差图；再对该视差图中每个像素的视差值进行转换，得到第一绝对深度图（即第一深度图）。

或者，电子设备在场景信息不满足双目深度估计条件的情况下，可以不执行S207，而是将双目图像中的一帧图像（即单目图像）输入到单目深度估计网络，得到相对深度图；再利用TOF深度图，对相对深度图进行转换，得到第二绝对深度图（即第二深度图）。

进一步地，电子设备可以对第一绝对深度图或第二绝对深度图进行高斯平滑和差分操作，得到高斯差分后的图像。最后，基于高斯差分后的图像，对单目图像进行虚化处理，得到虚化后的图像。

可选地，双目深度估计网络和双目深度估计网络都可以是卷积神经网络。

可以理解的是，上述电子设备（如，手机）为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，参照图8所示，本申请实施例提供了一种应用于电子设备中的图像深度估计装置，该图像深度估计装置可以实施前述实施例提供的图像深度估计方法。实际中该图像深度估计装置可以为电子设备中的处理器。该图像深度估计装置可以包括：采集模块710、图像处理模块720和深度信息获取模块730。

其中，采集模块710，用于响应于用于启动图像虚化功能的第一操作，采集双目图像；双目图像包括两帧图像；

图像处理模块720，用于根据双目图像，获取拍摄场景的场景信息；

深度信息获取模块730，用于：在场景信息符合双目深度估计条件的情况下，采用双目深度估计算法对双目图像进行深度估计，得到第一深度图；在场景信息不符合双目深度估计条件的情况下，基于单目深度估计算法和双目图像中的单目图像，得到第二深度图；单目图像为双目图像包括的两帧图像中的任一帧图像。其中，双目深度估计条件用于指示以下至少一项：双目图像中的拍摄对象清晰、以及双目图像中的拍摄对象相同。

可选地，第一深度图包括的第一深度信息和第二深度图包括的第二深度信息均为绝对深度信息。采集模块710，还用于响应于第一操作，采集飞行时间TOF深度图。深度信息获取模块730，具体用于：采用单目深度估计算法对单目图像进行深度估计，得到第三深度图；第三深度图包括的第三深度信息为相对深度信息；根据TOF深度图，对第三深度图进行转换，得到第二深度图。

可选地，深度信息获取模块730，具体用于：根据TOF深度图和第三深度图，确定目标转换参数；目标转换参数用于将相对深度信息转换为绝对深度信息；利用目标转换参数，对第三深度图中的第三深度信息进行转换，得到第二深度图。

可选地，深度信息获取模块730，具体用于：对TOF深度图和第三深度图进行像素点匹配，得到第一像素点对；第一像素点对中每个像素点对包括：TOF深度图中的一个像素点和第三深度图中的一个像素点；根据第一像素点对中各个像素点对的TOF深度信息和第三深度信息，以及预设目标函数，确定使预设目标函数最小化的目标转换参数。

其中，预设目标函数用于表示TOF深度信息和转换后的深度信息之间的差值的平方和，转换后的深度信息是利用目标转换参数对第三深度信息进行转换得到的。

可选地，场景信息包括：亮度指数和拍摄场景中拍摄对象的运动信息；亮度指数的数值大小和所述拍摄场景的亮度高低成反比；拍摄对象的运动信息用于表示拍摄对象在双目图像中的位移量。双目深度估计条件包括：亮度指数小于预设亮度阈值，以及拍摄对象的运动信息小于预设位移阈值。

可选地，该图像深度估计装置还可以包括：图像虚化模块740。图像虚化模块740，用于：对第一深度图或第二深度图进行高斯平滑和差分操作，得到高斯差分后的图像；基于高斯差分后的图像，对单目图像进行虚化处理，得到虚化后的图像。

可选地，图像虚化模块740，具体用于：确定单目图像中的拍摄主体；拍摄主体是电子设备响应于第二操作所确定的，或者是基于电子设备启动的拍摄模式确定的，或者是电子设备默认的；基于高斯差分后的图像中的像素值，对单目图像中除拍摄主体所在的区域以外的其他区域进行虚化处理，得到虚化后的图像。

可选地，图像虚化模块740，具体用于：根据高斯差分后的图像中与其他区域对应的像素点的像素值，对单目图像中的其他区域进行不同程度的模糊处理，得到虚化后的图像。虚化后的图像中的距离拍摄主体越远的区域的模糊程度越高。

关于上述实施例中的图像深度估计装置，其中各个模块执行操作的具体方式已经在前述实施例中的图像深度估计的实施例中进行了详细描述，此处不再具体阐述。其相关的有益效果也可参照前述图像深度估计的相关有益效果，此处不再赘述。

本申请实施例还提供一种电子设备，该电子设备包括：存储器和一个或多个处理器；存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如前述实施例提供的图像深度估计方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如前述实施例提供的图像深度估计方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包含可执行指令，当该计算机程序产品在电子设备上运行时，使得电子设备执行如前述实施例提供的图像深度估计方法。

本申请实施例还提供一种芯片系统，如图9所示，该芯片系统800包括至少一个处理器801和至少一个接口电路802。处理器801和接口电路802可通过线路互联。例如，接口电路802可用于从其它装置（例如电子设备的存储器）接收信号。又例如，接口电路802可用于向其它装置（例如处理器801）发送信号。

示例性的，接口电路802可读取存储器中存储的指令，并将该指令发送给处理器801。当指令被处理器801执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像深度估计方法，其特征在于，应用于电子设备，所述方法包括：

响应于用于启动图像虚化功能的第一操作，采集双目图像；所述双目图像包括两帧图像；

根据所述双目图像，获取拍摄场景的场景信息；

在所述场景信息符合双目深度估计条件的情况下，采用双目深度估计算法对所述双目图像进行深度估计，得到第一深度图；其中，所述双目深度估计条件用于指示所述双目图像中的拍摄对象清晰、以及所述双目图像中的所述拍摄对象相同；

在所述场景信息不符合所述双目深度估计条件的情况下，基于单目深度估计算法和所述双目图像中的单目图像，得到第二深度图；所述单目图像为所述双目图像包括的所述两帧图像中的任一帧图像；

其中，所述第一深度图包括的第一深度信息和所述第二深度图包括的第二深度信息均为绝对深度信息；

所述方法还包括：响应于所述第一操作，采集飞行时间TOF深度图；

所述基于单目深度估计算法和所述双目图像中的单目图像，得到第二深度图，包括：

采用所述单目深度估计算法对所述单目图像进行深度估计，得到第三深度图；所述第三深度图包括的第三深度信息为相对深度信息；

根据所述TOF深度图，对所述第三深度图进行转换，得到所述第二深度图。

2.根据权利要求1所述的方法，其特征在于，所述根据所述TOF深度图，对所述第三深度图进行转换，得到所述第二深度图，包括：

根据所述TOF深度图和所述第三深度图，确定目标转换参数；所述目标转换参数用于将相对深度信息转换为绝对深度信息；

利用所述目标转换参数，对所述第三深度图中的所述第三深度信息进行转换，得到所述第二深度图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述TOF深度图和所述第三深度图，确定目标转换参数，包括：

对所述TOF深度图和所述第三深度图进行像素点匹配，得到多个像素点对；所述多个像素点对中的每个像素点对包括：所述TOF深度图中的一个像素点和所述第三深度图中的一个像素点；

根据所述多个像素点对中各个像素点对的TOF深度信息和第三深度信息，以及预设目标函数，确定使所述预设目标函数最小化的所述目标转换参数；其中，所述预设目标函数用于表示所述TOF深度信息和转换后的深度信息之间的差值的平方和，所述转换后的深度信息是利用所述目标转换参数对所述第三深度信息进行转换得到的。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述场景信息包括：亮度指数和所述拍摄场景中拍摄对象的运动信息；所述亮度指数的数值大小和所述拍摄场景的亮度高低成反比；所述拍摄对象的运动信息用于表示所述拍摄对象在所述双目图像中的位移量；

所述双目深度估计条件包括：所述亮度指数小于预设亮度阈值，以及所述拍摄对象的运动信息小于预设位移阈值；其中，所述亮度指数小于所述预设亮度阈值用于指示所述双目图像中的所述拍摄对象清晰；所述拍摄对象的运动信息小于所述预设位移阈值用于指示所述双目图像中的所述拍摄对象相同。

5.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

对所述第一深度图或所述第二深度图进行高斯平滑和差分操作，得到高斯差分后的图像；

基于所述高斯差分后的图像，对所述单目图像进行虚化处理，得到虚化后的图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述高斯差分后的图像，对所述单目图像进行虚化处理，得到虚化后的图像，包括：

确定所述单目图像中的拍摄主体；所述拍摄主体是所述电子设备响应于第二操作所确定的，或者是基于所述电子设备启动的拍摄模式确定的，或者是所述电子设备默认的；

基于所述高斯差分后的图像中的像素值，对所述单目图像中除所述拍摄主体所在的区域以外的其他区域进行虚化处理，得到所述虚化后的图像。

7.根据权利要求6所述的方法，其特征在于，所述基于所述高斯差分后的图像中的像素值，对所述单目图像中除所述拍摄主体所在的区域以外的其他区域进行虚化处理，得到所述虚化后的图像，包括：

根据所述高斯差分后的图像中与所述其他区域对应的像素点的像素值，对所述单目图像中的所述其他区域进行不同程度的模糊处理，得到所述虚化后的图像，所述虚化后的图像中的距离所述拍摄主体越远的区域的模糊程度越高。

8.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信接口；所述存储器和所述通信接口与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；其中，当所述处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令；当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。

10.一种芯片系统，其特征在于，所述芯片系统包括处理器和接口电路，所述处理器和所述接口电路通过线路互联；其中，所述接口电路用于接收来自电子设备的信号，并向所述处理器发送所述信号，所述信号包括计算机指令；当所述处理器执行所述计算机指令时，使得所述芯片系统执行如权利要求1-7中任一项所述的方法。