CN106454090B - 基于深度相机的自动对焦方法及系统 - Google Patents

Abstract

本发明涉及自动对焦领域，特别是涉及一种利用深度相机获取深度信息以实现自动对焦的方法和相机系统，该方法包括以下步骤：S1：利用变焦相机获取目标区域的非深度图像；S2：获取该非深度图像中需要对焦的对焦区域；S3：所述深度相机根据该对焦区域，在采集图像的对应位置上，截取仅包括该对焦区域的深度提取区域，利用深度相机仅获取该深度提取区域的深度图像，根据该深度提取区域计算该对焦区域的深度信息；S4：根据所述深度信息通过所述变焦相机进行自动对焦，本发明可以实现对目标空间中任一位置实现快速且高精度的自动对焦。

Description

基于深度相机的自动对焦方法及系统

技术领域

本发明涉及自动对焦领域，特别是涉及一种利用深度相机获取深度信息以实现自动对焦的方法和相机系统。

背景技术

自动对焦技术是实现相机拍摄高质量图像的关键，自动对焦技术主要分为被动式和主动式自动对焦。被动式自动对焦是利用被对焦物体在像面所成的图像的清晰度来进行对焦，一般地，需要经过爬山法或者梯度下降等算法进行迭代，即通过一次次的调整焦距直到图像最为清晰为至，这种方法优点在于不需要利用其他装置，缺点在于对焦速度较慢。主动式自动对焦是根据被对焦物体距离镜头的深度值来实现对焦，用于测量物体深度值的方法有激光测距法、超声测距法等等，这种方法的优点在于能快速进行自动对焦，不足之处在于需要额外的装置来测量深度。

随着近年来摄像头数量的增加，比如双摄像头的出现，主动式自动对焦技术又出现了利用双目视觉法计算出深度然后实现对焦。事实上，由于双目视觉计算深度的算法较为复杂，且精度不能保证，因而这种自动对焦技术也不能达到很好的效果。

目前的基于深度相机的主动式对焦技术，对于深度信息的获取一般是在获取目标区域之前就完成所有深度图像的深度信息的获取，这样就存在这样一个问题，由于事先需要对整幅图像进行深度信息计算，并存储所有的深度信息，导致目前的自动对焦技术计算量非常大，特别是，针对类似于摄影等的动态模式下，因为需要实时保证图像的清晰，所以对焦的过程需要一直运行，目前最低帧率也要20-30FPS左右，每一帧下针对视野范围内的图像的每个像素完成深度信息的获取，显然这个计算量非常大，如果针对更高的帧率，这一计算量将更大，所以对焦速度将变得很慢，直接导致拍摄的图像清晰度降低。

另外，上述的基于深度相机的自动对焦技术，由于计算量大，对于多点对焦的更加不堪重负，所以不能实现多点对焦的功能。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明目的在于提出一种基于深度相机的自动对焦方法及系统，以解决上述现有技术存在的获取深度信息不当导致的计算量大、无法很好流畅的自动对焦的技术问题。

为此，本发明提出一种基于深度相机的自动对焦方法，包括以下步骤：

S1：利用变焦相机获取目标区域的非深度图像；

S2：获取该非深度图像中需要对焦的对焦区域；

S3：所述深度相机根据该对焦区域，在采集图像的对应位置上，截取仅包括该对焦区域的深度提取区域，利用深度相机仅获取该深度提取区域的深度图像，根据该深度提取区域计算该对焦区域的深度信息；

S4：根据所述深度信息通过所述变焦相机进行自动对焦。

优选地，本发明提供的方法还可以具有如下特征或步骤：

所述深度提取区域的大小大于所述对焦区域的大小。

此外为了解决多点对焦的问题，步骤S2中，该非深度图像中包括一个或一个以上的需要对焦的对焦区域。

同时，针对多点对焦的问题，步骤S3中，所述深度相机根据一个以上的该对焦区域，在采集图像的对应的一个以上的位置上，截取对应个数的仅包括该对焦区域的深度提取区域，利用深度相机分别获取各所述深度提取区域的深度图像，根据各所述深度提取区域计算各所述对焦区域的多个深度信息，步骤S4中，根据所述多个深度信息通过所述变焦相机进行自动对焦。

对于单点对焦，步骤S3中，所述深度相机根据该对焦区域，在采集图像的对应位置上，截取一个仅包括该对焦区域的深度提取区域，利用深度相机仅获取该深度提取区域的深度图像，根据该深度提取区域计算该对焦区域的深度信息。

上述步骤S3中，包括以下步骤：

S31：利用所述深度相机获取所述深度提取区域的深度图像；

S32：将所述深度相机与所述变焦相机进行配准，获取非深度图像中对焦区域各像素的深度值；

S33：根据所述对焦区域各像素的深度值计算出该区域的深度信息。

获取所述对焦区域中各像素的深度值后，若对焦区域为单个像素点，则将该像素点的深度值直接作为深度信息进行自动对焦；

若所述对焦区域中包含多个像素，则需要将多个像素的深度值融合成单一的深度值，得到该区域的单一深度信息。

按深度值大小分布情况，选取中间分布的像素的深度值来做平均，从而得到该对焦区域的单一深度信息。

对于动态目标和静态目标，步骤S2中，所述对焦区域包括动态对焦区域和静态对焦区域，步骤S3中，根据所述对焦区域的状态对采集图像的对应截取深度提取区域。

另外本发明还提出了一种基于深度相机的自动对焦系统，利用上述任一项所述的自动对焦方法执行对焦，包括深度相机单元、变焦相机单元、处理器单元以及控制器单元，深度相机单元以及变焦相机单元分别获取对焦区域的深度图像以及非深度图像；处理器单元用于获取非深度图像中的对焦区域以及该对焦区域的深度信息；控制器单元用于根据深度信息对变焦相机进行自动对焦。

本发明与现有技术对比的有益效果包括：本发明的自动对焦方法是在获取目标区域的非深度图像，并在非深度图像中获取需要对焦的对焦区域后才对利用深度相机获取深度图像，并且所用来提取深度图像的深度提取区域仅仅包括对焦区域所在的区域，截取了采集图像上除对焦区域以外的其他区域，以此来获取深度信息，这样相比于现有的深度信息获取方法，一方面，对比于采用双目视觉法通过获取第一和第二目标图像经过一套复杂的算法来获取深度值而言，本方法可以对目标空间中任一位置实现快速且高精度的自动对焦，优于目前主动式自动对焦的方法，同时优于基于激光测距等被动式自动对焦的方法，另一方面，自动对焦的计算量大大降低，无需事先全部计算出全部的深度信息，帧率的影响较小，就算基于帧率较高的情况下，也能快速对焦，特别的，本发明更加适用于动态目标的快速对焦，实施对焦的效果大大提高，使得拍摄的图像更为清晰，可以流畅的自动对焦。

附图说明

图1是本发明具体实施方式一的系统框图；

图2是本发明具体实施方式一中自动对焦系统设于移动终端上示意图；

图3是本发明具体实施方式二的流程图；

图4是本发明具体实施方式三的流程图；

图5是本发明具体实施方式二和三的光路示意图。

图6为本发明具体实施方式二中变焦相机单元获取的非深度图像示意图。

图7为本发明具体实施方式二中深度相机单元的采集模组获取的深度图像示意图。

图8为本发明具体实施方式二和三中配准和自动对焦的示意图。

图9为本发明具体实施方式二对焦后的非深度图像。

图10为本发明具体实施方式三的变焦相机单元获取的非深度图像示意图。

图11为本发明具体实施方式三的深度相机单元的采集模组获取的深度图像示意图。

图12为本发明具体实施方式三的对焦后非深度图像。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

实施例一：

本实施例提出了一种基于深度相机的自动对焦系统，如图1所示，包括深度相机单元1、变焦相机单元2 、处理器单元3 以及控制器单元4，深度相机单元1 以及变焦相机单元2 分别获取对焦区域的深度图像以及非深度图像；处理器单元3 用于获取非深度图像中的对焦区域以及该对焦区域的深度信息；控制器单元4 用于根据深度信息对变焦相机进行自动对焦。

本实施例中，深度相机单元1可以是基于结构光原理或基于TOF原理的深度相机。

基于结构光原理的深度相机一般由激光投射模组以及采集模组12组成，通过投射模组向目标空间投射经编码的结构光图案，采集模组12采集到被空间物体深度调制后的结构光图像，再利用三角法计算出图像中各像素的实际深度值。

基于TOF原理的相机一般由发射模块以及接收模块组成，其中发射模块向目标5连续发射光脉冲，并由接收模块接收到对应的光脉冲后记录光脉冲在空间中的飞行时间，最后通过换算得到目标物体的深度信息。

本实施例中，如图2所示，为设有基于结构光的深度相机的移动终端A，包括激光投射模组和采集模组12以及变焦相机，三者呈一字型排列。

变焦相机单元2 由图像传感器，如CCD或者CMOS，以及变焦镜头组成。另外，在图像传感器以及变焦镜头之间可以通过增加不同的滤光片以实现对不同波长光源感光，从而拍摄出不同颜色的图像。比如，当不增加滤光片或透明滤光片时，拍摄的图像为黑白图像；当为拜尔滤光片时，拍摄的是彩色RGB图像；当为红外或紫外滤光片时，拍摄的是红外或紫外图像；也可以是多种滤光片的组合，比如RGB-IR滤光片，此时拍摄的图像中包含红、蓝、绿及红外信息，通过插值后能得到RGB图像以及红外图像。

处理器单元3 通过芯片以及应用的组合来实现对相机所采集到的数据进行处理。需要说明的是，对于深度相机单元1中将采集模组12或接收模块直接获得的数据进一步转化成深度数据的过程也需要处理器的处理，这个处理器可以是另外专用的芯片，也可以由本处理器单元3 完成，这一技术为共知技术，将不再特别说明。

对于本自动对焦相机系统而言，处理器单元3 用于获取非深度图像中需要对焦的区域以及该区域的单一深度信息。

实施例二：

本实施例中，如图3所示，根据实施例一提出的基于深度相机的自动对焦系统，提出了一种基于深度相机的自动对焦方法，本实施例主要用于单点对焦，可参照光路图5。

首先，S1、利用变焦相机获取目标区域的非深度图像8。

如图6所示，变焦相机获取非深度图像8，这时的非深度图像8中的目标5 可以是动态的，也可以是静态的，主要是相机的工作模式而定。

其次，S2、获取该非深度图像8中需要对焦的对焦区域7；

一般地，非深度图像8中运动物体常被默认为需要对焦的对象，比如人或动物；也常将中间区域作为默认对焦区域7；因而，可以通过程序设置出默认对焦的像素区域。另外，也可以通过人工主动选取的方式，比如通过手指触摸图像区域的方式获取对焦区域7。被选中的区域一般具有一定的大小和形状，同样可以程序默认或手选，比如方形、圆形等，也可以是一个具体地像素点，在这里不做限制。

本实施例中，单点对焦的模式下所述非深度图像8中包括一个需要对焦的对焦区域7，且所述对焦区域7包括动态对焦区域和静态对焦区域，根据目标的状态获取对焦区域7。

其次，如图7所示，S3、所述深度相机根据该对焦区域，在采集图像9的对应位置上，截取一个仅包括该对焦区域的深度提取区域6，利用深度相机仅获取该深度提取区域6的深度图像，根据该深度提取区域6计算该对焦区域的深度信息。

由于仅需要对焦区域的深度信息，因而无需让深度相机获取整个空间的深度图像。但另一方面，由于深度相机与变焦相机处在不同的位置上，具体地，可以将深度相机与变焦相机平行设置，也可以以一定的角度相对设置，这就导致深度相机以及变焦相机存在视差，即同一空间点在深度图像与非深度图像8上所处的像素位置不相同。但预先由于不知道各自像素之间的一一对应关系，因而就需要利用深度相机获取比对焦区域更大的深度提取区域6的深度图像，保证对焦区域中所有像素在深度提取区域6中有与之对应的深度值。接下来，为了获取非深度图像8中对焦区域中各像素的深度值，需要先对深度相机与变焦相机进行配准。

如图8所示，配准，即利用深度相机以及变焦相机的相对位置关系组成的外参以及相机各自参数组成的内参，利用针孔相机模型以及三角法找到深度相机以及变焦相机各像素的一一对应关系。具体地配准原理为已有技术，在此不做详述。配准后，非深度图像8中需要对焦区域上各像素的深度值等于深度图像中对应像素的深度值。

最后，S4、根据所述深度信息通过所述变焦相机进行自动对焦。如图8所示， 10为对焦区域图像，图9中的13为单点对焦最终的非深度图像。

获取对焦区域中各像素的深度值后，若对焦区域为单个像素点，该像素点的深度值就可以直接用来进行自动对焦。若对焦区域中包含多个像素点，则需要将多个像素点的深度值融合成单一的深度值。优选地，取该区域中各像素的深度值的平均值作为该区域的单一深度信息；进一步的，为了避免个别像素深度值太大或太小从而影响区域中对焦对象的准确深度，按深度值大小分布情况，选取中间分布的像素的深度值来做平均，从而得到该区域的单一深度信息。也可以通过其他方法来获取，在此不作限定。

这里需要说明的是，若要想实现非深度图像中所有像素区域的对焦，就需要得到所有像素的深度值，为此要求深度相机的FOV应不小于对焦相机的FOV。一个实施例中，深度相机中的接收模组的镜头为广角镜头，而对焦相机的镜头的长焦镜头。所以，所述的深度相机的视场角不小于变焦相机的视场角。

控制器单元用于根据深度信息对变焦相机进行自动对焦。在获取了需要对焦区域的单一深度信息后，调整变焦相机镜头的焦距以满足对该深度处聚焦。调整可以通过预先设定的程序来完成，具体地，焦距大小与深度大小之间有一定的关系，将该关系以程序的形式保存在相机系统的存储中，当获取到单一的深度信息后，根据程序计算出调整的量，然后由控制器单元实现自动对焦。这里所述的存储器单元几乎在所有的电子设备中都存在，都用来存储数据，因而被默认存在于本系统中，这里不加以详细描述。

本实施例的自动对焦方法是在获取目标区域的非深度图像，并在非深度图像中获取需要对焦的对焦区域后才对利用深度相机获取深度图像，并且所用来提取深度图像的深度提取区域6仅仅包括对焦区域所在的区域，截取了采集图像9 上除对焦区域以外的其他区域，以此来获取深度信息，这样相比于现有的深度信息获取方法，一方面，对比于采用双目视觉法通过获取第一和第二目标图像经过一套复杂的算法来获取深度值而言，本方法可以对目标空间中任一位置实现快速且高精度的自动对焦，优于目前主动式自动对焦的方法，同时优于基于激光测距等被动式自动对焦的方法，另一方面，自动对焦的计算量大大降低，无需事先全部计算出全部的深度信息，帧率的影响较小，就算基于帧率较高的情况下，也能快速对焦，特别的，本发明更加适用于动态目标的快速对焦，实施对焦的效果大大提高，使得拍摄的图像更为清晰，可以流畅的自动对焦。

实施例三：

本实施例中，如图4所示，根据实施例一提出的基于深度相机的自动对焦系统，提出了一种基于深度相机的自动对焦方法，本实施例与实施例二的区别在于本实施例为主要对于多点对焦。

如图10所示，首先，S1、利用变焦相机获取目标区域的非深度图像14。

变焦相机获取非深度图像，这时的非深度图像中的目标可以是动态的，也可以是静态的，主要是相机的工作模式而定。

其次，S2、获取该非深度图像14中需要对焦的对焦区域；

一般地，非深度图像中运动物体常被默认为需要对焦的对象，比如人或动物；也常将中间区域作为默认对焦区域；因而，可以通过程序设置出默认对焦的像素区域。另外，也可以通过人工主动选取的方式，比如通过手指触摸图像区域的方式获取对焦区域。被选中的区域一般具有一定的大小和形状，同样可以程序默认或手选，比如方形、圆形等，也可以是一个具体地像素点，在这里不做限制。

本实施例中，多点对焦的模式下所述非深度图像中包括一个以上的需要对焦的对焦区域，所述对焦区域还可分为动态对焦区域和静态对焦区域，根据目标的状态获取对焦区域。

其次，如图11所示，S3、所述深度相机根据一个以上的该对焦区域，在采集图像9的对应的一个以上的位置上，截取对应个数的仅包括该对焦区域的深度提取区域，利用深度相机分别获取各所述深度提取区域的深度图像15，根据各所述深度提取区域计算各所述对焦区域的多个深度信息。

由于仅需要对焦区域的深度信息，因而无需让深度相机获取整个空间的深度图像。但另一方面，由于深度相机与变焦相机处在不同的位置上，具体地，可以将深度相机与变焦相机平行设置，也可以以一定的角度相对设置，这就导致深度相机以及变焦相机存在视差，即同一空间点在深度图像与非深度图像上所处的像素位置不相同。但预先由于不知道各自像素之间的一一对应关系，因而就需要利用深度相机获取比对焦区域更大的深度提取区域的深度图像，保证对焦区域中所有像素在深度提取区域中有与之对应的深度值。接下来，为了获取非深度图像中对焦区域中各像素的深度值，需要先对深度相机与变焦相机进行配准。

配准，即利用深度相机以及变焦相机的相对位置关系组成的外参以及相机各自参数组成的内参，利用针孔相机模型以及三角法找到深度相机以及变焦相机各像素的一一对应关系。具体地配准原理为已有技术，在此不做详述。配准后，非深度图像中需要对焦区域上各像素的深度值等于深度图像中对应像素的深度值。

最后，S4、根据所述多个深度信息通过所述变焦相机进行自动对焦。如图 12所示，16为多点对焦最终的非深度图像。

获取对焦区域中各像素的深度值后，若对焦区域为单个像素点，该像素点的深度值就可以直接用来进行自动对焦。若对焦区域中包含多个像素点，则需要将多个像素点的深度值融合成单一的深度值。优选地，取该区域中各像素的深度值的平均值作为该区域的单一深度信息；进一步的，为了避免个别像素深度值太大或太小从而影响区域中对焦对象的准确深度，按深度值大小分布情况，选取中间分布的像素的深度值来做平均，从而得到该区域的单一深度信息。也可以通过其他方法来获取，在此不作限定。

这里需要说明的是，若要想实现非深度图像中所有像素区域的对焦，就需要得到所有像素的深度值，为此要求深度相机的FOV应不小于对焦相机的FOV(视场角)。一个实施例中，深度相机中的接收模组的镜头为广角镜头，而对焦相机的镜头的长焦镜头。所以，所述的深度相机的视场角不小于变焦相机的视场角。

控制器单元用于根据深度信息对变焦相机进行自动对焦。在获取了需要对焦区域的单一深度信息后，调整变焦相机镜头的焦距以满足对该深度处聚焦。调整可以通过预先设定的程序来完成，具体地，焦距大小与深度大小之间有一定的关系，将该关系以程序的形式保存在相机系统的存储中，当获取到单一的深度信息后，根据程序计算出调整的量，然后由控制器单元实现自动对焦。这里所述的存储器单元几乎在所有的电子设备中都存在，都用来存储数据，因而被默认存在于本系统中，这里不加以详细描述。

本实施中，由于利用的是截取后深度提取区域的深度信息进行自动对焦的，所以可以实现利用深度相机进行多点对焦的可能，在对焦的过程中，由于仅仅是获取一个以上的对焦区域的一个以上的深度图像，对焦区域以外的区域未进行深度值的获取，所以就算是对多个点进行自动对焦计算量也比较小，可以满足当前帧率下的快速计算，进而提交实现快速对焦的，而目前的基于深度相机的自动对焦方法，一般的，是将目标区域全部的深度图像提前获取，并将所有的深度信息实现存储，对于多点对焦而言并不能快速的找准对焦区域的深度信息，特别是对于动态模式下，由于对焦过程一直在进行，所以，要实现快速的多点对焦更是不可能，加之一般的帧率也有20-30FPS，所以多点对焦的计算量之大可想而知。

采用本实施例的深度信息的采集方法，实现了基于深度相机的多点自动对焦的可能，加之对焦速度快，计算量小，大大调高了对焦速度和实用性。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (8)

1.一种基于深度相机的自动对焦方法，其特征在于，包括以下步骤：

S1：利用变焦相机获取目标区域的非深度图像；

S2：获取该非深度图像中需要对焦的对焦区域；

S3：所述深度相机根据该对焦区域，在采集图像的对应位置上，截取仅包括该对焦区域的深度提取区域，利用深度相机仅获取该深度提取区域的深度图像，根据该深度提取区域计算该对焦区域的深度信息；

S4：根据所述深度信息通过所述变焦相机进行自动对焦；

所述非深度图像中包括一个以上的需要对焦的对焦区域。

2.如权利要求1所述的自动对焦方法，其特征在于：所述深度提取区域的大小大于所述对焦区域的大小。

3.如权利要求1所述的自动对焦方法，其特征在于：步骤S3中，所述深度相机根据一个以上的该对焦区域，在采集图像的对应的一个以上的位置上，截取对应个数的仅包括该对焦区域的深度提取区域，利用深度相机分别获取各所述深度提取区域的深度图像，根据各所述深度提取区域计算各所述对焦区域的1个或多个深度信息，步骤S4中，根据所述1个或多个深度信息通过所述变焦相机进行自动对焦。

4.如权利要求1-3任一项所述的自动对焦方法，其特征在于：步骤S3中，包括以下步骤：

S31：利用所述深度相机获取所述深度提取区域的深度图像；

S32：将所述深度相机与所述变焦相机进行配准，获取非深度图像中对焦区域各像素的深度值；

S33：根据所述对焦区域各像素的深度值计算出该区域的深度信息。

5.如权利要求4所述的自动对焦方法，其特征在于：获取所述对焦区域中各像素的深度值后，若对焦区域为单个像素点，则将该像素点的深度值直接作为深度信息进行自动对焦；

若所述对焦区域中包含多个像素，则需要将多个像素的深度值融合成单一的深度值，得到该区域的单一深度信息。

6.如权利要求4所述的自动对焦方法，其特征在于：按深度值大小分布情况，选取中间分布的像素的深度值来做平均，从而得到该对焦区域的单一深度信息。

7.如权利要求1所述的自动对焦方法，其特征在于：步骤S2中，所述对焦区域包括动态对焦区域和静态对焦区域，步骤S3中，根据所述对焦区域的状态对采集图像的对应截取深度提取区域。

8.一种基于深度相机的自动对焦系统，其特征在于：利用权利要求1-7任一项所述的自动对焦方法执行对焦，包括深度相机单元、变焦相机单元、处理器单元以及控制器单元，深度相机单元以及变焦相机单元分别获取对焦区域的深度图像以及非深度图像；处理器单元用于获取非深度图像中的对焦区域以及该对焦区域的深度信息；控制器单元用于根据深度信息对变焦相机进行自动对焦。