CN103136745B - 利用散焦碉堡图像执行深度估计的系统及方法 - Google Patents
利用散焦碉堡图像执行深度估计的系统及方法 Download PDFInfo
- Publication number
- CN103136745B CN103136745B CN201210479581.2A CN201210479581A CN103136745B CN 103136745 B CN103136745 B CN 103136745B CN 201210479581 A CN201210479581 A CN 201210479581A CN 103136745 B CN103136745 B CN 103136745B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- gaussian
- depth estimator
- kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000008569 process Effects 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 3
- 241000273930 Brevoortia tyrannus Species 0.000 description 47
- 238000010586 diagram Methods 0.000 description 16
- 229920006395 saturated elastomer Polymers 0.000 description 10
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Focusing (AREA)
Abstract
本发明涉及利用散焦碉堡图像执行深度估计的系统及方法。利用散焦碉堡图像执行深度估计过程的系统及方法包括相机设备,该相机设备具有用于捕获拍摄目标的碉堡模糊图像的传感器设备。相机利用深度估计器来执行将碉堡模糊图像转换为相应高斯模糊图像的高斯化过程。高斯化过程是通过将碉堡模糊图像与高斯化内核进行卷积以生成相应的高斯模糊图像来执行的。深度估计器然后利用高斯模糊图像来有效地执行深度估计过程。
Description
技术领域
本发明总体涉及用于分析图像数据的技术,并且更具体地,涉及利用散焦碉堡图像(defocusedpillboximage)执行深度估计过程的系统及方法。
背景技术
实现用于分析图像数据的高效方法对当代电子设备的设计者及制造商来说是一项重要的考虑。然而,利用电子设备高效地分析图像数据可能给系统设计者造成了巨大挑战。例如,对提高的设备功能及性能的增强的要求可能需要更多的系统处理能力并且需要额外的硬件资源。处理或硬件需求的提高也可因生产成本增加及运行效率低而导致相应的不利经济影响。
此外,执行各种高级操作的增强的设备能力可以为系统用户提供额外的益处,但也可能对各种设备组件的控制及管理提出提高的要求。例如,由于所涉及的数字数据的大量性和复杂性,有效分析数字图像数据的增强型电子设备可能会受益于有效的实现方式。
由于对系统资源的逐渐增长的需求和大幅增加的数据大小,显而易见的,开发用于分析图像数据的新技术是相关电子技术的关注事项。因此,出于所有前述原因,开发用于分析图像数据的有效系统对当代电子设备的设计者、制造商及用户来说仍是一项重要的考虑。
发明内容
根据本发明,公开了通过利用散焦碉堡图像来执行深度估计过程的系统及方法。在一个实施例中,相机首先捕获散焦碉堡图像1。相机的焦距设置然后被改变。例如,焦距设置可以被调整为使相机的焦距减少一个景深。相机然后捕获比先前捕获的碉堡图像1更模糊(离焦)的散焦碉堡图像2。
深度估计器或其他合适的实体选择合适的内核K来执行卷积过程。内核K可以按任何合适的方式来配置。例如,在某些实施例中,内核K可以被配置为方差小的3×3高斯内核。深度估计器还选择合适的高斯化内核来执行根据本发明的高斯化过程。高斯化内核可以按任何合适的方式被实现并利用。例如,高斯化内核可以是高斯函数或具有有限均值和方差的更一般的模糊函数(blurfunction)。
接下来,深度估计器计算图像1与图像2之间的匹配误差,然后执行卷积过程以创建新的当前图像1,该新的当前图像1等于与所选内核K进行卷积的前一个图像1。深度估计器计算当前图像1与图像2之间的匹配误差,并确定当前图像1与图像2是否匹配。如果这两个图像不匹配,那么过程返回来以类似方式执行额外的卷积迭代。
然而,如果图像1与图像2匹配,那么深度估计器通过利用先前选择的高斯化内核对当前图像1与图像2二者执行高斯化过程以将非高斯模糊图像转换为相应的高斯模糊图像。具体地,深度估计器执行卷积过程以创建新的当前高斯图像1,该新的当前高斯图像1等于与所选高斯化内核进行卷积的前一个碉堡模糊图像1。另外,深度估计器执行卷积过程以创建新的当前高斯图像2,该新的当前高斯图像2等于与所选高斯化内核进行卷积的前一个碉堡模糊图像2。
深度估计器然后执行卷积过程以创建新的当前高斯图像1,该新的当前高斯图像1等于与所选内核K进行卷积的前一个高斯图像1。深度估计器计算当前高斯图像1与高斯图像2之间的匹配误差,并确定当前高斯图像1与高斯图像2是否匹配。如果这两个图像不匹配,那么所述过程返回来执行额外的迭代。然而,如果当前高斯图像1与高斯图像2匹配,那么过程可以终止。本发明因此提供了一种通过利用散焦碉堡图像来执行深度估计过程的改进的系统及方法。
附图说明
图1是根据本发明的相机设备的一个实施例的框图;
图2是根据本发明的图1的捕获子系统的一个实施例的框图;
图3是根据本发明的图1的控制模块的一个实施例的框图;
图4是根据本发明的图3的存储器的一个实施例的框图;
图5是根据本发明的用于捕获散焦模糊图像的一个示例性实施例的示图;
图6是根据本发明的一个实施例的示例性匹配曲线的曲线图;
图7是根据本发明的一个实施例的模糊图像的示例性高斯模型的曲线图;
图8是根据本发明的一个实施例的模糊图像的示例性碉堡模型的曲线图;
图9A-9C是根据本发明的一个实施例的利用碉堡模糊图像执行深度估计过程的方法步骤的流程图;
图10是根据本发明的一个示例性实施例的两个饱和碉堡图像的示图;并且
图11是示出了根据本发明的一个示例性实施例的图10的饱和碉堡图像的填充框技术的示图。
具体实施方式
本发明涉及图像数据分析技术的改进。以下描述被呈现来使本领域的普通技术人员能够制造并使用本发明,并且以下描述是在专利申请及其要求的上下文中提供的。对所公开的实施例的各种修改将容易为本领域的技术人员所明白,并且本文中的一般原理可被应用于其他实施例。因此,本发明并非旨在被限于所示的实施例,而是应符合与本文所描述的原理及特征相一致的最广范围。
本发明包括通过利用散焦碉堡图像执行深度估计过程的系统及方法,并且包括具有用于捕获拍摄目标的碉堡模糊图像的传感器设备的相机设备。相机利用深度估计器来执行将碉堡模糊图像转换为相应的高斯模糊图像的高斯化过程。高斯化过程是通过将碉堡模糊图像与高斯化内核进行卷积以生成相应的高斯模糊图像来执行的。深度估计器然后利用高斯模糊图像来有效地执行深度估计过程。
现在参照图1,示出了根据本发明的相机设备110的一个实施例的框图。在图1的实施例中,相机设备110可包括但不限于捕获子系统114、系统总线116及控制模块118。在图1的实施例中,捕获子系统114可以被光学耦合至拍摄目标112,并且还可以通过系统总线116被电气耦合至控制模块118。
在替代实施例中,相机设备110可容易地包括除结合图1的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。另外,在某些实施例中,本发明可作为替代在任何适当类型的电子设备中被实施,而不是在图1的相机设备110中被实施。例如,相机设备110可作为替代被实现为成像设备、计算机设备或消费电子设备。
在图1的实施例中,一旦相机110的捕获子系统114被自动对焦在目标112上,相机用户就可以请求相机设备110捕获与目标112相对应的图像数据。控制模块118然后可以优选通过系统总线116指示捕获子系统114捕获表示目标112的图像数据。所捕获的图像数据然后可以通过系统总线116被传递给控制模块118,控制模块118可以作为响应而利用图像数据执行各种处理及功能。系统总线116还可以在捕获子系统114与控制模块118之间双向地传递各种状态和控制信号。
现在参照图2,示出了根据本发明的图1的捕获子系统114的一个实施例的框图。在图2的实施例中,捕获子系统114优选地包括但不限于快门218、镜头220、图像传感器224、红色、绿色和蓝色(R/G/B)放大器228、模数(A/D)转换器230及接口232。在替代实施例中,捕获子系统114可容易地包括除结合图2的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。
在图2的实施例中,捕获子系统114可通过沿着光路236射入到图像传感器224的反射光来捕获与目标112相对应的图像数据。可优选地包括电荷耦合器件(CCD)的图像传感器224可作为响应而生成表示目标112的一组图像数据。图像数据然后可以被路由通过放大器228、A/D转换器230及接口232。图像数据从接口232通过系统总线116传递至控制模块118,以便进行适当的处理和存储。其他类型的图像捕获传感器,比如CMOS或线性阵列,也被设想用于结合本发明来捕获图像数据。相机110的使用及功能在下文中结合图3-11被进一步讨论。
现在参照图3,示出了根据本发明的图1的控制模块118的一个实施例的框图。在图3的实施例中,控制模块118优选地包括但不限于取景器308、中央处理单元(CPU)344、存储器346及一个或多个输入/输出接口(I/O)348。取景器308、CPU344、存储器346及I/O348优选地各自耦合到公共系统总线116并且通过公共系统总线116与捕捉子系统114通信,其中公共系统总线116也与捕获子系统114通信。在替代实施例中,控制模块118可容易地包括除结合图3的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。
在图3的实施例中,CPU344可以被实现为包括任何合适的微处理器设备。作为替代,CPU344可以利用任何其他合适的技术来实现。例如,CPU344可以被实现为包括某些专用集成电路(ASIC)或其他合适的电子设备。存储器346可以被实现为一个或多个合适的存储设备,这些存储设备包括但不限于只读存储器、随机存取存储器及各种类型的非易失性存储器,比如软盘设备、硬盘设备或闪存。I/O348可提供一个或多个有效接口以便在相机设备110与任何外部实体之间进行双向通信,该外部实体包括系统用户或其他电子设备。I/O348可利用任何合适的输入和/或输出设备来实现。控制模块118的操作及使用在下文中结合图4-图11被进一步讨论。
现在参照图4,示出了根据本发明的图3的存储器346的一个实施例的框图。在图4的实施例中,存储器346可包括但不限于相机应用412、操作系统414、深度估计器416、图像数据418、估计数据420、自动对焦模块422及杂项信息424。在替代实施例中,存储器346可包括除结合图4的实施例进行讨论的那些组件之外的或代替那些组件的各种其他组件。
在图4的实施例中,相机应用412可包括程序指令,这些程序指令优选地被CPU344(图3)执行以便执行相机设备110的各种功能及操作。相机应用412的具体性质及功能优选地取决于诸如相应的相机设备110的类型及特定用途等因素而变化。
在图4的实施例中,操作系统414优选地控制并协调相机设备110的低级功能。根据本发明,深度估计器416可以控制并协调深度估计过程以促进相机110中的自动对焦特征。在图4的实施例中,图像数据418可包括由相机设备110捕获的拍摄目标112的一个或多个图像。估计数据420可包括用于执行深度估计过程的任何类型的信息或数据。在图4的实施例中,自动对焦模块422可利用深度估计过程的结果对相机设备110执行自动对焦过程。杂项信息424包括用于相机110的操作的任何其他合适的信息。关于深度估计器416的操作的更多细节在下文中结合图5-图11被进一步讨论。
现在参照图5,示出了根据本发明的用于捕获散焦模糊图像518的一个示例性实施例的示图。图5的实施例被提出用于说明目的,并且在替代实施例中,本发明可以利用各种其他配置及元件来捕获散焦模糊图像518。
在图5的实施例中,相机110的传感器224(参见图2)可捕获拍摄目标或场景112的散焦模糊图像518以用于执行深度估计过程。散焦模糊图像518可以通过将镜头220调整到除正确的对焦镜头位置之外的位置而被创建,该正确的对焦镜头位置取决于目标112、镜头220及传感器224的相对位置。
在一个实施例中,可以将两个不同的散焦模糊图像518进行比较以得到深度估计。可以针对两个模糊图像518来计算模糊差异(blurdifference),这两个模糊图像518的彼此相离一个景深。已知的匹配曲线的斜率和该模糊差异可以被用来确定给定目标112的深度。用于深度估计的散焦模糊图像的生成及使用在下文中结合图6-图11被进一步讨论。
现在参照图6,示出了根据本发明的一个实施例的示例性匹配曲线614的图。图6的实施例被提出用于说明目的,并且在替代实施例中,本发明可以被实现为利用具有除结合图6的实施例进行讨论的那些配置及参数之外的或代替那些配置及参数的配置及参数的匹配曲线。
在某些实施例中,模糊图像1和更加散焦的模糊图像2可以被捕获,更清晰的图像1可以与高斯内核(例如,方差小的3×3高斯矩阵)进行卷积以产生卷积图像1。将卷积图像1与模糊图像2进行比较。该过程被重复直至这两个模糊图像匹配为止。然后可以针对景深(或一个DOF(景深)的增量中的图像数量)对迭代次数进行绘图以产生模糊匹配曲线,该模糊匹配曲线可以被用来估计从任何离焦(out-of-focus)位置到对焦(in-focus)位置的距离。有关前述深度估计技术的更多细节在Li等人的第8,045,046号美国专利中被进一步讨论,该美国专利在此通过引用被并入本文。
现在参照图7,示出了根据本发明的一个实施例的模糊图像518(图5)的示例性高斯模型718的曲线图。图7的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图7的实施例进行讨论的那些元件及配置之外的元件及配置的高斯模型。
在图7的实施例中,亮度被表示在纵轴上,像素被表示在横轴上。在图7的曲线图中,高斯模型718显示出典型的钟形曲线形状。然而,不是所有模糊图像518都通过利用高斯模型718来最佳地表示。取决于拍摄目标或场景的图像特性,某些非高斯模型可能更有效。非高斯模型的一个示例在下文中被结合图8-图11进一步讨论。
现在参照图8,示出了根据本发明的一个实施例的模糊图像518的示例性碉堡模型的曲线图。图8的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图8的实施例进行讨论的元件及配置之外的元件及配置的碉堡模型。
在图8的实施例中,亮度被表示在纵轴上,像素被表示在横轴上。在图8的曲线图中,碉堡模型818显示出典型的锐缘形状(sharp-edgedshape)。取决于拍摄目标或场景的图像特性,某些非高斯模型,如碉堡模型818,可能更有效。例如,碉堡模型818对包括很明亮的光源(比如蜡烛)的黑夜场景来说可能会更好。
然而,上文所讨论的某些深度估计技术在结合碉堡模糊图像使用时无法满意地执行。根据本发明,高斯化过程由此被利用,以有利地将碉堡模糊图像转换为然后可被成功用于深度估计过程的高斯格式,如上所述。
高斯化过程可以按任何有效方式来执行。例如,碉堡模糊图像可以与高斯化内核(Gaussianizationkernel)进行卷积以产生高斯化模糊图像。高斯化内核可以按任何合适的方式来实现和利用。例如,高斯化内核可以是高斯函数或者具有有限均值和方差的更一般的模糊函数。
在某些实施例中,高斯化内核可以被实现为具有方阵(squarematrix)的框函数(boxfunction),其中在该方阵中,所有矩阵值都是相同的值,并且所有这些矩阵值的和等于1。高斯化内核还可以被实现为二维均一框函数(uniformboxfunction),该二维均一框函数可以根据以下公式而被表示为两个一维函数的张量积(tensorproduct):
其中m和n为像素坐标,并且其中M和N为内核矩阵的各个维度。在一个替代实施例中,可以利用多级高斯化来提高效率。例如,可以利用较小的高斯化内核在较小片段中执行高斯化过程。该技术可提高不需要大量高斯化的图像的计算速度。有关高斯化过程的更多细节在下文中结合图9A-图11被进一步讨论。
现在参照图9A-9C,示出了根据本发明的一个实施例的用于利用碉堡图像执行深度估计过程的方法步骤的流程图。图9A-9C的实施例被提出用于说明目的,并且在替代实施例中,本发明可容易地利用除结合图9A-9C的实施例进行讨论的那些步骤及顺序之外的各种步骤及顺序。
在图9A的实施例中,在步骤914中,相机110捕获散焦碉堡图像1。在步骤918中,相机110的焦距设置被改变。例如,在图9A的实施例中,焦距设置可以被调整为使相机110的焦距减少一个景深。在步骤922中,相机110捕获比先前捕获的碉堡图像1更模糊(离焦)的散焦碉堡图像2。
在步骤926中,深度估计器416或其他合适的实体选择合适的内核K来执行卷积过程。内核K可以按任何合适的方式来配置。例如,在某些实施例中,内核K可以被配置为方差较小的3×3高斯内核。在步骤926中,深度估计器416还选择合适的高斯化内核来执行根据本发明的高斯化过程。
如上所述,高斯化内核可以按任何合适的方式被实现并利用。例如,高斯化内核可以是高斯函数或者具有有限均值及方差的更一般的模糊函数。在步骤928中,深度估计器416计算图像1与图像2之间的匹配误差,并且在步骤930中,深度估计器416确定图像是否匹配。如果图像匹配,那么图9A-9C的过程可以终止。然而,如果图像不匹配,那么图9A的过程通过连接字母“A”进入图9B的步骤932。
在步骤932中,深度估计器416执行卷积过程以创建新的当前图像1,该新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤934中,深度估计器416计算当前图像1与图像2之间的匹配误差。在步骤938中,深度估计器416确定当前图像1与图像2是否匹配。如果这两个图像不匹配,那么图9A-9C的过程返回步骤932以执行额外的迭代。
然而,如果在步骤938中图像1与图像2匹配,那么在步骤942中,深度估计器416通过利用先前选择的高斯化内核对当前图像1与图像2二者执行高斯化过程,以将非高斯模糊图像转换为相应的高斯模糊图像。具体地,深度估计器416执行卷积过程以创建等于与所选高斯化内核进行卷积的前一个图像1的新的当前图像1。另外,深度估计器416执行卷积过程以创建等于与所选高斯化内核进行卷积的前一个图像2的新的当前图像2。在图9B的实施例中,高斯化内核可以利用小的方差值来实现。图9B的过程然后通过连接字母“B”进入图9C的步骤946。
在步骤946中,深度估计器416执行卷积过程以创建新的当前图像1,该新的当前图像1等于与所选内核K进行卷积的前一个图像1。在步骤950中,深度估计器416计算当前图像1与当前图像2之间的匹配误差。在步骤954中,深度估计器416确定当前图像1与当前图像2是否匹配。如果这两个图像不匹配,那么图9A-9C的过程返回步骤946以执行额外的迭代。然而,如果在步骤954中图像1与图像2匹配,那么在步骤958中,深度估计器416确定在前述步骤946中执行了多少次卷积。如果存在非零次卷积,那么图9C的过程通过连接字母“C”返回图9B的步骤942以执行一个或多个额外的高斯化过程。然而,如果存在零卷积,那么图9A-9C的过程可以终止。图像1与图像2之间的模糊差异然后由具有在932及946中执行的与内核K的卷积总数给出。本发明因此提供了通过利用碉堡模糊图像来执行深度估计过程的改进的系统及方法。
现在参照图10,示出了根据本发明的一个实施例的两个饱和碉堡图像1014及1018的示图。图10的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图10的实施例进行讨论的元件及配置之外的元件及配置的碉堡图像。
在图10的实施例中,第一碉堡图像1014(例如,图9A-9C的图像1)及第二碉堡图像1018(例如,图9A-9C的图像2)的波形被示出为重叠的。由于图像1014更对焦,因此其波形形状比图像1018的波形更窄更高。然而,与其他类型的模糊图像一样,碉堡模糊图像应保留相同量的能量/总亮度。
在图10的实施例中,因为碉堡图像都超过了饱和阈值水平1022,所以碉堡图像被裁剪/是饱和的。如果碉堡模糊图像是饱和的/被裁剪,那么两个图片的总亮度之间存在差异。一般而言,因为总亮度未被保留,所以模糊匹配技术(如在图9A-9C中所讨论的高斯化过程)不能很好地用于饱和碉堡模糊图像。因此,根据本发明的某些实施例,可以在执行任何模糊匹配技术之前利用填充框技术(fillboxtechnique)。一个这样的填充框实施例在下文中结合图11被进一步讨论。
现在参照图11,示出了根据本发明的一个实施例的示出用于处理图10的饱和碉堡图像的填充框技术的示图。图11的实施例被提出用于说明目的,并且在替代实施例中,本发明可利用具有除结合图11的实施例进行讨论的元件、步骤及配置之外的元件、步骤及配置的填充框技术。
在图11的示图的左侧,因为碉堡图像1018及1014(a)都超过了饱和阈值水平1022,所以碉堡图像1018及1014(a)被裁剪/是饱和的。如果碉堡模糊图像是饱和的/被裁剪,那么两个图片的总亮度之间存在差异。由于图像1014(a)更高,因此该图像的更多量度被饱和阈值1022去除。如在图11的示图的右侧所示,可以有利地利用填充框过程通过使图像1014(a)的亮度增大亮度填充量1030从而产生新的均衡图像1014(b)来使图像1018及1014(a)的各自亮度总量均衡(equalize)。
在图11的实施例中,深度估计器416(图4)或其他合适的实体首先计算每个图片1014(a)及1018中的饱和碉堡的总亮度。深度估计器416确定这两个图片1014(a)及1018之间的总亮度的差。然后针对总亮度较小的碉堡模糊图像1014(a),深度估计器将总亮度的平均差加到碉堡图像1014(a)的每个饱和像素,以产生均衡图像1014(b)。这种填充框技术可以被表征为对较小的碉堡图像1014(a)进行填充直至这两个图像的大小/总亮度相等为止。在完成前述填充框过程之后,深度估计器416可以将碉堡模糊图像1014(b)及1018看作未饱和的碉堡,并且可以利用上文结合图9A-9C所讨论的高斯化过程执行模糊匹配。
在上文中已参照某些实施例说明了本发明。鉴于本公开,其他实施例对本领域的技术人员来说将是显而易见的。例如,本发明可以容易地利用除在上述实施例中描述的配置及技术之外的配置及技术来实现。另外,本发明可以结合除上述的系统之外的系统被有效地使用。因此,对所讨论的实施例进行的这些及其他变更旨在被本发明所涵盖,本发明仅受所附权利要求的限制。
本申请与2011年12月1日提交的题为“DepthEstimationFromTwoDefocusedImagesUnderVariousLightingConditions”的第61/565,790号美国临时专利申请相关并要求其优先权。前述相关申请被共同转让并通过引用被并入本文。
Claims (14)
1.一种用于执行深度估计过程的系统,包括:
传感器设备,用于捕获拍摄目标的碉堡模糊图像;以及
深度估计器,用于执行利用高斯化内核将所述碉堡模糊图像转换为高斯模糊图像的高斯化过程,所述深度估计器然后利用所述高斯模糊图像来执行所述深度估计过程。
2.根据权利要求1所述的系统,其中所述深度估计器通过将所述碉堡图像与所述高斯化内核进行卷积以产生所述高斯模糊图像来执行所述高斯化过程。
3.根据权利要求2所述的系统,其中所述高斯化内核被实现为具有方阵的框函数,在所述方阵中,所有矩阵值都是相同的值,并且所有这些矩阵值的和等于1。
4.根据权利要求2所述的系统,其中所述高斯化内核被实现为二维均一框函数,所述二维均一框函数根据以下公式被表示为两个一维函数的张量积:
其中m和n为像素坐标,并且其中M和N为所述高斯化内核的矩阵的各个维度。
5.根据权利要求1所述的系统,
其中所述深度估计器确定所述碉堡模糊图像被饱和阈值水平裁剪,所述深度估计器然后执行填充框过程以在执行所述高斯化过程之前使所述碉堡模糊图像的能量总量均衡,
其中所述深度估计器通过首先计算第一图像的第一总亮度以及第二图像的第二总亮度来执行所述填充框过程,所述深度估计器确定所述第一总亮度与所述第二总亮度之间的亮度差,并且
其中所述深度估计器通过将所述亮度差加到所述碉堡模糊图像中具有较小总亮度的较小图像来完成所述填充框过程,使得所述第一图像和所述第二图像的所述能量总量是均衡的。
6.根据权利要求1所述的系统,其中所述传感器设备和所述深度生成器被实现在电子相机设备中,所述电子相机设备利用来自所述深度估计过程的一个或多个深度值来执行自动对焦过程。
7.根据权利要求6所述的系统,其中所述传感器设备通过利用第一散焦镜头位置来捕获与拍摄目标相对应的图像1,所述相机设备然后被调整到与所述第一散焦镜头位置不同的第二散焦镜头位置,所述传感器设备通过利用所述第二散焦镜头位置来捕获与所述拍摄目标相对应的图像2,所述第二散焦镜头位置的对焦不如所述第一散焦镜头位置。
8.根据权利要求7所述的系统,其中所述深度估计器选择内核K和高斯化内核。
9.根据权利要求8所述的系统,其中所述内核K被实现为方差小的高斯3×3矩阵,并且其中所述高斯化内核被实现为具有方阵的框函数,在所述方阵中,所有矩阵值都是相同的值,并且所有这些矩阵值的和等于1。
10.根据权利要求8所述的系统,其中所述深度估计器在第一卷积过程中将所述图像1与所述内核K进行卷积以产生当前卷积图像1,并且其中所述深度估计器在第一模糊图像匹配过程中将所述当前卷积图像1与所述图像2进行比较,所述深度估计器对所述卷积过程执行额外迭代直至取得第一匹配结果为止。
11.根据权利要求10所述的系统,其中所述深度估计器利用高斯化内核对所述当前卷积图像1与所述图像2执行所述高斯化过程以产生高斯图像1和高斯图像2,并且其中所述深度估计器在第二卷积过程中将所述高斯图像1与所述内核K进行卷积以产生当前卷积高斯图像1。
12.根据权利要求11所述的系统,其中所述深度估计器在第二模糊图像匹配过程中将所述当前卷积高斯图像1与所述高斯图像2进行比较,所述深度估计器对所述第二卷积过程执行额外迭代直至取得第二匹配结果为止,所述深度估计器基于所述额外迭代生成总迭代次数。
13.根据权利要求12所述的系统,其中所述深度估计器利用所述总迭代次数来为所述深度估计过程生成匹配曲线,所述深度估计器利用所述匹配曲线来生成与所述拍摄目标相对应的深度值,并且其中所述深度估计器执行利用尺寸缩小的高斯化内核对所述碉堡模糊图像的片段进行处理的多级高斯化过程。
14.一种用于通过执行以下步骤来执行深度估计过程的方法:
提供传感器设备,所述传感器设备用于捕获拍摄目标的碉堡模糊图像;以及
利用深度估计器来执行利用高斯化内核将所述碉堡模糊图像转换为高斯模糊图像的高斯化过程,所述深度估计器然后利用所述高斯模糊图像来执行所述深度估计过程。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161565790P | 2011-12-01 | 2011-12-01 | |
US61/565,790 | 2011-12-01 | ||
US13/426,828 US8929607B2 (en) | 2011-12-01 | 2012-03-22 | System and method for performing depth estimation utilizing defocused pillbox images |
US13/426,828 | 2012-03-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103136745A CN103136745A (zh) | 2013-06-05 |
CN103136745B true CN103136745B (zh) | 2016-05-18 |
Family
ID=47602841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210479581.2A Expired - Fee Related CN103136745B (zh) | 2011-12-01 | 2012-11-22 | 利用散焦碉堡图像执行深度估计的系统及方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8929607B2 (zh) |
EP (1) | EP2600310B1 (zh) |
JP (1) | JP5459523B2 (zh) |
KR (1) | KR101437234B1 (zh) |
CN (1) | CN103136745B (zh) |
CA (1) | CA2796543C (zh) |
TW (1) | TWI557688B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9066002B2 (en) | 2012-08-29 | 2015-06-23 | Sony Corporation | System and method for utilizing enhanced scene detection in a depth estimation procedure |
AU2013273843A1 (en) * | 2013-12-23 | 2015-07-09 | Canon Kabushiki Kaisha | Motion blur compensation for depth from defocus |
US9530214B2 (en) | 2014-12-04 | 2016-12-27 | Sony Corporation | Image processing system with depth map determination based on iteration count of blur difference and method of operation thereof |
US10440348B2 (en) * | 2015-03-24 | 2019-10-08 | University Of Florida Research Foundation, Inc. | Optical privatizing device, system and method of use |
US11024047B2 (en) * | 2015-09-18 | 2021-06-01 | The Regents Of The University Of California | Cameras and depth estimation of images acquired in a distorting medium |
FR3085656B1 (fr) * | 2018-09-11 | 2023-04-28 | Renault Sas | Procede de detection de route pour un vehicule automobile muni d'un capteur lidar |
CN111166322A (zh) * | 2020-01-17 | 2020-05-19 | 哈尔滨工业大学 | 心电信号特征波提取方法 |
CN113189634B (zh) * | 2021-03-02 | 2022-10-25 | 四川新先达测控技术有限公司 | 一种类高斯成形方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605208A (zh) * | 2008-06-13 | 2009-12-16 | 富士胶片株式会社 | 图像处理设备、成像设备、图像处理方法及程序 |
US7711201B2 (en) * | 2006-06-22 | 2010-05-04 | Sony Corporation | Method of and apparatus for generating a depth map utilized in autofocusing |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996041304A1 (en) * | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
JP2001159159A (ja) | 1999-12-01 | 2001-06-12 | Hitachi Ltd | 水位制御方法および水供給システム |
WO2002093188A2 (en) * | 2001-05-17 | 2002-11-21 | Siemens Corporate Research, Inc. | A variational approach for the segmentation of the left ventricle in mr cardiac images |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
US7929801B2 (en) * | 2005-08-15 | 2011-04-19 | Sony Corporation | Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory |
WO2007095477A2 (en) * | 2006-02-14 | 2007-08-23 | Fotonation Vision Limited | Image blurring |
US7616254B2 (en) * | 2006-03-16 | 2009-11-10 | Sony Corporation | Simple method for calculating camera defocus from an image scene |
WO2008105268A1 (ja) | 2007-02-28 | 2008-09-04 | Nikon Corporation | 画像処理方法 |
US8280194B2 (en) * | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
US8194995B2 (en) * | 2008-09-30 | 2012-06-05 | Sony Corporation | Fast camera auto-focus |
US8199248B2 (en) | 2009-01-30 | 2012-06-12 | Sony Corporation | Two-dimensional polynomial model for depth estimation based on two-picture matching |
US8229172B2 (en) | 2009-12-16 | 2012-07-24 | Sony Corporation | Algorithms for estimating precise and relative object distances in a scene |
JP5468404B2 (ja) * | 2010-02-02 | 2014-04-09 | パナソニック株式会社 | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 |
JP5237978B2 (ja) * | 2010-02-12 | 2013-07-17 | パナソニック株式会社 | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 |
US8045046B1 (en) * | 2010-04-13 | 2011-10-25 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
JP2012003233A (ja) * | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
-
2012
- 2012-03-22 US US13/426,828 patent/US8929607B2/en active Active
- 2012-11-22 CN CN201210479581.2A patent/CN103136745B/zh not_active Expired - Fee Related
- 2012-11-26 TW TW101144220A patent/TWI557688B/zh active
- 2012-11-26 JP JP2012271753A patent/JP5459523B2/ja not_active Expired - Fee Related
- 2012-11-26 CA CA2796543A patent/CA2796543C/en active Active
- 2012-11-28 KR KR1020120136072A patent/KR101437234B1/ko active Active
- 2012-11-30 EP EP12195072.9A patent/EP2600310B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7711201B2 (en) * | 2006-06-22 | 2010-05-04 | Sony Corporation | Method of and apparatus for generating a depth map utilized in autofocusing |
CN101605208A (zh) * | 2008-06-13 | 2009-12-16 | 富士胶片株式会社 | 图像处理设备、成像设备、图像处理方法及程序 |
Also Published As
Publication number | Publication date |
---|---|
EP2600310A2 (en) | 2013-06-05 |
JP5459523B2 (ja) | 2014-04-02 |
JP2013117967A (ja) | 2013-06-13 |
EP2600310B1 (en) | 2018-07-04 |
KR20130061635A (ko) | 2013-06-11 |
US20130142394A1 (en) | 2013-06-06 |
TW201337838A (zh) | 2013-09-16 |
TWI557688B (zh) | 2016-11-11 |
KR101437234B1 (ko) | 2014-09-02 |
US8929607B2 (en) | 2015-01-06 |
CN103136745A (zh) | 2013-06-05 |
CA2796543C (en) | 2015-06-23 |
EP2600310A3 (en) | 2017-01-25 |
CA2796543A1 (en) | 2013-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103136745B (zh) | 利用散焦碉堡图像执行深度估计的系统及方法 | |
JP5454821B2 (ja) | 多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法 | |
US10269130B2 (en) | Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone | |
US9066002B2 (en) | System and method for utilizing enhanced scene detection in a depth estimation procedure | |
CN102959586B (zh) | 深度推测装置以及深度推测方法 | |
CN103369233B (zh) | 用于通过利用自适应核来执行深度估计的系统和方法 | |
US9262833B2 (en) | Methodology for performing depth estimation with defocused images under extreme lighting conditions | |
US9020280B2 (en) | System and method for evaluating focus direction under various lighting conditions | |
CN107301667A (zh) | 基于棋盘格图像对单透镜计算成像的psf估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160518 |